边缘计算

Edge Intelligence

Pyramid: Enabling Hierarchical Neural Networks with Edge Computing

Qiang He, Zeqian Dong, Feifei Chen, Shuiguang Deng, Weifa Liang, and Yun Yang. "Pyramid: Enabling Hierarchical Neural Networks with Edge Computing", The Web Conference (2022): 1860-1870.

云端的 模型存在固有的局限性。首先，其对于延迟敏感的应用，很难保持低延迟。其次，它会在已经承受很对压力的回程网络上产生过多的流量。（回程指核心网或骨干网与网络边缘的小子网之间的中间链路）

边缘计算提供一种新的计算模式，使网络边缘的 克服了上述限制。在边缘计算环境中，配置了计算资源的边缘服务器被部署在基站或者接入点。这使得 模型可以在边缘服务器而不是远程的云服务器上进行训练和部署。

本篇论文提出了一种新的框架，，来在边缘服务器实现 ，在云服务器实现 。

PROBLEM STATEMENT

个地区被 条高速相连。第 个地区有 个道路传感器，。所有的道路传感器为 。每条高速上至少有 个高速传感器，两个端点各一个，中点一个，。总共有 个高速传感器，总共为 。

用邻接矩阵来表示距离，。

在时间 内传感器采集的历史交通数据为 ，总共为 。

分层交通预测的目标是预测 时间的道路交通状况 和高速交通状况 。

PYRAMID NEURAL NETWORK

由部署在边缘服务器上的 和部署在云服务器上的 两个主要部分组成。

Local Prediction

由 三部分组成。

之前获取时空道路交通相关性的方法都是采用了两个时间块和中间一个空间块的“三明治”结构。但堆叠三明治之间的时间块会产生额外的开销。针对该问题， 采用了“双层三明治”结构，由三个时间块与两个空间块交织组成。

Data Modeling

将道路传感器收集到的历史交通数据放入 可读的矩阵中： Feature Extraction

采用时间块从输入矩阵 中提取时间道路交通特征。时间块中包含 ，其可以将线性和非线性特征都传输到后续层： 其中 是 激活层。

空间块的主要组成部分是 ，通过图卷积来获取空间道路交通相关性： 其中 是 激活层，。

Prediction

最后用一个全连接层来实现预测： 同时， 也将被传输到 来方便全局预测。

Global Prediction

由 两部分组成。

Feature Extraction

输入是 提取的道路交通特征： 从 中获取道路与高速的空间相关性，高速之间的空间相关性，高速的时间相关性。

采用了转换块来将道路交通特征 转换为高速交通特征 。其由两个稀疏层和中间的批量归一化层组成。

第一个稀疏层将 维道路交通特征 转换为 维中间特征： 是嵌入矩阵。

第二个稀疏层将 维中间特征转换为 维高速交通特征 ： 是嵌入矩阵。

根据 来构建 的全局道路高速邻接矩阵 。其中 表示第 个道路传感器是否与第 个道路传感器相关。然后将 分解为 的 和 的 ，其中 。

Prediction

最后用一个全连接层来实现预测：

FedEdge: Accelerating Edge-Assisted Federated Learning

Kaibin Wang, Qiang He, Feifei Chen, Hai Jin, and Yun Yang. "FedEdge: Accelerating Edge-Assisted Federated Learning", WWW 2023 (2023): 2895-2904.

存在三个缺陷：

两阶段训练期间浪费了大量时间，客户端在发送本地模型进行聚合后停止模型训练，直到使用接收到的全局模型更新本地模型。他们的等待时间可以用来加速模型训练。

缺乏模型多样性，而数据存在多样性。

存在模型受到中毒袭击的漏洞，边缘服务器容易受到损害。

本文提出了 来解决以上问题。

PRELIMINARIES

Federated Learning

研究重点是在 方案下以有限和目标训练神经网络模型： 其中 是 系统中客户端的数量，每个客户端都有一个本地训练数据集 。 是第 个客户的局部损失函数，衡量 的局部损失： 其中 是训练样本， 是交叉熵损失函数。

Edge-Assisted Federated Learning

考虑一个 系统，客户端用 表示，以及一组覆盖这些客户端的 个边缘服务器，用 表示，以及云服务器 。每个边缘服务器 覆盖客户端的一个子集 。 每个客户端 都拥有一个本地数据集 。其中 表示第 个输入样本， 是 的相应标记输出。

与现有的边缘辅助 方案有着相同的基本训练流程：

，客户端在自己的数据集上训练本地模型，然后将本地模型传输到相应的边缘服务器。

，每个边缘服务器通过聚合其客户端的本地模型来生成中间模型，并将中间模型传输到云服务器。

，云服务器通过聚合从边缘服务器接收到的中间模型来生成全局模型。

，云服务器将全局模型发送至边缘服务器；边缘服务器将全局模型发送给其客户端；最后，客户更新他们的本地模型并进入下一轮训练。

FINDINGS OF OUR EXPLORATION

Training Time Wasting

Lack of Model Diversity Consideration

利用模型多样性后，模型精度和模型收敛性均有提升。

Vulnerability to Model Poisoning Attacks

FEDEDGE DESIGN

Asynchronous Local Federated Training

Adaptive Model Aggregation

Phase 1: Filtering Anomalous Models

Phase 2: Aggregating Models

EdgeMove: Pipelining Device-Edge Model Training for Mobile Intelligence

Zeqian Dong, Qiang He, Feifei Chen, Hai Jin, Tao Gu, and Yun Yang. "EdgeMove: Pipelining Device-Edge Model Training for Mobile Intelligence", WWW 2023 (2023): 3142-3153.

EdgeMove 将模型分为两个部分，一个用于在边缘设备上进行训练，另一个用于在边缘服务器上进行训练。中间传输的是中间特征，而不是用户的私有数据。与端云训练方案相比，EdgeMove 显著减少了本地模型部分和外部模型部分之间的通信延迟带来的训练过程延迟。

EdgeMove 探测边缘设备附近边缘服务器的训练性能，并通过近似模型分区引导模型训练。EdgeMove 自适应地探测附近边缘服务器的训练性能，并根据运行时的系统动态主动调整训练管道。

EdgeMove 监控工作线程（即当前正在训练 ML 模型的边缘服务器）的端到端训练性能，自适应地探测附近边缘服务器的端到端性能，并调整训练主动管道

OFFLINE PIPELINE CONSTRUCTION

Model Profiling

EdgeMove 发送一个测试模型 和一个测试数据集 到每个附近的边缘服务器用于训练，完成训练周期并返回结果时，客户端将获得其端到端训练性能的估计值。

Model Partitioning

令 表示边缘设备在模型分析中完成一个训练周期所花费的时间， 表示附近边缘服务器的集合， 表示 中第 个附近边缘服务器所花费的时间。我们计算它们每层训练时间如下： 是训练循环中的训练迭代次数， 是目标模型 中的层数。

EdgeMove 下模型分区的目标是最大化管道吞吐量，类似于现有的管道方案。关键是吞吐量平衡，即边缘设备和边缘服务器维持大致相同的吞吐量。注意到边缘设备的训练性能低于边缘服务器，EdgeMove 分区目标是确保处理一个 minibatch（包括前向和后向传递）所需的时间大致等于完成前一个 minibatch 的后向传递所需的时间加上下一个小批量的前向传递。

ONLINE PIPELINE ADAPTATION

在运行时，EdgeMove 监控管道性能并相应地调整训练管道。它可以通过两种方式调整训练管道：1）调整跨客户端和工作器的模型划分； 2）使用新的工作器和可能的新模型分区来调整整个训练管道。

Edge Resource

A Game-Theoretical Approach for User Allocation in Edge Computing Environment

应用程序供应商的另一个重要目标是最大限度地降低为应用程序用户提供服务的总体系统成本。该问题称为边缘用户分配（EUA）问题。

位于边缘服务员覆盖的交叉区域的应用程序用户可以连接到附近具有足够计算能力（容量约束）（例如CPU、内存和带宽）的边缘服务器之一（邻近约束）。

本文了介绍 EUAGame，这是一种寻找 EUA 问题解决方案的博弈论方法。

EUAGame 将应用程序供应商的 EUA 问题建模为 EUA 游戏。在这个游戏中，每个应用程序用户都被模拟为游戏中的玩家，寻找附近的边缘服务器来卸载其计算任务。 EUAGame 然后采用去中心化算法为应用程序用户做出分配决策，以实现游戏的纳什均衡。

SYSTEM MODEL

对于应用供应商，EUA 旨在将其 个应用用户 分配给特定区域的 m 个边缘服务器 。应用用户 的容量需求，用 表示，其中 。边缘服务器 的可用容量用 表示，其中 。

Multi-tenancy Benefit Model

服务器 的 CPU 利用率可以近似为： 其中 由计算任务大小决定，是分配给服务器的应用程序用户数。

边缘服务器 的多租户收益计算公式为： 其中 且 由计算任务大小决定。

User Benefit Model 这样的边缘服务器 被称为 的邻居边缘服务器。 的邻居边缘服务器集由 表示

Cost-Effective App Data Distribution in Edge Computing

在本文中，我们首次尝试从应用供应商的角度将边缘数据分布 （EDD） 问题表述为约束优化问题，并证明其 NP-hardness。我们提出了一种名为 EDD-IP 的最优方法，用整数规划技术精确地解决了这个问题。然后，我们提出了一种名为 EDD-A 的 逼近算法，用于有效地找到大规模 EDD 问题的近似解。

Online Collaborative Data Caching in Edge Computing

在本文中，我们研究了 EC 环境中的协同缓存问题，旨在最小化系统成本，包括数据缓存成本、数据迁移成本和服务质量 （QoS） 损失。我们将该协同边缘数据缓存问题（CEDC）建模为约束优化问题，并证明它是 NP-complete 的。我们提出了一种称为 CEDC-O 的在线算法，以解决所有时隙中的 CEDC 问题。CEDC-O 基于 Lyapunov 优化开发，无需未来信息即可在线工作，并实现可证明的接近最佳性能。

Edge Security

Cooperative Assurance of Cache Data Integrity for Mobile Edge Computing

但是，在高度分布式的 MEC 环境中，缓存数据容易损坏，必须确保其完整性。现有的集中式数据完整性保证方案被MEC的独特特性所淘汰，即与云服务器不同，边缘服务器只有有限的计算和存储资源，并且它们大规模部署并分布在地理上。因此，在地理位置分散、资源受限的边缘服务器上确保缓存数据完整性是一项新的重大挑战。该文提出一种以分布式方式保证边缘数据完整性的CooperEDI方案。CooperEDI采用分布式共识机制，形成自我管理的边缘缓存系统。在系统中，边缘服务器协同确保缓存副本的完整性并修复损坏的副本。我们根据三种具有代表性的方案对其性能进行了实验评估。结果表明，CooperEDI能够有效、高效地保证MEC环境下的缓存数据完整性。

A Game-Theoretical Approach for Mitigating Edge DDoS Attack

在本文中，我们首次尝试解决边缘 DDoS 缓解 （EDM） 问题。我们将其建模为约束优化问题，并证明其NP硬度。为了解决这个问题，我们提出了一种名为EDMOpti的最优方法和一种名为EDMGame的新颖博弈论方法，用于缓解边缘DDoS攻击。EDMGame 将 EDM 问题表述为一个潜在的 EDM 博弈，它承认纳什均衡，并采用分散算法来寻找纳什均衡作为 EDM 问题的解决方案。通过理论分析和实验评估，证明了我们的方法能够有效、高效地解决EDM问题。

CoopEdge: A Decentralized Blockchain-based Platform for Cooperative Edge Computing

本文提出了CoopEdge，一种基于区块链的新型去中心化平台，用于驱动和支持协同边缘计算。在 CoopEdge 上，边缘服务器可以发布计算任务供其他边缘服务器争用。获胜者是根据其声誉从候选边缘服务器中选出的。之后，边缘服务器之间达成共识，记录区块链上任务执行的性能。我们实现了基于 Hyperledger Sawtooth 的 CoopEdge，并在模拟 EC 环境中根据基线和两个最先进的实现对其进行了实验评估。结果验证了 CoopEdge 的实用性并证明了其性能。