基于预拷贝的迁移算法优化,当数据已满时，需要更长时间的预拷贝技术还是重建？...

3.0 闻远设计 2023-10-08 49 4 19.18KB 5 页 5光币

侵权投诉

基于预拷贝的迁移算法优化,当数据已满时，需

要更长时间的预拷贝技术还是重建？...

基于预拷贝的迁移算法优化

当数据已满时，预拷贝技术和重建中哪一项需要更长时间...当数据满了时，哪种预拷贝技术和

重建需要更长的时间和更多的计算资源？射手座爱白羊座 99 2018-10-22 |浏览 8个数据分析|报

告

请简述预拷贝技术和重构技术的区别

随着虚拟机技术的快速发展，高性能计算环境对硬件平台的依赖得到了有效解决。虚拟机动态

迁移技术支持无缝快速迁移，广泛用于改善系统负载平衡、容错入侵和节能管理。然而，内存

状态迁移及其动态变化所涉及的大量数据逐渐成为研究热点。复制到移动硬盘？它是片段文件

还是视频文件，大约 6-10 个小时

当数据已满时，需要更长时间的预拷贝技术还是重建？...

当数据已满时，预拷贝技术和重建中哪一项需要更长时间...当数据满了时，哪种预拷贝技术和

重建需要更长的时间和更多的计算资源？射手座爱白羊座 99 2018-10-22 |浏览 8个数据分析|报

告

请简述预拷贝技术和重构技术的区别

第四章基于预拷贝的迁移算法优化

目前，在基于容器的分布式云计算平台下，会出现集群负载不均衡的问题，因此需要将负载较

高服务器中的容器迁移到其他相对空闲的服务器中。在第三章中的 OMNM 算法之后，热点容

器和目标服务器都被挑选出来，进行容器具体的内存页迁移操作。传统的预拷贝方式忽视了内

存页的特征，导致一些经常被修改的内存页在前期的预拷贝阶段被拷贝多次。因此，本章提出

了一种优化的预拷贝算法（OPCA），引入预测模型，根据容器中有一部分的内存页经常被改

变的特征，尽量把这些内存页放在最后的宕机拷贝里面进行，而在拷贝前期，去拷贝那些改变

较少的内存页。

4.1 研究背景

在具体的容器内存迁移算法范畴，根据拷贝的顺序，主要分为预拷贝和延迟拷贝[42]

两个大方向。预拷贝就是先把内存页拷贝过去，再迭代拷贝脏页。延迟拷贝则是先宕机，把

Docker 容器的状态信息拷贝到目标服务器，等容器在目标服务器中重启之后，再开始通过网络

连接传送内存页。两种拷贝方式都会有一段准备资源时间，预拷贝的性能表现依赖于当前容器

中运行的应用和网络带宽，如果容器中的应用会产生大量脏页，则拷贝时间会延长，且性能会

下降。而延迟拷贝的性能主要依赖于工作负载和网络链路速度。基于容器生命周期短的性质，

本章选用预拷贝的方式来对迁移进行优化。而最典型的优化预拷贝算法有两类：一种是基于内

存压缩的优化算法，另一种是基于预测的优化算法。

4.1.1 基于内存压缩的优化算法

此类算法的研究重心是在拷贝容器的内存时，采用内存压缩的方式，尽量的减少空白页的拷

贝，用最少的空间把内存信息传输过去。常见的内存压缩算法有LZW 算法

（Lempel-Ziv-Welch），哈夫曼树，RLE（Run Length Encoding），Rice 等。大部分压缩算法

都是根据这些经典的压缩算法进行优化得到的。下面来介绍一下经典的LZW 算法。

LZW 算法[43]是一种比较经典的内存压缩算法，和哈夫曼树等算法都是属于无损压缩的范畴。

它的核心思想是利用字符的可重用性，每当有一个新的编码输出的时候，就会有一个字符串存

入字典中。算法之初，会把原始文件中的不同字符提取出来，然后根据这些字符的索引来替代

原始文件中的相应字符，从而最终减少传输的文件大小。图4.1 是LZW 算法的流程：

由图 4.1 可知，LZW 的算法是有局限的，它所适用的场景是原始数据中存在大量的重复串。重

复的地方越多，LZW 算法的表现就越好。反之，可能会毫无效果甚至是起到反效果。

而在 Docker 容器云环境中，其内容的重复度如何，显然不容易去预知的。另外，此类压缩算

法发展的比较成熟，优化的空间也比较小。所以现在的研究点集中在对内存页再更改率的预测

上。

4.1.2 基于预测的优化算法

基于预测的优化算法是围绕内存页的预测展开的。一般的做法是根据内存页在一段时间内被修

改的概率，计算该内存页再次被更改的概率。常见的预测模型有灰色模型，蚁群算法模型，回

归模型 AR（n）。例如常用的 AR（n）模型[44],就是根据前几次的历史数据来预测下一个的数

据。

假设在AR（n）模型中，已经观测到前 k-1 个值，分别为 y1, y2, y3, … yk?1,那么根据模型可以

计算出第 k个值为：

同样，第 k+2 步的预测值可以由 k+1 步的观测值和前 p-2 步的观测值之和，其他值可以用同样

的思路进行推导。

因为针对的是内存页的预测，所以对算法的精准度要求较高，像简单的预测模型是不够的，必

须要增加修正模型。

4.2 传统的预拷贝算法

4.2.1 预拷贝模型

目前，大多数的容器迁移算法都采用预拷贝[45]的方式。其大概流程是先在第一轮迭代拷贝中

将所有的内存页从源容器拷贝到目标容器中，然后将源容器中状态信息传送到目标容器中。预

拷贝最大的优点就是可靠性。当拷贝失败的时候，可以恢复原先的状态。

如图 4.2 所示，在一开始的阶段，需要确定好待迁移的热点容器。之后发起迁移请求，开始进

行容器内存页的拷贝过程。先进行第一轮拷贝，再迭代拷贝 N次。为了让用户察觉不到停顿，

迭代拷贝都是在容器运行的状态下完成的。每一次拷贝之后，容器中正在运行的应用在很大概

率上会修改内存页，所以在下一次迭代拷贝过程中，还要对这些区域进行拷贝。

在第 N轮迭代拷贝完成后，源容器会停止运行，将所有的脏页一次性拷贝到目的容器中，然后

目的容器开启服务，继续完成用户提交的应用。

4.2.2 预拷贝算法的分析

预拷贝算法是一种比较常见的内存迭代拷贝方式，但其最大的缺点就是没有对内存页的特性进

行细致的分析。有的内存页是属于高脏页率[46]的内存页，每一次迭代拷贝的时候，都会发现

此内存页重新成为脏页，这就意味着每一次迭代拷贝过程都需要把该内存页拷贝过去，无形中

增加了拷贝的数据量。最好的解决办法就是能够对这些内存页做预测分析，对于那些高脏页率

的内存页，可以放到后面，甚至是最后一轮拷贝中进行。

4.3 优化的预拷贝算法

4.3.1 OPCA 的迁移模型

在传统迁移模式的基础上，增加了一个预测模块用于对内存页修改状况的统计，用来收集相关

数据，作为算法的原始数据。

如图 4.3 所示，从源服务器上迁移源容器到目的服务器中的目的容器。监视模块一直在收集容

器中每个内存页的读写状态，如果内存页被写入就标记为1,只读或者其他不影响内容的操作标

记[47]为0.监视模块得到的数据被传送到预测模块，在每次迭代拷贝内存页的时候，对脏页再

次被修改的概率进行一个预测，如果概率较高，则放在最后一次迭代中进行，如果概率较小，

则直接进行拷贝。本章提出了 OPCA,通过结合灰色模型和马尔科夫预测模型，对脏页再次被修

改的概率进行预测，选取长期保持高修改概率的脏页进入热工作集，留到最后一次进行拷贝，

而对概率较低的进入冷工作区，直接进行拷贝。

4.3.2 工作区的划分

为了更好的提高拷贝的效率，避免冗余传输，这里引入了工作区的概念。现在把工作区域分为

下面几种：（1）空闲工作区（Free Workspace）：只被读取或者不做任何操作的工作区域，不

参与脏页拷贝过程。（2）总工作区（Total Workspace）：

即参与脏页迭代拷贝过程的区域，按照脏页再次被修改的概率具体分为三个区域，冷工作区

（Cold Workspace），温工作区（Warm Workspace），热工作区（Hot Workspace）。冷工作区

是脏页再次被修改概率较低的一个区域，参与每次的迭代拷贝。这里引入温工作区的目的是在

前期内存状态数据较少时，减少不必要的误差，同时也起到一个分层拷贝的作用。热工作区存

放的是被修改概率高的内存页，放到最后一次拷贝过程中进行。（3）脏页集（Dirty Set）：当

前被修改的内存页集合。（4）发送集（Send Set）：最终发送的脏页集合，不包括在预测过程

中变成脏页的那部分内存。其中，总工作区是迭代拷贝涉及到的主要区域。图4.4 展示了总工

作区域中各层次工作区与脏页集之间的关系。

如图 4.4 所示，总工作区被分为三个层级。冷工作区和温工作区与脏页集的关系十分密切，根

据一定的条件，脏页集中的内存页会被标记在冷工作区或是温工作区。另外，冷工作区与温工

作区中的内存页会互相交换，而温工作区中的内存页升级到热工作区中后不会降级。

4.3.3 预测模型的选择

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

5 光币 4人已下载

立即下载

摘要：

基于预拷贝的迁移算法优化,当数据已满时，需要更长时间的预拷贝技术还是重建？...基于预拷贝的迁移算法优化当数据已满时，预拷贝技术和重建中哪一项需要更长时间...当数据满了时，哪种预拷贝技术和重建需要更长的时间和更多的计算资源？射手座爱白羊座992018-10-22|浏览8个数据分析|报告请简述预拷贝技术和重构技术的区别随着虚拟机技术的快速发展，高性能计算环境对硬件平台的依赖得到了有效解决。虚拟机动态迁移技术支持无缝快速迁移，广泛用于改善系统负载平衡、容错入侵和节能管理。然而，内存状态迁移及其动态变化所涉及的大量数据逐渐成为研究热点。复制到移动硬盘？它是片段文件还是视频文件，大约6-10个小时当...

展开>> 收起<<

基于预拷贝的迁移算法优化,当数据已满时，需要更长时间的预拷贝技术还是重建？....docx

共5页,预览2页

还剩页未读，继续阅读

基于预拷贝的迁移算法优化,当数据已满时，需要更长时间的预拷贝技术还是重建？...

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: