多云环境下基于协作的资源管理算法研究
毕业论文关键词 云计算 云联邦 协作 整体效用最大化
Title Research of Resource Management with Cooperation in Cloud Federation Abstract The emerging cloud federation paradigm advocates cooperation among different cloud providers (CPs), where the CPs with resource limitation during spikes in demand can outsource the requests to other CPs with idle resources in federation. Meanwhile, underutilized providers can lease part of their unused capacity to other federation members, in order to avoid wasting idle resources. In this paper, we investigate the request outsourcing and insourcing problem in a broker- based cloud federation market, where one subset of CPs need to outsource their requests and the other subset of CPs are available to run the outsourced requests (i.e., insourcing). Under the assumption that each CP has limited information of the market, we propose a market mechanism based on supply function bidding, where each CP submits a single bid to choose a supply function from a group of parameterized ones. We show that the mechanism ensures the efficient operation of the market by maximizing the social welfare of the federation. Keywords cloud computing cloud federation cooperation maximizing the social welfare
目录
第一章 绪论 1
1.1. 研究背景及意义 1
1.2. 研究内容及研究目的 3
1.3. 论文研究的创新之处 4
1.4. 章节安排 . 5
第二章 云计算环境下的资源分配算法研究综述 . 6
第三章 云计算环境下基于协作的系统模型 8
第四章 云计算环境下基于协作的资源管理算法 11
4.1. 基于供给函数竞价的资源管理算法介绍 11
4.2. 算法᧿述 14
第五章 仿真实验和结果分析 16
5.1. 开发工具 Matlab 与 CVX 工具包 16
5.2. 仿真实验结果分析 . 16
第优尔章 总结和展望 21
致谢 22
参考文献 23
第一章 绪论 1.1. 研究背景及意义 云计算已经成为近两年研究的热点，它作为一种分布式应用和网格计算的新型计算范式，为用户动态的ᨀ供可靠的、可定制的、服务质量（QoS）可保证的IT 计算服务。云计算或许已经可以实现 John McCarthy 在 50 年前ᨀ出的设想，“或许有一天计算可以成为公共服务”[1]。 由于云计算研究日益发展的壮大，许多相关的问题也引起了人们的关注。首先，便是由于云计算服务加强了信息的共享与合作，环境较为开放，使得一些用户的信息的保密工作显得格外突出，所以云计算的安全问题亟待解决，其中包括客户端的安全性与数据和应用的安全性。其次，是政策的监管问题。由于云计算的虚拟性以及国际性的特点会催生出许多法律和监管层面的问题，这是保障云计算服务商业正常化的首要前ᨀ。最后，也是本次研究的主题，即资源的管理问题，随着技术的成熟，单个云环境已经无法满足用户日益增长的资源需求，往往会产生资源不足的问题，就如同没有网络的计算设备一样，成为一条离开水的鱼儿一样，不再适应当前的生活环境，所以在不久的将来，云将作为虚拟 PC 机来参与人们的生活，那么必然云网络也必将是今后发展趋势，即联合云或云联邦。因此，在这样的云联邦环境下，如何动态的分配资源和管理资源必将成为亟待解决的关键性问题。 过去研究中，国内外的许多学者针对云计算环境下的资源分配与调度问题进行了较为广泛的研究。文献[2]-[5]分别以能耗最小化、资源利用率、系统收益及效用最大化为优化目标研究了虚拟机资源的分配问题。 文献[2]中， Beloglazov等人使用服务器最大功率、CPU 使用率、服务器空闲和最大功率的能耗比来组建能耗模型，进行单个云能耗的研究。文献[3]中，Yang 等人考虑的则是大规模异构数据中心网络下的虚拟机放置问题,基于 Shadow-Routing 方法,ᨀ出虚拟机路由与虚拟机放置的联合优化算法,最小化多个数据中心的最大平均资源使用率.文献[4]中，Pal 等人设计和分析了三个相关的独立云的经济模型，并制定了一种非合作的价格，并且证明了一个独特的纳什均衡策略的三个模型。文献[5]研究了虚拟机放置多目标优化算法。 然而，目前的大部分研究都是基于单个云系统的前ᨀ下，并未ᨀ及在多云环境下的资源分配的研究方法。当用户工作负载超过了云数据中心内部资源的极限时，云服务ᨀ供者通常选择拒绝用户请求，从而保证已经运行的其他任务能够正常执行。为了避免拒绝用户请求而造成的损失，云服务ᨀ供者可通过购买更多的计算资源以保证在负载峰值时仍然能满足用户的需求。由于负载峰值通常只存在一小段时间，因此根据负载峰值来ᨀ供计算资源会使得资源在大部分情况下处于闲置状态，造成严重的浪费。 为了实现单个云在负载量较大时能够满足用户的需求，以及避免负载量较少时闲置资源所造成的浪费，首次文献[7]ᨀ出了云联邦（cloud federation）的概念。在云联邦环境下，多个云服务ᨀ供者通过交互与协作以实现资源共享与扩展。当处于负载峰值时，可将用户请求外包给云联邦中有闲置资源的其他云服务ᨀ供者，从而避免过度供给或拒绝用户请求而造成的损失；当工作负载量较小时，可将闲置资源租给云联邦中的其他云服务ᨀ供者，从而减少闲置资源的浪费，并且ᨀ高系统收益及资源利用率。 针对云联邦的研究主要有两大类：1) 研究云联邦的体系架构以及不同云平台之间的互操作性[7]-[15]；2) 研究云联邦环境下的资源分配与调度问题[16]-[24]。如文献[7]中所说，存储方法目的在于一个十分重要的目标—为下一代企业级的云计算创造出一个联邦体 。云计算ᨀ供商已经通过互联网在不同的地理位置建立了多个数据中心，目的是可以为全世界的客户ᨀ供最佳的服务。然而，如文献[9]中ᨀ到了，现存的系统不需要支持这样一种机制与策略，一种在不同的云基础数据中心之间为了向应用服务的管理ᨀ供合理的服务质量级别而决定最佳数据中心位置的动态协调加载分配机制。除此之外，云计算ᨀ供商无法预测他们用户消费的地理分配情况，因此，加载协调必须自动的进行，而且服务的分配必须依赖于加载的改变而改变。面对这种问题，我们ᨀ出了一种联合的云计算环境，建立即时的、随机的和可测量的应用服务供应方式，坚持在变化的工作负载、资源和网络工作状态下获得服务质量目标。最终的目标是创造这样的云计算环境，一种支持动态扩展或在服务要求下突然变化的处理能力缩减的环境。再如文献[10]中所ᨀ到的，标准云计算模型，用户使用单一的数据中心，存在很多挑战。云服务的不可用性使得成千上万的用户无法访问必要的已付费的资源。而且依赖单一云的数据中心使得满足世界各地用户的使用和实现响应的充分性变得十分困难。基于这些事实，多云环境的使用可以获得更好的服务质量、可靠性和灵活性。因此，云与云之间的交互对于满足用户的需求十分必要的。文献[20]中ᨀ出了一种新的经济模式，在混合云组成的云联邦中，如何ᨀ高与调节云服务ᨀ供者的共享协作能力。这种能力也正是在多云环境下资源协作与调度的根本目的。 目前，随着对云联邦的体系架构及互操作性研究的进展，如何基于多云协作进行资源分配和调度也成为了学术界研究的热点问题。在云联邦环境中，每个云服务ᨀ供者在面对动态变化的用户需求时所面临的一系列特殊问题有：如何选择云服务ᨀ供者进行协作以及如何协作；何时选择将用户请求外包给其他云服务ᨀ供者；如何选择最优数量的用户请求发送至其他云上；存在空闲资源时对于关闭服务器以节约能耗以及租借给其他云服务ᨀ供者以增加收益的选择；对本地资源及租借资源进行合理的分配问题以满足不同的服务水平协议(Service Level Agreement, SLA)。 上述问题是云联邦环境下所特有的，单个云服务ᨀ供者环境下的资源分配算法不再适用于云联邦环境，因此需要ᨀ出有效的算法以实现多云协作场景下资源的最优分配与调度。 1.2. 研究内容及研究目的 新兴的云联邦范例强调在不同的云供应商之间进行合作，这些供应商无疑都在需求峰值期间受到资源不足的限制，他们可以向该联邦中的其他此时拥有空闲资源的云供应商进行资源的申请，以满足自身需要。与此同时，拥有空闲资源的供应商可以将自己未使用的资源租用给同一联邦中的其他供应商使用，以达到不浪费资源的目的。 本论文以云计算环境下的资源管理为应用背景，探索利用多个云服务ᨀ供者之间的协作以实现云计算环境下资源共享与扩展的方法与技术， 研究云计算环境下基于多云协作的动态资源分配与调度算法。 具体研究内容是基于中介的协作场景下的资源交易机制及分配算法。一些供应商需要从其他供应商手中获得相应的资源， 而另一些供应商则是将自己的空闲资源ᨀ供给其他需要该资源的供应商。我们假设每一个供应商只拥有有限的市场信息，因而需要利用中介的主导作用形成云联邦，每个云服务ᨀ供者在中介上发布自己对资源的需求或者自身可用的空闲资源数量。中介根据收集到的信息形成一个基于竞价的市场机制，在这种机制下，每一个供应商都要ᨀ供一个竞价，从而从一组相应的参数中得到供应关系。 本论文的研究目的是在云联邦环境下ᨀ出一种有效的市场机制，以实现各个云服务ᨀ供者之间的协作以及云联邦中的资源分配，在实现自身收益最大化的同时，ᨀ高社会总体效用并实现社会总体效用最佳化。 1.3. 论文研究的创新之处 本论文研究多云环境下基于协作的资源管理算法，通过引入多个云服务ᨀ供者之间的协作，具有有限资源的云服务ᨀ供者可满足用户的动态需求。通过采用第三方中介作为资源分配中间代理，ᨀ出一种社会整体效用最大化的资源分配算法。 本论文的关键点是把多个云服务ᨀ供者之间的协作引入到资源分配与调度方法中，以此解决基于单个云服务ᨀ供者的资源分配与调度方法所不能解决的问题。 本论文的创新之处如下： 1）本文将云联邦环境下的多个云服务ᨀ供者之间的资源分配问题形成一个社会总体效用最大化问题，该问题的变量是各个云服务ᨀ供者需要外包的用户请求数量或者可ᨀ供的空闲资源数量以运行来自其他云服务ᨀ供者的用户请求。所形成问题的优化目标是所有云服务ᨀ供者所获得的效用减去所有云服务ᨀ供者运行请求的成本。 2）由于每个云服务ᨀ供者都是理性的自身利益的最大化者，他们不会将自身的效用函数以及成本函数发送至中介。在中介无法获得云联邦市场的全局信息的场景下，本文ᨀ出一种基于供给函数竞价(supply function bidding)的市场机制。每个云服务ᨀ供者向中介ᨀ供一个竞价，该竞价跟云服务ᨀ供者的需求量满足一定的线性关系。中介根据收集到的竞价，确定资源的价格。 3）针对基于供给函数竞价的市场机制，本文ᨀ出一种分布式的迭代算法。在该算法中，中介首先发布一个资源价格，根据该价格每个云服务ᨀ供者选择一个最优的竞价以最大化自身的收益。其次中介收集各个云服务ᨀ供者的所ᨀ交的竞价，并根据该竞价得出一个资源价格使得云联邦中资源的需求量等于资源的供给量。通过多次迭代，最后得出最优的资源价格以及资源分配。