资源调度器(一)
LTE资源调度
研究要点、技术目标：研究适应于电力无线专网小区的用户控制和流量均衡技术，主要采用的是LTE动态调度算法，来估算可降低的运维成本，和提高的网络容量及吞吐率。使得终端能根据无线环境及与基站的信令交互，自动调整传输间隔和时段，进而避免拥塞。针对电力系统的三个分区，动态调度是由处于MAC层的调度器实时动态地分配时频资源及所允许的传输速率，对于上行共享信道和下行共享信道是最基本的调度方式，也是LTE默认的调度方式。动态调度在系统设计上要求支持灵活的传输格式和可变长的无线链路控制（RLC）协议数据单元（PDU）。这种结构的设计，对于高数据率的情况，可以增加RLC PDU的长度，降低了额外开销（譬如控制开销），提高带宽的利用率；而对于速率低的业务，可以减少RLC PDU的长度，这种方式灵活性高，但控制信令的开销也大，适合突发性特征明显，实时性要求不高的数据业务。在下行方向，由于数据缓冲区位于eNodeB端，eNodeB能够准确知道每个UE和每个无线承载的缓冲区数据量，因此一般采用基于武县城在RB的调度，这样能够更好地满足QoS的要求。在上行方向，UE是数据的发送端，调度器仍然位于eNodeB端，若采用基于无线承载的方式，控制信令是无法承受的，所以一般采用基于UE的方式，即LCG的方式，eNodeB只需控制为UE分配的资源总量或者允许传输的资源总量，UE在不同的RB间分配资源，要保证优先级高的RB获得更多的资源传输数据，优点是控制简单和信令开销小，缺点是无法获得精确的控制和调度，优先级高
的业务获得服务的实验可能较大。
半持续调度（半静态调度）是在动态调度的基础上引入的，是一种优化方式，主要针对的是分组数据大小相对固定和周期性比较明显的譬如IP语音和实时视频等业务。这种调度方式是由RRC层在建立连接时分配时频资源及所允许的的传输速率，通过RRC信令负责持续调度参数的配置。半持续调度灵活性较差但信令开销很小，适合突发性特征不明显的业务。主要有三个关键的步骤，即半持续调度的激活，半持续调度的HARQ过程和半持续调度资源的释放。【资源调度器】
链路运算是TD-LTE无线网络规划中必不可少的一步，通过它来指导规划区半径的设置，所需基站的数目。链路预算主要是最大路径损耗的计算，并通过特定的传播模型来得出上下行链路覆盖范围。LTE目标峰值速率DL：100Mbps,UL:50Mbps,低延迟CP:100ms,UP:5ms,对于无线网建设，需要对无线网场景进行明确的定义。基于个场景的区域功能和用户群，将无线网络划分为室内类和室外类：【资源调度器】
室外：商务区，居民区，园区，景区，乡村，特殊场景。 室内：商用建筑，生活建筑，大型场馆，交通枢纽，特殊场
景。【资源调度器】
TD-LTE采用由NodeB构成的单层结构，这种结构有利于简化网络和减小延迟，实现了低时延，用户面时延小于5ms,控制面时延小于100ms,可变带宽范围，提高小区边缘用户的数据传输速率，低复杂度和低成本的要求。
资源调度器(二)
资源调度策略
一体化桌面云架构下资源的调度与管理(见附件《面向一体化桌面云架构的资源调度与管理策略》)
在一体化的桌面云架构中，将以此资源调度过程划分为四个步骤：资源请求、资源探测、资源选择、资源监控。
为统一管理这些虚拟资源，将每个可用的虚拟资源抽象成一个可调度单元（Unit），每个Unit 由一个二元组V（C，M）确定，其中C 表示CPU 大小，M 表示内存大小。则一台物理服务器Si 最多能虚拟的Unit 数为：单数据中心可用资源总数为
,。同时引入分组的思想，将具有相同使用特点的资源分组，从而避
免因统一调度大量无规则资源对云平台性能的消耗，即为可调度单元引入新属性F，每个Unit 由一个三元组V（C，M，F）决定，其中F 表示资源的核心特性，结合上文对生产任务型终端的分类，生产任务型场景下共包含三类不同特性的虚拟资源。当用户登入云平台，并输入相应能力需求即完成了资源请求。云平台接到用户资源请求之后，会首先通过安装在每台服务器节点上的数据收集模块探测节点负载信息（即：计算每个资源节点剩余的不同特性的可用资源数量）与服务器响应时间。
然后采用动态优先权（Priority）算法，选择Priority 值最高节点，将其上与用户特性相 匹配的虚拟资源交付给用户。动态优先权（Priority）算法即将服务器分组,给每个组定义不同优先权，用户请求会分配给优先权最高的服务器组（在同一组内，采用轮询或比率算法，分配用户的请求）。每组服务器的Priority 值由当前节点的负载情况与服务器响应时间共同决定。动态优先权算法的核心思想是用户请求由当前负载最小且响应最短的资源节点承载。Pr iority = Unittotal × F + LT × μ ,其中F表示用户需求特性权重，LT表示服务器响应时间，μ 表示时间优先权转换比。当用户请求到达时，Priority 值动态更新。 最后云平台会跟根据运行在每个节点上的Agent 反馈的状态信息对每个服务器节点进行实时监控，一旦某个节点发生故障，云平台会将用户桌面迁移至其他资源节点。
虚拟机平台下虚拟资源的自适应分配策略与机制研究（颜燕娜 杭州电子科技大学）
资源调度器(三)
云计算环境下实验室软件管理
摘 要：随着高校教学改革的深入推进，社会信息技术的飞速发展，有效提高高校实验室实验平台的利用率，增强高校实验室实验平台的服务能力，已经成为亟待解决的问题。本文采用云计算技术，提出了基于云计算的数字实验平台的构建方案，使得传统数字实验平台的交互性、开放性和优化性得到有效提高。 关键词：云计算 数字实验平台 资源调度
中图分类号：TP3-05 文献标识码：A 文章编号：1672-3791（2013）02（b）-0031-01
1 基于云计算的数字实验平台的构建意义
高校学生实验活动是学习科学知识的重要课程，有利于培养学生的逻辑思维能力和创新意识。由此，高校实验室建设是考核高校教学水平的关键指标。数字实验平台的发展建设需要遵循节约资源、合理配置、高效服务、标准开放等原则。因此，本文结合云计算技术，对数字实验平台的建设进行深入研究。为了能够有效提高高校传统数字实验平台的资源优化配置和服务能力，结合云计算技术，提出了基于云计算的数字实验平台的建设方案，为高校用户提供实验资源服务，属于一种创新应用模式，改善了传统数字实验平台的限制和束缚，促进数字实验平台的规范化、标准化、高效化发展。基于云计算的数字实验平台的建设目标是使实验平台能够满足用户开放性需求，以及资源合理配置，实现高校学科与学科之间资源信息的交换共享，提高实验平台的利用率。对于数字实验平台的发展建设具有良好的促进作用。随着云计算技术的飞速发展，为建设规范、开放、高校的数字实验平台提供了有力支持。因此，如何能够高效利用云计算技术，建设一套性能良好、利用率高、标准规范的基于云计算的数字实验平台仍然需要进一步探索研究。
2 基于云计算的数字实验平台的总体设计
2.1 平台设计目标
基于云计算的数字实验平台指的是通过云计算技术，将高校的海量实验资源进行有效整合，将实验资源“云”化，向用户提供需要的实验资源。基于云计算的数字实验平台将用户提出的实验资源需求当作一个具体实验任务，按照优先级别形成任务资源池之后实施实验任务分配，还能够根据不同的功能将任务资源池重新分为多个具体功能资源池，以实现实验资源的统一调度。
基于云计算的数字实验平台的实验资源可以根据高校实验室设备的配置情况随时实现资源扩容，高校学科内实验资源呈现交互共享，学科与学科之间的实验资源也可以实现交互共享，因此，这种数字实验平台具有良好的开放性和扩展性，真正提高实验资源的利用效率。
2.2 平台体系架构
（1）资源层；资源层负责有效整合各个学科的海量实验资源，成为一个资源池。资源层由大量实验设备组成，可以根据高校实验教学需求的提升随时实现扩展。（2）平台层；平台层的是负责对实验资源进行统一调度，完成实验任务的合理分配。平台层包括实验资源管理器、任务管理器和资源调度管理器，是整个数字实验平台的核心部分，能够随时整合各个学科的实验资源，为用户提供动态服务。（3）应用服务层；应用服务层主要为使用实验资源的用户提供相关接口，方便用户通过互联网对实验资源发起访问，用户利用各种服务接口随时能够接入到应用服务层，对自己需要的实验资源进行访问。
3 基于云计算的数字实验平台的详细设计
（1）资源管理器；基于云计算的数字实验平台的资源管理器主要对接入实验设备的资源进行管理，向用户提供实验资源服务，具有三个功能，分别是实验资源划分、实验资源分析和实验功能等级标注。资源管理器接入的实验设备分为两种：一是物理资源。二是虚拟资源。当物理实验设备接入到平台中，要按照虚拟化情况进行分组，根据实验设备的不同功能分别执行实验资源池的任务，每一个功能资源池都包含了多个物理实验资源节点，或者由多个虚拟机资源节点构成，当完成对资源节点的标注之后，成为能够满足用户实际需求的资源池。（2）任务管理器；基于云计算的数字实验平台的任务管理器负责对实验任务进行处理，具有实验任务分析、实验任务划分和实验任务优先级标注三个功能。当任务管理器接收到用户提出的请求之后，对实验任务进行分析，按照用户实际需求和执行时间，以及实验任务的优先级别插入到实验任务队列中，再按照实验任务的特点进行任务分割，形成多个具体实验任务，完成对具体实验任务的标注之后，形成一系列实验任务池。（3）资源调度器；基于云计算的数字实验平台的资源调度前主要负责完成对任务池的实验资源分配和调度管理，实现实验任务与实验资源的最佳匹配。而且，资源调度器还能够对实验任务和实验资源进行检测，对实验任务的执行情况、实验资源的统一调度进行有效管理。当实验任务执行完成之后将信息返回给用户，释放实验任务分配到的资源。
4 基于云计算的数字实验平台的核心模块设计——资源调度
（1）资源池调度器；资源池调度器主要负责对实验任务完成过程中需要的实验功能资源池进行分配。功能资源池是具有某种特定功能的实验资源的整合，包括物理实验设备，以及虚拟机设备等等，可以并行处理多个实验任务，由此可见，在实验资源分配过程中如果想要花费最少、执行最快，对临近实验任务的资源池的选择非常重要。（2）负载均衡器；负载均衡器主要负责保证实验功能资源池的负载均衡，在功能资源池由虚拟机组成的情况下，需要通过对虚拟机进行配置达到预留资源的目的；在功能资源池由物理实验设备组成的情况下，需要通过资源分配策略来达到资源功能池的负载均衡，目的都是为了保证功能资源池能够向用户提供资源服务。（3）综合调度器；综合调度器的主要功能是监控实验资源的运行情况，当物理实验设备或虚拟实验设备出现故障问题时，通过及时调度调整选择适当的迁移主机，保证实验资源的动态迁移，使得数字实验平台的资源节点能够稳定运行。
5 结论
综上所述，本文分析了目前高校传统数字实验平台存在的问题，提出了数字实验平台的发展方向，给出了基于云计算的数字实验平台的构建方案，详细阐述了基于云计算的数字实验平台的核心模块—— 三层资协同源调度机制。本文采用云计算技术，将高校各个学科的实验资源整合之后形成资源池，按照用户实际需求为其提供服务。因此，本文提出的基于云计算的数字实验平台具有开放性强、规模庞大、按需服务等特点。
参考文献
[1] 赵俊兰.基于网络技术虚拟实验的研究[J].实验技术与管理，2011（3）.
[2] 赵肄江，胡蓉.基于虚拟化的绿色云计算[J].湖南科技大学学报（自然科学版），2010（4）.
[3] 曾赛峰，朱立谷，李强，等.企业级私有云中的虚拟化实现[J].计算机工程与应用，2010（36）.
资源调度器(四)
YARN资源分配引入时间因素的研究
摘要：Hadoop2使用YARN平台进行资源管理，支持更多的计算框架和可插拔的资源调度器。现有的资源调度机制中并不支持时间因素，而新的应用方向需要YARN对预分配、实时性、截止期限等与时间密切相关的资源调度提供支持。本文对YARN进行扩展，以支持各种与时间相关的调度策略。 关键词：Hadoop YARN；资源请求与分配；时间因素
中图分类号：TP3 文献标识码：A 文章编号：1009-3044（2016）17-0272-03
作为Apache顶级项目之一，Hadoop可以使数据分析工作分布在成千上万台普通计算机组成的集群上同时运行，同时具备良好的扩展性和容错性。随着信息技术越来越广泛的使用，人们需要处理的数据量呈爆发式增长，为充分利用Hadoop集群处理能力，集群中的资源分配是一个关键环节。Hadoop从 2.0版本开始使用YARN通用资源管理平台，从而使得资源管理工作从MapReduce v1计算框架中分离出来，并支持Storm、Spark等其他计算框架在其上运行。
YARN中目前集成了Capacity Scheduler和Fair Scheduler两种资源调度器，支持在多用户、多任务环境下平衡资源分配，达到共享Hadoop集群的目的，并提供了诸如优先级、标签管理等措施来帮助集群资源的管理。然而，YARN中现有的调度几乎没有考虑时间，而在实际的资源调度需求中，时间也是一个重要的因素，特别是在支持资源预留的调度中。文献[1]指出基于资源预留的调度对集群的利用率几乎可达到100%，而Capacity Scheduler不超过80%；文献[2，3]基于Hadoop来实现高实时需求的软件系统；基于截止时间的调度策略[4]和可同时启动多个Container的Gang调度策略[5]也在研究中。因此，需要扩充YARN现有资源请求和调度框架，增加时间因素，各种调度策略从其中获得资源和时间需求并进行资源调度，从而弹性地满足作业对时间上的需求和更充分地利用资源。本文通过对YARN中的资源调度环节进行分析研究，定义了可自定义的时间标记定义，扩充了现有的资源请求方式，从而将时间因素与现有的资源分配结合起来。
1 YARN资源管理平台简述
RM（ResourceManager）是YARN中的核心模块，负责整个集群所有资源的统一管理和分配；集群中每个提供资源服务的结点由其内部的NM（NodeManager）进行管理； NM中的资源以Container的形式进行分配，每个Container封装了一定的资源量。
客户端可以向RM提交作业（Job），每个作业将被分为多个子任务（Task），并分布到Hadoop集群中的多个结点并行地运算。作业提交到RM后不会马上被运行，而是由RM先分配一个合适的Container，以容纳该作业的AM（ApplicationMaster）。AM是该作业申请资源及内部管理的必要部件。AM向RM注册成功后，便可持续地申请资源来运行子任务。RM通过内部的调度机制为请求分配资源，AM通过周期性的心跳来获取这些以Container形式表示的资源。AM得到Container后，与Container所在的NM通信以真正获得资源，并在Container中运行子任务。
NM用心跳机制定期向RM汇报结点信息以及Container信息。
2 资源分配中引入时间因素
Hadoop集群在实际应用中，由于其上运行的作业不同，数据的多样性，集群本身的异构性等，从而对资源分配有不同的需求，进而产生各种调度策略。这里我们并不对具体调度策略做讨论，仅关注如何在申请资源时引入时间因素。
2.1 扩展ResourceRequest
AM申请资源时，用ResourceRequest对象描述所需资源。为引入时间因素，我们扩展现有的资源请求环节，采用新的ResourceDescription类封装原有的ResourceRequst，并在类中引入对时间需求的描述。增加时间因素并不会改变YARN的原有流程，仅是对其中的操作有部分扩展。资源申请流程分析如下（图1）：
1）AM通过RPC函数与RM中的ApplicationMasterService通信，并传递ResouceDescription对象，该对象中包含了原有的ResourceRequest对象，并增加了时间或其他资源相关条件。由于该通信是周期性调用，因此也称为心跳。
2）ApplicationMasterService调用ResourceScheduler.allocate（）函数，将资源需求汇报给ResouceScheduler。
3）ResourceScheduler根据调度策略分配资源，并以Container形式更新到相应的数据结构中。现有调度只能在收到资源请求时立即分配，增加了时间因素后，可在将来的某个时间才进行资源分配。
4）每次心跳会返回AllocateResponse应答对象，包含分配的Container及集群规模等信息，AM获取信息后与对应的NM通信以真正启动Container并运行子任务。
图1 ApplicationMaster申请资源流程
2.2 时间需求格式
在分配和占用资源时，可能涉及的时间需求可能包含起始时间、截止时间、占用时长等等。在具体实现中，如果用对象来传递各种时间条件，那么当时间条件需求发生任何变化，都需要修改对象类型，且难以满足复杂的条件组合例如与、并、非逻辑。因此在传递时间条件时，采用独立于语言平台的JSON格式数据以避免上述的缺陷。通信双方可通过预定义字段和取值类型，并相应实现解释器，从而达到交换数据的目的。 在支持时间条件的资源分配机制中，可能的字段及解释如下：
1）DemandID：
客户端向RM发送资源请求时生成的流水号。在引入时间条件后，该流水号对应的资源可能在将来某时刻被分配。
2）Start： {
