基于云计算的校园云的设计与开发.doc

1、 目录引言31.云计算32.虚拟化33.SaaS、PaaS 和IaaS44.校园云44.1现有资源配置的缺陷44.2 校园云的优势55.校园云的理论分析55.1校园云的架构55.2基础设施层65.3资源监控75.4负载管理75.5冗余备份75.6动态部署75.7快速部署75.8资源调度75.9多租户技术75.10海量数据处理85.11大规模分布式存储85.12数据结构化管理96. 校园云的实施96.1基础云设施96.2云平台106.3高性能计算平台117. 校园云的各层云服务平台的选择117.1 OpenStack平台基础设施层117.2 Hadoop平台层127.3 应用层的用途158.小结

2、169.参考文献1615引言当今的IT 时代，云计算是所有IT 厂商所追求的计算模式，也是既网格计算之后的一个新的计算模式，云计算是一种新兴的共享基础架构的方法，它可以将巨大的系统池连接在一起以提供各种IT 服务，利用互联网连接的数据中心和服务器进行高效计算和信息存取的系统，使计算能力可以像电能一样提供给客户。在高校中，各院系部处之间彼此相对独立，资源的管理也相对独立，但有着相近的计算机服务需求，例如信息发布，办公自动化以及科学计算等。通过云计算服务系统为各院系部处提供统一的云计算服务平台，可以极大的提高资源的利用率，同时使用者不需要懂专业的计算机技术即可以轻松获得计算机的各种服务。集中的管理

3、也使各部门无需为这些本不是自己专业需要管理的东西付出维护的成本，极大程度上将各用户从繁琐的计算机维护中解放出来。1.云计算云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化和负载均衡等传统计算机技术和网络技术发展融合的产物。它的目的是通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的计算实体，并借用SaaS、PaaS、IaaS 等先进的商业模式把这强大的计算能力分布到终端用户手中。其架构如下图所示：图1-1.系统架构图2.虚拟化虚拟化，在计算机上，是一个虚拟版本而并非实际版本的创建，例如硬件平台，操作系统，中间件、存储设备或者网络资源等。虚拟化的目标是集中管理任务

4、，同时提高可扩展性和工作负载。随着计算机技术的发展，虚拟化技术在计算机中得到快速的发展，在硬件与软件上、在服务器系统与网络系统上，在主机系统与存储系统上，都可以见到虚拟化的存在。通过虚拟化技术，可以提高系统的动态扩展性、设备的复用性和管理的方便性。虚拟化技术的主要作用： 提高硬件和软件的利用率 解决单个硬件不足的情况 方便系统架构的部署、迁移和容灾 实现资源的整合，方便动态扩展 实现资源的复用 实现作用域的隔离在计算机虚拟化中，主要包括软件虚拟化、平台虚拟化和基础设施虚拟化。1. 软件虚拟化软件虚拟化，即将一个软件的实体虚拟成多个副本，它是一种软件共享的模式，即将本来应该独立使用的软件通过虚拟

5、化共享的模式，供更多的用户使用。2. 平台虚拟化平台虚拟化，包括操作系统或者中间件的虚拟化，通过平台虚拟化技术，可以在一个软件系统平台上虚拟多个相近的平台，每个虚拟的平台均可以对外独立提供服务。例如中间件虚拟化，Web服务器虚拟化等。3. 基础设施虚拟化基础设施虚拟化，它主要包括系统虚拟化、网络系统虚拟化和存储系统虚拟化等。通过基础设施虚拟化，可以将有限的硬件资源，包括服务器资源、存储资源和网络资源，虚拟出多个基础平台，每个平台可以独立的为用户提供服务，用户并不知觉平台后端的硬件分布情况。系统虚拟化技术是基础设施虚拟化的主要部分，包括硬分区，即通过硬件实现的虚拟化，软分区，即软件实现的虚拟化。

6、系统虚拟化的主要应用，包括主要两个方面：1.VPS，即虚拟私有服务器2.HPC，即高性能计算系统3.SaaS、PaaS 和IaaSSaaS、PaaS 和IaaS 是云计算模式的三种基本的服务模式，用户通过这些服务模式来获得云计算平台的服务。SaaS，软件即服务，即通过多重租赁的方式根据需要作为一种服务提供的一整套应用程序，也就是说，软件的单个实例运行于提供商的基础设施，即由供应商或服务商托管，并通过网络提供给用户，服务于多个客户端机构。PaaS，平台即服务，即把平台（中间件）当作服务，为用户提供共享的中间件系统，而用户无需下载和安装，客户可以通过该服务将自己的应用程序打包部署以及运行在云中。I

7、aaS，基础设施即服务，指外包于支持操作的设备，包括存储、硬件、服务器和网络组建，即以资源为中心，为用户提供一个虚拟化的基础设施，用户可以将自己的操作系统、各种各样的中间件产品以及应用程序部署到一个虚拟机中，用户可以像使用一个独立主机一样使用虚拟机，而不会感觉有什么区别。4.校园云4.1现有资源配置的缺陷（1）资源分配分散 学校资源除部分公共网站上的资源外，其它资源都存储在分散的电脑主机上，造成信息储存分散；（2）硬件资源利用率低 学校购买大量计算机，但并不是每个时间段都在使用，在空闲时间和计算机硬件未发挥完全作用的情况下将会造成资源的浪费。比如部分电脑空闲CPU及硬盘空间；（3）本地备份安全

8、性低 普通电脑备份资料一般在本机上，安全度低，容易丢失；（4）维护工作庞大 每次对计算机硬件进行升级时都需要单个操作，工序繁琐，投入的成本大，造成更多的空闲资源；为保证计算机的系统安全，必须对每台电脑分别进行杀毒；软件升级时，进行反复的升级操作。总之，传统的高校信息网络已经造成了金钱、资源的浪费，不符合低碳要求。大量重复的工作，造成了很多不必要的管理投入。4.2 校园云的优势（1）超强计算能力，高效率利用资源 校园云计算把大量计算资源集中到一个公共资源池中，通过多主租用的方式共享计算资源。因为校园大部分是局域网，所以单个用户在云计算平台获得服务水平几乎不会受到网络带宽等各因素影响，而且从整个校

9、园资源的角度而言整体的资源调控降低了部分学校电脑峰值负荷提高了部分空闲的主机的运行率，从而提高资源利用率。（2）分布式数据中心保证系统容灾能力 分布式数据中心可将校园云端的用户信息备份到地理上相互隔离的数据库主机中，甚至用户自己也无法判断信息的确切备份地点。该特点不仅仅提供了数据恢复的依据，也使得网络病毒和网络黑客的攻击失去目的性而变成徒劳，大大提高局域网系统的安全性和备份恢复能力。（3）灵活的配置调整方式 通过中央调控，可对用户之间的资源配置进行分享，达到灵活分配。在升级硬件时直接中心大型主机进行分配用户所需配置即可。如需整体升级，也只需对中心大型主机进行升级。省时省力省投资。可以说在校园云

10、中，老师学生在用一个超大硬盘，一个超大功率的CPU，在用一个千兆带宽的网络（4）按需分配，降低成本 由于云计算下的硬件配置都是虚拟分配的，可以自由分配，对于一个用户来说，对方需要什么配置的服务，我们就虚拟开通什么服务，比如不用到现场打开机箱给用户电脑换CPU、换硬盘。这也省去了电脑硬件的购买运送维护费用，而且能根据需要不断扩展开通的服务。不断更换更加适合的配置，提高了资源的利用率。5.校园云的理论分析 根据对校园云计算需求的分析，可以借助云计算技术和云计算的服务模式，在校园建立统一的云计算中心，搭建基云平台云及对应的服务，以满足校园云计算的需求。唯一的不同，即这种模式并非是完全的商业模式，而是

11、一种“免费的”服务模式。5.1校园云的架构 校园云为典型的云架构, 基础技术主要有面向服务架构和虚拟化。大体上可以将校园云分为3 个基本层次: 基础设施层、平台层和应用层, 架构层次示意图, 如图5-1 所示。校园云平台搭建基础设施云 平台层 应用层 图5-1校园云的架构层次示意图 在着手建立校园云之前, 要进行硬件资源梳理分类, 根据不同机器特点分为: 主服务器和监控服务器、应用节点服务器和存储节点服务器、计算节点服务器。校园云系统构架图如图5-2 所示。校园云客户端监控服务器节点服务器图5-2 校园云系统构架图5.2基础设施层 要搭建校园云, 首先面对的是大规模的硬件资源, 这些硬件设施通

12、过校园网相互连接。为了能实现高层次的资源管理逻辑, 必须对硬件资源进行虚拟化。虚拟化的过程一方面屏蔽掉硬件产品上的差异, 另一方面对每一种硬件资源提供统一的管理逻辑和接口。 虚拟化作为校园云的支撑基础,是校园云构架的关键组成模块。虚拟化技术打破了物理结构之间的壁垒, 代表着把物理资源转变为逻辑可管理资源的必然趋势。将高校硬件资源整合形成资源池, 实现资源动态分配、动态负载均衡, 提高资源利用率, 从而达到节能, 实现低碳。同时, 利用虚拟化技术对数据冗余备份, 实现系统的零宕机迁移、备份和快速灾难恢复, 以保证数据安全。 计算资源的集中是通过虚拟化技术来实现的。虚拟化是校园云架构的一种基础性设

13、计技术。虚拟化允许将服务器、存储设备和其他硬件视为一个资源池, 而不是离散系统, 这样就可以根据需要来分配这些资源。虚拟化既可以将单个服务器视为多个虚拟服务器和群集, 又可以把多个服务器视为单个服务器。校园云基础设施层如图图5-3所示。高校原有硬件资源终端机，服务器虚拟化平台图5-3 校园云基础设施层5.3资源监控资源监控是保证基础设施层高效率工作的一个关键任务。5.4负载管理在校园云这样的大规模资源集群环境中, 任何时刻所有节点的负载都不是均匀的, 负载差异过大时, 会造成资源的浪费。基础设施层的自动化负载平衡机制将负载进行转移, 从而使得所有资源在整体负载上趋于平衡。5.5冗余备份数据可靠

14、性要求将数据的损坏和丢失的几率降到最低,这就需要对数据进行冗余备份, 以保证数据的高可靠性。5.6动态部署动态部署一个典型场景就是实现基础设施层的动态可伸缩性, 也就是说校园云的应用可以在极短的时间内根据具体用户的需求和服务状况的变化进行调整。另一个典型场景是故障恢复和硬件维护, 基础设施层需要能够复制该服务器的数据和运行环境并通过动态部署在另外一个节点上建立起相同的环境。5.7快速部署 为进一步提高校园云环境中虚拟机的部署速度, 可使用并行部署或者协同部署技术。5.8资源调度资源调度指的是在特定的资源环境下, 根据一定的资源使用规则, 在不同的资源使用者之间进行资源调整的过程。5.9多租户技

15、术 在校园云环境中, 软件以软件即服务的方式发布出去, 提供给所有需要使用该软件的师生共享使用, 使软硬件资源能够更好地共享, 具有良好的可伸缩性, 每个用户可以按需使用资源,多租户技术示意图如图5-4所示。用户用户用户用户用户SaaS图5-4多租户技术示意图5.10海量数据处理 一些学科需要使用大量科学计算, 以及在一些科研实践中也需要大量数据处理。以往, 一般采用购买大型机的手段来得到这种数据处理能力,代价高昂。现在,利用校园云便可轻松解决, 不需额外的硬件投资,进行动态资源调度实现一个可扩展的可靠的计算环境。要进行海量数据处理, 必然要运用海量数据处理编程模型。Google 公司设计的M

16、apReduce编程模型是一种主流海量数据处理编程模型, 可赋予程序员分布式应用开发能力。MapReduce的出现将开发者所关注的业务逻辑与分布式计算涉及到的复杂细节划分开来, 让并行应用开发通过MapReduc提供的编程模型屏蔽底层实现细节, MapReduce 框架的基本工作流程如图5-5所示。图5-5 MapReduce框架的基本工作流程5.11大规模分布式存储 随着高校信息化的发展与完善, 越来越多的项目有存储海量数据的需求。校园云采用分布式存储的方式来存储数据, 采用冗余存储的方式来保证数据的可靠性, 即为同一份数据存储多个副本。校园云利用多台服务器满足其他服务器所不能满足的存储需求

17、。校园云基于主流云计算的数据存储技术,如Google 非开源的GFS(Goog leFile System) Hadoop 开发团队开发的GFS 的开源实现HDFS( Hadoop Distributed File System),并根据高校特点做了相应的配置与改进。GFS是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统。GFS是一个可扩展、结构化、具备日志的分布式文件系统, 支持大型、分布式大数据量的读写操作。建立在庞大数据中心之上的GFS 集群通常由一个控制中心(Master)、多个数据服务器(Chunkserver) 以及客户机(Client) 组成。GFS架构如图5-6所示。

18、图5-6 Google File System架构图5.12数据结构化管理 校园云的数据管理是基于Google提出的BigTable数据管理技术加以改进来实现的。BigTable 是为了管理结构化数据在GFS和MapReduce基础之上设计的一个分布式的结构化数据存储系统, 用来处理海量数据。在结构上看, BigTable 是一个有序、稀疏、多维度的映射表, 在设计上具备很好的伸缩性以及高可用性等特点。 在计算节点上,开发者定义Map(分治) 函数来处理“键/值”对, 并生成“键/值”对集合形式的中间结果,之后根据开发者定义的Reduce(规约) 函数将所有中间结果进行合并,完成任务的处理。并

19、行应用在执行过程中,输入数据的划分、节点业务的执行调度、容错处理以及节点间信息交换等细节都将由MapReduce提供的编程模型实现。6. 校园云的实施 通过上述对校园云的理论分析，我们可以建立校园云计算服务中心：搭建基础云设施，云平台，高性能计算平台来完成校园云的构思。6.1基础云设施 其架构图如下图所示： 图6-1基础云设施架构 根据系统的特点，通过硬分区和软分区的方式构建基础设施云，采用Vmware等云计算解决方案，实现基础设施云的部署与管理。可采用多台惠普Proliant DL388 G7服务器等硬件设施和VMware vSphere 构建基础设施云。Proliant DL388 G7是

20、机架式服务器，具有强劲的性能和虚拟化的优势，非常适合做基础虚拟化平台。其机器的基本配置为：CPU：2路4 核Intel Xeon E5620处理器内存：2G DDR3硬盘：SFF SAS/SATA热插拔硬盘网卡：双千兆和双万兆共4 个网络接口电源：冗余电源惠普Proliant DL388 G7不仅在处理器平台上进行升级，更加完善的支持至强5600系列，并且在内存和硬盘上进行扩展，满足虚拟化等苛刻应用的需要，通过虚拟化套件VMwarevSphere 实现基础设施平台的构建，平台建立多个虚拟机供院系和部处用户使用，每个物理机可以建立10 个以上单虚拟处理器和双虚拟处理器的虚拟机，虚拟机运行良好，无

21、硬件资源延迟的情况，用户完全可以在透明的情况下将虚拟机当作独立服务器使用，充分发挥了服务器的性能和利用率。6.2云平台 其架构图如下图所示：图6-2云平台架构 通过虚拟化技术，构建统一的云平台，通过PaaS 的方式提供给用户使用，用户只需向管理中心申请所需要的中间件虚拟服务、Web 虚拟主机以及相应的数据库虚拟空间等，即可以在之上部署其应用，用户无需自己构建这些平台，节省了投入和运行维护成本。6.3高性能计算平台 其架构图如下图所示：图6-3高性能计算平台架构高性能计算平台，主要包括服务器以及存储硬件、高性能计算管理平台以及在平台上运行的公共和通用的计算软件和数学库。通过在全校部署公共的高性能

22、计算平台硬件，通过管理软件构建为高性能计算平台，并在之上安装通用的科学计算所需的运算软件和数学库等，通过SaaS 的方式提供给需要的用户使用，用户只需要通过统一提交入口提交自己的作业，并根据管理中心分配的资源数量进行运算，并在运算结束后得到所需的运算结果。通过该方式，可以集中的管理高性能计算的资源，各计算客户也无需知道其内部的架构和技术，即可以进行所需的各种运算，极大的提高资源的利用率和系统的易用性。采用Rocks做为主要的高性能计算管理系统，将PC服务器构建出不同处理器架构的高性能计算系统，并将各单位需要运行的软件系统部署在相应的高性能计算系统上，实现高速的高性能计算。7. 校园云的各层云服

23、务平台的选择7.1 OpenStack平台基础设施层 四大云平台当前自建云的基础设施层的平台主要有CloudStack、Eucalyptus、vCloud Director和OpenStack四大云平台，每个平台都有各自的优缺点，选择一种合适的平台是非常重要的。综合云平台提供的功能、产品价格、说明文件的完整性和社区成熟度等方面来考虑，对于校园来说，选择OpenStack平台。 为什么选择OpenStack平台OpenStack是一个由Rackspace发起、并且是一个旨在为公共及私有云的建设与管理提供软件的开源项目，旨在打造易于部署、功能丰富且易于扩展的云计算平台。目前它的社区拥有超过130家

24、企业及1350位开发者，这些机构与个人都将OpenStack作为基础设施即服务（简称IaaS）资源的通用前端。OpenStack项目的首要任务是简化云的部署过程并为其带来良好的可扩展性。OpenStack架构囊括了云计算中的各类模式，其中包括资源分配、机器-镜像配准与控制，以及数据存储等。目前，该项目已有超过150家以上的组织参与其中，这使得它成为创建基础设施即服务（IaaS）环境的最流行软件工具。 主要特点：1.能够管理虚拟化的商品服务器资源2.能够管理局域网3.虚拟机镜像管理4.安全组5.基于任务的访问控制6.项目与配额7.通过网络浏览器的VNC（虚拟网络计算机）代理价格：是开源软件并且能

25、够免费下载。它是各种贡献者开发的，而且其存在主要依靠用户的捐献。社区：OpenStack拥有最大的和最活跃的社区。社区的成员总是愿意帮助其他人找到出现的任何问题的解决方案。说明文件：OpenStack的说明文件有些不完整。由于产品的迅速开发，它的说明文件不能及时地覆盖所有当前的问题和新特点，但是可以通过访问论坛或者使用IRC得到需要的信息。体验：在安装过程中一般不会遇到任何重要问题。 这个平台能满足校园云计算的基本需求，并且它是一个开源的项目，很适合应用于校园。7.2 Hadoop平台层 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开

26、发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。Hadoop能运行在Unix或Windows系统上，我们可以先安装在Windows平台上做测试，它需要借助于cygwin，和linux上的安装方式相似。下面是在windows上安装Hadoop的实例。1.安装Hadoop前的环境配置 （1）安装JDK1.6 （2）安装安装CygwinCygwin是一个在Windows平台上运行的Unix模拟环境，提供了shel1支持。安装中需要选中Netcategory中的openssh。如图7.1所示。图7.1 下载Cygwin安装包

27、（3）配置Windows系统变量新建系统变量CYGWIN，变量值为ntsec tty，新建系统变量JAVA_HOME,变量指向JDK安装目录。 编辑系统变量里的Path变量，加入JDK的bin目录，cygwin的bin目录。图7.2 配置环境变量 （4）安装配置ssh 1.启动eygwin，执行命令：$ssh-hosteonfig。 2.当询问“Should privilege separation be used”时，输入no；当询问“Do you want to install sshd as a service?”时，选yes；当提示“EnterthevalHeofCYGWINforth

28、edaemon：ntsee”时，选择ntsec。3.提示sshd服务已经在本地系统安装完毕。输入命令$netstartsshd，启动SSH，或者在Windows服务项里启动CYGWINsshd。4.然后执行$sshkeygen来生成密钥对然后一直回车键确定。这样会把生产的密钥对保存在ssh目录下。使用命令将RSA公钥加入到公钥授权文件authorized_keys中：$cd.ssh$cat id_rsa.pubauthorized_keys最后执行$ssh localhost,就可以实现无需密码的ssh连接。 图7.3 安装ssh服务 （5）安装Hadoop 1.下载Hadoop-0.21.0

29、并解压，然后修改配置文件，位于conf子目录下的hadoop-env.sh，core-site，hdfs-site，mapred-site四个文件，修改完就可以使用Hadoop了。7.3 应用层的用途 在云应用这一层，学校可以提供教育教学软件供师生使用，可以提高教学质量；也可以定期举办一些创新大赛，把学生编写的一些优秀的软件上传上去，供大家使用；学生也可以在这个平台上共享好的资源有了这个平台，不仅提高教学质量，丰富校园的娱乐生活。8.小结 云计算是新一代IT模式，通过规模庞大，高自动化，高可靠性的云计算中心支持下，人们只要接入互联网就能非常方便地访问各种基于云的应用和信息，免去了安装和为何等一

30、系列操作。大学的计算机服务需求广泛，而各单位的最终用户掌握有限的计算机技能，对计算机的使用和维护有着极大的不方便性，并且由于校园资源有限，急需提高资源利用率。故通过建设校园云计算，来满足校园的计算机服务需求，无疑是一种有效的途径和合理的方案。9.参考文献1 王鹏. 走近云计算 M . 北京: 人民邮电出版社, 20092 Mil ler M. 云计算 M . 北京: 机械工业出版社, 20093 王庆波, 金涬, 何乐, 等. 虚拟化与云计算 M . 北京: 电子工业出版社, 20104 Tom White. Hadoop权威指南M. 北京：清华大学出版社，2011Campus cloud c

31、omputing cloud-based design and developmentQuanzhou Normal University College of computer science and technology 090308021 Zhu HaipengTutor Liao Zuobin LecturerAbstractToday, when it comes to the cloud, a lot of people will think of cloud computing. Cloud computing is the third IT revolution after f

32、ollowing the PC, the Internet, the Internet era, the trend of the development of information technology. With the rapid development of information technology, computer technology has become the schools, especially the various departments of the college must auxiliary tools, including scientific comp

33、uting, information dissemination, exchange of personal information and office services, can not be separated from the computer services . Computer brings convenience at the same time, it brings trouble and need to use the computer services units and individuals are often not computer professionals,

34、of inexperienced computer technology; schools and departments are relatively independent from each other, the resources are relatively independent independently deployment computer service system, it will cause a serious waste of resources. Promote low carbon living today, the concept of the cloud i

35、s about to begin to play its role. With the emergence and development of cloud computing technology, through cloud computing technology deployed in the campus unified cloud computing service system, will be able to solve the above problems. The subject proposed campus cloud design, specifically addressed how to build a campus cloud computing.Keywords Cloud Computing;Campus Cloud;Virtualization;IaaS;PaaS;SaaS .