基于刀片的信息服务系统解决方案.doc

1、 基于刀片的信息服务系统解决方案 摘要：信息服务系统是一个庞杂的系统工程，它需要各政府部门建立统一的信息服务平台（包括数据共享、公文传递、行政审批、信息汇总、决策辅助等功能）和专业性的子系统（包括财税、建设、公安、交通、农业等）。一个完整的电子事务平台按应用的软件架构来划分信息发布层、应用逻辑层、数据层。随着应用的计算密集度越来越高，以及对空间使用上的要求越来越苛刻，如果按传统的解决方案，无论是采用小机还是集群，对这三个层次进行计算资源分配或者硬件体系结构互联时，都会产生诸多问题。用一种即能节约物理空间，又具有高效能计算的解决方案来取代传统的小机或者集群解决方案，是业界公认的信息服务系统未来建

2、设的必由之路。本文详细分析了传统的小型机及PC服务器集群在进行信息服务系统布曙时的局限性，并结合曙光TC2600刀片服务器的完美功能特性，给出曙光基于刀片的信息服务系统解决方案。利用此方案，用户可以更加灵活、高效、特色鲜明的布曙自己的信息服务系统，实现对各层次硬件结构的无缝整合，实现对计算与空间的充分结合。 关键词：TC2600刀片服务器；信息服务；并行数据库；集群；IB；ORACLE RAC1 信息服务系统概述 信息服务是指政府机构运用现代网络通信及计算机技术，将其内部和外部的管理和服务职能进行精简、优化、整合、重组后通过网络实现，打破时间、空间、以及部门的逻辑分隔制约，通过综合科学的分析系

3、统运作为决策提供参考依据，同时为社会大众及自身提供一体化的高效、优质、廉洁的管理和服务。降低管理成本，提高工作效率。信息服务建设是我国政府部门适应国际形势、适应我国经济建设与社会发展的需要。 信息服务系统按照功能模块来分，可以分为三类，即：信息处理模块、应用模块、数据处理模块1.1 信息处理模块：以网络技术为基础，以非结构化数据信息流为主要处理和存储对象，连接内部已有和新建的信息系统，充分利用Internet构建“虚拟政府”，大力推动政府部门之间的协同工作机制和信息资源共享，并向大众提供统一的政务服务。1.2 应用模块基于网络的分布式政府架构，不但实现数据处理和综合信息处理，还能实现对政府部门

4、管理进行知识搜集、分析、传递和利用，将知识管理与政务业务的流程有机结合，为政务管理提供决策参考，建立一个多元化政府信息支撑/决策分析平台，通过对政务业务流程中的无序知识进行系统化管理，实现知识的充分利用，从客观上促进政府部门改变自身的信息管理，不断提高决策和管理效率。1.3 数据处理模块：政府内部办公自动化OA系统、管理信息系统，通过基于文件系统和数据库的综合运用，以结构化数据为存储和处理的对象，重点强调对数据的计算和处理能力，实现数据统计和日常文档处理的电子化，实现公务员个体工作的无纸化办公。典型的信息服务系统架构如下图所示2 信息服务系统对硬件平台的要求2.1 信息服务系统对信息发布模块的

5、要求由于Web服务器为其用户提供的数据类型通常都是机密的，因此，对安全性要求很高，而在处理能力的要求方面，由于静态Web目录页面与大多数要求根据需要进行更新的动态页面相比，例如像微软的Active Server Pages（ASP），对CPU的处理能力要求较低，但由于此模块负责整个信息服务系统网络流量的接入及输出，选择Web服务器首先要考虑的部件是多网卡优化和高速磁盘I/O的优化。2.2 信息服务系统对应用处理模块的要求应用服务器把数据库与信息发布模块连接在一起，应用服务器是在底层通信平台的基础上搭建的，针对一个具体的应用，它必须包括支持底层异构网络之间相互通信容器系统，为上层各种对象提供构件

6、化运行环境支撑工具，为网络应用提供开发、部署与管理工具公共服务的工具等，除提供应用服务器自身所需的系统服务外，还要负责与数据库之间进行数据的转换，因此在信息服务系统中，要求应用处理模块必须具备高效的处理能力及高速的网络带宽及快速的磁盘I/O性能 2.3 信息服务系统对数据处理模块的要求数据库系统是信息服务系统性能得以保证的关键，应用处理模块中的一切数据库访问都来源于数据库系统，目前信息服务中通用的技术是采用并行数据库系统，如ORACLE RAC并行数据库系统，除了要求参加并行数据库中的单个节点具备快速的处理能力以外，还要求节点间以高速互联网络连接，以保证各结点更新、交换、查询共享缓存数据时的高

7、效。3 传统的小型机、集群解决方案的缺点及问题3.1 小型机信息服务应用的局限性小型机在单机的处理能力上，存在着无与伦比的优势，这个优势使其在处理单一应用时，表现出来的性能的确比较优异，但在面对层次比较多、应用比较复杂、对资源分配要求比较灵活的大型综合系统时，其弱点也逐渐表现出来，主要在如下两个方面3.1.1 LPAR的资源分配不能应对大规模、多层次的应用模式 在主机或小型机系统中，常常需要对系统分区，或者将应用或应用模块在不同数据库之间分段。系统分区和应用分段是一项艰难的任务，它很难适应系统需求和工作负载的变化趋势。小型机典型的资源分配方式是用逻辑分区分配的，当在一台小机型上运行相关的应用时

8、，比如WEB服务及应用逻辑，他们之间的通讯要先后四将通过逻辑层，当应用层次更多时，这个层次的通讯会更频繁，对系统处理能力影响将变的越来越大，使整个系统的处理效率变的越来越低。有测试表明，当在一台16处理器的小型机同时处理三个层次的综合应用时，其表现出来的性能仅相当于独立的12个处理器表现出来的性能。3.1.2 小型机扩展能力有限、升级成本高，性价比差 在信息服务系统中，各个层次的资源需求会随着应用的发展而逐渐增加，当小型机的处理能力不足时，只能采用扩展系统硬件资源，如处理器、内存等，但由于小型机的单机扩展能力有限，当应用的资源需求超越小型机的极限时，小型机就变得无能为力。另外小型机的部件都是专

9、有部件，价格比较昂贵，导致小型机的性价比比较差。 3.2 PC服务器集群体的优势及存在的问题3.2.1 有效解决小型机在大规模数据库应用时的局限性对小型机而言，大部分为64位的架构，内存寻址空间早已经突破了4G的限制，但是小型机通常采用共享内存的方式，因此在扩展性上遇到了极大的技术难题，或者说小型机当CPU数较多，内存较大的情况下，内存访问的性能会有所下降。对集群系统而言，以前的服务器都是32位架构，最大只有4G的内存寻址空间。但是随着技术的发展，64位CPU架构在2004年已经成为主流技术，所以现在的64位集群系统很适合数据库的应用。综上所述，小型机在以前数据库系统应用中具有很强的能力，但是

10、随着系统规模的扩大，集群系统将呈现不可替代的趋势，并且伴随着集群系统节点机的64位寻址能力的成熟，集群系统成为取代小机来进行大规模并行数据库处理最为理想的方式。集群在具有小型机无法比拟的优势的同时，也有自己的局限性3.2.2 集群环境搭建时复杂度高，布曙难道加大由于集群是采用PC服务器做为功能节点，每个节点都有自己一套独力的输入及IO子系统，比如电源、网络、键盘、鼠标、显示器等，当节点数目增多时，系统的布线会变成为阻碍系统进一步扩大的难题，即使布曙成功，对于管理集群系统的管理员来说，也会变得相当困难。另外由于系统线缆太多，整个系统的故障点会增多，排查起来也会成为管理员比较头痛的事，这些问题，成

11、为集群系统务必要解决的问题3.2.3 PCI总线不能充分发挥高速互联设备的性能虽然目前高速互联设备发展极其讯速，比如IB设备的带宽已经达到30Gb/s,但是这些设备与主机相连时，仍然是通过主机的PCI插槽，目前PCI的传输速率还远远低于这个速度，导致在做大规划并行应用时力不从心，如ORACLE RAC并行数据库集群时，节点间的数据通讯会给PCI带来巨大的压力4 并行数据库系统发展对体系结构产生的要求信息服务应用中，数据库系统是重中之重，大型关系型并行数据库的产生，使集群技术在数据库领域中代替性价比差的小型机成为可能。在大型关系型并行数据库中，以ORACLE RAC最为具有代表性，在实际的信息服

12、务应用中，占有的市场份额也最高。硬件系统体系结构与ORACLE RAC系统对硬件系统要求的吻合程度，也成为衡量一个信息服务平台最重要的部分4.1 并行数据库的发展4.1.1 ORACLERAC概念RAC（Real Application Cluster，真正应用集群）是Oracle数据库中采用的一项新技术，也是Oracle数据库支持网格计算环境的核心技术。它的出现解决了传统数 据库应用中面临的一个重要问题：高性能、高可伸缩性与低价格之间的矛盾。Oracle RAC（ Real Application Clusters）与其它并行数据库最大的不同点在于集群中所有服务器都可以直接访问数据库中的所有

13、数据，其他的数据库在开放系统中都做不到这点， 正是由于这个原因，可以非常方便地根据需求随时增加服务器来扩充您的系统，无需重新分布数据和应用。RAC象一个单一的系统一样工作，任何节点的故障都不会影响其他节点对数据的访问。所以说增加服务器就增加了系统的可靠性。另外一点，对用户来说RAC是一个数据库系统，对它的维护管理如同单机一样简单方便。4.1.2 ORACLERAC技术探索下图显示了 Oracle RAC 10g 配置的主要组件。 集群中的节点通常是单独的服务器（主机）。 硬件在硬件级别上，RAC 集群中的各节点共享三种功能： 1. 对共享磁盘存储的访问 2. 与专用网络的连接 3. 对公共网络

14、的访问。共享磁盘存储Oracle RAC 依赖于一个共享磁盘体系结构。 数据库文件、联机重做日志和数据库的控制文件必须都能为集群中的每个节点所访问。 共享磁盘还存储 Oracle Cluster Registry 和 Voting Disk（稍后讨论）。 配置共享存储有多种方法，包括直接连接磁盘（通常是使用铜缆或光纤的 SCSI）、存储区域网 (SAN) 和网络连接存储 (NAS)。 专用网络每个集群节点通过专用高速网络连接到所有其他节点，这种专用高速网络也称为集群互联或高速互联 (HSI)。 Oracle 的 Cache Fusion 技术使用这种网络将每个主机的物理内存 (RAM) 有效地

15、组合成一个高速缓存。 Oracle Cache Fusion 通过在专用网络上传输某个 Oracle 实例高速缓存中存储的数据允许其他任何实例访问这些数据。 它还通过在集群节点中传输锁定和其他同步信息保持数据完整性和高速缓存一致性。 专用网络通常是用千兆以太网构建的，但是对于高容量的环境，很多厂商提供了专门为 Oracle RAC 设计的低延迟、高带宽的专有解决方案。 Linux 还提供一种将多个物理 NIC 绑定为一个虚拟 NIC 的方法（此处不涉及）来增加带宽和提高可用性。 公共网络为维持高可用性，为每个集群节点分配了一个虚拟 IP 地址 (VIP)。 如果主机发生故障，则可以将故障节点的

16、 IP 地址重新分配给一个可用节点，从而允许应用程序通过相同的 IP 地址继续访问数据库。Oracle 集群就绪服务Oracle RAC 10g 引进了 Oracle 集群就绪服务 (CRS) 一组用于集群环境的与平台无关的系统服务。 在 RAC 和 Oracle 并行服务器先前版本中，Oracle 依靠厂商提供的集群管理软件来提供这些服务。 虽然 CRS 与厂商供应的集群件协同工作，但 Oracle RAC 10g 所需组件只是 CRS。 实际上，必须在安装 RAC 之前安装 CRS。 CRS 维护着两个文件： Oracle Cluster Registry (OCR) 和 Voting D

17、isk。 OCR 和 Voting Disk 必须以原始分区或集群文件系统文件的形式存在于共享磁盘上。 Oracle RAC 软件Oracle RAC 10g 软件是 RAC 数据库的核心，每个集群节点上都必须安装。 幸运的是，Oracle Universal Installer (OUI) 可以完成在每个节点上安装 RAC 软件的大部分工作。 您只需在一个节点上安装 RAC OUI 会完成其余的工作。 Oracle 自动存储管理 (ASM)ASM 是 Oracle 数据库 10g 中的一个新特性，它以一种与平台无关的方式提供文件系统服务、逻辑容量管理器和软件 RAID。Oracle ASM

18、可以条带化和镜像磁盘，从而实现了在数据库被加载的情况下添加或移除磁盘以及自动平衡 I/O 以删除“热点”。它还支持直接和异步的 I/O，并使用 Oracle9i 中引入的 Oracle 数据管理器 API（简化的 I/O 系统调用接口）。 Oracle ASM 不是通用的文件系统，只能用于 Oracle 数据文件、重做日志、控制文件和 RMAN 快速恢复区。ASM 中的文件既可以由数据库自动创建和命名（使用 Oracle 管理文件特性），也可以由 DBA 手动创建和命名。由于操作系统无法访问 ASM 中存储的文件，因此对使用 ASM 文件的数据库执行备份和恢复操作的唯一途径就是使用恢复管理器

19、(RMAN)。 ASM 作为单独的 Oracle 实例实施，只有它在运行时其他数据库才能访问它。ASM 需要的内存不多： 对大部分系统来说只需 64MB。 在 Oracle RAC 环境中，ASM 实例必须运行在每个集群节点上。4.2 ORACLERAC并行数据库性能发挥对硬件体系结构的要求4.2.1 高速密集处理数据库的性能依赖高速的数据处理能力，如果采用IA架构的服务器，达到相当的处理能力，其处理器的数目通常是AMD架构服务器的1.5倍左右，处理器数目的增多，性价比变差的同时，会要求服务器的空间变大，导致空间利用率变低4.2.2 高速IO系统RAC并行数据库系统建立的初衷加快数据库服务器的

20、响应速度，缩小客户端用户的数据访问时间。随着RAC数据库应用的逐步升级，持续、频繁、并发的数据访问以及复杂的数据操作，无疑会给后端数据库服务器带来巨大的压力。对于传统的服务器来说，处理器处理能力的限制以及I/O吞吐带宽的限制会严重影响到数据库服务器的对数据服务请求的响应速度。4.2.3 硬件要能承受住高并发访问随着越来越多的业务开始移交给计算机来处理以及越来越多的数据通过计算机来存储，事务的并发处理也越来越频繁的应用在高端商用数据库领域。保障后端数据库系统的健壮性和增强数据库的并发持续访问能力，也逐渐成为RAC对硬件系统的基本要求。4.2.4 高可管理性如何有效地降低系统管理的复杂度和强度，寻

21、求企业投入与产出的最佳平衡点，也逐渐成为高端商用数据库用户关注的焦点。随着业务的日新月异以及数据库应用的日趋复杂化，传统的服务器已无法胜任复杂多样的业务变化。如果只简单依靠增加设备量来解决这个问题，随着设备量的增加、应用的复杂化，硬件的管理、系统的管理、应用的管理随之也变得复杂，这不仅给管理员带来许多管理上的不便，还带来了许多兼容性和可靠性的问题，企业也不得不为获得系统的易管理性追加更多的投入。4.2.5 硬件复杂度低，易实施目前集群系统在拥有高可扩展性、高性价比等诸多优点的同时，也有必须要解决的总是，那就是硬件复杂度过高，线缆众多，导致实施起来在硬件层次的架设上比较困难，信息服务集群要想高效

22、运行，必须降低硬件复杂度，且实施起来较容易。5 曙光TC2600刀片服务器介绍及技术特点5.1 曙光TC2600刀片服务器介绍TC2600 刀片服务器是曙光公司研发的第三代双核/四核刀片服务器产品，它在众多方面超越了传统机架式服务器，是高稳定、高可用、高扩展、高密度、高性能的新一代服务器产品。它推动服务器向更高计算密度、更多集成功能和更强管理能力的方向发展，提供更加卓越的计算处理性能、简单方便的部署使用和全方位的监控管理，可以显著提高数据中心和高性能计算中心的生产率和工作效率，最大限度地降低IT运营和管理维护成本。它采用整体优化的策略，有效降低了系统功耗，再加上其人性化的设计、超强的系统扩展能

23、力、卓越的性价比和计算密度，可以覆盖更广泛的用户需求。与传统的服务器相比，TC2600刀片服务器可提供更有竞争力的整体解决方案，是满足更高计算性能需求和运行关键应用程序的理想平台。5.2 曙光TC2600刀片服务器技术特点5.2.1 模块化的设计模块化的设计整合了服务器、KVM、电源、网络及散热系统于统一的智能管理平台之上，紧密融合形成了高效的TC2600刀片服务器体系结构；5.2.2 高密度TC2600降低了高性能计算中心、数据中心对于空间的要求， 只占7U机架空间的刀片机箱最多容纳10个刀片，仅需要传统解决方案70%的机架空间；5.2.3 高计算能力TC2600大幅增加了计算密集性，与传统

24、解决方案相比，同样的机架空间可以多提供42.8%的计算处理能力；5.2.4 降低复杂度TC2600通过对各功能模块的整合，显著减少了连接线缆的数量，有效降低了各系统连接和集成的复杂度，仅冗余电源、KVM和网络三项，就节省了86的线缆；5.2.5 简化使用和管理管理复杂度的降低可以极大地加快大规模系统部署和性能调优的速度，非常有助于简化系统管理，最大限度地提高IT 人员的工作效率；5.2.6 升级方便用户可以根据业务需求的变化，动态调整刀片服务器系统的配置，产品升级简单便利、经济高效；5.2.7 降低总拥有成本简便、集中、有效的管理，针对客户需求的动态适应，电源和散热策略的自动优化，空间的节省，

25、部署效率的提升，都有助于降低用户的总拥有成本。5.3 TC2600的技术优势5.3.1 部署简化 曙光刀片服务器在部署方面、安装维护过程大大简化：由于所有计算刀片通过背板实现互联，而背板在与网络交换模块，存储交换模块以及监控管理模块互联，而这些互联完全是通过PCB布线完成的。这样做的至少有四点： 大量节省电缆线的成本； 对于安装过程而言，可以节省了传统机架式服务器的外部多如牛毛的布线工作，节省大量工作时间，降低安装成本； 有效的降低系统由于接入问题（虚接、错节）而引起的不稳定性因素，从而提高系统的稳定性与可靠性； 对于更换节点的维护工作而言，比传统的方便了许多。更换工作只是把旧刀片从机箱中拔出

26、来，插入新刀片，就像更换热插拔硬盘一样方便，而不用考虑网络与光纤的再连接，对于传统的机架式服务器而言这也是一个比较繁琐的工作。 5.3.2 集成管理，便捷维护 曙光刀片服务器管理监控高度集成：通过统一的监控界面，监控所有刀片资源，包括机箱电源、风扇、计算刀片、背板、交换机。管理系统整合目前两大监控技术，即IPMI以及KVM (Over IP)，真正实现监视控制一体化。同时，为实现方便快捷的刀片服务器管理，通过优化的管理软硬件设计，改善可管理性，增强部署和可服务性，这些将降低总的所有权成本。 曙光刀片服务器监控管理系统实现以下功能，分别为： 对各部件的在线检测，工作状态监控，通过检测得知当前工作

27、情况； 优异的电源管理策略，以及功率管理策略； 智能冷却系统管理策略； 刀片健康信息监测，系统资源监测； 实现所有本地控制操作，如KVM、Share Media、各部件上下电管理； 实现所有远程控制操作，如IP KVM、Virtual Media、部件远程上下电控制； 良好的人机交互界面，实现多元化报警、提供日志、数据分析、实现用户管理策略定制和部件故障预报警； 管理系统支持冗余，通过心跳实现监测和切换； 为其它管理软件提供通讯接口。 其中真正解决计算刀片远程管理的主要依靠KVM over IP以及Virtual Media两项技术。所谓KVM Over IP，指透过Internet环境，以T

28、CP/IP网络为接口传送视频信息，并远程操控散布在各地机房中的服务器的解决方案。相对于模拟式KVM，KVM over IP技术提供了相对弹性的管理方案，网管人员可以在全球任何地方，透过TCP/IP网络来远程管理任何机房中的刀片服务器。 基于IP的数字化KVM系统作为向标准化和灵活的集中化迈进的一部分，不仅克服了传统模拟KVM系统的局限性，也为管理不同种类的分布式网络提供了可能。KVM over IP系统，充分利用了现有的以太网和其他IP网络，取代了对专用电缆和信号系统的依赖。为确保路由能力，KVM系统必须使用真正的IP协议，而不是仅仅将IP网络用来传输专用模拟信号。 Share Media以及

29、Virtual Media技术则实现了USB共享及远程化，即在远程通过一台主机连接到管理系统的网络，而不是计算刀片的网络，把远程机器的存储介质通过管理网络映射成计算刀片的USB设备，实现远程的系统安装，软件拷贝等。 配合KVM over IP以及virtual Media技术可以透过网络远程实现在本地刀片所有的操作，例如开关机、操作鼠标、键盘、显示器，安装各种软件等。采用曙光刀片服务器可以大大降低部署工作及其成本，而采用曙光刀片服务器监控管理系统则可以把管理员从机房解放出来，在远程进行所有的管理工作，大大降低系统的维护成本。 5.3.3 节能设计提高能耗比为降低功耗，曙光刀片服务器采用先进的多

30、渠道节能技术，主要体现在2个层面： l 根据实时功耗确定工作电源个数，使电源工作在最佳效率曲线上。 系统充分对功率部分进行设计，设计分成静态功率设计及动态功率设计，控制方式如下：第一，在对第一个刀片上电时，并没有作功率计算，是建立在一个电源模块能够支持至少一个刀片服务器和所有其他辅助模块的假设前提下，如果这个假设不成立则需要在第一个刀片上电前进行计算；第二，对于功率分配计算分为两步，第一步是上电前的电源功率预分配，在这一步功能模块是把自身在固定Flash中存储的最大满配情况的功率需求发送给管理模块进行审批（满配并不代表实际配置），等刀片完成了BIOS自检之后还要提交电源功率实际分配的申请给管理

31、模块，这是第二步电源分配的结果。例如，根据不同的配置刀片中可以插入8条内存、4条内存、2条内存或者两块硬盘或者一块硬盘，甚至将来的单双CPU不同，以上情况功耗有明显差异。通过这种两步电源分配的策略，一方面可以保证刀片不会误上电（最大满配功耗），另外一方面可以保证功耗使用的精确性，使功耗分配更加合理。 l 修改计算刀片操作系统内核，实现节能 更改操作系统内核，优化程序执行队列或者根据负载情况动态调整CPU频率。主要原理是对CPU的运行状态进行计算，分析任务队列，对不同时刻进行功耗计算，同时建立一些CPU散热器的散热模型，在工作过程中，尽量把功耗高的任务与功耗低的任务交叉进行，这样可以保持CPU在

32、稳定的负载下运行，减少热能的散发并提高运行效率。同时，当发现CPU任务队列对功耗需求较低，则通过BI/OS接口进行CPU功率的动态调整，比如一个刀片，CPU为AMD2218，主频为2.6GHZ，在CPU任务队列较少的时候，就可以根据任务需要把服务器的CPU从3.0Ghz调整倒一个比较低的频率，这样就可以使CPU的功耗大大降低。5.3.4 先进的散热设计刀片服务器设计的障碍主要有散热问题以及对工业标准件的支持问题，例如市场上许多厂家的刀片服务器要求采用低电压的CPU，非标准的内存，非标准的I/O卡。曙光刀片服务器首先确定科学的系统架构（7U10片，每个刀片宽度类似1U服务器），保证系统散热和计算

33、密度达到平衡。 l 系统专用散热通道设计：为了满足超高密的系统散热要求，在TC2600服务器内部设计了多处专用散热通道，每个通道保障不同部件的散热。通过独立散热通道，对部分发热量的部件形成隔离空间，强制形成前后空气对流，避免对周围部件的散热影响。l 子通道散热设计每个子系统之间相互隔离，形成独立散热通道，通过机箱中部的散热风扇将冷空气从前部吸入，经过散热片将CPU所产生的热量带走。子系统前面板大通风面板设计，增大了进气流量。另外，子系统低阻力系统设计，有效降低冷气流的风阻，为系统的良好运行提供坚实的保障。l 冗余风扇设计整个系统风扇采用冗余结构设计、能快速识别并能快速更换损坏风扇，有效保障系统

34、的稳定性和系统良好运行环境。TC2600风扇系统可根据需要自动调节风扇转速，也可以手工设定，具有极大的灵活性。5.3.5 高性能的Infiniband模块设计曙光TC2600刀片主要面向大规模集群计算市场，除了内嵌的千兆交换机模块和PassThrough模块外，还可以提供对20G高速Infiniband网络的支持。曙光IB模块和IBM、HP等公司的做法不同，在该模块内集成了10个HCA卡芯片和1块24口交换机芯片，无须为每个刀片再配置HCA子卡，集成度更高，由于全部自主设计，较传统的利用HCA子卡+外置交换机的方式具有更低的成本。除了选用Infiniband模块以外，曙光刀片服务器还支持通过I

35、OE扩展模块为每一个计算刀片提供一个标准的HCA网卡扩展，由于采用工业标准部件，而不需要定制，将会大幅度降低用户的采购成本。5.3.6 创新的IOE扩展模块I/O扩展能力一直以来都是刀片服务器的一大诟病，刀片服务器产品在需要扩展其它插件的时候，一般都借助于主板子卡的扩展形式，而且只能进行单一功能的扩展。曙光TC2600创新性的I/O扩展模块打破了一直以来刀片服务器I/O扩展方式的限制。TC2600为每个刀片独立配置了PCI-E扩展插槽，能够兼容网卡、FC HBA、iSCSI HBA、Infiniband HCA等业界绝大部分PCI-E板卡，为刀片服务器系统的I/O扩展提供了更为灵活的选择。5.

36、3.7 支持计算刀片异构 目前曙光刀片服务器仅有支持AMD 双核/四核CPU的计算刀片，而支持其他类型CPU的计算刀片会陆续推出，包括Intel，龙芯，以及Power PC等。这些计算刀片可以同时在一个刀片服务器机箱中工作。 5.3.8 刀片管理系统随着刀片系统规模的扩大，对于系统的可管理性也提出了越来越高的要求，很多情况下， 如KVM切换、共享USB切换、系统状态监控、系统策略设置等功能，都通过管理模块实现。在曙光TC2600刀片式集群中，除了曙光集群管理系统（DCOS）之外，还有刀片管理模块帮助用户对刀片进行监控和管理，管理模块主要由刀片系统的KVM系统和监控管理系统组成。管理模块监控内容

37、包括：l 机箱状态监视与上下电控制；l 刀片数量监视，各刀片状态（是否开机，操作系统，CPU、内存使用率，CPU温度，以及KVM、USB状态等）监视，刀片开关机控制，KVM、USB控制及各刀片前面板指示灯控制；l 风扇状态监视，风扇策略设置以及手动策略下风扇的控制；l 电源状态监视，电源策略设置以及手动策略下电源的控制；l I/O扩展模块状态（温度，电压）监视；l 各网络模块（交换模块，直通模块）监控；l 设定报警阈值，当检测到的温度、电压、转速等值越过设定的报警阈值后，管理模块会在各模块状态页面上显示报警信息，保障整个系统的安全；l 可以查询600条各刀片的历史数据（刀片每运行5分钟，就会自

38、动记录一条历史数据），历史数据包括CPU、内存的使用率及CPU温度，数据同时会被绘制成图表，更加直观的反应刀片的运行状态；l 可以查询600条日志及报警信息。6 基于曙光TC2600的信息服务系统解决方案6.1 硬件层次结构与软件层次结构的对应上面我们介绍了信息服务系统对硬件的要求及曙光TC2600的产品特性，并看到了小型机及集群在做信息服务系统时存在的欠缺及问题。如果采有小型机解决方案，则无法实现对多应用的资源分配；如果采用传统的PC服务器集群，则在硬件的管理上，会变的相当困难。针对行业内这样的现状，曙光公司给出基于TC2600刀片服务器的信息服务系统解决方案在典型的信息服务系统中，一般划分

39、为三个层次，如下图 曙光公司推出的基于TC2600信息服务系统解决方案实现了对流行的三层架构的信息服务软件系统架构的完美整全，系统应用与硬件的分配如下图。6.1.1 WEB模块做为整个系统网络流量的接入部分，系统必须具有高带宽及多端口的特性，TC2600针对WEB模块做了网卡优化和高速磁盘I/O优化，TC2600提供两个千兆网络模块接口，可选直通网络模块（Passthrough）或交换模块；每个直通网络模块可对外提供10个千兆RJ45接口；每个交换模块可对外提供4个千兆RJ45接口；TC2600还对高速碰盘I/O做了优化设计，支持2.5”热插拔SAS硬盘，且可选Riad功能，支持Raid0，1

40、。保证整个WEB模块高速的网络及磁盘I/O6.1.2 应用模块应用模块是整个系统的业务处理部分，TC2600采用AMD Opteron 处理器提供集成的内存控制器，并使用超传输（HT）总线和直连架构，可以提高许多应用程序的运行效率；两颗处理器分别连接南北桥的创新架构设计，增加了HT总线数量，在大部分应用上有助于提升整体性能，从而保证应用模块具备强大的处理能力。当应用种类增多时，我们可以动态增加应用模块的数量，保证整体性能的提升。6.1.3 并行数据库模块并行数据库模块为应用模块提供数据库的查询、更新、删除等操作，要保证对应用的快速响应，必须保证和模块间高速的通讯速度，高带宽、低延迟、全互联的I

41、nfiniband交换模块，提供10个传输速率为20Gb/s外联端口，支持铜缆和光纤接头的转换；采用第三代Infiniband Switch 芯片，提供高达800Gb/s的交换带宽；集成线性数据包缓存；支持VL(Virtual Lane)划分。这些特性使整个信息服务体系最关键的并行数据库性能得到保证。6.1.4 应急模块当系统中其它模块出现紧急情况时，可以用应急模块接替出现问题的模块，保证系统正常工作6.2 采用此方案的信息服务系统的优势1） 简化多层次复杂应用的硬件体系结构采用基于TC2600的信息服务系统，可以实现在一个独立的硬件中运行各层次全部的应用，解决了传统集群中各层硬件分散运行难于

42、管理的弱点，实现对硬件系统的完全整全，使集中管理成为可能。2） 灵活的资源调整在一个具体的信息服务系统中，根据用户应用的实际情况，可以灵活的针对各层次应用做灵活调整，达到系统性能与资源的最佳配比。3） 灵活的互联选择有千兆和IB模块供选择。当结点间应用当并行数据库结点间通讯比较频繁，通讯量大时，我们可以添加IB模块做为节点间通讯的载体，且通讯避开传统的PCI总线，真正实现和刀片间可以相互直接取得对方内存中的数据库，使IB 20Gb/s的高速互联得以真正实现，从而使并行数据库最佳性能展现具备前提4） 避免复杂的线缆管理由于一切互联都通过背板进行，解决了传统的集群众应用中最为复杂的线缆管理，使系统管理员的工作量大大减轻，且系统的可靠性得以增强。5） 一体化远程监控管理复杂度的降低可以极大地加快大规模系统部署和性能调优的速度，非常有助于简化系统管理，最大限度地提高IT 人员的工作效率；KVM over IP 远程BIOS级监控全局资源监控管理，避免管理软件带来的资源浪费及成本