基于Matlab的贝叶斯网络学习方法研究.doc

1、毕业设计（论文）题 目 基于Matlab的贝叶斯网络学习方法研究_学 院 计算机与控制工程学院_专业班级 计本062班_学生姓名 _指导教师 _成 绩 2010年 6 月 19 日50摘 要贝叶斯网络提供了一种表达因果关系的方法。它结合图模型理论和统计学来表达随机变量之间的不确定性知识，成为目前不确定知识表达和推理领域最有效的模型之一。贝叶斯网络学习主要包括：结构学习和参数学习，通过网络结构与数据集可以确定参数，因此结构学习是贝叶斯网络学习的核心，有效的结构学习方法和算法是构建最优网络结构的基础。本文在对贝叶斯网络的起源、发展、特点及应用情况进行介绍的基础上，着重对贝叶斯网络的学习算法进行了研

2、究，阐述了几种贝叶斯网络学习算法的思想。采用MATLAB语言编制的贝叶斯网络工具箱(Bayesian Networks Toolbox, BNT)实现这几种学习算法的应用，并结合实际给出了两个实例进行了说明分析，本文的研究对于充分运用MATLAB的贝叶斯网络工具箱的强大功能,学习和利用贝叶斯方法来解决实际问题有着重要而深远的意义。关键词：贝叶斯网络；结构学习；参数学习；贝叶斯网络工具箱AbstractBayesian network (BN) is an important method for presenting causality and uncertainty among random

3、 variables based on graphical model theory and statistics. It is one of the most efficient models in the fields of uncertain knowledge expression and inference. The learning Bayesian networks mainly includes: structural and parameter learning, parameters can be fixed through networks structure and d

4、ata sets, so structural learning is the core of learning Bayesian network. The efficient structural learning is the basis constructing the most efficient network structure. The paper illustrates the origin, development, characteristics and application of Bayesian networks, emphatically studying Baye

5、sian networks learning algorithm and introducing the theory of some Bayesian networks learning algorithms. The paper implements the application of these learning algorithms with Bayesian Networks Toolbox (BNT) based on MATLAB, and presents two instances to explain and analysis.The research makes ful

6、l use of the powerful function of BNT based on MATLAB.Learning and using Bayesian method to solve actual problem have important and far-reaching significance.Key words: Bayesian network; Structural learning; Parameter learning; Bayesian Networks Toolbox目 录摘要IAbstractII第1章 绪论11.1 研究背景和意义11.2 贝叶斯网络的发展

7、及研究现状11.3 本文的研究内容21.4 论文组织2第2章 贝叶斯网络概述42.1 贝叶斯网络42.1.1 贝叶斯网络的描述42.1.2 贝叶斯网络的数学表示42.1.3 贝叶斯网络的构造52.1.4 贝叶斯网络的类型62.2 贝叶斯网络的应用62.2.1 应用于分类和回归分析62.2.2 应用于不确定知识表达和推理62.2.3 应用于数据挖掘72.2.4 应用于聚类模式发现72.3 贝叶斯网络学习的前提假设问题82.3.1 数据完整性假设82.3.2 无选择偏好假设82.3.3 变量离散化假设82.4 国内外研究现状9第3章 贝叶斯网络学习103.1 贝叶斯网络学习概述103.2 Matl

8、ab简介113.3 贝叶斯网络工具箱简介113.3.1 BNT中贝叶斯网络的表示方式123.3.2 贝叶斯网络结构学习算法函数133.3.3 贝叶斯网络参数学习算法函数133.4 贝叶斯网络工具箱的安装143.5 手动创建一个贝叶斯网络14第4章 贝叶斯网络学习算法174.1 主要的结构学习算法174.1.1 K2算法174.1.2 马尔可夫链蒙特卡罗算法194.2 主要的参数学习算法204.2.1 最大似然性估计算法204.2.2 贝叶斯方法214.2.3 最大期望算法214.3 算法应用224.3.1 K2算法应用224.3.2 马尔可夫链蒙特卡罗算法应用244.3.3 贝叶斯网络参数学习

9、算法应用26第5章 基于BNT的贝叶斯网络学习举例305.1 医疗诊断网络305.1.1 问题描述305.1.2 解决方案305.1.3 建立模型315.1.4 数据采集325.1.5 构造医疗诊断网络345.1.6 结论分析395.2 汽车诊断网络405.2.1 问题描述405.2.2 解决方案405.2.3 建立模型415.2.4 数据采集425.2.5 构造汽车诊断网络435.2.6 结论分析47结论48参考文献49致谢50第1章 绪 论1.1 研究背景和意义随着计算机技术和网络技术的迅猛发展，使得人们利用信息技术收集数据的能力大幅度提高。人们深刻地认识到，存储在计算机系统中的各种各样的

10、数据都是宝贵的信息资源，其中有可能蕴藏着许多有用的知识，这些信息或知识，将可能提供或预示无限的商机、关键性的技术改进、乃至重要的科学发现，从而产生显著的经济、社会效益。但是，由于人们目前所用工具的局限性而无法将其挖掘出来。因此，如何从各种类型的数据中获得实际领域中可利用的、有价值的信息和知识，提高商务管理、生产控制、市场分析和科学研究等方面的效率，成为计算机研究人员面临的具有挑战性的任务。知识发现和数据挖掘正是适应这些需求而提出来的，是当前数据库与人工智能领域研究的热点课题，其目标是在现实世界中，针对具有量的、质的、复杂形态的各种信息源，挖掘先前未知的、具有潜在应用价值的、最终可被用户所理解的

11、模式。近年来，人们研究出多种用于知识发现和数据挖掘的方法和技术，主要分为基于统计的方法、基于机器学习的方法、基于数学的方法。在众多的知识发现和数据挖掘方法中，贝叶斯网络结合图论和统计学方面的知识，提供了一种表示变量之间因果关系的方法。以概率论和图论为基础，结点表示了随机变量，结点间的有向边表示了变量之间的因果关系，变量间影响的程度由网络中依附在父、子结点对上的条件概率来表示。它是表示和处理不确定知识的理想模型。第2章 贝叶斯网络概述贝叶斯网络是一种概率网络，它是基于概率推理的图形化网络，而贝叶斯公式则是这个概率网络的基础。贝叶斯网络是基于概率推理的数学模型，所谓概率推理就是通过一些变量的信息来

12、获取其他的概率信息的过程，基于概率推理的贝叶斯网络(Bayesian network)是为了解决不定性和不完整性问题而提出的，它对于解决复杂设备不确定性和关联性引起的故障有很大的优势，在多个领域中获得广泛应用。2.1 贝叶斯网络2.1.1 贝叶斯网络的描述贝叶斯网络又称信度网络，是Bayes方法的扩展，是目前不确定知识表达和推理领域最有效的理论模型之一。从1988年由Pearl提出后，已经成为近几年来研究的热点。一个贝叶斯网络是一个有向无环图(Directed Acyclic Graph, DAG)，由代表变量的结点及连接这些结点的有向边构成。结点代表随机变量，结点间的有向边代表了结点间的相互

13、关系(由父结点指向其后代结点)，用条件概率表达关系强度，没有父结点的用先验概率进行信息表达。结点变量可以是任何问题的抽象，如：测试值、观测现象、意见征询等。适用于表达和分析不确定性和概率性的事件，应用于有条件地依赖多种控制因素的决策，可以从不完全、不精确或不确定的知识或信息中做出推理。贝叶斯网络具有如下特性：(1)贝叶斯网络本身是一种不定性因果关联模型。贝叶斯网络与其他决策模型不同，它本身是将多元知识图解可视化的一种概率知识表达与推理模型，更为贴切地蕴含了网络结点变量之间的因果关系及条件相关关系。(2)贝叶斯网络具有强大的不确定性问题处理能力。贝叶斯网络用条件概率表达各个信息要素之间的相关关系

14、，能在有限的、不完整的、不确定的信息条件下进行学习和推理。(3)贝叶斯网络能有效地进行多源信息表达与融合。贝叶斯网络有助于故障诊断与维修决策。第3章 贝叶斯网络学习学习贝叶斯网络就是要寻找一种网络，能按某种测度最好地与给定实例数据集拟合。就一般意义而言，寻找一种网络包括寻找一种有向无环图(DAG)结构和获得与DAG中各个结点相关的条件概率表(CPT)。前者称为网络结构学习，后者称为网络参数学习。由于通过网络结构与数据集可以确定参数，因此结构学习是学习贝叶斯网络的核心，有效的结构学习方法和算法是构建最优网络结构的基础。3.1 贝叶斯网络学习概述一般贝叶斯网络的构建是首先由相关领域的专家根据事物间

15、的关系来确定出结构模型，即有向无环图，然后再利用其它方法确定每个结点的条件概率，将这种利用先验知识构造的贝叶斯网络称为先验贝叶斯网络，但这样构建的网络模型无法保证其客观性和可靠性。近年来，国内外的研究者们尝试引入客观的观测数据，希望通过将观测数据与专家知识相结合来共同构建贝叶斯网络，将这种利用先验贝叶斯网络和数据相结合而得到的贝叶斯网络称为后验贝叶斯网络。贝叶斯网络学习是利用数据对先验知识的修正，贝叶斯网络能够持续学习，上次学习得到的后验贝叶斯网络变成下一次学习的先验贝叶斯网络，每一次学习前都可以对先验贝叶斯网络进行调整，使得新的贝叶斯网络更能体现数据中蕴涵的知识，因此贝叶斯网络具有综合先验知

16、识的增量学习特性。进一步研究在没有专家先验知识的情况下，尝试完全从观测数据中学习得到网络结构和参数，生成贝叶斯网络的方法。现有的贝叶斯网络结构学习方法可分成两类，一类是基于打分搜索的学习方法，这种方法可追溯到Chow-Liu Tree Constructing Algorithm，打分搜索方法过程简单规范，但由于搜索空间大，一般是在结点有序的前提下，根据打分函数的可分解性进行局部确定或随机搜索(完全搜索是N-P困难问题)，这样不仅降低了学习效率，而且易陷入局部最优结构，只适用于变量少或在一定范围内的结构学习；另一类是基于依赖分析的学习方法，依赖分析方法过程比较复杂，但在一些假设下学习效率较高，

17、而且能够获得全局最优结构。在现有的依赖分析方法中，冗余边检验是在确定边的方向之前进行，这样无法准确地确定切割集，从而导致大量的高维条件概率计算，这样往往不能定向所有的边。这些问题的存在降低了学习效率和准确性。参考文献要在相应的引用位置加上标注3.2 Matlab简介在科学研究和工程应用中，为了克服一般语言对大量的数学运算，尤其当涉及矩阵运算时编制程序复杂、调试麻烦等困难，美国Math Works公司于1967年构思并开发了矩阵实验室(Matrix Laboratory，MATLAB)软件包。经过不断的更新和补充，该公司于1984年推出MATLAB的正式版，特别是1992年推出具有划时代意义的M

18、ATLAB 4.0版，并于1993年推出其微机版，以配合当时日益流行的Micrrosoft Windows操作系统一起使用。截止到2005年，该公司先后推出了MATLAB 4.x，MATLAB 6.x以及MATLAB 7.x等版本，该软件的应用范围越来越广。由于MATLAB的基本数据单元是维数不加限制的矩阵，用户无需考虑大量的有关矩阵的运算该采用何种算法等低层问题，更不必深入了解相应算法的具体细节，因而对用户算法语言方面的要求十分宽松。因此，在贝叶斯软件包BNT中，采用的贝叶斯网络的表示方式为矩阵方式。即用矩阵的形式表示贝叶斯网络的结构，若结点i到结点j有一条弧，则对应的矩阵中(i，j)值为1

19、，否则为0。如图3-1所示的贝叶斯网络，其结构的矩阵表示形式如图3-2所示。对图表要给出相应的说明12345图3-1 表示5个变量间因果关系的Bayesian网 图3-2 矩阵表示法注意图名的字体和字号及位置3.3.2 贝叶斯网络结构学习算法函数贝叶斯软件包BNT提供了较为丰富的结构学习函数，它们是：(1)学习树扩展贝叶斯网络结构的TANC算法Learn_struct_tan( )。(2)数据完整条件下学习一般贝叶斯网络结构的K2算法learn_struct_K2( )、贪婪搜索GS(Greedy Search)算法learn_struct_gs( )和爬山HC(Hill Climbing)算

20、法learn_struct_hc( )等。(3)数据缺失条件下学习一般贝叶斯网络结构的最大期望EM(Expectation Maximization)算法learn_struct_em( )和马尔可夫链蒙特卡罗MCMC(Markov Chain Monte Carlo) 算法learn_struct_mcmc( )。3.3.3 贝叶斯网络参数学习算法函数贝叶斯软件包BNT同时还提供了较为丰富的参数学习函数，它们是：(1)数据完整时，学习参数的方法主要有两种：最大似然性估计算法learn_params( )和贝叶斯方法bayes_update_params( )。(2)数据缺失时，如果已知网络拓

21、扑结构，用EM算法learn_params_em( )来计算参数，倘若未知网络拓扑结构，还可以使用结构最大期望SEM(Structural EM)算法。表3-2 变量Sprinkler的条件概率表对表名要放在表的上面，注意字体和字号。CP(S=F)P(S=T)F0.50.5T0.90.1表3-3 变量Rain的条件概率表CP(R=F)P(R=T)F0.80.2T0.20.8表3-4 变量Wet Grass的条件概率表S RP(W=F)P(W=T)F F1.00.0T F0.10.9F T0.10.9T T0.010.99假设所有变量都是离散变量，这个例子描述的整个情景抽象为4个变量，所有变量都

22、是布尔变量：Cloudy(C=T表示阴天)，Sprinkler(S=T表示洒水车)，Rain(R=T表示下雨)，Wet Grass(W=T表示草地湿)。从表3-1至表3-4中，每个变量的条件概率表中的每一行都记录了给定变量的某个实例后，该变量为“TRUE”或“FALSE”的概率值。例如，如果是洒水车洒水并且下雨，那么草地湿的概率为0.99。对表的内容在正文中进行说明。从图3-3中的贝叶斯网络，直观上可知，W依赖于S和R，S和R相互独立。通常，贝叶斯网络可以表示一组条件独立性语句。在一定的假设下，贝叶斯网络也可以表示变量之间的依赖关系。具体程序代码见程序清单中的程序1csrw1.m，运行结果如图

23、3-4所示。图3-4 csrw1.m的运行结果最终构造出整个网络结构，如图4-1所示。图4-1 csrwK2.m的运行结果观察此网络图，可知与手动构造的CSRW贝叶斯网络图以及真实的网络结构一致。具体程序代码见程序清单中的程序2csrwK2.m。结 论结论是对设计的内容，设计的技术，设计功能，设计所达到的要求进行说明。参考文献参考文献的格式和字体字号。1 Heckerman D，Mamdani A，Wellman MReal-World Applications of Bayesian NetworksJCommunications of ACM,1995,38(3)：38-452 Fried

24、man N.Bayesian network classifiersJ.Machine Learning,1997,2(6)：131-163.3 林士敏，田凤占，陆玉昌.用于数据采掘的贝叶斯分类器研究J.计算机科学，2000，27(10)：73-76.4 羌磊，肖田元，乔桂秀.一种改进的Bayesian网络结构学习算法J.计算机研究与发展，2002，39(l0)：1221-1226.5 蒋望东,林士敏.基于贝叶斯网络工具箱的贝叶斯学习和推理J.信息技术，2007，25(2)：6-8.6 张剑飞.贝叶斯网络学习方法和算法研究D.长春：东北师范大学硕士学位论文，2005：6-11.7 张宏伟,田风

25、占,陆玉昌. 对一种贝叶斯网络学习算法的改进及试验分析J.计算机科学，2002, 29(5)：97-100.8 程泽凯,林士敏. 用Matlab语言实现BNCJ.安徽工业大学学报，2004, 21(4)：324-327.9 刘峰.贝叶斯网络结构学习算法研究D.北京：北京邮电大学博士学位论文，2007：35-40.10 董晨.贝叶斯网络在电力系统故障诊断中的应用研究D.沈阳：沈阳工业大学硕士学位论文，2009：14-17. 11 李拯民，郑素华，游晓清，等.肺癌诊断现在的调查研究J.临床肺科杂志，1998,24(2)：4-6.12 孙光亮.汽车诊断综述J.辽宁交通科技，1995，18(5)：43

26、.13 黄忠霖，黄京.控制系统MATLAB计算及仿真M.北京：国防工业出版社，2009：30-104.14 瞿亮.基于MATLAB的控制系统计算机仿真M.北京：清华大学出版，2006：23-127.致 谢本文的工作是在张剑飞老师的指导下完成的，感谢他对我的孜孜不倦的教诲和无微不至的关怀! 张老师严谨的治学态度、科学的思想方法和勤奋的敬业精神使我终生受益。本文的工作，从选题、查阅资料、开题报告到中间的研究，一直到本文的审阅定稿，无不浸透着张老师大量的心血和劳动。张老师在学术上带给我启迪，拓宽了我的思路，引导了我的学术思维，才得以使论文顺利完成。我觉得只有刻苦钻研、不断进取，才是对老师最大的回报，方能不负师恩!其次，我要感谢我的家人，他们给予我的关爱和支持始终是我的支柱和动力。衷心感谢他们在我成长道路上付出的心血和汗水。特别感谢我的父母，他们的理解、支持和无私的奉献是我能够顺利完成学业必不可少的条件。感谢评委老师们的评阅和答辩老师们的指正，论文因你们的帮助而增色。最后，感谢所有曾给予我关心和帮助的人们。