摘要信息传输率与各类熵是信息传输理论的重要组成部分。本文首先大体介绍了信息的广义概念和通信系统模型，接着介绍了香农对信息的定义和度量，信源和信道的数学模型及分类，重点对离散通信系统的信息传输率与各类熵之间的关系进行推导。通过MFC软件设计程序，在已知通信系统中信源的输出概率分布及信道的传递概率的条件下，实现输入熵、输出熵、损失熵、噪声熵、联合熵及平均互信息（即信息传输率）的计算，以及通过维拉图的形式将它们之间的关系定性、定量的显示出来。65332

毕业论文关键词  离散  通信系统  信息传输率  熵  维拉图

毕业设计说明书（论文）外文摘要

Title   Research and program design the relationship between  

         information transmission rate and various entropy of 

         the discrete communication systems                    

Abstract

Information transfer rate and various entrory are an important part of the information transmission theory. This paper first generally described the broad concept of the information and communication system model, then introducing the Shannon definition of information and metrics, source and channel of the mathematical model and classification, focusing on deriving zhe relationship between information transmission rate and various entropy of the discrete communication systems. Software design process through the MFC in the known Communication System source output probability distribution and the probability of the transmission channel conditions, to achieve input entropy, output entropy, loss entropy, noise entropy, joint entropy and average mutual information (namely, information transmission rate) is calculated, and by Villa figure, the relationship is qualitative and quantitative displayed. 

Keywords  Discrete  communication system  information transfer rate     

          entropy  Vera figure

目   次

1  绪论  1

1.1  信息的广义概念  1

1.2  通信系统模型  1

2  相关基础理论及知识  3

2.1  香农信息的定义及度量  3

2.2  信源的数学模型及分类  4

2.3  信道的数学模型及分类  6

2.4  平均互信息  9

2.5  离散无噪信道的信息传输率与各类熵之间的关系  12

3  方案选择与程序设计  14

3.1  方案选择  14

3.2  工程建立  14

3.3  界面设计、控件变量设置及说明  16

3.4  各控件模块的设计及功能说明  19

4  程序的调试与运行 27

结论  36

致谢  37

参考文献 38

附录A  控件变量表  39

1  绪论

信息论是人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。通常人们公认信息论的奠基人是当代伟大的数学家美国贝尔实验室杰出的科学家香农（C.E.Shannon），他在1948年发表了著名的论文《通信的数学理论》，为信息论奠定了理论基础。近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学这一更广阔、更新兴的领域。