从以上分析可知，在通信系统中形式上传输的是消息，但实质上传输的是信息。消息只是表达信息的工具，载荷信息的客体。显然，在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。信息较抽象，而消息是较具体的，但还不一定是物理的。通信的结果是消除或部分消除不确定性从而获得信息。论文网

信息量与不确定性消除的程度有关。消除多少不确定性，就获得多少信息量。用数字的语言来讲，不确定性就是随机性，具有不确定性的事件就是随机事件。因此，可运用研究随机事件的数学工具——概率论和随机过程来测度不确定性的大小。若从直观概念来讲，不确定性的大小可以直观地看成是事先猜测某随机事件是否发生的难易程度。

通过生活中的一些例子，可以得出：某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目及各状态出现的概率大小有关。既然不确定性的大小能够度量，可见，信息是可以测度的。

2．2  信源的数学模型及分类

不同的信源输出的消息不同，可以根据消息的不同的随机性质来对信源进行分类。

2.2.1  信源输出的消息用随机变量描述

在实际情况中，存在着很多类似投硬币、计算机代码、电报符号这般的信源。这些信源输出的都是单个符号（或代码)的消息，它们符号集的取值是有限的或可数的。用一维离散型随机变量X对这些信源的输出进行描述。这样的信源称为离散信源。它的数学模型就是离散型的概率空间

显然， 应满足

式中， 是信源输出符号 的先验概率。此式表示信源可能的消息（符号）数是有限的，只有r个： ，而且每次必定选取其中一个消息输出，满足完备集的条件。这是最基本的离散信源。

有的信源虽然输出的是单个符号（代码）的消息，但其可能出现消息数是不可数的无限值，即输出消息的符号A的取值是连续的，或取值是实数集 。用一维的连续型随机变量X对这类信息进行描述。这种信源称为连续信源，其数学模型是连续型的概率空间

  或  并满足  或  

式中，R表示实数集 ； 是随机变量X的概率密度函数，也表示连续型概率空间满足完备集。

2.2.2  信源输出的消息用随机矢量描述

信源输出的消息是按一定概率选取的符号序列，可以把这种信源输出的消息看做时间上或空间上离散的一系列随机变量，即为随机矢量。信源的输出可用N维随机矢量 来描述，其中N可以为有限正整数或可数的无限值。这N维随机矢量X有时也称为随机序列。

一般来说，信源输出的随机序列的统计特性比较复杂，分析起来也比较困难。为了便于分析，我们假设信源输出的是平稳的随机序列，也就是序列的统计性质与时间的推移无关。

若信源输出的随机序列 中，每个随机变量 都是取值离散的离散型随机变量，即每个随机变量 的可能取值是有限的或可数的。而且随机矢量X的各维分布都与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率分布都相同。这样的信源称为离散平稳信源。

若信源输出的消息可用N维随机矢量 来描述，其中每个随机分量 都是取值为连续的连续型随机变量，并且满足随机矢量X的各维概率密度函数与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率密度函数都相同，这样的信源称为连续平稳信源。文献综述

平稳信源又分无记忆信源和记忆信源。

2.2.3  信源输出的消息用随机过程描述