1.信源描述与分类

信源：产生消息（符号）、消息序列和连续消息的来源（产生随机变量、随机序列和随机过程的源）；按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类;信源的基本特性：随机不确定性和概率统计特性

1.1 信源的分类

• 离散信源：指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数据、数字、电报等符号都是离散消息

  

  • 离散无记忆符号信源：布袋摸球实验，若每次取出1个球，由球的颜色组成的消息就是符号。若取L次，取出一个球，记下颜色放回布袋，再取另一个球。

  • 离散无记忆序列信源：布袋摸球实验，若每次取出2个球，由两个球的颜色组成的消息就是符号序列。若取出一个球，记下颜色放回布袋，再取另一个球

  • 马尔可夫信源：当信源的记忆长度为m+1时，该时发出的符号与前m个符号有关联性，而与更前面的符号无关

• 连续信源：指发出在时间和幅度上是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息

1.2 信源的描述

1.2.1 由随机变量描述

若信源输出的消息数是有限的或可数的，而且每次只输出符号集中的一个消息，这样的信源称为 简单的离散信源。

信源空间为 $\sum _{i=1}^{q}P(a_{i})=1$

若信源暑促的是单个符号的消息，但是其可能出现的消息数是不可数的无限值，即输出消息的取值是连续的，这样的信源称为 简单的连续信源。

例如：语音信号；遥控系统中测得的电压、温度、压力等连续数据