1.信息的概念

信息是什么？

信息是事物运动状态或存在饭时的不确定性的描述。

信息如何度量？

不确定性的大小

image-20240907202000174

surprise！

1.1 信息的特征

  • 未知性或不确定性（信息的最基本属性）
  • 由不知到知，等效为不确定性集合元素的减少（信息的意义：消除不确定性）
  • 可以度量
  • 可以产生、消失，可以被携带、存储、处理
  • 可以产生动作（信息既有物质的某些属性，又不同于物质）

1.2 信息和信号、消息的比较

消息：用文字、符号、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为信息（消息中包括信息，是信息的载体）

信号：把消息变换成适合信道传输的物理量，这种物理量称为信号。如声、光、电信号

信号：具体的、物理的

消息：具体的、非物理的

信息：非具体的、非物理的

1.3 全信息

语义信息：事物运动状态及方式的具体含义

语法信息：事物运动

1.4 Shannon信息的定义

image-20240907204215220

收信者在收到消息以前是不知道消息的具体内容的，实际信道总是存在噪声和干扰的，因此收信者总是有“不确定性”和“疑问”的

2.信息论研究

2.1 信息论研究的对象

信息论是C.E.Shannon四十年代末期，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。

image-20240907204600139

2.2 信息论研究的目的

可靠性：尽可能准确地、不失真地在接收端再现

有效性：尽可能短的时间和尽可能少的设备来传送一定数量的信息

保密性：只能让被授权者接收

认证性：接收者能正确判断所接收的信息的正确性，验证消息的完整性，而不是伪造的和被篡改的

2.3 信息论研究的内容

狭义信息论（香农信息论）：信息的测度、信道容量、信源和信道编码理论

一般信息论：噪声、滤波与预测、估计、保密等

广义信息论 ：所有与信息相关的领域

image-20240907205044516

3.信息论的形成和发展

香农：通信系统的中心问题是在噪声下如何有效而可靠地传送信息，而实现这一目标的主要方法是编码

4.数字通信系统模型

image-20240907205419046

信源：发送消息的源。包括离散信源和模拟信源。

信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。

信道：传输信息的物理媒介

信源编码器

  • 作用：把信源发出的消息变换成由二进制码元（或多进制码元）组成的代码组，这种代码组就是基带信号；同时通过信源编码可以压缩信源的冗余度，以提高通信系统传输消息的效率
  • 分类：无失真信源编码，适用于离散信源或数字信号；限失真信源编码，用于连续信源或模拟信号，如语音、图像等信号的数字处理
  • 主要指标（即编码效率）：即理论上能达到的码率与实际上达到的码率之比；一般来说，效率越高，编译码器的代价也将越大

信源译码器

  • 作用：把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于于信源编码器的逆过程

信道编码：主要作用是提高信息传送的可靠性；主要方法是增大码率或频带，即增大所需的信道容量，这恰与信源编码相反

信道编码器：作用是在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有检错或纠错的能力

信道译码器：具有检错或纠错的功能，它能将落在其检错或纠错范围内的错传码元检出或纠正，以提高传输消息的可靠性