信息论与编码全部课件

11绪论•1.1信息的概念•1.1.1信息的定义与性质•1.1.2信息的分类•1.2信息传输系统的组成及功能•1.2.1模拟信息传输系统•1.2.2数字信息传输系统•1.3信息论研究对象和内容•1.4信息论发展简史21.1.1信息的定义与性质•古时的通信：烽火台•信息传播五阶段：•手势和语言——文字——印刷术——电磁波——计算机和通信•微电子技术、通信技术和计算机技术促进了信息技术发展。•信息产业的发展促进了社会产业结构的变化与发展。31.1.1信息的定义与性质•信息：认识主体所感受的或所表达的事物的运动状态和运动状态的变化方式。•（1）信息是普遍存在的。•（2）信息与物质。•（3）信息与能量。•（4）人类认识事物，变革事物必须要有信息。•信息载体：运载信息的物质。41.1.1信息的定义与性质•消息：以文字、语音、图像等这些能够为人们的感觉器官所感知的物理现象，把客观物质运动和主观思维活动的状态表达出来就成为消息。信号：消息的表现形式和载体。同一信息可用不同的信号来表示，同一信号也可表达不同的信息。51.1.1信息的定义与性质•信息——十分抽象而又复杂的概念，是人们对客观事物感触到的新认识。•消息——信息的载荷者，是描述信息的一种表现形式，是对某个事物的描述和反应。•信号——运载或携带消息的任何物理量，达到迅速有效地传递和交换信息的目的。61.1.1信息的定义与性质•性质：•（1）普遍性：信息是普遍存在的。•（2）无限性：信息是无限的。•（3）相对性：对同一事物不同的观察者所获得的信息量可能不同。（4）转换性：信息可以在时间上或空间中从一点转移到另一点。（5）变换性：信息是可变的，它可以由不同的载体或不同的方法来载荷。71.1.1信息的定义与性质•（6）有序性：信息可以用来消除系统的不定性，增加系统的有序性。•（7）动态性：信息具有动态性质，一切活的信息都随时间变化，具有时效性。•（8）转化性：在一定条件下，信息可以转化为物质、能量、时间等。（9）共享性：同一信息可以被无限的人所获得，可以交流而不会减少。（10）可量度性：信息的数量与质量是可量度的即信息量。81.1.2信息的分类•（1）从性质分：语法信息、语义信息、语用信息。随机方式模糊状态半随机方式确定型方式（模糊信息）连续状态离散状态无限状态有限状态随机方式（概率信息）明晰状态半随机方式（偶发信息）确定型方式（确定信息）语法信息91.1.2信息的分类•举例说明，两个布袋中装有对人手感觉完全一样的球，但颜色和数量不同，•（1）50个红球和50个白球•（2）红球、白球、黑球、黄球各25个•随意拿出一个球，被告知是红球所获得的信息量。101.1.2信息的分类•（2）按观察的过程分：实在信息、先验信息、实得信息。•（3）按信息的地位分：客观信息、主观信息。•（4）按作用分：有用信息、无用信息、干扰信息。（5）按逻辑意义分：真实信息、虚假信息、不定信息。（6）按传递方向分：前馈信息、反馈信息。111.1.2信息的分类•（7）按生成领域分：宇宙信息、自然信息、社会信息、思维信息等。•（8）按应用部门分：工业信息、农业信息、军事信息、政治信息、科技信息、文化信息等。（9）按信息源的性质分：语声信息、图像信息、文字信息、数据信息、计算信息等。（10）按载体性质分：电子信息、光学信息、生物信息等。（11）按携带信息的信号形式分：连续信息、离散信息、半连续信息等。121.2.1模拟信息传输系统•该系统传递的是模拟信号，它在任意时刻的取值是任意的，是时间的连续函数。基本模型如图1.1所示：信息源噪声源变换器调制器发射机信道接收机解调器反变换器信息宿接收端发送端信道1.1模拟信息传输系统的一般模型131.2.1模拟信息传输系统•信息源：产生含有信息的消息，是被传输的对象。•信息宿：信息传送的目的地，即原消息的归宿或接受者。141.2.1模拟信息传输系统•变换器：将非电量变换成宜于远距离传输的电信号。•反变换器：将信息信号恢复成原消息。151.2.1模拟信息传输系统•调制器：将频率较低的信号调制到频率更高的载波信号上。(调制方式有调幅AM、调频FM、调相、单边带调制SSB等)。解调器：从已调的高频载波信号中解调出被传输的低频信息信号。161.2.1模拟信息传输系统•发射机：变频器和功率放大器，使已调载波信号的频率和功率达到实际应用所要求的数值。接收机：低噪声高频放大器、混频器、中频放大器，将微弱信号放大到解调器所需强度的信号，并最大限度地降低信道噪声的影响。171.2.1模拟信息传输系统•信道：消息的信号从发射端传到接受端的媒质或通道。（有线信道：架空明线、同轴电缆、波导、光纤等；无线信道：无线电波、激光自由空间传播等）噪声源：实际传输系统中客观存在的干扰源，有内部噪声和外部干扰两方面。181.2.2数字信息传输系统•该系统中传输的是数字信号，它只能取有限个离散值，且出现的时间也是离散的。基本模型如图1.2所示：信息源噪声源变换器调制器发射机信道接收机解调器反变换器信息宿接收端发送端信道1.2数字信息传输系统的一般模型信源编码器信道编码器信道译码器信源译码器191.2.2数字信息传输系统•调制方式有幅度键控ASK、频移键控FSK、相移键控PSK等。信源编码器：模/数（A/D）变换器，将模拟信号变换成数字信号。信源译码器：数/模（D/A）变换器，将数字信号变换成模拟信号。信道编译码器：提高传输系统的抗干扰能力。201.2.2数字信息传输系统•优点：•（1）抗干扰能力强，特别在中继传输中尤为明显。•（2）可以进行差错控制，提高了信息传输的灵活性。（3）便于使用现代计算机技术对信号进行处理、存储和变换。（4）便于加密，实现保密信息传输。211.2.2数字信息传输系统•（5）易于与其他系统配合使用，构成综合业务信息传输网。•（6）易于集成化和大规模生产，性能一致性好且成本低。缺点：（1）占用信道频带较宽。（2）要有一个复杂的同步系统。221.3信息论研究对象和内容•研究对象：消息传输系统即信息传输系统，通信系统。研究目的：提高通信系统的可靠性和有效性。（1）可靠性高：使信源发出的消息经过传输后尽可能准确地不失真地再现在接收端。（2）有效性高：经济效果好，用尽可能短的时间和尽可能少的设备传送一定数量的信息。231.3信息论研究对象和内容•研究内容：•（1）通信的统计理论的研究。•（2）信源的统计特性的研究。•（3）收信者接受器官的研究。（4）编码理论与技术。（5）如何提高信息传输效率。（6）抗干扰理论与技术。（7）噪声中信号检测理论与技术。241.3信息论研究对象和内容•信息论的三个层次：•（1）信息论基础（狭义信息论）：主要研究信息的测度、信道容量、信源和信道编码理论等问题。（2）一般信息论：主要研究信息传输和处理问题，除香农理论外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论以及信息处理理论等。（3）广义信息论：不仅包括上述两方面内容，还包括与信息有关的领域，如心理学、遗传学、神经生理学、语言学、语义学等。251.4信息论发展简史•电信系统的发展：•电磁理论和电子学理论的发展促进了电信系统的创造发明或改进。•1823年-1835年，莫尔斯建立了电报系统。•1876年，贝尔发明了电话系统。1895年，马可尼和波波夫发明了无线电通信。1925年-1927年，建立起电视系统。二次大战初期，微波通信系统和微波雷达系统迅速发展起来。20世纪60年代，人类进入光纤通信时代。261.4信息论发展简史•信息理论的发展：•1924年，奈奎斯特首先将信息率与信号带宽联系起来。•1928年，哈特莱引入了非统计（等概率事件）信息量概念。20世纪40年代初期，维纳把随机过程和数理统计的观点引入通信和控制系统中。1948、1949年，香农用概率测度和数理统计的方法，系统地讨论了通信的基本问题。271.4信息论发展简史•无失真信源编码的发展：•（香农编码理论）惟一可译码——费诺码——哈夫曼码（最佳码）——算术编码——LZ码（通用信源编码）。信道编码的发展：纠错码——汉明码（代数编码）——卷积码（概率编码）——并行极点卷积码。282信息的量度•2.1自信息量和条件自信息量•2.2互信息量和条件互信息量•2.3离散集的平均自信息量•2.4离散集的平均互信息量•2.5例题292.1自信息量和条件自信息量•2.1.1自信息量•2.1.2条件自信息量302.1.1自信息量•信源发出的消息常常是随机的，其状态存在某种程度的不确定性，经过通信将信息传给了收信者，收信者得到消息后，才消除了不确定性并获得了信息。获得信息量的多少与信源的不确定性的消除有关。不确定度——惊讶度——信息量312.1.1自信息量•（1）直观定义信息量为：•收到某消息获得的信息量=不确定性减少的量=收到此消息前关于某事件发生的不确定性-收到此消息后关于某事件发生的不确定性（2）无噪声时信息量为：收到消息前获得的信息量=收到此消息前关于某事件发生的不确定性=信源输出的某消息中所含有的信息量322.1.1自信息量•举例说明，一个布袋中装有对人手感觉完全一样的球，但颜色和数量不同，问下面三种情况下随意拿出一个球的不确定程度的大小。•（1）99个红球和1个白球•（2）50个红球和50个白球•（3）红球、白球、黑球、黄球各25个332.1.1自信息量•事件发生的不确定性与事件发生的概率有关，一般情况下，一个信源可以用一个概率空间来描述，信源的不确定程度可以用这个概率空间的可能状态数目及其概率来描述。342.1.1自信息量•设信源X的概率空间为•其中：X是信源的状态空间，即随机事件的状态数；是随机事件可能状态的概率分布，且，各状态是相互独立的。•通常记为)()()()(2121NNxpxpxpxxxxPX)(xP1)(xP)}(,{xPX352.1.1自信息量•应用概率空间的概念分析上例，设取红球的状态为x1，白球为x2，黑球为x3，黄球为x4，则概率空间为：•（1）•（2）•（3）01.099.0)(21xxxPX5.05.0)(21xxxPX25.025.025.025.0)(4321xxxxxPX362.1.1自信息量•结论：•（1）不确定度与信源概率空间的状态数及其概率分布有关。（2）信源概率空间的概率分布为等概率时不确定度最大。（3）等概率时，不确定度与信源概率空间的状态数或相应的概率有关。372.1.1自信息量•任意随机事件的自信息量定义为该事件发生概率的对数的负值。若随机事件出现的概率为，那么它的自信息量为•通常取对数的底为2，单位为比特（bit）。)(ixPix)(1log)(log)(iiixPxPxI382.1.1自信息量•三个单位间的转换关系为：•1奈特=log2e1.433比特•1哈特莱=log2103.332比特•自信息量非负且单调递减。0x1log2xf(x)-log2x0x1f(x)392.1.1自信息量•例：某地的天气情况分布是：晴天占1/2，阴天占1/4，雨天占1/8，雪天占1/8。求各种天气的自信息量。•解：设晴天、阴天、雨天、雪天的状态分别为x1,x2,x3,x4bitxPxIbitxPxIbitxPxIbitxPxI38log)(1log)(38log)(1log)(24log)(1log)(12log)(1log)(44332211402.1.1自信息量•在二维联合集上的元素的联合自信息量定义为•其中，为元素的二维联合概率。当二者相互独立时，则有。元素的不确定度在数值上也等于他们的自信息量。)(1log)(log)(jijijiyxPyxPyxIjiyxXY)(jiyxP)()()(jijiyPxPyxPjiyx)()()(jijiyIxIyxIjiyx412.1.1自信息量•例2.1.1