信息论与编码-第三章

第3章--信道与信道容量信道的基本概念离散单个符号信道及其容量离散序列信道及其容量连续信道及其容量信源与信道的匹配信息论与编码-信道与信道容量由于一般信道中总是存在噪声和干扰，在这样的信道中进行信息传输会造成损失。那么在有噪信道中怎么能够使消息通过传输后发生的错误最少？在有噪信道中无错误传输可以达到的最大信息率是多少？这就是本章研究的内容。信息论与编码-信道与信道容量信道分类和表示参数•通信系统中，信道是非常重要的部分。信道的任务是以信号方式传输信息。在信道中会引入噪声，这些都会使信号通过信道后产生错误和失真，故信道的输入和输出之间一般不是确定的函数关系，而是统计依赖关系。•只要知到了信道的输入信号和输出信号以及它们之间的统计依赖关系，则信道的全部特性就确定了。所以可以用信道的转移概率矩阵P(Y/X)来描述信道、信道的数学模型及分类•研究信道，就要研究信道中能够传送的最大信息量，即信道容量问题。信息论与编码-信道与信道容量信道的分类：从不同的角度，有不同的分类方法。•根据信道的参数是否随时间变化，可以分为：（1）固定参数信道：信道的参数不随时间变化；（2）时变参数信道：信道的参数随时间变化。•根据输入和输出信号的特点，可以分为：（1）离散信道：信道的输入和输出的随机序列取值都是离散的；（2）连续信道：信道的输入和输出的随机序列的取值都是连续的；信息论与编码-信道与信道容量（3）半离散或半连续信道：输入序列是离散的但相应的输出序列是连续的，或者反过来；（4）波形信道：信道的输入输出不但取值是连续的，而且还随时间连续变化。一般可用随机过程来描述其输入输出。由于实际信道的带宽总是有限的，所以输入信号和输出信号总可以分解成时间离散的随机序列。序列的取值可以是连续的，也可以是离散的，因此，波形信道可以分解成连续信道或离散信道或半离散半连续信道。信息论与编码-信道与信道容量信道参数•设信道的输入矢量和输出矢量分别是•通常采用条件概率来描述信道输入输出信号之间统计的依赖关系。•该条件概率通常称为转移概率),,,,(21iXXXX},,,{21niaaaAX},,,{21mibbbBY)/(XYp),,,,(21jYYYY信息论与编码-信道与信道容量根据信道是否存在干扰以及有无记忆，可将信道分为下面三类无干扰信道：信道的输出符号Y与输入符号X之间又确定的关系Y=f(X),已知X后就确知Y。有干扰无记忆信道：信道的输出符号Y与输入符号X之间没有确定的关系，但转移概率满足•即每个输出符号只与当前输入符号之间有概率转移关系。•在这种情况下，只需分析单个符号的转移概率即可)/()/()/()(2211LLxypxypxyppY/X信息论与编码-信道与信道容量有干扰有记忆信道：•一般情况都是如此，常用的方法有两种•将记忆很强的L个符号当矢量符号，各矢量符号之间是无记忆的，但此事会引入误差，L越大，误差越小•将转移概率看成马尔科夫链的形式，记忆有限，信道的统计特性可用在已知现在时刻输入符号和前信道所处的状态的条件概率来描述，这种处理方法比较复杂，通常取一阶时稍简单信息论与编码-信道与信道容量下面我们讨论几种常用信道。（1）二进制离散信道二进制离散信道的输入值集合是{0，1}，输出值集合也是{0，1}，再加上一组描述信道统计特性的转移概率，就可以完全确定信道。•二进制离散信道的一个特例：二进制对称信道（BSC-BinarySymmetricChannel）。如果描述二进制离散信道的转移概率对称，即则称这种二进制输入、二进制输出的信道为二进制对称信道。pXYpXYppXYpXYp1)0/0()1/1()0/1()1/0(信息论与编码-信道与信道容量如图所示。•BSC信道是无记忆信道。•BSC信道是研究二元编解码最简单也是最常用的信道模型。输入011-p1-ppp输出01信息论与编码-信道与信道容量（2）离散无记忆信道•设信道的输入符号集合是，•输出符号集合是•再加上一组（mn个）转移概率这样的一种信道称为离散无记忆信道•（DMC:DiscreteMemorylessChannel）。},,,{110myyyY)/()/(ijijxypxXyYp},,,{110nxxxX信息论与编码-信道与信道容量1,11,11,01,111010,11000mnmmnnpppppppppP可以把转移概率写成矩阵的形式，即信息论与编码-信道与信道容量图示a0an-1a1b0b1bm-1信息论与编码-信道与信道容量（3）离散输入、连续输出信道•信道输入符号选自一个有限离散的符号集合•信道输出时未经量化的任意值，即m-∞•信道特性由转移概率密度函数决定•典型信道是加性高斯白噪声信道（AWGN）},,,{110naaaXniaXypiY,,2,1),|(222/)(21)|(iayiYeaXyp信息论与编码-信道与信道容量（4）波形信道•输入和输出都是随机过程{x(t)}和{y(t)}，模拟系统。•对于频带受限的波形信道，可以用抽样的方法变成时间离散信道。设带宽为W，则在T时间间隔内，根据抽样定理，应该抽样至少2WT个点，分别记为输入和输出•这样波形信道就转化为多维连续信道],,,[21NxxxNX],,,[21NyyyNY信息论与编码-信道与信道容量•信道转移概率密度函数为且满足完备性。•连续无记忆信道，满足•一般情况下，是有记忆信道),,,|,,,()|(2121LLYYxxxyyyppxyLlllYLLYYxypxxxyyypp12121)/(),,,|,,,()|(xy信息论与编码-信道与信道容量•对于加性噪声，单符号信道可以表示为y(t)=x(t)+n(t)n(t)为噪声过程的一个样本函数•由于噪声和信号相互独立，所以有•转移概率为即信道的转移概率密度函数等于噪声的概率密度函数)()(),(),(,,npxpnxpyxpnXnXYX)()(),()(),()|(,,npxpnxpxpyxpxypnXnXXYXY信息论与编码-信道与信道容量条件熵)()(log)()(log)()()|(log)|()()|(log),()/(,nHdnnpnpdnnpnpdxxpdyxypxypdxxpdxdyxypyxpXYHcnRnnRnRXYRYRXYYXR信息论与编码-信道与信道容量•上式说明条件熵是由噪声引起的，它等于噪声信源的熵。故条件熵也称噪声熵。•在加性多维连续信道中，输入矢量X、输出矢量Y和噪声矢量n之间的关系是Y=X+n可得)()|()()|(nXYnxynYccHHpp信息论与编码-信道与信道容量3.2离散单个符号信道及其容量•我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信息传输率R。而信道的信息传输率就是平均互信息，即bit/符号•若已知平均传输一个符号所需的时间为t(s)，则将信道在单位时间内平均传输的信息量定义为信息传输速率：bit/符号÷s/符号=bit/s即单位为bit/s)|()();(YXHXHYXIRtYXIRt/);(信息论与编码-信道与信道容量•前面我们已经讨论过，I(X;Y)是输入随机变量X的概率分布p(xi)和信道转移概率p(yj/xi)的函数。•对于一特定信道，若转移概率已确定，则互信息就是就是关于输入符号概率分布的∩函数。•因此对于一个固定的信道，总存在一种信源符号的概率分布，使传输每个符号平均获得的信息量最大。这个最大的信息传输率就称为信道容量C。即此时相应的输入概率分布称为最佳输入分布。)};({max)(YXICxp信息论与编码-信道与信道容量•有时候也把单位时间内信道平均传输的最大信息量叫做信道容量，即•信道容量C已与输入信源的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。•所以，信道容量是完全描述信道特性的参量，是信道每符号能够传输的最大信息量。•对于特定的信道，信道容量是个定值，但在传输信息时信道能否提供其最大传输能力，则取决于输入端的概率分布。)};({max1)(YXItCxpt信息论与编码-信道与信道容量无干扰离散信道•设信道的输入符号集合是输出符号集合是按照X与Y的对应关系，可以分为如下几类•无噪无损信道•无噪有损信道•有噪无损信道•这些信道是部分理想化的，使用中比较少},,,{110nxxxX},,,{110myyyY3.2离散单个符号信道及其容量无干扰离散信道的信道容量XYXYXY1111111111111(a)无噪无损信道(b)无噪有损信道(c)有噪无损信道X、Y一一对应C＝logn多个输入变成一个输出C＝maxH(Y)一个输入对应多个输出C＝maxH(X)信息论与编码-信道与信道容量DMC信道的信道容量•设DMC信道的输入符号集合是•输出符号集合是•转移概率由信道特性决定。},,,{110nxxxX},,,{110myyyY)/(ijxyp信息论与编码-信道与信道容量•给定信道，就是给定信道的转移概率。此时有•所以信道容量为•由上式可以看出，信道容量C只是转移概率的函数，也就是说，信道容量由信道唯一决定。1010)()/(log)/()();(nimjjijijiypxypxypxpYXI1010)()()()/(log)/()(max);(maxnimjjijijixpxpypxypxypxpYXICii)/(ijxyp信息论与编码-信道与信道容量•因为是最佳输入分布，是信道特性，一旦这两个参数确定，就被确定了：•对于信道容量，一个是其存在性问题，一个是它的计算。关于存在性问题，在这里我们不做讨论，主要看它的计算问题。)(ixp)/(ijxyp)(jyp10)/()()(qiijijxypxpyp信息论与编码-信道与信道容量对称DMC信道的容量对称DMC信道的定义：•如果一个DMC信道的转移概率矩阵P中的每一行都是第一行的置换（包含同样的元素，但位置可以不同），则称该矩阵是输入对称的，•如果转移概率矩阵P的每一列都是第一列的置换，则称该矩阵是输出对称的，•如果一个DMC信道的输入、输出都对称，则称该DMC信道为对称DMC信道。信息论与编码-信道与信道容量对称DMC信道:3131616161613131216131312161613121信息论与编码-信道与信道容量对称DMC信道的性质：i）对称DMC信道的条件熵H(Y/X)与信道输入符号的概率分布无关，且有这是因为与无关。1,,2,1)/()/(nixYHXYHi，)/()/(log)/()/(log)/()()/(ijijijijijijixYHxypxypxypxypxpXYHjijijxypxyp)/(log)/(()ipx信息论与编码-信道与信道容量ii）当信道输入符号等概分布时，信道输出符号也等概分布；反之亦然(列对称）容量公式：1()()(/)(/)jijijiiipypxpyxpyxn()()()max(;)max[()(/)]max()(/)iiipxpxpxCIXYHYHYXHYHYX信息论与编码-信道与信道容量iii）当信道输入符号等概分布时，对称DMC信道达到其信道容量，为mjijijippmxYHmC1loglog)/(log信息论与编码-信道与信道容量例题3-1：某对称DMC信道，信道转移矩阵为求信道容量。解：符号/0817.061log6161log6131log3131log312)61,61,31,31(4logbitHC3/16/13/16/16/13/16/13/1P例题3-2：强对称信道（均匀信道），信道转移概率矩