简单百科
信息论

信息论

信息论（Information Theory）又称通信的数学理论、通讯理论、通信的统计理论，它是运用概率论与数理统计的方法研究信息、信息熵、通信系统、密码学和数据压缩等问题的应用数学学科。

信息论的起源可以追溯到19世纪，美国物理学家约西亚·吉布斯（Josiah Willard Gibbs）和奥地利物理学家路德维希·玻尔兹曼（Ludwig Boltzmann）分别将偶然性、熵函数引进物理学，为信息论的产生提供了思想前提。信息论的早期研究工作开端与20世纪20年代。1928年，科学家哈特莱（Hartley）发表了《信息传输》一文，区分了信息和消息在概念上的差异，并提出用消息出现的概率的对数来度量其中所包含的信息，为理论的创立奠定了初步基础。美国数学家克劳德·香农（Claude Elwood Shannon）于1948年和1949年先后发表了论文——《通信的数学理论》和《在噪声中的通信》，标志着信息论正式诞生。20世纪50年代，信息论开始向各学科发起冲击，以物理学为代表。60年代，该理论进入了一个消化、理解的时期，在已有的基础上进行了一些重大建设，研究重点是信息和信源编码问题。后来，学者们越来越认识到信息的重要性，它迫切要求突破克劳德·香农信息论的狭隘范围，以便使它能够成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。

信息论的研究对象是广义通信系统，它把所有的信息流通系统都抽象成一个统一的模型。编码理论为信息论的基本理论，主要分为信源编码和信道编码两个部分。与该学科相关的观点是信息论假说。此外，信息论的理论与成果在自然科学、社会科学的各个领域中应用广泛，如，在生物学中，基于信息论的特征提取方法可以对生物序列中的必需基因和启动子进行分析与预测。

学科简介

信息论又称通信的数学理论、通讯理论、通信的统计理论，它是运用概率论与数理统计的方法研究信息、信息熵、通信系统、密码学和数据压缩等问题的应用数学学科。

信息论的研究对象是广义通信系统，它把所有的信息流通系统都抽象成一个统一的模型，该模型不仅包括电话、电报、传真、电视、雷达等狭义的通信系统，还包括生物有机体的遗传系统、神经系统、视觉系统，甚至是人类社会的管理系统。信息论的研究分为信息传输和信息压缩两大领域，这两个方面又通过信息传输定理、信源—信道隔离定理相互联系。

历史

前提与开端

信息论的起源可以追溯到19世纪，美国物理学家约西亚·吉布斯（Josiah Willard Gibbs）的统计力学方法中隐含着把一个复杂的偶然事件看作为由许多局部偶然事件无限概率之和的思想。这种研究方法为信息论的创立提供了方法论的前提。奥地利物理学家路德维希·玻尔兹曼（Ludwig Boltzmann）把熵函数引入统计物理学，对熵首先作出了微观解释，指出熵是关于一个物理系统分子运动状态的物理量，表示分子运动的混乱程度，并且把熵和信息联系起来，提出“熵是一个系统失去了的‘信息’的度量”。偶然性、熵函数引进物理学为信息论的产生提供了思想前提。这些研究已经涉及到有关信息方面的问题，但由于当时科学技术水平的限制，他们未能直接提出信息理论的问题。

信息论的早期研究工作开端与20世纪20年代，科学家奈奎斯特（Nyquist）与哈特莱（Hartley）根据通信实践的需要最早研究了通信系统的传输效率问题。1924年，奈奎斯特等科学家指出，为了以一定的速度传送电报信号，电磁波必须有一定的频率范围——频带宽度，即电信信号的传输速率与信道频带宽度之间存在着比例关系。1928年，哈特莱发表了《信息传输》一文，首次提出了消息是代码、符号，它与信息是不同的，即消息是信息的载体，而信息是包含在各种具体消息中的抽象量。此外，他还提出了用消息出现的概率的对数来度量其中所包含的信息，为信息论的建立奠定了初步基础。

铺垫与诞生

20世纪30年代初，美国数学家诺伯特·维纳（Norbert Wiener）利用“广义谐波分析理论”对信息系统中的随机过程进行了谱分析。1936年，美国电工学家阿姆斯特朗（Armstrong）认识到在传输过程中采用增加带宽的办法对抑制噪声干扰有明显的效果，根据这一思想他提出了宽偏移的频率调制方法。三年后，美国物理学家达德利（Homer Dudley）发明了声码器。当时他提出的概念是：通信所需要的带宽至少要同所要传送消息的带宽一样。20世纪40年代初期，由于军事上的需要，诺伯特·维纳在研究防空火炮的控制问题时，发表了《平稳时间序列的外推、内插与平滑及其工程应用》一文，他把随机过程和数理统计学的观点引入到通信和控制系统中来，揭示了信息传输和处理过程的统计本质。

信息论真正的创始人是美国数学家克劳德·香农（Claude Elwood Shannon），他从1940年开始从事信息论的研究。香农于1948年发表论文《通信的数学理论》，集中讨论了信源、信宿、信道以及编码等问题，使用概率统计方法对通信系统进行了研究，揭示了通信系统传递的对象是信息，并且对信息进行了科学的定量描述，提出了熵的概念。一年后，香农又发表了《在噪声中的通信》一文，这些著作标志着信息论的正式诞生。与此同时，诺伯特·维纳在他的《控制论》一书中从理论上探讨了信息的本质，并从控制和通信的角度对信息论进行了长期研究，提出了维纳滤波理论和信号预测的接受理论。他从统计观点出发，把消息看做是可测时间序列，提出了将消息定量化的原则和方法，并提出了度量信息量的数学公式，把信息作为通信和控制系统的基本概念和方法运用到许多领域。

应用与发展

20世纪50年代，信息论开始向各门学科发起冲击，60年代，理论进入到一个消化、理解的时期，是在已有的基础上进行重大建设的时期，研究重点是信息和信源编码问题。1961年，美国物理学家罗尔夫·兰道尔（Rolf Landauer）在发表的文章《计算过程中的不可逆转性和热生成》中，表述了计算机中的逻辑不可逆与物理不可逆有关。他发现如“擦除”之类的去除信息的逻辑运算必然产生能量的耗散，擦除将信息从可访问的形式转换为不可访问的形式，称为熵，而可以逆转的逻辑操作不会导致熵的上升。同时，罗尔夫·兰道尔还算出擦除每一个字节的信息增加的最小熵等于（是玻尔兹曼常数），也是在这篇文章中，他首次提出了“信息是物理的”观点。

除物理学之外，信息论也逐渐被推广到生物学、神经科学等各个领域。20世纪70年代，由于数字计算机的广泛应用，通信系统的能力也有很大提高。80年代中期以来，信息论得到快速发展。学者们越来越认识到信息的重要性，它可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法广泛渗透到各个科学领域，它迫切要求突破克劳德·香农信息论的狭隘范围，以便使它能够成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。

信息论分支

根据信息论研究的内容，一般将其分为狭义信息论、工程信息论和广义信息论三种类型。

狭义信息论

狭义信息论又称香农信息论、经典信息论、信息论基础，它是以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。狭义信息论主要研究信息测度、信道容量、信息率失真函数，以及与这3个概念相对应的香农三定理以及信源和信道编码等内容。这部分内容是信息论的基础理论。

工程信息论

工程信息论又称一般信息论，它主要研究信息的传输和处理问题。除了克劳德·香农基本理论之外，工程信息论的研究还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论、信息处理理论以及保密理论等。后一部分内容的研究者以美国科学家维纳为代表。虽然诺伯特·维纳和香农等人都是运用概率和统计数学的方法研究如何准确或近似再现消息的问题，都是通信系统的最优化问题，但他们之间有一个重要的区别。诺伯特·维纳研究的重点是在接收端，研究消息在传输过程中受到干扰时，在接收端如何把消息从干扰中提取出来。在此基础上建立了最佳过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论等。克劳德·香农研究的对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码。香农定理指出，只要在传输前后对消息进行适当的编码和译码，就能保证在有干扰的情况下，最佳地传送消息，并准确或近似地再现消息。信息测度理论、信道容量理论和编码理论等由此发展起来。

广义信息论

广义信息论是一门综合性的新兴学科，并没有严格的定义。概括说来，凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。广义信息论不仅包括一般信息论的所有研究内容，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学、语义学，甚至社会学和经济管理中有关信息的问题。反过来，所有研究信息的识别、控制、提取、变换、传输、处理、存储、显示、价值、作用以及信息量的大小的一般规律以及实现这些原理的技术手段的工程学科，也都属于广义信息论的范畴。

研究对象

信息论的研究对象是广义通信系统，它把所有的信息流通系统都抽象成一个统一的模型。在任何一个信息流通系统中，都有一个发出信息的发送端（信源），有一个接收信息的接收端（信宿），以及信息流通的通道（信道）。在信息传递的过程中不可避免地会有噪声，所以有一个噪声源。为了把信源发出的消息变成适合在信道中传输的信号，还需要加入编码器；在送到信宿之前要进行反变换，所以要加入编译器。信源、编码器、信道、译码器和信宿构成了通信系统的主要组成部分。

信源

信源是产生消息和消息序列的源，它可以是人、生物、机器或其他事物。比如，各种气象状态是信源，能够产生独特的气味吸引蜜蜂属来采花蜜的花朵是信源，人脑的思维活动也是一种信源。信源的输出是消息（或消息序列）。消息有着各种不同的形式，如文字、符号、语言、图片、图像、气味等。消息以能被通信双方所理解的形式通过通信进行传递和交换。消息携带着信息，是信息的载体。信源输出的消息是随机的、不确定的，但又有一定的规律性，因此用随机变量或随机向量等数学模型来表示信源。

编码器

编码器是将信源发出的符号转化为适合信道传输的信号，一般包括信源编码、信道编码和调制器等。信源编码又可分为无失真信源编码和限失真信源编码，其目的是压缩信源的冗余度（即多余度），提高信息传输的效率，从而提高通信系统的有效性。信道编码是为了提高信息传输的可靠性而有目的地对信源编码器输出的代码组添加一些监督码元，使之具有纠、检错能力。调制器将信道编码的输出变换为适合信道传输要求的信号。

信道

信道是指通信系统把载荷消息的信号从发送端送到接收端的媒介或通道，是包括收发设备在内的物理设施。信道除了传播信号以外，还有存储信号的作用。在狭义的通信系统中，实际信道有明线、电缆、光缆、无线电传播空间、磁盘、光盘等，这些都属于传输电磁波能量的信道。对于广义的通信系统来说，信道还可以是其他的传输媒介。在信道中，把在系统其他部分产生的干扰和噪声都等效地折合成信道干扰，看成是由一个噪声源产生的，它将作用于所传输的信号上。这样，信道输出的已是叠加了干扰的信号。噪声源的统计特性是划分信道的依据，并且是信道传输能力的决定因素。由于干扰或噪声往往具有随机性，所以信道用输入和输出之间的条件概率分布来描述。

译码器

译码器是编码器的逆过程，就是把信道输出的已叠加了干扰的编码信号进行反变换，变成信宿能够理解的消息。其目的是准确或者近似地再现信源发出的消息。与编码器相对应，译码器一般由解调器、信道译码器和信源译码器组成。信道输出信号是模拟信号，解调器的任务是对该模拟信号进行采样、量化，产生数字信号，有时候还要对采样得到的信号进行判决，以便后续进行检错、纠错处理，或者进行信源译码，再现信源传送的消息。信道译码器主要是检测或者纠正数据传输中的错误，它用于再现或者重建信源传送的消息符号。

信宿

信宿是消息传送的对象，即接受消息的人、机器或其他事物，它与信源处于不同地点或存在于不同时刻。信宿要对传递过来的消息提出可接收的条件，即提出一定的准则，发送端将以此来确定对信源处理时所保留的最小信息量。信宿的数量可以是一个，也可以是多个，取决于具体应用需要。

基本方法

信息论通过概率统计方法研究通信中的问题，信息熵的概念被引入。它作为信息量多少的测度，已成为经典信息论和量子信息论中最重要的概念。

信息源的熵

香农熵：经典信息论中的基本概念。对于随机变量，它具有不确定性，可以取不同值。的香农熵即测到的值之前关于的不确定性的测度，也可以视为测到值之后得到信息多少的一种平均测度。

设对随机变量，测到其值为，概率分别为，则与该概率分布相联系的香农熵定义为：

其中是测到的概率。必须强调的是，这里对数是以为底的，因此熵的单位是比特（bit），且约定为；另外，概率满足。

二元熵函数：设随机变量的概率分布为

则

令，则时，取最大值为；当或时，为确定信源，此时，则称为二元熵函数。当二元熵函数信源输出的消息等概率分布时，信源熵达到最大值比特，从而也验证了最大离散熵定理（如下图）。因此当二元数字是由等概率的二元信源输出时，每个二元数字提供比特的信息量，否则，每个二元数字提供的信息量小于比特。这就是信息量的单位比特和计算机术语中位的单位比特的关系。

联合熵

联合熵又称共熵，指联合集上，每对元素的自信息量概率的加权平均值。其定义式为：

根据二维联合集上的元素的联合自信息量定义：

（式中，为积事件，为元素的二维联合概率）联合熵又可定义为：

。

条件熵

条件熵是联合集上，条件自信息量的概率加权平均值。联合集中，集相对于集的条件熵的定义式为：

条件熵又可写成

式中取和的范围包括二维空间中的所有点。条件熵是用联合概率而不是用条件概率进行加权平均的。

互信息

互信息：两个随机变量信息共享程度的一种度量，即给定其中一个变量的信息，能多大程度地减少另一个变量的不确定性；另一方面，互信息也是两个随机变量独立性的一种度量。假定是两个离散型的随机变量，那么它们的互信息可定义为：

其中，是的联合概率分布，与分别为的边缘概率分布。对于连续型的随机变量，互信息可定义为：

性质：互信息是一个非负变量，且是对称的，即。

特别地，如果是两个独立的随机变量，那么

也就是独立变量间没有共享的信息。

互信息表示在已知的条件下，的信息量减少的多少。决策树中的信息增益就是互信息，把分类的不同结果看成不同随机事件，然后把当前选择的特征看成，则信息增益就是当前的信息熵减去已知情况下的信息熵。

相对熵

相对熵：又称散度、鉴别信息、方向散度、交叉熵、Kullbac-Leibler距离等，是两个概率分布差异的一种度量，它反映了假设分布特性与实际分布特性之间的差异。在同一字母集合上的两个概率分布和的相对熵定义为：

在上面的定义中，通常约定，。

性质：

（1）不对称性：尽管相对熵从直观上是个度量或距离函数，但它并不是一个真正的度量或者距离，因为它不具有对称性。

（2）非负性：相对熵的值是非负值。它可以衡量两个随机分布之间的距离，当两个随机分布相同时，它们的相对熵为零；当两个随机分布的差别增大时，它们的相对熵也会增大。

定向信息

从序列到序列的定向信息记为，定义为

一般地，定向信息。

（1）若和分别是离散信道的输入和输出序列，则

当且仅当使用该信道没有反馈时等号成立。

（2）若和分别是离散无记忆信道的输入和输出序列，则

当且仅当在统计上独立时等号成立。

基本理论

编码理论：编码理论是研究信息传输过程中信号编码规律的数学理论，即研究如何根据信息系统的结构特征，对信源产生的符号序列进行变换，以提高信道利用率和通信可靠性的理论。编码是为了达到某种目的而对信号进行的一种变换，其逆变换称为译码或解码。

数据压缩：数据压缩是利用数据编码或数据变换将原来的数据集合压缩为一个较小规模的数据集合。多媒体数据压缩方法根据不同的依据可产生不同的分类。第一种，按照其作用域在空间域或频率域上分为空间方法、变换方法和混合方法；第二种，根据是否自适应分为自适应性编码和非自适应性编码；第三种，根据质量有无损失可分为有损失编码和无损失编码。

纠错码：纠错码是为每个分组添加足够的冗余信息，使接收方能发现并自动纠正传输差错的信道编码。按构造方式它可分为分组码与卷积码；按码元关系可分为线性码与非线性码。

为实现有效编码，在编码理论中同时从信源、信道两方面来进行考虑。首先从信源角度考虑，在不丢失信源的原始信息条件下对信源的数据量尽可能精简压缩，是信源编码问题；另一方面则从信道角度考虑，主要目的是克服误差干扰使数据实现无误差或误差很小的传输，是信道编码问题。

信源编码

信源编码：对信源输出的信号进行变换，包括连续信号的离散化，即将模拟信号通过采样和量化变成数字信号，以及对数据进行压缩，提高数字信号传输的有效性而进行的编码。

信息率：信源每秒中产生的信息（量）被称之为信源的信息率，单位为比特/秒，信息率的具体计算为：设信源发出的消息中有个可能的符号，其概率分布为，那么对接收者来说，有两种情况：

（1）在无噪声时，每收到一个符号，平均消除的不确定性（即信息量）为比特/符号。符号信源以平均每秒个符号的速度发送信号，该信源的信息率为比特/秒；

（2）在有噪声时，尽管信源仍以同样速率发送信息，但信宿实际收到的要比小，因此信宿接收的信息率此时要小于信源信息率。

信道编码

信道容量：表征信道最大传送信息能力的度量，指对于一个给定的信道环境，在传输差错率（即误码率）无穷趋近于零的情况下，单位时间内可以传输的信息量。即信道容量是信道在单位时间里所能传输信息的最大速率，其单位是比特/秒。它是一个客观数值，与信源无关，但与编码、调制等技术有关。

信道模型：当二进制数字序列通过通道时，可能发生下面情况：

发送，接收机可能判决为或；发送，接收机可能判决为或，设表示发送接收机判决为的概率，表示发送接收机判决为的概率，表示发送接收机判决为的概率，表示发送接收机判决为的概率，则信道转移概率矩阵可表示为

如果，则称这种信道为二进制对称信道；否则称为不对称信道。若，或，则称为信道。二进制对称信道如下图所示。

在作删除判决情况下，信道可用下图模型表示，称为二进制删除信道。

信道编码：对信源编码器输出的信号进行再变换，包括区分通路、适应信道条件和提高通信可靠性而进行的编码。信道容量中二元对称信道通常是无记忆的，即传输的每个码元符号不相关或统计独立，因此产生的传输差错是随机性的，因而又被称为随机信道；二进制擦除信道会损失一些比特（不是被损坏），如果二进制擦除信道存在反馈，那么就会清楚下一步该做什么：若一个比特损失，那么重新传输它，直到其顺利通过为止；有记忆信道在信号传输时可能发生一种突发差错，即前后码元发生的差错有关联性，一个差错的出现会导致后面差错的出现。

意义

信息论的研究和发展的意义主要体现在技术应用、社会经济和思维方式三个方面。

（1）技术应用：信息论为现代通信理论和技术的发展做出了贡献，信息科学与材料科学、能源科学一起已成为现代高新技术领域的三大关键技术，信息产业已是当今社会中发展最快、效益最高、潜力最大、影响最广的最重要的支柱产业之一。

（2）社会经济：21世纪人类社会全面进入信息时代，智力、技术和信息已成为现代社会经济生活中不可缺少的重要资源。信息科学的迅速发展和信息高速公路的出现，使先进的技术和信息能够为不同国家和民族所使用，有利于国际性的合作和交往的发展，同时也为市场经济中资源的有效配置和利用提供了良好的社会环境，避免了项目的重复建设和产品的盲目生产。企业充分利用互联网上的有用信息和在互联网上做广告也为其利润的增加和经济的发展开辟了新的天地。

（3）思维方式：信息高速公路的开通和信息的快速传递导致思维方式上的不断更新。互联网的开通加快了人们接受新思想、新信息的速度，促进了不同生活方式和思维模式的融合，使得那些原来遥不可及的事情变得唾手可得，原来不可思议的新事物变得司空见惯，原来不可接受的生活方式、思维模式和文化传统变得争相仿效。人们每天都能从网络上接受到大量的不同种类、具有不同文化特质和民族风格的信息，通过对不同民族的优良文化传统和独特的思维方式的学习和消化、分析和综合，加快了人们思维方式的变革和更新，促进了新的思维模式的形成，将人们从静态思维转向动态思维，从局域性思维转向全局性思维，从封闭性思维转向开放性思维，从单向性思维转向多向性思维。它有利于全方位、多层次、多渠道地展开思维活动，促进跳跃性、联想性，创造性的思维网络的形成。

应用

生物学

在生物学研究中，信息论占据重要的作用和地位。20世纪90年代以来，伴随着分子结构测定技术的突破和各种基因组测序计划的展开，生物学数据大量出现，如何分析这些数据，从中获得生物结构、功能的相关信息成为困扰生物学家的一个难题。于是，他们竞相应用信息论的概念和方法去理解和解决本领域中的问题。例如，使用信息论中的方法能够分析生物遗传信息。丰富的遗传信息的复制与表达对应着遗传信息的编码、存储与传递，这与通信系统中信息的编码传递具有一定的相似性，因而可以通过引入一种基于信息论的特征提取方法，对生物序列中的必需基因和启动子进行分析与预测。

管理学

在现代化管理中，信息论已成为与系统论、控制论等相并列的现代科学的主要方法论之一。在管理世界里，管理信息依据不同的分类方法，可以分为各种不同的类别，而在这繁多的种类中，大体可分为两大形式：管理自然信息和管理社会信息。实际上，现代化管理与信息已融为一体，并形成一种特殊形态的信息运动形式，即管理系统信息流。例如，在图书馆管理工作中引入信息论原理，不仅可以利用信息流的反馈来及时调整管理方向，提高图书馆管理的时效性和针对性，以保证整个图书馆系统的高效运作，而且还能提高图书资源的利用价值，促进地区文化教育更快、更好地发展。

密码学

信息论的创始人香农发表的《保密系统的通信理论》一文，用信息论的观点对信息保密问题作了全面的阐述，并以概率统计的观点对消息源、密钥源、接收和截获的信息进行数学描述和分析，阐明了密码系统、完善保密性、纯密码、理论保密性和实际保密性等重要概念，为密码学奠定了理论基础。例如，利用信息论原理对密码学函数迭代技术建立信道迭代模型。在此基础上，进一步利用随机过程理论，给出密码学函数迭代原理分析，得到了经过密码学函数迭代之后输出为均匀分布时输入输出互信息极限为零的充分必要条件，以及在一定条件之下的输入输出互信息收敛速度的一个上界。

计算机科学

从信息论的观点看，信号是观察客观事物表达其相应信息的技术手段，也是特定信息的载体。信息通过信号来表达，对信息的加工和处理也就是信号的加工和处理。计算机科学的信号处理过程无非是信源编码、变换、过滤或决策过程，大部分应用的是信息论基础中的信息率失真理论。例如，数字信号处理的技术可以归结为以快速傅里叶变换和数字滤波器为核心，以逻辑电路为基础，以大规模集成电路为手段，利用软硬件来实现各种模拟信号的数字处理，其中用到了信息论中的信号检测、信号变换、信号的调制和解调、信号的运算、信号的传输和信号的交换等。