设为首页 | 加入收藏夹

八文网 - 汇聚八方文档 - 做最优秀的免费文档下载网站

中国科学

文档类型：

Adobe Acrobat PDF 文档文档大小：432.74KB

中国科学G辑物理学力学天文学~SCIENCE IN CHINA Ser.GPhysics, Mechanics Astronomy动态统计信息理论邢修三(北京理工大学物理系, 北京摘要将现有Shannon静态统计信息理论拓展至动态过程, 建立了以动态信息熵和动态信息的演化规律为核心的Shannon动态统计信息理论. 与此相对应、还提出了Boltzmann动态统计信息理论. 基于动力学系统各自的态变量演化方程,即Fokker-Planck方程和Liouville扩散方程可看成是其信息符号演化方程, 推导出了表述动态熵和动态信息的演化规律的Shannon动态熵密度和动态信息密度的非线性演化方程以及Boltzmann动态熵密度和动态信息密度的非线性演化方程. 这两种动态熵和动态信息的演化方程一致显示: 动态熵密度随时间的变化率是由其在系统内部的态变量空间和传递过程的坐标空间的漂移,扩散和产生三者引起的, 而动态信息密度随时间的变化率则是由其在系统内部的态变量空间和传递过程的坐标空间的漂移,扩散和耗损三者引起的. 熵和信息己与系统的状态和运动规律联系在一起. 进而给出了两种熵产生率公式和信息耗损率公式, 两种漂移信息流和扩散信息流的表达式. 证明了两种信息耗损率(或总信息的减少率)等于其相应的熵产生率(或总熵的增加率). 得到了反映信息在传递过程中耗损特性的两种动态互信息公式和动态信道容量公式, 它们在信道长度与信号传递速度之比趋于零的极限情况下变为现有的静态互信息公式和静态信道容量公式.
所有这些新的理式和结果都是从动态信息演化方程和动态熵演化方程统一推导出的. 综述了上述思想,方法,主要结果和典型运用, 讨论了两种动态统计信息理论的同异.关键词Shannon信息(熵)演化方程Boltzmann信息(熵)演化方程信息(熵)流信息(熵)扩散熵产生率信息耗损率动态互信息动态信道容量信息理论、虽然人们研究的范围广泛、但是概念明确,数学表述和运算严格,自成体系且能付诸多方面应用的, 当前只有Shannon等建立的统计信息理收稿收修改稿
338 中国科学G辑物理学力学天文学第35卷论[1~8, 或简称Shannon信息理论. 然而这个理论、迄今仍限于静态或平衡态、它与时空过程无关. 近几年来, 虽然信息动力学,信息流和信息扩散等概念已广有应用[9~12, 但主要是定性的, 缺乏定量的表达式和规律性的论著. 有鉴于此及理论物理中每一个静态理论之后通常总出现相应的动态理论的经验、如从流体静力学到流体动力学,从静电学到电动力学,从平衡态统计物理到非平衡态统计物理等、加上此前作者在非平衡态统计物理原理方面新进展[13~16]的启示、人们自然
会问: 如何才能将现有的Shannon静态统计信息理论拓展至动态过程以建立起Shannon动态统计信息理论它要解答的主要问题为: Shannon动态熵和动态信息如何随时间,空间和其他变量有规律地变化是否遵守什么演化方程若是, 这种方程是什么形式信息熵产生,信息耗损,信息流、信息扩散如何定量地表述与哪些变量有关它们都与演化方程有何联系信息和熵又有何关系它两如何能与系统结合在一起动态信息传递过程中的互信息公式和信道容量公式是否有所修改如何修改它两与现有静态互信息公式和静态信道容量公式有何不同这些问题可否由动态信息和动态信息熵演化方程来统一解答在研究Shannon动态统计信息理论的同时, 人们亦会想到: 既然Shannon熵是从统计物理的Boltzmann熵移植的, 能否反过来在统计物理中引入与Shannon信息相对应的Boltzmann信息并建立起Boltzmann动态统计信息理论若能, 如何建立这两种动态统计信息理论的数学形式,主要概念和基础及应用范围有何异同这些就是作者[17~19]近几年来建立的动态统计信息理论的主要内容. 它的核心是探求出两种动态信息和动态熵的演化方程, 再由这两种演化方程统一推导和解答上述各问题, 特别是给出了信息流(包括漂移信息流和扩散信息流)公式,信息耗损率公式,熵产生率公式和动态互信息公式等重要公式. 现有Shannon静态统计信息理论则可看成是它的一个与时空过程无关的特殊部分.
1 Shannon动态统计信息理论信息熵和信息, 统计信息理论中最基本的概念和最重要的量, 不仅用作信息量的度量, 还用来表示自然和社会各种系统的无序度和有序度. Shannon动态统计信息理论就是研究动态熵和动态信息的演化规律及其应用的理论. 下面就给出这种理论的定量数学表述, 而其核心则是推导出表述信息熵和信息演化规律的动态信息熵和动态信息的演化方程.
1.1 信息符号,态变量及其演化方程信息, 是客观事物状态及其运动规律的显示、通常由所谓信息符号序列如语言、文字,图像,符号和信号等序列表示之. 在Shannon统计信息理论中、这种信息符号则由一组随机变量表示之. 结合此两者、我们可用客观实际动力学系统
第4期邢修三: 动态统计信息理论339表示客观事物, 作为信息之源, 把描述动力学系统状态的一组态变量看成是信息符号. 这样, 态变量在时空的传递就是信息符号的传递. 由于讨论的是Shannon信息, 这里的系统是广义的, 可包括自然系统和社会系统, 而其态变量则主要是宏观的或介观的. 因为在信息传递过程中、动力学系统的态变量既要按系统自身的运动规律变化, 同时, 它作为信息符号又要在坐标空间传递, 故这里的态变量演化意味着态变量既在态变量空间变化同时又在坐标空间传递.现在给出动力学系统的态变量的演化方程. 为了简化, 这里仅研究一个态变量的动力学系统, 它的结果不难推广到一组n个态变量的动力学系统. 设所讨论的动力学系统, 如流体动力学,颗粒(如晶粒,恒星等)长大动力学,生物群体动力学,电视图像变化动力学等、其状态可由态变量a描述之, 如流体的速度和温度,颗粒尺度,群体数目,电视图像等. 如上所述, 这里态变量起着信息符号作用. 设t为系统的态变量a演化的时间, 为t时态变量自身变化的速率, 为态变量在坐标空间的传递速率. 由于动力学系统自身及作为信息符号在坐标空间传递过程中的态变量总会受到内外噪声的干扰, 与都由漂移变化速率和涨落变化速率两部分组成.ax根据随机理论、描述动力学系统的态变量的几率密度p(a,x,t)的演化方程应是下述Fokker-Planck方程[8]
(1)这里A(a)为态变量自身的漂移变化速率, B(a)是其噪声强度或扩散系数, 两者都由动力学系统的运动规律和环境因素决定; v为态变量在坐标空间的漂移传递速率, Q是其噪声强度或扩散系数. p(a,x,t)dadx为t时在a和a da间的态变量传递到空间坐标x和x dx间的几率. 需要强调、这里a是系统的态变量, 属于系统内部; x表示态变量作为信息符号在坐标空间传递到达之处, 属于系统外部, 两者互不相同. 显然, p(a,x,t)dadx应满足归一化条件(,)dd1paxtax=∫. 方程(1)就是所给出的动力学系统的态变量的演化方程或信息符号演化方程. 它的物理意义为: 动力学系统的态变量即信息符号的几率密度随时间的变化率来自其在态变量空间和坐标空间的漂移和扩散. 若已知A(a), B(a), v和Q, 就可以由方程(1)解出p(a,x,t).
1.2 Shannon动态熵演化方程信息熵, 是Shannon移植了统计物理中的Boltzmann熵, 以作为信息量的度量, 即信息是信息熵的减少. 现又用来表示自然和社会系统的无序度.
根据信息理论及与非平衡态统计物理熵的对应关系, 动力学系统演化t时的
340 中国科学G辑物理学力学天文学第35卷Shannon动态熵可定义为其中pm= pm(a, x)为信息熵达最大值Sm时的几率密度, 物理学中称为平衡态几率密度, 满足方程 (3)其中Stpaxt= , (4)称为单位坐标空间和单位态变量空间的信息熵密度. 由于S(t) = S(t) Sm是相对熵, 故严格言之, Sax(t)应称为相对信息熵密度.将(2)式两边对时间t求偏导数, 并代入态变量演化方程(1)和(3), 则可求得Shannon动态熵密度Sax(t)的演化方程如下 (5)信息熵产生密度σσσ、 (6)这就是演化方程(5)右边的最后两项.将(5)式两边对a和对x积分, 则得单位坐标空间信息熵密度Sx(t)和单位态变量空间信息熵密度Sa(t)的演化方程各为∫∫xpSx
第4期邢修三: 动态统计信息理论341在得到方程(7a)和(7b)时利用了Sax及其导数在a→±∞和x→±∞时都为零的边界条件.由于方程(5), (7a), (7b)右边仍存在几率密度p = p(a,x,t), 故不是封闭的. 为此可由(4)式利用反函数展开得maxppS≈,将此式或更近似的结果p ≈pm代入(5), (7a), (7b)式, 它们就变为封闭的. 当然, 还有一个严格但却较为复杂的方法, 就是方程(5)和(1)联合求解.
方程(5), (7a), (7b)就是动力学系统的3个Shannon动态熵密度的演化方程.
它们指明: Shannon动态熵密度随时间的变化率是由其在传递过程的坐标空间和系统内部的态变量空间的漂移,扩散和产生三者共同引起的. 信息熵扩散和产生同时发生, 都来自随机噪声干扰.若动力学系统的态变量只有自身变化而不在坐标空间传递, 即, , 0a≠0x=paxtpatxxδ= , 则系统的3个Shannon动态熵演化方程(5), (7a), (7b)
就变成了一个演化方程:logaaaaa
. (8)
此式表明: 动力学系统的Shannon熵密度随时间的变化率是由其在态变量空间的漂移,扩散和产生三者引起的. 它只描述动力学系统内部信息熵的演化规律, 与空间传递无关. 注意此处的p = p(a, t).在演化方程(5)中、态变量仅有一个且在一维坐标空间中传递. 若动力学系统的状态由n个态变量描述,且它们作为信息符号在3维坐标空间x = (x
1, x2, x3)中传递, 则Shannon动态熵密度演化方程为[17]∑∑∑∑∑aaxx其中动态信息熵密度为∫∫axax=
342 中国科学G辑物理学力学天文学第35卷ptSStpt= axaxaxax,由于信息熵表示系统的无序度, 故演化方程~(9)就是描述动力学系统的无序度密度随时间,态变量空间和坐标空间变化的非线性演化方程.
只要知道了A(a), B(a), v和Q, 原则上就可由动态熵演化方程~(9)解得Sax(t), Sx(t)和Sa(t), 但由于~(9)式是个复杂的非封闭的非线性偏微分方程,严格的求解是较为困难的. 非封闭的原因, 则来自信息熵产生密度(6)式不能由信息熵密度表述而几率密度p隐而不显. 下述动态信息演化方程~(18)同样是非封闭的, 其原因则来自信息耗损密度(14)式不能由信息密度表述而几率密度p隐而不显.
1.3 Shannon动态信息演化方程信息, 原仅是通信中信息量的简称, 现又用来表示自然和社会系统的有序度,信息密度则表示系统的有序度密度.根据信息论、动力学系统演化时的Shannon动态信息可定义为t[5] (11)为单位坐标空间和单位态变量空间的(相对)信息密度. (10)式实际上就是Kullback信息[1,6.由式和式得mItStS= 或0axaxItSt, (12)即动力学系统的信息(密度)与信息熵(密度)之和为常数.将(12)式后一式代入(11)和(5)式, 则得Shannon动态信息密度Iax(t)的演化方程
如下 (13)Shannon信息耗损密度
第4期邢修三: 动态统计信息理论343ρρρ
. (14)将(13)式两边对a和x积分, 则得单位坐标空间信息密度Ix(t)和单位态变量空间信息密度Ia(t)的演化方程各为方程a), (15b)就是我们推导出的动力学系统的3个Shannon动态信息
密度的演化方程. 它表明: Shannon动态信息密度随时间的变化率是由其在传递过程中的坐标空间和系统内部的态变量空间的漂移,扩散和耗损三者共同引起的.
与方程(5), (7a), (7b)类似, 演化方程a), (15b)亦可变为封闭的.
若系统的态变量自身不变化, 但却仅在坐标空间随机扩散传递而无漂移传递, 则演化方程(15a)就简化为
. (16)即信息密度随时间的变化率仅是由其在空间的扩散和耗损两者共同引起的. 注意, 这里的p =p(x, t). 由于信息扩散和耗损的共同起源是态变量在空间的随机变化, 故两者是否发生是同时的, 有信息扩散就有信息耗损. 这就使得信息演化方程(16)与质量扩散方程不同、不能变成只有扩散而无耗损的单纯信息扩散方程[20. 原因是质量和能量是守恒的, 而信息与熵各自都不守恒(但信息与熵之和守恒).若动力学系统的态变量只有自身变化而不在坐标空间传递, 与方程(8)相对
应、系统的3个动态信息演化方程a), (15b)就变成一个演化方程:IIBAIBIpI, (17)
344 中国科学G辑物理学力学天文学第35卷
此式表明: 动力学系统的Shannon信息密度随时间的变化率是由其在态变量空间的漂移,扩散和耗散三者引起的. 它只描述动力学系统内部Shannon信息的演化规律, 不描述信息在坐标空间的传递.与方程(9)相对应、若动力学系统的状态由n个态变量描述,且它们作为信息符号在3维坐标空间123(,)xxx=x中传递, 则Shannon动态信息密度演化方程为[17]∑axaxax,QIptI其中动态信息密度为logIItpt=axax由于信息密度表示系统的有序度密度, 故演化方程就是描述动力学系统的有序度密度随时间,态变量空间和坐标空间变化的非线性演化方程.因为存在着信息和信息熵的扩散,耗损或产生, 动态信息和信息熵演化方程和~(9)是时间反演不对称的, 反映了这种演化过程的不可逆性.从上述各个演化方程可以看出、只有动态信息熵演化方程(5)和动态信息演化方程(13)是基本的, 它两正是Shannon动态统计信息理论的核心. 所有其他各种结果都是由此两方程推导出的, 方程(9)和(18)则是此两方程推广到n个态变量传递于三维空间的动力学系统的结果. 而得到此两方程则基于两点: 一是态变量演化方程看成信息符号演化方程, 二是动态熵和动态信息的定义. 此外, 不需任何其他假设. 由于存在着信息与熵之和守恒的关系式(12), 从演化方程(5)和(13)中的一个就可得到另一个. 因此严格地说, 此两演化方程中只有一个是基本的.
若系统处于静态或平衡态、则上述演化方程(5)和(13)中的信息熵密度和信息密度仅是态变量a的函数, 不随时间t和空间x变化, 信息熵产生和信息耗损亦等于零. 可见现有Shannon静态统计信息理论可看成是其动态统计信息理论与时空过程无关的一个特殊部分.顺便指出、系统理论中一个长期待解决的重要问题是如何能将信息引入系
第4期邢修三: 动态统计信息理论345统并用它阐述系统问题. 从信息熵和信息定义(2)和(10)式到动态信息熵和动态信息演化方程(5)和(13)可以看出、信息熵和信息已与系统状态(a)及其运动规律[A(a)和B(a)]结合在一起, 信息熵产生,信息耗损已是动力学系统的基本特性, 信息熵演化和信息演化是动力学系统的无序度和有序度演化的显示、而信息流和信息熵流则是沟通系统内部及系统与其环境间的桥梁. 系统是信息之源, 信息是系统的构件,生命系统的核心. 关于信息和熵与系统的联系, 这里的有关论述, 下节Boltzmann动态统计信息理论中同样适用, 不再重复.应该指出、为了与现有的静态信息理论[1~3]完全对应、动力学系统演化t时的动态信息熵(2)式和动态信息(10)式应定义为(2a)和(10a)式与(2)和(10)式的形式虽稍不同、但两者同样通用. 更重要的是, 当A,B, v和Q近似常数时(信息传递过程中的v和Q就可看成常数), (2a)式中的信息熵密度Sax(t)和(10a)式中的信息密度Iax(t)所遵守的演化方程与(5)和(13)式相同、差别是与(6)和(14)式对应的信息熵产生率密度和信息耗损率密度在这里为
22 loglogBppQppσρ与(6a)和(14a)相比、 (6)和(14)式的优点是在平衡态mpp=的信息熵产生和信息耗损都自动为零, 不需另加条件; 而用(6a)和(14a)式时, 则需0mmpp才可使平衡态的信息熵产生和信息耗损为零. 一般言之, 这种要求并不合理. 这就是为何本文的动态信息熵和动态信息的定义采用(2)式和(10)式的原因.
1.4 Shannon熵产生和信息耗损Shannon熵产生和信息耗损是复杂动力学系统的基本特性. 现在给出信息熵产生率和信息耗损率的简明公式.
首先: 我们定义动力学系统的几率密度的离开平衡率或简称系统的离开平衡率为θ=≈, (19)将(19)代入(6)式, 则得动力学系统的Shannon熵产生率为
346 中国科学G辑物理学力学天文学第35卷dd0diSpBQaxBQθθθθ∫≥, (20)同样, 将(19)代入(14)式, 则得动力学系统的Shannon信息耗损率为iIθθθθ= =∫≤. (21)
(20)和(21)式显示、 Shannon熵产生和信息耗损都是由两部分组成, 其一(右边第一项)发生于系统内部, 另一(右边第二项)发生于传递过程中.若只研究动力学系统自身变化而不考虑其熵和信息在坐标空间传递, 则Shannon熵产生率和信息耗损率(20)和(21)式变为ta同样, 对应于演化方程(9)和(18), n个态变量在3维空间传递的动力学系统的Shannon熵产生率和信息耗损率为ddptBQt其中Q = {Qkδkl.a), (20b)式就是信息熵产生率公式, 亦即是信息熵增加定律公式. 信息熵增加定律, 又可名广义熵增加定律, 与物理熵增加定律相比、它已摆脱了热力学背景, 不仅可用于自然科学, 亦可用于社会科学. 它表示自然和社会动力学系统的信息熵总是趋向增加, 即系统自发向信息熵增加的方向演化. 由于信息熵表示系统的无序度, 故信息熵增加定律表示自然和社会动力学系统的无序度总是趋向增加.a), (21b)式就是信息耗损率公式, 与信息熵增加定律相对应、此式亦可看成Shannon信息耗损定律公式. 它表明自然和社会动力学系统的信息总是趋向耗损, 即系统自发向信息耗损的方向演化. 由于信息表示系统的有序度, 故信息耗损定律表示自然和社会动力学系统的有序度总是趋向耗损.a), (21a)和(20b), (21b)式表明, Shannon熵产生率和信息耗损率
第4期邢修三: 动态统计信息理论347两者都等于扩散系数或噪声强度与离开平衡率梯度平方的乘积之平均值, 指明动力学系统的Shannon熵产生和信息耗损是由其几率密度在坐标空间和态变量空间随机地不均匀离开平衡引起的. 可见、复杂动力学系统, 只要它处于非平衡(0θ≠)非均匀0≠态且具有随机扩散运动(0B≠, 0Q≠), 它的信息熵总是在产生, 信息总是在耗损. 反之, 当系统或处于平衡态(0θ=)或虽处于非平衡态但却是均匀的0, 或只具有确定性运动而无随机性运动(, 0=B0=Q), 它都没有信息熵产生和信息耗损.若系统处于定态、其宏观态虽不随时间变化, 系统内部却有宏观流、由(20)式和paJ= =, 可以证明一维定态系统内部的Shannon熵产生率为[16]lnistSpJLtpφ0)L, (22)其中为系统的几率流、JLAaaφ= ∫L, 为J流过的区间长度[0,L,pst(0)和pst(L)为在边界a = 0和a = L处的几率密度. 这里扩散系数B为常数.
同样, 由(21)和(22)式可得一维定态系统内部的信息耗损率Ip
. (23)由(22)和(23)式可见、定态系统的Shannon熵产生率和信息耗损率正比于其几率流. 当系统处于平衡态、J=0,信息熵产生率和信息耗损率都为零. 这是与(20)和(21)式的结果一致的.由(20)~(23)式可以看出、动力学系统的信息熵产生则信息耗损, 信息熵减少则信息增加, 两者同时存在, 数值相等. 换言之, Shannon信息熵产生(或减少)率等于信息耗损(或增加)率, 即动力学系统内部的信息熵与信息之和随时间的变化率为零.iiSItt= 或iSI
0. (24)
从信息熵产生定律和信息耗损定律出发, 可以断定: 任何自然和社会动力学系统都不可能纯洁无瑕, 铁板一块, 其内部总存在无序子系统, 例如晶体内有缺陷, 健康生物体内有死亡细胞, 社会上有犯罪分子等.由于离开平衡率,信息熵密度和信息密度的不均匀性, 不难推断: 动力学系统在不可逆变化过程中、其内部对应的微观结构变化总是不均匀的. 例如, 固体在范性变形过程中、其内部位错滑移总是集中成滑移带; 人在衰老过程中、各血
348 中国科学G辑物理学力学天文学第35卷管,系统的老化和病变速度总是有快有慢, 如有些人仅心脑血管严重患病、另些人只肾功能显著衰退等.
1.5 Shannon信息流和信息扩散从Shannon信息演化方程(13)或(15a)和(15b)可以求得态变量空间和坐标空间的信息流、它由漂移信息流和扩散信息流两者相加而成.态变量空间的信息流密度为或这种信息流只引起系统内部的信息密度变化, 与环境的信息交换无关.
坐标空间的信息流密度为或xxtxdxx这种信息流无论在通信过程中或研究开放系统的有序度变化时, 都有其实际意
义. 这是因为系统与环境的信息交换, 包括一个系统与另一个系统的信息交换, 生物内部各部分间的信息交换, 社会内部各成员间的信息交换, 都是通过坐标空间信息流的来回传递而实现的.坐标空间的漂移信息流密度为或txxJvI, (27b)它等于信息在空间的漂移传递速率v和信息密度Iax或Ix之乘积. 如前所述, v实际上就是态变量在空间的漂移传递速率. 在通信中、当人用眼接受信息时, 则v是光速; 用耳接受信息时, 则v是声速.坐标空间的扩散信息流密度为dxJQ它等于信息在空间的扩散系数Q与信息密度负梯度axI或xI之积. 换言之,信息扩散总是从高密度区向低密度区的方向自发进行的. 在3维空间, 这种扩散
第4期邢修三: 动态统计信息理论349方向可以是各向同性的,四面八方的, 因而与漂移流的定向性有明显区别. 小道消息()是典型的信息扩散. 动物用气味通讯, 实际上就是信息扩散通信. 互连网中的信息扩散[12, 由于其重要性, 已有专题讨论. 正因为信息具有自发扩散性, 各国政治,军事和金融的保密性都受到高度重视.同样, 从Shannon熵演化方程(5)或(7a)和(7b)可求得态变量空间的信息熵流密度为或坐标空间的信息熵流密度为它们同样都由漂移信息熵流和扩散信息熵流两部分组成.n个态变量传递于3维空间的动力学系统, 它的信息流密度和信息熵流密度亦易于从(9)和(18)式求出. 不同的是, 这里信息(熵)流是向量, 在态变量空间的有n个分量, 在坐标空间有3个分量.由(25a)和(29a)式,(26a)和(30a)式及(12)式可得:0axaxasaJJ, 0axax即动力学系统内的Shannon熵流出等于其信息流入, 或曰动力学系统内的Shannon熵流与信息流之和为零, 态变量空间如此, 坐标空间亦如此.
信息和信息熵扩散的结果, 将使信息和信息熵的密度均匀化, 从而导致动力学系统自发趋向平衡.由于存在着累积耗损, 信息流密度在空间传递途中将会减小. 若动力学系统是非平衡态的, 则由(26b)和(10)式可求出t时流经x处的信息流密度JtvpaxtQxpax∫可见空间信息流密度是时空的函数. 由此不难求出t = 0时流经x = 0处与t = τ时流经x = l处两者信息流密度之差, 即非平衡传递过程中信息流密度随传递距离增加而减小的变化式为
350 中国科学G辑物理学力学天文学第35卷其中Pl(τ)为信息流密度在传递途中的累积耗损, 它可由(32)式计算出.
若动态信息由(10a)定义时, 与(32)式相对应、当系统处于非平衡态、于t时流经x处的信息流密度为JtvpaxtQpaxtQ
xx 由此式同样可求出(33)式.
1.6 Shannon动态互信息和动态信道容量Shannon信息传递理论中一个重要课题是给出可用于定量计算信宿在输出端收到信源从输入端通过信道传递的信息量的公式, 这就是现有的静态互信息公式[1~3.其中A是从输入端输入信道的符号, B是信宿在输出端收到的符号. H(A)是信源熵,H(B)是信宿熵, H(A|B)和H(B|A)都是由噪声对符号的干扰引起的噪声熵. 这个通信模型, 实质上是个零传递时间模型,或叫点模型, 没有时空过程, 即符号从输入端传递至输出端不需任何时间, 两端相当于处在同一个点、噪声当然亦集中于此点. 这样, (34)式各项中的符号都是同一时间同一点的符号. 以互信息而言、则应是llIABIABIABττ, 它的精确定义是: 信宿于t = τ(=0)时在输出端x =l(=0)处从符号Bl(τ)(=B0(0))中提取该地该时由信源传递来的符号Al(τ)=A0(0)]的信息量. 现在的问题是, 当信息符号在信道中的传递时间足够长且传递途中存在噪声时, 如何计算信宿于t = τ时在输出端x = l处从符号Bl(τ)中提取信源于t = 0时由输入端x = 0处发送的符号A0(0)的信息量这就需要动态互信息公式[17,18]其中llllHABHQHABτττ=τ. (36)为了使(35)式可用于实际计算, 需知信息在传递途中的累积耗损H(Ql(τ)), 将信息流密度在传递途中的变化式(33)代入(34)式, 不难求得((0))
(0)lPHQHAJττ, ττ再将(36)~(38)式代入(35)式, 则动态互信息公式变为
第4期邢修三: 动态统计信息理论351IABHAHAB信息传递理论中另一个重要课题是信道所能传递的最大信息量, 这就是信道容量, 它与互信息密切相关. 在现有Shannon信息理论中、静态信道容量定义为[1~3]pa其中I(A; B)就是(34)式的静态互信息公式. 随着动态互信息公式(35)和(39)的出现, 自然就有其相应的动态信道容量公式. 与(40)式相对应、它应定义为
其中p(a0)表示于t = 0时, 由输入端x = 0处发送符号A0(0)的几率密度分布. (41)式就是将(40)式中的静态互信息公式(34)由动态互信息公式(39)取代后变成的.
由式可见、动态互信息公式和动态信道容量公式中噪声
引起的信息耗损应由两部分组成: 其一是(34)和(40)式中那种在输出端接收时的瞬时信息耗损H(Al(τ)|Bl(τ)), 另一则是在信道传递过程中的累积信息耗损H(Ql(τ)), 它使输入端的信息, H(A0(0))传递到输出端时减小了变为H(Al(τ)). 何种条件下H(Ql(τ))可以略去由(37)和(38)式可见、仅当传递时间τ= lv→0即信道长度l与信号传递速度v之比趋于零, 累积信息耗损H(Ql(τ))才可略去. 这种条件下, 输入端的信息传递至输出端时几乎无变化式就变成(34)和(40)式, 这亦正是静态互信息公式(34)和静态信道容量公式(40)适用的条件. 反之, 若信道长度很长或传递速度v很小或信道噪声强度Q很大时, 累积信息耗损H(Ql(τ))则不可略去. 这种条件下, 表达信宿在输出端收到输入端的信息量的互信息公式和信道容量公式应由静态(34)和(40)式改为动态式. 海洋水下通信, 恒星间的通信, 前者因声速较低, 后者因距离特大, 且两者途中都存在较强的噪声, 因而动态互信息公式和动态信道容量公式就有其实际意义.
2 Boltzmann动态统计信息理论如上所述, Shannon统计信息理论的基础和信息载体是宏观的或介观的, 一般言之, 除传递过程外, 它与物理学规律无关. 现在开始讨论的Boltzmann动态统计信息理论、虽然其数学形式与Shannon动态统计信息理论的类似, 主要概念相同、主题亦是相应的Boltzmann动态熵和动态信息的演化规律及其应用. 然而、它的基础和信息载体却是微观原子分子的, 来源于统计物理,特别是近年来作者[13~16]在非平衡态统计物理原理方面的新进展. 研究这种信息理论的目的, 首先是
352 中国科学G辑物理学力学天文学第35卷因为Boltzmann信息与其熵完全对应、更重要的是因为原子分子作为载体所能存储的信息容量比宏观或介观载体同体积相同物质所能存储的信息容量大很多个量级, 而生物体内的各种信息都存储在大分子结构上, 因而它在生物学中可能有其实用价值. 由于熵的微观统计性质是Boltzmann首先阐述的, 为与Shannon统计信息理论相对应并有所区别、故将以统计物理为基础的统计信息理论统一称之谓Boltzmann统计信息理论、而其中的信息和熵则统一称之谓Boltzmann信息和熵.
2.1 Liouville扩散方程在上节的Shannon动态统计信息理论中、信息符号是动力学系统的态变量,而其演化方程则是熟知的Fokker-Planck方程. 在本节的Boltzmann动态统计信息理论中、信息符号是微观粒子系统的状态向量, 而其演化方程则是时间反演不对称的Liouville扩散方程. 这个方程[13~15]是近年来作者提出的, 以取代现有的时间反演对称的Liouville方程, 作为非平衡态统计物理的基本方程. 当它用作信息符
号演化方程时, 其形式如下:HvDQtxxρρ其中H=H(X )为系统的Hamilton函数,X= (q, p)为6N维相空间的状态向量, q和p为一组向量q = (q1, q2, , qN)和p = (p1, p2, , pN), qi和pi为第i个粒子的位置和动量,D为粒子的扩散系数; v为状态向量在坐标空间的漂移传递速率, Q是其噪声强度或扩散系数. ρ(X,x,t)dXdx为t时在X和XdX间的状态向量传递到空间坐标x和xdx间的几率. 注意, 这里X表示系统自身的状态向量, 属于系统内部; 在研究信息传递时, 系统是作为信息即信息符号之源, 而x则表示系统的状态向量作为信息符号在坐标空间传递到达之处, 属于系统外部. 因而两者物理意义不同. 方程(1)中的态变量a和空间坐标x两者的物理意义亦是这样的互不相同. 显然ρ(X,x,t)dXdx应满足归一化条件(,)dd1xtxρ=∫XX. 方程(42)就是N个粒子组成的非平衡态统计物理系统的状态向量的系综几率密度ρ(X,x,t)的演化方程或信息符号
演化方程. 它的物理意义为: 非平衡态统计物理系统的状态向量即信息符号的系综几率密度随时间的变化率来自其在相空间的漂移和位置子空间的扩散以及坐标空间的漂移和扩散传递. 若状态向量只在相空间运动而不在坐标空间传递, 即v =0,Q =xttxxρρδ= XX, 则方程(42)就还原为由作者提出的描述大量粒子运动规律的新的非平衡态统计物理基本方程[13~15.由方程(42)我们即可得单个粒子的动力学系统的6维状态向量(q1, p1)的几率密度f1 (q1, p1;x,t)的演化方程,即信息符号演化方程. 它就等于在非平衡态统计
第4期邢修三: 动态统计信息理论353物理系统的单个粒子约化几率密度的运动方程[13~15]中加上方程(42)中在坐标空间的漂移传递项(右边第二项)和扩散传递项(右边第四项)、并将f1(q1, , p1; t)改为f1(q1, p1;x,t) 即得, 这里略.
2.2 Boltzmann动态熵演化方程根据非平衡统计物理, 在研究Boltzmann动态统计信息理论时, 6N维相空间的状态向量演化t时的非平衡熵可定义为[15~17]
(43)Stkxt, (44)
k为Boltzmann常数, ρ0和SB0各为平衡态的系综几率密度和熵, SXx(t)为单位6N维相空间和单位坐标空间的非平衡熵密度.或(,)ln(,)ddddBx其中ρρ= XXX. (44a)同样, 6维相空间的状态向量演化t时的非平衡熵可定义为
111110 ∫qp其中111Stkfxt, (46)为单位6维相空间和单位坐标空间的非平衡熵密度.或 ∫qpqpqp其中 qpqp. (46a)将(43)和(45)式两边对t求偏导数, 并代入6N维状态向量演化方程(42)和6维状态向量演化方程, 则可求得6N维和6维Boltzmann动态熵密度SXx(t)和Svpx(t)的
演化方程如下
354 中国科学G辑物理学力学天文学第35卷 (48)其中Jvpx为位能在6维相空间贡献的熵流密度, v1= p1m为粒子速度.
方程(47)和(48)表明: Boltzmann非平衡态熵密度随时间的变化率是由其在系统内部的相空间和传递过程中的坐标空间的漂移,扩散和产生三者共同引起的.
若状态向量只有自身变化而不在坐标空间传递, 则6N维和6维Boltzmann动态熵演化方程(47)和(48)就还原为[14~16]
1
此式表明: 非平衡态熵密度随时间的变化率是由其在相空间的漂移,扩散和产生三者引起的. 它只是描述非平衡态统计物理系统自身熵的变化方程, 与信息(熵)在远离系统的坐标空间传递无关.
2.3 Boltzmann动态信息演化方程根据信息理论和(43)式, 6N维相空间的状态向量演化t时的Boltzmann动态信息可定义为ItSStkxtxItx, (49)Itkxt, (50)为单位6N维相空间和单位坐标空间的Boltzmann动态信息密度,或ρρ=Γ=∫∫XXXΓ, (49a)其中ρρ=XXX, (50a)同样由(45)式, 6维相空间的状态向量演化t时的Boltzmann动态信息可定义为(; (52)
第4期邢修三: 动态统计信息理论355vpxb为单位6维相空间和单位坐标空间的Boltzmann动态信息密度.
或∫∫qpqpqpqp, (51a)其中 (52a)由(43)和(49)式,(44)和(50)式,(45)和(51)式,(46)和(52)式得BBBbbItStS或ItSt即非平衡态统计物理系统的Boltzmann信息(密度)与熵(密度)之和为常数.
将(53)式后一式中的IXx(t)和Ivpx(t)各取代对应的SXx(t)和Svpx(t)并代入方程(47)
和(48)中、即得6N维和6维相空间的Boltzmann动态信息密度IXx(t)和Ivpx(t)的演化方程为
. (55)
方程(54)和(55)表明: Boltzmann非平衡态信息密度随时间的变化率是由其在系统内部的相空间和传递过程的坐标空间的漂移,扩散和耗损三者共同引起的.
需要指出: 在统计物理中引入Boltzmann信息的一个目的, 是为了与Boltzmann熵的完全对应. 在统计热力学系统中、经常谈到熵与信息的关系, 如系统的熵增加等于信息耗损, 熵流出等于信息流入等. 若统计物理熵由公式(43),(45), 方程a)和a)表述, 那么对应的信息就应由公式方程a)和a)表述, 而不是由公式(10)和方程中的Shannon信息表述.若状态向量只有自身变化而不在坐标空间中传递, 则6N维和6维Boltzmann动态信息演化方程(54)和(55)就还原为]此式表明, 非平衡态信息密度随时间的变化率是由其在相空间的漂移,扩散和耗
356 中国科学G辑物理学力学天文学第35卷损3项引起的. 它只是描述非平衡态统计物理系统自身的信息的变化方程, 与信息在远离系统的坐标空间传递无关.由于物理熵(密度)表示统计物理系统的无序度(密度), 物理信息(密度)表示统计物理系统的有序度(密度), 故演化方程aa)和a),a)就是描述非平衡态统计物理系统在其演化过程中的无序度密度和有序度密度随时间,相空间和坐标空间变化的非线性演化方程.与Shannon动态统计信息理论一样, 在上述各个Boltzmann动态熵和动态信息演化方程中、只有动态熵演化方程(47)和动态信息演化方程(54)中的一个是基本的, 它是Boltzmann动态统计信息理论的核心. 所有其他各种结果都是由此方程推导出的.
最后还需指出: 由(49)和(51)式表述的Boltzmann信息, 与(10)式表述的Shannon信息相比、其单位多了个因子k. 它来源于Shannon熵的单位就比Boltzman熵的单位少了个因子k. 在实际计算Boltzmann信息时, 可扣除掉这个因子k.
2.4 Boltzmann熵产生和信息耗损熵产生率, 即熟知的熵增加定律, 是统计热力学中一个基本定律. 它的微观物理基础是什么是由哪几个物理量决定的可否由一个定量的简明公式表示之这是统计物理中长期待解决的重要课题. 当非平衡态统计物理系统的信息在坐标空间传递时, 由Boltzmann动态熵演化方程(47)和(48)中的熵产生项、即得6N维和6维的Boltzmann熵产生率为iBBkDQρθ∫qBkDkQ≥ωρρωlnlnbfω
第4期邢修三: 动态统计信息理论357各为非平衡态统计物理系统在6N维和6维相空间的微观状态数密度的离开平衡率或简称离开平衡率. 同样, 由Boltzmann动态信息演化方程(54)和(55)中的信息耗损项、即得6N维和6维的Boltzmann信息耗损率为≤q
2 式显示、 Boltzmann熵产生和信息耗损都由两部分组成, 其一(右边第一项)发生于非平衡态统计物理系统内部, 另一(右边第二项)则发生于传递过程中.若只研究非平衡态统计物理系统自身变化而不考虑其熵和信息在坐标空间传递, 则6N维和6维的Boltzmann熵产生率(56)和(57)式变为[16]iBkDibθ=
1 6N维和6维Boltzmann信息耗损率(59)和(60)式变为
1 (56a), (57a)式和式正是非平衡态统计物理系统的熵产生率公式, 亦即是熵增加定律公式. (59a), (60a)式和式正是非平衡态统计物理系统的信息耗损率公式, 亦即是信息耗损定律公式. 由于Boltzmann熵和信息表示统计热力学系统的无序度和有序度, 故这里的熵增加定律和信息耗损定律表示统计热力学系统的无序度总是趋向增加和有序度总是趋向耗损.aaaa)式表明, Boltzmann熵产生率和信息耗损率两者都等于扩散系数,离开平衡率的梯度平方的平均值及Boltzmann常数三者之乘积, 指明非平衡态统计物理系统的宏观熵产生和信息耗损都是由其
358 中国科学G辑物理学力学天文学第35卷微观状态数密度在系统内部的相空间和传递过程的坐标空间随机地不均匀离开平衡引起的. 至于它两随θB (或θb), Bθq(或或及D和的变化规律, 可参考文献Q[16]和前面1.4节有关Shannon熵产生率和信息耗损率的讨论.
由式, (56a), (57a)和(59a), (60a)式得可见Boltzmann熵产生(或减少)率等于其信息耗损(或增加)率, 即非平衡态统计物理系统内部的熵和信息之和的时间变化率为零.
2.5 Boltzmann信息流和信息扩散从Boltzmann信息演化方程(54)和(55)可求得在相空间和坐标空间的信息流、它同样由漂移信息流和扩散信息流两者相加而成.6N维和6维相空间的Boltzmann信息流密度为、其中dB这种信息流只引起非平衡态统计物理系统内部的信息密度变化, 与信息在远离系统的坐标空间传递无关.坐标空间6N维和6维的Boltzmann信息流密度为∫qp这种信息流无论在通信过程中或研究系统与环境的信息交换, 都有其实际意义.
由(63)和(63a)式可以看出、与Shannon信息流(26a)和(26b)式的形式相同、漂移信息流密度[(63)和(63a)式中右边第一项]等于信息在坐标空间的漂移传递速度v和信息密度BxI或bxI之乘积, 而扩散信息流密度[(63)和(63a)式中右边第二项]等
第4期邢修三: 动态统计信息理论359于信息在坐标空间的扩散系数Q与信息密度负梯度xI之乘积.与(32)式相似, 由于存在累积耗损, Boltzmann信息流密度在空间传递中会减小. 由式和(63a), (52)式可求出、当非平衡态统计物理系统演化t时, 其传递至x处的6N维和6维的Boltzmann信息流密度为xtxtvxtQxxtxtΓ
111111 可见Boltzmann空间信息流密度是时空的函数. 由(64)和(64a)式即可求得t = 0时流经x = 0处与t = τ时传递处至x = l处两者的Boltzmann信息流密度之差为式中BlPτ和blPτ为Boltzmann信息流密度在传递途中的累积耗损, 可由(64)和(64a)式求出.同样, 从Boltzmann熵演化方程(47)和(48)式可求得Boltzmann熵流密度, 它亦是漂移熵流密度和扩散熵流密度两者相加而成. 这里略.
2.6 Boltzmann动态互信息和动态信道容量Boltzmann动态互信息公式和动态信道容量公式, 应与Shannon动态互信息公式和动态信道容量公式(41)的形式相同. 两者的差别是在Shannon的这3个公式中、动态熵,动态信息和动态信息流密度随时空变化的表达式为(2),(10)和(32)式, 而在Boltzmann的这3个公式中、动态熵,动态信息和动态信息流密度随时空变化的表达式则为和(64)式及和(64a)式. 可见两者的动态互信息和动态信道容量相同、只不过一个的信息符号是宏观的或介观的,另一个的信息符号是微观的.
2.7 Shannon和Boltzmann两种动态统计信息理论的同异两种动态统计信息理论的概念相同、数学形式相同或类似, 主题都是研究动态熵和动态信息的演化规律及其应用. 两种理论的主要共性为:
360 中国科学G辑物理学力学天文学第35卷(0) 除了乘法因子k的量纲不同外, 两种信息和两种熵的数学表达式相同、都由系统的概率分布函数的泛函表述之, 都可用作信息量的度量以及表示系统的有序度和无序度.
(0) 两种信息和两种熵各自都遵守数学形式类似的演化方程, 即方程(47),(54)和方程都表明动态信息密度随时间的变化率是由其漂移,扩散和耗损三者共同引起的, 动态熵密度随时间的变化率是由其漂移,扩散和产生三者共同引起的.
(0) 两种信息耗损率公式,两种熵产生率公式和两种信息流公式的形式都相同或类似,两种动态互信息公式和动态信道容量公式亦类似.然而、 Shannon 熵和信息所研究的状态数较少或不太大, 其态变量具有宏观性或介观性, 遵守Fokker-Planck方程, 可应用于包括经济学和社会学的多种自然科学和社会科学系统. 甚至可以说, 凡是可用随机过程理论描述的系统, 都可定义其相应的Shannon动态熵和动态信息. 因而、一般而言、除传递过程外,Shannon动态统计信息理论是不受现有物理学规律制约的. Boltzmann熵和信息讨论极大数量的粒子态、其状态向量具有微观原子分子性, 可用Liouville 扩散方程描述. 因而、 Boltzmann动态统计信息理论是建立在非平衡态统计物理基础上的.由上所述, 这两种动态统计信息理论可互为补充.为了有个定量的概念, 现在估算微观原子分子作为载体所能存储的总信息量与宏观或介观载体同体积相同物质所能存储的信息量之间的量级关系.
为便于估算, 设N个微观粒子是互不关联的, 则6N维相空间的系综几率密度可写为其中、(iii=qp)ξ. 代入(49)式, 则6N维Boltzmann信息,即N个微观粒子载体的总信息为∫∫qpx
. 由(51)式, 6维Boltzmann信息,即单个微观粒子载体的信息为Itftpxt对于1 cm3的体积, 若是固体,N≈1023; 若是气体,N≈1019. 于是得
第4期邢修三: 动态统计信息理论361可见Boltzmann 6N维信息是6维信息的N倍.现在将(66)式用于另一种情况, 即一个宏观或介观载体的同体积相同物质中可包含N个原子分子(包括生物大分子)载体的情况. 若一个宏观或介观载体和每个原子分子的信息都仍以Ib表示之, N个原子分子的总信息仍以IB表示之, 则IB和Ib的关系式仍满足(66)式. 即对于同体积相同物质, 原子分子(包括生物大分子)作为载体所能存储的总信息比其宏观或介观载体所能存储的信息大N倍. 显然, 这里N仍是个很大的数量级.同样是这种情况, 若每个原子分子载体的信息流密度为bxJ, N个原子分子载体的总信息流密度为BxJ, 由(64)和(64a)或(63)和(63a)式并利用上述估算方法, 易得Bb即对于同体积相同物质, 原子分子(包括生物大分子)作为载体的总信息流密度比其宏观或介观载体的信息流密度大N倍.
3 应用现在我们将上述1和2节主要原理性结果用于几个实际课题的计算.
3.1 Brown运动设系统的态变量自身作Brown运动, 同时在坐标空间漂移扩散传递, 如Gauss信道中的信号在空间的传递, 流体中的Brown粒子运动, 就是这方面的例子. 在这种过程中、系统的信息熵和信息都将发生变化. 现在就给出它们的表达式. 根据方程(1), 描述这种系统的Fokker-Planck方程为pppapvDQβ, (68)这里a仍是系统的态变量, x表示态变量作为信息符号在坐标空间传递到达之处, β为阻力系数, 设方程(68)的起始解为aaxε则可得方程(68)的含时解为[21]1212]abtxvtpaxtQtQtπεππ其中、 22tmββεεε= )D
362 中国科学G辑物理学力学天文学第35卷1显然, (70)式满足归一化条件dd(,)axPaxt∞∞∞=∫∫. 方程(68)的平衡态解为(,)mmmpaxpapx,πε= 常数.将(70)和(71)式代入(20)式, 即得该系统于t时的信息熵产生率为∞p∫∫mmtbtQεεεεε≥t时信息熵产生率的时间变化率为εεεε≤
2 该系统于t时的信息熵产生tttlnln0≥. (74)根据~(74)式, 即可求得该系统于t时的信息耗损率, 它的时间变化率及信息耗损为βββ(75)
由(72)~(75)式可见: Brown运动的漂移扩散传递系统的始态t = 0的信息熵产生率P >0,它的时间变化率0<和信息熵产生iS =0,始态的信息耗损率PiPi和信息耗损iI = 0; 终态t = tf的信息熵的P =0,0=和
第4期邢修三: 动态统计信息理论363iS >0,信息的Pi =0,0iP和iI < 0; 其他任何时间(0[23]ωφφφ(79)这里(,)sinatUaaAtDφω= , 空间周期1L.准定态系统的几率密度为[16]
1 φω(80)
将V(t), φ(L), J和pst(L)=pst(0)代入(22)式, 则得准定态的分子马达的信息熵产生率[16]dsiniSJLAttD, (81)同样, 由(23)和(81)式可得准定态的分子马达的信息耗损率IJLAt= 0的结果可见、分子马达效率虽很高, 但仍小于100.
第4期邢修三: 动态统计信息理论365
3.3 Gauss动态信道在Shannon的静态信息论中、 Gauss信道是个典型的例子, 它的信号和噪声都是Gauss分布的, 其互信息公式和信道容量公式为[1~3]nHABln1C其中2aσ和2nσ为输入信号和噪声的方差, 即两者的平均功率. (84)式就是熟知的Shannon静态信道容量公式.现在来给出Gauss动态信道,即Gauss分布的动态信号在信道中作漂移扩散传递的动态互信息公式和动态信道容量公式. 按前面所述, 信息传递是通过信息流实现的, 而信息流在信道传递途中由于存在累积耗损是要变小的. 根据(32)和(76)式, 在Gauss信道中传递的信息, 它在t = τ时传递至输出端x = l处的信息流密度Jl(τ)与t = 0时从输入端x = 0处发出的信息流密度J0(0)之比为
012000 τττπεεεττδππτ, (85)
根据(85)和(38)式, 在Gauss信道中、若t = 0时, 从输入端x = 0处发出的信息为
1 则它于t = τ时, 传递到输出端x = l处应变为
1 22llaHAHAeeτδπσπσ=2, (87)其中21(2)
(87)式仍是Gauss分布的信号, 只是其平均功率由2aσ变小为2laσ. 将(85)和(87)代入(39)和(41)式并利用(83)和(84)式的算法, 即得Gauss信道的动态互信息公式和动态信道容量公式为(2)1eIABδδπσ、 (89), (90)
366 中国科学G辑物理学力学天文学第35卷从(85)式可见、 δ与传递时间τ=即信道长度l,传递速度v及空间噪声强度Q有关. 当0τ=→即或0l→ν→∞, 则1δ, 0(0)lJJτ. 这种情况下, 信息在信道途中累积耗损0lHQτ, 2la
2 aσσ、动态互信息公式和动态信道容量公式(89)和(90)还原为静态互信息公式和静态信道容量公式(83)和(84). 实际上,τ=→物理上意味着输入端和输出端两点缩短为一点、噪声当然亦集中于这一点、这就是现有的静态通信模型. 当τ=→∞即或, 或,则δ=0,l→∞0v→Q→∞0lJτ. 这种情况下lHQHAHAlττ, 信源发出符号A0(0)的信息全部耗损于传递途中、在输出端收不到有关它的任何信息. 在其他一般情况下, 即当0τ

pdf文档的标签：中国科学

更多推荐标签：篮球世界职业操守质检员性质公司组建商业银行作用质量演讲稿记账表格基本操作中国医药网历史唯物主义成都雅颂居机械制图前言生命科学论文如何重命名联系地址工厂统计安全工程师财经英语论文违章建筑站长岗位职责发动机原理展示馆村山公保转岗申请报告防台防汛数据流图案例金库结构遗传论文电源论文普郎克常量