注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

亦 平 的 博 客

以文会友 博采众长 笔墨联谊 相得益彰

 
 
 

日志

 
 
关于我

曾在省和全国性期刊发表专业理论文章59篇,获两级期刊“优秀学术成果”奖各3项,编著和主编专业理论著作6部(129万字),其中一部入选第三届国际**科学大会图书展览,并获得荣誉证书。 获奖文章和参展专著部分章节,已经和正在本博陆续刊载,欢迎各位网友评论、赐教。

网易考拉推荐

[ 原 著 ] 信 息 量(审定稿)——《中国 * * 百科全书》“信息篇“条目(059)  

2012-04-20 23:52:50|  分类: 默认分类 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

                                                                        信    息    量            

                                        ——《中国** 百科全书》“信息篇”词条(059)

                                                (审定稿 尚未付梓)

                                                      著作者\ 亦   平

 

                                    [  ]  几年前,应《中国 * * 百科全书》编委会之约,由本人撰写其中[ 信息篇]

                          的全部词条(129329字),早已通过初审定稿。但是,后因该书编辑出版计划“搁浅”,

                          致使这一篇章尘封多年未能面世。近期,我又重新作了修改,并充实了一些实际操作技

                           能方面的内容,现节选部分词条(陆续刊发),献给广大博友,欢迎评论、指教。

                                                                              

  01. 08. 0 3  [ 信息量]  信息论中量度信息多少的一种物理量。它是从数量上反映具有确定概率的事件发生时所传送的信息。所谓信息量度,就是信息量的测度,亦即给信息以定量的表示。信息的量度与它所代表的事件的随机性或各个事件发生的概率有关,当事件发生的概率大,事先容易判断,有关此事件的消息排除事件发生的不确定程度小,则包含的信息量就少,反之亦然。1928年,奈奎斯特和哈特莱在研究通信的普遍理论时提出,用消息可能数目的对数来度量消息中所含的信息量。1948年,信息论的奠基者申农发表的《通信的数学理论》,专门论述了信源、信道、信宿的特征,推导出了通信过程中信息量的数学计算公式。从此,信息作为科学的概念进入了通信领域,人们也从技术上找到了度量信息的科学方法。申农定量描述信息的数学公式,排除信息的语义因素,把信息加以形式化,而概率论则是信息论的主要依据。他是从信息发生源本身特征出发,把信息源看成是一个不断产生着具有各自概率的不同消息的集合体,而把它的信息量公式称为对这个不同消息的概率集的不确定性的度量。申农信息量的一般表达式:“量H=﹣∑Pilogpi”。他的这一公式与统计力学中熵的公式是一样的。他是把信息源看作是一个能产生一组具有各自产生概率的消息的概率集系统,而信息量则是这个系统本身将产生怎样消息的“不确定性”。正是基于这一点,申农才把它的信息看成同熵概念是一致的。与此同时,维纳在创立“控制论”的过程中,也独立地给出了与申农相同的数学公式。他是从信息对信宿的作用这一特定意义上导出的信息量公式。维纳信息量公式所导出的实际上是信息引起信宿状态改变的量。他的数学公式与申农公式只差了一个负号,即:“量H=∑Pilogpi”。他在《控制论》中写道:“我们把它定义为信息量的量,是通常在类似情况下定义为熵的那个量的负数。”“信息量是一个可以看作几率的量的对数的负数,它实质上就是负熵。”从维纳推导信息量的思路过程可以看到,他的公式所导出的不是消息本身所含的信息量,而是消息带给接收者多少新的信息量。在这里,信息量不是作为信源信息本身的一个概率统计不定性的特征量度来规定的,而是作为信宿接收信源信息后所引起的信宿的“知识”变化的概率统计特征的量度来规定的。控制论创始人之一艾司比在评论申农与维纳信息量公式时指出,他们的信息量公式的“基本思想是一致的。两者都把信息看作是一种解除不确定性的量,两者都用所解除的不确定性的程度来表示信息量的多少。”在通信过程中,“不确定性”是指信宿对信源发送信息的先验估计而成立的,所以,在信宿接到信源的一个确定的消息时,信宿的这种先验估计的不确定性就被消除了。信息量是从信息接收者的角度来考察的。就是说,信息从信源发出,接受者在没有收到之前,存在一定的不确定性;当收到之后,这种不确定性就部分或全部消除了。消除不确定性越多,所获得的信息量就越大。如果接收者收到信息的内容是早已预料到的,那么,这一信息量就等于零。

   《中国 * * 百科全书》[ 信息篇 ]  所有条目均为本人原创,尚未公开发表和正式出版,仅供博友参阅、评议和商榷,谢绝引用、转载,欢迎评论指教。

  评论这张
 
阅读(251)| 评论(43)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017