香农信息论的局限性

香农信息论的局限性
香农信息论的局限性

香农信息论的局限性
香农信息论主要讨论点对点通信中的一些基本问题,最著名的结论包括其中的四大定理,也即为无失真信源编码定理,限失真信源编码定理,信道编码定理,信源信道分离定理.香农信息论为目前的通信系统设计和编码都有不可忽视的指导意义,但其也有不足的地方,按我个人的理解,主要包括三方面,一个局限是香农得出的大部分结果,都是在理论上得到的极限值,虽然为通信系统的设计给出了非常有指导意思的理论界限,但实际系统中应该如何去达到这些界限,香农并没有给出,最典型的例子就是信道编码定理,虽然1948年香农就发明了信息论,但到90年代才找到或者再发现能够逼近香农极限的turbo码和LDPC码；再一个局限是香农的大部分结果都是在一定的理想条件或极限条件下推导出来的,在实际系统中,这些条件可能不能满足,因而不可能达到香农所得出的一些结论或界限,举一个例子,信源信道分离定理是在数据分组长度无穷大和静态信道条件下得到的,但实际系统中的编码可能会有分组长度和限制,信道也可能是时变的,因而产生出最近较新的所谓联合信源信道编码理论；最后一个是局限是点对点通信的局限性,因为通信的构架存在网络结构和多用户的结构,所以对于网络和多用户的情形,香农并没有更深入的研究,虽然他在50年代研究了two way channel,但并未得出有意义的结果,目前网络信息论或多用户信息论是一个比较活跃的领域,主要的有意义的结论在广播和多址接入信道,但都是退化的情形才成立的结论,更一般的情形,还有一些其他如中继信道等,还有待进一步研究.由于国内功利的学术环境,信息论领域的研究少之又少,希望多一些像楼主这样对信息论感兴趣的潜力选手.
以上都是我的个人理解,如有志同者,或对网络信息论或多用户信息论感兴趣的朋友,喜欢加我的邮件,一起探讨.longfish@vip.163.com

可以参考N.Wiener的噪声理论，不一样的视角。

香农信息论本身在当今的科研与工业界已经表现出强烈的局限性。其实过去有很多经典的理论在现今已完全不适用。比如在无线通信领域，经典的MIMO beamforming经工业界验证，根本无法用电路实现，因为beamforming的信号处理的算法都过于复杂，而完全不具有实时性。通信/信息论领域在最近20年内虽然出现了一些活跃的研究方向，除了多天线技术MIMO，其它几乎所有的依然只是停留在理论阶段而毫无现实意...

全部展开

香农信息论本身在当今的科研与工业界已经表现出强烈的局限性。其实过去有很多经典的理论在现今已完全不适用。比如在无线通信领域，经典的MIMO beamforming经工业界验证，根本无法用电路实现，因为beamforming的信号处理的算法都过于复杂，而完全不具有实时性。通信/信息论领域在最近20年内虽然出现了一些活跃的研究方向，除了多天线技术MIMO，其它几乎所有的依然只是停留在理论阶段而毫无现实意义。与其通过多年信息论的研究，做出种种不切实际的假设，往往还要付出各种开销，把某种通信情形下的带宽提高一丁点，不如直接让中国移动再花10万买一个新基站或者让中国电信多拉一根光纤以直接实现扩容。
这种局限性在国外顶尖大学信息论研究的人员变化上也有明显的反映：比如信息论精英云集的斯坦福大学，当年那些提出种种经典理论的教授们，现在早已停止大规模招生，沉寂学界，等待退休。这些顶尖学府新加盟的年轻教授，都是现今前沿学科的卓越研究者，而鲜有像通信/信息论这种已经非常成熟的领域的研究者。
这种局限性也体现在当今IT巨头们的业务重组中。通信/信息论仅仅是信息学科的冰山一角，信息学科/信息产业的其它方面依然非常活跃。比如中国最大的IT企业华为，早已公开宣布通信业务进入天花板期，需要寻找新的业务增长点；拥有信息论的发源地——贝尔实验室的阿尔卡特-朗讯，早已衰败不堪；其他传统通信企业比如诺基亚西门子常年亏损，面临裁员危机；中兴华为等中国IT企业纷纷高调进军云计算；谷歌、亚马逊等云计算领军企业早已在硅谷赚得钵盆满满。
通信/信息论到现在最大的问题是，它们本来应该是工程学科，应该有很好的工程应用，可是在最近20年中变成了纯理论的研究，完全脱离了工业实际。因此这样的研究它们自己也被工业界抛弃。学校里的研究主要是基于研究者的假设，研究者自身由于没有机会接触工业实际，不可能考虑到实际的工程需求；他们往往也不会考虑算法的实现复杂度与电路实现的实时性，而仅仅是追求一个他们自己可以求出的解，用以发表论文。以至于这个领域绝大多数的研究仅仅只是追求复杂、漂亮的数学表达，而完全脱离了它们的工程本源。
科研最先进的美国大学早已淡化通信/信息论领域的研究与教育，而世界其他地方和中国国内依然在“跟进”别人几年前甚至十几年前的研究，继续投入资金人力在已经十分成熟的领域做没有太多意义的探索。这会造成巨大的资金和人力浪费。同时，招入大量学生学习入门此领域必须的大量晦涩难懂的数学亦是浪费学生学习实用技术的时间，误人前程。

收起