E小说网

第341章 香农的信息熵（第1页）

，，！

一张高清电视分辨率的照片，如果没有经过压缩，要占用600万个字节的计算机内存（6，1个字节是8个比特）。可是如果这张照片照的是一面单色的墙的话，它所含的信息量就很小，只要用三个字节就可以描写整张照片（3个字节描写红绿蓝三种颜色的深浅）。所以单色墙的照片的文件大小，可以从600万个字节压缩到3个字节，大大减少了占用计算机内存的空间和传输照片所需的时间。但一般一张照片的信息量要比三个字节大很多，那么如何量化照片所含的信息量？照片的压缩最多能有多少倍？香农是量化信息的，“通信的数学理论”。倚天剑一出，天下皆惊。香农一针见血地指出，通信的问题可以分解成两个的问题，即信源编码和信道编码。信源编码的目的是尽可能高效的表示信息源，即数据压缩；信道编码的目的则是尽可能高效的让数据可靠无误地通过信道。在他1948年的文章里，香农证明了信源编码的极限是信源的熵，而信道编码的极限则是个叫信道容量的东东，标注着信道可以支持的最大通信速率。（信道容量的概念是在熵的基础上的对信息论的进一步发展，故事更长，更精彩，不过俺还是不讲了吧。）香农说，只有当信源的熵低于信道的容量的时候，可靠的通信才可能实现；而且只要在这个条件下，可靠的通信就一定可以实现！香农的证明是存在性证明，就是说，他告诉俺们：反正这事儿一定可以实现，至于怎么实现，你们自己想办法吧。信源编码的问题很快被香农的追随者和逐步解决。基于算术编码（arithticdg）和lz编码el-zivdg）的信源编码方法在上世纪七八十年代已经日渐成熟，实现了香农预测的压缩极限并在实践中被广泛采纳。而香农预测的信道编码的极限，信道容量，却花费了人类半个世纪挣扎。业外人士未必了解，对信道编码的研究结晶了人类最高的智慧和前赴后继的努力。然而香农预测的信道容量直到上世纪九十年代中叶才终于被实现。今天我们的手机里也终于承载了香农在1948年的预言！熵的提出是信息论，也是人类对信息认知的开始，而香农在他1948年文章里提出的数学工具正是信息论的骨架。在我们今天生活的信息时代，香农和信息论存在于我们的手机，我们的电脑，我们的电视，我们的蓝光播放器，我们的te，我们的facebook，我们的韩剧大约七十年前，当人们还在黑暗中摸索数字通信的时候，香农说，要有熵。于是，就开启了信息时代。

请勿开启浏览器阅读模式，否则将导致章节内容缺失及无法阅读下一章。

相邻推荐:老公的私密按摩师  霸总娇宠第一名媛妻  重生后我只做正確选择  不让我当太子？那就登基吧  你才回头草  首辅大人的娇表妹  奶油味暗恋  一切从复制开始  重生七王妃  农女有喜  陆总宠妻一见倾心  本王想静静  老公出轨以后  星铁，人在冬城，模拟器重返乐土  散修家族崛起录  练习生  咬欢  穿成校花女主的备胎他妈  霸占新妻：总裁大人太用力  穿书假千金她觉醒了反向读心术安沐安然