克劳德·香农（Claude Shannon）于1948年在《贝尔系统技术期刊》（Bell System Technical Journal）发表的《A Mathematical Theory of Communication》，被公认为信息论的奠基之作。该论文彻底改变了人类对信息的理解，为现代通信、数据压缩和密码学奠定了理论基础。
理解《通信的数学理论》的关键在于掌握以下三个支柱。点击下方选项卡查看详细解读。
信息熵（Shannon Entropy）是信息论中最核心的概念，它量化了随机变量的不确定性。香农指出，信息的大小与随机事件的概率有关。事件发生的概率越小，当其发生时所携带的信息量就越大。
数学表达式为：
H(X) = - Σ P(x) log P(x)
实际应用：
信道容量（Channel Capacity）是指在给定的信道条件下，能够实现无差错传输的最大信息速率。香农第二定理（有噪信道编码定理）证明了，只要信息传输速率R小于信道容量C，就存在一种编码方式，使得错误概率任意小。
香农公式：
C = B log₂(1 + S/N)
其中，B是带宽，S/N是信噪比。
深度解读：
香农将通信系统分解为信源、信源编码器、信道编码器、信道、信道解码器和信源解码器。他提出了两个基本定理：
现代影响：
香农发表《通信的数学理论》
克劳德·香农在《贝尔系统技术期刊》分两部分发表了这篇划时代的论文，正式创立了信息论。
补充论文发表
香农发表《通信在噪声下的理论》，进一步扩展了有噪信道的编码理论，完善了信息论体系。
纠错码的兴起
汉明码（Hamming Code）等早期纠错码出现，工程师们开始寻找实现香农极限的具体编码方案。
数字通信爆发
随着集成电路的发展，数字通信系统开始取代模拟系统，信息论成为通信工程的核心理论基础。
逼近香农极限
Turbo码和LDPC码的出现，使得实际通信系统的性能非常接近香农极限，推动了移动互联网和大数据的发展。
许多初学者在接触信息论时，往往依赖教科书中的二手解读。虽然教科书提供了清晰的数学框架，但香农的原文具有独特的价值：
| 常见误解 | 原文真相 |
|---|---|
| 香农只关心通信工程 | 香农的兴趣极其广泛，包括博弈论、遗传学甚至人工智能。信息论是他解决跨学科问题的工具。 |
| 信息熵就是数据的混乱程度 | 熵更准确地说是“惊讶程度”或“信息量”。有序的数据如果不可预测，熵也可以很高。 |
| 香农定理意味着无限速率 | 香农定理给出了有限带宽和有限功率下的有限上限。它强调的是“存在”这样的编码，而非给出具体编码。 |