从香农熵到信道容量，探索信息压缩、传输极限与保真度之间的深刻联系。这里是您深入了解现代通信理论的核心指南。
在深入三大定理之前，必须理解香农熵（Shannon Entropy）。它是信息论中最核心的概念，由克劳德·香农在1948年的论文《通信的数学理论》中提出。熵衡量的是信息源产生的信息的平均不确定性。
如果一个事件发生的概率是1（必然发生），其熵为0，因为没有任何新信息。如果概率是0.5（如抛硬币），熵最大，因为结果最不可预测。
熵定义了无损压缩的理论下限。无论使用何种算法（如ZIP、GZIP），压缩后的平均码长不可能小于信源的熵。
信息的基本单位。1比特代表了两个等概率事件之一的信息量。熵的单位通常是比特/符号。
信源编码定理，也称为香农第一定理，主要解决的是数据压缩的问题。它回答了这样一个问题：我们能否在不丢失任何信息的前提下，尽可能地将数据变小？
对于一个离散无记忆信源，其熵为H，存在一种编码方式，使得每个信源符号的平均码长L可以任意接近H，但不会小于H。即：
其中ε是任意小的正数。这意味着，只要信源符号足够长，我们就能找到一种编码，使得压缩效率无限接近理论极限。
假设一个信源有4个符号A, B, C, D，概率分别为0.4, 0.3, 0.2, 0.1。
| 符号 | 概率 | 香农码长 (log2(1/p)) | Huffman码字 | 实际码长 |
|---|---|---|---|---|
| A | 0.4 | 1.32 | 00 | 2 |
| B | 0.3 | 1.74 | 01 | 2 |
| C | 0.2 | 2.32 | 10 | 2 |
| D | 0.1 | 3.32 | 11 | 2 |
平均码长 L = 0.42 + 0.32 + 0.22 + 0.12 = 2.0 bits。熵 H ≈ 1.85 bits。可以看到 L > H，且接近极限。
如果说信源编码解决的是“存得下”，那么信道编码定理（香农第二定理）解决的就是“传得准”。它揭示了在存在噪声的信道中，信息传输的可靠性和速率之间的权衡。
信道容量是信道在单位时间内能够无错误传输信息的最大速率。它取决于信道的带宽和信噪比（SNR）。
C = B log₂(1 + S/N)
其中B是带宽，S/N是信噪比（线性值）。这是无线通信系统的黄金法则。
通过添加冗余比特（如LDPC码、Turbo码、Polar码），我们可以对抗噪声，使误码率趋近于零，只要传输速率R小于信道容量C。
第一个可纠正单个错误的线性分组码，奠定了纠错码的基础。
广泛应用于CD、DVD存储系统，能纠正突发错误。
接近香农极限的性能，被3G/4G通信系统采用。
LDPC用于Wi-Fi 6和5G数据信道；Polar码用于5G控制信道，彻底实现了香农极限。
在实际应用中，完全无损的压缩往往不够经济或高效。率失真理论（香农第三定理）研究了在允许一定失真（误差）的情况下，数据压缩的最低速率是多少。
这是有损压缩的理论基础。例如，视频压缩中，人眼无法察觉的微小颜色变化可以被丢弃，从而大幅降低比特率。
常见的失真度量包括均方误差（MSE）、峰值信噪比（PSNR）以及感知质量指标（如SSIM）。率失真函数 R(D) 表示在平均失真不超过D的情况下，所需的最小信息速率。
A: 是的。熵衡量的是信息的“惊喜程度”或不确定性。一个完全可预测的信号（熵为0）不包含新信息，而一个完全随机的信号（高熵）包含最大量的信息。
A: 香农定理指出，只要速率R < C，就存在编码使误码率任意小。但在实践中，为了达到极低的误码率，所需的编码复杂度趋于无穷大，且需要无限的码长，因此物理上只能无限接近而无法完全达到。
A: 信息论是AI的数学基础之一。最大熵原理用于构建概率模型，交叉熵用于衡量预测分布与真实分布的差异（损失函数），信息瓶颈理论用于解释深度学习的泛化能力。