香农三大定理

来源:学生作业帮助网 编辑:作业帮 时间:2024/04/28 15:09:03

香农三大定理
香农三大定理

香农三大定理
一:香农第一定理(可变长无失真信源编码定理)
设信源S的熵H(S),无噪离散信道的信道容量为C,于是,信源的输出可以进行这样的编码,使得信道上传输的平均速率为每秒(C/H(S)-a)个信源符号.其中a可以是任意小的正数,要使传输的平均速率大于(C/H(S))是不可能的.
二:香农第二定理(有噪信道编码定理)
设 某信道有r个输入符号,s个输出符号,信道容量为C,当信道的信息传输率R码长N足够长,总可以在输入的集合中(含有r^N个长度为N的码符号序列),找 到M (M=0,和任意小的a>0,以及任意足够长的码长N,则一定存在一种信 源编码W,其码字个数为M