1.霍夫曼编码方法：先按出现的概率大小排队，把两个最小的概率相加，作为新的概率和剩余的概率重新排队，再把最小的两个概率相加，再重新排队，直到最后变成1。每次相加时都将“0”和“1”赋与相加的两个概率，读出时由该符号开始一直走到最后的”0”或者“1”，将路线上所遇到的“0”和“1”按最低位到最高位的顺序排好，就是该符号的霍夫曼编码。
低位 高位
用霍夫曼编码所得的平均码长为：Σ(码长×出现概率)
上例为：
0.2×2+0.19×2+0.18×3+0.17×3+0.15×3+0.1×4+0.01×4=2.72 bit
可以算出本例的信源熵为2.61bit，二者已经是很接近了。
2. 香农-范诺编码的目的是产生具有最小冗余的码词。其基本思想是产生编码长度可变的码词。估计码词长度的准则是符号出现的概率，符号出现的概率越大，其码词的长度越短。
香农-范诺编码方法：将符号从最大可能到最少可能排序，将排列好的信源符号分化为两大组，使两组的概率和近于相同，并各赋予一个二元码符号“0”和“1”。只要组内有两个或两个以上符号，就以同样的方法重复以上分组，以此确定这些符号的连续编码数字。
依次下去，直至每一组只剩下一个信源符号为止。
香农-范诺编码算法步骤：
（1）按照符号出现的概率减少的顺序将待编码的符号排成序列。
（2）将符号分成两组，使这两组符号概率和相等或几乎相等。
（3）将第一组赋值为0，第二组赋值为1。
（4）对每一组，重复步骤2的操作，直至每一组只剩下一个信源符号为止。
1.霍夫曼编码方法：先按出现的概率大小排队，把两个最小的概率相加，作为新的概率和剩余的概率重新排队，再把最小的两个概率相加，再重新排队，直到最后变成1。每次相加时都将“0”和“1”赋与相加的两个概率，读出时由该符号开始一直走到最后的”0”或者“1”，将路线上所遇到的“0”和“1”按最低位到最高位的顺序排好，就是该符号的霍夫曼编码。
低位 高位
用霍夫曼编码所得的平均码长为：Σ(码长×出现概率)
上例为：
0.2×2+0.19×2+0.18×3+0.17×3+0.15×3+0.1×4+0.01×4=2.72 bit
可以算出本例的信源熵为2.61bit，二者已经是很接近了。
2. 香农-范诺编码的目的是产生具有最小冗余的码词。其基本思想是产生编码长度可变的码词。估计码词长度的准则是符号出现的概率，符号出现的概率越大，其码词的长度越短。
香农-范诺编码方法：将符号从最大可能到最少可能排序，将排列好的信源符号分化为两大组，使两组的概率和近于相同，并各赋予一个二元码符号“0”和“1”。只要组内有两个或两个以上符号，就以同样的方法重复以上分组，以此确定这些符号的连续编码数字。
依次下去，直至每一组只剩下一个信源符号为止。
香农-范诺编码算法步骤：
（1）按照符号出现的概率减少的顺序将待编码的符号排成序列。
（2）将符号分成两组，使这两组符号概率和相等或几乎相等。
（3）将第一组赋值为0，第二组赋值为1。
（4）对每一组，重复步骤2的操作，直至每一组只剩下一个信源符号为止。