度量信息量的方法

与信息种类无关 与信息重要程度无关

信息所表达的事件 越不可能发生。信息量越大

M进制 的每个码元含 log2(M) (b)

平均信息量(信源的熵)公式

等概率信息量包含的信息量最大 ,熵最大