有一个含有8个消息的无记忆信源，其概率各自为0.2，0.15，0.15，0.1，0.1，0.1，0.1，0.1。试编成两种三元非延长码，使它们的平均码长相同，但具有不同的码长的方差，并计算平均码长和方差，说明哪一种码更实用些。

对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时，为使平均码长最短，应增加（）个概率为0的消息。

填空题查看答案

设A、B、C、D四个消息分別以概率1/4、1/8、1/8、1/2传送，信源的平均信息量为（）bit。

单选题查看答案

设有一离散无记忆信源，其概率空间为 （1）求每个符号的自信息量； （2）信源发出一消息符号序列为，求该序列的自信息量和平均每个符号携带的信息量。

简答题查看答案

设离散无记忆信源S其符号集A={a1，a2，...，aq}，知其相应的概率分别为（P1，P2，...，Pq）。设另一离散无记忆信源S′，其符号集为S信源符号集的两倍，A′={ai，i=1，2，...，2q}，并且各符号的概率分布满足： 试写出信源S′的信息熵与信源S的信息熵的关系。

简答题查看答案

设有一个无记忆信源发出符号A和B，已知，发出二重符号序列消息的信源，无记忆信源熵为（）。

单选题查看答案

设信源X包含4个不同离散消息，当且仅当X中各个消息出现的概率为（）时，信源熵达到最大值，为（），此时各个消息的自信息量为（）。

填空题查看答案

m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同

判断题查看答案

黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p（黑）＝0.3，白色出现的概率p（白）＝0.7。  （1）假设黑白消息视为前后无关，求信源熵H（X），并画出该信源的香农线图  （2）实际上各个元素之间是有关联的，其转移概率为：P（白|白）＝0.9143，P（黑|白）＝0.0857，P（白|黑）＝0.2，P（黑|黑）＝0.8，求这个一阶马尔可夫信源的信源熵

简答题查看答案

黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}，设黑色出现的概率为P（黑）=0.3，白色出现的概率为P（白）=0.7。 （1）假设图上黑白消息出现前后没有关联，求熵H（X）； （2）假设消息前后有关联，其依赖关系为P（白|白）=0.9，P（黑|白）=0.1，P（白|黑）=0.2，P（黑|黑）=0.8，求此一阶马尔克夫信源的熵H2。 （3）分别求上述两种信源的冗余度，并比较H（X）和H2的大小，并说明其物理意义。

简答题查看答案