有如下之信源X，其中：P₁=0.20，P₂=0.09，P₃=0.11，P₄=0.13，P₅=0.07，P₆=0.12，P₇=0.08，P₈=0.20。试将该信源进行霍夫曼编码，并计算信源的熵、平均编码、编码效率及冗余度。若采用二叉树编码，请绘出二叉树。

考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。

简答题查看答案

有一个信源X，它有无穷多个可能的输出，它们出现的概率为P（Xi）=2i-1，i=1，2，3，….，这个信源的平均自信息H（X）是什么？

简答题查看答案

信源X的概率分布为P（X）={1/2，1/3，1/6}，信源Y的概率分布为P（Y）={1/3，1/2，1/6}，则信源X和Y的熵相等。

判断题查看答案

黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p（黑）＝0.3，白色出现的概率p（白）＝0.7。  （1）假设黑白消息视为前后无关，求信源熵H（X），并画出该信源的香农线图  （2）实际上各个元素之间是有关联的，其转移概率为：P（白|白）＝0.9143，P（黑|白）＝0.0857，P（白|黑）＝0.2，P（黑|黑）＝0.8，求这个一阶马尔可夫信源的信源熵

简答题查看答案

黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为p（黑）=0.3，白色的出现概率p（白）=0.7。 （1）假设图上黑白消息出现前后没有关联，求熵H（X）； （2）假设消息前后有关联，其依赖关系为p（白/白）=0.9，p（黑/白）=0.1，p（白/黑）=0.2，p（黑/黑）=0.8，求此一阶马尔可夫信源的熵H2（X）； （3）分别求上述两种信源的剩余度，比较H（X）和H2（X）的大小，并说明其物理意义。

简答题查看答案

一个随即变量x的概率密度函数P（x）=x/2，，则信源的相对熵为（）。

单选题查看答案

黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}，设黑色出现的概率为P（黑）=0.3，白色出现的概率为P（白）=0.7。 （1）假设图上黑白消息出现前后没有关联，求熵H（X）； （2）假设消息前后有关联，其依赖关系为P（白|白）=0.9，P（黑|白）=0.1，P（白|黑）=0.2，P（黑|黑）=0.8，求此一阶马尔克夫信源的熵H2。 （3）分别求上述两种信源的冗余度，并比较H（X）和H2的大小，并说明其物理意义。

简答题查看答案

试证明连续信源X的相对熵h（X）是概率密度p（x）的∩型凸函数。

简答题查看答案

考虑另一个几何分布的随机变量X，满足P（Xi）=P（1-P）i-1，i=1，2，3，…，这个信源的平均自信息H（X）是什么？

简答题查看答案