黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为p（黑）=0.3，白色的出现概率p（白）=0.7。 （1）假设图上黑白消息出现前后没有关联，求熵H（X）； （2）假设消息前后有关联，其依赖关系为p（白/白）=0.9，p（黑/白）=0.1，p（白/黑）=0.2，p（黑/黑）=0.8，求此一阶马尔可夫信源的熵H₂（X）； （3）分别求上述两种信源的剩余度，比较H（X）和H₂（X）的大小，并说明其物理意义。

（1）比特/信源符号；
（2）由各态历经定理，有，即
P（白）=p（白）p（白/白）+p（黑）p（白/黑）=0.9p（白）+0.2p（黑）
P（黑）=p（白）p（黑/白）+p（黑）p（黑/黑）=0.1p（白）+0.8p（黑）
解方程组得：p（白）=2p（黑），又由于p（白）+p（黑）=1，
所以p（白）=2/3，p（黑）=1/3
比特/符号；
（3）H₀（X）=log₂2=1，无关联信源剩余度为1-0.8813/1=11.87%，
一阶马尔可夫信源剩余度为1-0.5533/1=44.67%
这说明马尔可夫信源比无相关信源的冗余度大，编码时可以获得更高的压缩比。

略