问题描述:
设X1, X2, X3... Xn构成一个马尔科夫链,即满足以下概率关系:
p(x1, x2, ..., xn) = p(x1) × p(x2|x1) × ... × p(xn|xn-1)
我们的目标是简化I(X1; X2, X3... Xn)到最简形式。
解:根据互信息的链式法则和熵的链式法则,我们有:
I(X1; X2, X3... Xn)可由熵的减少来表述,即:
H(Xn, Xn-1, ... X2) - H(Xn, Xn-1, ... X2 | X1)
这可以进一步展开为:
等于 I(X2; X1) 加上 I(X3; X1 | X2) 加上 ... 加上 I(Xn; X1 | X2, X3, ... Xn-1)。
在i=2时的情况特别值得注意:
I(X1; X2)可以通过熵的变化来计算,即 H(X2)减去H(X2 | X1)。这一步体现了马尔科夫链中前后状态的关系。
对于i>=3的情况,由于X1X2X3...Xn构成马尔科夫链,因此有:
p(xi | xi-1, ... x1) = p(xi | xi-1),p(xi | xi-1, ... x2) = p(xi | xi-1),对于所有3<=i<=n的情况。这意味着当考虑条件熵时,新增的变量对于先前状态的信息影响在给定前一状态时可以忽略不计。这导致了如下一系列等式:
H(Xi | Xi-1, Xi-2, ... X2) - H(Xi | Xi-1, Xi-2, ... X2, X1) 等于0。
对于i>=3的项,它们在互信息中的贡献为0。
综合以上分析,我们得到:
I(X1; X2, ... Xn) 简化为 I(X1; X2) 加上一系列的0项。最终得出 I(X1; X2, ... Xn) = I(X1; X2)。