Quod Erat Demonstrandum

2010/02/26

獨立隨機變量

Filed under: Additional / Applied Mathematics,HKALE — johnmayhk @ 7:47 上午

X, Y, Z 是互相獨立(mutually independent)的隨機變數,其平均數及方差分別是 \mu_1, \mu_2, \mu_3\sigma^2_1, \sigma^2_2, \sigma^2_3,可否尋求 Var(XY + YZ + ZX)

首先,我們不能寫:

Var(XY + YZ + ZX) = Var(XY) + Var(YZ) + Var(ZX)

因為 XY, YZ, ZX 未必互相獨立。

起初我不懂做,但科主任指出,不過是用

Var(W) = E(W^2) - E^2(W)

所以

Var(XY + YZ + ZX)
= E((XY + YZ + ZX)^2) - E^2(XY + YZ + ZX)
= E(X^2Y^2 + Y^2Z^2 + Z^2X^2 + 2XYZ(X + Y + Z)) - (E(X)E(Y) + E(Y)E(Z) + E(Z)E(X))^2

這裡,E(XY) = E(X)E(Y) 成立是因為 X, Y 互相獨立。

但是,E(X^2Y^2) = E(X^2)E(Y^2) 成立嗎?

即是問,如果 X, Y 互相獨立,那麼,X^2, Y^2 也互相獨立嗎?

直觀地:是。

證明?一言敝之:X^2 改變了 X 的值卻沒有改變對應的概率。

我試用最低能的方法去驗證。

設隨機變量 X, Y 分別取值 x_1, x_2y_1, y_2。(聯)概率如下

P(X = x_1 and Y = y_1) = a
P(X = x_2 and Y = y_1) = b
P(X = x_1 and Y = y_2) = c
P(X = x_2 and Y = y_2) = d

如果 X, Y 互相獨立,則

P(X = x_1 | Y = y_1) = P(X = x_1 | Y = y_2)
P(X = x_2 | Y = y_1) = P(X = x_2 | Y = y_2)
P(Y = y_1 | X = x_1) = P(Y = y_1 | X = x_2)
P(Y = y_2 | X = x_1) = P(Y = y_2 | X = x_2)

由上述第一條式,得

\frac{a}{a + b} = \frac{c}{c + d} \Rightarrow ad = bc

上述其餘的三條式子,也可得出"ad = bc"這個結論。

若以矩陣表列上述的概率,即

M = \begin{pmatrix} a & b \\ c & d \end{pmatrix}

我們可以得到一個小小結論:

如果 X, Y 互相獨立,那麼,\det M = 0

逆向地,若 \det M = 0X, Y 互相獨立嗎?嗯,當然前提是 a, b, c, d 非負及 a + b + c + d = 1。結論也成立。

那麼,對於隨機變量 X^2, Y^2,改變了的不過是 XY 的取值,即 x_1, x_2 變為 x_1^2, x_2^2,而 y_1, y_2 變為 y_1^2, y_2^2;但對應的矩陣仍然是

\begin{pmatrix} a & b\\ c & d\end{pmatrix}

於是互相獨立的性質不變。

(注意:我根本不是在證明,只是驗證某個特例。)

如果我們考慮的 M 不是方陣(square matrix),比如

M = \begin{pmatrix} a & b & c\\ d & e & f\end{pmatrix}

如前述,根據互相獨立的定義,可設 2 \times 3 = 6 條式子,可得以下結論:

以下矩陣的行列式統統為零:

\begin{pmatrix} a & b\\ d & e\end{pmatrix}
\begin{pmatrix} b & c\\ e & f\end{pmatrix}
\begin{pmatrix} c & a\\ f & d\end{pmatrix}
\begin{pmatrix} a & b + c\\ d & e + f\end{pmatrix}
\begin{pmatrix} b & a + c\\ e & d + f\end{pmatrix}
\begin{pmatrix} c & a + b\\ f & d + e\end{pmatrix}

可見 rank(M) = 1

但一般地,對於 M_{m \times n},我們可得類似 rank(M) < \min\{m,n\} 嗎?(小小感覺:independent 的變量不是對應 linearly independent 的向量。)

補充一下,當 X 變為 X^2,萬一出現(比方說):x_1^2 = x_2^2,那麼對應的所謂概率矩陣由

\begin{pmatrix} a & b & c\\ d & e & f\end{pmatrix}

變成

\begin{pmatrix} a + b & c\\ d + e & f\end{pmatrix}

其行列式仍然是零,無損 X^2Y^2 互相獨立性。

現在考慮連續隨機變量 X, Y,如果 X, Y 互相獨立,則 X^2, Y^2 也是互相獨立。

我們可以證明

P(X^2 < a and Y^2 < b) = P(X^2 < a)P(Y^2 < b) for all a, b \in \mathbb{R}

這不難。

Case 1 : a < 0b < 0

P(X^2 < a and Y^2 < b) = 0
P(X^2 < a)P(Y^2 < b) = 0

P(X^2 < a and Y^2 < b) = P(X^2 < a)P(Y^2 < b)

Case 2 : a \ge 0b \ge 0

P(X^2 < a and Y^2 < b)
= P(-\sqrt{a} < X < \sqrt{a} and -\sqrt{b} < Y < \sqrt{b})
= P(-\sqrt{a} < X < \sqrt{a})P(-\sqrt{b} < Y < \sqrt{b}) (因 X, Y 互相獨立)
= P(X^2 < a)P(Y^2 < b)

所以 X^2, Y^2 互相獨立。

回到最初問題,當 E(X^2Y^2) 可寫成 E(X^2)E(Y^2)E(XY^2Z) 可寫成 E(X)E(Y^2)E(Z) 時,問題就迎刃而解了。

要不要繼續研究一下:如果 X, Y 互相獨立,那麼,f(X), g(Y) 也互相獨立嗎?

補充:

如果 X, Y 獨立,則 X^2, Y^2 獨立。
如果 X^2, Y^2 獨立,則 X, Y 未必獨立

想探究一下嗎?

2 則迴響 »

  1. Hi,

    Thanks for an insightful and interesting sharing, which I have learnt much! I’m sure your students will benefit a great deal and be keen to take up mathematics research in future :)

    Yuan xiao jie kuai le!

    Cheers,
    Wen Shih

    迴響 由 Wen Shih — 2010/02/27 @ 6:52 上午 | 回覆

    • Thank you Wen Shih, glad to know you are using WordPress for blog writing!

      Yuan xiao jie kuai le!

      迴響 由 johnmayhk — 2010/02/28 @ 7:16 下午 | 回覆


RSS feed for comments on this post. TrackBack URI

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / 變更 )

Twitter picture

You are commenting using your Twitter account. Log Out / 變更 )

Facebook照片

You are commenting using your Facebook account. Log Out / 變更 )

Google+ photo

You are commenting using your Google+ account. Log Out / 變更 )

連結到 %s

在WordPress.com寫網誌.

%d 位部落客按了讚: