Quod Erat Demonstrandum

2008/07/20

以大數定律證明維爾斯特拉斯定理

伯努利(Jacob Bernoulli)的大數定律,是概率論中的著名定律,略表如下:

\{X_i\} 為獨立同分佈的隨機變量序列(sequence of independent random variables with same distribution),其分佈為 X_i \sim B(1 , p)。則 \{X_i\} 服從大數定律(Law of large numbers)。即對任意正數 \epsilon,恆有

\lim_{n \rightarrow \infty}P(|\frac{1}{n}\sum_{i = 1}^n X_i - p| \ge \epsilon) = 0

維爾斯特拉斯(Weierstrass)定理,則是數學分析中的著名定理,內容如下:

f(x) 為區間 [a , b] 上的連續函數,則存在多項式序列(sequence of polynomials)\{P_n(x)\} 於 [a , b] 上一致收斂於(uniformly convergent to)f(x)

現在利用大數定律證明維爾斯特拉斯定理。

不失一般性,我們只要在區間 [0 , 1] 上證明維爾斯特拉斯定理便可,因為變換 x = (b - a)t + a 便可以把 [a , b] 化為 [0 , 1],t \in [0 , 1]。命多項式 P_n(x)

P_n(x) = \sum_{k = 0}^n C_k^nx^k(1 - x)^{n - k}f(\frac{k}{n})

易知 P_n(0) = f(0)P_n(1) = f(1),即 P_n(x)x = 0x = 1 處的收斂問題已解決。現在考慮 x \in (0 , 1)

設隨機變量 \mu_n 如下:\mu_n \sim B(n , x), n \ge 1, x \in (0 , 1);則

E[f(\frac{\mu_n}{n})] = \sum_{k = 0}^nf(\frac{k}{n})C_k^nx^k(1 - x)^{n - k} = P_n(x)

所以

P_n(x) - f(x) = \sum_{k = 0}^n[f(\frac{k}{n}) - f(x)]C_k^nx^k(1 - x)^{n - k}

從而

|P_n(x) - f(x)| \le \sum_{k = 0}^n|f(\frac{k}{n}) - f(x)|C_k^nx^k(1 - x)^{n - k}

由於 f(x) 在 [0 , 1] 上連續,故 f(x) 在 [0 , 1] 上有界。設 |f(x)| \le k,且 f(x) 在 [0 , 1] 上一致連續,故對於任意正數 \epsilon,存在另一正數 \delta,使得當 |\frac{k}{n} - x| < \delta 時,就有 |f(\frac{k}{n}) - f(x)| < \frac{\epsilon}{2}

由大數定律,知

\lim_{n \rightarrow \infty}P(|\frac{\mu_n}{n} - x| \ge \epsilon) = 0
(留意,\mu_n = \sum_{i = 1}^nX_i)

換言之,對正數 \delta,存在正數 N,使得當 n > N 時,有 P(|\frac{\mu_n}{n} - x| \ge \delta) < \frac{\epsilon}{4k}

從而當 n > N,對一切 x \in (0 , 1),有

|P_n(x) - f(x)|
\le \sum_{|\frac{k}{n} - x| < \delta}|f(\frac{k}{n}) - f(x)|C_k^nx^k(1 - x)^{n - k}
+ \sum_{|\frac{k}{n} - x| \ge \delta}|f(\frac{k}{n}) - f(x)|C_k^nx^k(1 - x)^{n - k}
< \frac{\epsilon}{2} + 2k\sum_{|\frac{k}{n} - x| \ge \delta}C_k^nx^k(1 - x)^{n - k}
= \frac{\epsilon}{2} + 2kP(|\frac{\mu_n}{n} - x| \ge \delta)
< \frac{\epsilon}{2} + \frac{\epsilon}{2}
= \epsilon

Q.E.D.

發表迴響 »

仍無迴響。

RSS feed for comments on this post. TrackBack URI

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / 變更 )

Twitter picture

You are commenting using your Twitter account. Log Out / 變更 )

Facebook照片

You are commenting using your Facebook account. Log Out / 變更 )

Google+ photo

You are commenting using your Google+ account. Log Out / 變更 )

連結到 %s

在WordPress.com寫網誌.

%d 位部落客按了讚: