以特定擲單個骰子的過程來展示大數定律。隨着投擲次數的增加,所有結果的均值趨於3.5(骰子點數的期望值)。不同時候做的這個實驗會在投擲次數較小的時候(左部)會表現出不同的形狀,當次數變得很大(右部)的時候,它們將會非常相似。
在數學與統計學中,大數定律(英語:Law of large numbers)又稱大數定律、大數律,是描述相當多次數重複實驗的結果的定律。根據這個定律知道,樣本數量越多,則其算術平均值就有越高的機率接近期望值。
大數定律很重要,因為它「說明」了一些隨機事件的均值的長期穩定性。人們發現,在重複試驗中,隨着試驗次數的增加,事件發生的頻率趨於一個穩定值;人們同時也發現,在對物理量的測量實踐中,測定值的算術平均也具有穩定性。比如,我們向上拋一枚硬幣,硬幣落下後哪一面朝上是偶然的,但當我們上拋硬幣的次數足夠多後,達到上萬次甚至幾十萬幾百萬次以後,我們就會發現,硬幣每一面向上的次數約占總次數的二分之一,亦即偶然之中包含着必然。
上述現象是切比雪夫不等式的一個特殊應用情況,辛欽定理和伯努利大數定律也都概括了這一現象,它們統稱為大數定律。
舉例
例如,拋擲一顆均勻的6面的骰子,1,2,3,4,5,6應等概率出現,所以每次扔出骰子後,出現點數的期望值是
根據大數定理,如果多次拋擲骰子,隨着拋擲次數的增加,平均值(樣本平均值)應該接近3.5,根據大數定理,在多次伯努利實驗中,實驗頻率最後收斂於理論推斷的概率值,對於伯努利隨機變量,理論推斷的成功概率就是期望值,而若對n個相互獨立的隨機變量的平均值,頻率越多則相對越精準。
例如硬幣投擲即伯努利實驗,當投擲一枚均勻的硬幣,理論上得出的正面向上的概率應是1/2。因此,根據大數定理,正面朝上的比例在相對「大」的數字下,「理應」接近為1/2,尤其是正面朝上的頻率在n次實驗(n接近無限大時)後應幾近收斂到1/2。
即使正面朝上(或背面朝上)的比例接近1/2,幾乎很自然的正面與負面朝上的絕對差值(absolute difference差值範圍)應該相應隨着拋擲次數的增加而增加。換句話說,絕對差值的概率應該是會隨着拋擲次數而接近於0。直觀的來看,絕對差值的期望會增加,只是慢於拋擲次數增加的速度。
表現形式
大數定律主要有兩種表現形式:弱大數定律和強大數定律。定律的兩種形式都肯定無疑地表明,樣本均值
![{\displaystyle {\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b3557f2a15de9f9ce914f8ef0b013a3caa5d77b0)
收斂於真值
![{\displaystyle {\overline {X}}_{n}\to \mu \quad {\textrm {as}}\quad n\to \infty }](https://wikimedia.org/api/rest_v1/media/math/render/svg/ef41c6ad1d82f3c7ba8ffd1afa6545be4c23900b)
其中
,
, ... 是獨立同分布、期望值
且皆勒貝格可積的隨機變量構成的無窮序列。
的勒貝格可積性意味着期望值
存在且有限。
方差
有限的假設是非必要的。很大或者無窮大的方差會使其收斂得緩慢一些,但大數定律仍然成立。通常採用這個假設來使證明更加簡潔。
強和弱之間的差別在所斷言的收斂的方式。對於這些方式的解釋,參見隨機變量的收斂。
弱大數定律
弱大數定律(WLLN) 也稱為辛欽定理,陳述為:樣本均值依概率收斂於期望值。[1]
![{\displaystyle {\overline {X}}_{n}\ {\xrightarrow {P}}\ \mu \quad {\textrm {as}}\quad n\to \infty }](https://wikimedia.org/api/rest_v1/media/math/render/svg/c4eea1b3848e0c3512a0a06b092cf028d881e1e0)
也就是說對於任意正數 ε,
![{\displaystyle \lim _{n\to \infty }P\left(\,|{\overline {X}}_{n}-\mu |>\varepsilon \,\right)=0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b1dc8f599ffcdee479238a9ce8089fa605419ecc)
強大數定律
強大數定律(SLLN)指出,樣本均值以概率1收斂於期望值。
![{\displaystyle {\overline {X}}_{n}\ {\xrightarrow {\text{a.s.}}}\ \mu \quad {\textrm {as}}\quad n\to \infty }](https://wikimedia.org/api/rest_v1/media/math/render/svg/79105e7ae05a468724afe18420794bb2aa1cb42e)
即
![{\displaystyle P\left(\lim _{n\to \infty }{\overline {X}}_{n}=\mu \right)=1}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1f754216a1516dd0afe8c78169fbdf1bb7f4d417)
切比雪夫定理的特殊情況
設
為相互獨立的隨機變量,其數學期望為:
,方差為:
則序列
依概率收斂於
(即收斂於此數列的數學期望
)。
換言之,在定理條件下,當
無限變大時,
個隨機變量的算術平均將變成一個常數。
伯努利大數定律
設在
次獨立重複伯努利試驗中,事件
發生的次數為
,事件
在每次試驗中發生的母體機率為
,
代表樣本發生事件
的頻率。
則對任意正數
,伯努利大數定律表明:
![{\displaystyle \lim _{n\to \infty }{P{\left\{\left|{\frac {n_{x}}{n}}-p\right|<\varepsilon \right\}}}=1}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b488a8ff684a74e3db311682dbc2cca72d3df26f)
換言之,事件發生的頻率依機率收斂於事件的母體機率。該定理以嚴格的數學形式表達了頻率的穩定性,也就是說當
很大時,事件發生的頻率與母體機率有較大偏差的可能性很小。
參見
參考文獻
外部連結