19 Prawo \(0-1\) Kołmogorowa

Wiemy już, że jeżeli rzucamy wielokrotnie kością, to \(S_n\) będące liczbą otrzymanych szóstek w pierwszych \(n \in \mathbb{N}\) spełnia \[\begin{equation} \lim_{n \to \infty}S _n/n = 1/6 \tag{19.1} \end{equation}\] według prawdopodobieństwa. Oznacza to, że z dużym prawdopodobieństwem \(S_n/n\approx 1/6\) dla dużych \(n\). Sama zbieżność według prawdopodobieństwa nie wyklucza, że wykonując wielokrotnie \(n\) rzutów monetą kiedyś zdarzy się, że \(S_n/n\) będzie odległe od \(1/6\). Chcemy pokazać, że dla dużych \(n\), \(S_n/n\) będzie zawsze bliskie \(1/6\). Oznacza to, że zbieżność (19.1) powinna zachodzić prawie na pewno.

W ogólnej sytuacji będziemy badać zbieżność sum postaci \[ \frac{X_1+\ldots + X_n- a_n}{b_n}. \] Zbieżność tego typu sum pozwala badać zbieżności szeregów. Przykładowo, z podstawowego kursu analizy wiemy, że rozbieżny jest szereg \[ \sum_{n=1}^\infty \frac 1n=\infty. \] Jednakże w wersji naprzemiennej jest on już zbieżny \[ \sum_{n=1}^\infty \frac{(-1)^n}n=-\log(2). \] Co się jednak dzieje, jeżeli znaki w tym szeregu postawimy w sposób losowy? Jeżeli rozważymy ciąg \(\{X_n\}_{n\in \mathbb{N}}\) niezależnych zmiennych o jednakowym rozkładzie \[\begin{equation*} \mathbb{P}\left[X_n=1 \right] =\mathbb{P}\left[X_n=-1 \right] =1/2, \end{equation*}\] co możemy powiedzieć o zbieżności szeregu \[\begin{equation} \sum_{n=1}^\infty \frac{X_n}{n}? \tag{19.2} \end{equation}\]

19.1 \(\sigma\)-ciało ogonowe

Pierwszym krokiem w kierunku udowodnienia (19.1) w wersji prawie na pewno będzie wykształcenie narzędzi, które pozwolą stwierdzić, że szeregi typu (19.2) są zbieżne z prawdopodobieństwem jeden bądź zero. Okazuje się, że tego typu szeregi nie mogą być zbieżne z prawdopodobieństwem \(p \in (0,1)\).

Definicja 19.1 Niech \((\Omega, \mathcal{F}, \mathbb{P})\) będzie przestrzenią probabilistyczną i niech \(\{\mathcal{F}_n \}_{n \in \mathbb{N}}\), będzie ciągiem \(\sigma\)-ciał zawartych w \(\mathcal{F}\). Zdefiniujmy \[ \mathcal{F}_{n,\infty} =\sigma \left(\bigcup_{k=n}^\infty \mathcal{F}_k\right), \] oraz \[ \mathcal{F}_\infty = \bigcap_{n=1}^\infty \mathcal{F}_{n,\infty}. \] \(\mathcal{F}_\infty\) nazywamy \(\sigma\)-ciałem ogonowym.

Przykład 19.1 Niech \(\Omega = \mathbb{N}^\mathbb{N}\) będzie zbiorem wszystkich ciągów \(\{a_n\}_{n\in \mathbb{N}}\) o wyrazach naturalnych. Niech \[\begin{equation*} \mathcal{F}_n = \left\{ \mathbb{N}^{n-1}\times A \times \mathbb{N}^\mathbb{N} \: : \: A \subseteq \mathbb{N} \right\}. \end{equation*}\] Wówczas każdy \(A \in \mathcal{F}_n\) jest postaci \[\begin{equation*} A = \mathbb{N}^{n-1}\times B \times \mathbb{N}^\mathbb{N} = \{ \{ a_j\}_{j \in \mathbb{N}} \: : \: a_n \in B\}, \end{equation*}\] dla pewnego \(B \subseteq \mathbb{N}\). Zdarzenia z \(\mathcal{F}_n\) kodują więc informacje o \(n\)-tym wyrazie ciągu. \(\sigma\)-ciało \(\mathcal{F}_{n, \infty}\) zawiera zdarzenia (prosto postaci \[\begin{equation*} B = \mathbb{N}^{n-1}\times B_n \times B_{n+1} \times \cdots = \{ \{ a_j\}_{j \in \mathbb{N}} \: : \: a_j \in B_j, \: j \geq n\}, \end{equation*}\] dla dowolnych \(B_n, B_{n+1}, \ldots \subseteq \mathbb{N}\). W ogólności każdy zbiór \(A \in \mathcal{F}_{n,\infty}\) jest postaci \[\begin{equation*} A = \mathbb{N}^{n-1}\times B, \end{equation*}\] dla pewnego \(B \in \mathcal{F}_{1, \infty}\) W ogólności jeżeli \(A \in \mathcal{F}_{n, \infty}\), to dla dowolnych ciągów \(\{a_j\}_{j\in \mathbb{N}}\) oraz \(\{b_j\}_{j\in \mathbb{N}}\) takich, że \(a_j=b_j\) dla \(j\geq n\), \[\begin{equation*} \{a_j\}_{j\in \mathbb{N}} \in A \iff \{b_j\}_{j\in \mathbb{N}} \in A. \end{equation*}\] Innymi słowy to, czy dany ciąg należy do \(A\) zależy tylko od jego wyrazów o indeksach nie mniejszych niż \(n\). Istnieje jeszcze jedna charakteryzacja \(\mathcal{F}_{n,\infty}\). Rozważmy odwzorowanie \(\pi \colon \Omega \to \Omega\) zadane przez \[\begin{equation*} \pi \left(\{a_j\}_{j \in \mathbb{N}} \right) = \{a_{j+1}\}_{j\in \mathbb{N}}. \end{equation*}\] Wówczas dla \(A \in \mathcal{F}_{1,\infty}\) mamy \[\begin{equation*} \pi^{-1}[A] = \mathbb{N}\times A. \end{equation*}\] Innymi słowy \[\begin{equation*} \left\{ \pi^{-1}[A] \: : \: A \in \mathcal{F}_{1, \infty} \right\} = \mathcal{F}_{2,\infty}. \end{equation*}\] Podobnie skoro \[\begin{equation*} \pi^{-n}[A] = \mathbb{N}^{n}\times A. \end{equation*}\] (tutaj \(\pi^{-n}\) oznacza przeciwobraz \(n\)-krotnego złożenia \(\pi\)), to \[\begin{equation*} \left\{ \pi^{-n}[A] \: : \: A \in \mathcal{F}_{1, \infty} \right\} = \mathcal{F}_{n+1,\infty}. \end{equation*}\] Stąd \[\begin{equation*} A \in \mathcal{F}_\infty \iff \forall n \: \pi^{-n}[A] = A. \end{equation*}\] \(\sigma\)-ciało ogonowe składa się ze zdarzeń niezmienniczych na dowolne skończone przesunięcie. Przykładami takich zdarzeń są \[\begin{equation*} \left\{ \{a_n\}_{n \in \mathbb{N}} \: : \: \lim_{n \to \infty}a_n=17 \right\} \end{equation*}\] oraz \[\begin{equation*} \left\{ \{a_n\}_{n \in \mathbb{N}} \: : \: \sum_{n=1}^\infty |a_n|<\infty \right\}. \end{equation*}\] Zauważmy wreszcie, że \[\begin{equation*} \left\{ \{a_n\}_{n \in \mathbb{N}} \: : \: \sum_{n=1}^\infty |a_n|>1 \right\} \notin \mathcal{F}_\infty. \end{equation*}\]

Remark. Załóżmy, że \(\mathcal{F}_n\) jest \(\sigma\)-ciałem generowanym przez zmienną losową \(X_n\). Wówczas

• \(\mathcal{F}_n\) oznacza wiedzę o doświadczeniu w czasie \(n\);
• \(\mathcal{F}_{n,\infty}\) - wiedza o przyszłości od chwili \(n\), \(\mathcal{F}_{n,\infty}\supset \mathcal{F}_{n+1,\infty}\);
• \(\mathcal{F}_\infty\) - wiedza o nieskończenie odległej przyszłości

Zdarzenie \(A\in \mathcal{F}_\infty\), gdy dla każdego \(n\), \(A\in \mathcal{F}_{n,\infty}\).

Przykład 19.2 Niech \(\{\mathcal{F}_n\}_{n \in \mathbb{N}}\) będzie dowolnym ciągiem \(\sigma\)-ciał. Jeżeli \(A_n\in\mathcal{F}_n\), to \[ A =\limsup_n A_n = \bigcap_{k\ge 1}\bigcup_{i\ge k}A_i\in \mathcal{F}_{\infty}, \] bo dla każdego \(n\) \[ A = \bigcap_{k\ge n}\bigcup_{i\ge k}A_i\in \mathcal{F}_{n,\infty}. \]

Załóżmy, że \(\{X_n\}_{n\in \mathbb{N}}\) jest ciągiem zmiennych losowych. Niech \(\mathcal{F}_n = \sigma(X_n)\). Zdarzenie \[ B = \big\{ \omega:\; \mbox{ ciąg } \{ X_n(\omega) \} \mbox{ jest zbieżny }\big\} \] należy do \(\sigma\)-ciała ogonowego. Istotnie, przypomnijmy definicję Cauchy’ego zbieżności ciągu: \[ \forall_{\varepsilon > 0}\ \exists_k \ \forall_{j,m \ge k} \ |X_j(\omega) - X_m(\omega)| < \varepsilon. \] W tym przypadku należy rozważać przeliczalną rodzinę parametrów i korzystać z równoważnej definicji \[ \forall_{N\in \mathbb{N}}\ \exists_k \ \forall_{j,m \ge k} \ |X_j(\omega) - X_m(\omega)| < 1/N, \] która pociąga \[\begin{align*} B &= \bigcap_{N=1} \bigcup_{k=1}^\infty \bigcap_{j,m\ge k} \big\{ |X_j(\omega) - X_m(\omega)| < 1/N \big\}\\ &= \bigcap_{N=n} \bigcup_{k=N}^\infty \bigcap_{j,m\ge k} \big\{ |X_j(\omega) - X_m(\omega)| < 1/N \big\} \in \mathcal{F}_{n,\infty}. \end{align*}\] Pokazaliśmy więc, że dla każdego \(n\), \(B \in \mathcal{F}_{n,\infty}\), a to z kolei implikuje \(B \in \mathcal{F}_\infty\). Podobnie pokazujemy, że zdarzenia \[ \left\{ \sup_n |X_n|<\infty \right\} \qquad \mbox{ i } \qquad \left\{ \sum_{n=1}^\infty X_n \mbox{ jest zbieżny} \right\} \] należą do \(\sigma\)-ciała ogonowego. Z kolei zdarzenie \[ \left\{ \limsup_{n\to \infty} (X_1+X_2+\ldots+ X_n) > 0 \right\} \] nie należy do \(\sigma\)-ciała ogonowego, ponieważ pierwsze składniki mają wpływ na granicę.

Twierdzenie 19.1 (Prawo 0-1 Kołmogorowa) Jeżeli \(\sigma\)-ciała \(\mathcal{F}_n\) są niezależne, to dla każdego zdarzenia \(A\in \mathcal{F}_{\infty}\) zachodzi \[ \mathbb{P}[A]=0\qquad \mbox{lub}\qquad \mathbb{P}[A]=1. \]

Lemma 19.1 Jeżeli rodziny zbiorów \({\mathcal A}_1,{\mathcal A}_2\) są niezależne i obie tworzą \(\pi\)-układ, to \(\sigma\)-ciała przez nie generowane \(\sigma({\mathcal A}_1)\) i \(\sigma({\mathcal A}_2)\) są niezależne.

Proof. Skorzystamy z twierdzenia Dynkina o \(\pi-\lambda\) układach. Ustalmy zbiór \(A_2\in {\mathcal A}_2\) i niech \[\mathcal{L} = \Big\{ A: \mathbb{P}[A\cap A_2] = \mathbb{P}[A]\mathbb{P}[A_2] \Big\}.\] Oczywiście \({\mathcal A}_1\subset \mathcal{L}\). Ponadto \(\mathcal{L}\) jest \(\lambda\)-układem:

1. \(\Omega\in \mathcal{L}\);
2. jeżeli \(A,B\in \mathcal{L}\) oraz \(A\subset B\), to \[\begin{align*}\mathbb{P}\big[(B\setminus A)\cap A_2\big] &= \mathbb{P}\big[B\cap A_2\big] - \mathbb{P}\big[A\cap A_2\big]\\ &= \mathbb{P}[B]\mathbb{P}[A_2]- \mathbb{P}[A]\mathbb{P}[A_2]\\ &= \mathbb{P}[B\setminus A]\mathbb{P}[A_2], \end{align*}\] zatem \(B\setminus A\in \mathcal{L}\)
3. jeżeli \(\{B_k\}\) jest wstępującą rodziną zbiorów zawartych w \(\mathcal{L}\), wówczas z ciągłości miary wiemy, że \[\mathbb{P}[B_k] \to \mathbb{P}[B]\] dla $ B=_{k=1}^{}B_k$. Podobnie \(\{B_k\cap A_2\}\) jest rodziną wstępującą, a więc \[\mathbb{P}[B_k\cap A_2] \to \mathbb{P}[B\cap A_2]. \] Wynika stąd (odwołując się do lematu o ciągłości miary) \[ \mathbb{P}[B\cap A_2] \overset{k\to\infty}{\leftarrow} \mathbb{P}[B_k\cap A_2] = \mathbb{P}[B_k]\mathbb{P}[ A_2] \overset{k\to\infty}{\to} \mathbb{P}[B]\mathbb{P}[ A_2] \] a więc \(B\in \mathcal{L}\).

\(\mathcal{L}\) jest więc \(\lambda\)-układem zawierającym \(\pi\)-układ \({\mathcal A}_1\). Zatem z twierdzenia Dynkina \[ \sigma( {\mathcal A}_1 ) \subset \mathcal{L}, \] a to z kolei pokazuje, że \(\sigma({\mathcal A}_1)\) \({\mathcal A}_2\) są niezależne.

Następnie ustalamy zbiór \(A_1\in \sigma({\mathcal A}_1)\) i definiujemy \[\mathcal{L}_2 = \Big\{ A: \mathbb{P}[A_1 \cap A] = \mathbb{P}[A_1]\mathbb{P}[A] \Big\}.\] powtarzamy powyższe rozumowanie i otrzymujemy tezę.

Proof (Dowód twierdzenia 0-1 Kołmogorowa). W dowodzie pokażemy, że \(\sigma\)-ciała \(\mathcal{F}_{\infty}\) oraz \(\sigma(\mathcal{F}_1,\mathcal{F}_2,\ldots)\) są niezależne. Zauważmy, że wówczas zbiór \(A\) należy do obu powyższych \(\sigma\)-ciał: \[ A\in \mathcal{F}_{\infty} \subset \sigma(\mathcal{F}_1,\mathcal{F}_2,\ldots).\] Zatem zbiór \(A\) jest niezależny od samego siebie, tzn. \[ \mathbb{P}[A\cap A] = \mathbb{P}[A]\mathbb{P}[A]. \] Powyższe równanie jest równoważne \(\mathbb{P}[A] = \mathbb{P}[A]^2\), a jedynymi rozwiązaniami tego właśnie równania są: \(\mathbb{P}[A]=0\) lub \(\mathbb{P}[A]=1\).

Krok 1. Pokażemy, że dla dowolnego \(k\), \(\sigma\)-ciała \(\sigma(\mathcal{F}_1,\ldots,\mathcal{F}_k)\) i \(\sigma(\mathcal{F}_{k+1},\mathcal{F}_{k+2},\ldots)\) są niezależne.

Zauważmy, że \[ \sigma(\mathcal{F}_{k+1},\mathcal{F}_{k+2},\ldots) = \sigma \bigg( \bigcup_{j\ge 1}\sigma(\mathcal{F}_{k+1},\mathcal{F}_{k+2},\ldots, \mathcal{F}_{k+j }) \bigg) \] i powyższa suma jest \(\pi\)-układem. Korzystając więc z lematu, dla każdego \(k\), \(\sigma\)-ciała \[ \sigma(\mathcal{F}_1,\ldots,\mathcal{F}_k), \sigma(\mathcal{F}_{k+1},\mathcal{F}_{k+2},\ldots)\] są niezależne.

Krok 2. Zbiory \[ \bigcup_k \sigma(\mathcal{F}_1,\ldots,\mathcal{F}_k), \qquad \mathcal{F}_{\infty} \] z punktu 1 są niezależne (bo \(\mathcal{F}_{\infty} \subset \sigma(\mathcal{F}_{k+1},\mathcal{F}_{k+2},\ldots)\), a wiemy już, że \(\sigma(\mathcal{F}_1,\ldots,\mathcal{F}_k)\) i \(\sigma(\mathcal{F}_{k+1},\mathcal{F}_{k+2},\ldots)\) są niezależne), a ponadto są \(\pi\)-układami, więc z lematu \(\sigma\)-ciała przez nie generowane: \[ \sigma(\mathcal{F}_1,\mathcal{F}_2,\ldots), \quad \mathcal{F}_{\infty}\] są niezależne.

Wniosek 19.1 Jeżeli \(\{X_n\}\) jest ciągiem niezależnych zmiennych losowych, to

• granica \(\lim_{n\to\infty} X_n\) istnieje z prawdopodobieństwem \(0\) lub \(1\).
• szereg \(\sum_{n=1}^\infty X_n\) jest zbieżny z prawdopodobieństwem \(0\) lub \(1\).
• \(\mathbb{P}[\{\limsup X_n = \infty\}]= 0\) lub \(1\).
• \(\mathbb{P}[\{\lim_{n\to\infty} (X_1+X_2+\ldots + X_n)/n < \infty\}]= 0\) lub \(1\).