4 Niezależność zdarzeń

Wróćmy do przykładu polegającego na rzucie dwoma kośćmi. Wówczas przestrzenią probabilistyczną jest \(\Omega = [6]^2\) z miarą jednostajną probabilistyczną \(\mathbb{P}\) na \(\Omega\). Rozważmy dwa zdarzenia \[ A = \{ \mbox{na pierwszej kości wypadła liczba podzielna przez $3$}\} \] oraz \[ B = \{ \mbox{na drugiej kości wypadła liczba mniejsza niż $6$}\}. \] Wtedy \(\mathbb{P}[A]= 1/2\) oraz \(\mathbb{P}[B]= 5/6\). Z kolei prawdopodobieństwo \(A\) pod warunkiem \(B\) wynosi \[ \mathbb{P}[A \: | \: B] = 1/2 = \mathbb{P}[A]. \] Innymi słowy zajście zdarzenia \(B\) nie wpływa na prawdopodobieństwo zdarzenia \(A\). Powyższa równość może być zapisana jako \[ \mathbb{P}[A \cap B] = \mathbb{P}[A] \mathbb{P}[B]. \] Zauważmy, że powyższa równość nie wymusza założenia \(\mathbb{P}[B]>0\). Własność ta okazuje się być bardzo użyteczna i często spotykana.

Definicja 4.1 Niech \((\Omega, \mathcal{F}, \mathbb{P})\) będzie przestrzenią probabilistyczną. Zdarzenia \(A,B\in \mathcal{F}\) nazywamy niezależnymi, gdy \[ \mathbb{P}[A\cap B] = \mathbb{P}[A]\mathbb{P}[B]. \]

Zauważmy, że jeżeli \(\mathbb{P}[A]=0\) lub \(\mathbb{P}[A]=1\), to dla każdego \(B\in \mathcal{F}\) zdarzenia \(A\) i \(B\) są niezależne.

Przykład 4.1 Rzucamy kostką sześcienną. Niech \(A\) będzie zdarzeniem, że wypadnie liczba parzysta, a \(B\) zdarzeniem, że wypadnie wypadnie liczba podzielna przez \(3\). Wówczas oba zdarzenia są niezależne. Definiujemy przestrzeń probabilistyczną: \(\Omega = [6] = \{ 1,2, \ldots 6\}\), \(\mathcal{F}\) składa się ze wszystkich podzbiorów \(\Omega\), a \(\mathbb{P}[ \{ k \}]=1/6\). Wówczas \(A = \{2,4,6\}\), \(B = \{3,6\}\), \(A \cap B = \{6\}\). Mamy \[\begin{equation*} \mathbb{P}[A\cap B] = \frac 16 = \frac 12 \cdot \frac 13 = \mathbb{P}[A]\cdot \mathbb{P}[B]. \end{equation*}\]

Często z samego opisu zdarzeń nie wynika ich niezależność.

Przykład 4.2 Wybieramy losową rodzinę posiadającą \(n\) dzieci. Niech \(A\) będzie zdarzeniem, że w wybranej rodzinie jest co najwyżej jedna dziewczynka, a \(B\) będzie zdarzeniem, że w wybranej rodzinie są dziewczynki i chłopcy. Czy zdarzenia \(A\) i \(B\) są niezależne? \(\Omega\) jest to zbiór ciągów o długości \(n\) i wyrazach \(c\) i \(d\) (płeć dzieci uporządkowanych wg wieku). Wtedy \(|\Omega| = 2^n\). Przyjmujemy, że każdy ciąg jest jednakowo prawdopodobny. Mamy \(|A| = n+1\), \(|B| = 2^n-2\), \(|A\cap B| = n\) (dokładnie jedna dziewczynka). Zauważmy, że \[ \mathbb{P}[A]\mathbb{P}[B] = \frac{n+1}{2^n} \cdot \frac{2^n-2}{2^n} \] oraz \[ \mathbb{P}[A\cap B] = \frac{n}{2^n}. \] Zdarzenia \(A\) i \(B\) będą niezależne wtedy i tylko wtedy, gdy \[ 1+n = 2^{n-1}. \] co ma miejsce jedynie dla \(n=3\). W tym przypadku powody niezależności są czysto algebraiczne.

Definicja 4.2 Zdarzenia \(A_1,\ldots,A_n\in \mathcal{F}\) nazywamy niezależnymi, gdy \[ \mathbb{P}[A_{i_1} \cap A_{i_2}\cap \ldots \cap A_{i_k}] = \mathbb{P}[A_{i_1}]\cdot \ldots \cdot \mathbb{P}[A_{i_k}] \] dla każdego ciągu \(1\le i_1 < i_2 <\cdots < i_k \le n\), \(k=2,3,\ldots, n\).

Definicja 4.3 Zdarzenia \(A_1,\ldots,A_n\in \mathcal{F}\) nazywamy niezależnymi parami, gdy dla dowolnych \(i\not=j\) zdarzenia \(A_i\) i \(A_j\) są niezależne

Jeżeli zdarzenia \(A_1,\ldots, A_n\) są niezależne, to są niezależne parami. Odwrotna implikacja nie jest jednak prawdziwa.

Przykład 4.3 Rzucamy 2 razy kostką. Oznaczmy

• \(A\) - za pierwszym razem wypadła parzysta liczba oczek;
• \(B\) - za drugim razem wypadła parzysta liczba oczek;
• \(C\) - suma oczek jest parzysta;

Wówczas zdarzania \(A,B,C\) są niezależne parami, ale nie są niezależne. Rzeczywiście, mamy \(A\cap B = A\cap C = B \cap C\) i \(A\cap B \cap C = A\cap B\). Stąd

• \(\mathbb{P}[A] = 1/2\)
• \(\mathbb{P}[B] = 1/2\)
• \(\mathbb{P}[C] = 1/2\)
• \(\mathbb{P}[A\cap B] = \mathbb{P}[A\cap C]\) \(= \mathbb{P}[C\cap B]\) \(=\mathbb{P}[A\cap B\cap C]\) \(=1/4\)

Zbadanie niezależności \(n\) zdarzeń wymaga sprawdzenia \({n\choose 2}+ {n\choose 3} +\ldots + {n\choose n} = 2^n-n-1\) równań. Chcemy badać ciągi niezależnych doświadczeń (może być ich nieskończenie wiele).

Niezależne \(\sigma\)-ciała

Definicja 4.4 Niech \((\Omega, \mathcal{F}, \mathbb{P})\) będzie przestrzenią probabilistyczną oraz niech \(\mathcal{F}_1\), \(\mathcal{F}_2\), …, \(\mathcal{F}_n\) będą \(\sigma\)-ciałami zawartymi w \(\mathcal{F}\). Mówimy, że \(\sigma\)-ciała te są niezależne jeżeli dla dowolnych \(A_1\in \mathcal{F}_1\), …, \(A_n\in \mathcal{F}_n\) zachodzi warunek \[ \mathbb{P}[A_1\cap A_2\cap \ldots \cap A_n] = \mathbb{P}[A_1]\cdot \ldots \cdot \mathbb{P}[A_n]. \]

Równoważnie (zadanie) \(\sigma\)-ciała \(\mathcal{F}_1\), \(\mathcal{F}_2\), …, \(\mathcal{F}_n\) są niezależne gdy dowolne zdarzenia \(A_1\in \mathcal{F}_1\), …, \(A_n\in \mathcal{F}_n\) są niezależne.

Definicja 4.5 Dowolna rodzina \(\sigma\)-ciał \(\{\mathcal{F}_i\}_{i\in I}\) jest niezależna, jeżeli każdy skończony jej podzbiór jest niezależny.

Przykład 4.4 Rzucamy \(2\) razy kostką. Pokażemy, że przy jednostajnym prawdopodobieństwie, rzuty te są niezależne. Niech \(\Omega = \left\{ (i,j): i,j \in [6]\right\}\), \(\mathcal{F}\) składa się ze wszystkich podzbiorów \(\Omega\), a \(\mathbb{P}\) jest wspomnianą już jednostajną miarą probabilistyczną.
Rozważmy dwa \(\sigma\)-ciała: \[\begin{align*} \mathcal{F}_1 & = \left\{ A\times [6]:\ A\subset [6] \right\},\\ \mathcal{F}_2 & = \left\{ [6]\times B:\ B\subset [6] \right\}. \end{align*}\] Wówczas zdarzenie \(A \times [6] \in \mathcal{F}_1\) mówi, że wynik na pierwszej kości należy do \(A\) i nie niesie żadnej informacji o wyniku drugiej kości.

To samo dotyczy zdarzeń postaci \([6]\times B \in \mathcal{F}_2\).

Natomiast ich przekrój \(A \times [6] \cap [6]\times B = A \times B\) oznacza zdarzenie, że wynik na pierwszej kości należy do \(A\) i wynik na drugiej kości należy do \(B\).

Pokażemy, że \(\sigma\)-ciała \(\mathcal{F}_1\) i \(\mathcal{F}_2\) są niezależne. Weźmy dowolne zdarzenia \(A\times [6] \in \mathcal{F}_1\) oraz \([6]\times B\in \mathcal{F}_2\). Wówczas \[ \mathbb{P}\left[A\times [6] \right] = \frac{|A|\cdot 6}{36} = \frac{|A|}{6}. \] Podobnie \[ \mathbb{P}\left[ [6] \times B\right] =\frac{|B|}{6}. \] Dla przekroju \[ \mathbb{P}\left[ A\times [6]\cap [6] \times B \right] = \mathbb{P}[A\times B] = \frac{|A||B|}{36}. \]

Powyższy przykład pokazuje, że intuicyjne pojęcie niezależności dwóch rzutów kostką zgadza się z formalną definicją.
Łatwo uogólnić go do \(n\) rzutów.

Lemma 4.1 Załóżmy, że zdarzenia \(A_1,\ldots, A_n\) są niezależne. Wtedy \(\sigma\)-ciała generowane przez \(A_i\): \(\sigma(A_1),\ldots, \sigma(A_n)\) (przypomnijmy \(\sigma(A) = \{\emptyset, A, A^c, \Omega\}\)) również są niezależne.

Proof. Pozostawiamy jako zadanie

Wniosek 4.1 Jeżeli zdarzenia \(A_1,\ldots, A_n\) są niezależne, to \[ \mathbb{P}\left[ \bigcup_{i=1}^n A_i \right] = 1 -\mathbb{P}\left[ \bigcap_{i=1}^n A_i^c \right] = 1 -\prod_{i=1}^n (1 - \mathbb{P}[A_i]). \]

Rozważmy następujący problem. Dany jest ciąg \(n\) doświadczeń, w którym wynik \(i\)-tego doświadczenia jest opisany przestrzenią probabilistyczną \((\Omega_i,\mathcal{F}_i, \mathbb{P}_i)\). Jak zbudować przestrzeń probabilistyczną \((\Omega, \mathcal{F}, \mathbb{P})\) modelującą przeprowadzenie tych \(n\) doświadczeń w sposób niezależny? Zdefiniujmy \[ \Omega = \Omega_1 \times \ldots \times \Omega_n \] oraz \[ \mathcal{F}'_i = \left\{ \Omega_1\times \ldots \times \Omega_{i-1} \times A \times \Omega_{i+1} \times \ldots \times \Omega_n : A\in \mathcal{F}_i \right\}. \] Wówczas \(\mathcal{F}'_i\) jest kopią \(\mathcal{F}_i\). Weźmy \(\mathcal{F} = \sigma(\mathcal{F}'_1,\ldots,\mathcal{F}'_n)\) - \(\sigma\)-ciało generowane przez \(\mathcal{F}'_i\) (wówczas \(\mathcal{F} = \mathcal{F}_1 \otimes \ldots \otimes \mathcal{F}_n\) jest \(\sigma\)-ciałem produktowym), tzn. elementami \(\mathcal{F}\) są zbiory postaci \(A_1\times \ldots \times A_n\), dla \(A_i\in \mathcal{F}_i\).

Chcemy, aby kolejne doświadczenia były niezależne, a więc aby \(\sigma\)-ciała \(\mathcal{F}'_1,\ldots, \mathcal{F}'_n\) były niezależne. Poszukujemy więc prawdopodobieństwa \(\mathbb{P}\) takiego, że dla dowolnych \(A_i\in \mathcal{F}_i\) zachodzi \[\begin{multline*} \mathbb{P}[A_1\times\ldots \times A_n] = \\ \mathbb{P}\left[(A_1\times \Omega_2 \times \ldots \times \Omega_n) \cap \ldots \cap (\Omega_1\times \ldots \times A_n)\right] \\ =\prod_{i=1}^n \mathbb{P}\left[\Omega_1 \times \ldots \times A_i \times \ldots \times \Omega_n\right]. \end{multline*}\] Skoro chcemy, aby przestrzeń produktowa reprodukowała \(i\)-ty eksperyment, to musi również zachodzić \[ \mathbb{P}[\Omega_1 \times \ldots \times A_i \times \ldots \times \Omega_n] = \mathbb{P}_i[A_i]. \] Upraszczając zapis szukamy prawdopodobieństwa \(\mathbb{P}\) na \(\Omega\) takiego, że \[ \mathbb{P}[A_1\times\ldots \times A_n] =\prod_{i=1}^n \mathbb{P}_i[A_i] \] dla dowolnych zdarzeń \(A_1, \ldots, A_n\). Z teorii miary wiemy, że istnieje dokładnie jedna taka miara probabilistyczna. Jest to miara produktowa: \[ \mathbb{P} = \mathbb{P}_1 \otimes \ldots \otimes \mathbb{P}_n. \]

Przykład 4.5 Losujemy niezależnie dwie liczby z przedziału \([0,1]\). W tym przypadku mamy \(\Omega_1=\Omega_2=[0,1]\), \(\mathcal{F}_1=\mathcal{F}_2 = \mathcal{B}or([0,1])\) oraz \(\mathbb{P}_1=\mathbb{P}_2=\lambda_1\), gdzie \(\lambda_1\) jest jednowymiarową miarą Lebesgue’a. Jak reprezentować wynik tego eksperymentu na jednej przestrzeni probabilistycznej? Z powyższej konstrukcji \(\Omega = \Omega_1\times \Omega_2 = [0,1]^2\), \(\mathcal{F} = \mathcal{B}or([0,1]) \otimes \mathcal{B}or([0,1]) = \mathcal{B}or([0,1]^2)\). Odpowiadające prawdopodobieństwo to \(\mathbb{P}=\mathbb{P}_1\otimes \mathbb{P}_2 = \lambda_1\otimes \lambda_1\). Przypomnijmy, że jest to jedyna miara na \([0,1]^2\) taka, że \[\begin{equation*} \lambda_1\otimes \lambda_1 (A\times B) = \lambda_1 (A) \lambda_1(B) \end{equation*}\] dla dowolnych \(A, B \in \mathcal{B}or([0,1])\). Jest to dokładnie charakteryzacja dwuwymiarowej (płaskiej) miary Lebesgue’a. Innymi słowy \(\mathbb{P} = \lambda_1\otimes \lambda_1 = \lambda_2\). Reasumując, wylosowanie niezależnie dwóch liczb z przedziału \([0,1]\) jest tożsame z wylosowaniem punktu z kwadratu jednostkowego \([0,1]^2\).

Przykład 4.6 (Schemat Bernoulliego) Wykonano \(n\)-krotnie to samo doświadczenie, w którym prawdopodobieństwo sukcesu wynosi \(p\). Kolejne próby były niezależne. Wówczas prawdopodobieństwo sukcesu w dokładnie \(k\) próbach wynosi \({n\choose k} p^k (1-p)^{n-k}\). Rzeczywiście, niech

• \(\Omega_i = \{0,1\}\) (1 odpowiada sukcesowi w \(i\)-tym doświadczeniu),
• \(\mathcal{F}_i = 2^{\Omega_i}\),
• \(\mathbb{P}_i[\{1\}] = p\), równoważnie \(\mathbb{P}_i[\{1\}] = p^{\omega_i}(1-p)^{1-\omega_i}\).

Wówczas \((\Omega_i, \mathcal{F}_i, \mathbb{P}_i)\) modeluje wynik doświadczenia w \(i\)-tym kroku. Definiując jak powyżej

• \(\Omega = \Omega_1 \times \ldots \times \Omega_n = \{0,1\}^n\),
• \(\mathcal{F} = \mathcal{F}_1 \otimes \ldots \otimes \mathcal{F}_n\),
• \(\mathbb{P} = \mathbb{P}_1 \otimes \ldots \otimes \mathbb{P}_n\).

Wtedy dla \(\omega = (\omega_1,\ldots, \omega_n)\in \Omega\) mamy \[ \mathbb{P}[\{\omega\}] = p^{\omega_1+\ldots+\omega_n}(1-p)^{n-(\omega_1+\ldots+\omega_n)}. \] Niech \(A_k\) oznacza zdarzenie osiągnięcia dokładnie \(k\) sukcesów, tj. \[ A_k = \{\omega\in \Omega:\; \omega_1+\ldots+\omega_n = k\}, \] innymi słowy \(A_k\) zawiera \(\omega\) zawierające dokładnie \(k\) jedynek. Stąd \(|A_k| = {n\choose k}\) oraz \[ \mathbb{P}[A_k] = \sum_{\omega \in A_k} \mathbb{P}[\{\omega\}] = |A_k| p^k (1-p)^{n-k}= {n\choose k} p^k (1-p)^{n-k}. \]