Niezależność

W poprzednim wykładzie nauczyliśmy się obliczać prawdopodobieństwo części wspólnej zdarzeń za pomocą prawdopodobieństwa warunkowego:

\( P(A \cap B) = P(A) P(B|A) \)

Wzór ten często przyjmuje wyjątkowo prostą postać.

Przykład 1 Jola rogrywa dwa mecze tenisowe z Helą. Jej szanse na zwycięstwo w pojedynczym meczu są równe 60% niezależnie od wyników innych meczy. Interesuje nas prawdopodobieństwo wygrania przez Jolę obu meczy.

Niech W₁,W₂ będą zdarzeniami odpowiadającymi wygranej Joli odpowiednio w pierwszym i drugim meczu. Wtedy, z wzoru wspomnianego wyżej, mamy

\( P(W_1 \cap W_2) = P(W_1) P(W_2 | W_1) \)

Wyraz P(W₂ | W₁) występujący w tym wzorze jest prawdopodobieństwem wygrania przez Jolę drugiego meczu przy założeniu, że wygrała pierwszy. Z treści zadania wynika, że prawdopodobieństwo to jest równe P(W₂ | W₁) = P(W₂) = 0.6, a zatem

\( P(W_1 \cap W_2) = P(W_1) P(W_2) = 0.6 \cdot 0.6 = 0.36 \)

Okazało się, że prawdopodobieństwo części wspólnej zdarzeń W₁ i W₂ jest równe iloczynowi ich prawdopodobieństw. W teorii prawdopodobieństwa taką sytuację nazywa się niezależnością.

Uwaga Biorąc pod uwagę nasze rozważania w przykładzie 1, można zastanawiać się dlaczego definiujemy niezależność w powyższy sposób, a nie tak:

P(A | B) = P(A)

lub tak:

P(B | A) = P(B).

Łatwo pokazać, że obie te równości są równoważne naszej definicji z jednym małym "ale" --- pierwsza z nich nie jest określona, gdy P(B) = 0, druga gdy P(A) = 0. Dlatego właśnie definiujemy niezależność tak jak to zrobiliśmy powyżej.

Warto pamiętać o następującym elementarnym fakcie:

\( P(\bar{A} \cap B) = P(B \ (A \cap B)) = P(B) - P(A\cap B) = P(B)-P(A)P(B) = (1-P(A))P(B) = P(\bar{A})P(B).\)

Zadanie 1 Niech \(A,B \subseteq \Omega\) będą zdarzeniami niezależnymi o znanych prawdopodobieństwach P(A),P(B). Oblicz prawdopodobieństwo tego, że:

• zajdzie co najmniej jedno ze zdarzeń A,B,
• zajdzie dokładnie jedno ze zdarzeń A,B.

\(P(C) = P(A \cup B) = P(A) + P(B) - P(A \cap B). \)

Korzystając z niezależności A i B możemy rozbić ostatni człon uzyskując

\( P(A \cup B) = P(A)+P(B) - P(A)P(B).\)

Można też postąpić inaczej, a mianowicie obliczyć prawdopodobieństwo \(P(\bar{C})\), t.j. prawdopodobieństwo nie zajścia żadnego ze zdarzeń A,B. Mamy wtedy \( P(C) = 1-P(\bar{C})\). Prawdopodobieństwo \(P(\bar{C})\) obliczamy następująco

\( P(\bar{C}) = P(\bar{A} \cap \bar{B}) = P(\bar{A})P(\bar{B}) = (1-P(A))(1-P(B)),\) bo \(\bar{A}\) i \(\bar{B}\) są niezależne. A zatem \( P(C) = 1-P(\bar{C}) = 1- (1-P(A))(1-P(B)) = P(A)+P(B)-P(A)P(B). \)

Niech D będzie zdarzeniem opisującym zajście dokładnie jednego ze zdarzeń A,B. Wtedy \(D=(A \cup B) \ (A \cap B)\). A zatem

\( P(D) = P(A\cup B) - P(A \cap B) = P(C) - P(A)P(B) = P(A) + P(B) - 2P(A)P(B) .\)

Niezależność, a fizyczna rozdzielność

Pojęcie niezależności jest fundamentalnym pojęciem rachunku prawdopodobieństwa. Na pierwszy rzut oka nie jest jednak jasne w jaki sposób to pojęcie może być dla nas przydatne.

Niezależność najłatwiej zrozumieć w terminach prawdopodobieństwa warunkowego, tak jak to zasugerowaliśmy powyżej. Intuicyjnie, zdarzenie A jest niezależne od B, jeśli to, czy B zaszło czy nie, nie ma wpływu na prawdopodobieństwo zajścia A. Bardzo często mamy do czynienia z sytuacjami, w których dwa zdarzenia są niejako "fizycznie" oddzielone i nie widać żadnego powodu dla którego zajście jednego z nich miałoby być powiązane z zajściem drugiego. W takiej sytuacji możemy założyć, że rozważane zdarzenia są niezależne w sensie naszej definicji i korzystać z prostego wzoru na prawdopodobieństwo części wspólnej. Oto przykłady:

1. Rzucamy trzema monetami. Zdarzenia "na pierwszej monecie wypadł orzeł" i "na trzeciej monecie wypadła reszka" są niezależne.
2. Rzucamy czterema kostkami. Zdarzenia "na kostkach pierwszej i czwartej wypadło w sumie więcej niż 7 oczek" i "na kostkach drugiej i trzeciej wypadła parzysta liczba oczek" są niezależne.

Zauważmy, że rozważane w powyższych przykładach zdarzenia dotyczą różnych obiektów: w pierwszym przykładzie różnych monet, w drugim różnych zbiorów kostek. Może się jednak zdarzyć, że niezależne są zdarzenia opisujące zachowanie tych samych obiektów.

Przykład 2 Rzucamy dwukrotnie monetą. Niech A będzie zdarzeniem odpowiadającym wypadnięciu orła w pierwszym rzucie, a B zdarzeniem odpowiadającym uzyskaniu tego samego wyniku w obu rzutach. Łatwo zauważyć, że P(A) = 0.5, P(B) = 0.5 oraz \(P(A \cap B) = 0.25\), a zatem zdarzenia te są niezależne pomimo tego, że oba zależą od wyniku rzutu pierwszą monetą.

Zadanie 2 Rzucamy dwiema kostkami. Zdefiniujmy następujące zdarzenia \(A,B,C \subseteq \Omega\):

• A - suma oczek wynosi 6,
• B - suma oczek wynosi 7,
• C - na pierwszej kostce wypadła nieparzysta liczba oczek.

Czy wśród zdarzeń A,B,C którekolwiek dwa są niezależne?

Jesteśmy już gotowi, aby sprawdzić niezależność poszczególnych par zdarzeń. Zdarzenia A,B na pewno nie są niezależne, ponieważ są rozłączne, a zatem \(P(A \cap B) = 0\). Ponadto \(A \cap C = \{(1,5),(3,3),(5,1)\}\), czyli \(P(A\cap C) = \frac{3}{36} \neq \frac{5}{36}\frac{1}{2} = P(A)P(C)\), a zatem A,C nie są niezależne.

Co ciekawe \(B \cap C = \{(1,6),(3,4),(5,2)\}\), czyli \(P(B \cap C) = \frac{3}{36} = \frac{1}{6} \frac{1}{2} = P(B)P(C)\), a zatem zdarzenia B,C są niezależne.

Niezależność więcej niż dwóch zdarzeń

Intuicyjnie jest jasne, że pojęcie niezależności powinno dać się uogólnić na więcej niż dwa zdarzenia. Jeśli na przykład rzucamy monetą 4 razy, to zdarzenia odpowiadające orłom w poszczególnych rzutach powinny być niezależne. Jeśli wiemy, czy w drugim rzucie wypadł orzeł, to nic z tego nie wynika dla pozostałych rzutów. Jeśli dodatkowo dowiemy się, że w czwartym rzucie nie wypadł orzeł, to nadal nie wiemy nic na temat wyników rzutu pierwszego i trzeciego, itd.

W jaki sposób opisać formalnie taką sytuację? Innymi słowy: W jaki sposób zdefiniować niezależność więcej niż dwóch zdarzeń? Narzuca się przyjęcie, że zdarzenia \(A_1,\ldots,A_k\) są niezależne jeśli każde dwa spośród nich są niezależne w sensie podanej wcześniej definicji. Zanim zdecydujemy, czy jest to dobra definicja, popatrzmy na następujący przykład.

Przykład 3 Rzucamy dwa razy symetryczną monetą. Definiujemy następujące zdarzenia \(A,B,C\subseteq \Omega\):

• A - w pierwszym rzucie wypadł orzeł,
• B - w drugim rzucie wypadł orzeł,
• C - w obu rzutach wypadło to samo.

Łatwo sprawdzić, że P(A) = P(B) = P(C) = 0.5. Łatwo też sprawdzić, że \(P(A\cap B) = P(A \cap C) = P(B \cap C) = 0.25\), a zatem każda para zdarzeń spośród A,B,C jest niezależna. Czy powinniśmy uważać, że zdarzenia A,B,C są niezależne? Raczej nie: jeśli wiemy, że dowolne dwa z nich zachodzą, to wiemy, że zachodzi też trzecie. To jest sprzeczne z naszą intuicją niezależności. Aby temu zaradzić w definicji niezależności zażądamy dodatkowo, aby

\( P(A | B \cap C) = P(A), P(B | A \cap C) = P(B), P(C | A \cap B) = P(C).\)

Tak jak w przypadku definicji dla dwóch zdarzeń, użycie prawdopodobieństwa warunkowego słabo się sprawdza jeśli któreś z prawdopodobieństw jest równe 0. Zamiast trzech równości wypisanych powyżej lepiej (i prościej!) jest przyjąć jedną:

\( P(A \cap B \cap C) = P(A)P(B)P(C) .\)

Poniżej formułujemy uogólnienie tych rozważań:

Tak jak w przypadku dwóch zdarzeń, zdarzenia niezależne możemy w dowolny sposób negować i pozostają one niezależne.

Dowód tego faktu jest identyczny jak w przypadku dwóch zdarzeń.

Zadanie 3 Ojciec Joli (tej z przykładu 1) postanowił zachęcić ją do intensywnych treningów w następujący sposób: Za miesiąc Jola zagra 3 mecze, na przemian z ojcem i mistrzem klubu. Jeśli wygra 2 kolejne mecze, to dostanie w nagrodę nową rakietę. Jola sądzi, że jeśli będzie intensywnie trenować, to za miesiąc będzie wygrywać mecze z ojcem z prawdopodobieństwem 70%, a z mistrzem klubowym z prawdopodobieństwem 30%. Pozostaje tylko jedna kwestia, której Jola nie potrafi rozstrzygnąć: Z kim powinna zagrać najpierw?

P(W₁) = 0.7,P(W₂) = 0.3,P(W₃) = 0.7.

Jola może wygrać dwa kolejne mecze na 3 sposoby: może wygrać dwa pierwsze mecze i przegrać ostatni, przegrać pierwszy i wygrać dwa kolejne, lub wygrać wszystkie trzy. A zatem prawdopodobieństwo wygrania przez nią dwóch kolejnych meczy wynosi

\( P(W_1 \cap W_2 \cap \bar{W_3})+P(\bar{W_1}\cap W_2 \cap W_3) + P(W_1 \cap W_2 \cap W_3) .\)

Ponieważ wygrane/przegrane w poszczególnych meczach są od siebie niezależne wyrażenie to można przekształcić następująco

\( P(W_1)P(W_2)P(\bar{W_3})+P(\bar{W_1})P(W_2)P(W_3) + P(W_1)P(W_2)P(W_3).\)

Wstawiając wartości z treści zadania otrzymujemy odpowiedź:

\( 0.7 \cdot 0.3 \cdot 0.3 + 0.3 \cdot 0.3 \cdot 0.7 + 0.7\cdot 0.3 \cdot 0.7 = 0.273. \)

Można tę wartość uzyskać także w inny sposób. A mianowicie: Jola wygra dwa mecze z rzędu jeśli wygra dwa pierwsze mecze, lub dwa ostatnie. Innymi słowy, musi zajść zdarzenie \( (W_1 \cap W_2) \cup (W_2 \cap W_3) \). Aby obliczyć odpowiednie prawdopodobieństwo nie możemy po prostu zsumować prawdopodobieństw składników, ponieważ nie są one rozłączne. Możemy jednak skorzystać z własności 5 funkcji prawdopodobieństwa (zobacz rozdział 1), t.j.

\( P(A \cup B) = P(A) + P(B) - P(A \cap B), \)

która w naszym przypadku daje

\( P((W_1 \cap W_2) \cup (W_2 \cap W_3)) = P(W_1 \cap W_2) + P(W_2 \cap W_3) - P(W_1 \cap W_2 \cap W_3) = 0.7 \cdot 0.3 + 0.3 \cdot 0.7 - 0.7 \cdot 0.3 \cdot 0.7 = 0.273. \)

Aby odpowiedzieć na pytanie z kim Jola powinna zagrać pierwszy mecz powinniśmy teraz wykonać analogiczne rachunki dla przypadku, gdy pierwszy mecz rozgrywany jest z mistrzem. Spróbuj wykonać te rachunki samodzielnie, w wyniku powinieneś uzyskać 0.357, a zatem bardziej opłaca się zacząć od meczu z mistrzem. Wynik ten jest o tyle zaskakujący, że w ten sposób gramy dwa mecze z trudniejszym przeciwnikiem.

Warto zwrócić uwagę na to, że w tym rozwiązaniu nie musieliśmy podawać definicji Ω - nasze rozwiązanie jest poprawne dla każdej sensownej definicji.

Zadanie 4 Ekspert podejmuje prawidłową decyzję z prawdopodobieństwem p_e > 0.5, natomiast ignorant podejmuje decyzję zupełnie losowo i jest ona prawidłowa z prawdopodobieństwem p_i = 0.5. Jaka komisja częściej podejmuje prawidłowe decyzje:

• składająca się z jednego eksperta, czy
• składająca się z dwóch ekspertów i ignoranta i podejmująca decyzje większościowo?

Jak wygląda sytuacja w przypadku komisji drugiego rodzaju? Niech \(E_1,E_2,I \subseteq \Omega\) odpowiadają podjęciu prawidłowej decyzji odpowiednio przez pierwszego eksperta, drugiego eksperta i ignoranta. Niech D odpowiada podjęciu prawidłowej decyzji przez tworzoną przez nich komisję. Wtedy

\( D = (E_1 \cap E_2) \cup (\bar{E_1} \cap E_2 \cap I) \cup (E_1 \cap \bar{E_2} \cap I). \)

Korzystając z niezależności zdarzeń E₁,E₂,I (a zatem także ich dopełnień) dostajemy

\( P(D) = P(E_1)P(E_2) + (1-P(E_1))P(E_2)P(I) + P(E_1)(1-P(E_2))P(I) = p_e^2 + p_e(1-p_e)\cdot 0.5 + (1-p_e)p_e \cdot 0.5 = p_e^2 + p_e(1-p_e) = p_e.\)

Okazało się, że obie komisje są równie skuteczne!

Schemat Bernoulliego

Zacznijmy od następującego przykładu.

Przykład 4 Rzucamy n razy monetą. Ile wynosi prawdopodobieństwo uzyskania dokładnie k orłów?

Możemy na to pytanie odpowiedzieć korzystając ze schematu klasycznego. Niech Ω będzie zbiorem wszystkich n-elementowych ciągów orłów i reszek, np. dla n = 3 mamy Ω = {OOO,OOR,ORO,ORR,ROO,ROR,RRO,RRR}. Ponieważ moneta jest symetryczna, przyjmujemy, że każdy z wyników jest równie prawdopodobny, tzn. korzystamy ze schematu klasycznego. Niech A będzie zdarzeniem odpowiadającym wyrzuceniu dokładnie k orłów. Wtedy

\( P(A) = \frac{|A|}{|\Omega|}\).

Mamy | Ω | = 2ⁿ. Natomiast zbiór A ma tyle elementów, ile jest n-elementowych ciągów orłów i reszek zawierających dokładnie k orłów, czyli \({n \choose k}\). A zatem

\( P(A) = {n \choose k} \left(\frac{1}{2}\right)^n \).

Widać, że w podobny, choć nieco bardziej skomplikowany, sposób moglibyśmy obliczyć prawdopodobieństwo wyrzucenia dokładnie k szóstek w n rzutach kostką (zachęcamy czytelnika do obliczenia tej wielkości). Ale co zrobić jeśli chcemy obliczyć prawdopodobieństwo wyrzucenia k orłów w n rzutach monetą asymetryczną, na której orzeł wypada z prawdopodobieństwem p = 0.53. Tutaj, znalezienie definicji Ω, przy której można użyć schematu klasycznego jest istotnie bardziej kłopotliwe. Zamiast tego, do obliczenia szukanego prawdopodobieństwa użyjemy pojęcia niezależności.

Uwaga: Da się oczywiście, także w tym przypadku, zdefiniować Ω w taki sposób aby wszystkie jej elementy były równie prawdopodobne, nieco tylko oszukując. Czy widzisz jak?

Użyjemy teraz pojęcia niezależności, aby obliczyć prawdopodobieństwo uzyskania k orłów w n rzutach monetą, na której orzeł wypada z prawdopodobieństwem p, niekoniecznie równym \(\frac{1}{2}\). Tak jak poprzednio zdefiniujmy Ω jako zbiór wszystkich n-elementowych ciągów orłów i reszek. Ponieważ moneta niekoniecznie jest symetryczna, nie możemy użyć schematu klasycznego. Jakie zatem jest prawdopodobieństwo konkretnego ciągu orłów i reszek?

Oznaczmy przez O_i zdarzenie odpowiadające wypadnięciu orła w i-tym rzucie. Zdarzenia O_i odpowiadające różnym rzutom są niezależne. Możemy tego użyć do obliczenia prawdopodobieństwa wystąpienia konkretnego ciągu orłów i reszek. Na przykład prawdopodobieństwo wystąpienia ciągu OOROR (gdy n = 5) wynosi:

\( P(O_1 O_2 \bar{O_3} O_4 \bar{O_5}) = P(O_1)P(O_2)P(\bar{O_3})P(O_4)P(\bar{O_5}) = p \cdot p \cdot p \cdot (1-p) \cdot p \cdot (1-p) = p^3 \cdot (1-p)^2. \)

Na tym przykładzie dobrze widać, że prawdopodobieństwo wystąpienia konkretnego ciągu zawierającego k orłów i n − k reszek jest równe \(p^k\cdot(1-p)^{n-k}\). Ponieważ różnych ciągów zawierających dokładnie k orłów jest \({n \choose k}\), to dostajemy

W teorii prawdopodobieństwa zamiast o rzutach monetą mówi się z reguły o próbach, z których każda kończy się sukcesem lub porażką. Ciąg niezależnych prób o tym samym prawdopodobieństwie sukcesu nazywa się próbami Bernoulliego. Udowodniony przez nas fakt pozwala więc obliczyć prawdopodobieństwo uzyskania dokładnie k sukcesów w ciągu n prób Bernoulliego.

Zadanie 5 Jakie jest prawdopodobieństwo uzyskania:

• dokładnie jednej szóstki w sześciu rzutach kostką?
• dokładnie dwóch szóstek w dwunastu rzutach kostką?

Zanim zaczniesz rachunki, spróbuj zgadnąć które prawdopodobieństwo jest większe. Uwaga: Aby obliczyć przybliżone wartości dziesiętne odpowiedzi możesz (ale oczywiście nie musisz) użyć kalkulatora lub komputera.

\( {6 \choose 1} \frac{1}{6} \left(\frac{5}{6}\right)^5 \approx 0.4,\)

a w drugim

\( {{12} \choose 2} \left(\frac{1}{6}\right)^2 \left(\frac{5}{6}\right)^{10} \approx 0.3. \)

Ten wynik może się wydawać zaskakujący. Spodziewamy się jednej szóstki w sześciu rzutach i spodziewamy się dwóch szóstek w dwunastu rzutach. Mogłoby się też wydawać, że im więcej rzutów, tym nasze przewidywania będą się dokładniej sprawdzać. Tak jednak nie jest. Aby to zrozumieć, spróbuj zastanowić się jakie jest prawdopodobieństwo uzyskania dokładnie miliona szóstek w sześciu milionach rzutów.