Introduction§

Les probabilités formalisent le hasard. Ce chapitre couvre le programme de Math Spé : espaces probabilisés, variables aléatoires discrètes et à densité, convergences et théorèmes limites. On s’appuie sur la théorie de la mesure de manière simplifiée, conformément au programme de prépa.

1. Espaces probabilisés§

1.1 Tribu et mesure de probabilité§

Définitions
  • Un univers Ω\Omega est l’ensemble de toutes les issues possibles d’une expérience aléatoire.
  • Une tribu (ou σ\sigma-algèbre) A\mathcal{A} sur Ω\Omega est une famille de parties de Ω\Omega contenant Ω\Omega, stable par complémentaire et par union dénombrable.
  • Une probabilité PP sur (Ω,A)(\Omega, \mathcal{A}) est une application P:A[0,1]P : \mathcal{A} \to [0, 1] telle que :
    1. P(Ω)=1P(\Omega) = 1
    2. σ\sigma-additivité : pour toute suite (An)(A_n) d’événements deux à deux incompatibles, P!(nAn)=nP(An)P!\left(\bigcup_{n} A_n\right) = \sum_{n} P(A_n)

Le triplet (Ω,A,P)(\Omega, \mathcal{A}, P) est un espace probabilisé.

1.2 Propriétés fondamentales§

1.3 Indépendance§

Définition

Deux événements A,BA, B sont indépendants si P(AB)=P(A),P(B)P(A \cap B) = P(A),P(B).

Des événements A1,,AnA_1, \ldots, A_n sont mutuellement indépendants si pour toute partie I1,,nI \subset {1, \ldots, n} :

P!(iIAi)=iIP(Ai)P!\left(\bigcap_{i \in I} A_i\right) = \prod_{i \in I} P(A_i)
Attention

L’indépendance deux à deux ne suffit pas pour l’indépendance mutuelle.

2. Variables aléatoires discrètes§

2.1 Définitions§

Définition

Une variable aléatoire discrète XX est une application X:ΩEX : \Omega \to E (où EE est un ensemble dénombrable) telle que pour tout xEx \in E, X=xA{X = x} \in \mathcal{A}.

La loi de XX est la donnée des probabilités P(X=x)P(X = x) pour tout xEx \in E.

2.2 Espérance, variance§

Définitions

Pour XX à valeurs dans N\mathbb{N} ou Z\mathbb{Z} (ou plus généralement à valeurs dénombrables dans R\mathbb{R}) :

Espérance : E(X)=xx,P(X=x)E(X) = \sum_{x} x,P(X = x) (si la série converge absolument)

Variance : V(X)=E![(XE(X))2]=E(X2)E(X)2V(X) = E!\left[(X - E(X))^2\right] = E(X^2) - E(X)^2

Écart-type : σ(X)=V(X)\sigma(X) = \sqrt{V(X)}

Propriétés de l’espérance
  • Linéarité : E(aX+bY)=aE(X)+bE(Y)E(aX + bY) = aE(X) + bE(Y) (toujours, même sans indépendance)
  • Positivité : si X0X \geq 0 p.s., alors E(X)0E(X) \geq 0
  • Théorème de transfert : E(g(X))=xg(x),P(X=x)E(g(X)) = \sum_x g(x),P(X = x)
Propriétés de la variance
  • V(aX+b)=a2V(X)V(aX + b) = a^2 V(X)
  • Si XX et YY sont indépendantes : V(X+Y)=V(X)+V(Y)V(X + Y) = V(X) + V(Y)
  • V(X)=0    XV(X) = 0 \iff X est constante p.s.

2.3 Lois classiques discrètes§

LoiNotationP(X=k)P(X = k)E(X)E(X)V(X)V(X)
BernoulliB(p)\mathcal{B}(p)pk(1p)1kp^k(1-p)^{1-k}, k0,1k \in {0,1}ppp(1p)p(1-p)
BinomialeB(n,p)\mathcal{B}(n, p)(nk)pk(1p)nk\binom{n}{k}p^k(1-p)^{n-k}npnpnp(1p)np(1-p)
PoissonP(λ)\mathcal{P}(\lambda)eλλkk!e^{-\lambda}\dfrac{\lambda^k}{k!}λ\lambdaλ\lambda
GéométriqueG(p)\mathcal{G}(p)p(1p)k1p(1-p)^{k-1}, k1k \geq 11p\dfrac{1}{p}1pp2\dfrac{1-p}{p^2}
Lien Binomiale-Poisson

Si XnB(n,λ/n)X_n \sim \mathcal{B}(n, \lambda/n) avec λ\lambda fixé, alors XnLP(λ)X_n \xrightarrow{\mathcal{L}} \mathcal{P}(\lambda) quand n+n \to +\infty.

2.4 Fonctions génératrices§

Définition

Pour XX à valeurs dans N\mathbb{N}, la fonction génératrice est :

GX(s)=E(sX)=k=0+P(X=k),sk,s1G_X(s) = E(s^X) = \sum_{k=0}^{+\infty} P(X = k),s^k, \quad |s| \leq 1

Propriétés :

3. Variables aléatoires à densité§

3.1 Définition§

Définition

Une variable aléatoire XX est dite à densité s’il existe une fonction fX:RR+f_X : \mathbb{R} \to \mathbb{R}_+, intégrable, telle que pour tout intervalle [a,b][a, b] :

P(aXb)=abfX(t),dtP(a \leq X \leq b) = \int_a^b f_X(t),dt

La fonction fXf_X est la densité de XX. On a +fX(t),dt=1\displaystyle\int_{-\infty}^{+\infty} f_X(t),dt = 1.

3.2 Fonction de répartition§

Définition

La fonction de répartition de XX est FX(x)=P(Xx)F_X(x) = P(X \leq x).

  • Pour une v.a. à densité : FX(x)=xfX(t),dtF_X(x) = \displaystyle\int_{-\infty}^x f_X(t),dt
  • On a fX=FXf_X = F_X' (presque partout)
  • FXF_X est croissante, continue à droite, limFX=0\lim_{-\infty} F_X = 0, lim+FX=1\lim_{+\infty} F_X = 1

3.3 Espérance et variance (cas continu)§

E(X)=+t,fX(t),dt,V(X)=+(tE(X))2,fX(t),dtE(X) = \int_{-\infty}^{+\infty} t,f_X(t),dt, \qquad V(X) = \int_{-\infty}^{+\infty} (t - E(X))^2,f_X(t),dt

Théorème de transfert : E(g(X))=+g(t),fX(t),dtE(g(X)) = \displaystyle\int_{-\infty}^{+\infty} g(t),f_X(t),dt.

3.4 Lois classiques continues§

LoiNotationDensité fX(t)f_X(t)E(X)E(X)V(X)V(X)
UniformeU([a,b])\mathcal{U}([a,b])1ba,1[a,b](t)\dfrac{1}{b-a},\mathbb{1}_{[a,b]}(t)a+b2\dfrac{a+b}{2}(ba)212\dfrac{(b-a)^2}{12}
ExponentielleE(λ)\mathcal{E}(\lambda)λ,eλt,1t0\lambda,e^{-\lambda t},\mathbb{1}_{t \geq 0}1λ\dfrac{1}{\lambda}1λ2\dfrac{1}{\lambda^2}
NormaleN(μ,σ2)\mathcal{N}(\mu, \sigma^2)1σ2π,e(tμ)22σ2\dfrac{1}{\sigma\sqrt{2\pi}},e^{-\frac{(t-\mu)^2}{2\sigma^2}}μ\muσ2\sigma^2
Propriété sans mémoire de la loi exponentielle

Si XE(λ)X \sim \mathcal{E}(\lambda), alors pour s,t0s, t \geq 0 :

P(X>s+tX>s)=P(X>t)P(X > s + t \mid X > s) = P(X > t)

C’est la seule loi continue à posséder cette propriété.

3.5 Arbre de choix de la loi§

flowchart TD
    A["Modéliser une\nvariable aléatoire"] --> B{"Valeurs\ndiscrètes ou continues ?"}
    B -- Discrètes --> C{"Combien d'issues\npar épreuve ?"}
    C -- "2 (succès/échec)" --> D{"Nombre d'épreuves ?"}
    D -- "1 épreuve" --> E["Bernoulli B(p)"]
    D -- "n épreuves\nfixées" --> F["Binomiale B(n,p)"]
    D -- "Jusqu'au 1er\nsuccès" --> G["Géométrique G(p)"]
    C -- "Événements rares\nindépendants" --> H["Poisson P(λ)"]
    B -- Continues --> I{"Quel type\nde phénomène ?"}
    I -- "Tous les résultats\néquiprobables" --> J["Uniforme U([a,b])"]
    I -- "Temps d'attente\nsans mémoire" --> K["Exponentielle E(λ)"]
    I -- "Somme de\nnombreuses v.a.\n(TCL)" --> L["Normale N(μ,σ²)"]

4. Couples de variables aléatoires§

4.1 Loi conjointe et lois marginales§

Définition

La loi conjointe du couple (X,Y)(X, Y) est la donnée de P(XA,YB)P(X \in A, Y \in B) pour tous A,BA, B.

  • Cas discret : P(X=xi,Y=yj)P(X = x_i, Y = y_j) pour tous (i,j)(i, j).
  • Cas continu : densité conjointe fX,Y(x,y)f_{X,Y}(x, y) telle que P((X,Y)D)=DfX,Y(x,y),dx,dyP((X,Y) \in D) = \iint_D f_{X,Y}(x,y),dx,dy.

Les lois marginales se retrouvent par sommation / intégration :

  • P(X=xi)=jP(X=xi,Y=yj)P(X = x_i) = \sum_j P(X = x_i, Y = y_j)
  • fX(x)=+fX,Y(x,y),dyf_X(x) = \int_{-\infty}^{+\infty} f_{X,Y}(x, y),dy

4.2 Indépendance de variables aléatoires§

Définition

XX et YY sont indépendantes si pour tous A,BA, B :

P(XA,YB)=P(XA),P(YB)P(X \in A, Y \in B) = P(X \in A),P(Y \in B)

Équivalemment :

  • Cas discret : P(X=x,Y=y)=P(X=x),P(Y=y)P(X = x, Y = y) = P(X = x),P(Y = y) pour tous x,yx, y.
  • Cas continu : fX,Y(x,y)=fX(x),fY(y)f_{X,Y}(x, y) = f_X(x),f_Y(y) p.p.

4.3 Covariance et corrélation§

Définitions
Cov(X,Y)=E![(XE(X))(YE(Y))]=E(XY)E(X),E(Y)\operatorname{Cov}(X, Y) = E!\left[(X - E(X))(Y - E(Y))\right] = E(XY) - E(X),E(Y)
ρ(X,Y)=Cov(X,Y)σ(X),σ(Y)[1,1]\rho(X, Y) = \frac{\operatorname{Cov}(X, Y)}{\sigma(X),\sigma(Y)} \in [-1, 1]
Propriétés
  • Si XYX \perp Y alors Cov(X,Y)=0\operatorname{Cov}(X,Y) = 0 (la réciproque est fausse en général)
  • V(X+Y)=V(X)+V(Y)+2Cov(X,Y)V(X + Y) = V(X) + V(Y) + 2\operatorname{Cov}(X,Y)
  • ρ(X,Y)=1    |\rho(X,Y)| = 1 \iff il existe a,ba, b tels que Y=aX+bY = aX + b p.s.

5. Convergences de variables aléatoires§

5.1 Les quatre modes de convergence§

Définitions

Soit (Xn)(X_n) une suite de v.a. définies sur le même espace probabilisé, et XX une v.a.

  1. Convergence presque sûre : Xnp.s.XX_n \xrightarrow{p.s.} X si P!(limnXn=X)=1P!\left(\lim_{n \to \infty} X_n = X\right) = 1.

  2. Convergence en probabilité : XnPXX_n \xrightarrow{P} X si pour tout ε>0\varepsilon > 0, P(XnX>ε)0P(|X_n - X| > \varepsilon) \to 0.

  3. Convergence dans LpL^p : XnLpXX_n \xrightarrow{L^p} X si E(XnXp)0E(|X_n - X|^p) \to 0.

  4. Convergence en loi : XnLXX_n \xrightarrow{\mathcal{L}} X si FXn(x)FX(x)F_{X_n}(x) \to F_X(x) pour tout xx point de continuité de FXF_X.

5.2 Hiérarchie des convergences§

flowchart TD
    A["Convergence\npresque sûre"] --> C["Convergence\nen probabilité"]
    B["Convergence\ndans L^p"] --> C
    C --> D["Convergence\nen loi"]

    style A fill:#4a90d9,color:#fff
    style B fill:#4a90d9,color:#fff
    style C fill:#e6a817,color:#fff
    style D fill:#d94a4a,color:#fff
Implications (et non-implications)
  • Xnp.s.X    XnPX    XnLXX_n \xrightarrow{p.s.} X \implies X_n \xrightarrow{P} X \implies X_n \xrightarrow{\mathcal{L}} X
  • XnLpX    XnPXX_n \xrightarrow{L^p} X \implies X_n \xrightarrow{P} X (pour p1p \geq 1)
  • Les réciproques sont fausses en général.
  • La convergence p.s. et la convergence dans LpL^p ne sont pas comparables.
  • Cas particulier : si XnLcX_n \xrightarrow{\mathcal{L}} c (constante), alors XnPcX_n \xrightarrow{P} c.

5.3 Inégalités utiles§

Inégalité de Markov

Pour X0X \geq 0 et a>0a > 0 : P(Xa)E(X)aP(X \geq a) \leq \dfrac{E(X)}{a}.

Inégalité de Bienaymé-Tchebychev

Pour toute v.a. XX d’espérance μ\mu et de variance σ2\sigma^2, pour tout ε>0\varepsilon > 0 :

P(Xμε)σ2ε2P(|X - \mu| \geq \varepsilon) \leq \frac{\sigma^2}{\varepsilon^2}

6. Loi des grands nombres§

6.1 Loi faible des grands nombres§

Théorème (Loi faible)

Soit (Xn)(X_n) une suite de v.a. i.i.d. (indépendantes et identiquement distribuées) d’espérance μ\mu et de variance finie σ2\sigma^2. Soit Xn=1nk=1nXk\overline{X}_n = \dfrac{1}{n}\sum_{k=1}^n X_k. Alors :

XnPμ\overline{X}_n \xrightarrow{P} \mu

Esquisse de preuve. Par Bienaymé-Tchebychev :

P(Xnμε)V(Xn)ε2=σ2nε20P(|\overline{X}_n - \mu| \geq \varepsilon) \leq \frac{V(\overline{X}_n)}{\varepsilon^2} = \frac{\sigma^2}{n\varepsilon^2} \to 0 \quad \blacksquare

6.2 Loi forte des grands nombres§

Théorème (Loi forte)

Sous les mêmes hypothèses (avec seulement l’existence de E(X1)E(|X_1|)), on a :

Xnp.s.μ\overline{X}_n \xrightarrow{p.s.} \mu
Interprétation

La moyenne empirique d’un grand nombre de réalisations converge (presque sûrement) vers l’espérance. C’est le fondement théorique des sondages et des simulations de Monte-Carlo.

7. Théorème central limite§

Théorème (TCL)

Soit (Xn)(X_n) une suite de v.a. i.i.d. d’espérance μ\mu et de variance σ2>0\sigma^2 > 0. Alors :

Zn=Xnμσ/n=k=1nXknμσnLN(0,1)Z_n = \frac{\overline{X}_n - \mu}{\sigma / \sqrt{n}} = \frac{\sum_{k=1}^n X_k - n\mu}{\sigma\sqrt{n}} \xrightarrow{\mathcal{L}} \mathcal{N}(0, 1)
Interprétation

Quelle que soit la loi des XkX_k (pourvu qu’elle ait une variance finie), la somme normalisée converge vers une loi normale. C’est pourquoi la loi normale apparaît si souvent en pratique.

Application : approximation normale de la binomiale

Si SnB(n,p)S_n \sim \mathcal{B}(n, p), alors pour nn grand :

Snnpnp(1p)N(0,1)\frac{S_n - np}{\sqrt{np(1-p)}} \approx \mathcal{N}(0, 1)

Exemple numérique : S100B(100,0.5)S_{100} \sim \mathcal{B}(100, 0.5). Calculer P(S10055)P(S_{100} \geq 55).

P(S10055)=P!(S1005051)1Φ(1)10.8413=0.1587P(S_{100} \geq 55) = P!\left(\frac{S_{100} - 50}{5} \geq 1\right) \approx 1 - \Phi(1) \approx 1 - 0.8413 = 0.1587

8. Exercices types corrigés§

Exercice 1 : Formule de Bayes§

Énoncé

Un test de dépistage a une sensibilité de 95% (P(T+malade)=0.95P(T^+|\text{malade}) = 0.95) et une spécificité de 90% (P(Tsain)=0.90P(T^-|\text{sain}) = 0.90). La prévalence de la maladie est 1%. Calculer P(maladeT+)P(\text{malade}|T^+).

Solution.

Par Bayes :

P(MT+)=P(T+M),P(M)P(T+M),P(M)+P(T+M),P(M)P(M|T^+) = \frac{P(T^+|M),P(M)}{P(T^+|M),P(M) + P(T^+|\overline{M}),P(\overline{M})} =0.95×0.010.95×0.01+0.10×0.99=0.00950.0095+0.099=0.00950.10850.0876= \frac{0.95 \times 0.01}{0.95 \times 0.01 + 0.10 \times 0.99} = \frac{0.0095}{0.0095 + 0.099} = \frac{0.0095}{0.1085} \approx 0.0876
Résultat contre-intuitif

Malgré un test performant, la probabilité d’être réellement malade sachant un test positif n’est que d’environ 8.8% ! Cela est dû à la faible prévalence.

Exercice 2 : Fonction génératrice§

Énoncé

Soit XP(λ)X \sim \mathcal{P}(\lambda). Calculer GX(s)G_X(s) et retrouver E(X)E(X) et V(X)V(X).

Solution.

GX(s)=k=0+sk,eλλkk!=eλk=0+(λs)kk!=eλ,eλs=eλ(s1)G_X(s) = \sum_{k=0}^{+\infty} s^k,e^{-\lambda}\frac{\lambda^k}{k!} = e^{-\lambda}\sum_{k=0}^{+\infty} \frac{(\lambda s)^k}{k!} = e^{-\lambda},e^{\lambda s} = e^{\lambda(s-1)}

GX(s)=λ,eλ(s1)G_X'(s) = \lambda,e^{\lambda(s-1)}, donc E(X)=GX(1)=λE(X) = G_X'(1) = \lambda.

GX(s)=λ2,eλ(s1)G_X''(s) = \lambda^2,e^{\lambda(s-1)}, donc GX(1)=λ2G_X''(1) = \lambda^2 et E(X(X1))=λ2E(X(X-1)) = \lambda^2.

V(X)=E(X2)E(X)2=E(X(X1))+E(X)E(X)2=λ2+λλ2=λV(X) = E(X^2) - E(X)^2 = E(X(X-1)) + E(X) - E(X)^2 = \lambda^2 + \lambda - \lambda^2 = \lambda.

Exercice 3 : Densité d’une fonction de v.a.§

Énoncé

Soit XN(0,1)X \sim \mathcal{N}(0, 1). Déterminer la loi de Y=X2Y = X^2.

Solution.

Pour y>0y > 0 : FY(y)=P(X2y)=P(yXy)=2Φ(y)1F_Y(y) = P(X^2 \leq y) = P(-\sqrt{y} \leq X \leq \sqrt{y}) = 2\Phi(\sqrt{y}) - 1.

En dérivant : fY(y)=2,φ(y)12y=12πy,ey/2f_Y(y) = 2,\varphi(\sqrt{y}) \cdot \dfrac{1}{2\sqrt{y}} = \dfrac{1}{\sqrt{2\pi y}},e^{-y/2} pour y>0y > 0.

On reconnaît la loi du chi-deux à 1 degré de liberté : Yχ2(1)Y \sim \chi^2(1), qui est aussi une Γ(1/2,1/2)\Gamma(1/2, 1/2).

Exercice 4 : Loi des grands nombres§

Énoncé

On lance nn fois un dé équilibré et on note Xn\overline{X}_n la moyenne des résultats. Déterminer un nn tel que P(Xn3.5<0.1)0.95P(|\overline{X}_n - 3.5| < 0.1) \geq 0.95.

Solution.

XiU(1,,6)X_i \sim \mathcal{U}({1, \ldots, 6}), E(Xi)=3.5E(X_i) = 3.5, V(Xi)=35/12V(X_i) = 35/12.

Par Tchebychev : P(Xn3.50.1)35/12n×0.01=350012nP(|\overline{X}_n - 3.5| \geq 0.1) \leq \dfrac{35/12}{n \times 0.01} = \dfrac{3500}{12n}.

On veut cette probabilité 0.05\leq 0.05, soit 350012n0.05\dfrac{3500}{12n} \leq 0.05, d’où n35000.65834n \geq \dfrac{3500}{0.6} \approx 5834.

Astuce

L’estimation de Tchebychev est très grossière. Par le TCL, on aurait une bien meilleure borne.

Par le TCL : Xn3.535/12/nN(0,1)\dfrac{\overline{X}_n - 3.5}{\sqrt{35/12}/\sqrt{n}} \approx \mathcal{N}(0,1).

P(Xn3.5<0.1)2Φ!(0.1n35/12)10.95P(|\overline{X}_n - 3.5| < 0.1) \approx 2\Phi!\left(\dfrac{0.1\sqrt{n}}{\sqrt{35/12}}\right) - 1 \geq 0.95

Φ!(0.1n35/12)0.975\Phi!\left(\dfrac{0.1\sqrt{n}}{\sqrt{35/12}}\right) \geq 0.975, soit 0.1n35/121.96\dfrac{0.1\sqrt{n}}{\sqrt{35/12}} \geq 1.96.

n1.96×35/120.1=1.96×1.7080.133.5\sqrt{n} \geq \dfrac{1.96 \times \sqrt{35/12}}{0.1} = \dfrac{1.96 \times 1.708}{0.1} \approx 33.5, d’où n1123n \geq 1123.

Exercice 5 : Théorème central limite§

Énoncé

Soit (Xn)(X_n) i.i.d. suivant une loi exponentielle E(1)\mathcal{E}(1). Calculer la limite en loi de Yn=n(Xn1)Y_n = \sqrt{n}\left(\overline{X}_n - 1\right).

Solution.

On a E(Xi)=1E(X_i) = 1, V(Xi)=1V(X_i) = 1. Par le TCL :

k=1nXknn=n(Xn1)=YnLN(0,1)\frac{\sum_{k=1}^n X_k - n}{\sqrt{n}} = \sqrt{n}(\overline{X}_n - 1) = Y_n \xrightarrow{\mathcal{L}} \mathcal{N}(0, 1)

Voir aussi : Intégrales Généralisées, Topologie Prépa