Les inégalités de concentration fournissent des bornes sur la probabilité qu’une statistique basée sur des tirages successifs d’une variable aléatoire dévie d’une certaine valeur. Elles permettent de contrôler l’incertitude liée aux quantités statistiques, comme la moyenne empirique. Il existe de nombreuses méthodes de calculs d’inégalités. Revenons aujourd’hui sur des inégalités de concentration hors programme, mais fortement utiles pour les épreuves des Parisiennes, en particulier sur des épreuves de Maths II !
Inégalités de Markov et de Bienaymé-Tchebychev
Revenons d’abord sur deux inégalités classiques à maîtriser parfaitement (avec leurs hypothèses).
L’inégalité de Markov est un classique. Dès qu’il y a une inégalité qui apparaît dans un sujet et qui fait apparaître une probabilité, il faut y penser et savoir la mettre en œuvre correctement. Pour appliquer l’inégalité de Markov, il faut que la variable aléatoire (discrète ou à densité) admette une espérance et qu’elle soit positive.
On a alors :
\(\forall \epsilon > 0, P([X\ge \epsilon])\le \frac{E(X)}{\epsilon}\)
L’inégalité de Bienaymé-Tchebychev est aussi une référence. Dès que tu vois intervenir une inégalité mêlant probabilité, espérance, variance et valeur absolue, il faut y penser. Ici, il est indispensable que la variable aléatoire X (discrète ou à densité) admette une espérance et une variance.
On a alors :
\(\forall \epsilon > 0, P([|X-E(X)|\ge \epsilon])\le \frac{V(X)}{\epsilon^{2}}\)
Démonstration
\begin{align*} \mathbb{P}\left(|X – \mathbb{E}(X)| \geq \varepsilon\right) &= \mathbb{P}\left((X – \mathbb{E}(X))^2 \geq \varepsilon^2\right) \quad \text{car } x \mapsto x^2 \text{ réalise une bijection de } \mathbb{R}^+ \text{ dans } \mathbb{R}^+\\ &\leq \frac{\mathbb{E}\left[(X – \mathbb{E}(X))^2\right]}{\varepsilon^2} \quad \text{par l’inégalité de Markov car}(X – \mathbb{E}(X))^2 \text{admet un moment d’ordre 2} \\ &\leq \frac{V(X)}{\varepsilon^2}, \end{align*}
Je le répète, mais c’est crucial : à partir du moment où il y a une inégalité faisant intervenir une probabilité, tu dois immédiatement penser à Markov et Bienaymé-Tchebychev !
Nous allons maintenant traiter des inégalités moins proches du cours, mais qu’il vous faut connaître si tu souhaites pleinement être prêt(e) sur une épreuve de probabilité ou d’analyse. Essayer de démontrer ces inégalités peut s’avérer être un bon exercice pour toi, car ces preuves font intervenir de nombreux outils du programme !
Inégalité de Chernoff
L’inégalité de Chernoff est une inégalité centrale permettant de majorer la probabilité que la variable aléatoire s’écarte de son espérance.
Voici son énoncé :
Soit X une variable aléatoire réelle. On définit une fonction F sur R par \[F(u) =\begin{cases}\ln \left( \mathbb{E}\!\left[ e^{uX} \right] \right), & \text{si } \mathbb{E}\!\left[ e^{uX} \right] \text{ existe}, \\[6pt]+\infty, & \text{sinon}.\end{cases}\]
On a alors pour tout réel a :
\[\mathbb{P}(X \geq a)\;\leq\;\exp\!\left( – \sup_{u > 0} \bigl\{ ua – F(u) \bigr\} \right).\]
Démonstration
\begin{align*}\forall u>0, \quad \mathbb{P}(X \ge a)&= \mathbb{P}\bigl(e^{uX} \ge e^{ua}\bigr) \\&\le \frac{\mathbb{E}[e^{uX}]}{e^{ua}} \\&= \exp(F(u) – ua) \\&= \exp(-(ua – F(u)))\end{align*}
Inégalité de Hoeffding
L’inégalité de Hoeffding est beaucoup plus forte, pour les grandes valeurs de n, que l’inégalité de Tchebychev, car la décroissance est exponentielle au lieu d’être polynomiale. Elle peut être généralisée à des variables aléatoires pour lesquelles on contrôle bien l’ensemble des valeurs prises.
Soit (X_n) une suite de variables aléatoires indépendantes. Soient (a_n) et (b_n) deux suites de nombres réels telles que, pour tout entier n, on a :
\[\mathbb{P}\!\left( a_n \leq X_n \leq b_n \right) = 1\]
En notant \[S_n = X_1 + \cdots + X_n\] on a pour tout t>0 et tout entier naturel n :
\[\mathbb{P}\!\left( \, |S_n – \mathbb{E}(S_n)| \,\geq t \, \right) \;\leq\; 2 \exp\!\left( – \frac{2t^2}{\sum_{k=1}^n (b_k – a_k)^2} \right).\]
Démonstration
Pour tout u>0, on utilise l’inégalité de Chernoff :
\[\mathbb{P}(S_n – \mathbb{E}[S_n] \ge t) \le \exp(-ut) \, \mathbb{E}\big[e^{u(S_n – \mathbb{E}[S_n])}\big].\]
Comme les X_k sont indépendantes,
\[\mathbb{E}\big[e^{u(S_n – \mathbb{E}[S_n])}\big] = \prod_{k=1}^n \mathbb{E}\big[e^{u(X_k – \mathbb{E}[X_k])}\big].\]
En appliquant l’inégalité de Hoeffding à chaque X_k bornée entre a_k et b_k :
\[\mathbb{E}\big[e^{u(X_k – \mathbb{E}[X_k])}\big] \le \exp\!\left( \frac{u^2 (b_k – a_k)^2}{8} \right).\]
Donc :
\[\mathbb{P}(S_n – \mathbb{E}[S_n] \ge t) \le \exp\!\left( – u t + \frac{u^2}{8} \sum_{k=1}^n (b_k – a_k)^2 \right).\]
Minimisation par rapport à u>0 : \[u = \frac{4t}{\sum_{k=1}^n (b_k – a_k)^2}\]
Ce qui donne
\[\mathbb{P}(S_n – \mathbb{E}[S_n] \ge t) \le \exp\!\left( – \frac{2 t^2}{\sum_{k=1}^n (b_k – a_k)^2} \right).\]
De même :
\[\mathbb{P}(S_n – \mathbb{E}[S_n] \le -t) \le \exp\!\left( – \frac{2 t^2}{\sum_{k=1}^n (b_k – a_k)^2} \right).\]
En combinant les deux côtés, on obtient l’inégalité de Hoeffding :
\[\mathbb{P}\big( |S_n – \mathbb{E}[S_n]| \ge t \big)\le 2 \exp\!\left( – \frac{2 t^2}{\sum_{k=1}^n (b_k – a_k)^2} \right).\]
Inégalité de Kolmogorov
L’inégalité de Kolmogorov est une étape essentielle de sa démonstration de la loi forte des grands nombres et un des principaux théorèmes de la théorie des probabilités. Cette inégalité est déjà tombée dans les Maths I HEC/ESSEC appliquées de 2023, il est donc important de te renseigner sur cette inégalité cruciale.
Voici le théorème :
Soit une suite (Y_n), une suite de variables aléatoires indépendantes et centrées.
Posons \[W_n = Y_1 + Y_2 + \cdots + Y_n.\]
On a alors pour tout x>0 :
\[\mathbb{P}\!\left( \sup \{ |W_n| \mid n \geq 1 \} > x \right) \;\leq\; \frac{\sum_{n \geq 1} \mathrm{V}(Y_n)}{x^2}.\]
La démonstration est assez complexe, mais l’essentiel ici est de retenir les hypothèses et le résultat final. Remarquons, malgré tout, qu’elle ne nécessite pas des variables aléatoires de même loi et qu’elle est plus précise que l’inégalité de Bienaymé-Tchebychev en raison de la présence du sup.
Te voilà désormais parfaitement prêt(e) pour traiter ce thème essentiel des concours et prouver ce que tu vaux en probabilités, même sur des sujets délicats !
