L’inégalité de Bernstein est une inégalité de concentration utilisée pour contrôler la probabilité qu’une somme de variables aléatoires indépendantes s’éloigne fortement de son espérance. Elle fournit une majoration exponentielle de cette probabilité en tenant compte à la fois de la variance des variables et d’une borne sur leurs valeurs. Cette inégalité est particulièrement utile lorsque les variables sont indépendantes, centrées et bornées. Elle permet d’obtenir des estimations souvent plus précises que celles fournies par l’inégalité de Bienaymé-Tchebychev. L’inégalité de Bernstein intervient notamment en probabilités, en statistique et dans l’étude des moyennes empiriques. Bien qu’elle soit généralement hors programme en prépa ECG, elle peut apparaître dans un problème guidé portant sur des sommes de variables indépendantes ou sur des probabilités de grandes déviations.
Cadre de l’inégalité de Bernstein
Soient :
\[
X_1,\ldots,X_n
\]
des variables aléatoires réelles indépendantes et centrées. On suppose donc que :
\[
\mathbb E(X_i)=0
\]
pour tout \(i\in\{1,\ldots,n\}\).
On suppose également qu’il existe un réel \(M>0\) tel que :
\[
|X_i|\leq M
\]
presque sûrement, pour tout \(i\).
On note :
\[
V_n
=
\sum_{i=1}^{n}\mathrm{Var}(X_i)
\]
la somme des variances des variables.
Comme les variables sont centrées :
\[
\mathrm{Var}(X_i)=\mathbb E(X_i^2)
\]
On considère enfin la somme :
\[
S_n=X_1+\cdots+X_n
\]
Énoncé de l’inégalité de Bernstein
Pour tout réel \(t>0\), l’inégalité de Bernstein affirme que :
\[
\mathbb P(S_n\geq t)
\leq
\exp\left(
-\displaystyle \frac{t^2}{2\left(V_n+\frac{Mt}{3}\right)}
\right)
\]
En appliquant le même résultat aux variables \(-X_1,\ldots,-X_n\), on obtient :
\[
\mathbb P(S_n\leq-t)
\leq
\exp\left(
-\displaystyle \frac{t^2}{2\left(V_n+\frac{Mt}{3}\right)}
\right)
\]
On en déduit la forme bilatérale :
\[
\mathbb P(|S_n|\geq t)
\leq
2\exp\left(
-\displaystyle \frac{t^2}{2\left(V_n+\frac{Mt}{3}\right)}
\right)
\]
Cette forme contrôle simultanément les écarts positifs et négatifs de la somme.
Interprétation de l’inégalité
Le membre de gauche représente la probabilité que la somme \(S_n\) s’éloigne de zéro d’au moins \(t\).
Le membre de droite décroît exponentiellement lorsque \(t\) augmente. Cela signifie que les grandes déviations de la somme deviennent rapidement peu probables.
Deux quantités interviennent dans la majoration :
- La somme des variances \(V_n\), qui mesure la dispersion globale.
- La borne \(M\), qui empêche une variable de prendre une valeur arbitrairement grande.
Pour des valeurs modérées de \(t\), le terme \(V_n\) domine souvent le dénominateur. La majoration ressemble alors à :
\[
\exp\left(
-\displaystyle \frac{t^2}{2V_n}
\right)
\]
Pour des valeurs très grandes de \(t\), le terme \(Mt\) devient plus important. Le comportement de l’exposant devient alors approximativement linéaire en \(t\).
Forme pour une moyenne empirique
Supposons maintenant que \(Y_1,\ldots,Y_n\) soient indépendantes et de même loi, avec :
\[
\mathbb E(Y_i)=\mu
\]
et :
\[
\mathrm{Var}(Y_i)=\sigma^2
\]
On suppose également :
\[
|Y_i-\mu|\leq M
\]
presque sûrement.
On introduit la moyenne empirique :
\[
\overline{Y}_n
=
\displaystyle \frac{1}{n}\sum_{i=1}^{n}Y_i
\]
Posons :
\[
X_i=Y_i-\mu
\]
Les variables \(X_i\) sont indépendantes, centrées et vérifient :
\[
|X_i|\leq M
\]
De plus :
\[
V_n=n\sigma^2
\]
L’événement :
\[
|\overline{Y}_n-\mu|\geq\varepsilon
\]
équivaut à :
\[
\left|
\sum_{i=1}^{n}X_i
\right|
\geq n\varepsilon
\]
L’inégalité de Bernstein donne donc :
\[
\mathbb P\left(
|\overline{Y}_n-\mu|\geq\varepsilon
\right)
\leq
2\exp\left(
-\displaystyle
\frac{n\varepsilon^2}
{2\left(\sigma^2+\frac{M\varepsilon}{3}\right)}
\right)
\]
Cette formule montre que la moyenne empirique se concentre autour de l’espérance \(\mu\).
Exemple avec des variables de Bernoulli
Soient \(Y_1,\ldots,Y_n\) des variables indépendantes suivant une loi de Bernoulli de paramètre \(p\).
On a :
\[
\mathbb P(Y_i=1)=p
\]
et :
\[
\mathbb P(Y_i=0)=1-p
\]
Leur espérance vaut :
\[
\mathbb E(Y_i)=p
\]
et leur variance vaut :
\[
\mathrm{Var}(Y_i)=p(1-p)
\]
Posons :
\[
X_i=Y_i-p
\]
Alors :
\[
\mathbb E(X_i)=0
\]
et :
\[
|X_i|\leq1
\]
On peut donc prendre :
\[
M=1
\]
La moyenne :
\[
\overline{Y}_n
=
\displaystyle \frac{1}{n}\sum_{i=1}^{n}Y_i
\]
représente la proportion de succès observée.
L’inégalité de Bernstein donne :
\[
\mathbb P\left(
|\overline{Y}_n-p|\geq\varepsilon
\right)
\leq
2\exp\left(
-\displaystyle
\frac{n\varepsilon^2}
{2\left(p(1-p)+\frac{\varepsilon}{3}\right)}
\right)
\]
Cette majoration permet de contrôler la différence entre la fréquence observée et la probabilité théorique \(p\).
Idée de la démonstration
La démonstration repose sur la méthode exponentielle de Markov.
Pour tout réel \(\lambda>0\) :
\[
\mathbb P(S_n\geq t)
=
\mathbb P\left(e^{\lambda S_n}\geq e^{\lambda t}\right)
\]
L’inégalité de Markov donne :
\[
\mathbb P(S_n\geq t)
\leq
e^{-\lambda t}\mathbb E\left(e^{\lambda S_n}\right)
\]
Comme les variables \(X_i\) sont indépendantes :
\[
\mathbb E\left(e^{\lambda S_n}\right)
=
\prod_{i=1}^{n}\mathbb E\left(e^{\lambda X_i}\right)
\]
Il faut alors majorer chacune des espérances exponentielles.
Pour une variable centrée vérifiant \(|X_i|\leq M\), on obtient, lorsque :
\[
0<\lambda<\displaystyle \frac{3}{M}
\]
la majoration :
\[
\mathbb E\left(e^{\lambda X_i}\right)
\leq
\exp\left(
\displaystyle
\frac{\lambda^2\mathrm{Var}(X_i)}
{2\left(1-\frac{\lambda M}{3}\right)}
\right)
\]
En multipliant ces estimations :
\[
\mathbb E\left(e^{\lambda S_n}\right)
\leq
\exp\left(
\displaystyle
\frac{\lambda^2V_n}
{2\left(1-\frac{\lambda M}{3}\right)}
\right)
\]
On obtient donc :
\[
\mathbb P(S_n\geq t)
\leq
\exp\left(
-\lambda t
+
\displaystyle
\frac{\lambda^2V_n}
{2\left(1-\frac{\lambda M}{3}\right)}
\right)
\]
Il reste à choisir convenablement le paramètre \(\lambda\). On prend :
\[
\lambda
=
\displaystyle \frac{t}{V_n+\frac{Mt}{3}}
\]
Ce choix conduit à :
\[
\mathbb P(S_n\geq t)
\leq
\exp\left(
-\displaystyle \frac{t^2}{2\left(V_n+\frac{Mt}{3}\right)}
\right)
\]
Comparaison avec l’inégalité de Bienaymé-Tchebychev
Comme les variables sont indépendantes :
\[
\mathrm{Var}(S_n)=V_n
\]
L’inégalité de Bienaymé-Tchebychev donne :
\[
\mathbb P(|S_n|\geq t)
\leq
\displaystyle \frac{V_n}{t^2}
\]
Cette majoration décroît comme une puissance de \(t\).
L’inégalité de Bernstein fournit au contraire une décroissance exponentielle :
\[
\mathbb P(|S_n|\geq t)
\leq
2\exp\left(
-\displaystyle \frac{t^2}{2\left(V_n+\frac{Mt}{3}\right)}
\right)
\]
Elle est donc souvent beaucoup plus précise lorsque les variables sont bornées et que \(t\) est suffisamment grand.
Une forme simplifiée
L’exposant de Bernstein peut être interprété à l’aide du minimum de deux quantités.
À une constante près, on a :
\[
\displaystyle
\frac{t^2}{V_n+Mt}
\]
du même ordre que :
\[
\min\left(
\displaystyle \frac{t^2}{V_n},
\displaystyle \frac{t}{M}
\right)
\]
On peut donc retenir la forme qualitative :
\[
\mathbb P(|S_n|\geq t)
\leq
2\exp\left(
-c\min\left(
\displaystyle \frac{t^2}{V_n},
\displaystyle \frac{t}{M}
\right)
\right)
\]
où \(c>0\) est une constante.
Cette écriture met en évidence deux régimes : un régime quadratique pour les écarts modérés et un régime linéaire pour les très grands écarts.
Conditions à vérifier
Avant d’appliquer l’inégalité de Bernstein, il faut vérifier que les variables sont :
- réelles ;
- indépendantes ;
- centrées, ou préalablement recentrées ;
- uniformément bornées en valeur absolue.
Il faut ensuite calculer ou majorer :
\[
V_n
=
\sum_{i=1}^{n}\mathrm{Var}(X_i)
\]
Si les variables ne sont pas centrées, on applique l’inégalité aux variables :
\[
X_i-\mathbb E(X_i)
\]
Comment utiliser l’inégalité dans un exercice ?
Dans un exercice, il faut commencer par identifier la somme à contrôler et centrer les variables.
On procède généralement ainsi :
- poser \(X_i=Y_i-\mathbb E(Y_i)\) ;
- vérifier l’indépendance ;
- trouver une constante \(M\) telle que \(|X_i|\leq M\) ;
- calculer la somme des variances \(V_n\) ;
- traduire l’événement étudié sous la forme \(|S_n|\geq t\) ;
- appliquer la formule de Bernstein.
Pour une moyenne empirique, il faut penser à remplacer le seuil \(\varepsilon\) par \( t=n\varepsilon \) dans l’inégalité portant sur la somme.
Conclusion
L’inégalité de Bernstein contrôle les grandes déviations d’une somme de variables aléatoires indépendantes, centrées et bornées.
Cette inégalité combine une information sur la variance et une information sur la borne maximale des variables. Elle fournit ainsi une estimation exponentielle précise, particulièrement utile pour l’étude des moyennes empiriques, des fréquences observées et des sommes de variables indépendantes.
Tu peux retrouver le méga-répertoire qui contient toutes les annales de concours et les corrigés. Tu peux également accéder à toutes nos autres ressources mathématiques !
