La méthode du maximum de vraisemblance est l’une des techniques d’estimation de paramètres les plus présentes aux concours ECG. Elle apparaît systématiquement dans les sujets avec une variable aléatoire avec un paramètre et constitue à ce titre un passage important pour tout étudiant visant les meilleures écoles. Cet article définit rigoureusement la vraisemblance et la log-vraisemblance, expose la méthode de maximisation, puis illustre le tout avec des exemples canoniques rencontrés en concours.
La fonction de vraisemblance
Soit \( X \) une variable aléatoire dont la loi dépend d’un paramètre réel \( \theta \) appartenant à un ensemble \( \Theta \). On suppose que l’on dispose d’un \( n \)-échantillon \( (X_1, \ldots, X_n) \) de la loi de \( X \), c’est-à-dire que les variables \( X_1, \ldots, X_n \) sont indépendantes et suivent toutes la même loi que \( X \). On observe les réalisations \( x_1, \ldots, x_n \) de cet échantillon, et l’on cherche à estimer \( \theta \).
L’idée directrice de la méthode est la suivante : parmi toutes les valeurs possibles de \( \theta \), on retient celle qui rend l’observation \( (x_1, \ldots, x_n) \) la plus plausible. Cette plausibilité est formalisée par la fonction de vraisemblance.
Dans le cas discret, si \( X \) prend des valeurs entières avec des probabilités \( P(X = k) = p(k, \theta) \), la vraisemblance est définie par :
\[ L(\theta) = \prod_{i=1}^{n} p(x_i, \theta) \]
Dans le cas continu, si \( X \) admet une densité \( f(\cdot, \theta) \), on pose :
\[ L(\theta) = \prod_{i=1}^{n} f(x_i, \theta) \]
La vraisemblance est donc une fonction de \( \theta \), les observations \( x_1, \ldots, x_n \) étant des constantes fixées. Elle mesure, en un sens, à quel point la valeur de paramètre \( \theta \) est compatible avec les données observées.
La log-vraisemblance et la maximisation
En pratique, le produit intervenant dans \( L(\theta) \) est difficile à différencier directement. Comme la fonction logarithme est strictement croissante, maximiser \( L(\theta) \) revient à maximiser \( \ln L(\theta) \), appelée log-vraisemblance. On pose :
\[ \ell(\theta) = \ln L(\theta) = \sum_{i=1}^{n} \ln f(x_i, \theta) \]
Le passage du produit à la somme simplifie considérablement les calculs. L’estimateur du maximum de vraisemblance (EMV) est alors la valeur \( \widehat{\theta}_n \) qui réalise le maximum de \( \ell \) sur \( \Theta \). On note parfois cette valeur :
\[ \widehat{\theta}_n = \underset{\theta \in \Theta}{\arg\max} \; \ell(\theta) \]
La notation \( \arg\max \) désigne l’argument du maximum, c’est-à-dire la valeur de \( \theta \) en laquelle le maximum est atteint, par opposition au maximum lui-même qui est la valeur \( \ell(\widehat{\theta}_n) \). En d’autres termes, si \( \ell \) est une fonction de \( \theta \), alors \( \arg\max_{\theta} \, \ell(\theta) \) est le point \( \theta^* \) tel que \( \ell(\theta^*) \geq \ell(\theta) \) pour tout \( \theta \in \Theta \). Dans les concours, cette notation est rarement exigée : on préférera écrire directement que \( \widehat{\theta}_n \) est la valeur de \( \theta \) qui maximise \( \ell \).
Dans les cas les plus courants aux concours, \( \ell \) est différentiable et son maximum est atteint en un point intérieur à \( \Theta \). On cherche alors les solutions de l’équation \( \ell'(\theta) = 0 \), appelée équation de vraisemblance, puis on vérifie que la solution correspond bien à un maximum (signe de la dérivée seconde, ou convexité de \( -\ell \)).
Lorsque le paramètre est vectoriel, par exemple \( \theta = (\theta_1, \theta_2) \), on annule les dérivées partielles \( \frac{\partial \ell}{\partial \theta_1} = 0 \) et \( \frac{\partial \ell}{\partial \theta_2} = 0 \) simultanément.
Exemple 1 : loi normale de paramètres inconnus
Soit \( X \) une variable aléatoire de loi normale \(N(m, \sigma^2) \), avec \( m \in \mathbb{R} \) et \( \sigma^2 > 0 \) tous deux inconnus. On pose \( \theta_1 = m \) et \( \theta_2 = \sigma^2 \). La densité de \( X \) est :
\[ f(x, \theta_1, \theta_2) = \frac{1}{\sqrt{2\pi\theta_2}} \exp\!\left(-\frac{(x – \theta_1)^2}{2\theta_2}\right) \]
Pour un \( n \)-échantillon de réalisations \( x_1, \ldots, x_n \), la log-vraisemblance est :
\[ \ell(\theta_1, \theta_2) = \sum_{i=1}^{n} \ln f(x_i, \theta_1, \theta_2) = -\frac{n}{2}\ln(2\pi) – \frac{n}{2}\ln(\theta_2) – \frac{1}{2\theta_2}\sum_{i=1}^{n}(x_i – \theta_1)^2 \]
On annule les dérivées partielles. Concernant \( \theta_1 \) :
\[ \frac{\partial \ell}{\partial \theta_1} = \frac{1}{\theta_2}\sum_{i=1}^{n}(x_i – \theta_1) = 0 \]
ce qui donne immédiatement \( \widehat{\theta}_1 = \frac{1}{n}\sum_{i=1}^{n} x_i \), c’est-à-dire la moyenne empirique des observations.
Concernant \( \theta_2 \) :
\[ \frac{\partial \ell}{\partial \theta_2} = -\frac{n}{2\theta_2} + \frac{1}{2\theta_2^2}\sum_{i=1}^{n}(x_i – \theta_1)^2 = 0 \]
En substituant \( \widehat{\theta}_1 \), on obtient :
\[ \widehat{\theta}_2 = \frac{1}{n}\sum_{i=1}^{n}(x_i – \widehat{\theta}_1)^2 \]
soit la variance empirique des observations.
Ces deux estimateurs sont donc les EMV de \( m \) et \( \sigma^2 \). On notera que \( \widehat{\theta}_1 \) est un estimateur sans biais de \( m \), tandis que \( \widehat{\theta}_2 \) est biaisé pour \( \sigma^2 \) : son espérance vaut \( \frac{n-1}{n}\sigma^2 \). La méthode du maximum de vraisemblance ne garantit pas l’absence de biais.
Exemple 2 : loi de Poisson
Soit \( X \) une variable aléatoire suivant la loi de Poisson de paramètre \( \lambda > 0 \). Pour tout entier naturel \( k \), \( P(X = k) = e^{-\lambda}\frac{\lambda^k}{k!} \). La log-vraisemblance pour un \( n \)-échantillon d’observations entières \( x_1, \ldots, x_n \) est :
\[ \ell(\lambda) = \sum_{i=1}^{n} \left(-\lambda + x_i \ln \lambda – \ln(x_i !)\right) = -n\lambda + \left(\sum_{i=1}^{n} x_i\right)\ln \lambda – \sum_{i=1}^{n}\ln(x_i !) \]
En dérivant par rapport à \( \lambda \) :
\[ \ell'(\lambda) = -n + \frac{1}{\lambda}\sum_{i=1}^{n} x_i \]
L’équation \( \ell'(\lambda) = 0 \) donne \( \widehat{\lambda}_n = \frac{1}{n}\sum_{i=1}^{n} x_i \). On vérifie que \( \ell”(\lambda) = -\frac{1}{\lambda^2}\sum_{i=1}^{n} x_i < 0 \) dès que les observations ne sont pas toutes nulles, ce qui confirme qu’il s’agit bien d’un maximum. L’EMV du paramètre d’une loi de Poisson est donc la moyenne empirique.
Travailler la méthode de maximum de vraisemblance
Si tu veux travailler la méthode de maximum de vraisemblance, voilà un sujet de concours où tu peux la retrouver :
Conclusion
La méthode du maximum de vraisemblance repose sur un principe simple : choisir la valeur du paramètre qui rend les observations les plus probables. En pratique, on passe systématiquement par la log-vraisemblance, dont la maximisation réduit un produit en une somme.
Le réflexe en concours est d’écrire explicitement \( \ell(\theta) = \sum_{i=1}^{n} \ln f(x_i, \theta) \), d’annuler sa dérivée (ou ses dérivées partielles dans le cas vectoriel), puis de vérifier la nature du point critique obtenu. Une fois l’EMV calculé, il faut systématiquement discuter sans biais et convergence en utilisant l’espérance et la loi des grands nombres, deux propriétés que les correcteurs attendent toujours explicitement justifiées.
Cette méthode est très classique, donc travaille bien le sujet EDHEC (au-dessus) pour pouvoir être préparé(e).
