Entropie d'une variable aléatoire discrète finie

Menu



Dans le cadre des variables discrètes finies, la notion d'entropie (de Shannon) s'introduit simplement.
Elle donne une mesure de la quantité minimale d'information nécessaire pour "coder" le résultat d'une variable aléatoire $X$.
C'est une notion très utilisée en théorie de l'information.

On se donne $X$ une variable discrète finie à valeurs dans $\mathbb{R}$.
On note $ X ( \Omega ) = \{ x_1, \dots, x_n \}$ et, pour tout $k \in \lc 1, n \rc$, on pose $p_k = \mathbb{P} ( X= x_k ) $. On appelle alors entropie de $X$ le réel : $$ H ( X ) = -\sum_{ k = 1 }^n p_k \ln(p_k) = - \sum_{ x \in X ( \Omega ) } \mathbb{P} ( X = x) \ln \big( \mathbb{P} ( X=x ) \big) $$avec la convention $x\ln(x)=0$ si $x=0$.



1. Encadrement de $H(X)$.

Si $n = \hbox{ Card } \big( X (\Omega) \big)$ alors : $ 0 \leq H(X) \leq \ln(n) $.

PREUVE [ afficher/masquer ]



2. Loi de $X$ lorsque $H(X)$ est minimale.

$ H ( X ) = 0 $ si et seulement si  $X$ est constante $\mathbb{P}-$presque sûrement
(ie qu'il existe $a\in\R$ tel que $\p(X=a)=1$).

PREUVE [ afficher/masquer ]



3. Loi de $X$ lorsque $H(X)$ est maximale.

On pose $n = \hbox{ Card } \big( X (\Omega ) \big)$.  Alors :$$ H( X ) =\ln (n) \Longleftrightarrow X \sim \mathcal{U} ( \lc 1,n \rc ) $$

PREUVE [ afficher/masquer ]



Author: Arnaud Bégyn

Created: 2024-08-14 mer. 23:49

Validate