Information & Entropie
En 1948, Claude Shannon a fondé la théorie de l'information avec une définition mathématique de l'information qui s'est révélée identique en forme à l'entropie de Boltzmann. Ce n'était pas une coïncidence. L'information est physique : elle est stockée dans des systèmes physiques, traitée par des opérations physiques, et sa manipulation est soumise aux contraintes thermodynamiques.
L'Affirmation Centrale
L'information n'est pas un concept abstrait : c'est une grandeur physique. Elle est stockée dans les états de systèmes physiques, et les lois de la thermodynamique contraignent la façon dont elle peut être traitée. L'entropie, au sens thermodynamique et au sens de la théorie de l'information, mesure la même chose : notre ignorance sur l'état microscopique d'un système.
Entropie de Shannon
Qu'est-ce que l'information de Shannon ?
L'information, au sens de Shannon, mesure notre degré de surprise face à un résultat. Si le résultat d'un tirage est totalement prévisible (une pièce truquée qui tombe toujours sur face), l'information est nulle. Si le résultat est totalement imprévisible (un dé à six faces équiprobables), l'information est maximale. Un bit est l'unité d'information correspondant à un choix entre deux possibilités équiprobables, comme un pile ou face équilibré.
Entropie de Shannon
$$H = -\sum_i p_i \log_2 p_i$$L'entropie de Shannon d'une distribution de probabilité $\{p_i\}$ mesure le contenu informationnel moyen (en bits) d'un résultat tiré de cette distribution. Elle est maximale quand tous les résultats sont équiprobables et minimale quand un résultat est certain.
Les propriétés de l'entropie de Shannon sont remarquables :
- $H \geq 0$, avec égalité seulement pour un résultat certain
- $H$ est maximale pour la distribution uniforme : $H_{\max} = \log_2 N$ pour $N$ résultats
- $H$ est additive pour les systèmes indépendants
- $H$ est continue dans les probabilités
Connexion à l'Entropie de Boltzmann
L'entropie de Gibbs de la mécanique statistique :
$$S_{\text{Gibbs}} = -k_B \sum_i p_i \ln p_i$$est identique à la formule de Shannon à un choix de base logarithmique et une constante multiplicative près. Pour l'ensemble microcanonique, cela se réduit à $S = k_B \ln \Omega$.
Le Principe de Landauer
Principe de Landauer
L'effacement d'un bit d'information produit nécessairement au moins $k_B T \ln 2$ d'énergie sous forme de chaleur. Le traitement de l'information est fondamentalement thermodynamique.
$$\Delta Q \geq k_B T \ln 2 \text{ par bit effacé}$$Le Démon de Maxwell
Maxwell imagina un être minuscule qui pourrait trier les molécules rapides et lentes, diminuant apparemment l'entropie sans travail. La résolution est que le démon doit stocker de l'information, et l'effacement de cette information (nécessaire quand la mémoire est pleine) produit au moins autant d'entropie que le démon en a éliminé.
Le Principe d'Entropie Maximale de Jaynes
Jaynes a montré que la mécanique statistique peut être dérivée de la théorie de l'information. Le principe : assignez les probabilités qui maximisent l'entropie de Shannon sous les contraintes connues. Cela reproduit les distributions de Boltzmann, Fermi-Dirac et Bose-Einstein.
Entropie des Trous Noirs
En 1972, Bekenstein proposa que les trous noirs ont une entropie proportionnelle à l'aire de leur horizon :
$$S_{\text{BH}} = \frac{k_B c^3}{4 G \hbar} A = \frac{A}{4 \ell_P^2}$$C'est énorme : un trou noir de masse solaire a $\sim 10^{77} k_B$. Le fait que l'entropie évolue comme l'aire et non le volume suggère le principe holographique : toute l'information dans une région d'espace est encodée sur sa frontière.
Qu'est-ce que le principe holographique ?
Tout comme un hologramme encode une image 3D sur une surface 2D, le principe holographique suggère que toute l'information contenue dans un volume d'espace peut être décrite par des données sur la surface qui l'entoure. La quantité maximale d'information stockable dans une région n'est pas proportionnelle au volume mais à l'aire de sa frontière, mesurée en unités de la surface de Planck.
Le Paradoxe de l'Information des Trous Noirs
Hawking montra que les trous noirs émettent un rayonnement thermique et s'évaporent. Si le rayonnement est purement thermique, l'information sur ce qui est tombé dans le trou noir est perdue : violant l'unitarité de la mécanique quantique. Ce paradoxe de l'information motive la recherche aux frontières de la gravité quantique depuis un demi-siècle.
La Connexion Profonde
Le fait que la même structure mathématique gouverne les moteurs thermiques, les canaux de communication, l'intrication quantique et les trous noirs suggère que l'information n'est pas simplement une analogie utile pour l'entropie : elle pourrait être le concept le plus fondamental en physique. Comme l'a dit John Wheeler : « It from bit ».
- L'entropie de Shannon $H = -\sum p_i \log p_i$ et l'entropie de Boltzmann-Gibbs sont mathématiquement identiques : les deux mesurent l'ignorance sur l'état d'un système
- Le principe de Landauer établit que l'effacement d'un bit coûte au moins $k_B T \ln 2$ en énergie
- Le démon de Maxwell est vaincu par le coût thermodynamique de l'effacement de sa mémoire
- Le principe d'entropie maximale de Jaynes dérive la mécanique statistique de la théorie de l'information
- L'entropie des trous noirs est proportionnelle à l'aire de l'horizon, suggérant le principe holographique
- Le paradoxe de l'information des trous noirs motive la recherche aux frontières de la gravité quantique
- L'information pourrait être le concept le plus fondamental en physique