Leçon 11.9 · 11. Frontières de Recherche

Géométrie de l'Information

Qu'est-ce qu'une variété riemannienne ?

Une variété est un espace qui, vu de près, ressemble à un espace plat ordinaire, mais qui peut avoir une forme globale complexe (comme la surface de la Terre, qui est localement plate mais globalement sphérique). Une variété riemannienne est une variété équipée d'une façon de mesurer les distances et les angles, appelée "métrique". La géométrie de l'information traite les familles de distributions de probabilités comme de telles variétés.

Qu'est-ce que la divergence de Kullback-Leibler ?

La divergence de Kullback-Leibler (KL) mesure à quel point une distribution de probabilités diffère d'une autre. Ce n'est pas exactement une distance (car elle n'est pas symétrique), mais elle quantifie l'"information perdue" lorsqu'on utilise une distribution pour approximer une autre. Plus la divergence KL est grande, plus les deux distributions sont différentes.

Que signifie pour deux distributions de probabilités d'être "proches" ? Cette question apparemment simple conduit à un cadre mathématique profond : la géométrie de l'information, l'étude des familles de distributions de probabilités comme des espaces géométriques courbes. En équipant les modèles statistiques d'une métrique riemannienne naturelle (la métrique d'information de Fisher), la géométrie de l'information révèle des connexions structurelles profondes entre la statistique, la thermodynamique, la mécanique quantique et potentiellement la gravité elle-même.

La géométrie de l'information est un domaine-pont. Elle connecte les mathématiques pures (géométrie différentielle, variétés riemanniennes) avec la physique théorique (thermodynamique, théorie quantique) et les applications modernes (apprentissage automatique, réseaux de neurones). Ses objets centraux (la métrique de Fisher, les connexions duales et les fonctions de divergence) apparaissent indépendamment dans chacun de ces domaines, suggérant une structure géométrique universelle sous-jacente à l'inférence et à la physique.

L'idée centrale

Une famille de distributions de probabilités $\{p(x|\theta)\}$ paramétrée par $\theta = (\theta^1, \ldots, \theta^n)$ forme une variété différentiable, une variété statistique. La métrique naturelle sur cette variété est la métrique d'information de Fisher, qui mesure la distinguabilité des distributions voisines. Cette perspective géométrique transforme l'inférence statistique en un problème de géométrie riemannienne.

Deux distributions de probabilites comme points sur une variete statistique courbe, reliees par une geodesique definie par la metrique d'information de Fisher

La métrique d'information de Fisher

La métrique d'information de Fisher est l'unique métrique riemannienne (à un facteur d'échelle près) sur une variété statistique qui est invariante par statistiques suffisantes. Étant donnée une famille de distributions de probabilités $p(x|\theta)$, elle est définie par :

g_{ij}(\theta) = \mathbb{E}\left[\frac{\partial \log p(x|\theta)}{\partial \theta^i} \frac{\partial \log p(x|\theta)}{\partial \theta^j}\right] = \int p(x|\theta) \frac{\partial \log p(x|\theta)}{\partial \theta^i} \frac{\partial \log p(x|\theta)}{\partial \theta^j} \, dx

Cette métrique a une signification opérationnelle claire : elle mesure la sensibilité de la distribution de probabilités aux changements de paramètres. Si un petit changement de $\theta$ produit un grand changement dans la distribution, la métrique de Fisher est grande dans cette direction.

Pourquoi cette métrique est spéciale

Le théorème de Chentsov (1972) établit que la métrique de Fisher est l'unique métrique riemannienne (à un facteur constant près) invariante par plongements de Markov (statistiques suffisantes). Ce théorème d'unicité est analogue à l'unicité de la mesure de Haar sur les groupes. Il nous dit que la métrique de Fisher n'est pas simplement un choix commode mais le seul choix naturel pour mesurer les distances entre distributions de probabilités.

Exemple : La distribution normale

Pour la famille gaussienne $p(x|\mu,\sigma) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$ avec paramètres $\theta = (\mu, \sigma)$, la métrique de Fisher est :

g = \frac{1}{\sigma^2}\begin{pmatrix} 1 & 0 \\ 0 & 2 \end{pmatrix}

La géométrie résultante est le demi-plan supérieur de Poincaré, un espace à courbure négative constante $K = -1/2$. Cela signifie que l'espace des distributions gaussiennes est hyperbolique : les distributions à faible variance (haute précision) sont éloignées dans la métrique de Fisher, même si leurs moyennes sont proches. Cela reflète l'intuition que distinguer deux distributions pointues est facile, tandis que distinguer deux distributions larges est difficile.

La borne de Cramer-Rao

La métrique d'information de Fisher a une signification opérationnelle directe à travers la borne de Cramér-Rao, l'un des résultats les plus fondamentaux en statistique :

Inégalité de Cramér-Rao

Pour tout estimateur non biaisé $\hat{\theta}$ d'un paramètre $\theta$, la variance est bornée inférieurement par l'inverse de l'information de Fisher : $$\text{Var}(\hat{\theta}^i) \geq (g^{-1})^{ii}$$ L'information de Fisher fixe la limite ultime de précision d'estimation d'un paramètre à partir de données. En langage géométrique : la géométrie de la variété statistique détermine les limites de précision de l'inférence.

Variétés statistiques et connexions duales

L'idée clé d'Amari (1985) était que les variétés statistiques portent naturellement deux connexions affines, pas une seule :

La connexion exponentielle $\nabla^{(e)}$ : plate pour les familles exponentielles.
La connexion de melange $\nabla^{(m)}$ : plate pour les familles de melanges.

Ces connexions sont duales par rapport à la métrique de Fisher, et cette structure doublement plate conduit à des résultats remarquables :

Théorèmes de Pythagore : Les projections sur les sous-variétés exponentielles ou de mélange satisfont une relation pythagoricienne par rapport à la divergence KL.
Divergences de Bregman : La divergence KL $D_{\text{KL}}(p \| q)$ est une divergence de Bregman associée à la structure doublement plate.
Coordonnées canoniques : Les paramètres naturels et d'espérance fournissent deux systèmes de coordonnées duaux dans lesquels les connexions respectives sont plates.

Connexion : Transformée de Legendre en thermodynamique

La structure doublement plate des familles exponentielles est mathématiquement identique à la structure de transformée de Legendre de la thermodynamique. Les paramètres naturels $\theta^i$ correspondent aux variables intensives (température, pression) tandis que les paramètres d'espérance $\eta_i$ correspondent aux variables extensives (énergie, volume). La géométrie de l'information révèle que cette structure n'est pas accidentelle mais une conséquence de la forme exponentielle de la distribution de Boltzmann.

Géométrie de l'information quantique

Lorsqu'on passe de la probabilité classique à la probabilité quantique, le tableau géométrique devient plus riche et plus subtil. Les états quantiques (matrices densité $\rho$) forment une variété, et la question "à quel point deux états quantiques sont-ils distinguables ?" conduit à nouveau à une métrique riemannienne, mais maintenant il y a plusieurs choix naturels.

La métrique de Fubini-Study

Pour les états quantiques purs $|\psi\rangle$ dans un espace de Hilbert de dimension $d$, la métrique naturelle sur l'espace projectif $\mathbb{C}P^{d-1}$ est la métrique de Fubini-Study :

ds^2_{\text{FS}} = 1 - |\langle\psi|\psi + d\psi\rangle|^2

Cette métrique mesure l'"angle" entre les états quantiques et a une signification opérationnelle directe : elle détermine la vitesse de l'évolution quantique et fixe des bornes sur la vitesse de calcul quantique.

Information de Fisher quantique

Pour les états mixtes (matrices densité $\rho(\theta)$), l'analogue quantique de l'information de Fisher n'est pas unique. Les choix les plus courants sont :

Métrique de la dérivée logarithmique symétrique (SLD) : définie par l'opérateur $L$ satisfaisant $\partial_i \rho = \frac{1}{2}(\rho L_i + L_i \rho)$.
Métrique de Bures : la version infinitésimale de la distance de Bures (basée sur la fidélité) entre matrices densité.
Information de Wigner-Yanase : $I(\rho, A) = -\frac{1}{2}\text{Tr}[\sqrt{\rho}, A]^2$.

La borne de Cramér-Rao quantique utilisant la métrique SLD donne la limite ultime de précision pour l'estimation de paramètres en mécanique quantique, la limite de Heisenberg :

\text{Var}(\hat{\theta}) \geq \frac{1}{N \cdot F_Q[\rho, H]}

où $F_Q$ est l'information de Fisher quantique, $N$ le nombre de mesures, et $H$ le hamiltonien générant l'évolution dépendante du paramètre. Cela est central en métrologie quantique et en détection quantique.

Géométrie thermodynamique

Ruppeiner (1979) et Weinhold (1975) ont découvert indépendamment que les espaces d'états thermodynamiques portent des métriques riemanniennes naturelles. La métrique de Ruppeiner est définie par :

g^R_{ij} = -\frac{\partial^2 S}{\partial X^i \partial X^j}

où $S$ est l'entropie et $X^i$ les variables extensives. C'est précisément la métrique d'information de Fisher pour la distribution de Boltzmann.

Courbure et interactions

La courbure scalaire $R$ de la métrique de Ruppeiner encode l'information sur les interactions microscopiques :

$R = 0$ : Gaz parfait (pas d'interactions). La variété thermodynamique est plate.
$R > 0$ : Interactions repulsives (comportement de gaz de Fermi).
$R < 0$ : Interactions attractives (comportement de gaz de Bose).
$|R| \to \infty$ : Transitions de phase et points critiques.

Géométrie thermodynamique des trous noirs

Puisque les trous noirs sont des objets thermodynamiques (avec température, entropie et énergie libre), ils possèdent une géométrie de Ruppeiner. Pour le trou noir de Kerr-Newman (chargé, en rotation), la courbure de Ruppeiner révèle :

Le trou noir de Schwarzschild a une courbure de Ruppeiner nulle. Sa variété thermodynamique est plate.
Les trous noirs chargés (Reissner-Nordström) et en rotation (Kerr) ont une courbure non nulle, avec des divergences à l'extrémalité.
La courbure change de signe pour certaines plages de paramètres, suggérant des transitions entre interactions effectives attractives et répulsives.

Gradient naturel en apprentissage automatique

Amari (1998) a introduit le gradient naturel, une descente de gradient qui respecte la géométrie de l'information de l'espace des paramètres :

\theta_{t+1} = \theta_t - \eta \, g^{-1}(\theta_t) \nabla_\theta \mathcal{L}(\theta_t)

où $g^{-1}$ est la matrice d'information de Fisher inverse. Le gradient naturel pré-multiplie le gradient ordinaire par la métrique de Fisher inverse, tenant compte de la courbure de la variété statistique. C'est plus efficace car cela se déplace dans la direction de descente la plus raide dans l'espace des distributions, pas dans l'espace des paramètres.

Vers une gravité de géométrie informationnelle

La connexion la plus profonde et la plus spéculative est entre la géométrie de l'information et la gravité. Plusieurs fils suggèrent cette connexion :

Gravité émergente de l'intrication : Si l'espace-temps émerge de l'intrication (comme suggéré par la formule de Ryu-Takayanagi et ER=EPR), alors la géométrie de l'espace-temps pourrait être la géométrie de Fisher d'un système statistique ou quantique sous-jacent.
Métrique de Fisher sur l'espace des géométries : L'espace de toutes les métriques riemanniennes sur une variété (le superespace de DeWitt) porte lui-même une métrique. Y a-t-il une connexion avec la métrique de Fisher ?
Géométrie thermodynamique des trous noirs : La métrique de Ruppeiner sur l'espace d'états thermodynamiques des trous noirs est littéralement la métrique de Fisher.
AdS/CFT et information de Fisher : La métrique du bulk en AdS/CFT peut être reliée à l'information de Fisher de la CFT au bord.

Connexion : Holographie et géométrie de l'information

Dans la correspondance AdS/CFT (Leçon 11.1), la géométrie de l'espace-temps dans le bulk est duale à la structure d'intrication de la théorie au bord. La géométrie de l'information suggère une version précise : la métrique du bulk pourrait être la métrique d'information de Fisher sur l'espace des états au bord. Si c'est le cas, la courbure de l'espace-temps mesurerait littéralement la distinguabilité des états quantiques voisins, unifiant géométrie, information et gravité dans un cadre unique.

Points Clés

Les familles de distributions de probabilités forment des variétés riemanniennes avec la métrique d'information de Fisher, l'unique métrique naturelle invariante par statistiques suffisantes.
La borne de Cramér-Rao connecte la géométrie à la mesure : la métrique de Fisher fixe la limite ultime de précision pour l'estimation de paramètres.
Les variétés statistiques portent des connexions duales dont la structure doublement plate sous-tend la transformée de Legendre de la thermodynamique.
La géométrie de l'information quantique étend ces idées aux états quantiques, avec l'information de Fisher quantique fixant la limite de Heisenberg pour la métrologie quantique.
La géométrie thermodynamique de Ruppeiner montre que la courbure encode les interactions microscopiques.
La géométrie thermodynamique des trous noirs offre une fenêtre sur la structure microscopique de la gravité quantique.
Le gradient naturel (Amari) applique la géométrie de l'information à l'apprentissage automatique, donnant une optimisation plus efficace.
La question ouverte la plus profonde est de savoir si la géométrie de l'espace-temps est elle-même un objet de géométrie de l'information.

Questions ouvertes

Existe-t-il une connexion profonde entre la métrique de Fisher et les métriques de l'espace-temps ?
La géométrie de l'information peut-elle unifier la thermodynamique et la mécanique quantique ?
Quelle est la formulation correcte en géométrie de l'information de la gravité quantique ?
Comment la géométrie de l'information contraint-elle la structure des théories physiques ?
Quelle métrique de Fisher quantique (SLD, Bures, WYD) est physiquement fondamentale ?
La géométrie de Ruppeiner des trous noirs peut-elle révéler les degrés de liberté microscopiques de la gravité quantique ?

← 11.8 Ordre Topologique & Fractons 12.1 Paradoxe de l'Information des Trous Noirs →