L’espace latent comme vide navigable

Toute histoire de l’espace latent bute d’abord sur un glissement de vocabulaire, et c’est ce glissement, davantage que telle avancée technique isolée, qui en constitue la véritable trame. Au début du vingtième siècle, est latent ce qui se tient caché derrière la surface mesurable et la commande à distance, une cause invisible mais bien réelle, en attente d’être détectée. Un siècle plus tard, est latent ce qui n’a jamais eu lieu et que pourtant l’on peut produire, un possible en attente d’être généré. Entre ces deux acceptions se déploie un travail lent, distribué sur plus de cent ans, qui a fait passer une hypothèse psychométrique au rang de territoire topologique de la création. Suivre cette histoire, c’est suivre la façon dont un même mot cesse de désigner l’arrière-monde des apparences pour désigner l’avant-monde des formes possibles, et découvrir au passage que ce déplacement se paie.

L’origine se trouve dans un problème de corrélations. En 1904, le psychologue britannique Charles Spearman publie « General Intelligence, Objectively Determined and Measured » et se demande pourquoi un élève performant dans une discipline tend à l’être dans les autres. Plutôt que de multiplier les causes disparates, il postule un facteur unique et sous-jacent, le facteur g, dont les résultats observables ne seraient que les manifestations partielles. Ce geste inaugure l’analyse factorielle et, avec elle, une intuition qui traverse tout le siècle : les données que l’on mesure directement, les notes, les réponses, les comportements, sont la projection appauvrie de variables cachées que rien ne donne à voir immédiatement. Cette unité postulée sera aussitôt contestée. Louis Leon Thurstone, dans les années trente et quarante, oppose au facteur unique de Spearman une pluralité d’aptitudes primaires et, détail décisif pour notre récit, intitule son ouvrage de 1935 The Vectors of Mind. Le latent y devient d’emblée pluriel et vectoriel, affaire de dimensions plutôt que de cause première. La question de savoir combien de dimensions il faut pour rendre compte du manifeste, question qui hantera chaque architecture générative, est déjà là, dans cette querelle entre l’unité et la multiplicité du caché.

Parallèlement, la géométrie vient doubler la statistique. Karl Pearson, dès 1901, cherche à ajuster au plus près un nuage de points multidimensionnel par des droites et des plans, préfigurant ce que Harold Hotelling nommera en 1933 les composantes principales. L’analyse en composantes principales projette un ensemble de variables corrélées dans un sous-espace de dimension inférieure qui en préserve la variance maximale. Réduire l’espace pour en conserver l’architecture : la formule vaut programme. Ce qui compte ici n’est pas seulement l’économie du calcul, mais l’apparition d’un raisonnement spatial. On traite les variables comme des axes, les individus comme des points situés les uns par rapport aux autres, et la distance entre deux points se met à signifier quelque chose. Le voisinage devient un concept.

Au milieu du siècle, l’intuition gagne les sciences sociales avec Paul Lazarsfeld, qui formalise l’analyse de structure latente dans les volumes de The American Soldier à la fin des années quarante, avant d’en donner la synthèse théorique avec Neil Henry en 1968. Lazarsfeld veut expliquer pourquoi des individus partagent des opinions corrélées sans qu’une cause manifeste en rende compte, et il introduit l’hypothèse d’indépendance locale : dès que l’on fixe la valeur d’une variable latente, les réponses observées redeviennent statistiquement indépendantes. La corrélation de surface se donne alors comme l’ombre portée d’une variable de profondeur. À ce stade, le sens du mot est parfaitement stable et parfaitement tourné vers le passé. Le latent est ce qui gît en amont du donné, ce qui l’a produit et qu’il faut remonter. On calcule des variables cachées pour trier, résumer, expliquer. Le donné reste premier, et la latence n’en est que la raison rétrospective.

Le renversement commence lorsque ces variables cessent d’être des coefficients pour devenir des coordonnées, c’est-à-dire lorsque leur ensemble se met à former un espace continu plutôt qu’une collection de nombres. Ce passage s’accélère avec la renaissance connexionniste des années quatre-vingt. Les couches cachées des perceptrons multicouches, popularisées par l’algorithme de rétropropagation que Rumelhart, Hinton et Williams exposent en 1986, matérialisent une strate intermédiaire où l’entrée se trouve recodée avant d’être classée. Ces représentations demeurent longtemps opaques et subordonnées à leur tâche, mais un dispositif en dégage la portée spatiale, l’auto-encodeur. En contraignant un réseau à reconstruire son entrée après l’avoir fait transiter par une couche resserrée, un goulot d’étranglement de faible dimension, on obtient une compression apprise dont Mark Kramer montre en 1991 qu’elle réalise une forme d’analyse en composantes principales non linéaire. La filiation devient limpide. Le goulot de l’auto-encodeur hérite du sous-espace de Pearson et Hotelling, à ceci près qu’il épouse la courbure des données au lieu de se contenter d’hyperplans. Le latent statistique et le latent connexionniste se rejoignent dans un même espace de moindre dimension où la donnée se laisse résumer, et depuis lequel elle peut être reconstituée.

C’est le mot « depuis » qui va tout changer. Tant que la reconstruction ne servait qu’à vérifier la qualité de la compression, l’espace intermédiaire restait analytique. On y projetait le réel pour en extraire la structure, on repassait par les coordonnées exactes d’un échantillon connu pour le restituer, et toute tentative de réinjecter un point sans modèle produisait du bruit, une image trouée. L’espace était plein de vides. Le tournant topographique du milieu des années quatre-vingt-dix laisse pressentir autre chose. Avec les Generative Topographic Mappings de Christopher Bishop, Markus Svensén et Christopher Williams, alternative probabiliste aux cartes auto-organisatrices de Kohonen, l’espace latent est explicitement pensé comme un domaine géométrique de basse dimension dont chaque point se projette continûment dans l’espace des données. La latence devient cartographiable. Elle acquiert une topologie propre, des relations de voisinage, une continuité que l’on peut parcourir. Reste à combler les vides, à faire que tout point, y compris ceux qu’aucun échantillon n’occupe, donne lieu à une forme cohérente.

Cette dernière marche est franchie entre 2013 et 2016, presque simultanément dans l’ordre du langage et dans celui de l’image. Du côté du langage, les travaux de Tomas Mikolov sur word2vec, en 2013, révèlent que les mots plongés dans un espace vectoriel appris s’y organisent selon des directions sémantiques régulières, au point qu’une soustraction suivie d’une addition rapproche « roi » diminué de « homme » et augmenté de « femme » du voisinage de « reine ». Le sens obéit à une algèbre. Du côté de l’image, en décembre 2013, Diederik Kingma et Max Welling publient l’auto-encodeur variationnel, presque en même temps que Rezende, Mohamed et Wierstra proposent une construction voisine. Leur apport tient en une contrainte : l’espace latent est astreint à suivre une distribution régulière et lisse, généralement gaussienne. On dit d’ordinaire que cette contrainte bouche les interstices et rend l’espace continûment plein. Il faut mesurer aussitôt ce que ce comblement coûte. Remplir un espace par une gaussienne, c’est le lisser, rabattre ses accidents vers un centre, faire décroître ses singularités à mesure qu’on s’éloigne du corpus. Sa plénitude a la consistance d’une moyenne. L’astuce de reparamétrisation rend cet espace différentiable, et la divergence qui rappelle la distribution apprise vers son a priori le rend navigable au prix exact de cet aplatissement. Le point choisi entre deux images d’entraînement se décode en une donnée plausible et inédite, plausible parce qu’elle ressemble, inédite parce qu’aucun échantillon ne l’occupait. Toute l’équivoque de l’espace latent se loge dans ce couple, la plausibilité qui est ressemblance et l’inédit qui est vacance.

Quelques mois plus tard, en 2014, Ian Goodfellow introduit les réseaux antagonistes génératifs, que les convolutions profondes d’Alec Radford, Luke Metz et Soumith Chintala portent à maturité visuelle en 2015 et 2016. La compétition entre le générateur, qui fabrique, et le discriminateur, qui démasque, contraint l’espace à structurer des régularités d’une précision troublante. On marche d’un visage à l’autre par une trajectoire continue de visages intermédiaires, tous vraisemblables, dont aucun n’a de modèle. Ce visage interpolé mérite qu’on s’y arrête, car il décide du régime ontologique de tout l’espace. Il se réalise par ressemblance, il ressemble à ce qu’il actualise, et cette ressemblance même est la marque qu’il était déjà contenu, en droit, dans la distribution lissée dont il descend. Deleuze distinguait le possible, qui se réalise par ressemblance et limitation, du virtuel, qui s’actualise par différenciation sans que l’actuel ressemble à ce dont il procède (Gilles Deleuze, Différence et répétition, 1968). L’espace latent tombe sans reste du côté du possible. Le visage engendré sélectionne et limite parmi des configurations que le comblement gaussien avait rendues d’avance disponibles. Générer, ici, c’est prélever dans un plein déjà là. Voilà pourquoi la puissance et l’appauvrissement forment un seul geste vu de deux côtés : combler par ressemblance et moyenner sont la même opération, et le possible que la machine déploie se paie de la normalisation qui l’a rendu parcourable.

L’arithmétique découverte pour les mots vaut d’ailleurs pour les formes. Le vecteur d’une femme souriante, diminué de celui d’un visage neutre puis augmenté de celui d’un homme neutre, se décode en un homme souriant, et l’on ajoute des lunettes par un simple déplacement de coordonnées. Ces opérations ne montrent pas que la machine invente le sourire, elles montrent qu’elle en avait déjà déposé la direction dans sa géométrie, comme une régularité extraite du corpus. L’algèbre ne crée pas le concept, elle le retrouve là où le lissage l’avait sédimenté.

On attribue trop vite cette puissance à la seule haute dimension. Ce n’est pas le nombre des dimensions qui engendre l’inédit, c’est la continuité, et le bruit qui s’y insinue. Mais on mesure à présent le prix de cette continuité. Pour qu’un espace soit parcourable sans rupture, il faut qu’il ait été rendu homogène, et cette homogénéité est le moyennage même qui fait ressembler ce qu’il produit. Une distribution de très grande dimension demeure du probable tant qu’on l’interroge sur ses fréquences, sur la place où tombera l’événement dans une grille connue. Elle devient un espace de possibles dès l’instant où on la traverse comme un milieu plein dont les interstices, autrefois tenus pour du raté, se laissent maintenant décoder. Les erreurs deviennent des chemins. Ces chemins pourtant ne mènent qu’à ce qui ressemble, et le possible ainsi ouvert reste situé, modelé par les régularités du corpus compressé, une topologie sans page blanche dont la seule véritable frontière est le dehors, l’extrapolation au-delà de ce qui fut ingéré.

Au terme de ce parcours, le même mot aura nommé deux gestes que rien ne réconcilie tout à fait. Longtemps, sonder le latent revenait à remonter la surface vers ses facteurs cachés, dans un mouvement tourné vers ce qui a été. L’habiter revient désormais à faire descendre d’une profondeur lissée des formes qui n’ont jamais eu lieu. On voudrait y reconnaître l’ouverture pure de l’inédit. Ces formes cependant descendent en ressemblant, et ce qui ressemble a déjà, en droit, été contenu. Bergson montrait que le possible n’est pas moins que le réel mais davantage, le réel augmenté d’un acte de l’esprit qui en rejette l’image dans le passé, si bien qu’on croit toujours qu’il précédait alors qu’il ne fait que le suivre (Henri Bergson, « Le possible et le réel », 1930). L’espace latent industrialise ce mirage. Ce que sa continuité rend parcourable est un déjà-vu dont personne ne se souvient, un possible fabriqué après coup et projeté en amont, un passé au conditionnel que le lissage même qui le rend navigable interdit d’excéder.

Every history of the latent space stumbles first upon a shift in vocabulary, and it is this shift, rather than any isolated technical breakthrough, that constitutes its true texture. At the beginning of the twentieth century, what is latent is that which remains hidden behind the measurable surface and governs it from a distance—an invisible yet very real cause, awaiting detection. A century later, what is latent is that which has never taken place and yet can be produced, a possible awaiting generation. Between these two acceptions unfolds a slow labor, distributed over more than a hundred years, which has transformed a psychometric hypothesis into the topological territory of creation. To follow this history is to track the way the very same word ceases to designate the rear-world of appearances in order to designate the front-world of possible forms, and to discover along the way that this displacement comes at a price.

The origin lies in a problem of correlations. In 1904, the British psychologist and statistician Charles Spearman published “General Intelligence, Objectively Determined and Measured” and wondered why a student who performs well in one discipline tends to do so in others. Rather than multiplying disparate causes, he postulates a single, underlying factor, the $g$ factor, of which observable results are merely partial manifestations. This gesture inaugurates factor analysis and, with it, an intuition that runs through the entire century: the data we measure directly—grades, responses, behaviors—are the impoverished projection of hidden variables that nothing immediately reveals. This postulated unity will be immediately challenged. Louis Leon Thurstone, in the nineteen-thirties and forties, opposes Spearman’s single factor with a plurality of primary abilities and, in a detail decisive for our narrative, titles his 1935 work The Vectors of Mind. The latent here immediately becomes plural and vectoral, a matter of dimensions rather than a primary cause. The question of how many dimensions are required to account for the manifest is already present in this quarrel between the unity and the multiplicity of the hidden.

Simultaneously, geometry comes to double statistics. Karl Pearson, as early as 1901, seeks to fit a multidimensional point cloud as closely as possible with lines and planes, foreshadowing what Harold Hotelling will name in 1933 principal components. Principal component analysis projects a set of correlated variables into a lower-dimensional subspace that preserves maximum variance. Reduce space to preserve its architecture: the formula serves as a program. What matters here is not merely the economy of computation, but the emergence of a spatial reasoning. Variables are treated as axes, individuals as points situated relative to one another, and the distance between two points begins to signify something. Neighborhood becomes a concept.

In the middle of the century, the intuition reaches the social sciences with Paul Lazarsfeld, who formalizes latent structure analysis in the volumes of The American Soldier at the end of the nineteen-forties, before providing its theoretical synthesis with Neil Henry in 1968. Lazarsfeld seeks to explain why individuals share correlated opinions without any manifest cause accounting for it, and he introduces the hypothesis of local independence: as soon as the value of a latent variable is fixed, the observed responses statistically become independent once more. Surface correlation thus reveals itself as the cast shadow of a depth variable. At this stage, the meaning of the word is perfectly stable and entirely turned toward the past. The latent is what lies upstream of the given, what produced it and must be traced backward. Hidden variables are calculated to sort, summarize, and explain. The given remains primary, and latency is merely its retrospective reason.

The reversal begins when these variables cease to be coefficients and become coordinates, meaning when their ensemble starts to form a continuous space rather than a collection of numbers. This transition accelerates with the connectionist renaissance of the nineteen-eighties. The hidden layers of multilayer perceptrons, popularized by the backpropagation algorithm expounded by Rumelhart, Hinton, and Williams in 1986, materialize an intermediate stratum where the input is recoded before being classified. These representations long remain opaque and subordinate to their task, but one device releases their spatial reach: the autoencoder. By constraining a network to reconstruct its input after passing it through a tightened bottleneck of low dimension, one obtains a learned compression which Mark Kramer shows in 1991 achieves a form of nonlinear principal component analysis. The filiation becomes clear. The autoencoder’s bottleneck inherits the subspace of Pearson and Hotelling, save that it embraces the curvature of data instead of contenting itself with hyperplanes. The statistical latent and the connectionist latent meet in the same lower-dimensional space where data can be summarized and from which it can be reconstituted.

It is the word “from” that will change everything. As long as reconstruction served merely to verify the quality of compression, the intermediate space remained analytical. Reality was projected onto it to extract its structure, one retraced the exact coordinates of a known sample to restore it, and any attempt to reinject a point without a model produced noise, a punctured image. The space was full of voids. The topographical turn of the mid-nineteen-nineties suggests something else. With the Generative Topographic Mappings of Christopher Bishop, Markus Svensén, and Christopher Williams, a probabilistic alternative to Kohonen’s self-organizing maps, the latent space is explicitly conceived as a low-dimensional geometric domain whose every point projects continuously into the data space. Latency becomes cartographable. It acquires a proper topology, neighborhoods, a continuity that can be traversed. It remains to fill the voids, to ensure that every point, including those no sample occupies, gives rise to a coherent form.

This final step is crossed between 2013 and 2016, almost simultaneously in the order of language and that of image. On the side of language, Tomas Mikolov’s work on word2vec in 2013 reveals that words embedded in a learned vector space organize themselves according to regular semantic directions, to the point where subtraction followed by addition brings “king” minus “man” plus “woman” close to the neighborhood of “queen.” Meaning obeys an algebra. On the side of the image, in December 2013, Diederik Kingma and Max Welling publish the variational autoencoder, almost concurrently with Rezende, Mohamed, and Wierstra proposing a neighboring construction. Their contribution rests on a constraint: the latent space is compelled to follow a regular, smooth distribution, generally Gaussian. It is usually said that this constraint plugs the gaps and makes the space continuously full. One must immediately measure what this filling costs. To fill a space with a Gaussian is to smooth it, to pull its accidents back toward a center, to diminish its singularities as one moves away from the corpus. Its plenitude has the consistency of an average. The reparameterization trick makes this space differentiable, and the divergence that pulls the learned distribution back toward its prior makes it navigable at the exact price of this flattening. The point chosen between two training images decodes into a plausible and unprecedented datum—plausible because it resembles, unprecedented because no sample occupied it. All the equivocation of the latent space lodges in this couple: plausibility, which is resemblance, and the unprecedented, which is vacancy.

A few months later, in 2014, Ian Goodfellow introduces generative adversarial networks, which the deep convolutions of Alec Radford, Luke Metz, and Soumith Chintala bring to visual maturity in 2015 and 2016. The competition between the generator, which produces, and the discriminator, which unmasks, compels the space to structure regularities of a troubling precision. One walks from one face to another via a continuous trajectory of intermediate faces, all plausible, none of which has a model. This interpolated face deserves our pause, for it decides the ontological regime of the entire space. It realizes itself through resemblance, it resembles what it actualizes, and this very resemblance is the mark that it was already contained, in right, within the smoothed distribution from which it descends. Deleuze distinguished the possible, which realizes itself through resemblance and limitation, from the virtual, which actualizes itself through differentiation without the actual resembling that from which it proceeds (Gilles Deleuze, Difference and Repetition, 1968). The latent space falls entirely on the side of the possible. The generated face selects and limits among configurations that Gaussian filling had made available in advance. Generation, here, is a matter of drawing from an already-there plenitude. That is why power and impoverishment form a single gesture viewed from two sides: filling by resemblance and averaging are the same operation, and the possible that the machine deploys pays for itself through the normalization that made it traversable.

The arithmetic discovered for words holds equally for forms. The vector of a smiling woman, minus that of a neutral face, plus that of a neutral man, decodes into a smiling man, and glasses are added by a simple coordinate shift. These operations do not show that the machine invents the smile; they show that it had already deposited its direction within its geometry, like a regularity extracted from the corpus. Algebra does not create the concept; it retrieves it wherever smoothing had sedimented it.

One attributes this power too quickly to high dimensionality alone. It is not the number of dimensions that engenders the unprecedented, but continuity, and the noise that insinuates itself therein. Yet one now measures the price of this continuity. For a space to be traversable without rupture, it must be rendered homogeneous, and this homogeneity is the very averaging that makes what it produces resemble. A very high-dimensional distribution remains of the order of the probable so long as one interrogates it regarding its frequencies, regarding the place where the event will fall within a known grid. It becomes a space of possibles the moment one traverses it as a full medium whose interstices, once held to be failures, now allow themselves to be decoded. Errors become paths. Yet these paths lead only to what resembles, and the possible thus opened remains situated, modeled by the regularities of the compressed corpus—a topology without blank pages whose only true boundary is the outside, extrapolation beyond what was ingested.

At the end of this journey, the same word will have named two gestures that nothing quite reconciles. For a long time, probing the latent amounted to tracing the surface back toward its hidden factors, in a movement turned toward what has been. Habiting it henceforth amounts to bringing down from a smoothed depth forms that have never taken place. One would like to recognize in this the pure openness of the unprecedented. These forms, however, descend while resembling, and what resembles has already, in right, been contained. Bergson showed that the possible is not less than the real but more, the real augmented by an act of the mind that casts its image back into the past, so that one always believes it preceded it when it merely follows it (Henri Bergson, “The Possible and the Real,” 1930). The latent space industrializes this mirage. What its continuity renders traversable is a déjà-vu that no one remembers, a possible manufactured after the fact and projected upstream, a conditional past that the very smoothing which makes it navigable forbids one to exceed.