Latence du réalisme dans l’imagination artificielle / Latency of realism in the artificial imagination
L’intuition qui guide cette brève réflexion, et d’autres avant elle, est que le réalisme des réseaux de neurones est spécifique, et s’il se donne l’apparence du photoréalisme hérité de la révolution industrielle, ce n’est là qu’une apparence comparative. Il mobilise une relation nouvelle entre ce qui existe déjà et ce qui pourrait exister, et bouleverse la relation entre le simulacre, le possible et la vérité.
En effet, dans un espace statistique latent, le réalisme (entendu d’un point de vue esthétique plutôt qu’ontologique) peut être approché comme la relation entre des images passées (le dataset), dont le nombre doit idéalement être égal à toutes les images passées, et des images futures (la génération), dont le nombre doit idéalement être égal à toutes les images futures.
Si on peut se rapprocher de la réalisation de la première idéalité, le Web étant d’une certaine lfaçon a bibliothèque de Babel des données passées, son stock même, la seconde idéalité est plus difficilement compréhensible. Comment un disque dur pourrait-il contenir des images qui n’existent pas encore ? Comment le futur pourrait-il déjà exister et sous quelle forme ?
C’est là le point le plus difficile et le plus important dans la révolution des images inductives. C’est aussi le point qui mène aux plus grandes mécompréhensions quand certains envisagent la génération statistique pour en tester les performances, pensée instrumentale qui n’arrivera qu’à se démontrer elle-même (sous forme de tableaux comparatifs de prompts ou comme volonté d’obtenir ce que l’on veut comme image), plutôt qu’à en expérimenter librement les potentialités.
Si on peut générer de nouvelles images avec un réseau de neurones, on peut aussi y introduire une image déjà existante produite par les moyens classiques de la photographie par exemple, et voir si elle est déjà contenue dans l’espace latent. Sa présence peut être de deux types : le passé en tant que celui-ci est un ensemble de données constituant le dataset, le futur en tant que le calcul inductif rend possible sa génération. Le « déjà » a ici deux sens différents parce qu’il ne se réfère pas à la même chose. D’un côté des données structurées et enregistrées, de l’autre des potentialités statistiques qu’on nommera latence.
Le réalisme latent réside dans le fait que des images inexistantes, existent potentiellement dans l’espace latent. La vérification est ici inversée : on n’évalue pas le réalisme des images générées, mais on part de la réalité pour voir si celle-ci existe dans un espace statistique sans y avoir été préalablement introduite.
À partir du moment où on accepte cette définition du réalisme comme latence de l’avenir, un nouveau champ esthétique s’ouvre où la réalité n’est pas seulement factuelle (les faits, dans ce cas-ci les images déjà existantes), mais elle est tout aussi bien contrefactuelle (les possibles, dans ce cas-ci les images pouvant exister). C’est précisément la relation entre la factualité et la contrefactualité qui permet d’interroger la facticité latente, c’est-à-dire la contingence de la relation.
C’est une nouvelle relation entre le passé et l’avenir qui s’ouvre à partir du trouble ouvert par la puissance du simulacre. Car si l’espace latent contient la factualité et la contrefactualité, ce qui veut dire que les images futures n’y existent pas comme un catalogue déjà enregistré, mais comme un ensemble de relations statistiques où coexistent, à égalité, ce qui existera et ce qui aurait pu exister. Le premier réside dans les images qui à l’avenir existeront et le second dans les images qui à l’avenir n’existeront pas. Mais comme cette relation au temps intègre l’existence de l’espace latent lui-même, la différence entre les deux devient compliqué, car certaines images qui n’existeront pas hors de l’espace latent, existeront par l’espace latent. Et c’est pourquoi ce dernier vient mettre en jeu les conditions mêmes de la facticité et les conditions a priori de l’imagination.
En d’autres termes, l’imagination artificielle se confronte aux images produites en dehors d’elle (photographie ou autres) tout en étant elles-mêmes une façon de produire des images. Elle est nourrie d’un grand nombre d’images, ce qui a pour ambition de représenter toutes les images du monde, afin de produire des images réalistes qui n’existent pas encore. À partir du moment où celles-ci sont générées, elles s’expriment en dehors de l’espace latent et rentrent dans le stock d’images passées (le dataset).
L’espace latent, à la manière borgésienne, contient donc toutes les images, passées et avenirs, soit parce qu’elles ont été enregistrées, soit parce qu’elles y existent comme des potentialités statistiques. Il nous faut alors imaginer une imagination artificielle générant une image avant que celle-ci soit effectivement photographiée dans le monde, comme si le rêve était en avance sur la réalité factuelle. C’est là une forme nouvelle et inattendue de surréel.
The intuition that guides this brief reflection, and others before it, is that the realism of neural networks is specific, and if it gives itself the appearance of photorealism inherited from the industrial revolution, it is only a comparative appearance. It mobilizes a new relation between what already exists and what could exist, and upsets the relation between the simulacrum, the possible and the truth.
Indeed, in a latent statistical space, realism (understood from an aesthetic rather than an ontological point of view) can be approached as the relation between past images (the dataset), the number of which should ideally be equal to all past images, and future images (the generation), the number of which should ideally be equal to all future images.
If one can approach the realization of the first ideality, the Web being in a certain way the library of Babel of the past data, its very stock, the second ideality is more difficult to understand. How could a hard disk contain images that do not exist yet? How could the future already exist and under what form?
This is the most difficult and most important point in the revolution of the inductive images. It is also the point that leads to the greatest misunderstandings when some consider statistical generation to test its performance, instrumental thinking that will only succeed in demonstrating itself (in the form of comparative tables of prompts), rather than freely experimenting with its potentialities.
If we can generate new images with a neural network, we can also introduce an already existing image produced by the classical means of photography for example, and see if it is already contained in the latent space. Its presence can be of two types: the past insofar as it is a set of data constituting the dataset, the future insofar as the inductive calculation makes its generation possible. The “already” here has two different meanings because it does not refer to the same thing. On the one hand structured and recorded data, on the other hand statistical potentialities that we will call latency.
Latent realism resides in the fact that non-existent images potentially exist in the latent space. The verification is reversed here: we do not evaluate the realism of the generated images, but we start from reality to see if it exists in a statistical space without having been previously introduced.
From the moment we accept this definition of realism as latency of the future, a new aesthetic field opens up where reality is not only factual (the facts, in this case the already existing images), but it is also counterfactual (the possibles, in this case the images that can exist). It is precisely the relation between factuality and counterfactuality that allows us to question the latent facticity, that is to say the contingency of the relation.
It is a new relation between the past and the future that opens up from the disorder opened by the power of the simulacrum. For if the latent space contains factuality and counterfactuality, which means that the future images do not exist there as a catalog already recorded, but as a set of statistical relations where coexist, on an equal footing, what will exist and what could have existed. The first one resides in the images that in the future will exist and the second in the images that in the future will not exist. But as this relation to time integrates the existence of the latent space itself, the difference between the two becomes complicated, because some images that will not exist outside the latent space, will exist through the latent space. And this is why the latter comes to put into play the very conditions of facticity and the a priori conditions of the imagination.
In other words, the artificial imagination confronts itself with the images produced outside of it (photography or others) while being themselves a way of producing images. It is fed with a large number of images, which has the ambition to represent all the images of the world, in order to produce realistic images that do not yet exist. From the moment these are generated, they are expressed outside the latent space and enter the stock of past images (the dataset).
The latent space, in the Borgesian way, contains all the images, past and future, either because they have been recorded, or because they exist there as statistical potentialities. We must then imagine an artificial imagination generating an image before it is actually photographed in the world, as if the dream were ahead of factual reality. This is a new and unexpected form of the surreal.