Réalisme contrefactuel – ENS, Paris

Dans le cadre du colloque Thinking europe visually. l’europe par l’image et en images (https://www.imago.ens.fr/portfolio/colloque2022).

« Mais s’il y a un sens du réel, et personne ne doutera qu’il ait son droit à l’existence, il doit bien y avoir quelque chose que l’on pourrait appeler le sens du possible. L’homme qui en est doué, par exemple, ne dira pas : ici s’est produite, va se produire, doit se produire telle ou telle chose ; mais il imaginera : ici pourrait, devrait se produire telle ou telle chose ; et quand on lui dit d’une chose qu’elle est comme elle est, il pense qu’elle pourrait aussi bien être autre. Ainsi pourrait-on définir simplement le sens du possible comme la faculté de penser tout ce qui pourrait être « aussi bien », et de ne pas accorder plus d’importance à ce qui est qu’à ce qui n’est pas. »
Robert Musil, L’homme sans qualités

« L’artiste n’est pas quelqu’un qui réconcilie, mais qui supporte que l’unité soit absente. »
J.F. Lyotard, Discours Figure

CONSUMATION, EXHAUSTION, RÉSURRECTION

Il y a des parcours artistiques qui se tissent d’histoire, non pas une histoire de l’art mais un art qui tente de transformer le contemporain en histoire et d’y apercevoir des symptômes d’une époque en train de disparaître et de naitre.

J’aimerais imaginer mon travail comme une trilogie historique du présent.

La consumation : en 2014, Télofossiles au MOCA de Taipei où il s’agissait d’aborder le champ de fouilles anticipé de nos fossiles industriels. Les dernières générations avant l’extinction étant matériellement surreprésentées par rapport aux précédentes, ce qui menait à une mise en question de la nature de la surproduction qui pourrait bien avoir comme objectif de constituer nos traces plutôt que de répondre à une pulsion consumériste. L’art apparaissant comme les traces de techniques dysfonctionnelles, restantes après notre extinction.

L’exhaustion : en 2015, Des mémoires éteintes à l’IMAL de Bruxelles abordait une autre accumulation, ruines par anticipation : l’hypermnésie du Web. Cette résurrection prenait encore la forme d’une fin anticipée dont notre espèce serait absente et où une intelligence alien tenterait de savoir ce que nous avons été à partir des données accumulées par Google. L’hypermnésie du réseau a fait de la mémoire humaine, des données inaccessibles pour les êtres humains eux-mêmes car dépassant leurs capacités sensorielles, nous exilant de nous-mêmes.

La résurrection : en 2019, Terre seconde au Palais de Tokyo a été le troisième volet : une fois que nous avons été enseveli par les machines industrielles, que nos mémoires ont été numérisées, une IA métabolise ces dernières pour simuler une seconde Terre, une planète alternative ou de remplacement et elle ne sait si cette production est réelle ou imaginaire. Le cogito technologique serait un monologue infini sur la réalité de la résurrection qui fait advenir pour la première fois afin de rendre justice à ce qui a disparu. Je crois que ce messianisme de la justice rendu est partagé par certains historiens et artistes, chacun à leur manière.

Depuis Terre seconde, j’essaye d’approcher l’étrangeté de ces images produites par l’apprentissage automatique et j’ai proposé successivement les concepts d’imagination artificielle, de réalisme inductif et de disréalisme pour ce faire.
Afin de vous faire part de l’état actuel de ma recherche, je souhaiterais me plonger plus encore dans les spécificités de ce réalisme, entendu non d’un point de vue ontologique mais selon une esthétique matérialiste : comment des supports d’inscription matérielle définissent ce que nous estimons être réel ou non, et procure cette atmosphère de réalité dans laquelle nous sommes nimbés ?
Par là, je conteste en sous main l’autonomie et la facticité de l’a priori transcendantal kantien puisque dans mon « système » les conditions de possibilité de la perception sont déterminées par les technologies et sont donc a posteriori. Le coeur de ce débat pourrait être l’introduction de la première édition de la CRP et le rôle inchoatif de l’imagination dans le processus de schématisation que Kant va effacer lors de la seconde édition. Mais laissons cela de côté pour le moment.

CONTREFACTUALITÉS

Je propose ici que le réalisme de ces images c’est-à-dire la relation qu’elles tissent avec une prétendue réalité et la manière dont elles produisent un effet de réalité, soit envisagé selon l’angle de la contrefactualité, c’est-à-dire des faits qui ne se sont pas déroulés, mais qui auraient plus l’être.

La contrefactualité correspond à une possibilité crédible. Elle mobilise des disciplines diverses : de la logique modale aux mondes possibles, de la physique quantique à l’histoire, des sciences sociales aux théories d’émancipation1, des fictions littéraires à l’informatique. N’y a-t-il pas, selon des formes diverses, une pulsion fondamentale d’aliénation de la réalité, un devenir autre du réel, une négation qui est l’affirmation d’une position ? Chacun de ces champs a un tel niveau de complexité, qu’il est impossible d’en faire le tour, mais il y aura au cours de mon développement des références implicites à certains d’entre eux.

On pourrait reprocher au concept de contrefactualité sa trop grande généralité qui pourrait s’appliquer à toute œuvre d’art ou même à toute technique, puisqu’elle est un possible qui a été réalisé. Je propose donc 4 catégories pour préciser la contrefactualité rangées dans l’ordre de leur éloignement à la réalité : la complétion, l’alternative, la métamorphose et l’afactualité.

La réalité sera entendu comme ce qui a déjà eu lieu selon un fil déterministe qui enchaîne des causes et des effets. Dans un réseau de neurones, la réalité c’est le dataset et les relations qui émergent dans l’espace latent. C’est la relation entre ces deux réalités que les différentes contrefactualités mettent en jeu.

1. COMPLÉTION 

Différentes technologies de neurones artificels permettent de compléter des documents existants, de les réparer ou d’ajouter ce qui leur manque, venant troubler la notion d’archive.

Ainsi, le film des frères Lumières upscalé à une définition de 3840×2160 pixels et 60 images/s. Le film n’a pas été restauré, parce qu’il ne s’agit pas d’un retour au film dans son état d’origine, mais d’une INSTAURATION parce que des éléments manquants ont été ajoutés. L’effet de contrefactualité est saisissant : le film n’a plus le réalisme de 1895, mais le grain d’une vidéo tournée en 1971 avec un Portapac Sony. La complétion entraîne un réalisme anachronique qui modifie la nature de l’archive qui n’est plus déterminée par une origine. Elle invente une historicité qui n’existe pas parce qu’elle a été alimentée par des images prises entre 1895 et aujourd’hui, c’est le dataset. Elle contient une mémoire qui appartient au passé du spectateur et, en même temps, au futur des images instaurées, et par là même elle n’est pas simplement un autre résultat de la causalité, elle sape les fondements même du déterminisme.

La complétion ne concerne pas seulement l’instauration des documents, mais aussi la superposition de ceux-ci avec d’autres réalités. Ceci a été rendu possible par la conjonction entre la génération d’images et wordnet, un vocabulaire. On peut alors intialiser le processus avec une image déjà existante qu’on va faire dériver dans l’espace latent grâce à un ensemble de mots. Dans le sable de la destruction (http://chatonsky.net/in-the-sand-of-destruction/) des vestiges romains sont transformées par une description autonome. La SUPERPOSITION EST DIVERGENTE, elle vient compléter la photographie par quelque chose qui lui est hétérogène. On utilise bien des documents photographiques, mais selles e scindent par le langage.

Cette capacité à traduire des mots en images doit être rattachée à une tradition où les images sont l’expression d’un texte sacré. Il s’agit là d’une VISUALISATION d’un genre nouveau parce qu’elle est construite à partir d’un espace latent qui a été élaboré par des millions d’images qui ont une relation à chaque fois singulière avec leurs mots (tags). L’unité du texte a été brisée. Dans Peau éphémère (http://chatonsky.net/ephemeral-skin/), j’ai « traduit » l’introduction d’Economie de Lyotard en images, en voici quelques extraits :
3 Open the so-called body and spread out all its surfaces
8 the light frills of the eyelids, set with lashes
16 pull out the tongue at its most distant roots and split it,
25 and extract the great muscles, the great dorsal nets,
26 spread them out like smooth sleeping dolphins.

Il ne s’agit pas d’une illustration du texte mais de la rencontre entre celui-ci et l’espace latent de millions d’images, de sorte, comme vous le voyez, que ce qui est produit c’est étrangement des paysages, comme des mots dépliés dans l’espace, qui mêlent le minéral et la peau, produisant une réalité différente qui est sans doute plus en accord avec l’univers du texte qu’avec la photoréalité dont elle émerge. Elle est à l’image du texte.
Un second exemple de visualisation, que je ne développerais pas plus avant, est la machine de rêves dont la première version date de 2014 (http://chatonsky.net/dreaming-2/). A partir d’une base de données de plusieurs milliers de rêves recueillis par deux psychologues, un réseau de neurones génère de nouveaux rêves qui sont visualisés par un autre réseau. Il faut remarquer que ce sont des rêves de rêves (le logiciel rêvant en quelque sorte les rêves humains) et des images d’images. Cet emboîtement récursif est généralisé techniquement et sémantiquement, de sorte que les images générées ont souvent une facture onirique, comme si notre cortex visuel endormi et l’espace latent opéraient de façon analogue. Je laisse cela de côté, même si avec l’aide d’Andy Clark et du livre Surfing Uncertainety, on pourrait développer ce parallélisme.

2. ALTERNATIVES

La seconde grande catégorie de notre immersion dans la contrefactualité automatique est l’alternative, où il faut entendre la superposition d’une altération et d’une altérité. En effet, ces images sont ressemblantes, elles nous rappellent des réalités déjà expérimentées sans pour autant les reproduire à l’identique. Cette légère différence qui suppose simultanément un certain degré de répétition forme l’aspect si singulier de ces images et détermine leur statut d’images possibles.

L’aternative est fondée sur la récursivité, ou RÉCURSION, des médias. Ce sont des images au second degré et en ceci elles héritent de ce qui les a alimenté. Dans Skin Print (http://chatonsky.net/skin-print/), je me suis fondé sur une base de données de la Police allemande utilisée pour identifier les traces de chaussures sur les scènes de crimes, pour produire de nouvelles traces qui n’existent pas mais qui sont crédibles. On comprend par là que la surveillance et le renforcement des biais, si souvent critiquée et à juste titre, sont fonctionnellement liés avec son autre : l’hyperproduction de documents contrefactuels qui viennent troubler l’identification. C’est cette récursion du possible qui avait été à l’ origine de Terre Seconde. J’avais alimenté un logiciel de photographies satellites et il avait produit des surfaces de planète alternative (http://chatonsky.net/nln-2/).

L’alternative concerne aussi l’INTERPRÉTATION, c’est-à-dire le passage d’une image à un texte comme dans ce projet (http://chatonsky.net/deep-subtitles/) où Blow Up d’Antonioni est analysé par une IA qui en créant des sous-titres, produit une autre version. La capacité des logiciels à analyser les images, donne à voir leur fonctionnement et ainsi, non seulement nous pouvons créer une infinité de versions possibles d’un même document passant de la postproduction des années 90 analysée par Nicolas Bourriaud, à l’hyperproduction et au versioning culturel, mais encore, à l’émergence de la signification qui ne peut se faire que parce que nous nous mettons à la place de la machine. Cette empathie, cette passibilité est un élément fondamental de la contrefactualité automatique.

La TRA(NS)DUCTION, mélange de traduction et de transduction inspirée par Gilbert Simondon, est un développement de la visualisation précédemment expliquée, mais qui concerne des images déjà existantes. Ainsi, le livre de collage de Max Ernst nommé la Femme 100 têtes (http://chatonsky.net/headless/) où j’ai traduit les légendes en images, en remplaçant donc les images d’origine. Le fait de remplacer est un élément fondamental de la perspective du possible à l’oeuvre dans la contrefactualité. On sait que Max Ernst a d’abord réalisé les collages avant de les nommer. En reprenant les textes sans les images et en en produisant d’autres, on créé une nouvelle boucle et on détache le texte de son référent pour lui en affecter un autre en inversant l’ordre de production. Il y a transduction parce qu’on en vient à comparer l’original et la version contrefactuelle, en essayant de comprendre la causalité à l’oeuvre, ce qui relève du titre et ce qui relève de l’espace latent du logiciel. Il y a une émotion particulière à percevoir la composition de ces paysages lorsque ceux-ci laissent émerger la possibilité d’une signification.

3. MÉTAMORPHOSES

L’une des éléments les plus frappants de ces images est leur apparence métamorphique comme si la séparation entre les choses n’était plus aussi nette que dans la réalité naturaliste et que flux généralisé permettait de passer d’une forme à une autre dans l’espace latent. Ce thomisme est inhérent à l’induction statistique corrélant des images et des mots. Quelques soient les unes et les autres, il s’agit de vecteurs orientés selon une probabilité qui ne cessent de se réorganiser et d’ouvrir un monde d’analogies (Descola).

Dans Ce qui n’existera pas (http://chatonsky.net/that-will-not-exist), il y a un réalisme qui ne reproduit pas la réalité mais qui garde une ressemblance en mêlant des règnes hétérogènes. C’est ce que je nomme la DÉCATÉGORISATION ou la DÉSCHÉMATISATION en langage kantien, comme une involution dans la formation de nos percepts. Dans la mesure où la corrélation entre des images et des mots, définissant les proximités dans l’espace latent, sont toutes traitées de façon statistique et vectorielle, il devient possible de créer des chimères qui mêlent plusieurs corrélations. La décatégorisation rapproche des éléments qui sont distants dans l’espace latent et passe de l’isolement qui sépare les choses pour les définir et les calculer à l’agglomération analogique qui assemble, combine, couple et incorpore. Ce qu’il est convenu de nommer les disentangled representations (désenchevêtrement catégoriel) redeviennent inextricables.

L’INDUCTION est la procédure logique des réseaux de neurones. Il n’est pas nécessaire de revenir sur la distinction chez Pierce entre induction, déduction et abduction. Il importe seulement ici de voir que l’induction permet de créer d’autres métamorphoses, comme dans Organismes (http://chatonsky.net/organism/) où en nourrissant un logiciel avec des milliers de fichiers 3D d’organismes des dinosaures à nos jours, de nouvelles formes vivantes apparaissent qui sont probables mais inexistantes. L’induction fait exister l’inexistant mais à cette fin cet inexistant garde des traces de ce qui a existé et opère comme une mémoire de ce qui a déjà eu lieu, une mémoire transformative et lacunaire. Ce sont des fossiles de ce qui n’a jamais existé : l’induction transforme l’histoire en une matière première pour des métamorphoses à venir, pour des émancipations à venir. Une mémoire du possible (historialité chez Heidegger)

La DÉFORMATION doit être comprise non comme une transformation de la forme mais une involution dans la forme en train de se former, sa genèse. Il y a quelque chose qui palpite entre la formation et la déformation, entre l’apparition et la disparition, car l’induction des réseaux de neurones introduit du bruit dans leur calcul pour être des machines à différence produisant de la ressemblance. Dans Cinéma récursif http://chatonsky.net/recursive-cinema/, j’ai injecté dans la fameuse scène du baiser de Vertigo d’Hitchock, le script du film. De sorte que cette scène qui est déjà elle-même une mémoire de l’histoire du film, est troublée, déformée par son propre scénario. Les deux amants qui s’étreignent semblent se perdre dans une mémoire chaotique qui pourrait basculer vers une contingence radicale, vers une absence de formes où chaque chose perdrait son identité. Ce sont des êtres humains qui voudraient enfin prendre forme.

4. AFACTUALITÉ

Ce réalisme étrange où tout pourrait se changer en tout, où aucune forme ne serait plus stable, brisant le principe d’identité et toute possibilité d’appréhension, n’est pas sans rappeler les réflexions de Quentin Meillassoux dans sa thèse de doctorat, De l’inexistence divine, dans ses conférences la Fiction hors science et les Principes du signe creux. Sans entrer dans le détail de celles-ci, ce qui pourtant serait très riche d’enseignement, on peut souligner que la contingence radicale qu’il développe ainsi que la distinction entre factualité et facticité, recoupe étrangement les images générées par nos réseaux de neurones :

   « Si nous regardons au travers de la fente ainsi ouverte sur l’absolu, nous y découvrons une puissance plutôt menaçante –quelque chose de sourd, capable de détruire les choses comme les mondes ; capables d’engendrer des monstres d’illogismes ; capables aussi bien de ne pas passer à l’acte ; capable certes de produire tous les rêves, mais aussi tous les cauchemars ; capable de changements frénétiques et sans ordre, ou, à l’inverse, capable de produire un univers immobile jusqu’en ses moindres recoins. Comme une nuée porteuse des plus féroces orages, des plus étranges éclaircies, pour l’heure d’un calme inquiétant. Une Toute-Puissance égale à celle du Dieu cartésien, pouvant toute chose, même l’inconcevable. Mais une Toute-Puissance non normée, aveugle, extraite des autres perfections divines, et devenue autonome. Une puissance sans bonté ni sagesse, inapte à garantir à la pensée la véracité des idées distinctes. » (AF, p. 99-100).

Cet autre réalisme que nous tentons de définir depuis le début de cette conférence, et que peut être toute œuvre d’art porte en elle comme son secret, ne désigne pas une autre réalité mais quelque chose qui est inhérent à la réalité. La contrefactualité n’est pas une négation de la factualité, elle est toute contre elle. Elle est la transformation des relations entre factualité et facticité, c’est-à-dire entre les faits contingents et la finitude de la corrélation entre l’esprit et quelque chose qui lui est extérieur. Cette relation permettrait de problématiser l’IA d’une manière renouvelée.

Kierkegaard écrit : « C’est seulement en supprimant la réalité que l’abstraction peut avoir prise sur elle ; mais la supprimer, c’est exactement la transformer en possibilité » [Kierkegaard 1977, OC XI, p. 14]. C’est, me semble-t-il, exactement l’opération d’un espace latent de réseaux de neurones.

Dans la contrefactualité automatique, il n’y a pas une contre-position, la négation de la factualité (ce qui serait autocontradictoire, ces images étant bien factuelles), mais une forme d’indifférence ou de suspension, ce que j’aimerais nommer une afactualité dont on trouve les traces dans une autre facticité qui est celle qui corrèle l’être humain à la machine. Je nomme cette facticité, l’anthropotechnologie. Loin, des discours qui envisagent l’IA selon leur autonomie, pour réfuter immédiatement celle-ci au titre de l’autonomie supposée de l’être humain, il s’agit d’envisager leur relation constitutive en tant qu’elle est contingente, c’est-à-dire non-nécessaire parce qu’elle est une rétroaction réciproque dont l’origine se perd dans la relationnalité.

C’est l’anthropotechnologie qui ouvre la perspective du possible (ce que certains nomment la signification) et qui permet de dépasser l’image inexacte d’une machine répétitive seulement capable de reproduire le même et de renforcer les biais. L’image générée n’est jamais seule, elle est constituée par la relation entre un support matériel, nommé technique, et un agent humain, et cette relation est contingente. Il n’y a pas de nécessité du sens parce qu’il émerge du possible.

COMPLETION 1.0, commande nationale de photographie exposée en ce moment au Cellier à Reims, est une installation constituée d’une structure modulaire, d’un écran au sol qui diffuse 14 millions d’images du dataset Imagenet pendant une durée de 7 ans et d’un écran qui nous fait face et utilisant ces données pour produire des images métamorphiques mélangeant des catégories hétérogènes. Une voix de synthèse générée par une IA, tente décrire l’image en ayant été alimenté par des milliers d’écrits sur la photographie, reconstituant un discours de critique ou d’historien de l’art, parfois parfaitement idiot, et parfois étonnament génial. Ce qui est en jeu là n’est nullement la capacité du logiciel à comprendre une image comme un être humain, mais la façon dont nous attribuons du sens à sa production par le partage d’un certain patrimoine historique, qui est le dataset. Le fait que cette attribution se fasse tout en étant chargé du doute radical que nous soyons aussi contingent, dans l’émergence du sens, que le logiciel, fait que la relation anthropotechnologique est elle-même contingente.

“Ce n’est pas un oiseau mais une âme qui a été déformée par le vent et qui a fait apparaître les ailes, comme si elles avaient été séparées de l’oiseau et accrochées à lui à la manière d’un collier. On voit les ailes qui sont restés suspendus au cou de l’aiglon à ongle droit, l’une par rapport à l’autre, comme si son bec aigu avait été aussi coupé. Tandis que les ailes sont à peine visibles. Sur le second plan, elles sont représentées comme une sorte de miroir au centre de la pièce puisqu’elle représente un plan dans les bords qui semble avoir été entaillé par la coquille du jeune oiseau et dont les bords ont été sculptée. L’image rappelle beaucoup la photographie montrant un faucon en plein vol.”

DES IMAGES FACTICES

Pour conclure ce chantier ambitieux, je crois qu’il est indispensable de replacer ce qui pourrait apparaître comme une simple innovation technologique, avec sa litanie de nouveautés, passant de GAN, Clip, Disco Diffusion, Zoetrope, Dall-E 2, etc. dans le contexte général d’une incertitude envers la factualité où, par exemple, 40 % des 18-24 ans aux USA pensent que la Terre est plate.

Les signes se multiplient, du complotisme aux pseudo-sciences du dessein intelligent, à la fatigue d’être soi devant le poids du possible et de notre potentiel caché. Chaque énoncé semble pouvoir être réfuté au titre d’une expression individuelle écartelée par les hyperobjets de la crise climatique. On peut réagir à ce tremblement par un positivisme qui sera critiqué à son tour du fait de son autorité et de sa propre contingence. On peut aussi creuser ceci en l’abordant comme le symptôme de notre époque pouvant prendre bien des formes, dont ces images possibles, et tenter de distinguer dans chaque cas quelle est la construction de la contrefactualité, c’est-à-dire des rapports entre la factualité, la facticité, la contingence et les possibles. C’est le sens du possible dont parlait Musil.

L’apprentissage automatique est une machine à produire de la contrefactualité dans la mesure où son explicabilité (qui ne signifie pas la nécessité de sa corrélation) est liée à celle-ci : on explique la factualité réelle en multipliant les possibles pour en tirer variables et facteurs. C’est une prédiction sans causalité et donc sans factualité. On peut y jouer encore et encore : par exemple, une personne fait une demande de prêt qui est rejeté par le logiciel bancaire (alimenté par l’apprentissage automatique). Il se demande pourquoi et comment il pourrait améliorer ses chances d’obtenir un prêt. La question du “pourquoi” peut être formulée comme un contrefactuel : quelle est la plus petite modification des caractéristiques (revenu, nombre de cartes de crédit, âge, …) qui changerait la prédiction de rejet à approbation ? Une réponse possible pourrait être la suivante : Si il gagnait 10 000 euros de plus par an, il obtiendrait le prêt. Ou si il avait moins de cartes de crédit et n’avait pas fait défaut sur un prêt il y a cinq ans, il obtiendrait le prêt.

La recette pour produire ici les contrefactuels est simple :
Sélectionner une instance x à expliquer, le résultat souhaité y’, une tolérance et une (faible) valeur initiale.
Echantillonner une instance aléatoire comme contrefactuel initial.
Optimiser la perte avec le contrefactuel initialement échantillonné comme point de départ.

On peut penser que la technique en général est contrefactuelle : elle fait advenir le possible, de sorte que nous vivons déjà dans la contrefactualité. Il y a par ailleurs toute une tradition de Landauer, Bataille à Derrida qui pense l’impossible comme la seule véritable politique, comme la doublure du possible pensé jusqu’à son extrêmité. C’est une ontologie du non encore être (Bloch) qui permet d’aborder la transformabilité du monde et de la matière. Voilà pour Kant, dont nous parlions au début, et le rôle de la technique dans l’imagination transcendantale.

Factures est un livre que nous sommes en train d’écrire conjointement avec Béatrice Joyeux-Prunel et une IA, qui a pour objet de créer une histoire de l’art contrefactuelle. Composé de 3 parties, chacune d’entre elles met en jeu un type de relationnalité anthroptechnologique instaurant une des contrefactualités que nous avons vu lors de cette présentation.
La première partie, nommée contrefaits consiste en 50 œuvres les plus connus dans l’art occidental qui ont été décrites par une IA. Chacune de ces légendes ont ensuite été envoyées dans un réseau de neurones qui a générée une nouvelle image. En regardant ces images, du fait du partage culturel entre les images et les tags, ont perçoit la familiarité avec les originaux. Ceci correspond à la catégorie 2 Alternative et au sous-groupe 3 tra(ns)duction. La contingence de la traduction garde des traces dans des formes différentes, d’où l’air de famille.
La seconde partie, Défaits consiste en un texte écrit à 3, chacun complétant le texte des autres selon l’inspiration. C’est la catégorie 1, Complétion en sous-groupe 2. Cette manière d’écrire pose de nombreuses questions que nous pourrons aborder lors de l’échange.
Autre manière possible d’écrire l’histoire de l’art : parler des éléments formels du tableau et de la façon dont la composition, les couleurs et les coups de pinceau créent une certaine ambiance ou un certain sentiment. Le texte peut discuter de la façon dont le tableau exemplifie un certain mouvement artistique ou comment il s’inscrit dans l’histoire de l’art.
C’est ce qu’a fait la machine sur ces images que nous lui avons soumise. Entraînée sur des textes basiques, elle génère des textes très creux, qui décrivent une image à partir des termes que lui indiquent son titre, comme si l’image représentait quelque chose.
«Voici l’image d’un arbre. Les feuilles de l’arbre sont vertes et l’arbre est grand. Les feuilles de l’arbre sont vertes et l’arbre est grand. L’arbre a un tronc et des branches qui partent du tronc. Les branches ont des feuilles et les feuilles sont vertes.»

La troisième partie est plus retorse, elle se nomme Surfaits et consiste en un ensemble d’images générées à partir de Wikiart. Ces œuvres contrefactuelles sont ensuite analysées, commentées et attribuées par une historienne de l’art, Béatrice, qui se prête au jeu. Alors qu’habituellement l’IA est envisagée comme une autonomie qui devrait produire de façon solitaire, c’est l’historienne de l’art, comme puissance validante, qui se “soumet” aux images générées. L’exercice d’attribution contrefactuelle se fonde sur un ensemble de connaissances préalables et sur la synthèse d’une induction statistique sous-jacente. La validation humaine renforce et crédibilise la production inductive. Lieu de rencontre entre l’induction et la culture, ce lot de textes est presque effrayant. On en apprend autant sur l’histoire de l’art, la vraie, que dans des textes sur de vraies œuvres. Cette troisième partie appartient à la catégorie 4 : l’afactualité parce qu’elle révèle la facticité historique.
Je tiens à remercier Béatrice de se prêter à ce jeu qui vient troubler les régimes de vérité de sa discipline, mais qui a aussi pour résultat de faire travailler d’une manière nouvelle une historienne et un artiste : habituellement, la seconde commence à travailler quand le premier a fini un travail, et plus encore quand il est mort et que le corpus est clôt. Dans ce livre, l’artiste n’est plus un objet d’étude, mais un sujet de l’histoire dans laquelle il intervient en amont, avant même qu’elle ne soit écrite. Il me semble que c’est là une réponse singulière, et une véritable proposition méthodologique, par rapport aux tremblements du statut actuel de la vérité parce qu’elle vient modifier en profondeur le statut même de la connaissance en faisant de sa contingence le cadre de son élaboration.

Pour conclure, je m’interroge parfois avec inquiétude sur la valeur esthétique et économique de toutes ces images. C’est un long processus allant de l’industrialisation de l’image imprimée à la photographie, des images publicitaires au cinéma, à la télévision et à Internet. Les artistes se sont à chaque fois emparés de cette profusion de manière stratégique : des papiers collés au popart, du nouveau réalisme au post-internet, et j’en passe. Avec l’IA c’est la profusion des images, renommée big data, qui devient un matériau de travail et qui, en intensifiant le chemin du siècle dernier, en change la nature et avec elle le statut de l’artiste.
En testant Dalle-2 depuis deux semaines, dont je vous montre ici certains résultats, on peut estimer que l’artiste à venir est celui qui saura articuler l’espace latent informatique et l’espace latent de la culture. Il a une conscience intuitive de ces deux espaces dont on ne peut faire le tour exhaustif, mais dont on peut apprendre les chemins de traverses. Il saura composer entre le distribution manifold (anneaux de distribution) qui réduit la profusion des données en des données plus restreintes, et les disentangled representations qu’il saura faire involuer vers un enchevêtrement d’analogies. C’est entre ces deux concepts de l’apprentissage automatique que la facticité de la contrefactualité ouvrira une nouvelle époque du monde.

–

COUNTERFACTUAL REALISM
(POSSIBLE IMAGES IN THE LATENT SPACE)

“But if there is a sense of reality, and no one will doubt that it has a right to exist, there must be something that could be called the sense of the possible. The man who is endowed with it, for example, will not say: here has happened, will happen, must happen such and such a thing; but he will imagine: here could happen, should happen such and such a thing; and when he is told of a thing that it is as it is, he thinks that it could just as well be something else. Thus one could simply define the sense of possibility as the faculty of thinking all that could be ‘as well’, and of not giving more importance to what is than to what is not.”
Robert Musil, The Man Without Qualities

“The artist is not someone who reconciles, but who endures that unity is absent.”
J.F. Lyotard, Discourse Figure

CONSUMMATION, EXHAUSTION, RESURRECTION

There are artistic paths that are woven with history, not a history of art but an art that tries to transform the contemporary into history and to see symptoms of an era in the process of disappearing and being born.

I would like to imagine my work as a historical trilogy of the present.

Consummation: in 2014, Telofossils at MOCA Taipei where it was about addressing the anticipated field of excavation of our industrial fossils. The last generations before extinction being materially overrepresented compared to the previous ones, which led to a questioning of the nature of overproduction that may well have as its objective to constitute our traces rather than to respond to a consumerist impulse. Art appearing as the traces of dysfunctional techniques, remaining after our extinction.

The exhaustion: in 2015, Des mémoires éteintes at the IMAL in Brussels addressed another accumulation, ruins by anticipation: the hypermnesia of the Web. This resurrection still took the form of an anticipated end from which our species would be absent and where an alien intelligence would try to know what we have been from the data accumulated by Google. The hypermnesia of the network has made human memory, data inaccessible for human beings themselves because exceeding their sensory capacities, exiling us from ourselves.

Resurrection: in 2019, Earth Second at the Palais de Tokyo was the third part: once we have been buried by industrial machines, once our memories have been digitized, an AI metabolizes them to simulate a second Earth, an alternative or replacement planet, and it doesn’t know if this production is real or imaginary. The technological cogito would be an infinite monologue on the reality of the resurrection that makes happen for the first time to do justice to what has disappeared. I believe that this messianism of justice rendered is shared by some historians and artists, each in their own way.

Since Earth Second, I have been trying to approach the strangeness of these images produced by machine learning and I have successively proposed the concepts of artificial imagination, inductive realism and disrealism to do so.
In order to share with you the current state of my research, I would like to delve further into the specificities of this realism, understood not from an ontological point of view but according to a materialist aesthetic: how do material inscription supports define what we consider to be real or not, and provide this atmosphere of reality in which we are nimbued?
By there, I contest in under hand the autonomy and the facticity of the Kantian transcendental a priori since in my “system” the conditions of possibility of the perception are determined by the technologies and are thus a posteriori. The heart of this debate could be the introduction of the first edition of the CRP and the inchoative role of imagination in the process of schematization that Kant will erase in the second edition. But let us leave this aside for the moment.

COUNTERFACTUALS

I propose here that the realism of these images, i.e. the relation they weave with an alleged reality and the way they produce an effect of reality, be considered from the angle of counterfactuality, i.e. facts that did not happen, but that could have happened more.

Counterfactuality corresponds to a credible possibility. It mobilizes various disciplines: from modal logic to possible worlds, from quantum physics to history, from social sciences to emancipation theories1, from literary fictions to computer science. Isn’t there, according to diverse forms, a fundamental impulse of alienation of the reality, a becoming other of the real, a negation which is the affirmation of a position? Each of these fields has such a level of complexity, that it is impossible to go around them, but there will be in the course of my development implicit references to some of them.

One could reproach the concept of counterfactuality for its too great generality that could be applied to any work of art or even to any technique, since it is a possible that has been realized. I thus propose 4 categories to specify the counterfactuality arranged in the order of their distance to the reality: the completion, the alternative, the metamorphosis and the afactuality.

Reality will be understood as what has already taken place according to a deterministic thread that links causes and effects. In a neural network, reality is the dataset and the relations that emerge in the latent space. It is the relationship between these two realities that the different counterfactuals bring into play.

1. COMPLEMENTATION 

Different technologies of artificial neurons allow to complete existing documents, to repair them or to add what is missing, thus disturbing the notion of archive.

For example, the film of the Lumières brothers upscaled to a definition of 3840×2160 pixels and 60 frames/s. The film has not been restored, because it is not a return to the film in its original state, but an INSTAURATION because missing elements have been added. The counterfactual effect is striking: the film no longer has the realism of 1895, but the grain of a video shot in 1971 with a Sony Portapac. The completion leads to an anachronistic realism that modifies the nature of the archive which is no longer determined by an origin. It invents a historicity that does not exist because it was fed by images taken between 1895 and today, it is the dataset. It contains a memory that belongs to the past of the spectator and, at the same time, to the future of the images established, and by this very fact it is not simply another result of causality, it undermines the very foundations of determinism.

The completion does not only concern the establishment of the documents, but also the superposition of these with other realities. This has been made possible by the conjunction between image generation and wordnet, a vocabulary. One can then initiate the process with an already existing image that one will make drift in the latent space thanks to a set of words. In the sand of the destruction (http://chatonsky.net/in-the-sand-of-destruction/) of the Roman remains are transformed by an autonomous description. The SUPERPOSITION IS DIVERGENT, it comes to complete the photography by something which is heterogeneous to him. One uses photographic documents well, but selles e scindent by the language.

This ability to translate words into images must be linked to a tradition where images are the expression of a sacred text. This is a new kind of VISUALIZATION because it is built from a latent space that has been elaborated by millions of images that have a singular relationship with their words (tags). The unity of the text has been broken. In Peau éphémère (http://chatonsky.net/ephemeral-skin/), I have “translated” the introduction to Lyotard’s Economy into images, here are some extracts:
3 Open the so-called body and spread out all its surfaces
8 the light frills of the eyelids, set with lashes
16 pull out the tongue at its most distant roots and split it,
25 and extract the great muscles, the great dorsal nets,
26 spread them out like smooth sleeping dolphins.

It is not an illustration of the text but the meeting between it and the latent space of millions of images, so that, as you can see, what is produced is strangely landscapes, like words unfolded in space, that mix mineral and skin, producing a different reality that is undoubtedly more in tune with the universe of the text than with the photoreality from which it emerges. It is the image of the text.
A second example of visualization, which I will not develop further, is the dream machine, the first version of which dates from 2014 (http://chatonsky.net/dreaming-2/). From a database of several thousand dreams collected by two psychologists, a neural network generates new dreams that are visualized by another network. It should be noted that these are dreams of dreams (the software dreaming, as it were, human dreams) and images of images. This recursive nesting is generalized technically and semantically, so that the generated images often have a dream-like quality, as if our sleeping visual cortex and the latent space were operating in an analogous way. I leave this aside, although with the help of Andy Clark and the book Surfing Uncertainty, we could develop this parallelism.

2. ALTERNATIVES

The second major category of our immersion in automatic counterfactuality is the alternative, where we must understand the superposition of an alteration and an otherness. Indeed, these images are similar, they remind us of realities already experienced without reproducing them identically. This slight difference which supposes simultaneously a certain degree of repetition forms the so singular aspect of these images and determines their status of possible images.

The aternative is based on the recursivity, or RECURRENCE, of the media. They are images in the second degree and in this they inherit what has fed them. In Skin Print (http://chatonsky.net/skin-print/), I used a German police database used to identify shoe prints at crime scenes to produce new prints that do not exist but are credible. This shows that the surveillance and bias reinforcement, so often criticized and rightly so, is functionally linked with its other: the hyperproduction of counterfactual documents that confound identification. It is this recursion of the possible that was at the origin of Terre Seconde. I had fed a software with satellite photographs and it had produced surfaces of alternative planet (http://chatonsky.net/nln-2/).

The alternative also concerns the INTERPRETATION, that is to say the passage of an image to a text as in this project (http://chatonsky.net/deep-subtitles/) where Blow Up of Antonioni is analyzed by an AI which by creating subtitles, produces another version. The ability of software to analyze images, gives us a glimpse of how they work and thus, not only can we create an infinite number of possible versions of the same document, going from the post-production of the 90s analyzed by Nicolas Bourriaud, to hyperproduction and cultural versioning, but also, to the emergence of meaning that can only be done because we put ourselves in the place of the machine. This empathy, this passibility is a fundamental element of automatic counterfactuality.

TRA(NS)DUCTION, a mixture of translation and transduction inspired by Gilbert Simondon, is a development of the visualization previously explained, but which concerns already existing images. For example, the book of collages by Max Ernst called La Femme 100 têtes (http://chatonsky.net/headless/) where I translated the captions into images, thus replacing the original images. The fact of replacing is a fundamental element of the perspective of the possible at work in counterfactuality. We know that Max Ernst first made the collages before naming them. By taking back the texts without the images and by producing others, one creates a new loop and one detaches the text from its referent to affect another one to him by reversing the order of production. There is transduction because one comes to compare the original and the counterfactual version, trying to understand the causality at work, what belongs to the title and what belongs to the latent space of the software. There is a particular emotion in perceiving the composition of these landscapes when they allow the possibility of meaning to emerge.

3. METAMORPHOSES

One of the most striking elements of these images is their metamorphic appearance, as if the separation between things was no longer as clear-cut as in naturalistic reality, and generalized flow allowed one to move from one form to another in the latent space. This Thomism is inherent to the statistical induction correlating images and words. Some are the ones and the others, they are vectors oriented according to a probability which do not cease to reorganize themselves and to open a world of analogies (Descola).

In What will not exist (http://chatonsky.net/that-will-not-exist), there is a realism which does not reproduce the reality but which keeps a resemblance by mixing heterogeneous reigns. This is what I call DECATEGORIZATION or DESCHEMATIZATION in Kantian language, as an involution in the formation of our percepts. Insofar as the correlation between images and words, defining proximities in latent space, are all treated in a statistical and vectorial way, it becomes possible to create chimeras that mix several correlations. Decategorization brings together elements that are distant in latent space and moves from the isolation that separates things to define and calculate them to the analogical agglomeration that assembles, combines, couples and incorporates. The so-called disentangled representations (categorical disentanglement) become inextricable again.

INDUCTION is the logical procedure of neural networks. It is not necessary to return to Pierce’s distinction between induction, deduction and abduction. It is only important here to see that induction allows the creation of other metamorphoses, as in Organisms (http://chatonsky.net/organism/) where by feeding a software with thousands of 3D files of organisms from dinosaurs to nowadays, new living forms appear that are probable but non-existent. Induction makes the non-existent exist but to this end this non-existent keeps traces of what has existed and operates as a memory of what has already taken place, a transformative and lacunar memory. They are fossils of what has never existed: induction transforms history into a raw material for future metamorphoses, for future emancipations. A memory of the possible (historiality in Heidegger)

The DEFORMATION must be understood not as a transformation of the form but as an involution in the form being formed, its genesis. There is something that palpitates between formation and deformation, between appearance and disappearance, because the induction of neural networks introduces noise in their calculation to be machines of difference producing resemblance. In Recursive Cinema http://chatonsky.net/recursive-cinema/, I injected the famous kissing scene from Hitchock’s Vertigo with the script of the film. In such a way that this scene, which is already itself a memory of the film’s history, is disturbed and deformed by its own script. The two lovers who embrace each other seem to lose themselves in a chaotic memory that could tip over into a radical contingency, into an absence of forms where each thing would lose its identity. They are human beings who would like to finally take shape.

4. AFACTUALITY

This strange realism where everything could change into everything, where no form would be more stable, breaking the principle of identity and any possibility of apprehension, is not without reminding the reflections of Quentin Meillassoux in his thesis of doctorate, Of the divine inexistence, in his conferences the Fiction out of science and the Principles of the hollow sign. Without going into the details of these, which would be very rich in teaching, we can underline that the radical contingency that he develops as well as the distinction between factuality and facticity, strangely overlaps the images generated by our neural networks:

   "If we look through the slit thus opened on the absolute, we discover there a rather threatening power -something deaf, capable of destroying the things as the worlds; capable of generating monsters of illogisms; capable as well of not passing to the act; capable certainly of producing all the dreams, but also all the nightmares; capable of frenetic changes and without order, or, conversely, capable of producing an immobile universe until in its smallest recesses. Like a cloud carrying the most ferocious storms, the strangest flashes of lightning, for the moment of a disturbing calm. An Omnipotence equal to that of the Cartesian God, able to do anything, even the inconceivable. But a non-standardized, blind Omnipotence, extracted from the other divine perfections, and become autonomous. A power without goodness or wisdom, unfit to guarantee to thought the truth of distinct ideas." (AF, pp. 99-100).

This other realism that we try to define since the beginning of this conference, and that can be every work of art carries in it as its secret, does not designate another reality but something that is inherent to the reality. The counterfactuality is not a negation of the factuality, it is all against it. It is the transformation of the relation between factuality and facticity, that is to say between contingent facts and the finitude of the correlation between the mind and something external to it. This relation would allow to problematize AI in a renewed way.

Kierkegaard writes: “It is only by suppressing reality that abstraction can have a hold on it; but to suppress it is exactly to transform it into possibility” [Kierkegaard 1977, OC XI, p. 14]. This is, it seems to me, exactly the operation of a latent space of neural networks.

In the automatic counterfactuality, there is not a counter-position, the negation of the factuality (which would be self-contradictory, these images being indeed factual), but a form of indifference or suspension, what I would like to call an afactuality whose traces can be found in another facticity which is the one that correlates the human being to the machine. I name this facticity, the anthropotechnology. Far from the discourses that consider AI according to their autonomy, in order to immediately refute this autonomy on the basis of the supposed autonomy of the human being, it is a question of considering their constitutive relation as contingent, that is to say non-necessary because it is a reciprocal feedback whose origin is lost in relationality.

It is anthropotechnology that opens the perspective of possibility (what some call meaning) and that allows us to overcome the inaccurate image of a repetitive machine only capable of reproducing the same and reinforcing the biases. The generated image is never alone, it is constituted by the relation between a material support, named technique, and a human agent, and this relation is contingent. There is no necessity of the sense because it emerges from the possible.

COMPLETION 1.0, a national commission of photography currently exhibited at the Cellier in Reims, is an installation consisting of a modular structure, a screen on the ground that broadcasts 14 million images from the Imagenet dataset over a period of 7 years and a screen facing us that uses these data to produce metamorphic images mixing heterogeneous categories. A synthetic voice generated by an AI, tries to describe the image by having been fed by thousands of writings on photography, reconstituting a speech of critic or art historian, sometimes perfectly stupid, and sometimes surprisingly brilliant. What is at stake here is not the ability of the software to understand an image like a human being, but the way we attribute meaning to its production by sharing a certain historical heritage, which is the dataset. The fact that this attribution is done while being charged with the radical doubt that we are as contingent, in the emergence of meaning, as the software, makes the anthropotechnological relation itself contingent.

“It is not a bird but a soul that has been deformed by the wind and that has made the wings appear, as if they had been separated from the bird and hooked to it like a necklace. We can see the wings that remained hanging from the neck of the straight-nailed eaglet, one in relation to the other, as if its sharp beak had also been cut. While the wings are barely visible. On the second plane, they are represented as a kind of mirror in the center of the piece since it represents a plane in the edges that seems to have been cut by the shell of the young bird and whose edges have been carved. The image is very reminiscent of a photograph showing a hawk in flight.”

DUMMY IMAGES

To conclude this ambitious work, I believe it is essential to place what might appear to be a simple technological innovation, with its litany of novelties, passing from GAN, Clip, Disco Diffusion, Zoetrope, Dall-E 2, etc., in the general context of an uncertainty towards factuality where, for example, 40% of 18-24 year olds in the USA think the Earth is flat.

The signs are multiplying, from conspiracy to pseudo-science of intelligent design, to the fatigue of being oneself in front of the weight of the possible and of our hidden potential. Each statement seems to be able to be refuted as an individual expression torn apart by the hyperobjects of the climate crisis. We can react to this trembling by a positivism that will be criticized in its turn because of its authority and its own contingency. We can also dig into this by approaching it as the symptom of our time that can take many forms, including these possible images, and try to distinguish in each case what is the construction of counterfactuality, that is to say of the relations between factuality, facticity, contingency and the possible. This is the sense of possibility that Musil spoke of.

Machine learning is a machine for producing counterfactuality insofar as its explicability (which does not mean the necessity of its correlation) is linked to it: real factuality is explained by multiplying the possibles in order to derive variables and factors. It is a prediction without causality and therefore without factuality. This can be played over and over again: for example, a person applies for a loan that is rejected by the banking software (powered by machine learning). He asks himself why and how he could improve his chances of getting a loan. The “why” question can be formulated as a counterfactual: what is the smallest change in characteristics (income, number of credit cards, age, …) that would change the rejection prediction to approval? A possible answer could be: If he earned 10,000 euros more per year, he would get the loan. Or if he had fewer credit cards and had not defaulted on a loan five years ago, he would get the loan.

The recipe for producing the counterfactuals here is simple:
Select an instance x to explain, the desired outcome y’, a tolerance, and a (small) initial value.
Sample a random instance as the initial counterfactual.
Optimize the loss with the initially sampled counterfactual as a starting point.

One can think that technique in general is counterfactual: it makes the possible happen, so that we are already living in counterfactuality. There is moreover a whole tradition from Landauer, Bataille to Derrida that thinks the impossible as the only true politics, as the understudy of the possible thought to its extremity. It is an ontology of the not yet being (Bloch) which allows to approach the transformability of the world and the matter. So much for Kant, of whom we spoke at the beginning, and the role of the technique in the transcendental imagination.

Factures is a book that we are writing jointly with Béatrice Joyeux-Prunel and an AI, which aims to create a counterfactual history of art. Composed of 3 parts, each of them puts into play a type of anthropotechnological relationality establishing one of the counterfactualities that we have seen during this presentation.
The first part, named counterfactuals, consists of 50 of the most famous works in Western art that have been described by an AI. Each of these legends were then sent to a neural network that generated a new image. When looking at these images, due to the cultural sharing between the images and the tags, we perceive the familiarity with the originals. This corresponds to category 2 Alternative and subgroup 3 tra(ns)duction. The contingency of the translation keeps traces in different forms, hence the family resemblance.
The second part, Défaits, consists of a text written by 3 people, each one completing the text of the others according to inspiration. This is category 1, Completion in subgroup 2. This way of writing raises many questions that we can address during the exchange.
Another possible way to write art history is to talk about the formal elements of the painting and how the composition, colors, and brush strokes create a certain mood or feeling. The text can discuss how the painting exemplifies a certain art movement or how it fits into art history.
This is what the machine did on these images we submitted to it. Trained on basic texts, it generates very hollow texts, which describe an image from the terms indicated by its title, as if the image represented something.
“This is an image of a tree. The leaves of the tree are green and the tree is tall. The leaves of the tree are green and the tree is tall. The tree has a trunk and branches that grow from the trunk. The branches have leaves and the leaves are green.”

The third part is more devious, it is called Overrated and consists of a set of images generated from Wikiart. These counterfactual works are then analyzed, commented and attributed by an art historian, Beatrice, who lends herself to the game. While usually AI is considered as an autonomy that should produce in a solitary way, it is the art historian, as a validating power, who “submits” to the generated images. The exercise of counterfactual attribution is based on a body of prior knowledge and on the synthesis of an underlying statistical induction. Human validation reinforces and gives credibility to the inductive production. As a meeting place between induction and culture, this batch of texts is almost frightening. We learn as much about art history, the real thing, as we do in texts about real works. This third part belongs to category 4: afactuality because it reveals historical facticity.
I would like to thank Beatrice for taking part in this game that disturbs the regimes of truth of her discipline, but that also results in a new way of working between a historian and an artist: usually, the latter starts working when the former has finished a work, and even more so when he is dead and the corpus is closed. In this book, the artist is no longer an object of study, but a subject of the history in which he intervenes upstream, even before it is written. It seems to me that this is a singular answer, and a real methodological proposal, in relation to the tremors of the current status of truth because it comes to modify in depth the very status of knowledge by making of its contingency the framework of its elaboration.

To conclude, I sometimes wonder with concern about the aesthetic and economic value of all these images. It is a long process going from the industrialization of the printed image to the photography, from the advertising images to the cinema, the television and the Internet. Artists have each time seized this profusion in a strategic way: from glued papers to popart, from new realism to post-internet, and so on. With AI it is the profusion of images, renamed big data, that becomes a working material and that, by intensifying the path of the last century, changes its nature and with it the status of the artist.
By testing Dalle-2 for two weeks, of which I show you here some results, we can estimate that the artist to come is the one who will know how to articulate the latent computer space and the latent space of the culture. He has an intuitive awareness of these two spaces of which one cannot make the exhaustive tour, but of which one can learn the crossroads. He will know how to compose between the distribution manifold which reduces the profusion of data into more restricted data, and the disentangled representations which he will know how to make involute towards an entanglement of analogies. It is between these two concepts of machine learning that the facticity of counterfactuality will open a new era of the world.