LLM and Worlds: between ontologicals alignment and configuration

Dans Les Concepts fondamentaux de la Métaphysique (1929-30), Heidegger décrit le minéral comme sans monde, l’animal comme pauvre en monde et l’être humain comme configurateur de mondes. Il n’est donc pas défini comme un être qui a accès au monde en tant qu’adéquation de son esprit à une extériorité, mais comme « l’en tant que tel », c’est-à-dire une certaine préconception de l’entièreté comme entièreté et non pas comme un monde composé d’éléments qui le peuplent. Ce préaccès est une configuration plutôt qu’une adéquation : par configurateur de mondes, il faut entendre une forme active, performative, mondanisant le monde lui-même, rendant trouble la frontière en ce qui est et ce qui sera et ce qui pourrait être.

Dans les débats actuels, dont Yann Lecun offre une vision déterminée, sur l’insuffisance des LLM, l’un des arguments principal est d’estimer que l’induction statistique ne permet pas d’accéder et de comprendre le monde, de sorte qu’en sortie le résultat n’est pas aligné à nos demandes. : l’insuffisance ontologique en entrée a pour conséquence une inadaptation fonctionnelle en sortie. Ainsi se réalise le destin de la volonté de puissance qui détermine ce qui est par ce qui est instrumental, par ce dont on a l’usage et qui répond à ce que nous voulons.

Les LLM seraient donc pauvres en monde ou seraient des simulacres de mondes, nous en procurant l’effet sans en être la cause parce qu’ils sont sans causalité. L’induction ne fait pas un déterminisme hypothético-déductif aligné sur nos connaissances scientifiques du monde. On pourra toujours être fasciné par les effets de réalité des LLM, on ne résoudra pas le décalage entre son fonctionnement et ses effets esthétiques.

Certains défendent donc la nécessité d’une nouvelle IA qui ne serait plus inductive, mais alignée au monde grâce à des observations, une estimation précédente de l’état du monde, une proposition d’action, une proposition de variable latente et un encodeur. La représentation serait l’état du monde encodé tandis que la prédiction serait l’état suivant orienté vers une action. Il est intéressant de confronter cette conception à la philosophie, en tant que les deux concernent la détermination de la réalité : ici, on associe l’état du monde à un moment donné, l’action souhaitée et l’état du monde à un moment suivant, de sorte que l’on conçoit le monde comme déterminisme et comme aligné par rapport à notre action. Le monde est utile, ni plus ni moins, sa dynamique est déterminée par l’action que nous souhaitons réaliser dessus, ce que nous voulons en obtenir. Le déterminisme n’est pas seulement régi par les lois de la physique, mais plus profondément par l’action que nous effectuons sur le monde.

Cette manière d’appréhender le monde comme utile correspond en tout point à l’analyse qu’Heidegger fait de la pensée occidentale comme volonté de puissance déterminée par une pensée instrumentale et anthropologique, c’est-à-dire comme une manière de ne concevoir ce qui est qu’au regard de l’usage qu’on en a pour soi. Le monde devient ainsi un décor, un fonds utilisable, ou un environnement, dont nous sommes le centre.

Alors que les LLM avaient une part d’erreur, d’hallucination, de métamorphose et de fantastique, comme s’ils régurgitaient l’ensemble de la culture humaine sous une forme monstrueuse, créant en retour pour nous un moyen de l’aborder de façon décalée, ironique et donc réflexive, les IA mondanisantes espèrent s’aligner sur le monde en le confondant avec une action déterminée à l’avance par un être humain, c’est-à-dire une volonté qui veut avoir la puissance sur le monde en distinguant la représentation de l’observation par l’action. L’action doit être connue et exprimée à l’avance, elle est la réalisation d’un programme anticipé, de là on exclut toute forme d’action expérimentale, indéterminée, aliénée, heuristique, etc.

L’élaboration de l’IA présuppose donc certaines conceptions ontologiques qui ne sont pas neutres et qui appartiennent à l’histoire des civilisations. Si les LLM sont configuratrices de mondes dans la mesure où l’espace latent se distingue nettement de la factualité du monde, qu’il y a un décalage entre les représentations générées et l’état du monde, et qu’elles sont toujours au bord de l’effondrement de leur modèle, les IA mondanisantes sont alignées avec le monde en tant que celui-ci est orienté sur l’action qu’on lui impose, sur ce qu’on veut obtenir et extraire de lui. Ce sont en fait elles qui sont pauvres en monde parce qu’elles sont engluées dans l’identité entre état du monde et action.

In The Fundamental Concepts of Metaphysics (1929-30), Heidegger describes the mineral as worldless, the animal as world-poor, and the human being as a configurator of worlds. The human being is thus defined not as a being who has access to the world as the adequation of his mind to an exteriority, but as “the as such”, i.e. a certain preconception of wholeness as wholeness and not as a world composed of the elements that populate it. This pre-access is a configuration rather than an adequation: by configurator of worlds, we mean an active, performative form, mundanizing the world itself, blurring the boundary between what is and what will be and what could be.

In current debates, of which Yann Lecun offers a determined vision, on the insufficiency of LLMs, one of the main arguments is to consider that statistical induction does not allow us to access and understand the world, so that the output is not aligned with our demands. In other words: ontological inadequacy on the input side results in functional inadequacy on the output side. In this way, we realize the destiny of the will to power, which determines what is by what is instrumental, by what we have use of and which responds to what we want.

LLMs would therefore be poor in the world, or would be simulacra of worlds, providing us with the effect without being the cause, because they are without causality. Induction does not make a hypothetico-deductive determinism aligned with our scientific knowledge of the world. We can still be fascinated by the reality effects of LLMs, but we can’t resolve the discrepancy between the way they work and their aesthetic effects.

Some therefore argue for the need for a new AI that would no longer be inductive, but aligned with the world thanks to observations, a previous estimate of the state of the world, an action proposal, a latent variable proposal and an encoder. The representation would be the encoded state of the world, while the prediction would be the next action-oriented state. It’s interesting to compare this conception with philosophy, insofar as both concern the determination of reality: here, we associate the state of the world at a given moment, the desired action and the state of the world at a following moment, so that we conceive of the world as deterministic and aligned with our action. The world is useful, no more, no less; its dynamics are determined by the action we wish to perform on it, what we wish to obtain from it. Determinism is governed not only by the laws of physics, but more profoundly by the action we take on the world.

This way of understanding the world as useful corresponds in every way to Heidegger’s analysis of Western thought as a will to power determined by instrumental and anthropological thinking, i.e. as a way of conceiving of what is only in terms of the use we make of it for ourselves. The world thus becomes a setting, a usable background, or an environment, of which we are the center.

Whereas LLMs had an element of error, hallucination, metamorphosis and fantasy, as if they were regurgitating the whole of human culture in monstrous form, in turn creating for us a means of approaching it in a shifted, ironic and therefore reflexive way, Worldly AIs hope to align themselves with the world by confusing it with an action determined in advance by a human being, i.e. a will that wants to have power over the world by distinguishing representation from observation through action. The action must be known and expressed in advance, it is the realization of an anticipated program, from which we exclude all forms of experimental, indeterminate, alienated, heuristic, etc. action.

The development of AI therefore presupposes certain ontological conceptions that are not neutral and that belong to the history of civilizations. While LLMs are world-configurators insofar as the latent space is clearly distinct from the factuality of the world, there is a gap between the representations generated and the state of the world, and they are always on the verge of collapse of their model, mundanizing AIs are aligned with the world insofar as the latter is oriented on the action we impose on it, on what we want to obtain and extract from it. In fact, they are world-poor because they are mired in the identity between the state of the world and action.