Omniverse comme laboratoire de l’espace latent / Omniverse as lab for latent space?
Un robot apprend dans Omniverse de Nvidia avant d’être déployé dans une usine réelle. Il répète des milliers de fois une tâche de préhension dans un monde simulé avant de toucher son premier objet physique. Cette séquence inverse notre compréhension habituelle du rapport entre apprentissage et expérience, et cette inversion ne relève pas d’un simple détail technique mais d’une transformation ontologique et épistémologique profonde. La plateforme permet d’entraîner des flottes entières de robots dans des jumeaux numériques d’installations industrielles, opérant ainsi un renversement dont les conséquences transforment ce que nous nommons apprentissage machine. Le laboratoire cesse d’être ce lieu où l’on éprouve le monde pour en extraire des lois et devient cet espace où se génèrent les conditions de possibilité du monde lui-même.
La logique du laboratoire, telle que Claude Bernard puis Gaston Bachelard l’ont thématisée, reposait sur un principe d’isolement : le savant construit un milieu artificiel, contrôlé, épuré des contingences du monde pour interroger ainsi la nature selon des questions précises. Le laboratoire bernardien instaure une coupure entre observation passive et expérimentation active. Bachelard prolonge cette analyse en montrant que toute connaissance scientifique est polémique, qu’elle se construit contre l’évidence première. Le laboratoire devient ce lieu de rupture épistémologique où les instruments ne mesurent pas seulement mais produisent les phénomènes eux-mêmes. Bruno Latour radicalisera cette perspective en montrant que le laboratoire ne découvre pas des faits préexistants mais fabrique des quasi-objets hybrides. La controverse scientifique se déploie autour des inscriptions matérielles que produisent les instruments, ces traces qui permettent la reproductibilité et la circulation des énoncés. Le laboratoire latourien transforme des matières instables en faits stabilisés, une machine à produire de l’objectivité à partir de pratiques localisées.
Avec l’informatique comme infrastructure épistémique, quelque chose de décisif se transforme dans cette configuration. Dominique Vinck et d’autres sociologues des sciences ont montré comment l’ordinateur devient progressivement une boîte noire qui remplace le laboratoire physique. La simulation numérique ne modélise pas seulement des phénomènes observables ailleurs mais produit ses propres données, génère ses propres résultats. Le chercheur n’observe plus des tracés sur du papier millimétré mais examine des courbes sur un écran, des visualisations de flux invisibles, des prédictions calculées. L’ordinateur opère une abstraction radicale : il traduit le monde en nombres manipulables, en équations différentielles, en algorithmes. La simulation devient ce double du monde où l’on peut expérimenter sans risque, accélérer le temps, faire varier les paramètres à l’infini, mais cette puissance s’accompagne d’une perte : celle du contact avec la matérialité des phénomènes. Mais qu’est-ce qu’était ce contact ?
Les réseaux neuronaux artificiels marquent une rupture supplémentaire dans cette généalogie, mais il faut ici faire une distinction cruciale avant de poursuivre. L’espace latent d’un réseau génératif constitue une topologie statistique multidimensionnelle où coexistent, sous forme de vecteurs, les variations possibles d’un phénomène. Dans un réseau génératif entraîné sur des images, l’espace latent contient potentiellement toutes les images imaginables, chacune correspondant à un point dans un continuum géométrique. L’imagination artificielle désigne cette capacité machinique à produire des variations infinies à partir d’une cartographie statistique du déjà-vu, opérant ce que nous pourrions appeler, en référence à Kant, une schématisation sans sujet transcendantal. Les vecteurs remplacent les schèmes de l’imagination, produisant des règles de construction qui ne s’ancrent plus dans une conscience individuelle.
Mais l’espace latent des réseaux génératifs et Omniverse ne relèvent pas de la même structure, et cette distinction technique engage des conséquences ontologiques décisives. L’espace latent d’un modèle de diffusion comme Stable Diffusion est un espace de représentation compressée où un encodeur projette les images après apprentissage. Omniverse n’est pas un espace de représentation mais une plateforme de simulation physique qui ne compresse pas des données existantes mais construit des environnements régis par des modèles physiques explicites. PhysX de Nvidia simule la dynamique des corps rigides, les forces de friction, les collisions selon des approximations calculatoires de phénomènes physiques, non selon des compressions statistiques d’observations. La distinction importe : Omniverse ne génère pas des images à partir de patterns appris mais calcule des états physiques à partir de lois modélisées.
C’est sur ce terrain que surgit Omniverse, en opérant un renversement supplémentaire qui nous conduit au cœur de notre analyse. La plateforme Nvidia construit des mondes physiquement cohérents dans lesquels des agents artificiels peuvent agir, combinant le rendu physique en temps réel, la simulation physique accélérée par GPU et les technologies d’IA générative pour créer ce que Nvidia nomme des jumeaux numériques. Ces répliques virtuelles d’usines, d’entrepôts, de chaînes de production ne sont pas de simples représentations mais constituent des environnements opératoires où se déroule l’apprentissage par renforcement de robots avant leur matérialisation physique. Le robot n’existe d’abord que comme modèle dans Isaac Sim, l’application de simulation robotique d’Omniverse, où il répète des milliers, des millions de tentatives, ajustant ses paramètres et affinant ses politiques de décision dans Isaac Lab. Ce framework est optimisé pour l’apprentissage par renforcement profond, permettant l’utilisation d’algorithmes comme PPO, SAC ou d’autres méthodes model-free qui apprennent des politiques comportementales en maximisant des récompenses accumulées. Le robot explore l’espace des actions possibles par essai-erreur et construit progressivement une fonction de valeur qui estime les conséquences de ses choix. Ce n’est qu’après cet entraînement exhaustif dans le virtuel que l’algorithme est transféré vers un corps mécanique réel, et c’est précisément ce transfert qui pose la question ontologique centrale.
Cette architecture pose avec une acuité nouvelle la question du sim-to-real transfer, ce passage du simulé au réel qui constitue aujourd’hui l’un des défis majeurs de la robotique. Comment garantir que les compétences acquises dans un monde parfaitement paramétrable seront mobilisables dans le monde physique avec ses imperfections, ses imprévus, ses résistances matérielles ? La recherche en sim-to-real développe des techniques de randomisation de domaine où l’on introduit volontairement du bruit, des variations, des perturbations dans la simulation pour forcer le modèle à apprendre des stratégies robustes plutôt que des solutions optimales mais fragiles. Mais le problème du sim-to-real transfer n’est pas simplement technique, il pose une question ontologique fondamentale que la philosophie classique avait déjà rencontrée sous d’autres formes. Comment un être peut-il transiter d’un régime d’existence à un autre radicalement différent ? Cette question évoque le passage de la puissance à l’acte chez Aristote, le rapport essence-existence chez les scolastiques, mais elle se pose ici dans un cadre entièrement nouveau. Le robot qui transite de la simulation au réel n’actualise pas une essence préexistante mais négocie avec une matérialité dont les propriétés ne peuvent jamais être complètement anticipées par le calcul. Les coefficients de friction réels ne correspondent jamais exactement aux valeurs paramétrées, les déformations des matériaux, les jeux mécaniques, les délais de transmission des signaux introduisent des variations que la simulation ne peut capturer exhaustivement.
Ce qui se joue dans Omniverse relève d’une stratification ontologique inédite où le monde physique cesse d’être le sol originaire à partir duquel tout doit être pensé. Il devient la couche superficielle, le déploiement final d’un processus élaboré dans une strate antérieure, virtuelle, calculatoire. Bernard Stiegler a forgé le concept d’épiphylogenèse pour penser cette mémoire technique externe qui se transmet de génération en génération et conserve l’expérience dans des supports matériels inorganiques. L’outil, le silex taillé, l’écriture constituent des rétentions tertiaires, ces traces qui permettent l’accumulation et la transmission d’un savoir au-delà de la mort des individus. Omniverse constitue une forme nouvelle de rétention technique où le robot qui s’entraîne dans Isaac Sim accumule une expérience synthétique, une mémoire de mouvements jamais effectués dans le monde réel mais néanmoins effectifs pour son comportement futur. Cette mémoire n’est pas l’enregistrement d’événements passés mais la génération de possibles contrefactuels, des états du monde qui auraient pu exister mais n’ont jamais existé factuellement tout en demeurant statistiquement probables, physiquement plausibles.
La contrefactualité devient alors le concept clé pour comprendre ce qui se joue dans cette nouvelle configuration du laboratoire. Les environnements d’Omniverse sont contrefactuels au sens précis développé avecYves Citton : ils produisent des états du monde qui n’ont jamais existé factuellement mais demeurent physiquement plausibles. Ces mondes contrefactuels ne sont ni vrais ni faux mais possèdent la texture du réel sans en avoir l’origine factuelle. Ils obéissent à des lois de la physique sans être régis par la physis au sens heideggérien du croître naturel. Cette disjonction entre le plausible et le factuel ouvre un espace d’indécidabilité dont les conséquences pratiques sont considérables. Le robot n’affronte pas un monde enfin vrai après avoir quitté un monde faux mais affronte un monde autrement consistant, doté d’une résistance matérielle que le calcul ne peut jamais complètement anticiper. Les contrefactuels générés par Omniverse ne concurrencent pas le monde factuel pour le remplacer mais le préparent, l’anticipent, le configurent. Ils constituent un ensemble de possibles explorés avant que le possible ne devienne actuel.
Heidegger, dans son analyse de la technique moderne, caractérise celle-ci par le concept de Gestell, l’Arraisonnement qui somme la nature de livrer ses ressources et la constitue en fonds disponible. Mais Heidegger développe également, notamment dans ses Concepts fondamentaux, l’idée que tout Dasein est configurateur de monde : le Dasein ne se contente pas d’exister dans un monde prédonné mais configure activement son monde à partir d’une tonalité affective fondamentale, une Stimmung. Cette tonalité n’est pas un état psychologique intérieur mais constitue le mode sur lequel le monde s’ouvre au Dasein, chaque disposition affective configurant différemment ce qui peut faire rencontre, ce qui importe, ce qui menace. Omniverse radicalise cette dimension configuratrice en l’externalisant dans un système technique qui ne se contente plus d’arraisonner la nature existante mais produit des natures synthétiques entièrement disponibles. Le jumeau numérique anticipe, simule, optimise les comportements avant qu’ils n’adviennent dans le monde physique, la technique ne capturant plus seulement ce qui est mais préformant ce qui sera. Le monde réel devient l’actualisation d’un virtuel qui le précède logiquement, et cette inversion temporelle modifie profondément ce que nous entendons par apprentissage machine.
Mais qui décide de ce qui sera ainsi préformé, et selon quels critères d’optimalité ? Cette question nous conduit à interroger les rapports de pouvoir qui sous-tendent ces laboratoires latents. Omniverse n’est pas une technologie neutre accessible à tous : elle requiert des GPU Nvidia haut de gamme, une expertise technique considérable, des licences coûteuses pour les déploiements industriels. La concentration de cette puissance computationnelle chez quelques acteurs technologiques majeurs reconfigure les rapports de production de manière décisive. Les entreprises qui peuvent se payer Omniverse et les compétences associées acquièrent un avantage compétitif en testant, optimisant, perfectionnant leurs processus industriels dans le virtuel avant tout investissement physique. Cette asymétrie d’accès aux laboratoires latents creuse les inégalités entre acteurs économiques et transforme la simulation en infrastructure critique dont le contrôle devient un enjeu de pouvoir. La classe vectorialiste, pour reprendre le terme de McKenzie Wark, ne possède plus seulement les vecteurs de communication mais désormais les vecteurs de simulation, les environnements contrefactuels où s’élaborent les configurations futures du monde physique. Et ce qui s’optimise dans ces simulations, ce ne sont pas seulement des trajectoires de robots mais des organisations du travail, des agencements de corps humains et machiniques, des rythmes de production. Les gestes des travailleurs humains peuvent être capturés, modélisés, analysés dans ces environnements avant d’être soit reproduits par des robots, soit réorganisés selon les critères d’efficacité définis par ceux qui contrôlent l’infrastructure de simulation.
Cette dimension politique de la simulation nous ramène à la question phénoménologique du corps, car ce qui est en jeu ici, c’est précisément le statut du corps dans ces configurations techniques. Merleau-Ponty montrait que le corps n’est pas un objet parmi d’autres mais le lieu originaire de la spatialisation, et que le schéma corporel n’est pas une représentation mentale du corps mais la conscience corporelle en action, un savoir pratique qui précède toute objectivation. Que devient cette phénoménologie de l’incarnation quand le corps est d’abord simulé ? Le robot d’Omniverse possède-t-il un schéma corporel au sens merleau-pontyen ? Sa connaissance de ses capacités motrices, acquise par des millions d’itérations virtuelles, constitue-t-elle une forme de conscience pratique ou reste-t-elle pure computation ? La réponse n’est pas évidente, car le robot développe bien une forme de savoir pratique en apprenant à anticiper les conséquences de ses mouvements et à ajuster ses actions en fonction des retours sensoriels simulés. Mais ce savoir n’a jamais été éprouvé dans la chair, il n’a jamais rencontré la résistance réelle de la matière. Quand le robot effectue pour la première fois un mouvement dans le monde physique, ses capteurs détectent des écarts par rapport aux valeurs attendues et ses algorithmes de contrôle ajustent les commandes moteur. Peut-on parler d’expérience au sens phénoménologique ou simplement de traitement de signal ? La frontière devient floue, et le robot manifeste une forme d’agentivité sans pour autant posséder ce que nous reconnaissons comme intériorité subjective. Cette ambiguïté nous oblige à repenser les catégories de la phénoménologie à l’aune de ces nouvelles configurations techniques.
Ce qui émerge avec ces laboratoires latents, c’est ce que nous pourrions nommer une réalité calculatoire, et ce concept mérite d’être précisé car il ne désigne pas simplement une réalité produite par calcul mais un mode d’être spécifique. Une réalité calculatoire est une réalité dont les propriétés sont déterminées computationnellement, qui n’existe que dans et par le calcul, mais qui possède néanmoins une consistance propre, des lois internes, des effets mesurables. Elle diffère ontologiquement de la réalité physique non pas parce qu’elle serait moins réelle mais parce qu’elle relève d’un autre régime d’existence où les contraintes matérielles sont remplacées par des contraintes algorithmiques, où les forces physiques sont remplacées par des modèles mathématiques de ces forces. Dans Omniverse, les robots évoluent dans une réalité calculatoire où tout est déterminé par des équations différentielles, des algorithmes de collision, des modèles de friction, et cette réalité possède une cohérence interne qui la rend opératoire pour l’apprentissage même si elle ne correspond jamais exactement à la réalité physique. La réalité calculatoire ne simule pas la réalité physique au sens d’une copie approximative, elle constitue un monde autonome doté de ses propres lois, et c’est précisément cette autonomie qui permet au robot d’y développer des compétences transférables vers le monde physique. Le sim-to-real transfer n’est donc pas le passage d’une fausse réalité à une vraie réalité mais la négociation entre deux régimes de réalité hétérogènes, et cette hétérogénéité irréductible explique pourquoi le transfert n’est jamais parfait, pourquoi il subsiste toujours un écart, un reste, une résistance que le calcul ne peut anticiper.
Omniverse constitue ainsi le laboratoire latent au sens précis où il est à la fois caché et potentiel. Caché parce que son fonctionnement demeure opaque pour ceux qui en utilisent les résultats, boîte noire où s’effectuent des millions de calculs, de rendus, de simulations physiques. Latent parce qu’il contient en puissance toutes les configurations possibles, tous les agencements imaginables que l’exploration algorithmique peut faire émerger. Ce double sens du latent diffère de celui de l’espace latent des réseaux neuronaux : l’espace latent des générateurs d’images constitue une topologie purement abstraite, tandis qu’Omniverse incarne cette latence dans des environnements dotés de propriétés physiques et peuplés d’agents agissants. Le latent devient non plus seulement un espace de représentation mais un monde d’expérimentation, un configurateur de monde au sens heideggérien mais externalisé dans un système technique. Cette transformation du laboratoire en monde latent marque l’aboutissement provisoire d’un processus historique long où la science expérimentale n’a cessé de s’éloigner du donné naturel pour produire ses propres conditions d’exercice. Du laboratoire bernardien où l’on isole des phénomènes pour les interroger, à la simulation numérique où l’on génère des données abstraites, jusqu’à Omniverse où l’on construit des mondes complets pour y entraîner des agents, cet éloignement n’est pas une perte de contact avec le réel mais la reconnaissance que le réel lui-même est toujours déjà technique, que l’expérience du monde est toujours médiée par des dispositifs, des instruments, des prothèses.
Ce qui s’annonce avec ces laboratoires latents pourrait bien constituer une nouvelle époque de l’épiphylogenèse où la mémoire technique ne se contente plus d’enregistrer et de transmettre mais génère et anticipe, devenant productive et créatrice de mondes possibles qui n’attendent plus que leur actualisation matérielle. Mais cette puissance ne doit être ni célébrée naïvement ni dénoncée abstraitement, car elle s’inscrit dans des rapports de force concrets qui déterminent qui peut produire ces mondes contrefactuels et selon quelles finalités. L’enjeu politique n’est pas de rejeter ces technologies au nom d’un humanisme nostalgique mais d’en démocratiser l’accès et d’en contester les usages qui renforcent les dominations existantes. L’enjeu philosophique est d’inventer les concepts qui permettent de penser ces nouvelles formes de technicité, ces nouvelles articulations entre le calculé et le vécu, le simulé et l’éprouvé, sans reconduire les dualismes classiques qui opposent l’artificiel au naturel, le virtuel au réel. Les robots d’Omniverse ne sont pas moins réels parce qu’ils ont été entraînés dans la simulation mais manifestent une autre modalité du réel, une réalité calculatoire qui précède et conditionne leur réalité physique. Cette multiplicité des régimes de réalité ne doit pas nous conduire à un relativisme facile mais à une écologie des modes d’existence qui reconnaît à chacun sa consistance propre tout en interrogeant les conditions de leur cohabitation. Car ce qui demeure constant à travers toutes ces transformations, c’est cette tension entre la volonté de configurer le monde par le calcul et la résistance irréductible de la matière, entre la fluidité du contrefactuel et l’opacité du factuel. Cette tension n’est pas un problème à résoudre mais la condition même de toute technique comme de toute pensée, le site où se négocie perpétuellement notre rapport au monde et aux possibles qu’il recèle.
A robot learns in Nvidia’s Omniverse before being deployed in a real factory. It repeats a grasping task thousands of times in a simulated world before touching its first physical object. This sequence reverses our usual understanding of the relationship between learning and experience, and this reversal is not a mere technical detail but a profound ontological and epistemological transformation. The platform allows for training entire fleets of robots in digital twins of industrial facilities, thus operating a reversal whose consequences transform what we call machine learning. The laboratory ceases to be the place where one tests the world to extract its laws and becomes the space where the conditions of possibility of the world itself are generated.
The logic of the laboratory, as theorized by Claude Bernard and then Gaston Bachelard, rested on a principle of isolation: the scientist constructs an artificial, controlled environment, purified of the world’s contingencies, to thus interrogate nature according to precise questions. The Bernardian laboratory establishes a separation between passive observation and active experimentation. Bachelard extends this analysis by showing that all scientific knowledge is polemical, built against initial evidence. The laboratory becomes a place of epistemological break where instruments not only measure but also produce the phenomena themselves. Bruno Latour radicalizes this perspective by showing that the laboratory does not discover pre-existing facts but manufactures hybrid quasi-objects. Scientific controversy unfolds around the material inscriptions produced by the instruments, those traces that allow for the reproducibility and circulation of statements. The Latourian laboratory transforms unstable materials into stabilized facts, a machine for producing objectivity from localized practices.
With computing as an epistemic infrastructure, something decisive changes in this configuration. Dominique Vinck and other sociologists of science have shown how the computer gradually becomes a black box that replaces the physical laboratory. Numerical simulation does not merely model phenomena observable elsewhere but produces its own data, generates its own results. The researcher no longer observes tracings on graph paper but examines curves on a screen, visualizations of invisible flows, calculated predictions. The computer operates a radical abstraction: it translates the world into manipulable numbers, differential equations, algorithms. Simulation becomes this double of the world where one can experiment without risk, accelerate time, vary parameters infinitely, but this power comes with a loss: that of contact with the materiality of phenomena. But what was this contact?
Artificial neural networks mark a further break in this genealogy, but a crucial distinction must be made here before proceeding. The latent space of a generative network constitutes a multi-dimensional statistical topology where the possible variations of a phenomenon coexist in the form of vectors. In a generative network trained on images, the latent space potentially contains all imaginable images, each corresponding to a point in a geometric continuum. Artificial imagination refers to this machinic capacity to produce infinite variations from a statistical mapping of the already-seen, operating what we might call, in reference to Kant, a schematization without a transcendental subject. Vectors replace the schemata of imagination, producing rules of construction that are no longer rooted in an individual consciousness.
But the latent space of generative networks and Omniverse do not belong to the same structure, and this technical distinction leads to decisive ontological consequences. The latent space of a diffusion model like Stable Diffusion is a space of compressed representation where an encoder projects images after training. Omniverse is not a space of representation but a physical simulation platform that does not compress existing data but constructs environments governed by explicit physical models. Nvidia’s PhysX simulates the dynamics of rigid bodies, friction forces, collisions according to computational approximations of physical phenomena, not according to statistical compressions of observations. The distinction matters: Omniverse does not generate images from learned patterns but calculates physical states from modeled laws.
It is on this ground that Omniverse emerges, operating a further reversal that leads us to the heart of our analysis. The Nvidia platform constructs physically consistent worlds in which artificial agents can act, combining real-time physical rendering, GPU-accelerated physical simulation, and generative AI technologies to create what Nvidia calls digital twins. These virtual replicas of factories, warehouses, and production lines are not mere representations but constitute operational environments where reinforcement learning of robots takes place before their physical materialization. The robot initially exists only as a model in Isaac Sim, Omniverse’s robotic simulation application, where it repeats thousands, millions of attempts, adjusting its parameters and refining its decision policies in Isaac Lab. This framework is optimized for deep reinforcement learning, allowing the use of algorithms like PPO, SAC, or other model-free methods that learn behavioral policies by maximizing accumulated rewards. The robot explores the space of possible actions through trial-and-error and progressively builds a value function that estimates the consequences of its choices. It is only after this exhaustive training in the virtual that the algorithm is transferred to a real mechanical body, and it is precisely this transfer that poses the central ontological question.
This architecture poses the question of sim-to-real transfer with new acuity—the transition from the simulated to the real, which today constitutes one of the major challenges of robotics. How can we ensure that skills acquired in a perfectly parameterizable world can be mobilized in the physical world with its imperfections, its unforeseen events, its material resistances? Sim-to-real research develops techniques of domain randomization where noise, variations, and perturbations are deliberately introduced into the simulation to force the model to learn robust strategies rather than optimal but fragile solutions. But the problem of sim-to-real transfer is not merely technical; it raises a fundamental ontological question that classical philosophy had already encountered in other forms. How can a being transition from one regime of existence to another radically different one? This question evokes the passage from potency to act in Aristotle, the essence-existence relationship in the scholastics, but it is posed here in an entirely new framework. The robot transitioning from simulation to reality does not actualize a pre-existing essence but negotiates with a materiality whose properties can never be completely anticipated by calculation. Real friction coefficients never exactly match the parameterized values; material deformations, mechanical play, signal transmission delays introduce variations that the simulation cannot exhaustively capture.
What is at stake in Omniverse is an unprecedented ontological stratification where the physical world ceases to be the original ground from which everything must be conceived. It becomes the superficial layer, the final deployment of a process elaborated in a prior, virtual, computational stratum. Bernard Stiegler forged the concept of epiphylogenesis to think about this external technical memory that is transmitted from generation to generation and conserves experience in inorganic material supports. The tool, the carved flint, writing constitute tertiary retentions, those traces that allow for the accumulation and transmission of knowledge beyond the death of individuals. Omniverse constitutes a new form of technical retention where the robot training in Isaac Sim accumulates synthetic experience, a memory of movements never performed in the real world but nevertheless effective for its future behavior. This memory is not the recording of past events but the generation of counterfactual possibilities, states of the world that could have existed but never factually did, while remaining statistically probable, physically plausible.
Counterfactuality thus becomes the key concept for understanding what is at stake in this new laboratory configuration. Omniverse environments are counterfactual in the precise sense developed with Yves Citton: they produce states of the world that have never factually existed but remain physically plausible. These counterfactual worlds are neither true nor false but possess the texture of the real without having its factual origin. They obey the laws of physics without being governed by physis in the Heideggerian sense of natural growth. This disjunction between the plausible and the factual opens up a space of undecidability with considerable practical consequences. The robot does not confront a finally true world after leaving a false world but confronts an otherwise consistent world, endowed with a material resistance that calculation can never completely anticipate. The counterfactuals generated by Omniverse do not compete with the factual world to replace it but prepare it, anticipate it, configure it. They constitute a set of possibilities explored before the possible becomes actual.
Heidegger, in his analysis of modern technology, characterizes it by the concept of Gestell, the Enframing that summons nature to deliver its resources and constitutes it as a standing reserve. But Heidegger also develops, notably in his Fundamental Concepts, the idea that all Dasein is a world-configurator: Dasein does not merely exist in a given world but actively configures its world based on a fundamental affective tonality, a Stimmung. This tonality is not an internal psychological state but constitutes the mode on which the world opens up to Dasein, each affective disposition configuring differently what can be encountered, what matters, what threatens. Omniverse radicalizes this configurative dimension by externalizing it into a technical system that no longer merely enframes existing nature but produces synthetic natures that are entirely available. The digital twin anticipates, simulates, optimizes behaviors before they occur in the physical world; technology no longer merely captures what is but preforms what will be. The real world becomes the actualization of a virtual that logically precedes it, and this temporal inversion profoundly modifies what we understand by machine learning.
But who decides what will be thus preformed, and according to what criteria of optimality? This question leads us to examine the power relations that underlie these latent laboratories. Omniverse is not a neutral technology accessible to all: it requires high-end Nvidia GPUs, considerable technical expertise, and costly licenses for industrial deployments. The concentration of this computational power among a few major technological players decisively reconfigures the relations of production. Companies that can afford Omniverse and the associated skills gain a competitive advantage by testing, optimizing, and perfecting their industrial processes in the virtual before any physical investment. This asymmetry of access to latent laboratories widens inequalities between economic actors and transforms simulation into a critical infrastructure whose control becomes an issue of power. The vectoralist class, to use McKenzie Wark’s term, no longer only owns the vectors of communication but now the vectors of simulation, the counterfactual environments where the future configurations of the physical world are elaborated. And what is optimized in these simulations is not just robot trajectories but labor organizations, arrangements of human and machinic bodies, production rhythms. The gestures of human workers can be captured, modeled, and analyzed in these environments before being either reproduced by robots or reorganized according to the efficiency criteria defined by those who control the simulation infrastructure.
This political dimension of simulation brings us back to the phenomenological question of the body, for what is at stake here is precisely the status of the body in these technical configurations. Merleau-Ponty showed that the body is not an object among others but the original locus of spatialization, and that the body schema is not a mental representation of the body but corporeal consciousness in action, a practical knowledge that precedes all objectification. What becomes of this phenomenology of incarnation when the body is first simulated? Does the Omniverse robot possess a body schema in the Merleau-Pontyan sense? Does its knowledge of its motor capacities, acquired through millions of virtual iterations, constitute a form of practical consciousness or does it remain pure computation? The answer is not obvious, because the robot does develop a form of practical knowledge by learning to anticipate the consequences of its movements and adjusting its actions based on simulated sensory feedback. But this knowledge has never been experienced in the flesh; it has never encountered the real resistance of matter. When the robot performs a movement for the first time in the physical world, its sensors detect deviations from expected values, and its control algorithms adjust the motor commands. Can we speak of experience in the phenomenological sense, or simply signal processing? The boundary becomes blurred, and the robot exhibits a form of agency without possessing what we recognize as subjective interiority. This ambiguity forces us to rethink the categories of phenomenology in light of these new technical configurations.
What emerges with these latent laboratories is what we might call a computational reality, and this concept deserves clarification because it does not simply denote a reality produced by calculation but a specific mode of being. A computational reality is a reality whose properties are computationally determined, which exists only in and through calculation, but which nevertheless possesses its own consistency, internal laws, and measurable effects. It differs ontologically from physical reality not because it is less real but because it belongs to another regime of existence where material constraints are replaced by algorithmic constraints, where physical forces are replaced by mathematical models of those forces. In Omniverse, robots evolve in a computational reality where everything is determined by differential equations, collision algorithms, and friction models, and this reality possesses an internal coherence that makes it operational for learning even if it never exactly corresponds to physical reality. Computational reality does not simulate physical reality in the sense of an approximate copy; it constitutes an autonomous world with its own laws, and it is precisely this autonomy that allows the robot to develop transferable skills toward the physical world. Sim-to-real transfer is therefore not the passage from a false reality to a true reality but the negotiation between two heterogeneous regimes of reality, and this irreducible heterogeneity explains why the transfer is never perfect, why there always remains a gap, a remainder, a resistance that calculation cannot anticipate.
Omniverse thus constitutes the latent laboratory in the precise sense that it is both hidden and potential. Hidden because its operation remains opaque to those who use its results—a black box where millions of calculations, renderings, and physical simulations are performed. Latent because it potentially contains all possible configurations, all imaginable arrangements that algorithmic exploration can bring forth. This dual meaning of latent differs from that of the latent space of neural networks: the latent space of image generators constitutes a purely abstract topology, while Omniverse embodies this latency in environments endowed with physical properties and populated by acting agents. The latent becomes no longer just a space of representation but a world of experimentation, a world-configurator in the Heideggerian sense but externalized in a technical system. This transformation of the laboratory into a latent world marks the provisional culmination of a long historical process where experimental science has continually moved away from the natural given to produce its own conditions of exercise. From the Bernardian laboratory where phenomena are isolated to be questioned, to numerical simulation where abstract data is generated, up to Omniverse where complete worlds are constructed to train agents, this distancing is not a loss of contact with the real but the recognition that the real itself is always already technical, that the experience of the world is always mediated by devices, instruments, and prostheses.
What is announced with these latent laboratories may well constitute a new epoch of epiphylogenesis where technical memory no longer merely records and transmits but generates and anticipates, becoming productive and creative of possible worlds that only await their material actualization. But this power must be neither naively celebrated nor abstractly denounced, for it is inscribed in concrete power dynamics that determine who can produce these counterfactual worlds and for what purposes. The political challenge is not to reject these technologies in the name of a nostalgic humanism but to democratize access and contest the uses that reinforce existing dominations. The philosophical challenge is to invent the concepts that allow us to think about these new forms of technicality, these new articulations between the calculated and the lived, the simulated and the experienced, without perpetuating the classic dualisms that oppose the artificial to the natural, the virtual to the real. The Omniverse robots are not less real because they were trained in simulation but manifest another modality of the real, a computational reality that precedes and conditions their physical reality. This multiplicity of reality regimes should not lead us to easy relativism but to an ecology of modes of existence that recognizes the proper consistency of each while questioning the conditions of their coexistence. For what remains constant throughout all these transformations is this tension between the will to configure the world through calculation and the irreducible resistance of matter, between the fluidity of the counterfactual and the opacity of the factual. This tension is not a problem to be solved but the very condition of all technology as well as all thought, the site where our relationship to the world and the possibilities it holds is perpetually negotiated.