Le NVIDIA ACE (Avatar Cloud Engine) est une API destinée aux développeurs, conçue pour donner vie aux PNJ (personnages non joueurs) des jeux vidéo grâce à une IA générative. Sa principale nouveauté réside dans sa capacité à utiliser des modèles d'IA pouvant être entraînés sur les personnages du jeu à partir du cloud ou exécutés localement sur un ordinateur personnel.
L'ACE se concentre sur plusieurs domaines, notamment l'animation par IA (Audio2Face), la voix et la traduction par IA (Riva), la description de scènes universelles (OpenUSD) et l'utilisation d'une IA générative pour toute l'interaction (NeMo et ACE Agent).
Cette technologie a été présentée pour la première fois au COMPUTEX 2024, mais a été officiellement lancée lors du CES 2024. L'idée derrière cela est de permettre une interaction complète avec les PNJ, impliquant à la fois du texte et de l'audio, étant donné que l'équipe de NVIDIA a jugé crucial la reconnaissance vocale.
NVIDIA ACE est composé de 3 technologies essentielles :
- NVIDIA NeMo : Fournit les LLM ou modèles de langue de base, ainsi que les outils pour les personnaliser. Avec NeMo, nous pouvons créer un historique pour les personnages, leur donner des personnalités et aligner nos interactions avec des règles programmables.
- Riva : Fournit une reconnaissance automatique de la voix et du texte pour pouvoir interagir avec les PNJ par audio, sans réponses prédéfinies.
- Omniverse Audio2Face : Génère la réponse émotionnelle du PNJ lorsque nous interagissons avec lui d'une manière spécifique. Par exemple, si nous criions sur le PNJ, il serait effrayé ou se mettrait en position défensive. Il se concentre sur les expressions faciales.
Dans sa présentation de 2024, NVIDIA a offert une démonstration dans laquelle elle a travaillé avec Convai pour la rendre possible, une startup de NVIDIA. Cette démonstration est incroyable car le joueur communique par voix avec le PNJ, mais nous ne savons pas s'il improvisait ou posait des questions déjà configurées.
Tout cela en anglais, bien sûr, implique un grand travail d'interprétation et de traduction pour implémenter d'autres langues dans le jeu. Pour l'instant, le NVIDIA ACE peut être demandé en Early Access et il existe déjà plusieurs modèles disponibles.
Aura-t-on besoin de GPU NVIDIA pour faire fonctionner ACE ?
C'est une bonne question, et NVIDIA ne l'a pas clarifiée lors de ses présentations. Nous pouvons penser que ce ne sera pas nécessaire, car l'innovation ne se concentre pas sur les GPU, mais sur les modèles d'IA générative.
Disons que NVIDIA cherche à implémenter une sorte de ChatGPT dans les jeux, où le chatbot serait le PNJ ; cependant, ce n'est pas juste un simple chatbot, mais c'est basé sur la voix, ce qui complique encore plus l'équation.
Le Avatar Cloud Engine doit fonctionner avec le moteur graphique ; implémenter une IA générative dans un jeu vidéo n'est pas une chose simple. Surtout parce que nous interagirons avec de nombreux PNJ, pas seulement un ou deux.
Il est vrai qu'il y a la possibilité qu'ils l'implémentent uniquement avec des PNJ qui sont importants et pas avec le conducteur de bus, par exemple.
Jeux intégrant le NVIDIA ACE
Étant une technologie très récente, les exemples existants sont STALKER 2 Heart of Chernobyl et Fort Solis, mais Ubisoft, NetEase Games, Ourpalm ou Tencent (entre autres) sont en train d'implémenter le ACE dans des jeux à venir.
Nous en saurons plus fin 2024 ou début 2025 pour voir cette technologie appliquée dans un jeu populaire.
Principaux avantages et inconvénients
Nous trouvons différents avantages et inconvénients du NVIDIA ACE, alors voyons comment nous les percevons.
Les avantages : flexible, sécurisé et facile à utiliser
Flexible car il est prêt à être configuré et mis en œuvre localement ou dans le cloud pour n'importe quel PNJ. Cependant, il est utilisé avec Windows.
NVIDIA affirme que la cybersécurité est présente dans les modèles et les microservices qu'ils proposent, en plus de ne pas poser de problème pour être utilisé avec l'Unreal Engine 5.
Facile à utiliser ? Logiquement, ils font référence aux développeurs qui l'utiliseront sans avoir besoin d'un PC monstrueux. Non seulement cela, il existe déjà différents modèles d'IA disponibles avec lesquels on peut "jouer".
Les inconvénients : hallucinations, implémentations et code fermé
Commençons par l'inconvénient le plus évident : les incohérences. En utilisant une IA générative dans un bot pour répondre aux demandes, le risque d'incohérences est présent. Par là, je ne veux pas dire que le PNJ devient fou, mais plutôt qu'il offre des réponses incohérentes avec ce qui est demandé.
Cela se produit déjà dans des modèles d'apprentissage automatique vraiment bons, donc ce n'est pas à négliger dans une technologie qui vient de commencer.
En ce qui concerne l'implémentation, nous dépendons encore des studios qui veulent l'intégrer dans leurs jeux pour la voir "appétissante". La marque affirme que c'est facile à mettre en œuvre, mais ne parle pas du coût pour les studios.
En finissant avec le code fermé, c'est une politique habituelle chez NVIDIA : on ne peut pas accéder à leur code pour le développer ou contribuer.
Conclusion rapide sur l'Avatar Cloud Engine
Cela pourrait changer radicalement le gaming, notre façon de jouer et être une révolution dans les jeux, mais cela va coûter cher. Il y aura des jeux où ce sera plus évident et d'autres où cela ne sera pas aussi présent, car ce n'est pas la même chose un jeu avec un monde ouvert qu'un jeu en 2D.
Jusqu'à présent, l'interaction avec les PNJ était très limitée, ce qui nuisait à l'expérience dans de nombreux cas. NVIDIA ACE pourrait être la solution, et une fois de plus montre que NVIDIA ne se concentre pas seulement sur la vente de ses technologies, mais cherche également des solutions.