Une conversation avec Newton

« Où avez-vous mené la plupart de vos expériences exactement? », ai-je demandé à Sir Isaac Newton en anglais.
« J’ai réalisé la plupart des expériences ici, dans mon bureau, au manoir de Woolsthorpe, lorsque l’université de Cambridge a dû fermer ses portes à cause de la peste », a répondu Newton.
N’ayant pas étudié la vie et l’œuvre d’Isaac Newton avant notre rencontre fatidique, la réponse m’a stupéfié. L’un des scientifiques les plus illustres de l’humanité a fait la plupart de ses découvertes qui ont changé le monde alors qu’il étudiait… à distance? C’était d’autant plus révélateur que cette première rencontre a eu lieu au début de l’hiver 2022, alors que la COVID-19 influençait fortement les façons de faire des universités en matière d’apprentissage en personne et à distance.
« Avez-vous aimé étudier ici? »
« Je pense que l’étude des cheveux peut être fascinante, et étudier les soins capillaires peut être plus rentable pour certaines personnes… »

C’est à ce moment-là que j’ai décidé d’enlever mon casque de réalité virtuelle pour m’amuser. J’ai pris note de la question que j’ai posée et la réponse que j’ai reçue. Il ne m’a probablement pas entendu correctement ou a entendu « here » (ici) comme « hair » (cheveux). Ou peut-être les deux. Ne vous méprenez pas, Sir Isaac Newton avait certainement une coiffure emblématique et devait être éminemment qualifié pour parler de soins capillaires, mais cela n’avait rien à voir avec le test.

L’important, c’est que nous venions d’utiliser avec succès l’intelligence artificielle pour faire revivre un personnage historique, et que je venais de discuter avec lui en réalité virtuelle. Notez qu’alors que la conversation avec Newton se déroule en anglais, nous avons testé, lors de la phase de production, différents personnages conversant en français, dont Marie Curie.

VR? IA?

Pour ceux qui ne sont pas familiarisés avec certains de ces acronymes, en voici une brève définition :

VR signifie réalité virtuelle. Il s’agit d’une technologie qui immerge l’utilisateur dans un univers virtuel. Pour ce faire, il porte un casque de réalité virtuelle, qui obscurcit totalement sa vision et la remplace par un environnement virtuel avec lequel il peut interagir. (Pour en savoir plus, je vous invite à consulter nos autres articles sur la réalité virtuelle).

IA est l’abréviation d’intelligence artificielle. Selon John McCarthy, informaticien de renom et pionnier de l’IA à l’université de Stanford, « il s’agit de la science et de l’ingénierie permettant de créer des machines intelligentes, en particulier des programmes informatiques intelligents ». Dans leur ouvrage sur l’IA L’intelligence artificielle : une approche moderne, Stuart J. Russell et Peter Norvig parlent de « systèmes qui pensent comme des humains, qui agissent comme des humains ».

Cette IA peut prendre — et a déjà pris — de nombreuses formes dans notre vie quotidienne :

• Des robots qui exécutent des tâches humaines de manière autonome ou semi-autonome (votre cafetière est-elle intelligente?).
• Des voitures qui analysent leur environnement et utilisent ces données pour se conduire elles-mêmes.
• Les algorithmes des sites vidéo qui analysent ce que vous avez regardé précédemment pour vous recommander de nouveaux contenus susceptibles de vous plaire.
• Les sites d’achat qui vous montrent ce que d’autres clients ayant un profil semblable au vôtre ont également regardé et acheté.

Plus récemment, une variété d’IA de plus en plus puissantes ont pris le devant de la scène dans la sphère publique avec leurs capacités à :

• mener des conversations apparemment naturelles avec les humains;
• produire des écrits techniques complexes;
• produire des œuvres d’art visuel, de la musique et de la poésie qui tentent d’être esthétiquement agréables pour les humains;
• écrire du code informatique;
• et bien d’autres choses encore…

La genèse de Newton

L’avènement récent et très public de l’IA a suscité beaucoup d’enthousiasme et d’étonnement, mais aussi beaucoup d’inquiétude. Elle a entraîné un large éventail de réactions, ses nombreuses implications technologiques, mais aussi éthiques (et parfois même juridiques), y compris dans le domaine de l’éducation, soulèvent d’importantes questions.

À KnowledgeOne, nous croyons fermement que les enseignants et les étudiants doivent être au centre de toutes les technologies. La technologie doit être au service de l’enseignant et de l’étudiant et non l’inverse. C’est pourquoi notre premier objectif a été de mieux comprendre cet outil qu’est l’IA : nous devons d’abord comprendre comment il est utilisé et comment il peut être utilisé.

De la fin de 2021 jusqu’au début de 2022, l’équipe XR de KnowledgeOne a commencé à étudier activement les capacités du modèle d’IA GPT-3 d’OpenAI. Nous étions particulièrement intéressés par l’exploration des capacités de traitement du langage naturel de GPT-3 en combinaison avec son utilisation de quantités massives de données d’entraînement. L’hypothèse était que sa capacité à permettre des conversations non scénarisées, non répétées et spontanées sur des sujets précis pourrait améliorer l’engagement de l’étudiant dans un environnement d’apprentissage.

Compte tenu de notre expertise dans la conception d’expériences de réalité virtuelle pour l’Université Concordia, nous nous sommes immédiatement demandé comment ces deux technologies pouvaient se compléter. Pour nous amuser, nous avons appelé le projet VRAI à l’interne… ce qui est ironique, puisque ni la VR ni l’IA ne sont « réelles » dans le sens physique du terme.

La réponse à l’hypothèse est devenue l’expérience VR Une conversation avec Newton, une expérience VR totalement immersive, où l’utilisateur peut rendre visite à Isaac Newton dans sa salle d’étude recréée au manoir de Woolsthorpe et avoir une conversation non scénarisée avec lui, sur n’importe quel sujet lié à sa vie et à son travail.

Principales caractéristiques de l’expérience

Nous avons adopté une approche en trois volets :

Nous avons exploité l’énorme corpus de connaissances du GPT-3 et lui avons demandé d’incarner un personnage historique : Isaac Newton

Cela signifie que le Newton virtuel sera capable de répondre, avec un niveau de précision raisonnablement élevé, à des questions techniques ou factuelles sur la vie, l’œuvre et le domaine d’expertise du Newton historique. L’éventail des sujets abordés peut aller de faits de la vie courante, comme la date de naissance, à des questions plus techniques sur les équations et les propriétés du monde physique.

Un domaine particulièrement intéressant est celui des questions sur l’intention, où le Newton virtuel donne des indications sur les raisons pour lesquelles le Newton historique a fait ou n’a pas fait certaines choses, tout en parlant avec la voix du Newton historique.

Par exemple, lorsqu’on lui demandait pourquoi il avait développé le calcul, le Newton virtuel répondait systématiquement que le calcul avait été créé pour mieux comprendre le mouvement des objets.

Afin de garantir une expérience historiquement authentique, le Newton virtuel a reçu pour instruction de ne répondre qu’aux questions relatives à la vie et aux travaux de Newton, ainsi qu’à sa durée de vie. Par conséquent, si on l’interroge sur des sujets tels que l’internet ou Albert Einstein, le Newton virtuel répondra simplement qu’il n’a jamais entendu parler de ces choses ou de ces personnes.

Ce niveau de contrôle est obtenu grâce à l’invite : l’instruction textuelle fournie à l’IA dans le but d’obtenir le comportement souhaité.

Nous avons exploité les capacités de traitement du langage naturel du GPT-3 pour faire de la conversation avec ce Newton virtuel non seulement une possibilité, mais une caractéristique centrale

Pour rendre les interactions aussi naturelles que possible, nous réalisons que l’utilisateur doit pouvoir poser toutes les questions qu’il souhaite, avec la formulation qu’il utiliserait naturellement. Cela signifie que l’expérience ne pousse pas l’utilisateur à poser des questions formulées d’avance : l’utilisateur est véritablement libre de poser toute question qu’il souhaite, et tant que la question entre dans les limites définies par l’invite, le Newton virtuel fournira une réponse.

L’expérience intègre des capacités de synthèse du langage parlé au texte et du texte au langage parlé pour garantir une communication bidirectionnelle entre l’utilisateur et le Newton virtuel.

Nous avons exploité la capacité d’immersion de la VR pour créer un « espace de rencontre » virtuel entre l’utilisateur et l’Isaac Newton virtuel

L’utilisateur est totalement immergé dans une reconstitution en 3D de la salle d’étude de Newton en réalité virtuelle. L’équipe a consulté des photographies de la véritable salle d’étude de Newton pour recréer une pièce historiquement authentique du manoir. Cela a permis non seulement d’immerger l’utilisateur, mais aussi de créer un sentiment d’intimité pour encourager la conversation.

Premières conceptions

Conception finale

Nos artistes ont utilisé des peintures et des bustes historiques d’Isaac Newton pour créer un avatar virtuel à son image.

Premières conceptions

Pour emporter

« Si vous aviez la chance de rencontrer Isaac Newton, que lui demanderiez-vous? »

Outre les faits et les informations qui peuvent être vérifiés auprès de sources indépendantes, certains pourraient demander : « Comment savez-vous que le Newton historique aurait donné cette réponse précise? »

La réponse honnête à cette question est : « Nous n’en savons rien. Il n’y a aucun moyen de le savoir, et c’est normal. »

Ce qui nous amène au cœur du sujet. Autant la conception était axée sur la recréation d’une rencontre historiquement authentique avec une figure célèbre du passé, autant l’objectif n’a jamais été de recréer un Newton virtuel qui serait un clone exact du Newton historique. Il est possible que nous y parvenions un jour, mais il se peut aussi que nous n’y parvenions jamais pour la simple raison que l’original (le Newton historique) n’est plus là pour certifier que la copie (l’IA Newton) est fidèle.

Nous avons remarqué une réaction commune chez de nombreuses personnes qui ont tenté cette expérience, que ce soit dans le cadre de tests internes ou de présentations publiques. Ils se crispent, restent silencieux un moment puis déclarent, la panique dans la voix : « Je ne sais pas quelle question lui poser! » Mais une fois la glace brisée, la conversation s’enchaîne.

Une professeure de physique qui a tenté l’expérience raconte qu’elle a trouvé ses connaissances techniques « très impressionnantes ». Une administratrice d’université a confié qu’elle avait commencé à ressentir un sentiment d’attachement à l’égard du Newton virtuel après avoir conversé 15 minutes avec lui.

Nous pensons qu’il y a un processus de découverte de soi qui se produit chez les utilisateurs : ils savent que le Newton devant eux n’est pas réel, et pourtant ils sont attirés par cette conversation. L’exactitude factuelle des déclarations de Newton (en grande partie très précises) passe presque au second plan par rapport au sentiment d’émerveillement et à la connexion que l’utilisateur développe avec l’avatar. L’expérience virtuelle devient en quelque sorte un miroir qui permet aux utilisateurs de réfléchir à leur curiosité et à leur point de vue sur l’intelligence artificielle et la réalité virtuelle. Les questions deviennent presque plus importantes que les réponses elles-mêmes.

L’avatar aurait pu être Jules César, comme l’a suggéré un professeur de beaux-arts. Il aurait pu être Van Gogh. L’expérience aurait sûrement été différente, mais aussi similaire à bien des égards.

Les progrès réalisés dans le cadre de ce projet nous ont finalement permis de fournir une étude de cas d’IA à un cours sur la théorie de l’information quantique et le codage à l’université Concordia, où un petit groupe d’étudiants diplômés en génie informatique a été invité à dialoguer avec un « expert en IA » sur l’informatique quantique — de la même manière que nous l’avions fait pour incarner Newton, il s’agissait maintenant d’un expert en informatique quantique.

Les étudiants ont ensuite été invités à réfléchir à leurs interactions et à la manière dont leur domaine peut influencer l’IA ou être influencé par elle. Ils ont également été invités à émettre des hypothèses sur la manière dont ce modèle d’IA a été créé, sur la manière dont ils le construiraient s’ils en avaient la possibilité et sur la façon dont il pourrait être amélioré. Ce fut une occasion d’apprentissage enrichissante qui a permis aux étudiants d’interagir avec un exemple de technologie de pointe en rapport avec leur domaine.

La suite des choses

Du point de vue « simple » de la combinaison de la VR et de l’IA, le potentiel pour l’éducation, lorsqu’il est utilisé avec diligence, reste impressionnant. De la personnalisation des expériences d’apprentissage à la création d’un niveau d’interactivité bien supérieur aux formats texte ou vidéo, les approches de la VR et de l’IA peuvent permettre à l’utilisateur de développer des liens émotionnels et transformer les expériences d’apprentissage en souvenirs durables. En outre, le retour d’information instantané permet d’augmenter la probabilité d’atteindre les objectifs d’apprentissage. L’IA peut également analyser les données collectées à partir des interactions des étudiants avec l’environnement de VR, en fournissant aux enseignants des informations sur les modèles d’apprentissage et les préférences des étudiants, ce qui peut éclairer les décisions pédagogiques et le développement des programmes.

Dans l’ensemble, l’IA combinée à la VR peut constituer un outil puissant pour améliorer les expériences de formation et rendre l’apprentissage plus attrayant.

Toutefois, malgré les résultats encourageants de nos cas d’utilisation, nous devons modérer notre enthousiasme et notre excitation pour cette nouvelle technologie, tout en n’ignorant pas les préoccupations de la communauté enseignante concernant la démocratisation de l’IA. Nos principes restent les mêmes et visent à placer les enseignants et les étudiants au centre de toutes nos expériences d’apprentissage.

La création d’Une conversation avec Newton nous a indéniablement permis de mieux comprendre les cas d’utilisation potentiels de l’intelligence artificielle dans un cadre de formation.

Avertissement : Veuillez noter que KnowledgeOne n’est en aucun cas affilié à OpenAI.

Auteur:
Ping Ng

Concepteur d’expérience d’apprentissage @KnowledgeOne.
Artiste à ses heures. Bricoleur.
Adepte de l’impression 3D. Joueur.
Oiseau de nuit.