[ENTREVUE] La réalité virtuelle dans l’apprentissage vue par un expert d’Ubisoft

Nous avons rencontré Olivier Palmieri, directeur de L’Atelier XR et directeur de Jeu chez Ubisoft Montréal, pour discuter de réalité virtuelle et de réalité augmentée, notamment de leurs derniers développements et de leurs applications actuelles et à venir comme outils d’apprentissage. Voici le premier entretien de la série.

M. Palmieri œuvre dans l’industrie du jeu vidéo depuis plus de 20 ans. Il a travaillé sur divers projets dont la série Rayman, Ghost Recon, Assassin’s Creed et Far Cry. Il est le créateur du premier jeu de réalité virtuelle publié par Ubisoft, Eagle Flight, qui a remporté un prix D.I.C.E. 2017 pour sa réalisation technique en réalité immersive.

On entend de plus en plus parler du potentiel de la réalité augmentée (RA ou plus couramment AR) pour la formation. S’y prête-t-elle mieux que la réalité virtuelle (RV ou plus couramment VR)?

Je ne dirais pas que l’une des deux technologies se prête mieux à la formation que l’autre. Elles ont chacune leurs avantages et leurs inconvénients, mais c’est surtout qu’elles sont pertinentes dans des cas différents. Les médias aiment bien donner l’impression que la RA et la VR se font la guerre, que l’une finira par prendre le dessus sur l’autre, mais ce sont deux technologies sœurs. Elles pourront d’ailleurs être expérimentées dans le futur avec la même paire de lunettes qui laissera plus ou moins passer la lumière pour qu’on puisse voir notre environnement immédiat.

La VR nous coupe du monde réel, on est projeté ailleurs, alors que la RA ajoute des éléments d’information par-dessus notre environnement réel. La RA et la VR ne sont pas concurrentes, mais complémentaires; c’est comme ça qu’il faut les voir d’après moi. Dans le cadre d’une formation, on peut par exemple recourir à la RA pour la partie apprentissage « hors contexte », puis faire appel à la VR pour la pratique « en contexte ».

En formation, dans quels cas est-ce pertinent d’opter pour la AR et dans quels cas est-ce mieux d’opter pour la VR?

L’avantage de la AR c’est qu’on est pas coupé du monde. On reste dans notre monde réel qui s’enrichit d’informations, de personnages, d’explications pour nous permettre d’apprendre là où on se trouve ou sur les éléments qui nous entourent. On peut apprendre, par exemple, à dépanner un tuyau de plomberie en voyant des explications se superposer au tuyau qui est devant soi. Dans un autre contexte, un groupe de gens en réunion autour d’une table ayant chacun leurs lunettes de AR peuvent faire apparaître des éléments virtuels sur la table; chacun voit les éléments et peut interagir avec eux.

Par contre, si on veut apprendre à maîtriser des tâches dans un environnement qui n’est pas accessible dans l’immédiat, il faudra qu’on s’y projette virtuellement, et dans ce cas-là on fera appel à la VR. C’est la même chose si on doit s’entraîner dans un environnement à risque, comme doit le faire un pompier, par exemple. Le fait d’être projeté dans un autre monde, dans le monde dans lequel on va devoir agir éventuellement et d’y vivre une vraie expérience immersive ça revêt un réel intérêt pour l’apprentissage.

Qu’entendez-vous au juste par « réel intérêt pour l’apprentissage »?

Quand on a vécu quelque chose, on en a une mémorisation et une compréhension plus profondes. Pour l’avoir expérimenté, l’apprentissage qui se fait en VR vaut mille mots. Il va selon moi au-delà de ce que n’importe quel autre média peut offrir. Je vais vous raconter une anecdote que je partage souvent. Dans le cadre de mon travail, j’ai eu à me rendre chez un développeur de jeux vidéo. Quand je suis arrivé sur les lieux, j’ai eu une forte sensation de déjà vu, je me disais « je suis certain d’être déjà venu ici, mais je n’y ai jamais mis les pieds… » Je ne comprenais pas ce qui se passait. Je reconnaissais les choses, je comprenais les dimensions, les espaces; ce n’est même pas que je réfléchissais, c’est mon corps, mon cerveau qui me disaient de manière inconsciente « oui, tu es déjà venu ici, tu reconnais les lieux, tu reconnais les espaces ».

Après coup, je me suis rappelé que j’avais visité ce lieu en VR; ça avait donc imprimé des souvenirs, une compréhension de l’espace dans ma mémoire, dans mon subconscient, qui a resurgi. Si j’avais vu une photo ou si on m’avait décrit le lieu, mon cerveau ne m’aurait pas dit la même chose de manière subconsciente. Je suis assez persuadé de l’efficacité de la VR pour nous entraîner, pour apprendre des choses et les imprimer dans notre mémoire.

J’ai une autre anecdote. Il y a une expérience virtuelle qui existe depuis longtemps qui s’appelle Titans of Space — en français Les Titans de l’espace —, qui nous permet d’explorer l’espace et de mieux comprendre le système solaire. À un certain moment de l’expérience, on nous amène à comparer la taille du soleil avec celle des autres étoiles hypergéantes de l’univers. Il faut pencher sa tête pour commencer à percevoir l’entièreté de chaque étoile par rapport au soleil, qui se trouve déjà dans notre champ de vision. Cette expérience-là, que j’ai faite il y a longtemps, je m’en souviens aujourd’hui comme si c’était hier! Je me souviens de l’immensité de telle étoile par rapport au soleil. Si j’avais lu dans un livre « cette étoile est un million de fois plus grosse que le soleil », je ne me souviendrais pas du chiffre. D’ailleurs, je me souviens pas du chiffre; ce qui est important c’est que je me souviens de la taille de l’étoile par rapport à celle du soleil. Et ça, c’est imprimé dans ma mémoire! Il n’y a pas de limites aux apprentissages qu’on peut faire avec la VR… on peut aller sur la planète Mars comme au sommet du Machu Picchu!

On parle beaucoup d’intelligence artificielle (IA). L’IA a-t-elle quelque chose à apporter à la VR dans les prochaines années?

Tout à fait et à plusieurs niveaux, mais je me concentrerais sur un exemple : une recherche que j’ai lancée dans le cadre du XR Workshop. On a fait une recherche avec un groupe d’étudiants de l’Université Concordia qui veulent travailler à mieux comprendre l’IA et ce qui l’entoure. Je leur ai demandé d’essayer de concevoir des personnages virtuels « capables » de créer une connexion sociale avec l’utilisateur. Il faut savoir que les manettes et le casque de VR détectent avec une très grande précision les mouvements et l’orientation dans l’espace : ils détectent des mouvements de moins d’un millimètre et des changements d’orientation de quarts de degrés.

Mon but c’est qu’on explore les possibilités de l’IA en lien avec la VR pour mettre au point des personnages virtuels, des personnages historiques ou connus par exemple, qui peuvent regarder et analyser la manière dont l’utilisateur humain agit. Grâce à l’IA, le « personnage » pourrait analyser le comportement de son interlocuteur en se demandant : « Me regarde-t-il dans les yeux? Si oui, dans quel œil? Est-ce que par moments il regarde ailleurs? Si oui, où? De quelle façon réagit-il? Comment parle-t-il? Est-ce qu’il s’approche? S’éloigne? etc. »

Les personnages virtuels réagiraient donc différemment en fonction de chaque utilisateur?

Oui. Chaque utilisateur vivrait une expérience unique, qu’il saurait différente de celle des autres. Une Cléopâtre pourrait me parler de différents sujets selon si je la regarde dans les yeux, si je regarde la pyramide ou si je regarde le Sphinx. Dans le dernier cas, elle me dirait : « Je vois que tu regardes le Sphinx, sais-tu que le Sphinx a été construit de telle et telle façon… » À un autre visiteur qui n’aurait pas regardé le Sphinx à ce moment-là, elle n’aurait pas forcément dit la même chose. Si je passais mon temps à regarder ailleurs, elle pourrait me demander : « Est-ce que c’est dans tes habitudes d’éviter de regarder les personnes à qui tu parles? » Ce genre de reconnaissance de soi, de ce qu’on fait, l’idée que tout à coup un personnage d’IA ait en quelque sorte un petit peu la conscience de qui on est, de la façon dont on réagit, ça créerait une vraie connexion, une dimension sociale.

Ce serait très intéressant de faire ça, notamment de rencontrer des personnages historiques ou connus. C’est un peu un rêve que j’ai, moi aussi, de rencontrer en VR une Cléopâtre, un Einstein, une Marie-Curie. Je voudrais avoir comme professeure Marie-Curie ou Einstein; qu’ils m’expliquent comment ils ont fait leurs découvertes, qu’ils m’apprennent des choses. Qu’on n’ait pas juste affaire à une vidéo, à personnage qui parle dans le vide, mais que le personnage ait la reconnaissance de notre personne et qu’il réagisse par rapport à ça. Et là aussi, ça crée une connexion sociale.

L’idée de créer une connexion sociale revient souvent dans votre discours sur la VR…

On entend souvent dire que la VR ça enferme, ça rend asocial, que ça coupe des liens sociaux… chose à laquelle je ne crois pas. D’ailleurs, quand Facebook a racheté Oculus, Mark Zuckerberg a dit de la VR qu’elle deviendra la plateforme la plus sociale qu’on ait jamais eue au monde, notamment parce qu’à travers elle on va pouvoir se voir, voir des êtres virtuels qui vont nous parler, qui vont avoir une reconnaissance, qui vont interagir avec nous, etc. Cet aspect-là ne viendra pas forcément tout de suite, mais je pense qu’il est intéressant. Et l’IA, qui est bouillonnante en ce moment, notamment à Montréal, est au cœur de ce développement-là. Dans ce cas-ci aussi, soit on reste spectateur et on regarde passer tout ça, soit on saute dans le train!