Depuis l'introduction des technologies immersives sur le marché grand public, débutant plus sérieusement en 2016 avec la sortie du système de réalité virtuelle (RV) Vive à l'échelle de la pièce (room-scale) de HTC et de Valve, les technologies immersives ont offert un potentiel créatif incroyable pour de nouvelles œuvres artistiques et narratives.

Les technologies immersives couvrent désormais une gamme de technologies, telles que la réalité virtuelle à l'échelle de la pièce (room-scale), pour l’ordinateur de bureau et avec un suivi à l'intérieur comme à l'extérieur (inside-out); la réalité augmentée (RA) avec téléphone et casque; la vidéo à 360 degrés; et la réalité mixte. De plus, au sein de chacune de ces technologies réside la capacité pour un contenu interactif et passif.

Malgré ses applications à la croisée des disciplines, les technologies immersives ne sont pas encore largement intégrées dans la pratique des artistes et producteurs de contenu. Les obstacles à l'adoption comportent le coût relativement élevé de l'équipement de production, les nouveaux courants technologiques en constante évolution et le manque de possibilités de formation appropriées axées sur les arts.

L'association professionnelle ontarienne Interactive Ontario (IO) a reconnu ce défi. Avec son collaborateur national, le Conseil des ressources humaines du secteur culturel (CRHSC), un financement a été obtenu par l'entremise du Conseil des Arts du Canada pour offrir un programme de 5 jours à 20 participants en 2019. Le programme a été offert à Toronto par Dames Making Games (DMG ) et Gamma Space Collaborative Studio, des centres d'artistes à but non lucratif basés au Toronto Media Arts Centre (TMAC). Il a été rendu possible grâce au soutien de l'Association canadienne des producteurs médiatiques (CMPA) et de l'Actra Fraternal Benefit Society (AFBS).

Depuis 2012, DMG propose des formations gratuites, immersives et interactives aux artistes marginalisés, en utilisant une approche facilitatrice dirigée par les pairs : des ateliers de courte durée axés sur des exercices pratiques dans divers formats, un soutien direct professionnel et de la communauté, et un équilibre entre le travail en groupe et le travail en solo déterminé par les participants. Ces programmes intensifs ont permis la création de centaines de jeux vidéo, de technologies portables, d'œuvres narratives linéaires et de nouveaux outils et plateformes d'action sociale.

Cette approche aide les artistes et les producteurs de diverses disciplines à acquérir rapidement de nouvelles compétences en appliquant leur vision créative individuelle et leur pratique artistique existante. Cela fournit une base pratique pour tirer avantage des possibilités élargies de narration offertes par la technologie immersive et interactive.

Deux facteurs clés du succès d'un programme visant à remédier à la faible utilisation des technologies immersives par les artistes sont le choix de la bonne technologie immersive et la création d'un cadre de formation accessible, dispensée dans un environnement d'apprentissage favorable. Ces questions sont abordées en détail ici et fournissent un plan directeur pour de futures initiatives. Le programme s'appuie sur un enseignement compétent et des mentors experts pour soutenir les participants tout au long des étapes d'apprentissage, du premier aperçu à l'expertise. À la lumière de la crise COVID-19, qui a un impact sur toutes les sphères d'activité, la possibilité de dispenser ce programme d'apprentissage à distance a été envisagée.

Sélectionner la bonne technologie immersive

Les efforts de promotion et de recrutement

d'IO et du CRHSC ont révélé un intérêt marqué de la part des cinéastes intéressés par l'exploration des technologies immersives. Dix-huit des vingt participants au programme étaient impliqués dans le secteur du cinéma. Tous les participants avaient une expérience de la production de médias numériques ; deux avaient travaillé directement avec les technologies immersives, et un autre avait une implication continue. Le groupe représentait un mélange varié de compétences, de ressources, de réseaux et d'expériences.
Le programme a mis l’accent sur la nécessité de combler les lacunes dans les compétences des participants tout en leur permettant d'ancrer le contenu et les méthodes d'expression de leurs projets dans leur pratique artistique.

Bien qu'un large aperçu des technologies ait été présenté pendant le programme, les technologies sélectionnées par les coordonnateurs pour l'enseignement pratique devaient soutenir :

Une itération et des tests rapides. Attendre que les projets se compilent et se chargent sur un appareil ralentit le processus d'apprentissage et peut être distrayant. Par exemple, les plateformes mobiles telles que la RA sur Android et iOS, nécessitent de multiples étapes laborieuses afin de tester les changements.

Une production de contenu avec les compétences existantes. La RV exige de travailler avec des éléments déjà existants (pre-made assets) ou d'apprendre à créer des modèles 3D à partir de zéro, ce qui constitue un obstacle technique.

La collaboration. Les outils sélectionnés devaient être adaptés à de petits groupes pour qu'ils puissent travailler avec une seule base de code et une seule bibliothèque de ressources numériques.

Vidéo volumétrique interactive : où la vidéo rencontre le jeu vidéo

La vidéo volumétrique répond à tous les critères ci-dessus. De plus, il existe une expertise unique au sein de la communauté de DMG, notamment des artistes et des mentors techniques ayant des années d'expérience dans l'utilisation de cette technologie.La vidéo volumétrique implique la capture d'une performance ou d'un lieu dans un espace tridimensionnel. Les données capturées contiennent des informations spatiales, ainsi que de la vidéo, et peuvent être visualisées sur des écrans 3D, des casques de RV et même des écrans plats traditionnels - mais sans transmission d'informations de profondeur.

Quelques avantages de la vidéo volumétrique :

  • Utilise des clips vidéo pour les acteurs, les accessoires et les autres éléments dans une scène virtuelle
  • Les clips vidéo peuvent être édités avec des logiciels facilement accessibles
  • Permet d'explorer l'interactivité dans des logiciels de moteurs de jeux largement utilisés et bien documentés
  • Des éléments originaux peuvent être créés sans modélisation 3D
  • Peut répartir les tâches de production auxiliaires, telles que l'écriture, l’édition vidéo et la conception sonore, sur des installations informatiques moins puissantes

Quelques inconvénients :

  • Ne permet pas de traduire les techniques traditionnelles de production cinématographique, telles que le cadrage et le plan sur plan
  • Nécessite la connaissance d'un logiciel de moteur de jeu si l'interactivité est désirée
  • Nécessite un équipement spécialisé de capture de profondeur et un espace physique pour les accessoires et les acteurs

Son potentiel à équilibrer les priorités de facilitation de la DMG et l'objectif d'IO de soutenir la créativité artistique avec des technologies immersives a fait de la vidéo volumétrique le choix technologique idéal.

Mise en oeuvre du programme

Une fois la technologie choisie, DMG a adapté le plan de mise en oeuvre et le programme d'études pour IO, le CRHSC et les participants.

Format

Le programme intensif s'est déroulé sur cinq jours, du 25 au 29 novembre 2019, dans les locaux de DMG, en classe et en studio. Chaque journée d'atelier a duré huit heures, temps de pause compris.

Chaque journée a commencé par des instructions et des présentations le matin, suivies d'exercices pratiques et de production en studio l'après-midi.

Après le premier jour d'introduction, les participants se sont organisés en groupes de quatre après s'être présentées entre eux des idées de conception narrative et d'interaction. Cela soutenait l'approche de DMG en faisant place à la participation autodirigée et à l'apprentissage par les pairs, car les individus recherchaient des ensembles de compétences et des expériences complémentaires dans leurs groupes.

L'environnement d'apprentissage

L'accès à l'éducation varie considérablement selon les situations des groupes marginalisés. DMG a pour mandat explicite d'assurer une participation diversifiée à tous les programmes qu'elle met en œuvre.

Un environnement d'apprentissage efficace commence par un espace qui donne explicitement la priorité au bien-être et à la sécurité des participants. Les participants qui ont moins d'expérience, moins de ressources et qui ont toujours été confrontés à des obstacles dans les espaces technologiques en raison de leur sexe, de leur couleur, de leur orientation ou de leur identité culturelle doivent bénéficier d'un accès équitable à l'enseignement, au matériel, à l'équipement et à des commentaires afin de s'engager pleinement dans un environnement d'apprentissage et d'en tirer profit.

IO et le CRHSC ont rejoint les producteurs de médias numériques par l'intermédiaire de leur réseau industriel. DMG rassemble les personnes LGBTQ+ et les personnes marginalisées par leur sexe, c'est pourquoi son action s'est concentrée sur ces groupes identitaires.
Offrir un accès équitable signifie supprimer intentionnellement les obstacles auxquels les groupes marginalisés sont fréquemment confrontés : la garde d'enfants, la sécurité alimentaire et le transport.

Afin de réduire les obstacles à l'accès des personnes confrontées à des difficultés socio-économiques, des subventions pour le transport, le voyage et l'hébergement ont été offertes à tous les participants. Des repas et des collations ont été fournis à tous les participants, et tous les besoins alimentaires ont été pris en charge. Les candidats ont été invités à demander tout autre accommodement dont ils avaient besoin.
Afin d'assurer le maintien de cet environnement tout au long du programme, cet objectif a été rendu explicite dans les documents et les présentations, et des formateurs de confiance qui soutiennent ces valeurs dans leur travail et leurs interactions ont été sélectionnés. En outre, les participants, les facilitateurs, les mentors et les intervenants se sont vu rappeler régulièrement le code de conduite de DMG, qui a été affiché dans l'espace physique et mis à disposition en ligne.

Le fait de situer le programme dans un hub de création a permis aux participants de s'engager auprès d'une communauté plus large d'artistes dont les intérêts et les spécialités se chevauchent. Les visiteurs, les personnes participant à des ateliers avec d'autres organismes artistiques et les membres professionnels travaillant dans des espaces adjacents ont eu de nombreuses occasions de participer organiquement en communauté, de discuter et de tester. L'accès sans contraire à tous les espaces et équipements pertinents du centre a permis aux participants de bénéficier d'une liberté créative et d'un sentiment d'appropriation lors de l'expérience d'apprentissage.

Accéder aux ressources

Un obstacle majeur à la participation à des programmes à haute intensité technologique est la disponibilité d'équipements spécialisés.

Le TMAC s'est appuyé sur les réseaux de ses membres pour développer des relations avec les fabricants d'équipements, les détenteurs de matériel et de plateformes, et les concepteurs de logiciels afin de sécuriser des équipements et des licences de logiciels gratuits. En accédant à ces relations, une partie importante du budget du programme pourrait être allouée aux ressources humaines et aux coûts associés au soutien direct des participants.

Par exemple, DMG a pu rapidement sécuriser deux postes de travail de capture vidéo volumétrique d'AMD, deux nouveaux casques de RV supplémentaires d'Oculus, et Xbox Kinects par le laboratoire game:play de l'OCADU.

Fournir des stations de travail capables de RV et des stations de capture vidéo volumétrique peut être difficile pour les petits groupes car ce matériel n'est pas facilement disponible à la location - ou abordable à l'achat - dans la plupart des régions du Canada.

Facilitation

Le programme a été mené par deux facilitateurs principaux :

  • Max Lander, un artiste visuel et développeur de RV spécialisé dans la capture volumétrique et l'interactivité dans les environnements immersifs, a dirigé l'élaboration et la mise en œuvre du programme d'études.
  • Henry Faber, directeur de Gamma Space, a coordonné les aspects techniques du programme, a recruté des mentors et des intervenants et a fourni une expertise de l’industrie.

Lander et Faber possèdent des connaissances approfondies dans les domaines clés du programme d'études, notamment

  • État des plateformes et des outils de production et de distribution
  • Connaissance des filières de production expérimentale et commerciale
  • Expertise technique en matière de RV et de vidéo volumétrique
  • Connaissance des opportunités de financement, de développement commercial et de publication

Mentors

Les membres de DMG sont une source importante de mentors expérimentés. Grâce à une formation semi-formalisée et à des programmes annuels qui cultivent une culture de mentorat mutuel, DMG soutient un groupe de plusieurs centaines de praticiens hautement qualifiés et engagés.

Six mentors ont soutenu le programme en personne et via des outils de communication en ligne - pendant les ateliers ainsi que pendant les heures de studio :

  • trois généralistes de Unity ayant une expérience de RV
  • un concepteur narratif
  • un concepteur sonore
  • un spécialiste de la capture vidéo volumétrique

Intervenants de l'industrie

IO a mis à disposition des professionnels de l'industrie de son réseau, qui ont donné des conférences sur leurs projets, leurs succès dans l'industrie, ainsi que sur les applications adjacentes des technologies immersives. Ils ont complété la base de connaissances des facilitateurs et ont contribué à fournir un contexte industriel supplémentaire.

Faire sortir les participants de leur zone de confort

Faire sortir les participants de leur zone de confort peut être un défi dans tout programme d'enseignement. Pour les artistes, apprendre à utiliser une nouvelle technologie conçue pour des utilisateurs et des applications industrielles et commerciales peut sembler particulièrement difficile. Cependant, les artistes sont bien adaptés à l'expérimentation et au bricolage, et avec un cadre approprié, les possibilités des technologies immersives peuvent conduire à des percées créatives qui ne seraient pas possibles avec les médias traditionnels.

Des facilitateurs ayant une expérience directe de la création d'œuvres immersives et interactives, une abondance d'exemples avec lesquels les participants peuvent expérimenter directement et un environnement qui encourage l'exploration sans crainte favoriseront le succès d'un programme qui cherche à faciliter le processus d'apprentissage des participants.

Pour le programme Les arts au futur d'IO et du CRHSC, cela signifiait assurer ce qui suit :

  • De nombreux exemples et possibilités d'essayer diverses technologies immersives dans le contexte du programme par les facilitateurs
  • Présentations par des personnes et des organisations travaillant actuellement sur des projets immersifs
  • Des vérifications fréquentes et individuelles par des facilitateurs et des mentors pour anticiper et résoudre les obstacles et fournir une caisse de résonance créative
  • Discussions de groupe sur le travail actuel des participants (par exemple, les films en production) et établissement de liens avec les thèmes abordés dans le programme
  • Un accent sur les tests réguliers et le retour d'information par les pairs Les facilitateurs ont également fait la démonstration de techniques de dépannage et de recherche méthodique pour permettre aux participants de s'instruire lorsqu'ils ne bénéficient pas d'un soutien direct :
  • Comment et quand utiliser les moteurs de recherche, la documentation officielle et les tutoriels de la communauté d’utilisateurs pour lancer des projets, résoudre des problèmes et trouver de l'inspiration
  • Développer une littératie spécifique à chaque média afin d'explorer de manière critique les projets de RV commerciaux et artistiques, les flux et les vidéos « Let's Play ».
  • Comment trouver et intégrer les éléments et ressources précompilées du Unity Asset Store et de GitHub

Configuration et outils

Outils

Chat

Un canal Slack a été créé au sein de l'équipe Slack existante de DMG pour que tous les participants, facilitateurs et mentors puissent discuter entre eux et partager des ressources tout en travaillant. Les participants ont été invités à se présenter sur le canal avant le premier jour du programme. Un canal privé séparé pour les mentors et les facilitateurs a été utilisé pour une coordination discrète pendant le programme, des conversations administratives opportunes et un partage rapide des liens et des ressources en coulisses.

Gestion du projet

Basecamp a été utilisé par les facilitateurs pour coordonner la préparation de l'équipement, la programmation et d'autres exigences quotidiennes.

Présentations

Les formateurs ont partagé des présentations Google Slides pour éviter de devoir changer l'ordinateur connecté au projecteur, et réduire les périodes de transition et les temps d'arrêt. Tous les présentateurs ont envoyé leur matériel par courriel ou ont utilisé Slack pour l'envoyer au coordonnateur un jour avant le début du programme afin d'éviter les retards et les problèmes de coordination des diapositives.

Exemples de projets

Des jeux et des expériences immersives ont été téléchargés de Steam et de l'Oculus Store avant le premier jour du programme.

Configuration de la salle de classe

Les bureaux étaient disposés en cinq groupes de quatre pendant les activités de studio et de production. Pendant les présentations, ils ont été déplacés en rangées ou en forme de U pour que tous les participants puissent voir le présentateur et l'écran.

Comme les présentations comprenaient l'affichage de code et un environnement de développement, un projecteur lumineux était nécessaire pour la lisibilité. Le code de travail a été fourni via Slack et en utilisant un environnement de collaboration (par exemple, Glitch ou VS Code Live Share) pour renforcer la visibilité du contenu qui aurait pu être difficile à suivre sur un écran distant.

Équipement

  • Quatre ordinateurs d'entrée de gamme compatibles avec la RV (carte graphique AMD RX480 minimum) pour les participants, avec des écrans de 23 pouces (taille minimum) et une connectivité WiFi
  • Quatre casques d'écoute Oculus Rift, quatre paires de contrôleurs Oculus Touch

Logiciels

Quatre applications logicielles gratuites étaient préinstallées sur les ordinateurs :

Unity Hub Unity Hub a été installé sur chaque machine avec la dernière version de Unity. Hub permet d'installer simultanément des versions plus anciennes de Unity, ce qui peut être utile pour accéder à des versions plus anciennes ou bêta requises par certains tutoriels ou fonctionnalités de pointe. Bien que notre atelier se soit concentré sur l'utilisation du casque Oculus Rift, il est recommandé d'installer les derniers outils Android lors de l'installation d'Unity pour la compatibilité avec les casques Oculus Quest.

[Oculus SDK pour Unity](https://developer.oculus.com/downloads/unity/](https://developer.oculus.com/downloads/unity/) Le paquet d'intégration Oculus pour Unity est téléchargeable sur le site Oculus et est également disponible sous forme de plugin dans le Unity Asset Store. Le fait qu'il soit préinstallé pour les participants permet de consulter rapidement les résultats de leur travail en RV en quelques minutes.

Depthkit) DepthKit est utilisé pour la manipulation des niveaux de profondeur et le masquage vidéo post-capture. Bien qu'il soit principalement utilisé dans des configurations de studio, des paramètres supplémentaires peuvent être modifiés avant l'importation dans Unity pour des résultats plus précis.

Modèle personnalisé de démarrage d'un projet dans Unity Un exemple de scène a été préparé à l'aide du plugin Depthkit, d’un exemple de vidéo volumétrique et de scripts personnalisés afin de fournir aux participants un point de départ accessible pour réaliser leurs projets. Les participants ont pu déposer leurs médias nouvellement capturés dans cette scène et la rendre instantanément interactive en RV, tout en recevant quelques introductions simples à la création de scripts. Le projet peut être téléchargé à partir du lien GitHub ci-dessus et ouvert dans Unity tel quel.

Facultatif

Bien qu'il n’était pas nécessaire pour les participants d'apporter leur propre ordinateur portable, beaucoup l'ont fait, ce qui leur a permis d'écrire, d'éditer des fichiers audio et vidéo, d'utiliser Adobe Creative Cloud et Blender pour les modèles 3D s'ils étaient intéressés.

L'enseignement de l'utilisation de ces outils dépassait le cadre du programme intensif, mais de nombreux participants étaient à l'aise avec diverses applications qui les ont aidés à créer leurs projets.

Le fait d'encourager les participants à apporter les outils avec lesquels ils étaient confortables les a aidés à se concentrer sur les aspects peu familiers de la production.

Configuration du studio

Deux studios différents ont été créés avec trois configurations de capture : la Gamma Gallery sans fenêtre du Gamma Space et le studio multifonctionnel de l'Expansion Space du TMAC, avec des fenêtres allant du sol au plafond sur le mur du côté est pour la lumière naturelle.

Trois installations ont permis d’enseigner et de créer simultanément selon les besoins, tandis que deux options d'éclairage différentes ont offert les possibilités d'éclairage naturel et de studio selon les nécessités des projets.

Équipement

  • Trois ordinateurs fonctionnant sous Windows et répondant aux spécifications minimales recommandées par Depthkit, que l'on peut trouver à l'adresse https://docs.depthkit.tv/docs/equipment
  • Trois écrans pour le monitorage de l'enregistrement
  • Deux ensembles de panneaux lumineux à LED pour l’éclairage de l’action, par exemple les panneaux bicolores Dedo Felloni : https://www.dedocanada.ca/wp-content/uploads/2018/08/FL_Felloni-Turbo-Dedolight-Catalog.pdf. Toutes les lumières de taille, de luminosité et avec des sorties similaires peuvent convenir.
  • Trois capteurs Xbox Kinect 2. Ils sont généralement disponibles de seconde main, mais nécessitent le connecteur pour PC approprié. La liste complète des caméras compatibles avec le Depthkit est disponible sur https://docs.depthkit.tv/docs/cameras-equipment.
  • Une connexion Internet sans fil pour télécharger les mises à jour et transférer des fichiers plus petits.
  • Trois disques Toshiba USB-C SSD. Cela permet le transfert rapide des vidéos capturées vers les machines de RV sans que le réseau ne soit un goulot d'étranglement.

Logiciels

  • Le logiciel DepthKit a été utilisé pour capturer des vidéos volumétriques. Son utilisation est gratuite pour les clips courts, tandis que l'abonnement Pro offre une durée d'enregistrement plus longue et des options de masquage intégrées plus sophistiquées pour le travail sur écran vert.
  • Dropbox permet de transférer rapidement les paramètres du facilitateur si nécessaire.

Activités du programme

Jour 1

**Matin : ** Survol de la technologie de réalité étendue avec des exemples de membres de l'industrie

Dans la salle de classe de DMG, les facilitateurs ont amorcé le programme en présentant un aperçu des technologies actuelles, y compris la RV, la RA et la réalité mixte. Ils ont notamment abordé les coûts associés à la production, la taille de l'audience de chaque plateforme et les considérations en matière d’accessibilité.

Des exemples commerciaux et expérimentaux de projets de réalité étendue ont été présentés par :

  • Faber et Lander, en tant que producteurs et artistes indépendants
  • Alex Bethke et Mark Cautillo de Sinking Ship Entertainment
  • Wayne Shipley de Stitch Media

Max Lander + Pyramid Attack - Night of the Living Dead RV

Sinking Ship - Dino Dana

Après-midi : Introduction à la vidéo volumétrique

Les participants étaient encouragés à essayer diverses démos fournies par des intervenants du secteur, ainsi que des jeux et des expériences sélectionnés par les facilitateurs.

Bien que la plupart de ces démos ne soient pas disponibles sur une plateforme publique, des exemples de vidéos volumétriques réalisées avec Depthkit peuvent être trouvés en ligne :

Au cours de la session de l'après-midi à la Gamma Gallery, la Dre Cindy Poremba de l'OCADU a fait une démonstration pratique des principes de la capture vidéo volumétrique et a présenté des œuvres en RV qui utilisent cette technologie.

L'après-midi s'est terminé par une démonstration de la manière dont les clips vidéo volumétriques peuvent être facilement importés dans Unity avec le plugin Depthkit. Depthkit fournit une documentation complète pour la mise en place et la capture de vidéos volumétriques, ainsi que pour l'importation de ces vidéos dans Unity à l'aide du plugin Depthkit Unity : What is Volumetric Filmmaking? (Qu’est-ce que la vidéo volumétrique ?)

Jour 2

Matin : Atelier de conception narrative

Dans la salle de classe de DMG, les participants ont reçu des exemples et ont appris des techniques pour développer une narration interactive (histoire à embranchements) et une narration spatialisée par l'artiste Kylie Caraway.

Les points clés qui ont été abordés incluent :

  • Intrigue - récit linéaire ou non linéaire
  • Contexte - le temps et le lieu, le monde du récit et ses règles
  • Personnages
  • Point de vue - subjectivité et cinématographie
  • Genre, humeur, ton et thèmes
  • Style - couleurs, esthétique visuelle et audio
  • Expérience - structure linéaire ou non linéaire
  • Présence - incarnation, point de vue et subjectivité
  • Agentivité - influence sur le récit et/ou les résultats, mobilité
  • Immersivité - points d'intérêt, son spatialisé et réactivité

Les participants ont été invités à concevoir un récit et à l’élaborer dans un espace interactif tridimensionnel appelé Storyboarding in Space.

Storyboarding in Space est un outil de planification des récits de RV, conçu par Caraway, où les artistes prennent leurs principaux éléments narratifs et les cartographient dans un espace de 360 degrés par rapport à une caméra centrale en utilisant des notes autocollantes. Chaque élément narratif (sons, objets d'intérêt, personnages) reçoit ses propres notes autocollantes (dont la couleur est agencée aux autres éléments du même type) et est placé autour de la caméra centrale. Cette carte fournit ensuite les bases pour mettre en place une scène en trois dimensions dans Unity.

Storyboarding in Space familiarise les participants avec l'idée que les récits en RV se déroulent dans l'espace plutôt que de façon linéaire. Ce cadre a été particulièrement efficace car les participants étaient déjà familiarisés avec de nombreuses autres techniques de réalisation de scénarimage (storyboard).

Les participants ont ensuite partagé leurs idées et formé des groupes autour des idées qui les interpellaient le plus. Quatre groupes de cinq personnes ont été formés.

Après-midi : Séances de capture

Après le dîner, les groupes ont développé leurs idées et élaboré une liste de plans de tournage. Ces plans de tournage ont ensuite été utilisés comme guides dans les studios pour la capture vidéo volumétrique pour le reste de l'après-midi.

Jour 3

Matin : Conception d’audio spatialisé et implémentation

Robby Duguay et Matt Miller de Level Curve, un studio de production audio pour les jeux et la RV, ont fourni des détails sur la mise en place d’audio spatialisé dans Unity, ainsi qu'un aperçu de l'enregistrement sonore binaural et de ses propriétés.

Après-midi : Introduction à Unity

Dans l'après-midi, Lander a donné un aperçu de Unity qui comprenait les concepts de base (p.ex. transformation (transform), collisionneurs (colliders), corps rigides (Rigidbodies) et la navigation dans l'interface utilisateur. Ensuite, les participants ont pu voir comment le plugin Oculus VR simplifie considérablement l'interaction avec les concepts de base de Unity en RV grâce à l'utilisation des éléments inclus tels que la saisie (grab) et le regard (gaze).

Configurer Oculus dans Unity

  1. Naviguez vers l'Asset Store, puis téléchargez et importez le paquet d'intégration Oculus.
  2. Dans les Paramètres du projet (Project Settings) > Paramètres de réalité étendue (XR Settings) - vérifiez que la RV est prise en charge et confirmez que Oculus figure dans la liste.
  3. Supprimez la caméra dans la scène et naviguez dans le dossier Oculus pour trouver OVRCameraRig et faites-la glisser dans la scène.
  4. Après avoir appuyé sur le bouton de lecture (Play), votre scène peut maintenant être vue à travers un casque Oculus connecté.

Pour que le système Oculus Avatar fonctionne correctement (nécessaire pour voir les mains en RV incluses dans le paquet d'intégration), un ID Oculus Avatar enregistré doit être saisi dans Unity.

Étapes pour configurer correctement l’Avatar SDK : Avatar Developer Guide - Rift (Guide du développeur Avatar - Rift)

Pour les besoins de ce programme, l'identifiant de développeur du formateur a été utilisé afin que les participants puissent accéder à ces fonctionnalités.

  • Une présentation étape par étape de l'importation et de la configuration du paquet d'intégration Oculus : Import Oculus Integration Package (Importer le paquet d'intégration Oculus)
  • Un aperçu complet de Unity, les tutoriels de Brackeys sur YouTube offrent une excellente introduction : Unity Beginner Tutorials* *(Tutoriels pour débutants sur Unity)
  • Un aperçu du plugin Oculus Unity et de ses fonctionnalités : Oculus Utilities for Unity (Utilitaires Oculus pour Unity) Finalement, les participants ont été initiés à la création de scripts et ont appris comment ces scripts qu'il avait préparés pouvaient servir de base à des interactions plus sophistiquées. Ces trois éléments - les concepts de base d'Unity, l'intégration Oculus pour la RV et l'introduction à la création de scripts - ont fourni aux participants suffisamment de connaissances de base pour pouvoir naviguer et manipuler l'exemple de projet dans Unity fourni au début du programme.
Exemples de scripts

Localisés dans iO-Arts-Futures/ioSampleProject/Assets/

  • pointerTrigger.cs - Lorsqu'il est attaché à la main droite, ce script utilise le bouton de déclenchement (trigger button) pour détecter un clip Depthkit jouable et le faire jouer.
  • cycleClips.cs - Lorsqu'il est attaché à un objet 3D (GameObject) d’un clip Depthkit, ce script nous permet de charger plusieurs clips vidéo différents que l'on peut faire défiler en appuyant sur la touche A de la manette Oculus Touch.
  • gazeToPlay.cs - Lorsqu'il est attaché à l’objet 3D de la caméra centrale, ce script fonctionne de manière similaire au pointerTrigger en ce sens qu'il utilise le raycasting pour détecter un clip Depthkit jouable et le faire jouer lorsque le joueur le regarde.
  • rotateToPlayer.cs - Ce script doit être placé sur l’objet 3D parent le plus élevé d'un clip Depthkit et gardera le clip face au joueur lorsqu'il se déplace dans l'environnement.
  • pauseAtStart.cs - Ce script doit être placé sur chaque clip Depthkit dans la scène qui sera jouée avec l'un des scripts d'interaction ci-dessus. Il charge la bonne vignette du clip pour que l'objet s'affiche correctement dans la scène et la met ensuite en pause, en préparation de la lecture via le pointeur (pointer) ou les déclencheurs guidés par le regard (gaze triggers).

Jour 4

Toute la journée : Temps de production

Le quatrième jour était entièrement consacré à la production. Des mentors étaient présents pour répondre aux questions et apporter leur expertise technique.

Les facilitateurs ont aidé les participants à développer un processus pour composer leur récit par rapport à un seul point d'interaction peaufiné, en les aidant à développer leurs thèmes et leurs intentions grâce à l'accomplissement d'une action par l'utilisateur.

Jour 5

Matin : Distribution

La matinée du dernier jour a été l'occasion d'explorer la distribution des technologies immersives. Arthur Yeung, d'Albedo Informatics, a parlé de la diffusion du contenu de RA. Faber et David Plant de Trinity Square Video ont discuté de la diffusion de la RV, ainsi que des possibilités de financement des entreprises et des arts.

Après-midi : Temps de production final, récapitulation et présentations

Au cours de l'après-midi, les participants ont eu la possibilité de conclure leur projet avec le soutien d'un mentor.

En fin d'après-midi, les participants ont présenté leurs réalisations à chaque groupe et aux membres du public qui visitaient le bâtiment. L'artiste invitée Karen Vanderborght a fait une démonstration de leur projet de RA Grey Matter.

Conclusion

Afin d'accroître l'adoption de la technologie immersive par les artistes, les initiatives éducatives - en particulier les programmes informels et communautaires - doivent relever deux grands défis :

Réduire l’étendue du programme d'études aux outils et plates-formes les plus appropriés pour la cohorte de participants. Lors du choix de la technologie, il est essentiel de tenir compte dès le départ des ressources disponibles pour le programme, car l'enseignement de la technologie immersive est intrinsèquement expérientiel.

  • Quelle est l’expertise des potentiels formateurs, mentors et autres professionnels qui apportent leur soutien ? Il faut s'assurer que ces personnes ont une expérience pratique et pertinente de la technologie spécifique enseignée, plutôt que de se contenter d'une connaissance généralisée de la RV, de la RA et de la réalité mixte.
  • Compte tenu des intérêts, des compétences et de l'expérience des participants, quelle nouvelle technologie permettra de créer rapidement ? La vidéo à 360 degrés est un meilleur choix pour les cinéastes et les artistes ayant une expérience du récit linéaire, et la RV 3D pour visiocasque est une étape naturelle pour les développeurs de jeux expérimentés.
  • Quels sont les équipements, les espaces et les partenariats immédiatement accessibles ? Quelles relations peuvent être mises à profit pour développer ces ressources ? Le partenariat avec un laboratoire universitaire équipé d'ordinateurs prêts pour la production et de casques Oculus Quest rend la mise en œuvre d'un programme de RV plus facile qu'un programme intensif de RA.

Fournir un cadre de formation et un environnement d'apprentissage équitables qui s'attaquent aux obstacles à l'accès. Reconnaître explicitement que les espaces et les équipements qui permettent d'expérimenter, de créer et de repousser les limites de la technologie immersive ne sont pas facilement accessibles à tous les artistes est nécessaire si nous espérons des applications et des approches plus créatives de la RV, de la RA et de la réalité mixte. Considérez :

  • À quoi ressemblent les participants typiques au programme ? S'il s'agit d'un groupe homogène, pourquoi cela pourrait-il être le cas ?
  • Si vous essayez d'inclure des personnes à de multiples carrefours de la marginalisation, vous devez vous attaquer à un éventail d'obstacles, y compris les facteurs financiers, pratiques et circonstanciels. Parmi les problèmes courants, on peut citer les frais de participation inabordables, la distance à parcourir pour se rendre à l'atelier et le manque de mobilité, le manque d'accès à des services de garde d'enfants sur place, l’accès à des repas gratuits ou abordables et le format qui n’est pas flexible.

Grâce à une approche réfléchie et ciblée de la conception des programmes d'études, à la recherche d'un soutien pratique et à la prise de mesures visant à réduire autant que possible les obstacles à la participation, les initiatives d’apprentissage informelles basées sur la communauté peuvent contribuer significativement au nombre d'artistes canadiens et de producteurs de contenu qui utilisent la technologie immersive dans leur travail.

Répondre à la COVID-19

Au moment de la rédaction de ce document, la crise de la COVID-19 a limité l'apprentissage en personne. Le partage des ressources est également difficile, mais les progrès technologiques ont permis la poursuite de programmes basés sur les pairs comme celui-ci, bien qu'il y ait des considérations logistiques et matérielles supplémentaires.

Facilitation de l'apprentissage en groupe à distance. L'adoption rapide et généralisée d'outils de réunion virtuelle et de partage d'écran - tels que Zoom, Google Hangouts et Slack - a réduit les obstacles à l'accès à un soutien technique, commercial et créatif d'experts en groupe et en tête-à-tête. L'omniprésence de ces outils a permis d'accroître la littératie autour des techniques de mentorat à distance et d'apprentissage informel.

Un accès plus large aux intervenants du secteur. Comme la « nouvelle norme » est le travail à distance, les experts de l'industrie peuvent être plus susceptibles d'accepter de participer à partir de différents endroits dans le monde. Cela a l'avantage supplémentaire de réduire les budgets de déplacement du programme.

Un équipement de RV simplifié. Le casque Oculus Quest avec suivi inside-out, tout-en-un, est maintenant mieux adapté au développement rapide car il peut se connecter via un câble USB à haut débit à un ordinateur capable de RV. Cela permet une itération rapide lorsqu'il est connecté à un moteur de jeu sans qu'il soit nécessaire de compiler une version et de la déployer sur le casque après chaque changement.

Kits de RV. Un ordinateur portable compatible avec la RV, Oculus Quest, Kinect (ou autre caméra compatible avec DepthKit) peuvent être assemblés dans une valise rigide facilement expédiable qui peut être distribuée aux participants n'importe où pour moins de 2 000 dollars canadiens.

Bien que l'on ignore combien de temps la pandémie affectera les environnements d'apprentissage, l'infrastructure et les ressources nécessaires à la réalisation de ce programme peuvent être adaptées à un format entièrement à distance. Si l'accessibilité et l'inclusion d'une variété d'expériences culturelles, de géographies et de situations socio-économiques sont souhaitées, il vaut la peine d'envisager de proposer des programmes hybrides en personne/à distance, même lorsqu'il sera possible de se réunir à nouveau en personne.

Toutefois, il est important de reconnaître que d'autres obstacles peuvent surgir, tels que l'accès à l'internet à haut débit et à une largeur de bande illimitée, et les contraintes physiques des environnements de travail à domicile.

Crédits

Édition

Jennie Robinson Faber

Traductrice

Marilyne Coleslaw

Intervenants

  • Wayne Shipley, Stitch Media
  • Karen Chapman, Filmmaker
  • Alex Bethke, Sinking Ship Entertainment
  • Mark Cautillo, Sinking Ship Entertainment
  • Arthur Yeung, Albedo Informatics
  • David Plant, Trinity Square Video
  • Karen Vanderborght, Artist

Formateurs

  • Henry Faber, Gamma Space
  • Max Lander, VR Developer/Photographer
  • Cindy Poremba, OCADU
  • Kylie Caraway, Artist
  • Robby Duguay, Level Curve
  • Matt Miller, Level Curve

Mentors

  • Richa Thomas
  • Kae Bagg

Remerciements

  • OCADU game:play lab
  • Charles Street Video
  • Izzie Colpitts-Campbell
  • Lucie Lalumière
  • Grégoire Gagnon

Photographe

Lindsay Duncan