VivaTech2023 (Part 1)
Un retour plus affirmé de la Culture
Depuis trois ans, je rends compte de ma visite à VivaTech , le salon des nouvelles technologies qui s’est déroulé cette année du 14 au 17 juin à la porte de Versailles. Habituellement, je déplore un traitement minimal, voire uniquement décoratif, du secteur des ICC qui représente pourtant 2,3% du PIB français, ainsi qu’une part non négligeable des investissements France 2030. Certains pensent que c’est très bien ainsi (cf. Les chemins de traverse numériques de Muzeodrome), puisque cela tendrait à prouver que les institutions culturelles ne cèdent pas au buzz de l’année (i.e. IA génératives), et encore moins aux géants de la Silicon Valley. Si je souscris en partie à cette vision, je reste néanmoins curieuse de voir ce qui peut être adapté au secteur culturel, ou ce que les ICC pourraient apporter à la réflexion générale, dans une perspective d’open-innovation. Voici donc mon retour sur les points suivants qui sera divisé en deux articles, dont celui-ci est le premier :
· Intelligences artificielles génératives et médiation culturelle [Part I]
· Génération de prompts et droits d’auteurs [Part I]
. Expériences immersives multi-sensorielles et Gen AI [Part I]
· Assets numériques culturels, un nouvelle chaine de valeur [Part II-à venir]
· Métavers dans la vallée de la désillusion (pour mieux renaitre ?) [Part II-à venir]
Intelligences artificielles génératives et médiation culturelle
Le Machine Learning et le Deep Learning sont utilisés depuis longtemps dans la structuration et la découvrabilité de collections pléthoriques sous l’effet d’une numérisation croissante : indexation automatique d’œuvres ou contenus (cas du fonds de 17 000 photos du Japon du Musée Guimet par Teklia), rédaction de méta-données servant aux notices en ligne ou in situ, construction de knowledge-graph pour faire émerger des relations, recréation de patrimoine culturel perdu ou détruit, etc. Ces cas d’usage révèlent souvent des problèmes de manque de données pour entraîner les modèles d’IA, mais aussi des biais mettant en évidence les difficultés liées à la description des œuvres d’art: problèmes de précision, d’exhaustivité, de pertinence ou de partialité, tout particulièrement dans l’analyse des émotions.
Partager ces sujets de fond lors de conférences comme VivaTech enrichirait la réflexion générale sur l’élaboration et la gouvernance des IA (à défaut vous pouvez retrouver une partie de ces problématiques dans la conférence de la Bnf du mois de juin dernier “Penser la découvrabilité des contenus culturels”).
Mais Vivatech a préféré porter son dévolu sur des projets d’avatars plus spectaculaires, pour illustrer le buzz de l’année : les intelligences artificielles génératives ! Ces initiatives sont loin d’être nouvelles dans le monde culturel (cf le projet Dali du musée de Petersburg en Floride en 2019 ou les hologrammes du musée de l’Holocaust en Illinois dès 2018 - Voir Article Museovation). Néanmoins elles ont récemment bénéficié de l’accélération des LLM (Large Languages Models) grâce à une maitrise de plus en plus fine du langage naturel en plusieurs langues. Plusieurs startups présentes à VivaTech, traitaient du sujet.
Livdeo avec son application Feel-The-Art proposait ses chatbots d’artistes , résultante logique de sa longue maitrise de la traduction automatique et synthèse vocale par IA, qui offre des solutions inclusives dans son application Geed (solutions LSF, Audiodescription / Audioguidage, FALC), tout en répondant à des problématiques touristiques très concrètes (multilinguisme). Adn.ai, pour sa part, présentait sa plateforme d’avatars Talk3 (un peu équivalente à ce que propose D-ID), dans une optique de peuplement à l’aide de NPC (non-player character) des futurs métavers de musées, envisagés dans le Plan France 2030.
Mais la star du salon fut incontestablement l’IA générative comportementale incarnée dans Van Gogh et développée par la startup Jumbo Mana sur le Lab de Paris Saclay. Il s’agit d’une nouvelle étape dans la médiation muséale in situ. Cet avatar est nourri par une compilation des nombreuses lettres de Van Gogh, traitées en circuit fermé pour assurer la “véracité” des propos (à la différence des chatbots utilisant des LLM type ChatGPT susceptibles d’hallucinations).
Ce nouveau chatbot a pour ambition de s’adapter à ses futurs interlocuteurs grâce à une interaction à l’aide d’une caméra pour capter les émotions et d’un micro pour la question posée, le texte retranscrit permettant l’analyse sémantique des mots employés, afin de donner des indications sur le thème, la langue et le niveau attendu dans la réponse. On peut s’interroger sur l’usage de la voix du visiteur posant les questions, décelant s’il s’agit d’un enfant ou d’un adulte, d’une femme ou d’un homme, d’une personne avec ou sans accent. Le niveau d’analyse des données biométriques n’est pas clairement identifié dans la présentation du projet, mais il est tentant de penser que l’avatar usera de toutes les possibilités des IA pour obtenir un échange plus spontané, évitant le phénomène de la vallée de l’étrange, et personnalisant ainsi la médiation. Pour l’heure, le visage de l’avatar, encore en bêta, est un peu blafard (de l’aveu même de leurs concepteurs) et sa synchronisation labiale reste imparfaite, avec une voix trop grave à mon goût (il n’existe pas d’enregistrement de la voix de l’artiste pour pouvoir la reproduire). Mais cela n’a pas empêché qu’il remporte le coup de coeur du public, annonçant son prochain succès en fin d’année, pour l’exposition “Van Gogh à Auvers-sur-Oise, les derniers mois” du musée d’Orsay.
Si ces expériences restent séduisantes, il n’en demeure pas moins qu’elles amènent plusieurs questions :
. Est-ce un choix judicieux de poser des questions à un artiste sans montrer ses oeuvres ? Pour le Van Gogh de Jumbo Mana, l’avatar est intégré à l’exposition, ce qui compense, mais c’est loin d’être le cas pour tous les avatars que l’on trouve désormais sur le marché (cf ci-dessous le cas du Chatbot de Khanmingo de la Khan AI Academy soulevé par Deborah Howes)?
. Qu’en sera-t-il du traitement des biais possibles dans les réponses ? Même dans le cas d’un circuit fermé, les moeurs et usages de certains mots ou expressions évoluant avec le temps, s’ils ne sont pas pré-identifiés et modifiés, peuvent choquer le public actuel. Et si la “traduction contemporaine” est anticipée, ne trahit-on pas le propos de l’artiste ?
. Comment éviter la platitude de textes lisses et normés à la ChatGPT pour continuer de provoquer la discussion, sans faire perdurer des biais ou engendrer la haine ?
. Comment concilier l’utilisation d’IA sur-consommatrices d’électricité et d’eau (pour refroidir les serveurs) lors de leur entrainement, avec l’optimisation de l’empreinte carbone des institutions culturelles ?
. Comment concilier les Gen IA avec la gestion des données personnelles des visiteurs (reconnaissance vocale, faciale dans les interactions avec l’avatar) pour être en conformité avec le RGPD ou l’IA Act voté pendant VivaTech ?
. Quelle équation économique est envisageable, tant pour la start-up que le musée, sachant que le dispositif nécessite un médiateur humain à temps plein à côté de l’écran ?
De nombreux points restent en suspens, auxquels il faudra rapidement répondre, si l’on veut dépasser l’effet wahou actuellement prédominant.
Génération de prompts, droits d’auteur et histoire de l’art
Développé spécialement pour Vivatech , le film “Bee Bottle” du parfumeur Guerlain, a attiré mon attention pour l’écriture de ses prompts.
Créé pour retracer l’intemporalité du flacon abeille qui a permis la naissance du parfumeur au milieu du XIXème siècle, le film a nécessité 1800 images générées sur Stable Diffusion en “text-to-image”. Quand on étudie les prompts, ceux-ci présentent un aspect notable : aucun ne mentionne un nom d’artiste ou de photographe. Seules sont utilisées les périodes artistiques (avec un positionnement assez inattendu de l’Orientalisme entre le Post-impressionisme et l’Art nouveau, même si celui-ci perdure tout au long du XIXème siècle).
Cette démarche est très révélatrice des précautions à prendre dans l’usage de ces Gen IA, particulièrement à des fins économiques. De fortes ambiguïtés persistent sur les droits d’auteur et la possible utilisation d’images sans accord préalable pour entrainer les intelligences artificielles en question (cf. Procès Getty/StabilityAI et récemment les blocages de scrapping de contenus par les grands médias). Adobe Firefly a pris les devants en acceptant de payer les frais de justice de ses clients, si ceux-ci étaient amenés à être attaqués pour violation de droits d’auteur.
La concommittance de publications sur mon fil LinkedIn a fait se percuter l’une des images du flacon Guerlain avec des corpus d’herbiers récemment digitalisées par la BnF. Le lien esthétique évident montre le type d’images sur lesquelles ont très certainement été entrainées ces nouvelles IA génératives, mais dans quelles conditions: images en CC0 ou protégées ?
Le flou persiste donc sur la provenance des images d’entrainement et leur possibilité d’usage de manière légale, entravant le développement des outils utilisant les LLM (Large language model) dans un contexte professionnel, même si quelques musées s’y sont essayés lors de la journée spéciale de la Museum Week 2023.
La position des Creatives Commons (C.C.) est intéressante à ce titre, opèrant une distinction dans le traitement des données entrantes (données d’apprentissage des IA) et celui des données sortantes (œuvres créées par les outils d’IA et la façon dont les gens les utilisent). Elles reconnaissent en effet la nécessité de s’inspirer du passé pour continuer à être créatif dans le présent, tout en cherchant à protéger le travail des artistes en leur assurant une juste rémunération.
No creativity happens in a vacuum, purely original and separate from what’s come before. Catherine Stihler February 6, 2023
Les problèmes ne s’arrêtent d’ailleurs pas qu’au seul droit d’auteur qui peut potentielelement se régler sur le modèle de l’indexation du web, qui fonctionne sur des systèmes d’exclusion. Les C.C. demandent en plus à ce que l’on s’assure d’une utilisation responsable des IA génératives, AU SERVICE du bien commun, si elles sont entrainées AVEC le bien commun. Enfin elles soulignent le respect de la vie privée en limitant l’exploitation des données biométriques. Donc affaire à suivre !
Expériences immersives multisensorielles et Gen AI
Les grandes marques de luxe présentes à VivaTech redoublaient d’effort pour présenter des expériences immersives intégrant toutes les dernières technologies. C’est l’expérience du Parfumeur et Joaillier Bulgari qui a retenu mon attention car en lien avec des expériences multisensorielles désormais largement diffusées dans les musées (cf l’expérience olfactive de l’exposition “Eternel Mucha” à l’Opéra de Paris), mais en les associant aux nouvelles IA.
Le visiteur pénétre dans un espace à la lumière tamisée, et se plaçe face à un pupitre disposé devant un écran vidéo. La médiatrice l’équipe alors d’un capteur sensitif biométrique sur le front, d’un casque audio au son spatialisé, et place sa main sur un autre capteur en forme de boule vibratoire.
L’expérience consiste à évoquer, par une série images, différents parfums dont la senteur correspondante se déclenche lors d’une sélection par vos soins, pour aboutir enfin à découvrir le parfum Bulgari le plus en phase avec vos goûts. Vous pouvez récupérer un NFT, incarnation des sensations vécues lors de votre expérience, traduites par une IA en une vague colororée ondulante, semblable aux œuvres de Refik Anadol.
Une autre expérience, cette fois-ci axée sur la joaillerie, permet dans les mêmes conditions, de choisir les pierres précieuses qui conviennent à votre humeur du moment. Mais au lieu d’un NFT, vous avez droit à un paysage synthétique généré par une intelligence artificielle, accompagné d’un descriptif traduisant vos sensations au moment de l’expérience.
Ces deux expériences au-delà d’être des capteurs d’e-mail (qui peuvent se révéler fort utiles pour alimenter votre base de newsletter), ont la particularité de traduire les émotions du visiteur en un objet concret. On pourrait imaginer une application documentée tout au long d’un parcours de visite avec le ressenti du visiteur, soit en mots, soit en choisissant des émojis ou images, et qui se traduirait au final par une image synthétique ou un poème qui lui serait propre, créé soit à partir des oeuvres vues (alimentées par le musée-cf Playform AI), soit en utilisant les applications génératives déjà existantes type ChatGPT, MidJourney ou Stable Diffusion, la version en NFT devenant une preuve de présence unique et spécifique de sa visite.
En conclusion (pour cette 1ère partie)
. Une profusion à venir de personnages historiques sous forme de chatbot avec qui l’on peut dialoguer, mais pensés sans véritables gardes-fous, soit pour les réponses générées, soit pour l’utilisation des données biométriques des visiteurs récupérées lors des expériences (même si anonymisées).
. Une situation à éclaircir en terme de pratiques et d’usages pour l’utilisation d’images ou de textes générés par des IA à l’attention des réseaux sociaux, site web ou newsletters de musées. Par ailleurs, des anti-scrapping de contenus muséaux sont à l’inverse peut-être à mettre en place pour éviter l’aspiration par les robots (mais attention cela peut être un frein pour votre SEO. Voir ici )
. Des idées d’usage d’IA génératives à développer pour de nouvelles formes de médiation immersive et multisensorielle, à mettre néanmoins en place dans le respect des données biométriques des visiteurs de l’AI act.
Museovation réalise une veille régulière, documentée et expérimentée des nouveaux procédés technologiques tels queceux présentés dans cet article, ce afin d’accompagner ses clients dans leur développement stratégique numérique et AMO de leur projet, en partenariat avec différents experts selon les besoins.
🤖 N’hésitez-pas à nous contacter si vous avez un projet en cours ou si cet article a suscité votre réflexion et que vous souhaitez ensavoir plus : contact@museovation.co
