Un Gigamodèle dans un magasin de porcelaine… Partie 1

14 nov. 2022

Sommaire

Sommaire

Sommaire

Dessine-moi un Gigamodèle

Premier terrain de jeu : le langage

Des données sans limite avec l’apprentissage auto-supervisé

Le ciment des  « foundation models »

Les LLM, des modèles de langage gigantesques et génératifs

Un Gigamodèle fait de l’informatique… avec ou sans licence

Les Gigamodèles s’affichent

La parole n’est pas en reste

Conférence : ViaDialog participe au Festival de l’Intelligence Artificielle le 15 novembre 2022 !


gigamodeles ia
gigamodeles ia
gigamodeles ia

Depuis deux ou trois ans les Gigamodèles tels BERT, GPT3, wave2vec ou DALLl-E, sont une tendance lourde en Intelligence Artificielle (IA). Ces modèles aux performances impressionnantes dépassent le Milliard de paramètres, exigent des infrastructures spécifiques et ne sont produits que par une petite poignée d’acteurs. Comment cette nouvelle donne bouscule-t-elle à la fois la recherche et l’industrie de l’IA ?

Dessine-moi un Gigamodèle

Qu’est ce qu’un Gigamodèle ? Un modèle qui compte des centaines de millions de paramètres, voire des centaines de milliards de paramètres pour les plus gros actuellement. On pense à BERT, GPT-3, Wav2vec (prononcer à l’anglaise « wave to vec » ), DALL-E (prononcer « Dali »)… Certains les appellent « Foundation models » ou  « Pre-trained models », d’autres parlent de « Large Language Models » (LLM).  Il s’agit aussi généralement de modèles incluant de l’apprentissage auto-supervisé (self-supervised learning). Mais que recouvrent ces appellations ?

Premier terrain de jeu : le langage

Les premiers Gigamodèles à faire parler d’eux sont des modèles de traitement automatique du langage naturel (NLP = Natural Language Processing) : le modèle BERT (Bidirectional Encoder Representations from Transformers), diffusé par Google en 2018, qui comprend plusieurs centaines de millions de paramètres, puis le très médiatique, mais beaucoup plus fermé, modèle GPT3 entrainé par OpenAI, sorti en 2020, premier à atteindre les cent milliards de paramètres.

BERT, comme GPT3, prennent en entrée du texte – ou plutôt des plongements de données « embeddings » – nommés word2vec, qui encodent les mots sous forme de vecteurs, en fonction de la distribution des mots voisins et assurent des tâches de traitement du langage.  Ils ont en commun une architecture dite « transformer », architecture neuronale profonde incluant typiquement un encodeur, un décodeur et une couche d’attention, qui les rend capables de prendre en compte un contexte étendu. Ils ont surtout la capacité à apprendre à partir de très gros volumes de données brutes non étiquetées, ce qu’on appelle l’apprentissage « auto-supervisé » ou « self-supervised learning« .

Des données sans limite avec l’apprentissage auto-supervisé

Les modèles traditionnels obtenus par apprentissage automatique utilisent l’apprentissage dit supervisé : des données d’entrée, par exemple des phrases, sont présentées au modèle, le modèle cherche à prédire une sortie, par exemple une classification, qu’il va ensuite comparer avec l’étiquette de référence. Le modèle s’adapte ensuite au besoin pour se rapprocher le plus possible de la sortie souhaitée. L’obtention de données écrites et étiquetées en quantité suffisante pour chaque tâche visée, chaque langue, chaque domaine, est un facteur limitant de ce type d’approches.

L’apprentissage auto-supervisé quant à lui, consiste à apprendre un modèle générique à partir de données non étiquetées, en l’optimisant sur des tâches auto-supervisées, c’est à dire qui ne dépendent que des données elles-mêmes : par exemple, comme illustré dans le schéma ci-dessous, deviner des mots, préalablement masqués arbitrairement, dans un texte, à partir de tous les autres mots environnant, ou encore deviner si deux phrases sont la suite l’une de l’autre ou ne se suivent pas du tout dans le corpus.

Ce type d’approches auto-supervisées s’affranchissent du besoin de données étiquetées et ouvrent la possibilité d’apprendre des modèles génériques sur des très gros volumes de données brutes, collectés de façon large. Le modèle auto-supervisé capture de façon implicite des informations sur la structure même de la donnée, ici la distribution des mots dans les phrases de la langue, leurs synonymies, antonymies, analogies, accords etc.

Le modèle générique, aussi appelé modèle pré-entrainé peut ensuite être complété avec un « fine-tuning » spécifique à la tâche visée (classification, analyse de sentiment, question-réponse, tâches de compréhension du langage, résumé automatique, traduction…), un volume bien plus modeste de données étiquetées pourra être suffisant, car le modèle générique est automatiquement doté d’une forte capacité de généralisation.

Le ciment des  « foundation models »

A sa sortie en 2018, le modèle BERT a révolutionné le monde du traitement du langage naturel en permettant à des modèles « fine-tunés » de détrôner les approches précédentes dans la majorité des benchmarks NLP, notamment les tâches d’analyse sémantique. BERT est notamment intégré au moteur de recherche de Google pour permettre de remonter des réponses structurées quand c’est possible aux requêtes qui sont analysées sémantiquement.

Le fait qu’un modèle pré-entrainé puisse se décliner en de nombreux modèles adaptés, a donné le terme « Foundation models » ou « modèles fondation », servant de base à des modèles construits sur leur base.

Les LLM, des modèles de langage gigantesques et génératifs

Après BERT,  GPT3 a étonné par sa capacité native de génération de texte et par ses facultés de  « few-shot learner » voire de « zero-shot learner », c’est-à-dire la faculté d’apprendre une nouvelle tâche avec juste quelques exemples, ou même sans que le moindre exemple préalable n’ait été donné.

Ces modèles sont appelés « modèles de langage » et depuis quelques temps « large language models » (LLM), du fait de leur taille gigantesque.

Tous ces LLMs : GPT3, T5, LaMDA, Bloom, OPT-175B, Megatron-Turing NLG… possèdent une capacité générative.

Au départ un modèle de langage est simplement un modèle qui attribue une vraisemblance aux suites de mots ou de caractères. Est-ce que les LLM récents présentent des capacités langagières propres, allant au-delà de ce périmètre initial ? Malgré leurs prouesses, le débat reste ouvert…

La capacité générative des LLM est utilisée non seulement pour produire du langage naturel (le langage humain), mais aussi d’autres types de production, les plus emblématiques étant actuellement le code informatique et les images.

Un Gigamodèle fait de l’informatique… avec ou sans licence

En 2021, Microsoft, associé à OpenAI – dans laquelle la firme de Mountainview a investi 1 milliard en 2019 –  et à sa filiale GitHub, plateforme très populaire de gestion de code, a sorti « GitHub Copilot », une application payante qui suggère des lignes de code aux développeurs. Une enquête auprès des utilisateurs indiquent qu’un tiers de leur code environ serait déjà produit par Copilot.

GitHub Copilot a été appris sur d’énormes quantités de code opensource collecté sur le web. Un collectif vient de déposer une action en justice contre Microsoft, GitHub et OpenAI, au titre que des portions entières de code opensource peuvent être « recrachées » telles quelles par Copilot sans attribution à leur auteur, en violation des licences opensource. La procédure ne fait que commencer. Quelle qu’en soit l’issue, elle aura un impact sur le droit de l’ensemble des Gigamodèles.

Les Gigamodèles s’affichent

Les Gigamodèles les plus visibles actuellement sont certainement les modèles de génération d’image à partir de texte tels Dall-E, sorti en 2021 par OpenAI puis Stable Diffusion, MidJourney, ou encore Parti/Imagen (Google).

Ces modèles, appris à partir d’énormes quantités d’images et de textes collectés sur le Web,  produisent à partir d’énoncés textuels, appelés « prompts », des images généralement esthétiques et d’un grand réalisme, comme ce fameux « A teddy bear on a skateboard in Times Square », produit par DALL-E 2.

On peut citer aussi cette image produite par MidJourney pour illustrer un article du journal The Economist intitulé « Huge Foundation models are turbo-charging AI progress ».

Une œuvre produite avec MidJourney a récemment remporté un prix dans le Colorado, dans la catégorie « art numérique » , ce qui n’a pas manqué de créer la polémique.

Une nouvelle fonctionnalité « l’outpainting »  permet également d’imaginer des continuations aux œuvres existantes en dehors de leur cadre.

La parole n’est pas en reste

La révolution de l’apprentissage profond avait commencé en 2012 avec la reconnaissance d’image et la reconnaissance de parole, comme l’a illustré le prix Turing décerné en 2019 conjointement à Yann Le Cun (reconnaissance d’image) , Yoshua Bengio (reconnaissance de parole) et Geoff Hinton (leur maître à tous deux).

Le traitement du langage naturel n’a pas tardé à s’emparer de ces nouvelles approches, et a le premier donné lieu à des Gigamodèles auto-supervisés. Il était naturel que le traitement de parole et le traitement d’image se nourrissent à leur tour des avancées obtenues en traitement du langage.

C’est en 2019 que sort wav2vec, puis wav2vec2 en 2020, des laboratoires de Meta — alors Facebook. Wav2vec est l’équivalent audio d’un BERT, un modèle auto-supervisé appris sur de grandes quantités d’audio brut, non annoté.

Le signal de parole étant par nature continu, wav2vec2 doit surmonter cette difficulté en apprenant d’abord des tokens audio discrets , indiqués par des lettres « q » sur le schéma ci-dessous, pour caractériser les sons, avant de jouer, comme BERT, au jeu des portions de données masquées à faire deviner par le modèle.

Depuis 2020,  les premières places des benchmarks classiques de reconnaissance de parole sont raflées par des systèmes fondés sur wav2vec2, comme il apparait sur le leaderboard ci-dessous, pour le benchmark « Librispeech », un Corpus de parole lue par de nombreux locuteurs…

Mais alors, quels changements radicaux les Gigamodèles sont-ils en passe d’apporter dans le monde de la recherche et de l’industrie ?

To be continued…

Conférence : ViaDialog participe au Festival de l’Intelligence Artificielle le 15 novembre 2022 !

Le Laboratoire Informatique d’Avignon (LIA) et la chaire en intelligence artificielle LIAvignon organisent cette année la 3e édition du festival IA du 14 au 16 novembre.

ViaDialog y participe au côté de Google et HugginFace en animant une conférence le 15 novembre. Ariane Nabeth-Halber, Directrice du Pôle IA, participe à la conférence et aux débats autour des Gigamodèles en IA.

Lieu : Campus Hannah Arendt – Avignon Université AT06 à partir de 16h30.

hight performer
high performer emea
best support
best support
best support

4,7/5 sur +200 avis

+150 entreprises utilisent ViaDialog pour simplifier leur relation client.

  • logo francetv
  • logo sg
  • logo maif
  • logo sodexo
  • logo parc asterix
  • logo eurostar
hight performer
high performer emea
best support
best support
best support

4,7/5 sur +200 avis

+150 entreprises utilisent ViaDialog pour simplifier leur relation client.

  • logo francetv
  • logo sg
  • logo maif
  • logo sodexo
  • logo parc asterix
  • logo eurostar
hight performer
high performer emea
best support
best support
best support

4,7/5 sur +200 avis

+150 entreprises utilisent ViaDialog pour simplifier leur relation client.

  • logo francetv
  • logo sg
  • logo maif
  • logo sodexo
  • logo parc asterix
  • logo eurostar

Améliorez l'expérience client et optimisez la performance de vos agents.

check

20 ans d’expertise à votre service

check

Des milliards d’interactions gérées chaque année

check

Certifié ISO 22301 pour votre tranquillité d’esprit

check

Innovation continue avec notre laboratoire d’IA en Bretagne

check

Opérateur de communications électroniques déclaré à l’ARCEP

hight performer
high performer emea
best support
best support
best support

4,7/5 sur +200 avis

logo sodexo
logo maif
logo sg
logo francetv

Contactez notre équipe commerciale.

Donnez-nous quelques informations personnelles et nous vous contacterons dans les plus brefs délais. À très bientôt !

Améliorez l'expérience client et optimisez la performance de vos agents.

check

20 ans d’expertise à votre service

check

Des milliards d’interactions gérées chaque année

check

Certifié ISO 22301 pour votre tranquillité d’esprit

check

Innovation continue avec notre laboratoire d’IA en Bretagne

check

Opérateur de communications électroniques déclaré à l’ARCEP

hight performer
high performer emea
best support
best support
best support

4,7/5 sur +200 avis

logo sodexo
logo maif
logo sg
logo francetv

Contactez notre équipe commerciale.

Donnez-nous quelques informations personnelles et nous vous contacterons dans les plus brefs délais. À très bientôt !

Améliorez l'expérience client et optimisez la performance de vos agents.

check

20 ans d’expertise à votre service

check

Des milliards d’interactions gérées chaque année

check

Certifié ISO 22301 pour votre tranquillité d’esprit

check

Innovation continue avec notre laboratoire d’IA en Bretagne

check

Opérateur de communications électroniques déclaré à l’ARCEP

hight performer
high performer emea
best support
best support
best support

4,7/5 sur +200 avis

logo sodexo
logo maif
logo sg
logo francetv

Contactez notre équipe commerciale.

Donnez-nous quelques informations personnelles et nous vous contacterons dans les plus brefs délais. À très bientôt !

ViaDialog Logo

Produits

Ressources

Entreprise

FR: +33 (0)1 77 45 30 00

152 Boulevard Pereire, 75017 Paris

CONÇU
ET HÉBERGÉ
EN FRANCE

logo entreprise française
logo afaq iso22301
logo rgpd
hight performer
high performer emea
best support
Uuser love us
Uuser love us

Conçu et hébergé à Paris 🥐

Mentions légales
Politique de confidentialité
Conditions générales
Cookies
Politique RSE
French