Fonctionnement des Réseaux Neuronaux et les LLM II

Introduction

La résurgence récente sur la scène technologique de l’intelligence artificielle est principalement liée aux progrès récent dans les techniques à base de réseaux de neurones et plus particulièrement les “Grands modèles de langage” ou LLM (Large Language Models).

Comprendre les principes de leur fonctionnement, comment ils sont créés, comment ils produisent leurs réponses, leurs forces et limitations intrinsèques est fondamental pour leur bon usage. A la différence de nombreuses technologies passées, comme la voiture ou la machine à laver, simplement savoir les utiliser n’est pas suffisant pour bien les utiliser.

[!NOTE] Mais rassurez-vous… Il n’est pas pour autant nécessaire d’être ‘informaticien’ ou ‘Mathématicien’ pour maîtriser ces outils 🫣.

C’est pourquoi ce module se présente sous forme de deux niveaux, seul le premier est requis pour un usage professionnel courant :

Niveau II : Une revue de détails

• Tout le niveau I plus…

• Qu’est-ce que le “contexte” (II)

• Qu’est-ce que la “taille d’un modèle”, les poids, les paramètres

• Qu’est qu’une ‘Mixture d’expert’

• Lire une notice de modèle

• Les “benchmarks” d’I.A…

• la propagation arrière (backpropagation)

• Apprentissage profond supervisé et non supervisé

• L’apprentissage par renforcement

• L’enchâssement du vocabulaire (Word Embedding)

• Les étapes de la création d’un Grand Modèle de Langage :

  • Collecte des données
  • Enchâssement
  • Curation et organisation
  • L’entrainement
  • La phase de renforcement
  • Les filtres (mais aussi les philtres) de contenus
  • La phase d’inférence
  • Qu’est ce qu’un modèle “thinking” (pensant)
  • Qu’est-ce qu’un modèle “multi-modal”

• Quantization : les principes

• Modèle génératif par diffusion