IA & apprentissage automatiqueModèles de langage

Des milliards de cadrans

Un grand modèle de langage, ce sont des milliards de nombres réglés par l'entraînement

Un modèle d'IA de 2020 avait 175 milliards de paramètres. Des milliards de quoi, au juste, et qui les a tous réglés ?

Tu vas découvrir

  • Ce que fait un cadran dans un modèle
  • Tourner des milliards de cadrans d'un coup
  • Ce que coûte l'entraînement d'un géant

Pourquoi c'est important

Chaque gros titre sur l'IA compte des paramètres. Maintenant, tu sauras ce qu'on compte, et ce que ça coûte.

Environ 3 min6 diapositives interactives · 5 questionsLeçon 608 · Zone 68

Jouer cette leçon

Gratuit dans ton navigateur ou sur iPhone

Plus dans cette zone

  1. 604Physique des lasersComment fonctionne un laserD'innombrables ondes lumineuses peuvent marcher parfaitement en phase
  2. 605CyberrésilienceLe ransomwareUne sauvegarde hors ligne transforme l'extorsion numérique en simple contretemps
  3. 606OptoélectroniqueLa LED bleue a mis 30 ansSans bleu, pas d'ampoules LED blanches ni d'écrans de téléphone lumineux
  4. 607Théorie des jeuxLe jeu des piratesCinq pirates logiques se partagent 100 pièces d'or d'une façon surprenante
  5. 609Théorie des jeuxLa tragédie des biens communsLes ressources partagées sont surexploitées quand chacun agit raisonnablement de son côté
  6. 610Modèles de langageCombien un chatbot a-t-il lu ?Les chatbots ont appris à partir de plus de texte que tu ne pourrais en lire en des milliers de vies
  7. 611Optique atmosphériqueLe mirageLa lumière courbée peut poser un lac de ciel sur une route chaude
  8. 612Technologie de confidentialitéLa preuve à divulgation nulle de connaissance (zero-knowledge)Prouve que tu connais un secret sans en dévoiler la moindre chose