À ne pas confondre avec le prénom de votre correspondant danois de 4e : le token est l’unité de base sur laquelle travaille un modèle de langage.
Ce n’est pas qu’un mot : ça peut être un mot entier, un morceau de mot, un signe de ponctuation ou même un caractère, selon la façon dont le texte est découpé. C’est aussi l’unité qui sert souvent de base à la facturation des modèles : plus la requête et la réponse contiennent de tokens, plus elles peuvent coûter cher.
La capacité à reconstituer le parcours d’une donnée ou d’une décision : qui l’a produite, à partir de quelles sources, à quel moment, avec quelles étapes intermédiaires.
Proche de l’auditabilité, mais avec une nuance : la traçabilité montre le chemin parcouru, tandis que l’auditabilité permet de contrôler et justifier ce qui a été fait après coup.
Non, toujours pas les gros camions musclés du cinéma. Le Transformer est l’architecture sur laquelle reposent presque tous les modèles de langage actuels : c’est le « T » de GPT. Il a été proposé en 2017 par des chercheurs de Google, dans un article au titre devenu culte : « Attention Is All You Need ».
Son idée centrale s’appelle l’attention : pour comprendre un mot, le modèle regarde tous les autres mots du texte en même temps et donne plus de poids à ceux qui comptent. Dans « le preneur n’a pas payé le loyer, le bailleur l’a donc mis en demeure », c’est l’attention qui comprend que « l’ » désigne le preneur, et pas le loyer.
Avant lui, les modèles lisaient mot après mot et perdaient le fil des phrases longues. Avec lui, ils lisent tout d’un bloc, ce qui leur permet d’avaler des contrats entiers (dans la limite de leur fenêtre de contexte).
Le fait d’être transparent sur son système.
Ah oui ? Vous m’en direz tant !
Plus précisément : c’est le fait, pour un système d’IA ou l’organisation qui le déploie, de fournir une information accessible et compréhensible sur ses conditions de fonctionnement : quelles données sont utilisées, comment, avec quelles limites. Proche de l’explicabilité mais à l’échelle du système entier, pas d’une réponse en particulier.
Par Myfanwy Poissant, pour Ordalie · mis à jour le
