Domaine
INFORMATIQUE
Définition
Donnée élémentaire d’un grand modèle de langage, qui est constituée d’une suite de caractères obtenue par la segmentation automatique d’un texte.
Note
1. La segmentation en jetons textuels est utilisée aussi bien dans
la phase d’apprentissage automatique
que dans la
phase de traitement d’une instruction générative.
2. Le nombre de jetons textuels sert à mesurer la taille d’un
grand modèle de langage ;
il permet aussi d’estimer
et de
facturer
le coût de fonctionnement des grands modèles de langage
commerciaux.
Voir aussi
Équivalent étranger
text token (en), token (en)