Token
Un token est un morceau de texte traité par un modèle, souvent un mot ou une partie de mot. Il sert aussi d’unité de facturation.
Ce que cela veut dire
Les API de modèles facturent généralement selon les tokens en entrée et en sortie. Les longs documents et les conversations coûtent donc plus cher.
Il existe aussi une limite à la quantité de tokens qu’un modèle peut traiter en une fois.
Un exemple concret
Résumer des centaines de pages consomme bien plus de tokens que classer une courte demande.
Termes liés
Fenêtre de contexte
La fenêtre de contexte est la quantité d’informations qu’un modèle peut prendre en compte en une seule fois.
LLM
Un LLM est un modèle d’IA entraîné sur de très grands volumes de textes, capable de comprendre une demande et de générer une réponse écrite.
API
Une API permet à deux logiciels d’échanger des informations ou de se demander des actions selon des règles définies.
Vous cherchez par où commencer avec l’IA ? J’observe une tâche réelle et nous définissons un premier périmètre à contrôler.
