Inférence
L’inférence est le moment où un modèle déjà entraîné est utilisé pour produire une réponse.
Ce que cela veut dire
L’entraînement construit le modèle, ce qui est long et coûteux. L’inférence se répète à chaque demande. Les coûts d’usage d’une API correspondent essentiellement à cette phase.
Elle explique aussi les différences de vitesse entre les modèles et les services.
Un exemple concret
Quand vous envoyez une question à un assistant, le serveur effectue une inférence pour générer la réponse.
Termes liés
Entraînement
L’entraînement est la phase où un modèle apprend à partir de données, en ajustant progressivement ses paramètres.
Modèle d’IA
Un modèle d’IA est le programme entraîné qui reçoit une demande et produit une réponse : texte, classement, image ou autre.
Token
Un token est un morceau de texte traité par un modèle, souvent un mot ou une partie de mot. Il sert aussi d’unité de facturation.
Vous cherchez par où commencer avec l’IA ? J’observe une tâche réelle et nous définissons un premier périmètre à contrôler.
