Modèle de base (ou Foundation model)

Un modèle de base, ou "Foundation model" en anglais, est un grand modèle d'intelligence artificielle qui est entraîné à partir de zéro sur de grands ensembles de données. L'entraînement de ces modèles est coûteux et complexe, nécessitant souvent des superordinateurs pour fonctionner. Cependant, une fois formés, ils peuvent être réduits pour s'adapter à des conteneurs plus petits, généralement en réduisant le nombre de paramètres. Ces paramètres, qui peuvent se compter en millions, milliards, voire trillions, représentent les "points de travail" du modèle.

Pourquoi est-ce important ?

Les modèles de base sont importants car ils permettent de capturer une grande quantité d'informations à partir de grands ensembles de données et de les utiliser comme base pour des tâches spécifiques. Ils servent de point de départ pour des modèles plus petits et plus spécialisés, évitant ainsi le coût et la complexité de l'entraînement de grands modèles à partir de zéro à chaque fois. En outre, en réduisant le nombre de paramètres, ces modèles peuvent être adaptés à des applications qui ne disposent pas de la puissance de calcul des superordinateurs.

Comment est-ce utilisé en 2023 ?

En 2023, les modèles de base sont largement utilisés dans le domaine de l'intelligence artificielle. Ils sont utilisés comme point de départ pour former des modèles plus petits et plus spécialisés pour des tâches spécifiques. Par exemple, un modèle de base formé sur un large éventail de textes peut être affiné pour comprendre le langage spécifique d'un domaine particulier, comme la médecine ou le droit. De même, un modèle de base formé sur de grandes quantités d'images peut être adapté pour reconnaître des objets spécifiques dans des images, comme des visages ou des voitures.