Few-Shot Prompting

"Few-Shot Prompting" concerne la capacité des modèles de langage à réaliser des tâches avec un petit nombre d'exemples fournis dans l'invite. Bien que ces modèles montrent une capacité impressionnante en "zero-shot", ils peuvent être limités sur des tâches plus complexes. Dans ces cas, le "few-shot prompting" permet une meilleure performance en fournissant des démonstrations dans l'invite pour guider le modèle.

Pourquoi est-ce important ?

Cette technique améliore l'adaptabilité du modèle, en le conditionnant à produire des réponses spécifiques basées sur un contexte fourni. Selon Touvron et al. en 2023, les propriétés de "few-shot" ont commencé à se manifester lorsque les modèles ont atteint une taille suffisante. L'utilisation de "few-shot prompting" permet aux modèles de mieux comprendre et d'imiter des exemples de tâches pour générer des réponses appropriées.

Comment est-il utilisé en 2023 ?

En 2023, le "few-shot prompting" est utilisé pour guider des modèles de langage dans des tâches variées. Min et al. en 2022 ont souligné l'importance de l'espace des étiquettes et de la distribution du texte d'entrée spécifié par les démonstrations. La manière dont les démonstrations sont présentées joue également un rôle clé dans la performance du modèle. Malgré ses avantages, le "few-shot prompting" a ses limites, surtout pour des tâches nécessitant un raisonnement complexe. Dans de tels cas, des techniques avancées comme le "chain-of-thought prompting" sont explorées pour améliorer les capacités de raisonnement du modèle. En général, lorsqu'une tâche dépasse les capacités du "zero-shot" ou du "few-shot prompting", d'autres approches d'invite ou d'affinement des modèles sont envisagées.