HUGS ou comment déployer son modèle ouvert facilement

HuggingFace capitalise sur ses librairies destinées à faciliter l'inférence à partir de LLM (Text generation interface, Transformers) pour mettre à disposition de ses clients la capacité de créer des micro-services basés sur des LLM ouverts. Ce service, qui permet une génération optimisée quel que soit le matériel utilisé, s'appelle HUGS (Hugging Face Generative AI Services) et est disponible de trois manières :

• chez les hyperclouders (AWS et GCP, Azure à venir). Dans ce cas Huggingface facture pour l'utilisation du service en plus du prix des ressources computationnelles facturées par l'hyperclouder ! (1$ par container et par heure)
• via l'Enterprise Hub, l'offre destinée aux grandes entreprises de HuggingFace
• via DigitalOcean, en déployant en 1 clic une droplet GPU (et dans ce cas on ne paie que la droplet).

Cette dernière possibilité me paraît particulièrement excitante car DigitalOcean est réputé pour sa simplicité d'utilisation et ses prix compétitifs. Évidemment, c'est intéressant si on utilise le LLM de manière très intensive, sans quoi il sera plus intéressant de se tourner vers un service où on paie au token, pas à l'heure de GPU...