OpenAI propose désormais de traiter des requêtes en batch

Date de récolte : [[2024-04-20-samedi]]

Create large batches of API requests to run asynchronously.

Mon avis :

OpenAI propose désormais de traiter des ensembles de requête ("batch") à ses API de manière asynchrone. En clair, vous envoyez un paquet de requêtes dans un fichier, et vous revenez plus tard voir s'ils ont été traités. En échange, OpenAI ne vous facturé que la moitié du prix normal par appel API.