Bitnet B 1.58

Bitnet B 1.58 (Documentation : https://huggingface.co/microsoft/bitnet-b1.58-2B-4T et chatbot sur Huggingface : https://huggingface.co/spaces/suayptalha/Chat-with-Bitnet-b1.58-2B-4T) est un modèle de langage open source de Microsoft qui fonctionne avec 1 bit par paramètre (contre 16 ou 32 pour les autres modèles équivalents).

Par cette réduction :

• Bitnet B 1.58 peut fonctionner directement avec le processeur d’un ordinateur sans carte graphique dédiée,
• Il occupe 0,4 Go de mémoire contre 2 à 5 Go pour des modèles équivalents,
• malgré une légère perte de précision (dans les tests, quelles approximations en français et difficultés pour calculer les durées), il propose des réponses d’une qualité proche des modèles standards,
• enfin, il consomme moins d’énergie par rapport à d’autres LLM comparables (voir le rapport technique sur Arxiv : https://arxiv.org/html/2504.12285v1 et capture en fin d’article)

Dans le chatbot Huggingface, plusieurs options : « rôle » donné, nombre de tokens et température.

Source : https://arxiv.org/html/2504.12285v1