BitNet.cpp

BitNet.cpp BitNet — это фреймворк, разработанный Microsoft для эффективной работы с 1-битными LLM, обеспечивающий оптимизированную инференцию на CPU и GPU, с планами по поддержке NPU. Первая версия демонстрирует значительное ускорение и уменьшение энергопотребления, что позволяет запускать крупные модели с производительностью, сопоставимой с человеческим чтением. Проект совместим со многими 1-битными LLM, доступными через Hugging Face.

GitHub: https://github.com/microsoft/BitNet