Prima.cpp

Prima.cpp prima.cpp представляет собой улучшенную версию , позволяющую запускать крупные языковые модели (LLM) до 70B на обычных устройствах, включая ноутбуки и телефоны, с низким использованием памяти (менее 10%). Prima.cpp позволяет эффективно обрабатывать большие модели, такие как QwQ-32B и Llama 3-70B. Система поддерживает параллельную обработку через оптимизацию загрузки весов и распределение нагрузки между CPU и GPU.

GitHub: https://github.com/Lizonghang/prima.cpp