airllm

airllm AirLLM — это инструмент, позволяющий выполнять вывод (inference) больших языковых моделей (LLM) с 70 миллиардами параметров на одном GPU с 4 ГБ памяти. Он оптимизирует использование памяти во время вывода, что позволяет запускать модели без необходимости в квантовании, дистилляции или обрезке. AirLLM поддерживает различные модели, включая Llama3.1 405B, и совместим с Linux и macOS, обеспечивая гибкость в выборе платформы. Lang: Jupyter Notebook

GitHub: https://github.com/0xSojalSec/airllm