Cake

Cake Cake — это фреймворк на языке Rust предназначенный для распределенного вывода больших моделей таких как LLama3 (70B+) Цель проекта — возможность запускать большие (70B+) модели путем перепрофилирования потребительского оборудования в гетерогенный кластер устройств iOS Android macOS Linux и Windows эффективно используя запланированное устаревание как инструмент чтобы сделать ИИ более доступным и демократичным Распределяя блоки трансформеров между несколькими устройствами Cake позволяет выполнять вывод моделей которые превышают лимиты памяти GPU отдельных устройств Фреймворк поддерживает настройку как рабочих так и главных узлов с совместимым с OpenAI REST API для управления задачами распределенного вывода Конфигурационные файлы топологии определяют какие слои модели назначены конкретным рабочим узлам что позволяет эффективно распределять ресурсы в кластере

GitHub: https://github.com/evilsocket/cake