Cake Cake — это фреймворк на языке Rust предназначенный для распределенного вывода больших моделей таких как LLama3 (70B+) Цель проекта — возможность запускать большие (70B+) модели путем перепрофилирования потребительского оборудования в гетерогенный кластер устройств iOS Android macOS Linux и Windows эффективно используя запланированное устаревание как инструмент чтобы сделать ИИ более доступным и демократичным Распределяя блоки трансформеров между несколькими устройствами Cake позволяет выполнять вывод моделей которые превышают лимиты памяти GPU отдельных устройств Фреймворк поддерживает настройку как рабочих так и главных узлов с совместимым с OpenAI REST API для управления задачами распределенного вывода Конфигурационные файлы топологии определяют какие слои модели назначены конкретным рабочим узлам что позволяет эффективно распределять ресурсы в кластере
Рекомендуемые статьи
S-Cache
👁 32
S-Cache S-Cache - это программа, которая надежно кэширует парольную фразу или другие секретные данные, т.е. она заменяет getpass (), которая позволяет вам ввести вашу парольную фразу один раз, после чего она надежно кэшируется и предоставляется вызывающему приложению по требовани
ALLWEONE
👁 45
ALLWEONE ALLWEONE — это ИИ-генератор презентаций, который позволяет быстро создавать настраиваемые слайды. Он предлагает автоматическую генерацию контента и редактируемые структуры, а также возможность представления презентаций прямо из приложения. Для работы с генератором необхо
Project Paranoid
👁 35
Project Paranoid Python библиотека Paranoid преднозначена для выявления ненадёжных криптографических артефактов таких как открытые ключи и цифровые подписи созданных в уязвимых аппаратных и программных системах Проект может оказаться полезен для косвенной оценки применения алгори
Lockigest
👁 34
Lockigest Lockigest - это экспериментальное программное обеспечение для обеспечения безопасности устройств которое устанавливает ловушку вместо блокировки экрана ☝🏻Программа отслеживает движения курсора и после периода бездействия устанавливает ловушку которая активируется при по
sniffer
👁 40
sniffer Современный альтернативный сниффер сетевого трафика работающий в терминале который предназначен для устранения неполадок в сети Его можно запустить в любое время для анализа процессов или соединений вызывающих увеличение сетевого трафика без загрузки каких-либо модулей яд
Quiet
👁 32
Quiet Quiet — альтернатива приложениям Slack и Discord но через Tor и IPFS Не требуется доверять центральному серверу или запускать собственный Данные синхронизируются напрямую между устройствами команды через Tor без необходимости использования сервера