scraperai

scraperai ScraperAI — это открытый инструмент с поддержкой искусственного интеллекта, предназначенный для упрощения веб-скрейпинга для пользователей любого уровня подготовки. Он использует крупные языковые модели, такие как ChatGPT, для извлечения данных с веб-страниц. Ключевые функции включают автоматическое обнаружение данных, определение XPATH, поддержку пагинации и различных типов страниц, а также интеграцию с Selenium и возможность использования пользовательских краулеров. Дополнительно ScraperAI поддерживает минимизацию HTML и совместим с различными моделями LLM, обеспечивая гибкость в настройке и использовании. Lang: HTML

GitHub: https://github.com/scraperai/scraperai