Веб-разработка. Дизайн. Мобильные приложения. Blockchain. Управление разработкой программного обеспечения для финансового и банковского сектора. IT-компания. Разработки в сфере информационных...
Vessel — open-source решение для веб-краулинга, разработанное в Evrone.
Мы в Evrone создали на Ruby высокоуровневый фреймворк для сканирования веб-сайтов. С его помощью можно парсить данные с веб-сайтов для последующего анализа, мониторинга или архивирования.
В статье про проект Machinio рассказываем, как автоматически собирать информацию с разных сайтов и систематизировать её на едином маркетплейсе.
На сайте Evrone расширенная статья о фреймворке Vessel.
Vessel — это быстрый высокоуровневый фреймворк с открытым исходным кодом для сканирования и получения данных с веб-страниц, созданный на основе Ferrum — драйвера с минимальным количеством зависимостей, написанного на чистом Ruby, для запуска headless Google Chrome.
Репозиторий проекта на Github.
Читайте на сайте в русской или английской версии:
Ruby
Ferrum
Vessel