Habr Parser
Консольный парсер статей Habr по выбранным хабам с сохранением в JSON и фильтром по году и ключевым словам.
01 / 01
О проекте
- Стек
- Node.jsAxiosCheeriosocks-proxy-agentJavaScript
Консольный парсер статей Habr. Постранично выкачивает ленты выбранных хабов и разбирает карточки статей, сохраняя заголовок, ссылку, описание, список хабов, время чтения и дату публикации.
Результат складывается в JSON по одному файлу на хаб, так что выгрузку можно обновлять по частям. Запросы идут с опциональным SOCKS5 прокси.
Отдельный скрипт-сортировщик проходит по собранным файлам, отбирает статьи по году публикации и списку ключевых слов и складывает отфильтрованную выборку в sortedArticles.