Kununu Scraper
Kununu scraper збирає відгуки співробітників з kununu.com, провідної платформи відгуків про роботодавців у регіоні DACH.
Огляд
| Attribute | Value |
|---|---|
| Source | kununu.com |
| Region | Німеччина, Австрія, Швейцарія |
| Technology | Selenium + BeautifulSoup |
| Rate | ~100 відгуків/хвилина |
Зібрані дані
| Field | Description |
|---|---|
title | Заголовок відгуку |
text | Повний зміст відгуку |
rating | Рейтинг 1-5 зірок |
date | Дата подачі відгуку |
position | Посада (якщо розкрито) |
location | Місцезнаходження офісу |
pros | Позитивні моменти |
cons | Негативні моменти |
Виявлення Slug
Перед скрапінгом ми знаходимо URL Kununu компанії:
- Database cache – Перевірити існуючі slugs
- Direct URL – Спробувати простий slug (наприклад,
klingelnberg) - Kununu search – Розбір результатів пошуку
- URL variants – Спробувати суфікси (-ag, -gmbh, -suisse)
Конфігурація
KUNUNU_CONFIG = {
"delay_min": 1.0, # Min seconds between requests
"delay_max": 3.0, # Max seconds between requests
"max_pages": 50, # Max pages to scrape
"reviews_per_page": 4 # Reviews shown per page
}
Заходи проти ботів
- Затримка 1-3 секунди між запитами
- User-agent rotation на сесію
- Session refresh кожні 50 сторінок
- Respectful scraping – максимум 200 відгуків за один запуск
Фільтрація за датою
Скрапінг лише нещодавніх відгуків:
# Only reviews from last 12 months
job = create_job(company_slug="bmw", months_back=12)
Обробка помилок
| Error | Action |
|---|---|
| 403 Forbidden | Зачекати 60 с, нова сесія |
| 429 Rate Limited | Зачекати 120 с, повторити |
| CAPTCHA | Скинути завдання, ручний перегляд |
Kununu є основним джерелом даних для відгуків роботодавців у регіоні DACH.