Kununu Scraper
Der Kununu Scraper sammelt Mitarbeiterbewertungen von kununu.com, der führenden Arbeitgeberbewertungsplattform in der DACH-Region.
Übersicht
| Attribut | Wert |
|---|---|
| Quelle | kununu.com |
| Region | Deutschland, Österreich, Schweiz |
| Technologie | Selenium + BeautifulSoup |
| Rate | ~100 Bewertungen/Minute |
Gesammelte Daten
| Feld | Beschreibung |
|---|---|
title | Überschrift der Bewertung |
text | Vollständiger Bewertungsinhalt |
rating | 1-5 Sterne-Bewertung |
date | Datum der Bewertungseinreichung |
position | Berufsbezeichnung (falls angegeben) |
location | Bürostandort |
pros | Positive Aspekte |
cons | Negative Aspekte |
Slug-Erkennung
Vor dem Scraping finden wir die Kununu-URL des Unternehmens:
- Datenbank-Cache - Überprüfung bestehender Slugs
- Direkte URL - Einfachen Slug versuchen (z.B.
klingelnberg) - Kununu-Suche - Suchergebnisse parsen
- URL-Varianten - Suffixe versuchen (-ag, -gmbh, -suisse)
Konfiguration
KUNUNU_CONFIG = {
"delay_min": 1.0, # Min seconds between requests
"delay_max": 3.0, # Max seconds between requests
"max_pages": 50, # Max pages to scrape
"reviews_per_page": 4 # Reviews shown per page
}
Anti-Bot-Maßnahmen
- 1-3 Sekunden Verzögerung zwischen Anfragen
- User-Agent-Rotation pro Sitzung
- Sitzungserneuerung alle 50 Seiten
- Respektvolles Scraping - max. 200 Bewertungen pro Durchlauf
Datumsfilterung
Nur aktuelle Bewertungen scrapen:
# Only reviews from last 12 months
job = create_job(company_slug="bmw", months_back=12)
Fehlerbehandlung
| Fehler | Aktion |
|---|---|
| 403 Forbidden | 60s warten, neue Sitzung |
| 429 Rate Limited | 120s warten, erneut versuchen |
| CAPTCHA | Auftrag fehlschlagen, manuelle Überprüfung |
Kununu ist die primäre Datenquelle für DACH-Arbeitgeberbewertungen.