KI-Feedback-Lernsystem

Selbstverbessernde KI Vartovii verwendet einen ausgeklügelten

Feedback-Kreislauf, um automatisch aus Benutzerinteraktionen zu lernen und sich im Laufe der Zeit zu verbessern. :::

Überblick

Das Feedback-Lernsystem ermöglicht Vartovii, Folgendes zu tun:

1. Benutzerfeedback (👍/👎) zu Antworten zu sammeln
2. Feedback mittels KI zu klassifizieren, um Ursachen zu identifizieren
3. Lerndokumente aus identifizierten Wissenslücken zu generieren
4. Die RAG-Wissensdatenbank für zukünftige Verbesserungen zu aktualisieren

---

Systemarchitektur

┌─────────────────────────────────────────────────────────────────┐
│                    FEEDBACK PROCESSING PIPELINE                  │
├─────────────────────────────────────────────────────────────────┤
│                                                                  │
│  Benutzer übermittelt 👎 Feedback                                │
│         │                                                        │
│         ▼                                                        │
│  ┌──────────────────┐                                           │
│  │ 1. AUTO-TRIAGE   │ ◄── KI klassifiziert: Kategorie + Dringlichkeit │
│  └────────┬─────────┘                                           │
│           │                                                      │
│     ┌─────┴─────┐                                               │
│     ▼           ▼                                              │
│  [SPAM]      [AKTIONSPFLICHTIG]                                  │
│     │           │                                                │
│  Verwerfen   ┌────┴────┐                                        │
│            ▼         ▼                                          │
│        [CODE-FEHLERBEHEBUNG]  [WISSENSLÜCKE]                     │
│            │              │                                      │
│      GitHub Issue    ┌────┴────┐                                 │
│                      ▼         ▼                                 │
│                  [Zu RAG KB   [Prompt                           │
│                   hinzufügen] aktualisieren]                     │
│                                                                  │
└─────────────────────────────────────────────────────────────────┘

---

Feedback-Kategorien

Kategorie	Beschreibung	Aktion
wrong_data	Bot lieferte falsche Informationen	Such-/Tool-Logik korrigieren
outdated_data	Daten existieren, sind aber veraltet	Datenaktualisierung auslösen
wrong_language	Antwortete in falscher Sprache	System-Prompt aktualisieren
unclear_response	Antwort war verwirrend	Antwortvorlagen verbessern
feature_request	Benutzer wünscht neue Funktionalität	Zum Produkt-Backlog hinzufügen
spam	Irrelevantes oder Test-Feedback	Verwerfen

---

Wie die Klassifizierung funktioniert

Wenn negatives Feedback empfangen wird, analysiert die KI:

{
  "category": "wrong_data",
  "is_actionable": true,
  "urgency": "high",
  "root_cause": "Bot failed to search database correctly",
  "suggested_fix": "Check DB before saying 'not found'",
  "knowledge_gap": "How to handle crypto project name variations"
}

Erkennung von Wissenslücken

Wenn knowledge_gap umsetzbare Informationen enthält (nicht "N/A" oder "technisches Problem"), führt das System automatisch Folgendes aus:

1. Erstellt ein Lerndokument unter knowledge-base/docs/ai-agent/learnings/
2. Enthält das Problem, das korrekte Verhalten und ein Beispiel
3. Fügt Metadaten zur Nachverfolgung hinzu

---

Struktur des Lerndokuments

---
title: "Lerninhalt: Wie man Variationen von Krypto-Projektnamen handhabt"
description: "KI-Lernen aus Benutzerfeedback"
---

# Identifiziertes Problem

**Ursache:** Der Benutzer fragte nach "Enso Finance", aber das Projekt ist als
"Enso" gespeichert.

# Korrektes Verhalten

Verwenden Sie Fuzzy-Matching, um Projekte mit gängigen Namensvariationen zu
finden.

# Beispiel

**Benutzeranfrage:** "Analyze Enso Finance" **Korrekte Antwort:** "Ich habe Enso
(ENSO) mit einem Trust Score von 66 gefunden..."

---

Admin-Panel-Steuerelemente

Zugriff über Admin-Panel → Priorisiertes Feedback:

• 🤖 Alle automatisch klassifizieren - Alle ausstehenden Feedbacks mit KI verarbeiten
• 📌 Aktion - Als aktionspflichtig markieren (benötigt Korrektur)
• ✗ Verwerfen - Als Spam/irrelevant markieren
• Statistik-Dashboard - Negative/positive/ausstehende Zählungen anzeigen

---

API-Endpunkte

Endpunkt	Methode	Beschreibung
/api/admin/feedback	GET	Alle Feedbacks mit Kategorien auflisten
/api/admin/feedback/classify-all	POST	Alle ausstehenden Feedbacks durch KI klassifizieren
/api/admin/feedback/{id}	PATCH	Status manuell aktualisieren
/api/admin/feedback/stats	GET	Feedback-Statistiken abrufen
/api/admin/knowledge/learnings	GET	Lerndokumente auflisten
/api/admin/knowledge/sync	POST	RAG-Synchronisation auslösen

---

RAG-Integration

Lerndokumente werden von Vertex AI Search indiziert:

1. Dokumente werden unter knowledge-base/docs/ai-agent/learnings/ erstellt
2. Bei der Bereitstellung erstellt Docusaurus die Wissensdatenbank
3. Vertex AI Search indiziert den neuen Inhalt
4. Zukünftige Abfragen rufen relevante Lerninhalte über RAG ab

---

Best Practices

1. Klassifizierungen überprüfen - KI ist nicht perfekt, wichtige Fälle verifizieren
2. Spam filtern - Test- oder irrelevantes Feedback umgehend verwerfen
3. Muster verfolgen - Mehrere ähnliche Feedbacks weisen auf systemische Probleme hin
4. Regelmäßige Synchronisationen - Regelmäßig bereitstellen, um neue Lerninhalte zu integrieren

---

Technische Implementierung

• Backend: services/feedback_processor.py - KI-Klassifizierung
• Backend: services/knowledge_updater.py - Dokumentengenerierung
• Frontend: AdminPanel.jsx - Benutzeroberfläche für das Feedback-Management
• Datenbank: chat_logs-Tabelle mit Feldern für den Überprüfungs-Workflow