Система навчання ШІ на основі зворотного зв'язку

Самоудосконалюваний ШІ Vartovii використовує складний цикл зворотного

зв'язку для автоматичного навчання на основі взаємодії з користувачами та покращення з часом. :::

Огляд

Система навчання на основі зворотного зв'язку дозволяє Vartovii:

1. Збирати зворотний зв'язок від користувачів (👍/👎) щодо відповідей
2. Класифікувати зворотний зв'язок за допомогою ШІ для виявлення першопричин
3. Генерувати навчальні документи з виявлених прогалин у знаннях
4. Оновлювати базу знань RAG для майбутніх покращень

---

Архітектура системи

┌─────────────────────────────────────────────────────────────────┐
│                    FEEDBACK PROCESSING PIPELINE                  │
├─────────────────────────────────────────────────────────────────┤
│                                                                  │
│  User submits 👎 feedback                                        │
│         │                                                        │
│         ▼                                                        │
│  ┌──────────────────┐                                           │
│  │ 1. AUTO-TRIAGE   │ ◄── AI classifies: category + urgency     │
│  └────────┬─────────┘                                           │
│           │                                                      │
│     ┌─────┴─────┐                                               │
│     ▼           ▼                                                │
│  [SPAM]      [ACTIONABLE]                                       │
│     │           │                                                │
│  Dismiss   ┌────┴────┐                                           │
│            ▼         ▼                                           │
│        [CODE FIX]  [KNOWLEDGE GAP]                               │
│            │              │                                      │
│      GitHub Issue    ┌────┴────┐                                 │
│                      ▼         ▼                                 │
│                  [Add to    [Update                             │
│                   RAG KB]    Prompt]                             │
│                                                                  │
└─────────────────────────────────────────────────────────────────┘

---

Категорії зворотного зв'язку

Категорія	Опис	Дія
wrong_data	Бот надав некоректну інформацію	Виправити логіку пошуку/інструменту
outdated_data	Дані існують, але застаріли	Запустити оновлення даних
wrong_language	Відповів невірною мовою	Оновити системний запит
unclear_response	Відповідь була незрозумілою	Покращити шаблони відповідей
feature_request	Користувач хоче нову функціональність	Додати до плану продукту
spam	Недоречний або тестовий відгук	Відхилити

---

Як працює класифікація

Коли отримано негативний відгук, ШІ аналізує:

{
  "category": "wrong_data",
  "is_actionable": true,
  "urgency": "high",
  "root_cause": "Bot failed to search database correctly",
  "suggested_fix": "Check DB before saying 'not found'",
  "knowledge_gap": "How to handle crypto project name variations"
}

Виявлення прогалин у знаннях

Коли knowledge_gap містить дієву інформацію (не "N/A" або "technical issue"), система автоматично:

1. Створює навчальний документ у knowledge-base/docs/ai-agent/learnings/
2. Включає проблему, правильну поведінку та приклад
3. Додає метадані для відстеження

---

Структура навчального документа

---
title: "Learning: How to handle crypto project name variations"
description: "AI learning from user feedback"
---

# Problem Identified

**Root Cause:** User asked about "Enso Finance" but project is stored as "Enso".

# Correct Behavior

Use fuzzy matching to find projects with common name variations.

# Example

**User Query:** "Analyze Enso Finance" **Correct Response:** "I found Enso
(ENSO) with Trust Score 66..."

---

Елементи керування панелі адміністратора

Доступ через Admin Panel → Пріоритетний зворотний зв'язок:

• 🤖 Автоматична класифікація всього - Обробка всього відкладеного зворотного зв'язку за допомогою ШІ
• 📌 Дія - Позначити як дієвий (потребує виправлення)
• ✗ Відхилити - Позначити як спам/недоречний
• Панель статистики - Перегляд кількості негативних/позитивних/відкладених відгуків

---

API Endpoints

Endpoint	Method	Опис
/api/admin/feedback	GET	Переглянути весь зворотний зв'язок з категоріями
/api/admin/feedback/classify-all	POST	ШІ-класифікація всіх відкладених
/api/admin/feedback/{id}	PATCH	Оновити статус вручну
/api/admin/feedback/stats	GET	Отримати статистику зворотного зв'язку
/api/admin/knowledge/learnings	GET	Переглянути навчальні документи
/api/admin/knowledge/sync	POST	Запустити синхронізацію RAG

---

RAG Integration

Навчальні документи індексуються Vertex AI Search:

1. Документи створюються у knowledge-base/docs/ai-agent/learnings/
2. Під час розгортання Docusaurus створює базу знань
3. Vertex AI Search індексує новий вміст
4. Майбутні запити отримують відповідні навчальні матеріали через RAG

---

Найкращі практики

1. Перевіряйте класифікації - ШІ не ідеальний, перевіряйте важливі випадки
2. Фільтруйте спам - Негайно відхиляйте тестовий або недоречний зворотний зв'язок
3. Відстежуйте закономірності - Кілька схожих відгуків вказують на системні проблеми
4. Регулярні синхронізації - Регулярно розгортайте, щоб включити нові знання

---

Технічна реалізація

• Backend: services/feedback_processor.py - Класифікація ШІ
• Backend: services/knowledge_updater.py - Генерація документів
• Frontend: AdminPanel.jsx - UI для керування зворотним зв'язком
• Database: таблиця chat_logs з полями робочого процесу перевірки