Перейти до основного вмісту

Збирачі даних

Модуль Crypto використовує 8 збирачів даних для збору інформації в реальному часі із зовнішніх API.

🏗️ Архітектура​

┌────────────┐  ┌────────────┐  ┌────────────┐  ┌────────────┐  ┌────────────┐
│ CoinGecko  │  │   GitHub   │  │ DefiLlama  │  │ DefiLlama  │  │  Dropstab  │
│ Harvester  │  │ Harvester  │  │    TVL     │  │   Raises   │  │ Investors  │
└─────┬──────┘  └─────┬──────┘  └─────┬──────┘  └─────┬──────┘  └─────┬──────┘
      │               │               │               │               │
      ▼               ▼               ▼               ▼               ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│                              Redis Cache                                     │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐  ┌──────────┐  ┌──────────┐      │
│  │coingecko:│  │ github:  │  │defillama:│  │ raises:  │  │dropstab: │      │
│  │  SLUG    │  │  REPO    │  │ PROTOCOL │  │   ALL    │  │  SLUG    │      │
│  │ TTL:24h  │  │ TTL:24h  │  │ TTL:6h   │  │ TTL:24h  │  │ TTL:24h  │      │
│  └──────────┘  └──────────┘  └──────────┘  └──────────┘  └──────────┘      │
└─────────────────────────────────────────────────────────────────────────────┘

1. Збирач CoinGecko​

Файл: coingecko.py

Призначення: Отримує ціни, ринкові дані та метадані.

Зібрані дані​

ПолеОписПриклад
price_usdПоточна ціна в USD245.50
market_capЗагальна ринкова капіталізація3,650,000,000
fdvПовністю розбавлена оцінка4,100,000,000
price_change_24h% зміна за 24 години-2.5
github_urlURL основного репозиторіюgithub.com/aave
homepageВебсайт проєктуaave.com

Деталі API​

  • Кінцева точка: https://api.coingecko.com/api/v3/coins/ID
  • Ліміт запитів: 50 запитів/хвилину (безкоштовний рівень)
  • Cache TTL: 24 години
  • Вартість: Безкоштовно

Використання​

from harvesters.coingecko import CoinGeckoHarvester

harvester = CoinGeckoHarvester()
data = await harvester.fetch("aave")

# Returns:
{
    "price_usd": 245.50,
    "market_cap": 3650000000,
    "fdv": 4100000000,
    "github_url": "https://github.com/aave"
}

Відомі проблеми​

Застарілі URL GitHub: CoinGecko іноді повертає старі URL репозиторіїв. Ми підтримуємо мапу перевизначень:

GITHUB_OVERRIDES = {
    "aave": "https://github.com/aave/aave-v3-core",
    "compound": "https://github.com/compound-finance/compound-v2",
}

2. Збирач GitHub​

Файл: github.py

Призначення: Отримує метрики активності розробників.

Зібрані дані​

ПолеОписПриклад
commits_30dКоміти за останні 30 днів45
active_devsУнікальні контриб'ютори (30 дн.)12
last_commit_dateОстанній коміт2025-12-25
total_starsЗірки репозиторію2,500
open_issuesКількість відкритих проблем48

Деталі API​

  • Кінцева точка: https://api.github.com/repos/OWNER/REPO
  • Кінцева точка статистики: https://api.github.com/repos/OWNER/REPO/stats/participation
  • Ліміт запитів: 5 000 запитів/годину (з аутентифікацією)
  • Cache TTL: 24 години
  • Вартість: Безкоштовно

Асинхронна обробка статистики​

Великі репозиторії спочатку повертають 202 NO CONTENT – статистика обчислюється асинхронно:

async def fetch_stats(self, repo):
    response = await self.client.get(f"/repos/REPO/stats/participation")

    if response.status_code == 202:
        # GitHub обчислює статистику, спробуйте знову після затримки
        await asyncio.sleep(2)
        return await self.fetch_stats(repo)

    return response.json()

Запасний варіант для відсутніх репозиторіїв​

if not github_url or github_url == "":
    return {
        "commits_30d": 0,
        "active_devs": 0,
        "error": "Публічний репозиторій не знайдено"
    }

3. Збирач DefiLlama​

Файл: defillama.py

Призначення: Отримує DeFi-специфічні метрики (TVL, скарбниця).

Зібрані дані​

ПолеОписПриклад
tvlЗагальна заблокована вартість (USD)32,400,000,000
chain_tvlsРозбивка TVL за блокчейномethereum: 25B, polygon: 5B
categoryКатегорія DeFi"Lending"
mcap_to_tvl_ratioРинкова капіталізація / TVL0.09

Деталі API​

  • Кінцева точка: https://api.llama.fi/protocol/SLUG
  • Історія TVL: https://api.llama.fi/protocol/SLUG/tvl
  • Ліміт запитів: Без обмежень (ключ не потрібен)
  • Cache TTL: 6 годин (TVL змінюється швидше)
  • Вартість: Безкоштовно ✅

Мапування слагів​

DefiLlama використовує інші слаги, ніж CoinGecko. Ми підтримуємо мапування:

DEFILLAMA_SLUGS = {
    "aave": "aave",
    "uniswap": "uniswap",
    "compound-governance-token": "compound",
}

Приклад відповіді​

{
  "tvl": 32451269361,
  "chainTvls": {
    "Ethereum": 25000000000,
    "Polygon": 5000000000,
    "Avalanche": 2451269361
  },
  "category": "Lending",
  "mcap": 2900000000
}

🔄 Конвеєр збору даних​

Коли запитується проєкт, CryptoService координує роботу всіх збирачів даних:

async def fetch_project(self, slug: str):
    # 1. Спочатку перевірити кеш
    cached = await self.cache.get(f"project:{slug}")
    if cached:
        return cached

    # 2. Отримати дані з усіх джерел паралельно
    coingecko_data, github_data, defillama_data = await asyncio.gather(
        self.coingecko.fetch(slug),
        self.github.fetch(slug),
        self.defillama.fetch(slug)
    )

    # 3. Об'єднати дані
    project = self.merge_data(coingecko_data, github_data, defillama_data)

    # 4. Обчислити Trust Score
    project["trust_score"] = self.risk_engine.calculate(project)
    project["risk_level"] = self.risk_engine.get_risk_level(project["trust_score"])

    # 5. Зберегти в базу даних
    await self.db.upsert(project)

    # 6. Кешувати для наступного запиту
    await self.cache.set(f"project:{slug}", project, ttl=3600)

    return project

⚡ Продуктивність​

МетрикаНове отриманняКешовані
Загальний час2-3 секундименше 50 мс
CoinGecko~800 мс-
GitHub~1.2 с-
DefiLlama~500 мс-

Коефіцієнт влучання в кеш​

  • CoinGecko: ~90%
  • GitHub: ~85%
  • DefiLlama: ~75%

4. Збирач DefiLlama Raises ✨ НОВЕ​

Файл: defillama_raises.py

Призначення: Отримує дані про збір коштів (раунди, інвестори, суми) для компонента Tokenomics.

Зібрані дані​

ПолеОписПриклад
total_raisedЗагальне фінансування в мільйонах USD150.4
funding_roundsСписок раундів фінансування[Seed, Series A, ...]
lead_investorsПровідні інвестори за раунд["a16z", "Paradigm"]
all_investorsУсі інвестори з рівнями[{name, tier, weight}]
backer_tier_scoreОцінка якості інвестора (0-100)80

Деталі API​

  • Кінцева точка: https://api.llama.fi/raises
  • Ліміт запитів: Без обмежень
  • Cache TTL: 24 години (дані рідко змінюються)
  • Вартість: Безкоштовно ✅
  • Розмір даних: 6 723 раунди фінансування, 9 311 інвесторів

Класифікація VC-рівнів​

Збирач автоматично класифікує інвесторів за рівнями:

VC_TIERS = {
    "tier_1": ["a16z", "paradigm", "pantera", "polychain", "coinbase ventures"],
    "tier_2": ["delphi digital", "galaxy", "blockchain capital"],
    "tier_3": ["dwf labs", "wintermute", "gsr"]  # Червоні прапорці
}

Розрахунок оцінки підтримки​

score = 50  # База
score += min(tier_1_count * 10, 30)   # Бонус рівня 1 (макс. +30)
score -= min(tier_3_count * 10, 20)   # Штраф рівня 3 (макс. -20)
score += min(total_investors * 2, 20) # Бонус за кількість інвесторів
score += min(lead_count * 5, 10)      # Бонус за провідного інвестора

Приклад відповіді​

{
  "project_name": "Polkadot",
  "total_raised": 150.4,
  "backer_tier_score": 80,
  "funding_rounds": [
    { "round_type": "Private", "amount_raised": 100, "date": "2020-06-01" },
    { "round_type": "Series A", "amount_raised": 50.4, "date": "2021-02-15" }
  ],
  "investors": [
    { "name": "Polychain Capital", "tier": 1, "is_lead": true },
    { "name": "Hashed", "tier": 2, "is_lead": true }
  ],
  "lead_investors": ["Polychain Capital", "Hashed"]
}
Інвестори рівня 3 Якщо проєкт підтримується DWF Labs,

Wintermute або GSR, оцінка backer_tier_score автоматично знижується, щоб позначити потенційні занепокоєння щодо маніпуляцій ринком. :::

5. Збирач Dropstab (Все-в-одному) ✨ НОВЕ​

Файл: dropstab.py

Призначення: Потужний агрегатор, що витягує критичні дані, зазвичай приховані за платними підписками або складними інтерфейсами.

Зібрані дані​

ПолеДжерелоОпис
Certik ScoreCertik SkynetОцінка безпеки (0-100) та Рівень (AAA-Bronze)
TweetScoutTweetScout.ioРівень впливу спільноти (1-5) та Оцінка
Scam AlertDropstab RiskКРИТИЧНИЙ прапорець, якщо проєкт є відомим шахрайством
InvestorsCryptoRank/CrunchbaseСписок VC та раундів збору коштів
VestingVestLabГрафіки розблокування токенів

Ключова логіка: "Об'єкт Dropstab"​

Ми витягуємо масивний об'єкт JSON, вбудований у вихідний код сторінки Dropstab (__NEXT_DATA__). Це дає нам доступ до всієї їхньої партнерської екосистеми (Certik, TweetScout) без необхідності окремих ключів API для кожного сервісу.

🔄 Конвеєр збору даних​

Коли запитується проєкт, CryptoService координує роботу всіх збирачів даних:

def _fetch_and_save(self, cur, slug: str):
    # 1. Отримати дані з CoinGecko
    cg_data = self.coingecko.get_coin_data(slug)

    # 2. Отримати метрики GitHub
    gh_data = self.github.get_repo_metrics(cg_data.get("github_org"))

    # 3. Отримати TVL з DefiLlama
    dl_data = self.defillama.get_protocol_data(slug)

    # 4. Отримати DefiLlama Raises (збір коштів)
    raises_data = self.defillama_raises.harvest_project_funding(cg_data.get("name"))

    # 5. Об'єднати всі дані
    merged_data = {**cg_data, **gh_data, **dl_data, **raises_data}

    # 6. Обчислити Trust Score за 6 стовпами
    score_result = self.risk_engine.calculate_trust_score(merged_data)

    # 7. Зберегти в базу даних
    cur.execute("INSERT INTO crypto_projects ...")

⚡ Продуктивність​

МетрикаНове отриманняКешовані
Загальний час2-3 секунди< 50 мс
CoinGecko~800 мс-
GitHub~1.2 с-
DefiLlama TVL~500 мс-
DefiLlama Raises~100 мс*-

*Дані Raises кешуються масово (усі 6 723 раунди одночасно).

Коефіцієнт влучання в кеш​

ЗбирачКоефіцієнт влучання
CoinGecko~90%
GitHub~85%
DefiLlama TVL~75%
DefiLlama Raises~95%*

*Кеш Raises є спільним для всіх проєктів.

6. Збирач DefiLlama Emissions ✨ НОВЕ​

Файл: defillama_emissions.py

Призначення: Отримує графіки вестингу/розблокування токенів з розбивкою за розподілом.

Зібрані дані​

ПолеОписПриклад
categoriesРозподіл за категоріями[Airdrop, Team, Investors...]
unlock_progress_pct% розблокованих токенів65.4%
total_supplyМаксимальна пропозиція10,000,000,000
next_unlockНаступна подія розблокування{date, amount}

Деталі API​

  • Кінцева точка: https://api.llama.fi/emission/SLUG
  • Ліміт запитів: Без обмежень
  • Cache TTL: 24 години
  • Вартість: Безкоштовно ✅

Приклад виводу​

{
  "name": "Arbitrum",
  "categories": [
    { "name": "Airdrop", "unlocked": 1162000000 },
    { "name": "Foundation", "unlocked": 750000000 },
    { "name": "Advisors Team OffchainLabs", "unlocked": 2694000000 }
  ],
  "unlock_progress_pct": 100.0,
  "total_supply": 10000000000
}

Результати тестування​

ТокенКатегоріїПрогрес розблокування
Arbitrum5100%
Aptos4100%
Sui80%
ApeCoin5100%
Покриття Не всі токени мають дані про емісію. Для токенів без даних

(наприклад, Optimism) ми елегантно повертаємо статус "not_tracked". :::

7. Збирач ICODrops ✨ НОВЕ​

Файл: icodrops.py

Призначення: Запасне джерело даних про вестинг, коли DefiLlama Emissions не має покриття. Витягує детальну розбивку розподілу токенів зі сторінок ICODrops SSR.

Зібрані дані​

ПолеОписПриклад
vesting_scheduleСписок категорій вестингу[Team, Investors, Airdrop...]
tge_dateДата події генерації токенів"2025-04-28"
investorsСписок інвесторів проєкту[Paradigm, a16z, ...]
vesting_progressЗагальний відсоток розблокування45.5%

Ключові функції​

  • Інтеграція резервного варіанту: Викликається лише тоді, коли DefiLlama Emissions не повертає даних
  • days_remaining: Обчислює кількість днів до розблокування кожної категорії
  • locked_value_m: Вартість заблокованих токенів у доларах за категорією

Приклад виводу​

{
  "coin_name": "Monad",
  "vesting_schedule": [
    {
      "category": "Team",
      "status": "locked",
      "days_remaining": 1453,
      "locked_value_m": 606.99
    },
    { "category": "Public Sale", "status": "unlocked", "unlock_pct": 100 }
  ],
  "investor_count": 15,
  "tge_date": "2025-04-28"
}
Запасний варіант вестингу ICODrops надає детальну розбивку вестингу для

нових проєктів, які DefiLlama ще може не відстежувати. Це забезпечує комплексне покриття для нещодавно запущених токенів. :::

8. Збирач CryptoRank (Відключено)​

Файл: cryptorank.py

Призначення: Офіційний API для даних про збір коштів (потрібен платний ключ API).

Статус: Наразі відключено через вартість API.

🚀 Майбутні збирачі даних (Заплановано)​

Збирач LunarCrush​

  • Дані: Соціальні метрики, залученість інфлюенсерів
  • Призначення: Опора спільноти
  • Статус: Заплановано на 1 квартал 2026 року

Збирач TwitterScore​

  • Дані: Якість підписників, виявлення ботів
  • Призначення: Опора спільноти
  • Статус: Заплановано

Усі 8 збирачів даних працюють на безкоштовних рівнях API без жодних витрат.