Skip to main content

πŸ“Š Data Universe (SN13) β€” Decentralized Data Provision Subnet

Setelah Chutes yang menyediakan compute (GPU inference), sekarang kita bahas subnet yang menyediakan bahan bakar AI: data. Welcome to Data Universe β€” NetUID 13.

Kalau di industri AI ada pepatah "data is the new oil", maka SN13 adalah kilang minyaknya Bittensor: subnet yang men-scrape, membersihkan, dan menyediakan dataset segar untuk siapa pun yang butuh train / fine-tune model.

Goal Unit Ini

Setelah selesai membaca unit ini kamu akan bisa:

  • 🎯 Menjelaskan misi SN13 dan kenapa "data provision" adalah subnet paling strategis di Bittensor
  • πŸ“¦ Memahami sumber data yang di-scrape miner (Reddit, X/Twitter, YouTube transcripts)
  • πŸ—„οΈ Memahami storage architecture β€” kenapa S3-compatible dan bagaimana validator verifikasi
  • πŸ“ Memahami prinsip Data Universe scoring β€” faktor yang bikin miner dapat reward
  • πŸš€ Tahu kenapa SN13 adalah pilihan terbaik untuk miner pemula β€” dan ini yang akan kamu build di Phase 2 GP-2

🧠 Kenapa "Data" Adalah Gold di AI?​

Industri AI modern dibangun di atas tiga pilar: compute, algoritma, data. Dari ketiganya, data adalah yang paling susah di-scale.

  • Compute β†’ beli GPU lebih banyak, masalah beres (asal punya modal).
  • Algoritma β†’ di-publish di arXiv gratis, siapa pun bisa pakai.
  • Data berkualitas β†’ ini yang scarce. Sumber data training internet tidak infinite, dan yang bagus (human-written, recent, non-synthetic) makin langka.

Ketika OpenAI / Google / Anthropic butuh data fresh, mereka:

  1. Bayar perusahaan scraping (Common Crawl, atau vendor private).
  2. Deal langsung dengan platform (Reddit deal ~$60M untuk Google, X deal dengan xAI).
  3. Bangun army scraper internal.

Masalahnya:

  • Deal eksklusif bikin data jadi moat para raksasa β€” AI startup kecil tidak punya akses setara.
  • Data statis cepat basi β€” tren berubah tiap bulan; dataset tahun lalu sudah out-of-distribution.
  • Data ter-terlabel / dikontekstualisasi (bukan raw HTML) butuh pipeline kompleks.

SN13 memecahkan ini dengan desentralisasi kerja scraping ke ribuan miner global.

Analogi Sederhana

Bayangkan Wikipedia yang dibayar. Di Wikipedia orang kontribusi sukarela untuk mengisi artikel. Di SN13, miner "kontribusi" data dari Reddit / X / YouTube β€” tapi mereka dibayar dalam TAO sebanding dengan kualitas & ke-fresh-an data mereka. Lebih scalable, lebih bisa diandalkan secara ekonomi.

🎯 Apa itu Data Universe / SN13?​

Data Universe (NetUID 13), dikelola oleh tim Macrocosmos, adalah subnet Bittensor yang mission-nya adalah mengumpulkan, memvalidasi, dan menyediakan data training high-quality β€” terutama dari platform sosial & video yang kontennya dibuat manusia secara real-time.

Outputnya: dataset terbuka yang bisa dipakai untuk:

  • πŸ€– Fine-tune LLM dengan data percakapan terkini
  • πŸ“ˆ Training model analisis sentimen untuk finance / marketing
  • πŸ”¬ Penelitian social science dalam skala besar
  • πŸ›’ Product intelligence (apa yang orang bicarakan tentang produk X)

πŸ“¦ Sumber Data yang Di-scrape​

Data Universe fokus pada sumber data yang high-signal dan fresh. Tiga sumber utama saat ini:

1. Reddit​

Subreddit-based scraping. Reddit adalah sumber diskusi panjang & terstruktur (berbeda dari X yang snippet pendek). Miner mengambil:

  • Post (judul + body + metadata subreddit)
  • Komentar (tree discussion)
  • Timestamp (untuk mengukur ke-fresh-an)

2. X (Twitter)​

Microblogging, sumber sinyal real-time paling cepat (berita, drama, meme). Miner mengambil:

  • Tweet text + metadata (author, timestamp, engagement)
  • Tagged hashtag
  • Reply thread

3. YouTube Transcripts​

Video caption / auto-generated transcript. Ini emas untuk training model karena:

  • Format "spoken language" berbeda dari "written language"
  • Konten long-form (podcast, lecture, tutorial) memberikan context panjang
  • Multi-bahasa
Subnet Evolve

Daftar sumber data bisa berubah. Tim Macrocosmos menambah / me-retire source berdasarkan prioritas downstream buyer. Cek repo macrocosm-os/data-universe untuk list aktual saat kamu masuk.

πŸ“Š Arsitektur SN13 β€” Dari Scrape sampai Reward​

Alur ini berjalan terus-menerus. Miner scrape 24/7, validator audit sampel tiap epoch, consumer query data lewat API Macrocosmos.

πŸ—„οΈ Kenapa S3-Compatible Storage?​

Ini salah satu design decision paling cerdas di SN13 β€” dan sering jadi pertanyaan pemula.

Masalah: data yang di-scrape bisa sampai gigabytes per miner per hari. Kalau disimpan on-chain (Bittensor Subtensor), blockchain akan meledak dalam seminggu.

Solusi SN13: data disimpan off-chain di S3-compatible bucket milik masing-masing miner. Yang di-chain cukup:

  • Commitment (hash) terhadap bucket content
  • Metadata terbatas (index, source breakdown)
  • Scoring weight hasil validator

Kenapa "S3-compatible" bukan S3 saja?

Karena standar S3 dipakai banyak provider:

  • AWS S3 (original, paling mahal)
  • Cloudflare R2 (no egress fee β€” populer di kalangan miner)
  • Backblaze B2 (termurah untuk storage dingin)
  • Wasabi, DigitalOcean Spaces, dll.

Miner bebas pilih provider mana pun selama endpoint-nya S3 API compatible. Ini menurunkan cost barrier entry signifikan.

Pilihan Populer untuk Miner Pemula

Komunitas SN13 sering merekomendasikan Cloudflare R2 karena:

  • Free tier 10GB storage + 1M Class A operations/bulan
  • No egress fee β€” validator bisa fetch dari bucket kamu tanpa kamu dikenai charge bandwidth
  • Setup gampang (mirip AWS S3 API)

βš™οΈ Apa yang Dikerjakan Miner SN13?​

Secara konkret, tugas miner Data Universe:

  1. Scrape data dari source yang dipilih subnet (Reddit / X / YouTube).
  2. Simpan lokal di SQLite dengan schema DataEntity (content, source, timestamp, label).
  3. Upload batch ke S3 bucket secara periodic (biasanya per-interval 2-4 jam).
  4. Expose index di endpoint HTTP lokal supaya validator bisa query "apa saja yang kamu punya".
  5. Commit bucket hash on-chain tiap epoch.
Keunggulan untuk Pemula

Tidak butuh GPU. Tidak butuh model inference. Hardware minimal banget:

  • VPS murah (Contabo, Hetzner β€” €5–15/bulan)
  • Storage cloud (R2 / B2 β€” $5–20/bulan tergantung volume)
  • Bandwidth sedang (scraping + upload)
  • Python skill dasar

Total modal entry bisa di bawah $30/bulan, jauh lebih murah dari Chutes.

πŸ“ Bagaimana Scoring Bekerja?​

Ini bagian yang menentukan seberapa banyak TAO yang kamu dapat. Scoring SN13 dibangun di tiga dimensi utama:

1. Volume (Jumlah data)​

Makin banyak data valid yang kamu supply, makin tinggi base score. Tapi bukan linear β€” ada diminishing returns.

2. Freshness (Ke-fresh-an)​

Data recent (misal tweet hari ini) bernilai jauh lebih tinggi daripada data lama (tweet 3 tahun lalu). Kenapa? Karena downstream consumer (AI trainer) lebih butuh data current. Subnet aktif meng-decay nilai data lama.

3. Desirability (Keinginan)​

Subnet punya dynamic label preferences β€” beberapa topic / subreddit / keyword lebih "diinginkan" daripada yang lain. Contoh: r/wallstreetbets saat earnings season, atau tweet dengan keyword AI saat big model release. Miner yang nge-scrape label desirable dapat multiplier.

Rumus simplified:

score_miner β‰ˆ Ξ£ ( volume_i Γ— freshness_weight(i) Γ— desirability_weight(label_i) )

Validator menghitung ini tiap epoch, lalu set weight on-chain.

Duplicate & Fake Data

Validator secara aktif mendeteksi:

  • Duplication β€” data yang sama persis antar-miner hanya dihitung untuk satu miner.
  • Fake data β€” validator sampling random lalu verify ke source API aslinya. Kalau tidak match β†’ penalty berat.

Jangan coba-coba generate synthetic data atau copy dari miner lain. Validator akan ketahuan.

πŸ’Ό Siapa yang Beli Data-nya?​

Pertanyaan penting: data yang di-scrape ini, siapa yang butuh?

Beberapa jalur monetisasi ekosistem SN13:

  1. Internal Bittensor subnets β€” subnet lain (misal subnet model training) beli data dari SN13 untuk fine-tune model mereka.
  2. External AI labs β€” peneliti / startup AI di luar Bittensor butuh dataset fresh berlabel, bayar Macrocosmos untuk akses API.
  3. Macrocosmos productization β€” tim membangun produk turunan (dashboard analitik, sentiment feed untuk trader) di atas data SN13.

Revenue ini secara tidak langsung menjaga "demand" terhadap emission TAO SN13 β€” makin banyak buyer, makin valid ekonomi subnet.

πŸ’° Miner Economics β€” Realistic Expectation​

Biaya Tipikal (per bulan)​

KomponenRentang
VPS (2 vCPU, 4GB RAM) β€” Contabo/Hetzner$5–15
Cloudflare R2 storage (50–200 GB)$0.75–3
Reddit/X API credentials atau proxy$0–30 (tergantung strategi)
Registration fee SN13 (one-time)Variatif dalam TAO β€” cek Taostats
Total OpEx~$10–50/bulan

Potensi Revenue (kualitatif)​

Reward harian miner SN13 bergantung pada:

  • Score rank kamu di antara ratusan miner lain
  • Emission TAO ke subnet 13 (dynamic TAO)
  • Harga TAO di market

Realistic expectation untuk miner baru yang setup OK tapi belum tuning:

  • Minggu pertama sering di bawah break-even (masih ngumpulin volume & learning).
  • Setelah tuning (pilih desirable labels, stabilkan uptime): realistic untuk profit kecil–menengah dalam TAO, tergantung harga market.
  • Top-tier miner dengan scraping strategy canggih: bisa signifikan β€” tapi juga mereka paling kompetitif.
Jangan percaya angka presisi

Kamu akan lihat screenshot "earning $XXX/day" di Twitter. Itu biasanya cherry-picked di hari TAO pump. Budget planning kamu harus assumsi harga TAO flat / turun supaya tidak kaget kalau market jelek.

🧩 Cocok untuk Kamu Kalau...​

Profile miner SN13 yang ideal β€” dan ini mayoritas peserta camp ini:

  • βœ… Budget mining terbatas ($10–50/bulan OK) β€” tidak perlu GPU mahal.
  • βœ… Python developer level menengah β€” bisa baca repo, ngoprek config file, debug exception.
  • βœ… Familiar Linux basic β€” ssh, tmux/screen, systemd, tail -f.
  • βœ… Sabar tuning β€” subnet ini kompetisinya soal optimization, bukan brute-force compute.
  • βœ… Mau mulai dari miner pertama kamu β€” kurva belajar paling gentle di Bittensor.

❌ Kurang cocok kalau kamu cari "passive income tanpa effort" β€” scoring dinamis, kamu harus adjust strategy seiring waktu.

πŸ”— Konteks di Kurikulum Ini​

Inilah subnet pertama yang kita akan deploy miner-nya dalam Phase 2.

➑️ Phase 2 β€” GP-2 (Guided Project 2): Data Universe (SN13) Mining akan membawa kamu step-by-step dari:

  1. Introduction SN13 & environment setup
  2. Deploy miner software
  3. Konfigurasi scraping strategy
  4. Tuning untuk optimasi reward
  5. S3 storage configuration & upload flow
  6. Interaction layer (query API test)

Semua konsep di unit ini β€” freshness, desirability, S3 bucket, commitment hash β€” akan kamu jalankan sendiri dengan tangan kamu di Phase 2 GP-2. Jadi pastikan paham dulu di level konsep sekarang.

Pair dengan SN41

Kami rekomendasikan tiap peserta mencoba dua-duanya: SN41 (Sportstensor) untuk belajar subnet prediction yang revenue-generating, dan SN13 untuk belajar subnet data yang paling pemula-friendly. Next unit kita bahas SN41.

🎯 Rangkuman​

Yang perlu kamu ingat dari unit ini:

  1. SN13 = Data Universe β€” menyediakan training data fresh dari Reddit, X, YouTube untuk AI ecosystem.
  2. Data disimpan off-chain di S3-compatible bucket milik miner. On-chain hanya hash commitment & scoring.
  3. Scoring = volume Γ— freshness Γ— desirability β€” bukan sekadar "banyak-banyakan data", tapi relevance.
  4. Duplicate & fake data akan dihukum β€” validator cek ke source API asli secara random.
  5. Barrier of entry paling rendah di Bittensor β€” VPS + storage cloud cukup, tidak butuh GPU.
  6. Subnet ini yang akan kamu deploy di Phase 2 GP-2 β€” konsep di unit ini langsung kepakai.

βœ… Quick Check​

Sebelum lanjut ke Unit 3 (Sportstensor), pastikan kamu bisa jawab:

  1. Kenapa data SN13 disimpan di S3 bucket miner, bukan on-chain?
  2. Tiga dimensi scoring SN13 adalah... (sebutkan semua).
  3. Kenapa "data lama" dinilai lebih rendah dari "data fresh" β€” apa alasan ekonomisnya?
  4. Cloudflare R2 populer di kalangan miner SN13 karena satu fitur spesifik β€” apa itu?
  5. Apa yang terjadi kalau dua miner upload data yang persis sama?

Semua terjawab β†’ lanjut. Kalau masih goyang di scoring formula, baca ulang bagian Bagaimana Scoring Bekerja.

πŸ“š Referensi Lanjutan​

Next: Unit 3 β€” Sportstensor (SN41) β†’ Sports Event Prediction Subnet πŸ‘‰