ahmetggg/Luck-spark-V-300-MoE

Luck-Spark V-300-MoE

Küçük ölçekli Mixtral-tarzı MoE dil modeli · araştırma önizlemesi
~295M toplam parametre · 4 uzman · top-2 yönlendirme · 1024 bağlam

Model · Tokenizer · Dr. Zeon

---

Dürüst durum notu. Bu bir bitmiş ürün modeli değildir. Sıfırdan pretrain edilen deneysel bir taban modeldir. Hedef korpus 5 milyar token; bu karttaki ağırlıklar eğitim yolunun erken bir noktasındadır. Kısa metin üretebilir, tekrarlayabilir, dil karıştırabilir. Değerlendirme kıyasları henüz yayınlanmamıştır.

---

Bu model nedir?

Luck-Spark V-300-MoE, Dr. Zeon tarafından sıfırdan eğitilen küçük bir Mixture-of-Experts dil modelidir. Mimari, Hugging Face MixtralForCausalLM iskeletini kullanır; ölçek ise bilinçli olarak tek bir Kaggle T4×2 oturumunda taşınabilir olacak şekilde seçilmiştir.

Amaç büyük bir genel model kopyalamak değil. Amaç şudur:

• ~300M parametrede seyrek uzman yönlendirmesinin gerçekten öğrenilip öğrenilmediğini görmek
• Türkçe + İngilizce + matematik + kod karışımını aynı küçük modelde dengelemek
• Ücretsiz Kaggle GPU kotasıyla oturumlar arası gerçek resume yapılabilen bir eğitim hattı kurmak

Bu repo, o hattın canlı ağırlıklarıdır.

Mimari

Mimari	Mixtral (decoder-only, MoE FFN)
Toplam parametre	~294.6M
Katman	12
Gizli boyut	768
Dikkat başı	12
KV başı (GQA)	4
Yerel uzman	4
Token başına uzman	2
Uzman FFN	2048
Router aux loss	0.005
Bağlam	1024
RoPE θ	10.000
Sözlük	32.004
Tokenizer	ahmetggg/luck-spark-l-100m-base
Gömme paylaşımı	kapalı (tie_word_embeddings=false)

Her token’da 4 uzmandan 2’si açılır. Küçük ölçekte 4 uzman, büyük Mixtral’daki 8 uzmanlık çeşitliliği vermez. Bu bilinçli bir donanım takasıdır: T4 belleğinde eğitim açılsın, yönlendirme yine gerçek bir MoE problemi olarak kalsın.

Eğitim verisi

Akışkan (streaming) karışım. Oranlar hedef token payıdır; doküman örnekleme olasılıkları ortalama doküman uzunluğuna göre düzeltilmiştir.

Kaynak	Hedef token payı	Rol
HuggingFaceFW/fineweb-edu (sample-10BT)	%55	İngilizce eğitim metni
ytu-ce-cosmos/Cosmos-Turkish-Corpus-v1.0	%20	Türkçe
open-web-math/open-web-math	%15	matematik
codeparrot/codeparrot-clean	%5	kod
HuggingFaceTB/cosmopedia (openstax)	%5	ders kitabı / açıklayıcı metin

Dokümanlar tokenize edilir, EOS eklenir, sonra 1024 token’lık bloklara paketlenir. Padding yok; her adımda sabit uzunluk.

Sınır. Tokenizer önce Türkçe ağırlıklı 100M taban için üretilmiştir. Karışımın büyük kısmı İngilizce olduğu için bu sözlük ideal değildir. Kod ve matematik token ekonomisi ileride ayrı bir sözlükle yeniden ele alınacaktır.

Eğitim düzeni

Donanım	Kaggle Tesla T4 × 2
Paralelizm	torchrun, 2 süreç
Hassasiyet	T4’te FP16 (BF16 yoksa)
Batch / GPU	2
Gradient accumulation	16
Effective batch	65.536 token / adım
Optimizasyon	AdamW (β1=0.9, β2=0.95)
Öğrenme hızı	1e-4, cosine, 1000 adım warmup
Weight decay	0.01
Grad clip	1.0
Gradient checkpointing	açık
Hedef	5.000.000.000 token ≈ 76.303 adım
Kayıt	her 500 adım
Üretim sondası	her 2000 adım

Kaggle oturumu yaklaşık 12 saatle sınırlıdır. Süre dolmadan güvenli checkpoint alınır; bir sonraki oturum aynı adımdan devam eder.

Checkpoint biçimi

Transformers’ın varsayılan Mixtral kayıt yoluna güvenilmez. Her kayıtta runtime state_dict doğrudan model.safetensors olarak yazılır ve luck_spark_checkpoint.json damgası konur. Yükleme strict=True ile yapılır. Damgasız eski klasörler yok sayılır.

Hub’da biriken checkpoint şişmesini önlemek için yalnızca son birkaç kayıt tutulur.

Resume’un sınırı. Ağırlık, optimizer ve scheduler oturumlar arasında taşınır. Streaming veri konumu birebir aynı yerden devam etmeyebilir. Yani ağırlık devamı gerçektir; veri konumunun birebir devamı garanti değildir.

Nasıl kullanılır?

Nasıl kullanılır?

Erken kontrol noktasıdır. Üretim sohbet botu değildir.

Aşağıdaki script interaktif çalışır: her seferinde farklı prompt yazıp deneme yapabilirsin.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

REPO = "ahmetggg/Luck-spark-V-300-MoE"
MAX_CONTEXT = 1024
MAX_NEW_TOKENS = 64

tokenizer = AutoTokenizer.from_pretrained(REPO)
model = AutoModelForCausalLM.from_pretrained(
    REPO,
    torch_dtype=torch.float16,
    device_map="auto",
)
model.eval()

print("Hazir. Cikmak icin 'exit' yaz.\n")

while True:
    prompt = input(">> ").strip()
    if prompt.lower() in ("exit", "q"):
        break
    if not prompt:
        continue

    inputs = tokenizer(
        prompt, return_tensors="pt", truncation=True, max_length=MAX_CONTEXT
    ).to(model.device)

    with torch.no_grad():
        output = model.generate(
            **inputs,
            max_new_tokens=MAX_NEW_TOKENS,
            do_sample=True,
            temperature=0.8,
            top_p=0.95,
            use_cache=False,  # bu transformers surumunde MoE + KV-cache sorunlu
            pad_token_id=tokenizer.pad_token_id,
            eos_token_id=tokenizer.eos_token_id,
        )

    full_text = tokenizer.decode(output[0], skip_special_tokens=True)
    prompt_decoded = tokenizer.decode(inputs["input_ids"][0], skip_special_tokens=True)
    print(full_text[len(prompt_decoded):].strip() + "\n")

Bağlam penceresi 1024 tokendir. Bundan uzun girdi kesilir veya anlamsızlaşır. Bu bir taban modeldir, instruct/chat fine-tune edilmemiştir — çoklu tur "hafıza" beklemeyin.

Ne beklemeli, ne beklememeli?

Bekle.

• Kısa Türkçe / İngilizce devam cümleleri
• Basit kalıp tamamlama
• Eğitim ilerledikçe daha az çöp token

Bekleme.

• Talimat takibi (instruct / chat finetune yok)
• Güvenilir çok adımlı matematik
• Temiz, çalışır kod
• Güncel bilgi
• 1024 token üstü tutarlı bellek

Ölçek kuralı kabaca şudur: ~300M parametreli bir model Chinchilla civarında birkaç milyar token görünce “küçük ama okunur taban” olmaya başlar. Birkaç yüz milyon token’da bebek dil modelidir. Bu kartı o mercekten okuyun.

Değerlendirme

Bu sürümde resmi kıyas tablosu yoktur. Eğitim sırasında yalnızca üretim sondası (TR / EN / matematik / kod promptları) çalışır. Sayısal tablo — held-out perplexity, basit matematik, kısa kod — 5B hedefinin ilerleyen dilimlerinde eklenecektir.

MoE sağlığı (uzman kullanım oranı, ölü uzman, router entropy) dahili loglardadır; henüz model kartına işlenmemiştir.

Sınırlamalar ve riskler

• Halüsinasyon üretir. Doğruluk iddiası yoktur.
• Eğitim verisi açık web kaynaklıdır; önyargı, hatalı bilgi ve istenmeyen kalıplar geçebilir.
• Küçük model olduğu için güvenlik hizalaması yoktur.
• Araştırma, eğitim ve hata ayıklama içindir. Tıbbi, hukuki, mali veya güvenlik-kritik işlerde kullanılmaz.

Seri

Model	Ölçek	Not
luck-spark-l-100m-base	~91M dense	İlk sıfırdan taban + tokenizer
luck-spark-l-100m-instruct	~91M	Deneysel instruct
Luck-Spark V-300-MoE	~295M MoE	Bu repo

Yol haritası

1. 5B token pretrain hedefini tamamlamak
2. Held-out TR / EN perplexity ve küçük kıyas seti
3. Uzman yük dengesini kartta yayınlamak
4. Veri karışımına uygun sözlüğü yeniden değerlendirmek
5. Ancak taban oturduktan sonra ayrı bir instruct sürümü

Atıf

@misc{luckspark-v300-moe,
  title        = {Luck-Spark V-300-MoE},
  author       = {Dr. Zeon},
  year         = {2026},
  howpublished = {\url{https://huggingface.co/ahmetggg/Luck-spark-V-300-MoE}},
  note         = {From-scratch Mixtral-style MoE language model. Research preview.}
}

Lisans

MIT. Üstteki veri kümelerinin kendi lisanslarına da uyun.

Teşekkür

Eğitim, Kaggle ücretsiz T4×2 kotası ve Hugging Face Hub üzerinde yürütülmektedir. FineWeb-Edu, Cosmos Turkish Corpus, OpenWebMath, CodeParrot ve Cosmopedia sağlayıcılarına teşekkürler.

---

Dr. Zeon · Luck-Spark
Küçük model. Uzun yol. Dürüst kart.