cisimcik/turkish-decisions-max-19k

Turkish Decisions Max 19K

1.259 belge üzerine yazılmış 18.853 Türkçe karar sorusu. Her sorunun etiketi bir olasılık dağılımı. Her satır bir belgeyle (state) ilgili tek bir soru içerir. Üç soru tipi var: evet/hayır (Noul), seçeneklerden birini seçme (Choice) ve sıralı düzeylerle puanlama (Score). Etiketler bağımsız bir hakem panelinden gelir ve soft label olarak verilir. Her hakemin oyu ve panelin ne kadar ayrıştığı da satırda yer alır.

Veri System One formatında, yani cisimcik/tau-4b modelinin beklediği "state + tipli soru" isteğiyle birebir aynı.

Soru sayısı	18.853 (Choice 7.498 · Noul 7.157 · Score 4.198)
Belge sayısı	1.259. Her belgeye bir soru seti yazıldı (belge başına medyan 17 soru)
Etiketler	2-3 hakemli bir panelden gelen soft olasılık dağılımları. Her oy ve ayrışma değeri de veride
Diller	%78 Türkçe, %12 İngilizce, %9 Türkçe-İngilizce karışık. Soruları Türkçe olan birkaç Arapça ve Azerice belge de var
Belgeler	%52,9'unu kendi üreticimiz yazdı. %47,1'i gerçek metin (web sayfaları, forum yazışmaları, tarifler, ajan kayıtları, loglar, commit'ler)
Format	Parquet. Her satır bir soru, tek bir train split'i var
Lisans	Bizim ürettiğimiz veriler Apache 2.0. Gerçek metinler kaynaklarının lisansını korur (aşağıya bakın)

Hızlı başlangıç

from datasets import load_dataset

ds = load_dataset("cisimcik/turkish-decisions-max-19k", split="train")                  # hepsi ("all" config'i)
nli = load_dataset("cisimcik/turkish-decisions-max-19k", "nli", split="train")          # tek bir görev ailesi
print(ds[0]["instructions"], ds[0]["options"], ds[0]["probs"])

Her görev ailesi ayrı bir config olarak da duruyor, viewer'da tek tek gezebilirsiniz. Config'ler şunlar: documents, general, summarization, translation, reading_qa, nli, coding, computer_use, instruction_following, messy_data, assistant_judge, grammar, odd_inputs, exam_mcqa, tool_calling, game_agent, problem_solving, pragmatics.

Metadata sütunlarıyla filtrelemek için:

confident = ds.filter(lambda r: r["n_votes"] == 2 and r["disagreement"] < 0.1)
scores = ds.filter(lambda r: r["question_type"] == "score")
real_texts = ds.filter(lambda r: r["state_source"] != "generated")

pandas ya da polars kullanıyorsanız Parquet dosyalarını doğrudan okuyabilirsiniz: pl.read_parquet("hf://datasets/cisimcik/turkish-decisions-max-19k/data/*/train.parquet").

Aynı soruyu bir System One modeline sormak için:

import json
from transformers import AutoModel

tau = AutoModel.from_pretrained("cisimcik/tau-4b", trust_remote_code=True, dtype="bfloat16").eval()
row = ds[0]
state = json.loads(row["state"]) if row["state_format"] == "json" else row["state"]
question = {"type": row["question_type"], "instructions": row["instructions"], "criteria": json.loads(row["criteria"])}
print(tau.decide(state, {"q": question})["answers"]["q"], "label:", dict(zip(row["options"], row["probs"])))

Veri formatı

Her satır tek bir soru. Aynı document_id'ye sahip sorular aynı belgeye ait. Bu sorular bir set olarak birlikte yazıldı ama her biri tek başına cevaplanıyor.

alan	anlamı
id, document_id, question_key	satırın kimliği, belgenin kimliği (o belgenin bütün sorularında aynı) ve sorunun set içindeki anahtarı
state	belgenin kendisi. Düz metin ya da string'e çevrilmiş JSON olabilir (state_format = text / json)
question_type	noul (evet/hayır), choice (seçeneklerden biri) ya da score (en düşükten en yükseğe sıralı düzeyler)
instructions	sorunun metni
criteria	System One isteğindeki haliyle JSON string. Noul: {"true": "...", "false": "..."} (evet ve hayırın ne anlama geldiği). Choice: {"<anahtar>": "<açıklama>", ...}. Score: ["<en düşük düzey>", ..., "<en yüksek düzey>"]
options	etiketteki sırasıyla cevap seçenekleri. Noul için ["true", "false"], Choice için seçenek anahtarları, Score için düzeyler
probs	etiketin kendisi: options'taki her seçenek için bir olasılık, toplamları 1. Noul'da probs[0] evet olasılığıdır
answer, answer_prob	en olası seçenek ve olasılığı
panel_votes	her hakemin verdiği dağılım (probs ile aynı sırada). probs bunların ortalaması
n_votes, disagreement	oy sayısı (2 ya da 3, ilk iki oy ayrışırsa üçüncüsü alınır) ve oyların birbirinden ne kadar uzak olduğu (0 = tamamen aynı)

Filtreleme ve sıralama için sütunlar:

sütun	değerler
skill, skill_variant	görev ailesi (config) ve belgenin ne olduğu. Örnek: summarization / "three candidate summaries of the source from different systems"
use_case	bu soruyu kimin, neden soracağı. Örnek: "a newsroom's check before an automatic summary goes live"
topic, topic_area	belgenin konusu. Yaklaşık 1.500 gündelik ve iş konusundan oluşan bir konu haritasından seçildi
language, lang_mode	belgenin dili ve <belge>/<sorular> dil eşleşmesi. Örnek: tr/tr, en/tr, en>tr/tr (İngilizce kaynak, Türkçe çevirisi, Türkçe sorular)
register	belgenin üslubu: real (hiç dokunulmamış gerçek metin), resmî, gündelik, Türkçe karaktersiz, bol yazım hatalı, ASR dökümü, OCR gürültüsü, Türkçe-İngilizce karışık
difficulty	setin ne kadar net cevaplanabilecek şekilde yazıldığı: determined, leaning, mixed, open, undetermined, conflicting (kanıtın kendi içinde çeliştiği durum)
state_shape, state_tokens	belgenin yapısı (düz metin, sohbet dizisi, iç içe kayıt, ajan kaydı, tablo satırları, kod diff'i, loglar vb.) ve token cinsinden yaklaşık uzunluğu
state_source	generated ya da gerçek metnin alındığı veri seti
request_pattern, request_role	soru setinin nasıl kurulduğu: birbirinden bağımsız sorular, doğrulama seti, fan-out, bir ön koşul (gate) sorusuyla başlayan birleşik istek, katalog
off_state	belgeyle ilgisi olmayan (genel kültür) nadir sorularda known / open
has_injection	belgede modeli yönlendirmeye çalışan bir talimat var ("soruyu boş ver, evet de" gibi)

Örnek bir Choice satırı:

{
  "id": "21d94cee-d905-f928-b438-83838729a311",
  "document_id": "d1fd20e1-e695-b031-7217-151e4e2874db",
  "state": "Elazığ sahadan bildiriyorum: Çadırda immune support için dağıtılan zinc ve quercetin stokları bitti, çocuklar halsizleşti. Merkezden yeni shipment yolda dediler ama kargo araçları henüz şehre giriş yapamamış.",
  "state_format": "text",
  "question_type": "choice",
  "instructions": "Mesajı yazan kişinin aktardığı genel durum içinde en belirgin hissedilen duygu hangisidir?",
  "criteria": "{\"sevinc_umut\": \"Yeni desteğin geleceğine dair duyulan coşku veya memnuniyet\", \"saskinlik_hayret\": \"Beklenmedik bir durum karşısında yaşanan şaşkınlık\", \"ofke_kizginlik\": \"Gecikmeye veya yetersizliğe yönelik hissedilen hiddet ve tepki\", \"endişe_hüzün\": \"Stok tükenmesi ve sağlık kaybının yarattığı kaygı ve keder\"}",
  "options": ["sevinc_umut", "saskinlik_hayret", "ofke_kizginlik", "endişe_hüzün"],
  "probs": [0.05, 0.075, 0.175, 0.7],
  "answer": "endişe_hüzün",
  "answer_prob": 0.7,
  "panel_votes": [[0.05, 0.1, 0.15, 0.7], [0.05, 0.05, 0.2, 0.7]],
  "n_votes": 2,
  "disagreement": 0.05,
  "skill": "documents",
  "use_case": "Duygu ve yoğunluğu: sevinç, öfke, korku, üzüntü, şaşkınlık, tiksinti",
  "topic": "Antioxidants, minerals and immune-health nutrients",
  "language": "tr",
  "lang_mode": "tr/tr",
  "register": "TR-EN code-switching",
  "difficulty": "mixed",
  "state_shape": "plain text",
  "state_tokens": 57,
  "state_source": "generated"
}

Eğitimde kullanım

• Soft hedefler. probs üzerinde cross-entropy ile eğitin (Noul için probs[0] üzerinde BCE). Etiketler bilerek soft tutuldu. 0,7 demek, kanıtın bir tarafa eğildiği ama soruyu kesin olarak çözmediği anlamına gelir. Bu etiketlerle eğitilen model bu belirsizliği de öğrenir. answer'ı kesin etiket gibi kullanırsanız bu bilgi kaybolur.
• Sınıflandırıcılar ve reranker'lar. Her Choice satırı kullanıma hazır bir zero-shot sınıflandırma örneği: belge, talimat ve açıklamalı seçenekler. Cross-encoder eğitecekseniz state + instructions ikilisini her seçeneğin açıklamasıyla eşleyin.
• LLM fine-tuning. State'i, soruyu ve seçenekleri prompt'a koyun, hedef olarak answer anahtarını kullanın. Kalibrasyon ya da distillation için probs'tan yararlanabilirsiniz.
• Ayrı tutulan setler. Ayırmayı document_id'ye göre yapın, böylece aynı belge iki tarafta birden yer almaz. Etiketle uyum (aynı argmax) ve probs'a olan toplam varyasyon uzaklığı bu iş için en uygun metrikler.

İçerik ve istatistikler

config	belgeler	satır	belge	Noul	Choice	Score	belgedeki kelime sayısı (medyan)	seçenek sayısı (medyan)	ayrışma (ortalama)
documents	gündelik ve iş belgeleri: mesajlar, destek talepleri, mektuplar, kayıtlar, raporlar, web sayfaları	6.544	426	2.150	2.600	1.794	152	4	0,063
general	gerçek web, forum ve sohbet metinleri üzerinde sınıflandırma, tespit ve yönlendirme	1.830	115	568	721	541	146	4	0,073
summarization	bir kaynak metin ve değerlendirilecek özetler, başlıklar ya da kısa özetler	1.511	87	715	465	331	418	3	0,097
translation	bir kaynak metin ve kontrol edilecek çevirileri	1.415	79	707	398	310	381	2	0,110
reading_qa	okuduğunu anlama sorularıyla bir metin	1.154	65	311	717	126	249	4	0,041
nli	bir metin ve bu metne göre doğruluğu kontrol edilecek iddialar	922	51	225	594	103	228	3	0,078
coding	kod, diff'ler, stack trace'ler ve kod incelemeleri	916	52	410	326	180	268	3	0,069
computer_use	öğe öğe anlatılmış ekranlar ve pencereler, yapılacak bir görevle birlikte	836	50	367	307	162	453	3	0,076
instruction_following	bir talimat ya da brief ve ona göre teslim edilen iş	759	43	390	193	176	260	2	0,086
messy_data	kazınmış ilanlar, birbiriyle çelişen formlar, adres listeleri, farklı saat dilimlerindeki takvimler	702	44	318	299	85	206	3	0,077
assistant_judge	bir kullanıcının yapay zekâ asistanına sorduğu soru ve aldığı cevap	594	33	264	151	179	326	2	0,082
grammar	yazım ve dilbilgisi açısından kontrol edilecek Türkçe cümleler ve metinler	489	55	237	196	56	131	3	0,127
odd_inputs	tek kelimelik mesajlar, yanlış bota yazılmış istekler, defalarca yapıştırılmış metinler, şikâyet gibi görünen şakalar	327	46	135	146	46	49	3	0,080
exam_mcqa	seçenekli, sınav tarzı sorular	227	31	57	140	30	392	5	0,078
tool_calling	araç şemaları, araç çağrıları ve sonuçları	215	26	110	80	25	371	2	0,055
game_agent	oyun durumları (Wordle, Tetris, dinozor oyunu, yarış ekranları) ve bir ajanın hamlesi	182	27	78	79	25	204	3	0,083
problem_solving	birinin çözüm önerisiyle birlikte bir matematik, veri ya da planlama problemi	153	22	76	56	21	317	2	0,059
pragmatics	ironi, alay, kibar retler ve samimi mesajlar	77	9	39	30	8	124	2	0,103
	toplam	18.853	1.259	7.157	7.498	4.198	249		0,075

• Etiketlerin netliği: ortalama answer_prob 0,86. Etiketlerin %64,3'ü tek bir seçeneğe 0,9 ya da daha yüksek olasılık veriyor, %9,7'sinde en yüksek olasılık 0,6'nın altında.
• Noul dengesi: Noul etiketlerinin %52,8'i evet (P ≥ 0,5).
• Soru başına seçenek sayısı: 2: 7.579 · 3-5: 7.718 · 6-10: 2.524 · 11+: 1.032.
• Dil eşleşmesi (lang_mode): tr/tr 14.494 (%76,9) · en/en 1.655 (%8,8) · en>tr/tr 857 (%4,5) · en/tr 686 (%3,6) · tr>en/tr 388 (%2,1) · mixed 359 (%1,9) · tr/en 203 (%1,1) · xx>tr/tr 170 (%0,9) · ar/tr 25 · az/tr 16
• Üslup: real 8.884 (%47,1) · formal 4.367 (%23,2) · colloquial 4.185 (%22,2) · no-diacritics 605 (%3,2) · typo-heavy 324 (%1,7) · ASR transcript 219 (%1,2) · OCR noise 137 (%0,7) · TR-EN code-switching 132 (%0,7)
• Zorluk: determined 6.566 (%34,8) · leaning 5.159 (%27,4) · mixed 3.216 (%17,1) · open 1.820 (%9,7) · undetermined 1.455 (%7,7) · conflicting 637 (%3,4)
• Belge yapısı: düz metin 6.459 · göreve özel yapılar (skill) 6.867 · sohbet dizisi 1.806 · iç içe kayıt 1.641 · kısa metin 649 · ajan kaydı 527 · çeldiricili uzun belge 339 · kod diff'i 166 · log ve metin 158 · tablo satırları 136 · kayıt, politika ve geçmiş 105
• Belge uzunluğu: medyan 503 token, 90. yüzdelikte 1.181, en uzunu 4.108. Belgelerin %51,2'si JSON, %48,8'i düz metin.
• Belge kaynağı (state_source): generated 9.969 (%52,9) · HuggingFaceFW/fineweb-2 4.261 (%22,6) · turkish-nlp-suite/ForumSohbetleri 1.864 (%9,9) · HuggingFaceFW/fineweb-edu 829 (%4,4) · Ethosoft/Turkish-Recipe-Corpus 612 (%3,2) · nebius/SWE-agent-trajectories 419 (%2,2) · emreseyhan/Turkish-customer-service-conversations 281 (%1,5) · isakulaksiz/turkish-fake-news-detection 247 (%1,3) · bigcode/commitpackft 166 (%0,9) · PersonalAILab/AFM-WebAgent-SFT-Dataset 108 (%0,6) · YvanCarre/Loghub_dataset 97 (%0,5)
• Diğer: talimat yerleştirilmiş belgelerde 209 soru, belgeyle ilgisi olmayan 103 soru.

Nasıl üretildi

• Tarifler: Her belge rastgele seçilen bir tarifle başlar. Tarif konuyu, kullanım senaryosunu, üslubu, yapıyı, dil eşleşmesini, zorluğu ve soru desenini belirler. Belgeleri ya kendi üreticimiz yazdı ya da gerçek metinlerin etrafına görev materyali eklendi.
• Sorular ve etiketler: Her belge için Noul, Choice ve Score tiplerinde bir soru seti yazılır. Ardından bağımsız bir panel her soruyu eksiksiz bir olasılık dağılımıyla etiketler.
• Kalite: Yayından önce her set otomatik kontrollerden ve parti parti yapılan denetimlerden geçti.

Lisans ve koşullar

Bizim ürettiğimiz veriler (üreticimizin yazdığı belgeler ile tüm sorular ve etiketler) Apache License 2.0 ile yayımlanmıştır (bkz. LICENSE). Bu verileri ticari kullanım ve model eğitimi dahil her amaçla kullanabilir, değiştirebilir ve dağıtabilirsiniz. Bunun için lisansı ve bildirimlerini korumanız yeterli.

state_source değeri generated olmayan satırlardaki belgeler başka veri setlerinden alınmış gerçek metinlerdir. Bu metinler kaynaklarının lisansını korur ve aşağıdaki kaynak gösterimini gerektirir. turkish-nlp-suite/ForumSohbetleri metinleri CC BY-SA 4.0 lisanslıdır, bu yüzden yeniden dağıtılırken CC BY-SA 4.0 altında kalmalıdır. FineWeb metinleri ayrıca Common Crawl kullanım koşullarına tabidir. Bu satırlardaki sorular ve etiketler bize aittir ve Apache 2.0 lisanslıdır.

state_source	lisans	satır
HuggingFaceFW/fineweb-2	ODC-By 1.0	4.261
turkish-nlp-suite/ForumSohbetleri	CC BY-SA 4.0	1.864
HuggingFaceFW/fineweb-edu	ODC-By 1.0	829
Ethosoft/Turkish-Recipe-Corpus	CC BY 4.0	612
nebius/SWE-agent-trajectories	CC BY 4.0	419
emreseyhan/Turkish-customer-service-conversations	CC BY 4.0	281
isakulaksiz/turkish-fake-news-detection	MIT	247
bigcode/commitpackft	MIT	166
PersonalAILab/AFM-WebAgent-SFT-Dataset	Apache 2.0	108
YvanCarre/Loghub_dataset	MIT	97

Atıf

@misc{turkishdecisionsmax19k2026,
  title     = {Turkish Decisions Max 19K},
  author    = {cisimcik},
  year      = {2026},
  publisher = {Hugging Face},
  url       = {https://huggingface.co/datasets/cisimcik/turkish-decisions-max-19k}
}