---
title: "Trainingsdata"
author: "Jakub Ćwirlej"
id: training-data
language: nl
url: "https://jakubcwirlej.com/nl/articles/training-data.md"
page: "https://jakubcwirlej.com/nl/ai-dev/"
translations:
  pl: "https://jakubcwirlej.com/pl/articles/training-data.md"
  en: "https://jakubcwirlej.com/articles/training-data.md"
  fr: "https://jakubcwirlej.com/fr/articles/training-data.md"
updated: 2026-10-14
words: 163
summary: "De trainingsmix van EUGEN 160M per Hugging Face-repository: 14 rijen die 93,4% van de huidige tokenstroom dekken. Dolma 3 is het grootste deel (35,29%, inclusief Stack-Edu en Common Crawl per onderwerp), gevolgd door The Stack v3 (15,44%) en commitgeschiedenissen uit CommitPack en verwante datasets (10,46%). Eigen data – STaR-oplossingen die EUGEN genereerde en die met tests zijn geverifieerd, plus vertaalparen van code – vormen ongeveer 0,35% van de mix."
summary_type: editorial
---

# Trainingsdata

Jakub Ćwirlej · taal van de tekst: NL · 163 woorden

## Samenvatting (redactioneel)

De trainingsmix van EUGEN 160M per Hugging Face-repository: 14 rijen die 93,4% van de huidige tokenstroom dekken. Dolma 3 is het grootste deel (35,29%, inclusief Stack-Edu en Common Crawl per onderwerp), gevolgd door The Stack v3 (15,44%) en commitgeschiedenissen uit CommitPack en verwante datasets (10,46%). Eigen data – STaR-oplossingen die EUGEN genereerde en die met tests zijn geverifieerd, plus vertaalparen van code – vormen ongeveer 0,35% van de mix.

## Kernpunten (redactioneel)

- Elke rij geeft de exacte Hugging Face-repository-id's; bronnen zonder bevestigde HF-herkomst zijn weggelaten.
- Code uit GitHub Code Clean is beperkt tot permissieve licenties (MIT, Apache-2.0, BSD, ISC, Unlicense, CC0, Artistic-2.0).
- Wiskunde komt onder meer uit OpenMathReasoning, OpenR1-Math-220k en FineMath.
- Het corpus telt ongeveer 904,5 miljard tokens, inclusief bedoelde herhalingen.

## Volledige tekst (de woorden van de auteur)

| Dataset (Hugging Face) | Aandeel | Licentie / opmerkingen |
| --- | --- | --- |
| Dolma 3 (incl. Stack-Edu en Common Crawl per onderwerp): allenai/dolma3_mix-6T-1025-7B, allenai/dolma3_pool, allenai/dolma3_dolmino_mix-100B-1125 | 35,29% | ODC-By |
| The Stack v3: HuggingFaceCode/stack-v3-train | 15,44% | ODC-By (compilatie), met respect voor de BigCode-opt-out |
| bigcode/commitpack, bigcode/commitpackft, project-themis/git-commits-merged, CarperAI/github-diffs-deduped | 10,46% | repositories met permissieve licenties; CommitPackFT en github-diffs-deduped MIT, git-commits-merged Apache-2.0 |
| codeparrot/github-code-clean | 6,63% | alleen permissieve licenties: MIT, Apache-2.0, BSD-2/3-Clause, ISC, Unlicense, CC0-1.0, Artistic-2.0 |
| common-pile/arxiv_papers, common-pile/stackexchange_filtered, common-pile/data_provenance_initiative_filtered | 5,64% | open licenties (Common Pile) |
| nvidia/OpenMathReasoning, open-r1/OpenR1-Math-220k | 4,18% | CC BY 4.0 (OpenMathReasoning) |
| HuggingFaceTB/finemath (subsets 3+ en 4+) | 3,95% | ODC-By |
| allenai/peS2o | 3,32% | ODC-By |
| instructies en redeneren: nvidia/OpenMathInstruct-2, TinyGSM/TinyGSM, OpenCoder-LLM/opc-annealing-corpus, OpenCoder-LLM/opc-sft-stage2, AI-MO/NuminaMath-CoT, meta-math/MetaMathQA, microsoft/orca-math-word-problems-200k, ise-uiuc/Magicoder-OSS-Instruct-75K, nvidia/OpenCodeReasoning-2, PrimeIntellect/SYNTHETIC-1, open-r1/codeforces-cots, hkust-nlp/CodeIO-PyEdu-Reasoning, allenai/ai2_arc, allenai/qasc | 2,26% | volgens de licentie van elke dataset |
| boeken: allenai/dolma3_mix-6T-1025-7B, common-pile/project_gutenberg_filtered, common-pile/pre_1929_books_filtered, common-pile/library_of_congress | 1,84% | publiek domein / ODC-By |
| HuggingFaceFW/finewiki, hltcoe/megawika | 1,60% | volgens de licentie van elke dataset |
| open-thoughts/AgentTrove | 1,47% | alleen geslaagde trajecten |
| mandarjoshi/trivia_qa, microsoft/ms_marco, hotpotqa/hotpot_qa, rungalileo/ragbench | 1,00% | 30% zijn eigen voorbeelden „geen antwoord in de context”, gebouwd uit deze datasets |
| eigen data: STaR (oplossingen van EUGEN, geverifieerd met tests), leren van fouten, vertaalparen Python ↔ C++, Java, Go, Rust | 0,35% | eigen |

---

Jakub Ćwirlej — Journalist die met AI bouwt · op de site: https://jakubcwirlej.com/nl/ai-dev/
Volledige context: https://jakubcwirlej.com/context/nl.md · https://jakubcwirlej.com/llms.txt