---
title: "Dane treningowe"
author: "Jakub Ćwirlej"
id: training-data
language: pl
url: "https://jakubcwirlej.com/pl/articles/training-data.md"
page: "https://jakubcwirlej.com/pl/ai-dev/"
translations:
  en: "https://jakubcwirlej.com/articles/training-data.md"
  fr: "https://jakubcwirlej.com/fr/articles/training-data.md"
  nl: "https://jakubcwirlej.com/nl/articles/training-data.md"
updated: 2026-10-14
words: 157
summary: "Skład miksu treningowego EUGEN 160M według repozytoriów Hugging Face: 14 wierszy, które obejmują 93,4% bieżącego strumienia tokenów. Największą część stanowi Dolma 3 (35,29%, w tym Stack-Edu i Common Crawl według tematów), a za nią The Stack v3 (15,44%) oraz historie commitów z CommitPack i pokrewnych zbiorów (10,46%). Dane własne – rozwiązania STaR wygenerowane przez EUGEN i zweryfikowane testami oraz pary tłumaczeń kodu – stanowią ok. 0,35% miksu."
summary_type: editorial
---

# Dane treningowe

Jakub Ćwirlej · język tekstu: PL · 157 słów

## Streszczenie (redakcyjne)

Skład miksu treningowego EUGEN 160M według repozytoriów Hugging Face: 14 wierszy, które obejmują 93,4% bieżącego strumienia tokenów. Największą część stanowi Dolma 3 (35,29%, w tym Stack-Edu i Common Crawl według tematów), a za nią The Stack v3 (15,44%) oraz historie commitów z CommitPack i pokrewnych zbiorów (10,46%). Dane własne – rozwiązania STaR wygenerowane przez EUGEN i zweryfikowane testami oraz pary tłumaczeń kodu – stanowią ok. 0,35% miksu.

## Najważniejsze punkty (redakcyjne)

- Każdy wiersz podaje dokładne identyfikatory repozytoriów na Hugging Face; pominięto źródła bez potwierdzonego pochodzenia z HF.
- Kod z GitHub Code Clean jest ograniczony do licencji permisywnych (MIT, Apache-2.0, BSD, ISC, Unlicense, CC0, Artistic-2.0).
- Matematykę reprezentują m.in. OpenMathReasoning, OpenR1-Math-220k i FineMath.
- Korpus liczy ok. 904,5 mld tokenów, łącznie z zamierzonymi powtórzeniami.

## Pełny tekst (słowa autora)

| Zbiór danych (Hugging Face) | Udział | Licencja / uwagi |
| --- | --- | --- |
| Dolma 3 (w tym Stack-Edu i Common Crawl według tematów): allenai/dolma3_mix-6T-1025-7B, allenai/dolma3_pool, allenai/dolma3_dolmino_mix-100B-1125 | 35,29% | ODC-By |
| The Stack v3: HuggingFaceCode/stack-v3-train | 15,44% | ODC-By (kompilacja), z respektowaniem opt-out BigCode |
| bigcode/commitpack, bigcode/commitpackft, project-themis/git-commits-merged, CarperAI/github-diffs-deduped | 10,46% | repozytoria z licencjami permisywnymi; CommitPackFT i github-diffs-deduped MIT, git-commits-merged Apache-2.0 |
| codeparrot/github-code-clean | 6,63% | tylko licencje permisywne: MIT, Apache-2.0, BSD-2/3-Clause, ISC, Unlicense, CC0-1.0, Artistic-2.0 |
| common-pile/arxiv_papers, common-pile/stackexchange_filtered, common-pile/data_provenance_initiative_filtered | 5,64% | otwarte licencje (Common Pile) |
| nvidia/OpenMathReasoning, open-r1/OpenR1-Math-220k | 4,18% | CC BY 4.0 (OpenMathReasoning) |
| HuggingFaceTB/finemath (podzbiory 3+ i 4+) | 3,95% | ODC-By |
| allenai/peS2o | 3,32% | ODC-By |
| instrukcje i rozumowanie: nvidia/OpenMathInstruct-2, TinyGSM/TinyGSM, OpenCoder-LLM/opc-annealing-corpus, OpenCoder-LLM/opc-sft-stage2, AI-MO/NuminaMath-CoT, meta-math/MetaMathQA, microsoft/orca-math-word-problems-200k, ise-uiuc/Magicoder-OSS-Instruct-75K, nvidia/OpenCodeReasoning-2, PrimeIntellect/SYNTHETIC-1, open-r1/codeforces-cots, hkust-nlp/CodeIO-PyEdu-Reasoning, allenai/ai2_arc, allenai/qasc | 2,26% | wg licencji każdego zbioru |
| książki: allenai/dolma3_mix-6T-1025-7B, common-pile/project_gutenberg_filtered, common-pile/pre_1929_books_filtered, common-pile/library_of_congress | 1,84% | domena publiczna / ODC-By |
| HuggingFaceFW/finewiki, hltcoe/megawika | 1,60% | wg licencji każdego zbioru |
| open-thoughts/AgentTrove | 1,47% | tylko udane trajektorie |
| mandarjoshi/trivia_qa, microsoft/ms_marco, hotpotqa/hotpot_qa, rungalileo/ragbench | 1,00% | 30% to własne przykłady „brak odpowiedzi w kontekście” zbudowane z tych zbiorów |
| dane własne: STaR (rozwiązania EUGEN zweryfikowane testami), nauka na błędach, pary tłumaczeń Python ↔ C++, Java, Go, Rust | 0,35% | własne |

---

Jakub Ćwirlej — Dziennikarz, który buduje z AI · na stronie: https://jakubcwirlej.com/pl/ai-dev/
Pełny kontekst: https://jakubcwirlej.com/context/pl.md · https://jakubcwirlej.com/llms.txt