---
title: "Données d’entraînement"
author: "Jakub Ćwirlej"
id: training-data
language: fr
url: "https://jakubcwirlej.com/fr/articles/training-data.md"
page: "https://jakubcwirlej.com/fr/ai-dev/"
translations:
  pl: "https://jakubcwirlej.com/pl/articles/training-data.md"
  en: "https://jakubcwirlej.com/articles/training-data.md"
  nl: "https://jakubcwirlej.com/nl/articles/training-data.md"
updated: 2026-10-14
words: 171
summary: "Le mélange d'entraînement d'EUGEN 160M par dépôt Hugging Face : 14 lignes couvrant 93,4 % du flux de jetons actuel. Dolma 3 en est la plus grande part (35,29 %, dont Stack-Edu et Common Crawl par thème), suivie de The Stack v3 (15,44 %) et des historiques de commits de CommitPack et de jeux apparentés (10,46 %). Les données propres – solutions STaR générées par EUGEN et vérifiées par des tests, plus des paires de traduction de code – représentent environ 0,35 % du mélange."
summary_type: editorial
---

# Données d’entraînement

Jakub Ćwirlej · langue du texte: FR · 171 mots

## Résumé (éditorial)

Le mélange d'entraînement d'EUGEN 160M par dépôt Hugging Face : 14 lignes couvrant 93,4 % du flux de jetons actuel. Dolma 3 en est la plus grande part (35,29 %, dont Stack-Edu et Common Crawl par thème), suivie de The Stack v3 (15,44 %) et des historiques de commits de CommitPack et de jeux apparentés (10,46 %). Les données propres – solutions STaR générées par EUGEN et vérifiées par des tests, plus des paires de traduction de code – représentent environ 0,35 % du mélange.

## Points clés (éditorial)

- Chaque ligne donne les identifiants exacts des dépôts Hugging Face ; les sources sans origine HF confirmée sont omises.
- Le code de GitHub Code Clean est limité aux licences permissives (MIT, Apache-2.0, BSD, ISC, Unlicense, CC0, Artistic-2.0).
- Les mathématiques proviennent notamment d'OpenMathReasoning, d'OpenR1-Math-220k et de FineMath.
- Le corpus compte environ 904,5 milliards de jetons, répétitions voulues comprises.

## Texte intégral (les mots de l'auteur)

| Jeu de données (Hugging Face) | Part | Licence / remarques |
| --- | --- | --- |
| Dolma 3 (dont Stack-Edu et Common Crawl par thème) : allenai/dolma3_mix-6T-1025-7B, allenai/dolma3_pool, allenai/dolma3_dolmino_mix-100B-1125 | 35,29 % | ODC-By |
| The Stack v3: HuggingFaceCode/stack-v3-train | 15,44 % | ODC-By (compilation), dans le respect de l’opt-out BigCode |
| bigcode/commitpack, bigcode/commitpackft, project-themis/git-commits-merged, CarperAI/github-diffs-deduped | 10,46 % | dépôts sous licences permissives ; CommitPackFT et github-diffs-deduped MIT, git-commits-merged Apache-2.0 |
| codeparrot/github-code-clean | 6,63 % | licences permissives uniquement : MIT, Apache-2.0, BSD-2/3-Clause, ISC, Unlicense, CC0-1.0, Artistic-2.0 |
| common-pile/arxiv_papers, common-pile/stackexchange_filtered, common-pile/data_provenance_initiative_filtered | 5,64 % | licences ouvertes (Common Pile) |
| nvidia/OpenMathReasoning, open-r1/OpenR1-Math-220k | 4,18 % | CC BY 4.0 (OpenMathReasoning) |
| HuggingFaceTB/finemath (sous-ensembles 3+ et 4+) | 3,95 % | ODC-By |
| allenai/peS2o | 3,32 % | ODC-By |
| instructions et raisonnement : nvidia/OpenMathInstruct-2, TinyGSM/TinyGSM, OpenCoder-LLM/opc-annealing-corpus, OpenCoder-LLM/opc-sft-stage2, AI-MO/NuminaMath-CoT, meta-math/MetaMathQA, microsoft/orca-math-word-problems-200k, ise-uiuc/Magicoder-OSS-Instruct-75K, nvidia/OpenCodeReasoning-2, PrimeIntellect/SYNTHETIC-1, open-r1/codeforces-cots, hkust-nlp/CodeIO-PyEdu-Reasoning, allenai/ai2_arc, allenai/qasc | 2,26 % | selon la licence de chaque jeu |
| livres : allenai/dolma3_mix-6T-1025-7B, common-pile/project_gutenberg_filtered, common-pile/pre_1929_books_filtered, common-pile/library_of_congress | 1,84 % | domaine public / ODC-By |
| HuggingFaceFW/finewiki, hltcoe/megawika | 1,60 % | selon la licence de chaque jeu |
| open-thoughts/AgentTrove | 1,47 % | trajectoires réussies uniquement |
| mandarjoshi/trivia_qa, microsoft/ms_marco, hotpotqa/hotpot_qa, rungalileo/ragbench | 1,00 % | 30 % sont des exemples propres « pas de réponse dans le contexte » construits à partir de ces jeux |
| données propres : STaR (solutions d’EUGEN vérifiées par des tests), apprentissage par les erreurs, paires de traduction Python ↔ C++, Java, Go, Rust | 0,35 % | propres |

---

Jakub Ćwirlej — Journaliste qui construit avec l'IA · sur le site: https://jakubcwirlej.com/fr/ai-dev/
Contexte complet: https://jakubcwirlej.com/context/fr.md · https://jakubcwirlej.com/llms.txt