Résultats publiés aux bancs d’essai Les résultats publiés des modèles que nous acheminons, GPQA Diamond, SWE-bench, HLE et plus, chacun avec sa source. Publiés par les créateurs, pas par nous.
Ce que le créateur de chaque modèle a publié pour les bancs d’essai ci-dessous, un résultat par ligne, chacun lié à la page d’où il vient. Nous ne faisons pas passer ces tests et ne modifions pas les chiffres. Le résultat publié par un créateur n’est pas une mesure indépendante : l’effort, les outils et les environnements de test diffèrent d’un créateur à l’autre; comparez avec prudence.
GPQA Diamond Questions de biologie, de physique et de chimie de niveau universitaire avancé, conçues pour résister à une recherche Web; les 198 plus difficiles. GPQA Diamond
Modèle Résultat Conditions Provenance google/gemini-3.1-pro 94,3 % no tools, thinking high Créateur, 2026-02-19 Anthropic: Claude Opus 4.7 94,2 % avg of 10 trials Créateur, 2026-04-16 Anthropic: Claude Opus 4.8 93,6 % avg of 25 trials Créateur, 2026-05-28 MoonshotAI: Kimi K3 93,5 % max Créateur, 2026-11-03 Qwen: Qwen3.7 Max 92,4 % — Créateur, 2026-11-03 Z.ai: GLM 5.2 91,2 % — Créateur, 2026-11-03 MoonshotAI: Kimi K2.6 90,5 % thinking Créateur, 2026-11-03 Qwen: Qwen3.7 Plus 90,3 % — Créateur, 2026-11-03 DeepSeek: DeepSeek V4 Pro 0423 90,1 % think max Créateur, 2026-11-03 Anthropic: Claude Sonnet 4.6 89,9 % avg of 10 trials Créateur, 2026-02-17 Qwen: Qwen3.8 27B 89,2 % — Créateur, 2026-11-03 DeepSeek: DeepSeek V4 Flash 0423 88,1 % think max Créateur, 2026-11-03 Qwen: Qwen3.6 27B 87,8 % — Créateur, 2026-11-03 Google: Gemini 3.1 Flash Lite 86,9 % no tools, thinking high Créateur, 2026-03-03 Qwen: Qwen3.5-122B-A10B 86,6 % — Créateur, 2026-11-03 Z.ai: GLM 5.1 86,2 % — Créateur, 2026-11-03 Qwen: Qwen3.6 35B A3B 86 % — Créateur, 2026-11-03 Qwen: Qwen3.5-27B 85,5 % — Créateur, 2026-11-03 Google: Gemma 4 31B 84,3 % — Créateur, 2026-07-30 Qwen: Qwen3.5-35B-A3B 84,2 % — Créateur, 2026-11-03 Google: Gemma 4 26B A4B 82,3 % — Créateur, 2026-07-30 Qwen: Qwen3.5-9B 81,7 % — Créateur, 2026-11-03 openai/gpt-oss-120b 80,9 % with tools, reasoning high Créateur, 2025-08-05 openai/gpt-oss-120b 80,1 % no tools, reasoning high Créateur, 2025-08-05 Kimi K2 Instruct 75,1 % Avg@8 Créateur, 2026-11-03 meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 69,8 % 0-shot Créateur, 2025-04-05 DeepSeek R1 Distill Qwen3 8B 0528 61,1 % — Créateur, 2026-11-03 google/gemma-4-E4B-it 58,6 % — Créateur, 2026-07-30 meta-llama/Llama-4-Scout-17B-16E-Instruct 57,2 % 0-shot Créateur, 2025-04-05 meta-llama/Meta-Llama-3.3-70B-Instruct 50,5 % CoT, 0-shot Créateur, 2024-12-06 mistralai/Mistral-Small-3.2-24B-Instruct-2506 46,13 % 5-shot CoT Créateur, 2026-11-03
Humanity’s Last Exam Questions rédigées par des experts, à la limite des connaissances humaines, dans de nombreuses disciplines. Humanity’s Last Exam
Modèle Résultat Conditions Provenance Anthropic: Claude Fable 5.1 65 % with tools Créateur, 2026-09-01 Claude Opus 5 64,7 % with tools Créateur, 2026-07-24 Z.ai: GLM 5.3 62,5 % with tools Créateur, 2026-11-03 Anthropic: Claude Fable 5.1 60,9 % no tools Créateur, 2026-09-01 DeepSeek: DeepSeek V4 Pro 0813 60 % with tools Créateur, 2026-11-03 Anthropic: Claude Opus 4.8 57,9 % with tools Créateur, 2026-05-28 Anthropic: Claude Sonnet 5 57,4 % with tools Créateur, 2026-06-30 Claude Opus 5 56,3 % no tools Créateur, 2026-07-24 MoonshotAI: Kimi K3 56 % max; with tools Créateur, 2026-11-03 Anthropic: Claude Opus 4.7 54,7 % with tools Créateur, 2026-04-16 Z.ai: GLM 5.2 54,7 % text-only subset; with tools Créateur, 2026-11-03 MoonshotAI: Kimi K2.6 54 % thinking; with tools Créateur, 2026-11-03 Qwen: Qwen3.7 Max 53,5 % with tools Créateur, 2026-11-03 Z.ai: GLM 5.1 52,3 % with tools Créateur, 2026-11-03 DeepSeek: DeepSeek V4 Flash 0731 51,5 % with tools Créateur, 2026-11-03 google/gemini-3.1-pro 51,4 % search (blocklist) + code, thinking high Créateur, 2026-02-19 Anthropic: Claude Opus 4.8 49,8 % no tools Créateur, 2026-05-28 Anthropic: Claude Sonnet 4.6 49 % with tools Créateur, 2026-02-17 Qwen: Qwen3.5-27B 48,5 % with tools Créateur, 2026-11-03 DeepSeek: DeepSeek V4 Pro 0423 48,2 % think max; with tools Créateur, 2026-11-03 Qwen: Qwen3.5-122B-A10B 47,5 % with tools Créateur, 2026-11-03 Qwen: Qwen3.5-35B-A3B 47,4 % with tools Créateur, 2026-11-03 Anthropic: Claude Opus 4.7 46,9 % no tools Créateur, 2026-04-16 DeepSeek: DeepSeek V4 Flash 0423 45,1 % think max; with tools Créateur, 2026-11-03 google/gemini-3.1-pro 44,4 % no tools, thinking high Créateur, 2026-02-19 MoonshotAI: Kimi K3 43,5 % max; no tools Créateur, 2026-11-03 Anthropic: Claude Sonnet 5 43,2 % no tools Créateur, 2026-06-30 DeepSeek: DeepSeek V4 Pro 0813 42,7 % no tools Créateur, 2026-11-03 Qwen: Qwen3.7 Max 41,4 % no tools Créateur, 2026-11-03 Z.ai: GLM 5.2 40,5 % text-only subset; no tools Créateur, 2026-11-03 Google: Gemini 3.5 Flash 40,2 % — Créateur, 2026-05-19 DeepSeek: DeepSeek V4 Flash 0731 37,8 % no tools Créateur, 2026-11-03 DeepSeek: DeepSeek V4 Pro 0423 37,7 % think max; no tools Créateur, 2026-11-03 DeepSeek: DeepSeek V4 Flash 0423 34,8 % think max; no tools Créateur, 2026-11-03 MoonshotAI: Kimi K2.6 34,7 % thinking; no tools Créateur, 2026-11-03 Qwen: Qwen3.7 Plus 34,7 % judged by GPT-4o Créateur, 2026-11-03 Anthropic: Claude Sonnet 4.6 33,2 % no tools Créateur, 2026-02-17 Z.ai: GLM 5.1 31 % no tools Créateur, 2026-11-03 Qwen: Qwen3.8 27B 30,8 % judged by GPT-4o Créateur, 2026-11-03 Google: Gemma 4 31B 26,5 % with search Créateur, 2026-07-30 Qwen: Qwen3.5-122B-A10B 25,3 % no tools (w/ CoT) Créateur, 2026-11-03 Qwen: Qwen3.5-27B 24,3 % no tools (w/ CoT) Créateur, 2026-11-03 Qwen: Qwen3.6 27B 24 % — Créateur, 2026-11-03 Qwen: Qwen3.5-35B-A3B 22,4 % no tools (w/ CoT) Créateur, 2026-11-03 Qwen: Qwen3.6 35B A3B 21,4 % — Créateur, 2026-11-03 Google: Gemma 4 31B 19,5 % no tools Créateur, 2026-07-30 openai/gpt-oss-120b 19 % with tools, reasoning high Créateur, 2025-08-05 Google: Gemma 4 26B A4B 17,2 % with search Créateur, 2026-07-30 Google: Gemini 3.1 Flash Lite 16 % no tools, thinking high Créateur, 2026-03-03 openai/gpt-oss-120b 14,9 % no tools, reasoning high Créateur, 2025-08-05 Google: Gemma 4 26B A4B 8,7 % no tools Créateur, 2026-07-30 Kimi K2 Instruct 4,7 % text only Créateur, 2026-11-03
ARC-AGI-2 Casse-têtes visuels qui mesurent la capacité d’apprendre une règle nouvelle à partir de quelques exemples. ARC-AGI-2
Modèle Résultat Conditions Provenance Claude Opus 5 90,42 % max effort, ARC Prize verified, semi-private Créateur, 2026-07-24 Anthropic: Claude Fable 5.1 90 % max effort, ARC Prize verified, semi-private Créateur, 2026-09-01 google/gemini-3.1-pro 77,1 % ARC Prize Verified, thinking high Créateur, 2026-02-19 Anthropic: Claude Opus 4.7 75,83 % max effort Créateur, 2026-04-16 Anthropic: Claude Opus 4.8 72,1 % max effort Créateur, 2026-07-24 Google: Gemini 3.5 Flash 72,1 % — Créateur, 2026-05-19 Anthropic: Claude Sonnet 4.6 60,42 % high effort, 120k thinking tokens Créateur, 2026-02-17 Anthropic: Claude Sonnet 4.6 58,3 % max effort, Verified Créateur, 2026-02-17
MMLU-Pro Questions à choix multiples dans 14 disciplines, avec dix choix chacune. MMLU-Pro
Modèle Résultat Conditions Provenance DeepSeek: DeepSeek V4 Pro 0423 87,5 % think max Créateur, 2026-11-03 Qwen: Qwen3.5-122B-A10B 86,7 % — Créateur, 2026-11-03 DeepSeek: DeepSeek V4 Flash 0423 86,2 % think max Créateur, 2026-11-03 Qwen: Qwen3.6 27B 86,2 % — Créateur, 2026-11-03 Qwen: Qwen3.5-27B 86,1 % — Créateur, 2026-11-03 Qwen: Qwen3.5-35B-A3B 85,3 % — Créateur, 2026-11-03 Google: Gemma 4 31B 85,2 % — Créateur, 2026-07-30 Qwen: Qwen3.6 35B A3B 85,2 % — Créateur, 2026-11-03 Google: Gemma 4 26B A4B 82,6 % — Créateur, 2026-07-30 Qwen: Qwen3.5-9B 82,5 % — Créateur, 2026-11-03 Kimi K2 Instruct 81,1 % EM Créateur, 2026-11-03 meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 80,5 % 0-shot Créateur, 2025-04-05 meta-llama/Llama-4-Scout-17B-16E-Instruct 74,3 % 0-shot Créateur, 2025-04-05 google/gemma-4-E4B-it 69,4 % — Créateur, 2026-07-30 mistralai/Mistral-Small-3.2-24B-Instruct-2506 69,06 % 5-shot CoT Créateur, 2026-11-03 meta-llama/Meta-Llama-3.3-70B-Instruct 68,9 % CoT, 5-shot Créateur, 2024-12-06
AIME 2025 Les problèmes de l’American Invitational Mathematics Examination 2025. AIME 2025
Modèle Résultat Conditions Provenance openai/gpt-oss-120b 97,9 % with tools, reasoning high Créateur, 2025-08-05 Anthropic: Claude Sonnet 4.6 95,6 % no tools, max effort Créateur, 2026-02-17 openai/gpt-oss-120b 92,5 % no tools, reasoning high Créateur, 2025-08-05 DeepSeek R1 Distill Qwen3 8B 0528 76,3 % — Créateur, 2026-11-03 Kimi K2 Instruct 49,5 % Avg@64 Créateur, 2026-11-03
AIME 2026 Les problèmes de l’American Invitational Mathematics Examination 2026. AIME 2026
Modèle Résultat Conditions Provenance Z.ai: GLM 5.2 99,2 % — Créateur, 2026-11-03 MoonshotAI: Kimi K2.6 96,4 % thinking Créateur, 2026-11-03 Z.ai: GLM 5.1 95,3 % — Créateur, 2026-11-03 Qwen: Qwen3.6 27B 94,1 % full AIME 2026 I & II Créateur, 2026-11-03 Qwen: Qwen3.6 35B A3B 92,7 % full AIME 2026 I & II Créateur, 2026-11-03 Google: Gemma 4 31B 89,2 % no tools Créateur, 2026-07-30 Google: Gemma 4 26B A4B 88,3 % no tools Créateur, 2026-07-30 google/gemma-4-E4B-it 42,5 % no tools Créateur, 2026-07-30
SWE-bench Verified De vrais problèmes signalés sur GitHub dans des projets Python, corrigés pour que les tests du projet passent; un ensemble de 500 vérifié par des humains. SWE-bench Verified
Modèle Résultat Conditions Provenance Claude Opus 5 96 % avg of 5 trials, max effort Créateur, 2026-07-24 Anthropic: Claude Fable 5 95 % max effort, avg of 5 trials Créateur, 2026-06-09 Anthropic: Claude Opus 4.8 88,6 % max effort, avg of 5 trials Créateur, 2026-05-28 Anthropic: Claude Opus 4.7 87,6 % max effort, avg of 5 trials Créateur, 2026-04-16 Anthropic: Claude Sonnet 5 85,2 % avg of 5 trials, max effort Créateur, 2026-06-30 DeepSeek: DeepSeek V4 Pro 0423 80,6 % think max Créateur, 2026-11-03 google/gemini-3.1-pro 80,6 % single attempt, thinking high Créateur, 2026-02-19 MoonshotAI: Kimi K2.6 80,2 % thinking Créateur, 2026-11-03 Anthropic: Claude Sonnet 4.6 79,6 % avg of 10 trials, max effort Créateur, 2026-02-17 DeepSeek: DeepSeek V4 Flash 0423 79 % think max Créateur, 2026-11-03 Mistral: Mistral Medium 3.5 77,6 % max reasoning Créateur, 2026-11-03 Qwen: Qwen3.6 27B 77,2 % internal scaffold (bash + file-edit) Créateur, 2026-11-03 Qwen: Qwen3.6 35B A3B 73,4 % internal scaffold (bash + file-edit) Créateur, 2026-11-03 Qwen: Qwen3.5-27B 72,4 % — Créateur, 2026-11-03 Qwen: Qwen3.5-122B-A10B 72 % — Créateur, 2026-11-03 Qwen: Qwen3.5-35B-A3B 69,2 % — Créateur, 2026-11-03 Kimi K2 Instruct 65,8 % agentic; single attempt Créateur, 2026-11-03 openai/gpt-oss-120b 62,4 % reasoning high Créateur, 2025-08-05 Kimi K2 Instruct 51,8 % agentless; single patch w/o test Créateur, 2026-11-03
SWE-Bench Pro Des tâches de génie logiciel plus longues et plus difficiles, dans plusieurs langages. SWE-Bench Pro
Modèle Résultat Conditions Provenance Anthropic: Claude Fable 5.1 81,2 % avg of 5 trials, max effort Créateur, 2026-09-01 Anthropic: Claude Fable 5 80 % max effort, avg of 5 trials Créateur, 2026-06-09 Claude Opus 5 79,2 % avg of 5 trials, max effort Créateur, 2026-07-24 Anthropic: Claude Opus 4.8 69,2 % max effort, avg of 5 trials Créateur, 2026-05-28 SpaceXAI: Grok 4.5 64,7 % high Créateur, 2026-07-20 Anthropic: Claude Opus 4.7 64,3 % max effort, avg of 5 trials Créateur, 2026-04-16 Anthropic: Claude Sonnet 5 63,2 % avg of 5 trials, max effort Créateur, 2026-06-30 Z.ai: GLM 5.2 62,1 % OpenHands Créateur, 2026-11-03 Qwen: Qwen3.8 27B 61,7 % Claude Code harness; refined task set Créateur, 2026-11-03 Qwen: Qwen3.7 Max 60,6 % Claude Code harness; refined task set Créateur, 2026-11-03 Google: Gemini 3.6 Flash 58,7 % public set Créateur, 2026-07-21 MoonshotAI: Kimi K2.6 58,6 % thinking Créateur, 2026-11-03 Z.ai: GLM 5.1 58,4 % — Créateur, 2026-11-03 Qwen: Qwen3.7 Plus 57,6 % Claude Code harness; refined task set Créateur, 2026-11-03 MiniMax: MiniMax M2.7 56,22 % — Créateur, 2026-11-03 DeepSeek: DeepSeek V4 Pro 0423 55,4 % think max Créateur, 2026-11-03 Google: Gemini 3.5 Flash 55,1 % public set, single attempt Créateur, 2026-05-19 google/gemini-3.1-pro 54,2 % public set, single attempt, thinking high Créateur, 2026-02-19 Google: Gemini 3.5 Flash Lite 54,2 % public set Créateur, 2026-07-21 Qwen: Qwen3.6 27B 53,5 % internal scaffold; refined task set Créateur, 2026-11-03 DeepSeek: DeepSeek V4 Flash 0423 52,6 % think max Créateur, 2026-11-03 Qwen: Qwen3.6 35B A3B 49,5 % internal scaffold; refined task set Créateur, 2026-11-03 Google: Gemini 3.1 Flash Lite 38,3 % public set Créateur, 2026-07-21
LiveCodeBench Des problèmes de programmation compétitive recueillis après la date limite d’entraînement du modèle. LiveCodeBench
Modèle Résultat Conditions Provenance DeepSeek: DeepSeek V4 Pro 0423 93,5 % think max Créateur, 2026-11-03 DeepSeek: DeepSeek V4 Flash 0423 91,6 % think max Créateur, 2026-11-03 Qwen: Qwen3.8 27B 90,3 % v6 Créateur, 2026-11-03 MoonshotAI: Kimi K2.6 89,6 % thinking; v6 Créateur, 2026-11-03 Qwen: Qwen3.7 Plus 89,6 % v6 Créateur, 2026-11-03 Qwen: Qwen3.6 27B 83,9 % v6 Créateur, 2026-11-03 Qwen: Qwen3.5-27B 80,7 % v6 Créateur, 2026-11-03 Qwen: Qwen3.6 35B A3B 80,4 % v6 Créateur, 2026-11-03 Google: Gemma 4 31B 80 % v6 Créateur, 2026-07-30 Qwen: Qwen3.5-122B-A10B 78,9 % v6 Créateur, 2026-11-03 Google: Gemma 4 26B A4B 77,1 % v6 Créateur, 2026-07-30 Qwen: Qwen3.5-35B-A3B 74,6 % v6 Créateur, 2026-11-03 Google: Gemini 3.1 Flash Lite 72 % 1/1/2025-5/1/2025 window, thinking high Créateur, 2026-03-03 Qwen: Qwen3.5-9B 65,6 % v6 Créateur, 2026-11-03 DeepSeek R1 Distill Qwen3 8B 0528 60,5 % 2408-2505 Créateur, 2026-11-03 Kimi K2 Instruct 53,7 % v6 (Aug 24 - May 25); pass@1 Créateur, 2026-11-03 google/gemma-4-E4B-it 52 % v6 Créateur, 2026-07-30 meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 43,4 % pass@1, 10/01/2024-02/01/2025 Créateur, 2025-04-05 meta-llama/Meta-Llama-3.3-70B-Instruct 33,3 % pass@1, 10/01/2024-02/01/2025 Créateur, 2025-04-05 meta-llama/Llama-4-Scout-17B-16E-Instruct 32,8 % pass@1, 10/01/2024-02/01/2025 Créateur, 2025-04-05
Terminal-Bench 2.0 Des tâches accomplies en travaillant dans un vrai terminal en ligne de commande. Terminal-Bench 2.0
Modèle Résultat Conditions Provenance Anthropic: Claude Opus 4.7 69,4 % Terminus-2 harness, thinking disabled Créateur, 2026-04-16 Z.ai: GLM 5.1 69 % Claude Code harness Créateur, 2026-11-03 google/gemini-3.1-pro 68,5 % Terminus-2 harness, thinking high Créateur, 2026-02-19 DeepSeek: DeepSeek V4 Pro 0423 67,9 % think max Créateur, 2026-11-03 MoonshotAI: Kimi K2.6 66,7 % thinking; Terminus-2 Créateur, 2026-11-03 Z.ai: GLM 5.1 63,5 % Terminus-2 Créateur, 2026-11-03 Qwen: Qwen3.6 27B 59,3 % Terminus-2, avg of 5 runs Créateur, 2026-11-03 Anthropic: Claude Sonnet 4.6 59,1 % max effort, no thinking Créateur, 2026-02-17 MiniMax: MiniMax M2.7 57 % — Créateur, 2026-11-03 DeepSeek: DeepSeek V4 Flash 0423 56,9 % think max Créateur, 2026-11-03 Qwen: Qwen3.6 35B A3B 51,5 % Terminus-2, avg of 5 runs Créateur, 2026-11-03 Qwen: Qwen3.5-122B-A10B 49,4 % — Créateur, 2026-11-03 Qwen: Qwen3.5-27B 41,6 % — Créateur, 2026-11-03 Qwen: Qwen3.5-35B-A3B 40,5 % — Créateur, 2026-11-03
τ²-bench Des conversations de service à la clientèle où un agent utilise des outils selon les règles d’une entreprise, notées par domaine. τ²-bench
Modèle Résultat Conditions Provenance google/gemini-3.1-pro 99,3 % telecom, thinking high Créateur, 2026-02-19 Anthropic: Claude Sonnet 4.6 97,9 % telecom Créateur, 2026-02-17 Anthropic: Claude Sonnet 4.6 91,7 % retail Créateur, 2026-02-17 google/gemini-3.1-pro 90,8 % retail, thinking high Créateur, 2026-02-19 Kimi K2 Instruct 70,6 % retail; Avg@4 Créateur, 2026-11-03 Kimi K2 Instruct 65,8 % telecom; Avg@4 Créateur, 2026-11-03 Kimi K2 Instruct 56,5 % airline; Avg@4 Créateur, 2026-11-03
BrowseComp Des faits difficiles à trouver, qui demandent de nombreuses recherches sur le Web. BrowseComp
Modèle Résultat Conditions Provenance MoonshotAI: Kimi K3 91,2 % max; context compaction at 300K Créateur, 2026-11-03 Claude Opus 5 90,8 % with tools, max effort Créateur, 2026-07-24 MoonshotAI: Kimi K3 90,4 % max; full 1M context, no context management Créateur, 2026-11-03 Anthropic: Claude Opus 4.8 88,5 % multi-agent Créateur, 2026-05-28 Anthropic: Claude Sonnet 5 86,6 % multi agent Créateur, 2026-06-30 google/gemini-3.1-pro 85,9 % search + python + browse, thinking high Créateur, 2026-02-19 Anthropic: Claude Sonnet 5 84,7 % single agent Créateur, 2026-06-30 Anthropic: Claude Opus 4.8 84,3 % single-agent Créateur, 2026-05-28 DeepSeek: DeepSeek V4 Pro 0423 83,4 % think max Créateur, 2026-11-03 MoonshotAI: Kimi K2.6 83,2 % thinking Créateur, 2026-11-03 Anthropic: Claude Sonnet 4.6 82,07 % multi-agent Créateur, 2026-02-17 Anthropic: Claude Opus 4.7 79,3 % — Créateur, 2026-04-16 Z.ai: GLM 5.1 79,3 % with context management Créateur, 2026-11-03 Anthropic: Claude Sonnet 4.6 74,01 % single-agent, 10M token budget Créateur, 2026-02-17 DeepSeek: DeepSeek V4 Flash 0423 73,2 % think max Créateur, 2026-11-03 Z.ai: GLM 5.1 68 % — Créateur, 2026-11-03 Qwen: Qwen3.5-122B-A10B 63,8 % context-folding 256k Créateur, 2026-11-03 Qwen: Qwen3.5-27B 61 % context-folding 256k Créateur, 2026-11-03 Qwen: Qwen3.5-35B-A3B 61 % context-folding 256k Créateur, 2026-11-03
OSWorld-Verified Des tâches sur un vrai bureau d’ordinateur, au moyen de l’écran, de la souris et du clavier. OSWorld-Verified
Modèle Résultat Conditions Provenance Anthropic: Claude Fable 5 85 % max effort Créateur, 2026-06-09 MoonshotAI: Kimi K3 84,8 % max Créateur, 2026-11-03 Qwen: Qwen3.8 27B 84,3 % — Créateur, 2026-11-03 Anthropic: Claude Opus 4.8 83,4 % first-attempt, avg of 5 runs Créateur, 2026-05-28 Google: Gemini 3.6 Flash 83 % — Créateur, 2026-07-21 Anthropic: Claude Sonnet 5 81,2 % first-attempt, avg of 5 runs Créateur, 2026-06-30 Google: Gemini 3.5 Flash 78,4 % — Créateur, 2026-05-19 Anthropic: Claude Opus 4.7 78 % first-attempt, avg of 5 runs Créateur, 2026-04-16 google/gemini-3.1-pro 76,2 % — Créateur, 2026-05-19 Google: Gemini 3.5 Flash Lite 74 % — Créateur, 2026-07-21 Qwen: Qwen3.7 Plus 73,3 % — Créateur, 2026-11-03 MoonshotAI: Kimi K2.6 73,1 % thinking Créateur, 2026-11-03 Anthropic: Claude Sonnet 4.6 72,5 % first-attempt Créateur, 2026-02-17 Qwen: Qwen3.6 27B 63,9 % — Créateur, 2026-11-03 Qwen: Qwen3.5-122B-A10B 58 % — Créateur, 2026-11-03 Qwen: Qwen3.5-27B 56,2 % — Créateur, 2026-11-03 Qwen: Qwen3.5-35B-A3B 54,5 % — Créateur, 2026-11-03 Google: Gemini 3.1 Flash Lite 54,3 % — Créateur, 2026-07-21 Qwen: Qwen3.5-9B 41,8 % — Créateur, 2026-11-03
MMMU Des questions de niveau collégial et universitaire qui demandent de lire des images, des graphiques et des schémas. MMMU
Modèle Résultat Conditions Provenance Qwen: Qwen3.5-122B-A10B 83,9 % — Créateur, 2026-11-03 Qwen: Qwen3.6 27B 82,9 % — Créateur, 2026-11-03 Qwen: Qwen3.5-27B 82,3 % — Créateur, 2026-11-03 Qwen: Qwen3.6 35B A3B 81,7 % — Créateur, 2026-11-03 Qwen: Qwen3.5-35B-A3B 81,4 % — Créateur, 2026-11-03 Qwen: Qwen3.5-9B 78,4 % — Créateur, 2026-11-03 meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 73,4 % 0-shot Créateur, 2025-04-05 meta-llama/Llama-4-Scout-17B-16E-Instruct 69,4 % 0-shot Créateur, 2025-04-05 mistralai/Mistral-Small-3.2-24B-Instruct-2506 62,5 % — Créateur, 2026-11-03
Les résultats sont des pourcentages; plus c’est élevé, mieux c’est. Seuls les modèles que nous pouvons acheminer figurent ici. Un modèle sans résultat publié n’a pas de ligne, et un résultat absent n’est pas un zéro. Les conditions indiquent comment le créateur a fait passer le test, par exemple avec ou sans outils.
Références Chaque résultat de cette page a été lu sur l’une de ces 39 pages, publiées par le créateur du modèle. La page propre à chaque banc d’essai figure à côté.
D’où viennent les résultats ai.google.dev/gemma/docs/core/model_card_4 : Résultats de Google: Gemma 4 26B A4B, Google: Gemma 4 31B, google/gemma-4-E4B-it; en date du 2026-07-30anthropic.com/claude-fable-5-1-mythos-5-1-system-card : Résultats de Anthropic: Claude Fable 5.1; en date du 2026-09-01anthropic.com/claude-fable-5-mythos-5-system-card : Résultats de Anthropic: Claude Fable 5; en date du 2026-06-09anthropic.com/claude-opus-4-7-system-card : Résultats de Anthropic: Claude Opus 4.7; en date du 2026-04-16anthropic.com/claude-opus-4-8-system-card : Résultats de Anthropic: Claude Opus 4.8; en date du 2026-05-28anthropic.com/claude-opus-5-system-card : Résultats de Anthropic: Claude Opus 4.8, Claude Opus 5; en date du 2026-07-24anthropic.com/claude-sonnet-4-6-system-card : Résultats de Anthropic: Claude Sonnet 4.6; en date du 2026-02-17anthropic.com/claude-sonnet-5-system-card : Résultats de Anthropic: Claude Sonnet 5; en date du 2026-06-30cdn.openai.com/pdf/419b6906-9da6-406c-a19d-1bb078ac7637/oai_gpt-oss_model_card.pdf : Résultats de openai/gpt-oss-120b; en date du 2025-08-05deepmind.google/models/model-cards/gemini-3-1-flash-lite : Résultats de Google: Gemini 3.1 Flash Lite; en date du 2026-03-03deepmind.google/models/model-cards/gemini-3-1-pro : Résultats de google/gemini-3.1-pro; en date du 2026-02-19deepmind.google/models/model-cards/gemini-3-5-flash : Résultats de google/gemini-3.1-pro, Google: Gemini 3.5 Flash; en date du 2026-05-19deepmind.google/models/model-cards/gemini-3-5-flash-lite : Résultats de Google: Gemini 3.1 Flash Lite, Google: Gemini 3.5 Flash Lite; en date du 2026-07-21deepmind.google/models/model-cards/gemini-3-6-flash : Résultats de Google: Gemini 3.6 Flash; en date du 2026-07-21huggingface.co/deepseek-ai/DeepSeek-R1-0528-Qwen3-8B : Résultats de DeepSeek R1 Distill Qwen3 8B 0528; en date du 2026-11-03huggingface.co/deepseek-ai/DeepSeek-V4-Flash : Résultats de DeepSeek: DeepSeek V4 Flash 0423; en date du 2026-11-03huggingface.co/deepseek-ai/DeepSeek-V4-Pro : Résultats de DeepSeek: DeepSeek V4 Pro 0423; en date du 2026-11-03huggingface.co/deepseek-ai/DeepSeek-V4-Pro-0813 : Résultats de DeepSeek: DeepSeek V4 Flash 0731, DeepSeek: DeepSeek V4 Pro 0813; en date du 2026-11-03huggingface.co/meta-llama/Llama-3.3-70B-Instruct : Résultats de meta-llama/Meta-Llama-3.3-70B-Instruct; en date du 2024-12-06huggingface.co/meta-llama/Llama-4-Maverick-17B-128E-Instruct : Résultats de meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8, meta-llama/Meta-Llama-3.3-70B-Instruct; en date du 2025-04-05huggingface.co/meta-llama/Llama-4-Scout-17B-16E-Instruct : Résultats de meta-llama/Llama-4-Scout-17B-16E-Instruct; en date du 2025-04-05huggingface.co/MiniMaxAI/MiniMax-M2.7 : Résultats de MiniMax: MiniMax M2.7; en date du 2026-11-03huggingface.co/mistralai/Mistral-Medium-3.5-128B : Résultats de Mistral: Mistral Medium 3.5; en date du 2026-11-03huggingface.co/mistralai/Mistral-Small-3.2-24B-Instruct-2506 : Résultats de mistralai/Mistral-Small-3.2-24B-Instruct-2506; en date du 2026-11-03huggingface.co/moonshotai/Kimi-K2-Instruct : Résultats de Kimi K2 Instruct; en date du 2026-11-03huggingface.co/moonshotai/Kimi-K2.6 : Résultats de MoonshotAI: Kimi K2.6; en date du 2026-11-03huggingface.co/moonshotai/Kimi-K3 : Résultats de MoonshotAI: Kimi K3; en date du 2026-11-03huggingface.co/Qwen/Qwen3.5-122B-A10B : Résultats de Qwen: Qwen3.5-122B-A10B; en date du 2026-11-03huggingface.co/Qwen/Qwen3.5-27B : Résultats de Qwen: Qwen3.5-27B; en date du 2026-11-03huggingface.co/Qwen/Qwen3.5-35B-A3B : Résultats de Qwen: Qwen3.5-35B-A3B; en date du 2026-11-03huggingface.co/Qwen/Qwen3.5-9B : Résultats de Qwen: Qwen3.5-9B; en date du 2026-11-03huggingface.co/Qwen/Qwen3.6-27B : Résultats de Qwen: Qwen3.6 27B; en date du 2026-11-03huggingface.co/Qwen/Qwen3.6-35B-A3B : Résultats de Qwen: Qwen3.6 35B A3B; en date du 2026-11-03huggingface.co/Qwen/Qwen3.8-2.4T-A95B : Résultats de Qwen: Qwen3.7 Max; en date du 2026-11-03huggingface.co/Qwen/Qwen3.8-27B : Résultats de Qwen: Qwen3.6 27B, Qwen: Qwen3.7 Plus, Qwen: Qwen3.8 27B; en date du 2026-11-03huggingface.co/zai-org/GLM-5.1 : Résultats de Z.ai: GLM 5.1; en date du 2026-11-03huggingface.co/zai-org/GLM-5.2 : Résultats de Z.ai: GLM 5.2; en date du 2026-11-03huggingface.co/zai-org/GLM-5.3 : Résultats de Z.ai: GLM 5.3; en date du 2026-11-03media.x.ai/v1/website/4p5-5184fdf9.pdf : Résultats de SpaceXAI: Grok 4.5; en date du 2026-07-20Les bancs d’essai Catalogue de modèles · Fournisseurs · Comparer des modèles · Collections · Classement · Tarifs · Documentation · Démarrage rapide · Journal des modifications · État du service · Entreprise · Lanceur relay · Développeurs · À propos · Soutien · Catalogue · Bancs d’essai