Résultats publiés aux bancs d’essai

Les résultats publiés des modèles que nous acheminons, GPQA Diamond, SWE-bench, HLE et plus, chacun avec sa source. Publiés par les créateurs, pas par nous.

Ce que le créateur de chaque modèle a publié pour les bancs d’essai ci-dessous, un résultat par ligne, chacun lié à la page d’où il vient. Nous ne faisons pas passer ces tests et ne modifions pas les chiffres. Le résultat publié par un créateur n’est pas une mesure indépendante : l’effort, les outils et les environnements de test diffèrent d’un créateur à l’autre; comparez avec prudence.

GPQA Diamond

Questions de biologie, de physique et de chimie de niveau universitaire avancé, conçues pour résister à une recherche Web; les 198 plus difficiles. GPQA Diamond

ModèleRésultatConditionsProvenance
google/gemini-3.1-pro94,3 %no tools, thinking highCréateur, 2026-02-19
Anthropic: Claude Opus 4.794,2 %avg of 10 trialsCréateur, 2026-04-16
Anthropic: Claude Opus 4.893,6 %avg of 25 trialsCréateur, 2026-05-28
MoonshotAI: Kimi K393,5 %maxCréateur, 2026-11-03
Qwen: Qwen3.7 Max92,4 %—Créateur, 2026-11-03
Z.ai: GLM 5.291,2 %—Créateur, 2026-11-03
MoonshotAI: Kimi K2.690,5 %thinkingCréateur, 2026-11-03
Qwen: Qwen3.7 Plus90,3 %—Créateur, 2026-11-03
DeepSeek: DeepSeek V4 Pro 042390,1 %think maxCréateur, 2026-11-03
Anthropic: Claude Sonnet 4.689,9 %avg of 10 trialsCréateur, 2026-02-17
Qwen: Qwen3.8 27B89,2 %—Créateur, 2026-11-03
DeepSeek: DeepSeek V4 Flash 042388,1 %think maxCréateur, 2026-11-03
Qwen: Qwen3.6 27B87,8 %—Créateur, 2026-11-03
Google: Gemini 3.1 Flash Lite86,9 %no tools, thinking highCréateur, 2026-03-03
Qwen: Qwen3.5-122B-A10B86,6 %—Créateur, 2026-11-03
Z.ai: GLM 5.186,2 %—Créateur, 2026-11-03
Qwen: Qwen3.6 35B A3B86 %—Créateur, 2026-11-03
Qwen: Qwen3.5-27B85,5 %—Créateur, 2026-11-03
Google: Gemma 4 31B84,3 %—Créateur, 2026-07-30
Qwen: Qwen3.5-35B-A3B84,2 %—Créateur, 2026-11-03
Google: Gemma 4 26B A4B82,3 %—Créateur, 2026-07-30
Qwen: Qwen3.5-9B81,7 %—Créateur, 2026-11-03
openai/gpt-oss-120b80,9 %with tools, reasoning highCréateur, 2025-08-05
openai/gpt-oss-120b80,1 %no tools, reasoning highCréateur, 2025-08-05
Kimi K2 Instruct75,1 %Avg@8Créateur, 2026-11-03
meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP869,8 %0-shotCréateur, 2025-04-05
DeepSeek R1 Distill Qwen3 8B 052861,1 %—Créateur, 2026-11-03
google/gemma-4-E4B-it58,6 %—Créateur, 2026-07-30
meta-llama/Llama-4-Scout-17B-16E-Instruct57,2 %0-shotCréateur, 2025-04-05
meta-llama/Meta-Llama-3.3-70B-Instruct50,5 %CoT, 0-shotCréateur, 2024-12-06
mistralai/Mistral-Small-3.2-24B-Instruct-250646,13 %5-shot CoTCréateur, 2026-11-03

Humanity’s Last Exam

Questions rédigées par des experts, à la limite des connaissances humaines, dans de nombreuses disciplines. Humanity’s Last Exam

ModèleRésultatConditionsProvenance
Anthropic: Claude Fable 5.165 %with toolsCréateur, 2026-09-01
Claude Opus 564,7 %with toolsCréateur, 2026-07-24
Z.ai: GLM 5.362,5 %with toolsCréateur, 2026-11-03
Anthropic: Claude Fable 5.160,9 %no toolsCréateur, 2026-09-01
DeepSeek: DeepSeek V4 Pro 081360 %with toolsCréateur, 2026-11-03
Anthropic: Claude Opus 4.857,9 %with toolsCréateur, 2026-05-28
Anthropic: Claude Sonnet 557,4 %with toolsCréateur, 2026-06-30
Claude Opus 556,3 %no toolsCréateur, 2026-07-24
MoonshotAI: Kimi K356 %max; with toolsCréateur, 2026-11-03
Anthropic: Claude Opus 4.754,7 %with toolsCréateur, 2026-04-16
Z.ai: GLM 5.254,7 %text-only subset; with toolsCréateur, 2026-11-03
MoonshotAI: Kimi K2.654 %thinking; with toolsCréateur, 2026-11-03
Qwen: Qwen3.7 Max53,5 %with toolsCréateur, 2026-11-03
Z.ai: GLM 5.152,3 %with toolsCréateur, 2026-11-03
DeepSeek: DeepSeek V4 Flash 073151,5 %with toolsCréateur, 2026-11-03
google/gemini-3.1-pro51,4 %search (blocklist) + code, thinking highCréateur, 2026-02-19
Anthropic: Claude Opus 4.849,8 %no toolsCréateur, 2026-05-28
Anthropic: Claude Sonnet 4.649 %with toolsCréateur, 2026-02-17
Qwen: Qwen3.5-27B48,5 %with toolsCréateur, 2026-11-03
DeepSeek: DeepSeek V4 Pro 042348,2 %think max; with toolsCréateur, 2026-11-03
Qwen: Qwen3.5-122B-A10B47,5 %with toolsCréateur, 2026-11-03
Qwen: Qwen3.5-35B-A3B47,4 %with toolsCréateur, 2026-11-03
Anthropic: Claude Opus 4.746,9 %no toolsCréateur, 2026-04-16
DeepSeek: DeepSeek V4 Flash 042345,1 %think max; with toolsCréateur, 2026-11-03
google/gemini-3.1-pro44,4 %no tools, thinking highCréateur, 2026-02-19
MoonshotAI: Kimi K343,5 %max; no toolsCréateur, 2026-11-03
Anthropic: Claude Sonnet 543,2 %no toolsCréateur, 2026-06-30
DeepSeek: DeepSeek V4 Pro 081342,7 %no toolsCréateur, 2026-11-03
Qwen: Qwen3.7 Max41,4 %no toolsCréateur, 2026-11-03
Z.ai: GLM 5.240,5 %text-only subset; no toolsCréateur, 2026-11-03
Google: Gemini 3.5 Flash40,2 %—Créateur, 2026-05-19
DeepSeek: DeepSeek V4 Flash 073137,8 %no toolsCréateur, 2026-11-03
DeepSeek: DeepSeek V4 Pro 042337,7 %think max; no toolsCréateur, 2026-11-03
DeepSeek: DeepSeek V4 Flash 042334,8 %think max; no toolsCréateur, 2026-11-03
MoonshotAI: Kimi K2.634,7 %thinking; no toolsCréateur, 2026-11-03
Qwen: Qwen3.7 Plus34,7 %judged by GPT-4oCréateur, 2026-11-03
Anthropic: Claude Sonnet 4.633,2 %no toolsCréateur, 2026-02-17
Z.ai: GLM 5.131 %no toolsCréateur, 2026-11-03
Qwen: Qwen3.8 27B30,8 %judged by GPT-4oCréateur, 2026-11-03
Google: Gemma 4 31B26,5 %with searchCréateur, 2026-07-30
Qwen: Qwen3.5-122B-A10B25,3 %no tools (w/ CoT)Créateur, 2026-11-03
Qwen: Qwen3.5-27B24,3 %no tools (w/ CoT)Créateur, 2026-11-03
Qwen: Qwen3.6 27B24 %—Créateur, 2026-11-03
Qwen: Qwen3.5-35B-A3B22,4 %no tools (w/ CoT)Créateur, 2026-11-03
Qwen: Qwen3.6 35B A3B21,4 %—Créateur, 2026-11-03
Google: Gemma 4 31B19,5 %no toolsCréateur, 2026-07-30
openai/gpt-oss-120b19 %with tools, reasoning highCréateur, 2025-08-05
Google: Gemma 4 26B A4B17,2 %with searchCréateur, 2026-07-30
Google: Gemini 3.1 Flash Lite16 %no tools, thinking highCréateur, 2026-03-03
openai/gpt-oss-120b14,9 %no tools, reasoning highCréateur, 2025-08-05
Google: Gemma 4 26B A4B8,7 %no toolsCréateur, 2026-07-30
Kimi K2 Instruct4,7 %text onlyCréateur, 2026-11-03

ARC-AGI-2

Casse-têtes visuels qui mesurent la capacité d’apprendre une règle nouvelle à partir de quelques exemples. ARC-AGI-2

ModèleRésultatConditionsProvenance
Claude Opus 590,42 %max effort, ARC Prize verified, semi-privateCréateur, 2026-07-24
Anthropic: Claude Fable 5.190 %max effort, ARC Prize verified, semi-privateCréateur, 2026-09-01
google/gemini-3.1-pro77,1 %ARC Prize Verified, thinking highCréateur, 2026-02-19
Anthropic: Claude Opus 4.775,83 %max effortCréateur, 2026-04-16
Anthropic: Claude Opus 4.872,1 %max effortCréateur, 2026-07-24
Google: Gemini 3.5 Flash72,1 %—Créateur, 2026-05-19
Anthropic: Claude Sonnet 4.660,42 %high effort, 120k thinking tokensCréateur, 2026-02-17
Anthropic: Claude Sonnet 4.658,3 %max effort, VerifiedCréateur, 2026-02-17

MMLU-Pro

Questions à choix multiples dans 14 disciplines, avec dix choix chacune. MMLU-Pro

ModèleRésultatConditionsProvenance
DeepSeek: DeepSeek V4 Pro 042387,5 %think maxCréateur, 2026-11-03
Qwen: Qwen3.5-122B-A10B86,7 %—Créateur, 2026-11-03
DeepSeek: DeepSeek V4 Flash 042386,2 %think maxCréateur, 2026-11-03
Qwen: Qwen3.6 27B86,2 %—Créateur, 2026-11-03
Qwen: Qwen3.5-27B86,1 %—Créateur, 2026-11-03
Qwen: Qwen3.5-35B-A3B85,3 %—Créateur, 2026-11-03
Google: Gemma 4 31B85,2 %—Créateur, 2026-07-30
Qwen: Qwen3.6 35B A3B85,2 %—Créateur, 2026-11-03
Google: Gemma 4 26B A4B82,6 %—Créateur, 2026-07-30
Qwen: Qwen3.5-9B82,5 %—Créateur, 2026-11-03
Kimi K2 Instruct81,1 %EMCréateur, 2026-11-03
meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP880,5 %0-shotCréateur, 2025-04-05
meta-llama/Llama-4-Scout-17B-16E-Instruct74,3 %0-shotCréateur, 2025-04-05
google/gemma-4-E4B-it69,4 %—Créateur, 2026-07-30
mistralai/Mistral-Small-3.2-24B-Instruct-250669,06 %5-shot CoTCréateur, 2026-11-03
meta-llama/Meta-Llama-3.3-70B-Instruct68,9 %CoT, 5-shotCréateur, 2024-12-06

AIME 2025

Les problèmes de l’American Invitational Mathematics Examination 2025. AIME 2025

ModèleRésultatConditionsProvenance
openai/gpt-oss-120b97,9 %with tools, reasoning highCréateur, 2025-08-05
Anthropic: Claude Sonnet 4.695,6 %no tools, max effortCréateur, 2026-02-17
openai/gpt-oss-120b92,5 %no tools, reasoning highCréateur, 2025-08-05
DeepSeek R1 Distill Qwen3 8B 052876,3 %—Créateur, 2026-11-03
Kimi K2 Instruct49,5 %Avg@64Créateur, 2026-11-03

AIME 2026

Les problèmes de l’American Invitational Mathematics Examination 2026. AIME 2026

ModèleRésultatConditionsProvenance
Z.ai: GLM 5.299,2 %—Créateur, 2026-11-03
MoonshotAI: Kimi K2.696,4 %thinkingCréateur, 2026-11-03
Z.ai: GLM 5.195,3 %—Créateur, 2026-11-03
Qwen: Qwen3.6 27B94,1 %full AIME 2026 I & IICréateur, 2026-11-03
Qwen: Qwen3.6 35B A3B92,7 %full AIME 2026 I & IICréateur, 2026-11-03
Google: Gemma 4 31B89,2 %no toolsCréateur, 2026-07-30
Google: Gemma 4 26B A4B88,3 %no toolsCréateur, 2026-07-30
google/gemma-4-E4B-it42,5 %no toolsCréateur, 2026-07-30

SWE-bench Verified

De vrais problèmes signalés sur GitHub dans des projets Python, corrigés pour que les tests du projet passent; un ensemble de 500 vérifié par des humains. SWE-bench Verified

ModèleRésultatConditionsProvenance
Claude Opus 596 %avg of 5 trials, max effortCréateur, 2026-07-24
Anthropic: Claude Fable 595 %max effort, avg of 5 trialsCréateur, 2026-06-09
Anthropic: Claude Opus 4.888,6 %max effort, avg of 5 trialsCréateur, 2026-05-28
Anthropic: Claude Opus 4.787,6 %max effort, avg of 5 trialsCréateur, 2026-04-16
Anthropic: Claude Sonnet 585,2 %avg of 5 trials, max effortCréateur, 2026-06-30
DeepSeek: DeepSeek V4 Pro 042380,6 %think maxCréateur, 2026-11-03
google/gemini-3.1-pro80,6 %single attempt, thinking highCréateur, 2026-02-19
MoonshotAI: Kimi K2.680,2 %thinkingCréateur, 2026-11-03
Anthropic: Claude Sonnet 4.679,6 %avg of 10 trials, max effortCréateur, 2026-02-17
DeepSeek: DeepSeek V4 Flash 042379 %think maxCréateur, 2026-11-03
Mistral: Mistral Medium 3.577,6 %max reasoningCréateur, 2026-11-03
Qwen: Qwen3.6 27B77,2 %internal scaffold (bash + file-edit)Créateur, 2026-11-03
Qwen: Qwen3.6 35B A3B73,4 %internal scaffold (bash + file-edit)Créateur, 2026-11-03
Qwen: Qwen3.5-27B72,4 %—Créateur, 2026-11-03
Qwen: Qwen3.5-122B-A10B72 %—Créateur, 2026-11-03
Qwen: Qwen3.5-35B-A3B69,2 %—Créateur, 2026-11-03
Kimi K2 Instruct65,8 %agentic; single attemptCréateur, 2026-11-03
openai/gpt-oss-120b62,4 %reasoning highCréateur, 2025-08-05
Kimi K2 Instruct51,8 %agentless; single patch w/o testCréateur, 2026-11-03

SWE-Bench Pro

Des tâches de génie logiciel plus longues et plus difficiles, dans plusieurs langages. SWE-Bench Pro

ModèleRésultatConditionsProvenance
Anthropic: Claude Fable 5.181,2 %avg of 5 trials, max effortCréateur, 2026-09-01
Anthropic: Claude Fable 580 %max effort, avg of 5 trialsCréateur, 2026-06-09
Claude Opus 579,2 %avg of 5 trials, max effortCréateur, 2026-07-24
Anthropic: Claude Opus 4.869,2 %max effort, avg of 5 trialsCréateur, 2026-05-28
SpaceXAI: Grok 4.564,7 %highCréateur, 2026-07-20
Anthropic: Claude Opus 4.764,3 %max effort, avg of 5 trialsCréateur, 2026-04-16
Anthropic: Claude Sonnet 563,2 %avg of 5 trials, max effortCréateur, 2026-06-30
Z.ai: GLM 5.262,1 %OpenHandsCréateur, 2026-11-03
Qwen: Qwen3.8 27B61,7 %Claude Code harness; refined task setCréateur, 2026-11-03
Qwen: Qwen3.7 Max60,6 %Claude Code harness; refined task setCréateur, 2026-11-03
Google: Gemini 3.6 Flash58,7 %public setCréateur, 2026-07-21
MoonshotAI: Kimi K2.658,6 %thinkingCréateur, 2026-11-03
Z.ai: GLM 5.158,4 %—Créateur, 2026-11-03
Qwen: Qwen3.7 Plus57,6 %Claude Code harness; refined task setCréateur, 2026-11-03
MiniMax: MiniMax M2.756,22 %—Créateur, 2026-11-03
DeepSeek: DeepSeek V4 Pro 042355,4 %think maxCréateur, 2026-11-03
Google: Gemini 3.5 Flash55,1 %public set, single attemptCréateur, 2026-05-19
google/gemini-3.1-pro54,2 %public set, single attempt, thinking highCréateur, 2026-02-19
Google: Gemini 3.5 Flash Lite54,2 %public setCréateur, 2026-07-21
Qwen: Qwen3.6 27B53,5 %internal scaffold; refined task setCréateur, 2026-11-03
DeepSeek: DeepSeek V4 Flash 042352,6 %think maxCréateur, 2026-11-03
Qwen: Qwen3.6 35B A3B49,5 %internal scaffold; refined task setCréateur, 2026-11-03
Google: Gemini 3.1 Flash Lite38,3 %public setCréateur, 2026-07-21

LiveCodeBench

Des problèmes de programmation compétitive recueillis après la date limite d’entraînement du modèle. LiveCodeBench

ModèleRésultatConditionsProvenance
DeepSeek: DeepSeek V4 Pro 042393,5 %think maxCréateur, 2026-11-03
DeepSeek: DeepSeek V4 Flash 042391,6 %think maxCréateur, 2026-11-03
Qwen: Qwen3.8 27B90,3 %v6Créateur, 2026-11-03
MoonshotAI: Kimi K2.689,6 %thinking; v6Créateur, 2026-11-03
Qwen: Qwen3.7 Plus89,6 %v6Créateur, 2026-11-03
Qwen: Qwen3.6 27B83,9 %v6Créateur, 2026-11-03
Qwen: Qwen3.5-27B80,7 %v6Créateur, 2026-11-03
Qwen: Qwen3.6 35B A3B80,4 %v6Créateur, 2026-11-03
Google: Gemma 4 31B80 %v6Créateur, 2026-07-30
Qwen: Qwen3.5-122B-A10B78,9 %v6Créateur, 2026-11-03
Google: Gemma 4 26B A4B77,1 %v6Créateur, 2026-07-30
Qwen: Qwen3.5-35B-A3B74,6 %v6Créateur, 2026-11-03
Google: Gemini 3.1 Flash Lite72 %1/1/2025-5/1/2025 window, thinking highCréateur, 2026-03-03
Qwen: Qwen3.5-9B65,6 %v6Créateur, 2026-11-03
DeepSeek R1 Distill Qwen3 8B 052860,5 %2408-2505Créateur, 2026-11-03
Kimi K2 Instruct53,7 %v6 (Aug 24 - May 25); pass@1Créateur, 2026-11-03
google/gemma-4-E4B-it52 %v6Créateur, 2026-07-30
meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP843,4 %pass@1, 10/01/2024-02/01/2025Créateur, 2025-04-05
meta-llama/Meta-Llama-3.3-70B-Instruct33,3 %pass@1, 10/01/2024-02/01/2025Créateur, 2025-04-05
meta-llama/Llama-4-Scout-17B-16E-Instruct32,8 %pass@1, 10/01/2024-02/01/2025Créateur, 2025-04-05

Terminal-Bench 2.0

Des tâches accomplies en travaillant dans un vrai terminal en ligne de commande. Terminal-Bench 2.0

ModèleRésultatConditionsProvenance
Anthropic: Claude Opus 4.769,4 %Terminus-2 harness, thinking disabledCréateur, 2026-04-16
Z.ai: GLM 5.169 %Claude Code harnessCréateur, 2026-11-03
google/gemini-3.1-pro68,5 %Terminus-2 harness, thinking highCréateur, 2026-02-19
DeepSeek: DeepSeek V4 Pro 042367,9 %think maxCréateur, 2026-11-03
MoonshotAI: Kimi K2.666,7 %thinking; Terminus-2Créateur, 2026-11-03
Z.ai: GLM 5.163,5 %Terminus-2Créateur, 2026-11-03
Qwen: Qwen3.6 27B59,3 %Terminus-2, avg of 5 runsCréateur, 2026-11-03
Anthropic: Claude Sonnet 4.659,1 %max effort, no thinkingCréateur, 2026-02-17
MiniMax: MiniMax M2.757 %—Créateur, 2026-11-03
DeepSeek: DeepSeek V4 Flash 042356,9 %think maxCréateur, 2026-11-03
Qwen: Qwen3.6 35B A3B51,5 %Terminus-2, avg of 5 runsCréateur, 2026-11-03
Qwen: Qwen3.5-122B-A10B49,4 %—Créateur, 2026-11-03
Qwen: Qwen3.5-27B41,6 %—Créateur, 2026-11-03
Qwen: Qwen3.5-35B-A3B40,5 %—Créateur, 2026-11-03

τ²-bench

Des conversations de service à la clientèle où un agent utilise des outils selon les règles d’une entreprise, notées par domaine. τ²-bench

ModèleRésultatConditionsProvenance
google/gemini-3.1-pro99,3 %telecom, thinking highCréateur, 2026-02-19
Anthropic: Claude Sonnet 4.697,9 %telecomCréateur, 2026-02-17
Anthropic: Claude Sonnet 4.691,7 %retailCréateur, 2026-02-17
google/gemini-3.1-pro90,8 %retail, thinking highCréateur, 2026-02-19
Kimi K2 Instruct70,6 %retail; Avg@4Créateur, 2026-11-03
Kimi K2 Instruct65,8 %telecom; Avg@4Créateur, 2026-11-03
Kimi K2 Instruct56,5 %airline; Avg@4Créateur, 2026-11-03

BrowseComp

Des faits difficiles à trouver, qui demandent de nombreuses recherches sur le Web. BrowseComp

ModèleRésultatConditionsProvenance
MoonshotAI: Kimi K391,2 %max; context compaction at 300KCréateur, 2026-11-03
Claude Opus 590,8 %with tools, max effortCréateur, 2026-07-24
MoonshotAI: Kimi K390,4 %max; full 1M context, no context managementCréateur, 2026-11-03
Anthropic: Claude Opus 4.888,5 %multi-agentCréateur, 2026-05-28
Anthropic: Claude Sonnet 586,6 %multi agentCréateur, 2026-06-30
google/gemini-3.1-pro85,9 %search + python + browse, thinking highCréateur, 2026-02-19
Anthropic: Claude Sonnet 584,7 %single agentCréateur, 2026-06-30
Anthropic: Claude Opus 4.884,3 %single-agentCréateur, 2026-05-28
DeepSeek: DeepSeek V4 Pro 042383,4 %think maxCréateur, 2026-11-03
MoonshotAI: Kimi K2.683,2 %thinkingCréateur, 2026-11-03
Anthropic: Claude Sonnet 4.682,07 %multi-agentCréateur, 2026-02-17
Anthropic: Claude Opus 4.779,3 %—Créateur, 2026-04-16
Z.ai: GLM 5.179,3 %with context managementCréateur, 2026-11-03
Anthropic: Claude Sonnet 4.674,01 %single-agent, 10M token budgetCréateur, 2026-02-17
DeepSeek: DeepSeek V4 Flash 042373,2 %think maxCréateur, 2026-11-03
Z.ai: GLM 5.168 %—Créateur, 2026-11-03
Qwen: Qwen3.5-122B-A10B63,8 %context-folding 256kCréateur, 2026-11-03
Qwen: Qwen3.5-27B61 %context-folding 256kCréateur, 2026-11-03
Qwen: Qwen3.5-35B-A3B61 %context-folding 256kCréateur, 2026-11-03

OSWorld-Verified

Des tâches sur un vrai bureau d’ordinateur, au moyen de l’écran, de la souris et du clavier. OSWorld-Verified

ModèleRésultatConditionsProvenance
Anthropic: Claude Fable 585 %max effortCréateur, 2026-06-09
MoonshotAI: Kimi K384,8 %maxCréateur, 2026-11-03
Qwen: Qwen3.8 27B84,3 %—Créateur, 2026-11-03
Anthropic: Claude Opus 4.883,4 %first-attempt, avg of 5 runsCréateur, 2026-05-28
Google: Gemini 3.6 Flash83 %—Créateur, 2026-07-21
Anthropic: Claude Sonnet 581,2 %first-attempt, avg of 5 runsCréateur, 2026-06-30
Google: Gemini 3.5 Flash78,4 %—Créateur, 2026-05-19
Anthropic: Claude Opus 4.778 %first-attempt, avg of 5 runsCréateur, 2026-04-16
google/gemini-3.1-pro76,2 %—Créateur, 2026-05-19
Google: Gemini 3.5 Flash Lite74 %—Créateur, 2026-07-21
Qwen: Qwen3.7 Plus73,3 %—Créateur, 2026-11-03
MoonshotAI: Kimi K2.673,1 %thinkingCréateur, 2026-11-03
Anthropic: Claude Sonnet 4.672,5 %first-attemptCréateur, 2026-02-17
Qwen: Qwen3.6 27B63,9 %—Créateur, 2026-11-03
Qwen: Qwen3.5-122B-A10B58 %—Créateur, 2026-11-03
Qwen: Qwen3.5-27B56,2 %—Créateur, 2026-11-03
Qwen: Qwen3.5-35B-A3B54,5 %—Créateur, 2026-11-03
Google: Gemini 3.1 Flash Lite54,3 %—Créateur, 2026-07-21
Qwen: Qwen3.5-9B41,8 %—Créateur, 2026-11-03

MMMU

Des questions de niveau collégial et universitaire qui demandent de lire des images, des graphiques et des schémas. MMMU

ModèleRésultatConditionsProvenance
Qwen: Qwen3.5-122B-A10B83,9 %—Créateur, 2026-11-03
Qwen: Qwen3.6 27B82,9 %—Créateur, 2026-11-03
Qwen: Qwen3.5-27B82,3 %—Créateur, 2026-11-03
Qwen: Qwen3.6 35B A3B81,7 %—Créateur, 2026-11-03
Qwen: Qwen3.5-35B-A3B81,4 %—Créateur, 2026-11-03
Qwen: Qwen3.5-9B78,4 %—Créateur, 2026-11-03
meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP873,4 %0-shotCréateur, 2025-04-05
meta-llama/Llama-4-Scout-17B-16E-Instruct69,4 %0-shotCréateur, 2025-04-05
mistralai/Mistral-Small-3.2-24B-Instruct-250662,5 %—Créateur, 2026-11-03

Les résultats sont des pourcentages; plus c’est élevé, mieux c’est. Seuls les modèles que nous pouvons acheminer figurent ici. Un modèle sans résultat publié n’a pas de ligne, et un résultat absent n’est pas un zéro. Les conditions indiquent comment le créateur a fait passer le test, par exemple avec ou sans outils.

Références

Chaque résultat de cette page a été lu sur l’une de ces 39 pages, publiées par le créateur du modèle. La page propre à chaque banc d’essai figure à côté.

D’où viennent les résultats

  1. ai.google.dev/gemma/docs/core/model_card_4: Résultats de Google: Gemma 4 26B A4B, Google: Gemma 4 31B, google/gemma-4-E4B-it; en date du 2026-07-30
  2. anthropic.com/claude-fable-5-1-mythos-5-1-system-card: Résultats de Anthropic: Claude Fable 5.1; en date du 2026-09-01
  3. anthropic.com/claude-fable-5-mythos-5-system-card: Résultats de Anthropic: Claude Fable 5; en date du 2026-06-09
  4. anthropic.com/claude-opus-4-7-system-card: Résultats de Anthropic: Claude Opus 4.7; en date du 2026-04-16
  5. anthropic.com/claude-opus-4-8-system-card: Résultats de Anthropic: Claude Opus 4.8; en date du 2026-05-28
  6. anthropic.com/claude-opus-5-system-card: Résultats de Anthropic: Claude Opus 4.8, Claude Opus 5; en date du 2026-07-24
  7. anthropic.com/claude-sonnet-4-6-system-card: Résultats de Anthropic: Claude Sonnet 4.6; en date du 2026-02-17
  8. anthropic.com/claude-sonnet-5-system-card: Résultats de Anthropic: Claude Sonnet 5; en date du 2026-06-30
  9. cdn.openai.com/pdf/419b6906-9da6-406c-a19d-1bb078ac7637/oai_gpt-oss_model_card.pdf: Résultats de openai/gpt-oss-120b; en date du 2025-08-05
  10. deepmind.google/models/model-cards/gemini-3-1-flash-lite: Résultats de Google: Gemini 3.1 Flash Lite; en date du 2026-03-03
  11. deepmind.google/models/model-cards/gemini-3-1-pro: Résultats de google/gemini-3.1-pro; en date du 2026-02-19
  12. deepmind.google/models/model-cards/gemini-3-5-flash: Résultats de google/gemini-3.1-pro, Google: Gemini 3.5 Flash; en date du 2026-05-19
  13. deepmind.google/models/model-cards/gemini-3-5-flash-lite: Résultats de Google: Gemini 3.1 Flash Lite, Google: Gemini 3.5 Flash Lite; en date du 2026-07-21
  14. deepmind.google/models/model-cards/gemini-3-6-flash: Résultats de Google: Gemini 3.6 Flash; en date du 2026-07-21
  15. huggingface.co/deepseek-ai/DeepSeek-R1-0528-Qwen3-8B: Résultats de DeepSeek R1 Distill Qwen3 8B 0528; en date du 2026-11-03
  16. huggingface.co/deepseek-ai/DeepSeek-V4-Flash: Résultats de DeepSeek: DeepSeek V4 Flash 0423; en date du 2026-11-03
  17. huggingface.co/deepseek-ai/DeepSeek-V4-Pro: Résultats de DeepSeek: DeepSeek V4 Pro 0423; en date du 2026-11-03
  18. huggingface.co/deepseek-ai/DeepSeek-V4-Pro-0813: Résultats de DeepSeek: DeepSeek V4 Flash 0731, DeepSeek: DeepSeek V4 Pro 0813; en date du 2026-11-03
  19. huggingface.co/meta-llama/Llama-3.3-70B-Instruct: Résultats de meta-llama/Meta-Llama-3.3-70B-Instruct; en date du 2024-12-06
  20. huggingface.co/meta-llama/Llama-4-Maverick-17B-128E-Instruct: Résultats de meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8, meta-llama/Meta-Llama-3.3-70B-Instruct; en date du 2025-04-05
  21. huggingface.co/meta-llama/Llama-4-Scout-17B-16E-Instruct: Résultats de meta-llama/Llama-4-Scout-17B-16E-Instruct; en date du 2025-04-05
  22. huggingface.co/MiniMaxAI/MiniMax-M2.7: Résultats de MiniMax: MiniMax M2.7; en date du 2026-11-03
  23. huggingface.co/mistralai/Mistral-Medium-3.5-128B: Résultats de Mistral: Mistral Medium 3.5; en date du 2026-11-03
  24. huggingface.co/mistralai/Mistral-Small-3.2-24B-Instruct-2506: Résultats de mistralai/Mistral-Small-3.2-24B-Instruct-2506; en date du 2026-11-03
  25. huggingface.co/moonshotai/Kimi-K2-Instruct: Résultats de Kimi K2 Instruct; en date du 2026-11-03
  26. huggingface.co/moonshotai/Kimi-K2.6: Résultats de MoonshotAI: Kimi K2.6; en date du 2026-11-03
  27. huggingface.co/moonshotai/Kimi-K3: Résultats de MoonshotAI: Kimi K3; en date du 2026-11-03
  28. huggingface.co/Qwen/Qwen3.5-122B-A10B: Résultats de Qwen: Qwen3.5-122B-A10B; en date du 2026-11-03
  29. huggingface.co/Qwen/Qwen3.5-27B: Résultats de Qwen: Qwen3.5-27B; en date du 2026-11-03
  30. huggingface.co/Qwen/Qwen3.5-35B-A3B: Résultats de Qwen: Qwen3.5-35B-A3B; en date du 2026-11-03
  31. huggingface.co/Qwen/Qwen3.5-9B: Résultats de Qwen: Qwen3.5-9B; en date du 2026-11-03
  32. huggingface.co/Qwen/Qwen3.6-27B: Résultats de Qwen: Qwen3.6 27B; en date du 2026-11-03
  33. huggingface.co/Qwen/Qwen3.6-35B-A3B: Résultats de Qwen: Qwen3.6 35B A3B; en date du 2026-11-03
  34. huggingface.co/Qwen/Qwen3.8-2.4T-A95B: Résultats de Qwen: Qwen3.7 Max; en date du 2026-11-03
  35. huggingface.co/Qwen/Qwen3.8-27B: Résultats de Qwen: Qwen3.6 27B, Qwen: Qwen3.7 Plus, Qwen: Qwen3.8 27B; en date du 2026-11-03
  36. huggingface.co/zai-org/GLM-5.1: Résultats de Z.ai: GLM 5.1; en date du 2026-11-03
  37. huggingface.co/zai-org/GLM-5.2: Résultats de Z.ai: GLM 5.2; en date du 2026-11-03
  38. huggingface.co/zai-org/GLM-5.3: Résultats de Z.ai: GLM 5.3; en date du 2026-11-03
  39. media.x.ai/v1/website/4p5-5184fdf9.pdf: Résultats de SpaceXAI: Grok 4.5; en date du 2026-07-20

Les bancs d’essai