BENCHMARK
Hodnotenie veľkých jazykových modelov na slovenských úlohách. Rigorózne testy gramatiky, porozumenia a lingvistických schopností.
6
Hodnotené modely
2
Aktívne benchmarky
64
Otázok z maturity
2025
Ročník maturity
NÁŠ PRÍBEH
Keď sme začali skúmať, ako dobre AI jazykové modely rozumejú slovenčine, zistili sme medzeru: neexistoval žiadny komplexný benchmark na hodnotenie veľkých jazykových modelov v slovenčine.
Tak sme si ho vytvorili. SlovakBench je prvý open-source benchmark špecificky navrhnutý na meranie toho, ako dobre veľké jazykové modely zvládajú slovenčinu — od gramatiky až po maturitnú skúšku.
ÚLOHY
Oficiálna slovenská maturitná skúška — ultimátny test jazykového a literárneho porozumenia.
Slovné druhy, základné tvary a syntaktické vzťahy na dátach Slovenského národného korpusu.
Vyhľadávanie a oprava gramatických chýb v autentickom slovenskom texte.
METODOLÓGIA
Väčšina AI benchmarkov sa zameriava na angličtinu, čím jazyky ako slovenčina zostávajú podreprezentované. To znamená, že nemáme spoľahlivý spôsob porovnania, ako rôzne AI modely zvládajú náš jazyk.
SlovakBench používa reálne úlohy: oficiálne maturitné skúšky, lingvistickú analýzu zo Slovenského národného korpusu a opravu gramatiky. Žiadne skratky, žiadne syntetické dáta.
VÝSLEDKY
Oficiálna maturitná skúška zo slovenského jazyka a literatúry. Zahŕňa testové otázky (MCQ) a krátke odpovede zamerané na gramatiku, literatúru a porozumenie.NÚCEM ↗
| Poradie | Model | Skóre (%)▼ | ||||
|---|---|---|---|---|---|---|
Dáta nedostupné Pre túto kombináciu úlohy a roku zatiaľ neexistujú výsledky. | ||||||
OpenAI
Google
Anthropic
Meta