AI krijgt een realistische test in hogere wiskunde

Hoe meten we de werkelijke capaciteiten van AI in complexe domeinen zoals wiskunde? Een nieuw initiatief, genaamd First Proof, legt de lat aanzienlijk hoger. In plaats van bekende competitievragen, gebruikt deze benchmark tien unieke, nog niet gepubliceerde problemen uit wiskundig onderzoek. Dit voorkomt dat AI-modellen getraind zijn op de antwoorden, wat een zuiverder beeld geeft van hun redeneervermogen. De opzet simuleert een realistische werkomgeving, inclusief toegang tot het internet. Eerste tests tonen aan dat zelfs de meest geavanceerde modellen hier nog veel moeite mee hebben, wat aangeeft hoe uitdagend deze volgende stap is.