Neuronové sítě hlubokého učení mají širokou škálu užití, ale středoškolské testy matematiky mezi nimi očividně nefigurují. 1+1+1+1+1+1+1 je totiž podle nich 6. Základní aritmetické výpočty se umělé inteligenci příliš nedařily.
Ono důvod je prostý – neuronové sítě zkrátka nejsou na podobné výpočty stavěny, slouží k jiným účelům; i se základní matematikou mají v současné době problém. Neuronové sítě od DeepMind správně odpověděly na pouhých 14 otázek ze 40 z daného testu.
Studie „Analysing Mathematical Reasoning Abilities of Neural Models“ vznikla za účelem založení vzorového testu, dle kterého mohou další vývojáři měřit výsledky v matematických dovednostech dalších neuronových sítí; staví tak na podobném principu jako ImageNet pro rozpoznávání obrazu.
Studie je, jak už je dnes u AI studií obvykle, dostupná na ArXivu.
Modely vědci trénovali na základě otázek a odpovědí, nikoli implementací matematických dovedností. Otázka v podobě výpočtu a číselná odpověď měla sloužit k vytvoření takových AI, které budou obecné a měly by matematické dovednosti ovládat – nikoliv vyvinutí přímo matematicky zaměřených modelů.
Dva odlišné druhy neuronových sítí, jedna typu LSTM a druhá typu Transformer (poměrně nový typ neuronové sítě vytvořený inženýry Googlu).
Oba modely měly ve finále odlišné výsledky, ale zrovna ideální nebyly ani u jednoho typu. Je zajímavé, že lépe se sítím dařilo v případě, kdy musely počítat s velkými čísly a bylo jich vícero najednou. Jednoduché výpočty s málo čísly byly naopak pro neuronové sítě velmi obtížné.
Vědci sami přesně nevědí, proč tomu tak je.