„Brutalny” test przeprowadzony przez matematyków śledzi nogę AI

Sztuczna inteligencja nie wyprzedziła jeszcze panowania matematyków — udowadnia to 150 pytań zadawanych przez mistrzów świata. Sztuczna inteligencja „oszukuje”, a nawet wtedy poprawnie zadaje tylko 2% pytań. Ale to nie jest słaba część.

W raporcie opublikowanym w zeszłym miesiącu instytut badań technologicznych tzw Epoch AI zgromadziła 60 ekspertów w dziedzinie matematyki aby ocenić wydajność sztucznej inteligencji w najbardziej wymagającym teście matematycznym, do jakiego mogli przystąpić.

Zespół o godz Następnie sztuczna inteligencja firmy Epoch przetestowała sześć najlepszych wielkoskalowych modeli językowych (LLM).w tym najnowsze wersje OpenAI i DeepMind, na około 150 pytań. Modelkom pozwolono wymyślać i wykonywać podprogramy obliczeniowe przez jedną minutę aby pomóc rozwiązać problemy, powiedz .

Pytania brzmiały: „od intensywnych obliczeniowo problemów w teorii liczb i analizie rzeczywistej, po abstrakcyjne zagadnienia z geometrii algebraicznej i teorii kategorii. Rozwiązanie typowego problemu wymaga kilkugodzinnego wysiłku badacza z odpowiedniej dziedziny matematyki; a w przypadku bardziej zaawansowanych pytań zajmuje to kilka dni” – piszą w artykule matematycy.

I nie można powiedzieć, że naukowcy zniechęcali. Czekając na odpowiedzi, zostawiali wiadomości typu „pracuj dalej” i „nie bój się uruchomić swojego kodu”. Ale sztuczna inteligencja poniosła porażkę: udzielił poprawnych odpowiedzi tylko 2%.

Chatboty nie były jednak słabsze i często pewnie udzielały błędnych odpowiedzi. Poza tym modele „oszukują”– mówi matematyk Cheng Xu, ponieważ są przeszkoleni w zakresie dużych obszarów Internetu i często mogą podglądać rozwiązania podobnych problemów – problemu zwanego zanieczyszczenie danych.

„Moim zdaniem sztuczna inteligencja jest obecnie bardzo daleka od odpowiedzi na te pytania… ale już wcześniej się myliłem” – mówi Kevin Buzzar, matematyk z Imperial College w Londynie.

Nadal jednak dostrzega potencjał tej technologii: „Wgłębienie, jakie sztuczna inteligencja wywarła w społeczności matematycznej, jest niewielkie, ale ludzie widzą, że istnieje potencjał”. Dalej czytamy, że „Jeśli istnieje system, który może zdominować tę bazę danych, dla matematyków jest to koniec gry„.

I masz powody do zmartwień. Model o1 OpenAI, wydany we wrześniu, może teraz punktować większość poprzednich testów matematycznych AI.

A w lipcu matematyczny model sztucznej inteligencji firmy Google DeepMind zdobyła srebro w zadaniach na Międzynarodowej Olimpiadzie Matematycznej, głównym na świecie konkursie matematycznym dla szkół średnich.

Ale tym razem tak nie było, gdy modele sztucznej inteligencji nie zbliżyły się do tego „brutalnego” testu, jak opisują to matematycy. „Nadal postrzegam sztuczną inteligencję jako narzędzie (…), które otwiera naszą możliwość zadawania jeszcze trudniejszych pytań” – mówi Jeremy Avigad, matematyk i filozof na Uniwersytecie Carnegie Mello.

Maja Frasermatematyk z Uniwersytetu w Ottawie, twierdzi, że sztuczna inteligencja prześcignie pod tym względem człowieka”W sumie to nie jest tak daleko… co oznacza, że ​​teraz mamy możliwość interwencji”.