Нейросеть GigaChat PRO от «Сбера» обогнала ChatGPT-3.5 Turbo от OpenAI по уровню знаний. Специалисты компании поняли это по результатам экзамена MMLU (Massive Multitask Language Understanding).
Тест разработала команда американских ученых из университетов Беркли, Чикаго и Иллинойса. Он измеряет точность работы языковой модели в условиях многозадачности. Во время экзаменации проверяются «знания» нейросети в элементарной математике, информатике, законах, истории США, медицине, физике и т.д. GigaChat справился с ответами лучше ChatGPT, причем и на английском, и на русском.
Раннее исследователи очередной раз сообщили, что ChatGPT может генерировать идеи гораздо быстрее (и дешевле), чем люди. При этом идеи от алгоритмов в среднем обладают более высоким качеством. Работа профессионала в паре с GPT-4 примерно в 40 раз продуктивнее, чем работа профессионала в одиночку.