Исследователи из Microsoft Research Asia, Пекинского университета и Сианьского университета Цзяотун разработали новую методику, заставляющую большие языковые модели, вроде GPT-4, учиться на собственных ошибках, подобно тому, как учатся люди , сообщает psm7.com .
Согласно опубликованной на этой неделе исследовательской статье , исследователи раскрыли новаторскую стратегию «Обучение на ошибках» (Learning from Mistakes, LeMa), обучающую искусственный интеллект исправлять собственные ошибки, что приводит к улучшению способностей к размышлению.
Они применили эту концепцию к большим языковым моделям (LLM), используя парные наборы данных с ошибкой и исправлением для точной настройки.
Первоначально исследователи использовали такие языковые модели, как LaMA-2 от Meta, которые попросили генерировать ошибочные пути решения математических задач.
Затем GPT-4 обнаружил ошибки в рассуждениях, объяснил их и предоставил исправленные рассуждения.
Исследователи использовали скорректированные данные для дальнейшего обучения исходным моделям, позволяя им больше не допускать тех же ошибок.
"В пяти базовых LLM и двух задачах по математическим соображениям LeMa постоянно улучшает производительность по сравнению с тонкой настройкой только данных CoT", - результаты этого нового подхода значительны, объясняют исследователи.
Специализированные модели LLM, разработанные для решения математических задач, также удалось улучшить с помощью подхода LeMa: WizardMath и MetaMath показали точность в 85,4% на задачах GSM8K, а на задачах MATH – 27,1% (GSM8K и MATH – наборы задач, на которых тестируются ИИ-модели). Эти результаты превосходят современные заслуги open-source моделей.
Появление LeMa представляет собой важную веху в ИИ, указывающую, что процессы машинного обучения можно сделать более похожими на человеческое обучение. Эта разработка может совершить революцию в секторах, зависящих от искусственного интеллекта, где исправление ошибок и непрерывное обучение имеют решающее значение. К примеру, в здравоохранении, финансах и автономных транспортных средствах.
Автор Юлия Ковтун
Источник psm7.com