Искусственный интеллект стал неотъемлемой частью повседневной жизни многих людей. Крупные языковые модели (LLM), такие как ChatGPT, Gemini или Copilot, пишут для них письма и курсовые работы, дают советы по поводу экскурсий на отдыхе или отвечают на вопросы по любой теме.

Как передает Baki-baku.az со ссылкой на зарубежные СМИ, исследовательская группа из Вюрцбургского университета имени Юлиуса и Максимилиана (Германия) изучила вопрос, в какой степени ИИ может поддерживать студентов естественных наук в качестве независимых репетиторов.

Исследовательская группа из кафедры физической химии, которая до сих пор в основном занималась исследованиями в области спектроскопии наноматериалов, теперь разработала инструмент, который проверяет термодинамическое понимание современных LLM – в частности, выходят ли их навыки за рамки простого фактического знания. Инструмент под названием UTQA (Undergraduate Thermodynamics Question Answering) находится в свободном доступе и предназначен для поддержки преподавателей и исследователей в объективной и предметной оценке LLM, а также для измерения прогресса.

«Мы надеемся, что однажды искусственный интеллект сможет стать нашим независимым партнером в преподавании, например в виде компетентных чат-ботов, которые будут индивидуально реагировать на потребности каждого студента при подготовке и последующем осмыслении лекций», — говорит руководитель проекта профессор Тобиас Хертель.

Команда Хертеля использует LLM в лекциях по термодинамике с более чем 150 студентами для еженедельной проверки знаний с зимнего семестра 2023 года. Модели, такие как ChatGPT-3.5 и ChatGPT-4, продемонстрировали свои сильные стороны, но также и явные слабости.

Это привело к необходимости создания предметного теста. «UTQA состоит из 50 сложных заданий с одним вариантом ответа из курса лекций по базовой термодинамике – две трети из них текстовые, а одна треть – с диаграммами и эскизами, как это обычно бывает в дидактических упражнениях», — объясняет Хертель.

Цель состояла не только в проверке фактических знаний и определений, но и в тестировании способности языковых моделей целенаправленно связывать различные граничные условия и понимать сложные последовательности процессов.

«На практике это означает, что LLM уже могут быть очень полезны в преподавании с контролем или без него, но пока еще не в той степени, чтобы использовать их в качестве независимых репетиторов. В то же время за последние два года мы наблюдаем огромный прогресс. Поэтому мы уверены, что, если развитие не остановится внезапно, в скором времени можно будет достичь уровня знаний, необходимого для преподавателей-ассистентов в нашей дисциплине», — заключил руководитель проекта.