По мнению недавнего исследования, ChatGPT все еще очень плохо справляется с некоторыми задачами, особенно в области программирования, несмотря на то, что стал мгновенным хитом у программистов ещё с момента запуска.
Исследование, проведенное учеными из Пердьюского университета, обнаружило, что более половины (52%) ответов, сгенерированных ChatGPT, содержат ошибки. Путем анализа 517 вопросов с платформы Stack Overflow и сравнения ответов ChatGPT с ответами людей, исследователи выяснили, что ошибки искусственного интеллекта были распространены. Более половины (54%) ошибок были связаны с неправильным пониманием концепций, около трети (36%) – с фактическими неточностями, примерно столько же (28%) – с логическими ошибками в коде, и 12% были ошибками терминологии.
В ходе исследований также отмечается, что ChatGPT часто порождает излишне длинные и сложные ответы с избытком деталей, что может привести к путанице и отвлечению. При проведении дальнейшего опроса с участием 12 программистов, 1/3 предпочла артикулированные и похожие на учебник ответы ChatGPT, что подчеркивает легкость, с которой разработчики могут быть введены в заблуждение.
Авторы исследования подводят итог: «Поскольку ChatGPT производит большое количество неверных ответов, наши результаты подчеркивают необходимость осторожности и осознанности при использовании ответов ChatGPT в задачах программирования«.
Комментариев (0)