Искусственный интеллект оказался хуже людей-сотрудников. Как это выяснили
. ИИ не смог составить резюме документа и допустил много неточностейCrikey: ИИ оказался хуже людей в обобщении информации и создании резюме
ИИ оказался хуже людей в обобщении информации и создании резюме
Австралийская комиссия по ценным бумагам и инвестициям (ASIC) опубликовала результаты исследования, в котором выявила недостатки искусственного интеллекта (ИИ) в сравнении со способностями человека к обобщению информации. Целью работы было оценить потенциал ИИ для использования в бизнес-среде. Однако результаты эксперимента оказались далеко не утешительными, сообщает портал Crikey.
В рамках исследования искусственному интеллекту было поручено обобщить правительственные документы и написать резюме. Для этой задачи исследователи выбрали модель с открытым исходным кодом Llama2-70B от Meta (признана в России экстремистской организацией и запрещена). Параллельно с этим сотрудникам ASIC также было предложено составить резюме тех же документов.
Затем независимые эксперты оценили оба получившихся документа, не зная, какие из них были созданы ИИ, а какие — людьми. Как выяснилось позже, трое из пяти экспертов заподозрили, что некоторые резюме были составлены искусственным интеллектом.
Эксперты оценили оба получившихся документа, не зная, какие из них были созданы ИИ, а какие — людьми
Результаты оценки показали, что резюме, созданные ИИ, набрали всего 47%. А резюме реальных сотрудников набрали 81%. Искусственный интеллект не смог предоставить точные номера страниц, откуда были взяты данные. Помимо этого, оказалось, что ИИ не способен уловить контекст и нюансы — в итоге в документ было включено много несущественных деталей.
Сводки ИИ содержали избыточную и нерелевантную информацию, что делало их расплывчатыми и многословными. Это значит, что использование нейросети в бизнесе может потребовать дополнительных ресурсов на проверку фактов и редактуру.
В целом исследование подтвердило, что генеративные модели ИИ пока не готовы заменить человеческий труд в задачах, требующих глубокого понимания и анализа информации. Более того, исследователи выражают сомнения в том, что такие технологии смогут в ближайшее время найти широкое применение в бизнесе.
Ранее два инструмента от Google DeepMind (AlphaGeometry 2 и AlphaProof) успешно решили четыре из шести задач Международной математической олимпиады. AlphaGeometry смогла решить 83% всех задач по геометрии за последние 25 лет. При этом вице-президент Google DeepMind Дэвид Сильвер заявил, что искусственный интеллект пока не способен заменить людей-математиков. Он сравнил ИИ с логарифмическими линейками или калькуляторами, которые могут помочь в вычислениях, но не обладают воображением, необходимым для постановки интересных задач.
