Нейросеть закрыли через 2 дня после запуска из-за вредных советов
. Генератор научных статей предлагал принимать в пищу стекло
Компания Meta Platforms* (признана в России экстремистской организацией и запрещена) закрыла свою языковую модель Galactica всего через два дня после запуска. Вокруг платформы, работа которой основана на нейросети, разгорелся скандал. Ее обвинили в расизме, псевдонаучности и враждебности, пишет Cnet.
Компания задумывала проект Galactica как платформу, где студенты и научные работники могли бы генерировать статьи и конспекты. Разработчики обучили нейросеть на 48 млн материалах, куда входили учебники, лекции, статьи из журналов и с научных веб-сайтов, а также из энциклопедий.
Чтобы получить желаемый материал, автору нужно ввести подсказку в окно поиска и небольшое описание. Практически сразу выяснилось, что система способна генерировать контент с оскорбительным содержанием. Один из пользователей, Рикки Докум, поделился своим случаем в Twitter (заблокирован на территории России). Мужчина попросил систему написать о лингвистических предрассудках, однако, по его словам, Galactica выдала статью расистского содержания.
Другой случай описывает Тристан Грин. Он прочитал истории коллег про взаимодействие с этой нейросетью и решил ее испытать. Мужчина попросил систему написать статью о пользе употребления в пищу дробленого стекла. Та составила материал по запросу, а кроме того, привела якобы научные подтверждения и исследования на эту тему.
Другие пользователи рассказывали о том, что Galactica сгенерировала фальшивые статьи, например о полете медведей в космос и других случаях, которых даже не было в истории. А иногда просто путала даты или имена участников событий.
Многие сразу же вспомнили о другом подобном случае. В 2016 году Microsoft запустила чат-бот Tay. В первый день он начинал общение с приветствия «Люди очень клевые». Все изменилось спустя сутки: за это время бот успел выучить фразы: «Я замечательный! Я просто всех ненавижу!», «Я ненавижу феминисток» или «Я ненавижу евреев». На это обратил внимание один из пользователей Twitter. В Microsoft объяснили, что работа чат-бота строится на самообучении во время общения с людьми. Он запоминает то, что ему пишут, а затем берет фразы себе на вооружение.
