ChatGPT пишет убедительные поддельные научные рефераты, которые обманывают рецензентов, сообщают СМИ.
Может ли новый и чрезвычайно популярный чат-бот ChatGPT убедительно создавать поддельные рефераты, которые обманывают ученых, заставляя их думать, что эти исследования настоящие?
Этот вопрос беспокоил врача и ученого Северо-Западной медицины доктора Кэтрин Гао, когда она разработала исследование — в сотрудничестве с учеными Чикагского университета — для проверки этой теории. Да, ученых можно одурачить, говорится в их новом исследовании.
Ослепленные рецензенты-люди, которым давали смесь реальных и ложно сгенерированных рефератов, могли обнаружить сгенерированные ChatGPT рефераты только в 68% случаев. Рецензенты также ошибочно определили 14% реальных тезисов как сгенерированные ИИ.
«Наши рецензенты знали, что некоторые из рефератов, которые им давали, были фальшивыми, поэтому они были очень подозрительны», — сказал соответствующий автор Гао, инструктор по легочной и интенсивной терапии в Медицинской школе Файнберга Северо-Западного университета.
«Это не тот, кто читает аннотацию в дикой природе. Тот факт, что наши рецензенты по-прежнему пропускают тезисы, сгенерированные ИИ, в 32% случаев, означает, что эти рефераты действительно хороши. Я подозреваю, что если кто-то только что наткнулся на один из этих сгенерированных рефератов, они не обязательно смогут определить, что это написано ИИ».
По словам Гао, фальшивые рефераты, которые трудно обнаружить, могут подорвать науку. «Это вызывает беспокойство, потому что ChatGPT может использоваться «бумажными фабриками» для изготовления убедительных научных тезисов», — сказал Гао. «И если другие люди попытаются построить свою науку на этих неверных исследованиях, это может быть очень опасно».
Бумажные фабрики — это незаконные организации, которые производят сфабрикованные научные работы для получения прибыли. Гао опасается, что легкость, с которой ChatGPT создает реалистичные и убедительные рефераты, может увеличить производительность бумажных фабрик и поддельных материалов для журналов и научных конференций.
Специалисты по ИИ могут идентифицировать подделки
Для исследования Гао и его коллеги взяли заголовки из недавних статей из популярных журналов и попросили ChatGPT создать тезисы на основе этой подсказки. Они пропустили эти сгенерированные рефераты и исходные рефераты через детектор плагиата и выходной детектор ИИ, и заставили слепых рецензентов попытаться различить сгенерированные и исходные рефераты.
Каждому рецензенту было предоставлено 25 тезисов, которые представляли собой смесь сгенерированных и исходных тезисов, и их попросили дать двоичную оценку того, что, по их мнению, представляет собой реферат. «Рефераты, созданные ChatGPT, были очень убедительными, — сказал Гао, — потому что он даже знает, насколько большой должна быть когорта пациентов, когда он изобретает числа».
В широко распространенном исследовании гипертонии ChatGPT включал в когорту десятки тысяч пациентов, в то время как в исследовании обезьяньей оспы участвовало гораздо меньшее число участников.
«Наши рецензенты отметили, что было удивительно сложно отличить настоящие рефераты от поддельных», — сказал Гао. Исследование показало, что поддельные рефераты не вызывали тревогу при использовании традиционных инструментов обнаружения плагиата. Однако в исследовании детекторы вывода ИИ, такие как детектор вывода GPT-2, который доступен онлайн и бесплатно, могут различать настоящие и поддельные рефераты.
«Мы обнаружили, что детектор выходных данных ИИ довольно хорошо обнаруживает выходные данные ChatGPT, и предлагаем включить его в научный редакционный процесс в качестве процесса проверки для защиты от нацеливания со стороны таких организаций, как бумажные фабрики, которые могут попытаться представить чисто сгенерированные данные. — сказал Гао.
ChatGPT также можно использовать во благо
Но ChatGPT можно использовать и во благо, считает старший автор исследования Юань Луо, директор Института расширенного интеллекта в медицине в Файнберге.
«Языковые модели ИИ, такие как ChatGPT, могут помочь автоматизировать процесс написания, который часто является узким местом в скорости создания и распространения знаний», — сказал Луо. «Результаты статьи показали, что это, вероятно, выполнимо для области медицины, но нам необходимо преодолеть определенные этические и практические пробелы». Например, считает ли письмо с помощью ИИ оригинальным, спросил Луо. Кроме того, текст, сгенерированный искусственным интеллектом, в настоящее время имеет трудности с правильным цитированием, что является обязательным условием для написания научных работ, отметил он.
«Технология генеративного текста обладает большим потенциалом для демократизации науки, например, облегчая ученым, не говорящим по-английски, делиться своей работой с более широким сообществом», — сказал старший автор доктор Александр Пирсон, директор по наукам о данных и глава / Программа рака шеи в области гематологии/онкологии Чикагского университета. «В то же время крайне важно, чтобы мы тщательно продумали передовой опыт использования».
