Недавно один пользователь ChatGPT получил необычно ленивый ответ от чат-бота с искусственным интеллектом (ИИ): «Вы можете заполнить остальные данные самостоятельно». И что это значит? ИИ понял, что работа — это тяжкий труд? Об этом пишут СМИ.
Кажется, кто-то ленится!
С тех пор создатели ChatGPT в OpenAI получили тонну жалоб на то, что их языковая модель (LLM) работает ужасно вяло в течение последнего месяца. Это привело к шуткам и некоторому анализу данных о «сезонной депрессии» у искусственного интеллекта.
«Мы выслушали все отзывы о том, что GPT4 становится все более ленивым», — написала команда OpenAI в ChatGPT социальных сетях. «Мы не обновляли модель с 11 ноября, и это, конечно, не намеренно. Поведение модели может быть непредсказуемым, и мы пытаемся это исправить».
Роб Линч, исследователь искусственного интеллекта, провел эксперимент, попросив последнюю модель LLM от ChatGPT (GPT4 Turbo) выполнять задачи так, как если бы на дворе был май, а затем как если бы на дворе был декабрь — он был шокирован результатом.
Он провел свой тест 477 раз как для экспериментальных декабрьских заданий ChatGPT, так и для контрольной группы майских заданий. Во всех 954 тестах он просил завершить за него код.
В результате, ответ «декабрьского» бота был короче «майского». «Хотелось бы посмотреть, повторится ли это у других», — написал ученый предложив людям поэкспериментировать.
Как оказалось, проблема действительно существует! «Боже мой, гипотеза о зимних каникулах искусственного интеллекта на самом деле может быть правдой?», — отреагировал пользователь соцсетей, повторив трюк с ChatGPT.
Другой пользователь, Майк Своупски, сказал: «Что, если ИИ узнал из своих обучающих данных, что люди обычно замедляются в декабре и откладывают крупные проекты до нового года, и именно поэтому в последнее время он стал более ленивым?». Нам кажется, что такая теория вполне имеет место быть!
Как бы странно это ни звучало, но помогая боту почувствовать себя «человечнее», вы можете получить лучший результат запросы.
Например, исследователи искусственного интеллекта Google DeepMind в сентябре прошлого года опубликовали статью со своими выводами о том, что некоторые ИИ-боты LLM лучше справлялись с математическими задачами, когда в запросе им предлагалось сначала «сделать глубокий вдох».
Как ни странно, другие ученые обнаружили, что подобные чат-боты LLM, похоже, работают усерднее, когда им говорят, что они получат чаевые за выполнение поставленной задачи, или когда им напоминают, что у них нет пальцев и они могут печатать так быстро, как им позволяет скорость сервера!
Однако не все исследователи убеждены, что зимой ChatGPT впадает в спячку, расслабляется или впадает в панику.
Исследователь искусственного интеллекта Ян Аравжо опубликовал свои попытки воспроизвести результаты Линча, заявив, что он не смог сопоставить сезонное расхождение с какой-либо статистической значимостью.
Из-за множества случайных элементов в игре эксперты по ИИ отмечают, что различия в выводе ответов чат-ботов означают, что для построения надежной статистики по «гипотезе зимних каникул» потребуются гораздо большие размеры выборки.
