Ученые «стерли» память ИИ и проверили, способен ли он рассуждать.
Исследователи выяснили, что память и логика в нейросетях работают независимо. Даже если лишить ИИ части знаний, он продолжает рассуждать почти так же точно, как прежде.
Команда из стартапа Goodfire.ai решила проверить, как устроено мышление у искусственного интеллекта. Они «отключили» часть памяти модели и посмотрели, изменится ли её способность к логическим выводам.
Чтобы сделать это аккуратно, учёные использовали математический метод K-FAC — Kronecker-Factored Approximate Curvature. Он позволяет точечно удалить данные, не разрушая структуру нейросети.
После такой «амнезии» ИИ по-прежнему знал столицы стран, но путался в именах руководителей компаний. Точность ответов в этой категории упала примерно на 78%.
Интересно, что при этом способности к математике и логическим задачам почти не пострадали. Это показало: память и рассуждения действительно можно разделить.
Учёные заметили и другую закономерность: чем чаще модель встречала информацию во время обучения, тем прочнее она её сохраняла. Редкие факты стирались легче.
Исследователи считают, что это открытие поможет создавать ИИ, который можно «обнулять» частично — стирать лишние данные, не трогая его умение думать.
