Накануне в сервисах, принадлежащих компании Facebook, произошел крупный сбой: в Instagram не загружалась новостная лента, в Facebook — перестали отображаться картинки, а пользователи мессенджера WhatsApp испытывали проблемы с отправкой сообщений. Нестабильная работа наблюдалась по всему миру на протяжении нескольких часов.
В то же время неполадки дали возможность немного больше понять о том, как искусственный интеллект Facebook воспринимает публикуемые пользователями фотографии. У многих вместо изображения профиля появились текстовые метки, которые отражают то, как «видят» этих людей системы машинного зрения.
One nice thing about Facebook being utterly borked right now is it gives you a chance to see what its (very nice!) accessibility feature auto-alting images does.https://t.co/a3w9PcOosR pic.twitter.com/dnTXOih8Hp
— Dieter Bohn (@backlon) July 3, 2019
Картинки могут сопровождаться как достаточно скромным (вида «изображение может содержать: 1 человек, борода»), так и подробным описанием (например, «изображение может содержать: улыбающиеся люди, танцующие люди, свадьба, внутри помещения»), пишет The Verge.
Oh yeah! I forgot Facebook uses machine learning to tag our photos with what it sees in the picture.
To be fair, "one person, beard" is pretty much a spot-on description of me. pic.twitter.com/fCpydUxtpz
— Zack Whittaker (@zackwhittaker) July 3, 2019
Facebook начала помечать изображения метками еще в 2016 году — как функция для слепых и слабовидящих пользователей, позволяющая им понять, что изображено на фотографии. ИИ распознают запечатленные на снимке объекты, составляют текстовое описание и проговаривают его вслух. Подписи к картинкам обычно очень краткие, всего несколько слов. Однако использует ли Facebook эти данные для нацеливания рекламы, неясно.