Все наиболее увлекательные и познавательные заметки

Хоть это уже дурной тон — упоминать в первом абзаце прошлогодний матч Alpha Go и человека, начнем все же с этого примера. Нас он интересует потому, что это едва ли не первый адекватный случай «самообучающегося ИИ». Есть много других примеров, но они и по сей день не вышли из лабораторий и вообще малоизвестны широкой публике. В основе самообучения AlphaGo была многочасовая практика игр с самим собой плюс изучение разыгранных партий.

Это соревнование человека и машины привлекло внимание всех основных изданий. Я, как всегда, торможу и не успела на этот шикарный мемо-поезд современной журналистики. Но «противостояние века» интересно не только шумихой вокруг него (миллион долларов призовых, награждение почетным 9-м даном по игре го, научный прорыв года по мнению Science) и отчетливым привкусом азимовской фантастики. Суть действа вкратце: игровая машина AlphaGo доминировала и выиграла 4 из 5 матчей в традиционной восточной игре го. Выиграла не у какого-нибудь перворазрядника, а у корейского го-профессионала 9 дана Ли Седоля (2 место в международном рейтинге). Специалисты заявляют, что этот случай не похож на шахматное сражение компьютера и Гарри Каспарова, потому что в 1997 компьютер обучался под присмотром шахматных игроков, которые сами писали ему стратегии и тренировали. Для обучения машины-игрока AlphaGo был использован метод грубой силы (машина просматривала выборку в сотни тысяч го партий) отдаленно напоминающий рабочие научные модели, в народе известные как GANs (generative adversarial networks). Они-то и представляют особый интерес, потому что представители команды AlphaGo вплотную занялись этими конкурентными нейронными сетями. Их мы и рассмотрим в этой статье.

Читайте также: Почему чатботы захватывают мир + 25 примеров для вдохновения

Такой подход к тренировке искусственного интеллекта уже давно не новость — генеративные конкурирующие сети или просто GANs впервые появились еще в 2014 с легкой руки Иэна Гудфеллоу. Работают GANs очень просто — как связки прокурор-адвокат, плохой-хороший полицейский или критик-автор. Одна сеть (дискриминатор, D) классифицирует, маркирует входящие данные как ложные или истинные. Конкурирующая сеть (генератор, G) изучает оценки дискриминатора и может создавать новые данные на основе этих оценок. Эти нейронные сети взаимно обучают друг друга. И, что самое интересное, GANs нужны совсем небольшие выборки обучающей информации — требуется всего несколько сотен изображений и три-четыре раунда повторов, чтобы генератор начал производить свои варианты оригинальных изображений (раньше процесс обучения нейронных сетей требовал многих часов и миллионных выборок).

Одним из самых заинтересованных в GAN моделях ИИ оказался «Фейсбук», который даже поспешил опубликовать пост об этом. Почему «Фейсбук»? Потому что это самый публичный игрок на рынке высоких технологий — и Google, и Amazon, и Microsoft массово скупают команды и стартапы по искусственному интеллекту, чтобы делать свои разработки. Но они немного отстают от «Фейсбука», у которого в распоряжении гигантская обучающая выборка для тренировки ИИ на изображениях (computer vision — один из самых популярных методов обучения ИИ) и отличная команда FAIR (Facebook Artificial Intelligence Research group).

Резюме: сеть-дискриминатор учится различать настоящие фото от сгенерированных компьютером, а сеть-генератор тренируется создавать реалистичные фотографии неотличимые от оригинала. В этой обучающей гонке обе сети имеют равные (?) шансы на успех. Что будет, когда они завершат свое обучение?

Читайте также: Экзистенциальные риски и неконтролируемая цифровая эволюция

В последние годы машинное обучение переживает просто золотой век — возросшие мощности компьютеров, мгновенный доступ к большим массивам данных делают эту область очень горячей. Сегодня ИИ – это автомобиль Форда в начале прошлого века или космические спутники в 60-х — всеобщий ажиотаж, головокружительные прогнозы и слабое понимание, что со всем этим богатством делать. Ниже примеры последних громких технологий в сфере ИИ.

Обучение на лету (one-shot learning) — обучение нейронных сетей на малом количестве данных, в идеале с помощью одного примера и небольшой выборки для тренировки. Все больше стартапов работают над быстро обучающимся ИИ.

Так, игровой алгоритм DeepStack не повторил судьбу Alpha Go, но вплотную приблизился к успешному обучению на малых выборках. В конце 2016 DeepStack провел серию обучающих игр в техасский покер с 11 игроками из международной организации покера. Алгоритму потребовалось разыграть 3000 комбинаций с каждым игроком, чтобы показать приличные результаты — уверенные (средние 396 пунктов) победы над десятью игроками и близкая победа над одиннадцатым (70 пунктов, статпогрешность). Алгоритм не просто обучался в процессе игр, а использовал методику re-solving (адаптацию к каждому новому игроку и каждой новой комбинации карт). DeepStack это результат совместного использования глубоких рекурсивный нейросетей и GANs.

Проект нейронных сетей от Microsoft ResNet используется для распознавания изображений. Если запечатлеть работу нейронной сети во время сортировки и распознавания изображений, то получаются вот такие снимки:

Перспективное направление в криминалистике и фотографии, Face Aging With GANs — пара дискриминатор-генератор после тренировки на 5000 фотографий человеческих лиц разного возраста может воспроизводить, предсказывать изменения лиц с возрастом. Если генератор воспроизводит постаревшее лицо, то дискриминатор определяет насколько результат соответствует оригиналу.

Король трейдеров Goldman Sachs заменил часть своих трейдеров на алгоритмы. Место 600 рядовых трейдеров теперь заняли 200 разработчиков-инженеров, которые поддерживают торговые алгоритмы. Это связано с большим (146 пунктов) планом руководства банка по автоматизации простых брокерских операций. Трейдеров с большим опытом и матерых продажников это пока не коснется.

Хотя в некоторых хеджевых фондах (Sentient Technologies inc., Numerai, Emma hedge fund) алгоритмы-трейдеры на основе ИИ уже выполняют всю работу по аналитике и прогнозированию результатов. Обычно специалисты по ИИ не в восторге от работы на финансовые корпорации, но преимущества от больших массивы данных и возможностей для тренировки ИИ перевешивают скептицизм и нежелание работать на капиталистических Молохов. 2016 год стал годом рождения сразу нескольких хеджевых фондов, в которых торгует искусственный интеллект.

Китайский близнец «Гугла» Baidu тоже не дремлет. Большинство китайских разработок в сфере ИИ, машинного обучения распространяются бесплатно и любой желающий может их тестировать, изучать. В январе 2017 в Пекине открылась лаборатория искусственной реальности, где Эндрю Ын хочет подружить виртуальную реальность и работу поисковых машин.

Еще одна многообещающая разработка Baidu — медицинский бот Melody, который способен вести первичный опрос пациента и грозится заменить собой целый отдел регистрации в поликлиниках.

Читайте также: Боты с того света: как нейросети сделают тебя бессмертным

Демократизация ИИ – сегодня исследователям нужны большие объемы информации и вычислительные мощности, поэтому сейчас конкурентоспособны в сфере ИИ только большие компании и научные институты. Как только появятся модели ИИ, способные обучаться на небольших массивах информации, будет еще интереснее, ведь еще больше людей смогут обучать, исследовать ИИ. Возможно, появятся социальные сети (уже), где люди смогут делиться прогрессом в тренировке своих агентов ИИ.

Распространение получат механизмы для автоматического определения фейковых новостей, фотографий, видео. Развитие IBR (image-based rendering), технологии, которая позволяет дорисовывать новые кадры на основе имеющихся (что-то похожее на уже реализованные inbetweening или motion interpolation методы), просто требует появления такого анализатора фейков.

Еще один привет из братского Китая — разработка в сфере распознавания лиц (facial recognition) Face++, которая позволяет расплачиваться своим лицом (трудно подсчитать сколько слоев в этом каламбуре). Тестирование разработки проходит на базе системы мобильных платежей Alipay: теперь можно делать платежи предоставив только свое лицо.

В сфере распознавания и воспроизведения речи интерес представляют сразу несколько случаев: презентация Adobe Voco (Voice Conversion) «Photoshop for voice» — приложения для Adobe Audition, которое манипулирует исходным образцом аудиозаписи человеческой речи, добавляет новые слова и смыслы в оригинальное сообщение. Теперь чревовещание приобретает новые смыслы.

Хороший пример как независимый исследователь может учить ИИ языкам:

Программа учит английский:

Программа учит японский:

А что будет если оставить ИИ без присмотра? Он будет самообучаться без остановки и становиться все более совершенным, например, в музыке:

Алгоритмический мэшап или искусственный Стравинский

Читайте также: Роботы-маркетологи: как нейросети изменят мир интернет-маркетинга

Вместо выводов: когда я слышу, что молодые люди со степенью МВА делают «ИИ стартапы», моя рука тянется к мышке. Если учесть сколько бесплатного софта и мощных компьютеров сегодня доступны обычным людям, то моде на ИИ не стоит удивляться. Несмотря на хайп вокруг искусственного интеллекта и машинного обучения, устрашающих прогнозов и ребяческих выходок вроде Rocket AI, несмотря на все достижения в этой сфере, ИИ сложно назвать интеллектом в точном определении этого слова («люди, люди повсюду» – всю работу по развитию и поддержке искусственного интеллекта сейчас выполняют люди, ИИ даже не может назвать самого себя, он только говорит, то, что вложили в него ученые). Большинство сервисов, которые работают на основе искусственного интеллекта все равно поддерживаются разработчиками, можно говорить лишь об очень малой доле автоматизации разумных машин. Пока искусственный интеллект всего лишь повторяет и воспроизводит учебную или рабочую информацию – да, поражает воображение вычислительными мощностями и скоростью обучения, но на этом все. О чем-то похожем на человеческую высшую нервную деятельность говорить пока рано. «Да и не обязательно», сказал бы Ларри Нивен*.

Update 02.23.17: Фейсбук выпустил в открытый доступ проект Prophet (Пророк), автоматический инструмент для бизнес-прогнозов. Для своих прогнозов Prophet использует аддитивные модели непараметрового регрессионного анализа.

По мотивам подкаста с Иэном Гудфеллоу и Ричардом Маллахом.

*«There exist minds that think as well as you do, but differently.» 15th Niven’s law*. –«Существуют разумы, которые мыслят так же, как и вы. Только по-другому.» 15 закон Нивена.