Нейросеть научилась создавать короткие анимационные ролики с персонажами мультсериала «Флинтстоуны». Искусственный интеллект делает это по текстовому описанию сюжета.
Специалисты Института искусственного интеллекта Аллена Иллинойского университета представили модель CRAFT — Composition, Retrieval and Fusion Network. Новая система может генерировать анимированные сюжеты на основе текстового описания сцены и действий персонажей. CRAFT состоит из трех разных нейросетей, которые позволяют выделять в текстовом описании соответствующую композицию сцены, сущности и фона.
Для обучения ИИ разработчики использовали 25 184 вручную размеченных трехсекундных ролика со сценами из мультсериала «Флинтстоуны», при разметке которых нейросети указывали, кто присутствует на экране и что он делает.
На сегодняшний день возможности использования представленного метода сильно ограничены необходимостью создавать ручную разметку большого объема данных. Однако в будущем подобные технологии могут изменить всю сферу анимации — чтобы создать мультфильм, будет достаточно лишь сформулировать для нейросети сюжет.
Александр Петров рассуждает об антиутопии Джорджа Оруэлла «1984» и пытается спрогнозировать ее на 2048 год.
текст: Антон Кузнецов, фото: х/ф «Из машины» / Кинопоиск