Об этом пишет издание Venture Beat.
Создатели алгоритма считают, что он пригодится не только для визуализации сценариев, но и при создании учебных курсов, а также роликов на тему безопасности.
Впрочем, созданную Disney систему нельзя назвать новаторской.У прошлом году ученые показали алгоритм на основе нейронных сетей, который создавал видео 32 кадров на основе описаний вроде "игра на траве в гольф".
Но сотрудники Disney Research развили эту идею дальше. Для их алгоритма не нужны аннотации для создания видео и раскадровок, и он способен воспринимать сложные предложения. Для этого используется модульная нейросеть, в которой каждая из подсетей выполняет свою функцию (выделяют релевантный текст с описания сцен в сценарии, упрощающие сложные предложения, используя набор лингвистических правил, и т.д).
Для создания видео алгоритм использует библиотеку 3D-моделей. По описанию в сценарии алгоритм находит подходящую модель и добавляет ее в ролик.
Ученые провели опрос, который показал, что 68% респондентов считают, что алгоритм на основе текста создает видео "приемлемого" качества.
Читайте также: Все говорят об искусственном интеллекте. Простыми словами объясним, что это