Всё о новой нейросети Sora от OpenAI

Нейросети стали частью нашей жизни и работы. Они используются в различных отраслях: от медицины до индустрии развлечений, помогают анализировать данные, предсказывать тренды, создавать уникальный контент, составлять презентации и даже диагностировать заболевания. 

Развитие технологий не останавливается, и 15 февраля компания OpenAI объявила о своём новом продукте — нейронной модели Sora. В этой статье мы подробнее расскажем о Sora, чём и кому она может быть полезна, и какие преимущества и недостатки у неё есть. 

Что такое Sora

Sora — это диффузионная модель, которая генерирует видео по текстовому запросу пользователя. После текстового запроса появится видео, похожее на статический шум, и постепенно оно превращается в более чёткую картинку. 

Чуть ниже пример ролика, который был основан на запросе: «Трейлер фильма о приключениях 30-летнего космонавта в красном шерстяном вязаном мотоциклетном шлеме, голубое небо, соляная пустыня, кинематографический стиль, снято на 35-миллиметровую плёнку, яркие цвета».  

Модель способна создать целый видеоролик за один раз, а не покадрово, или увеличить длительность уже готового видео.

Sora умеет генерировать сложные сцены с несколькими персонажами, определёнными типами движения и точной детализацией объекта и фона. Модель понимает не только то, что пользователь пишет в шаблоне, но и то, как эти вещи существуют в физическом мире.

Если вы хотите знать больше о том, как нейронные сети помогут вам в рабочих задачах, то пройдите курс «Нейросети для решения творческих задач» от Contented. Вы получите бесплатный доступ к Midjourney, научитесь использовать 10 нейросетей и создадите целых 5 проектов для своего портфолио! 

Как работает Sora

Sora опирается на предыдущие исследования в области моделей DALL-E и GPT. В ней используется техника re-capture из DALL-E 3, которая заключается в создании описательных титров для обучающих визуальных данных. В результате модель способна более точно следовать текстовым инструкциям пользователя в сгенерированном видео.

Кроме возможности генерировать видео исключительно на основе текста, модель способна взять уже существующее изображение и создать из неподвижной картинки видео, не упуская мелкие детали. Sora также может взять существующее видео и расширить его или заполнить недостающие кадры.

Чтобы узнать, как оптимизировать сложные и рутинные задачи, запишитесь на курс «Нейросети для каждого» в онлайн-школе Нетология. За 1,5 месяца вы получите актуальную информацию о нейронных сетях и том, как они применимы в вашей работе. 

Где использовать Sora

Sora AI можно использовать в различных областях. Например, в киноиндустрии для создания спецэффектов. Нейросеть может создать сцену, где герой летает в воздухе или сражается с монстром, что было бы очень сложно сделать без использования искусственного интеллекта. 

В рекламной сфере ИИ Сора может создать анимационные видеоролики, в игровой — реалистичные сцены и персонажей. Также нейросеть Сора может использоваться для создания обучающих материалов и презентаций.

Возможности и ограничения у новой нейросети 

Модель имеет глубокое понимание языка, что позволяет ей точно трактовать команды и генерировать видео с людьми, которые выглядят очень реалистично и выражают разные эмоции. Sora также умеет создавать несколько кадров в одном видео, на которых точно сохраняются персонажи и стиль изображения.

В OpenAI также отметили, что у текущей модели Sora пока есть недостатки. На данный момент она испытывает трудности с некоторыми случаями причинно-следственных связей и порой не справляется с моделированием физической точности сложной сцены. К примеру, человек может откусить от печенья, но после этого на нём может не остаться следа от укуса.

Для тех, кто горит желанием создавать свои нейросети с нуля, в Karpov.Courses проводят курс «ML-Engineering: от базы до AI-продукта». Вы не только освоите техническую базу и создадите два MVP, но и пройдёте курс по повышению квалификации от ИТМО. 

Безопасность использования Sora

Сейчас модель недоступна широкому кругу пользователей — с ней работают специалисты «красных команд», чтобы оценить продукт с точки зрения вреда или рисков. Бета-доступ есть у некоторых творчески специалистов — цифровых художникам, дизайнеров и специалистов из сферы кино. Они дадут обратную связь о том, как усовершенствовать модель с максимальной пользой для творческих профессионалов.

Итоги

Sora — это новый шаг в развитии искусственного интеллекта, так как позволяет создавать видео с высокой степенью детализации и реалистичности. Это открывает новые возможности для создания видео в различных областях, таких как кино, видеоигры и виртуальная реальность.