AI-персонажи оживают: Character.AI создает видео в реальном времени

Character.AI делает шаг навстречу будущему, где общение с искусственным интеллектом станет еще более реалистичным. Компания представила новую разработку под названием TalkingMachines – технологию, позволяющую создавать видео с AI-персонажами в реальном времени, управляемые вашим голосом. Представьте себе, что вы общаетесь с персонажем, который не просто отвечает на ваши вопросы, но и выражает эмоции, двигается и выглядит как живой человек!

Пока что это всего лишь исследовательский проект. Уже опубликована научная статья и видео с демонстрацией возможностей, но в приложении Character.AI эта функция пока недоступна.

Если эта технология появится в Character.AI, это откроет новые возможности для захватывающих ролевых игр, интерактивного повествования и создания виртуальных миров.

Как это работает: немного магии AI

В основе TalkingMachines лежит технология Diffusion Transformer (DiT). Представьте себе художника, который создает детализированную картину из хаотичных мазков, постепенно уточняя изображение до совершенства. Character.AI удалось заставить этот "процесс рисования" работать настолько быстро, что он происходит практически в реальном времени.

Для достижения такого результата TalkingMachines использует несколько ключевых технологий: Flow-Matched Diffusion, Audio-Driven Cross Attention, Sparse Causal Attention и Asymmetric Distillation. Звучит сложно? Давайте разберемся.

Подробнее о технологиях TalkingMachines

• Flow-Matched Diffusion: Эта технология позволяет AI обучаться на огромном количестве движений, от едва заметных выражений лица до широких жестов. Благодаря этому AI-персонажи двигаются естественно и убедительно.
• Audio-Driven Cross Attention: AI не просто "слышит" слова, но и понимает ритм, паузы и интонации в вашей речи. Затем он преобразует эту информацию в точные движения губ, кивки головой и моргание глаз. Представьте, насколько живым становится общение!
• Sparse Causal Attention: Эта технология позволяет Character.AI обрабатывать видеокадры более эффективно, снижая нагрузку на систему.
• Asymmetric Distillation: Благодаря этой технологии видео генерируется в реальном времени, создавая эффект общения по FaceTime.

Character.AI подчеркивает, что это не просто анимация лица. Это шаг к созданию интерактивных, "живых" AI-персонажей, с которыми можно взаимодействовать в режиме реального времени. Модель поддерживает различные стили, включая фотореалистичных людей, аниме и 3D-аватары, а также позволяет вести разговор с естественными фазами слушания и говорения.

Хотя эта функция еще не доступна в приложении, Character.AI уверяет, что работа над ней продолжается. Если компания сможет реализовать эту технологию, она станет одной из первых (если не первой), кто предложит пользователям настолько продвинутый уровень взаимодействия с AI. Это, безусловно, важная веха в развитии искусственного интеллекта.

Мнение редакции MSReview: Разработка Character.AI – это серьезный прорыв в области интерактивного AI. Возможность создавать реалистичные видео в реальном времени на основе голосового управления открывает новые перспективы для общения и развлечений. Однако важно помнить, что технология пока находится на ранней стадии разработки, и сроки ее появления в приложении Character.AI остаются неопределенными.