Искусственный интеллект Duolingo наносит ответный удар: целый курс лишается ключевых слов

Duolingo сообщила в своем блоге об использовании искусственного интеллекта (ИИ) для ускорения создания курсов. Платформа для изучения языков теперь использует автоматизированную систему ИИ для создания новых предложений в курсах, что раньше требовало сотен часов ручной работы.

Новая система призвана сократить объем ручного редактирования, автоматизировать процесс с помощью ИИ и создать модульную систему. Она состоит из трех основных частей: генерация (создает кандидатов в предложения на основе педагогических планов), оценка (помечает предложения оценками, такими как "логически связное" или "грамматически правильное") и выбор (выбирает лучшие предложения, отвечающие определенным критериям).

Новая система уже используется для создания и запуска контента для многих испанских курсов, и в скором времени ее применение расширится.

Это произошло после того, как генеральный директор Луис фон Ан вызвал переполох, заявив, что Duolingo перестанет использовать подрядчиков для выполнения работы, которую может выполнять ИИ. Это вызвало негативную реакцию, и компании пришлось подтвердить, что она по-прежнему зависит от своих сотрудников и ИИ не заменит их работу.

Оценка контента

Одной из наиболее важных частей системы являются оценщики, которые обеспечивают высокое качество контента. Оценщики - это в основном ИИ-подсказки, которые выполняют объективные и субъективные оценки сгенерированного контента. Инженеры Duolingo пришли к выводу, что ИИ лучше проверяет свои собственные результаты, чем генерирует их, поэтому оценщики так важны. Duolingo не полностью исключает людей из этого процесса, компания узнала, что данные, отобранные людьми, необходимы для правильного управления LLM (большой языковой моделью).

Проблемы и решения

Хотя это довольно впечатляющий шаг, он не лишен проблем. Наблюдаемость оказалась решающей, поскольку поведение автоматизированной системы было сложно контролировать и понимать. Одним из примеров неудачи было то, что система создала целый французский курс без использования французских слов "и" или "или", что, по сути, делало материал бесполезным, поскольку это очень распространенные термины. Компания заявила, что это стало сюрпризом, но с тех пор эта проблема была решена.

Теперь, когда система в основном работает, компания расширяет ее на другие языки, такие как итальянский и китайский. Будет интересно посмотреть, поможет ли это компании быстрее создавать новые языковые курсы, поскольку в последние годы наблюдается заметная нехватка новых языков, добавляемых для говорящих на английском языке.

Мнение редакции MSReview: Автоматизация создания контента с помощью ИИ, безусловно, перспективное направление для Duolingo. Однако, как показывает этот случай, необходим тщательный контроль и проверка, чтобы избежать досадных ошибок, которые могут существенно снизить качество обучения. Важно помнить, что ИИ - это инструмент, а не замена человеческому опыту и экспертизе.