Российские ученые научили искусственный интеллект анализировать эмоции участников онлайн-мероприятий
Исследователи НИУ ВШЭ предложили новый нейросетевой метод распознавания эмоций и вовлеченности людей. Алгоритмы строятся на основе анализа видеоизображений лиц и превосходят по точности известные аналоги. Разработанные модели подходят для малопроизводительного оборудования, в том числе для мобильных устройств. Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Итоги исследования опубликованы в IEEE Transactions on Affective Computing.
Пандемия COVID-19 привела к активному развитию инструментов онлайн-видео-конференц-связи и систем электронного обучения (e-learning). Технологии искусственного интеллекта могут помочь преподавателям дистанционно контролировать вовлеченность участников мероприятия. Сейчас алгоритмы анализа поведения студентов и выявления вовлеченности в онлайн-среде изучают специалисты в области интеллектуального анализа данных для образования. Среди инструментов анализа наибольшей популярностью пользуются автоматические методы, основанные на технологиях компьютерного зрения. В частности, считается, что на качество многих e-learning-систем большое влияние может оказать распознавание эмоций и вовлеченности участников на основе видеоаналитики.
В рамках проекта Центра искусственного интеллекта НИУ ВШЭ «Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения» ученые разработали новый нейросетевой алгоритм распознавания эмоций и вовлеченности по видеоизображениям лиц.
Ученые научили нейронную сеть извлекать характерные признаки эмоций, основываясь на специальном «устойчивом» способе обучения нейронной сети и обработке только наиболее важных областей лица. Суть метода в том, что сначала осуществляется детектирование лиц и извлечение их характерных признаков с последующей группировкой лиц каждого участника. Далее с помощью специально обученных эффективных нейросетевых моделей извлекаются эмоциональные признаки каждого выделенного лица, они агрегируются с помощью статистических функций и классифицируются. На заключительном этапе идет визуализация фрагментов видеоурока с наиболее ярко выраженными эмоциями и различными степенями вовлеченности каждого слушателя. В результате исследователям удалось создать новую модель, которая сразу для нескольких лиц на видео определяет эмоции каждого человека и степень его увлеченности.
Андрей Савченко
«Для нескольких наборов данных мы показали, что предложенные алгоритмы превосходят по точности известные аналоги. При этом, в отличие от большинства известных технологий, разработанные модели могут участвовать в обработке видео в режиме реального времени даже на малопроизводительном оборудовании, в том числе на мобильных устройствах каждого участника онлайн-мероприятия», — комментирует руководитель проекта, профессор кафедры информационных систем и технологий НИУ ВШЭ в Нижнем Новгороде Андрей Савченко. — Совместно с Ильей Макаровым из Научно-исследовательского института искусственного интеллекта (AIRI) мы создали достаточно простую в использовании компьютерную программу, позволяющую обработать видеозапись вебинара или онлайн-занятия и получить набор видеоклипов с наиболее характерными эмоциями каждого участника».
Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Так, в ходе предварительного тестирования онлайн-курса по реакции слушателей можно понять, какие части лекции были наиболее интересны, а что оказалось трудным для понимания и нуждается в корректировке. В настоящий момент проводятся исследования по возможностям интеграции разработанных моделей в сервис видеоконференций Jazz by Sber. Видеозаписи, собранные в рамках этого проекта из открытых источников, позволят исследователям сделать шаг к созданию сервиса определения эмоций и вовлеченности слушателей онлайн-мероприятий.
Вам также может быть интересно:
Перспективы ИИ: математика машинного обучения в фокусе
Институт искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ провел выездной воркшоп «Математика машинного обучения». Здесь собрались ведущие ученые и специалисты НИУ ВШЭ в области машинного обучения, математики и статистики. В центре внимания исследователей оказались математические аспекты, лежащие в основе современных и наиболее перспективных направлений машинного обучения. Программа воркшопа включала мини-курсы, практические работы, доклады и круглый стол, посвященный перспективам развития ИИ в России.
Внедрение искусственного интеллекта в организации: какие эффекты отмечают сотрудники
45% организаций, которые занимались внедрением ИИ в работу, заявили о повышении производительности труда в результате его использования. Об этом говорится в исследовании «Внедрение ИИ в работу организаций: чем обусловлена вариация эффектов на труд?». Исследование проведено директором Центра статистики труда и заработной платы ИСИЭЗ НИУ ВШЭ Анной Демьяновой и стажером-исследователем центра Дарьей Талакаускас. Оно было презентовано на XXV Ясинской (Апрельской) международной научной конференции по проблемам развития экономики и общества (XXV ЯМНК), проходящей в НИУ ВШЭ с 15 по 18 апреля.
«Идею всегда задает человек»: что дает ИИ образованию и медиа
ИИ-технологии меняют принципы работы образования и медиаиндустрии. Большинство студентов уже в той или иной мере используют ИИ, а нейросети уже массово производят все виды контента. Возможности и вызовы эксперты обсудили на конференции «Образование и медиа в эпоху цифровых перемен», организованной Дирекцией по маркетинговым коммуникациям НИУ ВШЭ и «Яндекс Образованием».
В Вышке стартовали открытые семинары «ИИ в индустрии»
Институт искусственного интеллекта и цифровых наук факультета компьютерных наук НИУ ВШЭ запустил цикл открытых семинаров. Встречи посвящены актуальным вопросам внедрения искусственного интеллекта в различные отрасли экономики. Семинары проводятся еженедельно в 18:00 в кампусе на Покровском бульваре. Для участников также предусмотрена онлайн-трансляция.
Ученые представили новый метод для работы с несбалансированными данными
Специалисты факультета компьютерных наук НИУ ВШЭ и Лаборатории искусственного интеллекта Сбера разработали геометрический метод расширения данных — Simplicial SMOTE. Тесты на разных наборах данных показали, что он значительно улучшает качество работы AI. Метод особенно полезен в ситуациях, когда редкие случаи очень важны, например в борьбе с мошенничеством или при диагностике редких болезней. Результаты исследования доступны в открытом архиве Arxiv.org и будут представлены на Международной конференции по обнаружению знаний и анализу данных (KDD) летом 2025 года в Торонто.
В Вышке рассчитали экономический эффект от внедрения технологий ИИ в России
Институт статистических исследований и экономики знаний НИУ ВШЭ оценил потенциальный экономический эффект от внедрения и использования технологий искусственного интеллекта в отраслях российской экономики до 2035 года. Эксперты также предположили, каким должен быть объем ресурсов, которые потребуются организациям для освоения данного класса технологий.
Мегасайенс, ИИ и суперкомпьютеры: Вышка расширяет сотрудничество с ОИЯИ
Специалисты по компьютерным технологиям НИУ ВШЭ и Объединенного института ядерных исследований (ОИЯИ) обсудили сотрудничество и совместные проекты на встрече в Лаборатории информационных технологий им. М.Г. Мещерякова (ЛИТ). Со стороны ВШЭ в дискуссии участвовали заведующий Лабораторией вычислительной физики МИЭМ Лев Щур и сотрудники Научно-учебной лаборатории методов анализа больших данных факультета компьютерных наук Денис Деркач и Федор Ратников.
Искусственный интеллект предсказал поведение квантовых систем
Ученые ВШЭ совместно с коллегами из Университета Южной Калифорнии разработали алгоритм, который быстро и точно предсказывает поведение квантовых систем — от квантовых компьютеров до солнечных батарей. С его помощью удалось смоделировать процессы в полупроводнике MoS₂ и выяснить, что на движение заряженных частиц влияет не только количество дефектов, но и их расположение. Эти дефекты могут замедлять или ускорять перенос заряда, создавая эффекты, которые раньше было сложно учесть при применении стандартных методов. Исследование опубликовано в журнале The Proceedings of the National Academy of Sciences (PNAS).
Вышка запускает курс повышения квалификации по ИИ в образовании
Факультет компьютерных наук НИУ ВШЭ запускает курс повышения квалификации по искусственному интеллекту в образовании. Программа предназначена для педагогов, преподавателей, методистов, планирующих интегрировать технологии ИИ в учебный процесс, а также для управленческих команд образовательных учреждений, заинтересованных в улучшении образовательных процессов через внедрение ИИ.
«Многие хотят создавать продукты на базе ИИ и стать конкурентоспособнее»
В 2024 году на магистерскую онлайн-программу «Искусственный интеллект», реализуемую факультетом компьютерных наук ВШЭ, поступило рекордное количество первокурсников — более 300. Откуда такой высокий интерес к ИИ, как строится обучение и какими новыми компетенциями будут обладать выпускники программы, рассказала ее академический руководитель Елена Кантонистова.