Наушники C-Face точно отслеживают мимику пользователя
Специалисты лаборатории SciFi Корнеллского университета разработали наушники, которые распознают выражение лица и превращают мимику в эмодзи. Технология позволит участникам групповых звонов без включения веб-камер передавать свое настроение собеседникам.
Руководитель лаборатории Чэн Чжан называет C-Face удобнее, проще и способнее иных носимых аналогов для отслеживания мимики. Пользователю не придется крепить к лицу датчики для распознавания эмоций, как это требовали предыдущие поколения. Устройство от SciFi Lab Корнелла оборудовано наушниками с RGB-камерами широкого спектра.
Камеры под каждым ухом записывают происходящие в контурах щек изменения при сокращении мимических мышц. Далее система компьютерного зрения реконструирует изображения, а модель глубокого обучения на сверхточной нейросети проводит анализ двухмерных картинок. Технология точно сопоставляет 42 положения глаз, бровей, рта с гримасами и «переводит» их в 8 эмодзи, в т.ч. сердитое и нейтральное выражение лица.
Устройство C-Face дает возможность отслеживать реакцию студентов в ходе онлайн-обучения, делиться настроением, управлять музыкальным плеером или мимикой аватара в виртуальной реальности.
Руководитель лаборатории Чэн Чжан называет C-Face удобнее, проще и способнее иных носимых аналогов для отслеживания мимики. Пользователю не придется крепить к лицу датчики для распознавания эмоций, как это требовали предыдущие поколения. Устройство от SciFi Lab Корнелла оборудовано наушниками с RGB-камерами широкого спектра.
Камеры под каждым ухом записывают происходящие в контурах щек изменения при сокращении мимических мышц. Далее система компьютерного зрения реконструирует изображения, а модель глубокого обучения на сверхточной нейросети проводит анализ двухмерных картинок. Технология точно сопоставляет 42 положения глаз, бровей, рта с гримасами и «переводит» их в 8 эмодзи, в т.ч. сердитое и нейтральное выражение лица.
Устройство C-Face дает возможность отслеживать реакцию студентов в ходе онлайн-обучения, делиться настроением, управлять музыкальным плеером или мимикой аватара в виртуальной реальности.
