Студенты радиофизического факультета ТГУ победили в НейроХакатоне с программой для определения эмоций по мимике лица. Она помогает анализировать результаты мониторингов, научных исследований с участием людей, сеансы психотерапии и другие ситуации. Команда получила денежный приз от Сколковского института науки и технологий и приглашение на остров Русский – на июльскую сессию «Остров 10–22», где будут обсуждать этические вопросы киборгизации, упрощенные режимы внедрения новых технологий в медицину, способы привлечения иностранных компаний и применения их разработок в России.
В команде работали студенты РФФ ТГУ Андрей Косторной и Артем Берзин, а также Андрей Масалев, Андрей Соболев, Дамир Маметов из СибГМУ.
– Нейросеть анализирует видео и, опираясь на большие объемы данных, которые она анализировала в процессе обучения, говорит о том, что человек испытывает такую-то эмоцию, – рассказал Андрей Косторной. – На суд жюри мы представили программу-ассистента для психотерапевта. Она записывает видео сеанса, отслеживает изменения в поведении. Когда врач подает определенный стимул (вопрос, анекдот, картинка, провокация, звуки, видео), пациент меняет свое состояние, реагирует на изменение мимикой. В этот момент программа обнаруживает перемену и делает вырезки фрагмента видео, которую в режиме реального времени поставляет врачу. У специалиста появляется возможность упрощенного дополнительного анализа ситуации.
Как пояснил радиофизик, этот программно-аппаратный комплекс можно применять в медицине (психология, телемедицина), научных исследованиях (мониторинг состояния испытуемых во время эксперимента), экономике, социальной работе и сфере развлечений – везде, где требуются разного рода мониторинги.
– Эту идею можно применить, например, в качестве механизма адаптивного гейминга, когда сюжет игры подстраивается под реакцию играющего в нее, – добавил Андрей Косторной. – Для решения разных задач в комплекс, помимо мимики, необходимо добавлять анализ других данных – отслеживание продолжительности и выраженности эмоций, анализ голоса, анализ ЭЭГ.
Дорабатывать проект студенты планируют, приняв участие в акселераторе AI & BIGDATA IN MEDICINE.
Добавим, что НейроХакатон, организованный СибГМУ и Томским Нейронет-центром, прошел в рамках томской Недели науки. Задачи в области нейротехнологий решали более 30 студентов томских вузов.
Третье место на хакатоне заняли студенты-радиофизики Никита Панин и Ростислав Гурский, в составе другой команды. Для работы программы по распознаванию эмоций они предложили идеи сбора предварительных данных, например, при обязательных медицинских обследованиях в школах, мониторинге уровня эмоционального состояния на работе, в пластической хирургии и других областях. Это поможет наращивать базу данных и со временем уменьшить погрешность результата.