RU2711976C1 - Способ дистанционного распознавания и коррекции с помощью виртуальной реальности психоэмоционального состояния человека - Google Patents

Abstract

Изобретение относится к медицине, а именно к области психологии, и может быть использовано для профилактики и коррекции функциональных состояний утомления, переутомления, нервозности и лечения астенических состояний, нервозности, неврастении, а также может быть использовано при комплексном лечении психических нарушений. Предложен способ, в котором для распознавания психоэмоционального состояния используется индивидуальный динамический мониторинг мимики лица, движений и речи, при этом для определения мимических показателей, двигательной и речевой активности человеку предъявляют тестовый материал для воздействия на его рецепторное поле. По полученным данным определяют психоэмоциональное состояние человека в соответствии с системой кодирования лицевых движений, полученное мимическое изображение классифицируется системой искусственного интеллекта как аффективный компонент нарушения эмоций - по выраженности и длительности эмоциональных нарушений, определяемых как простая эмоция, настроение, аффект, по характеру эмоциональных нарушений - сниженное настроение, повышенное настроение, неустойчивая эмоциональная сфера, качественное искажение эмоций, по моторному компоненту аффективных нарушений - повышенная и сниженная двигательная активность, и идеаторному компоненту аффективных нарушений, определяемых по быстрой и медленной речи, и запоминается как база данных спектра эмоций индивидуального человека, после чего проводят дистанционный мониторинг в течение заданного времени с использованием искусственного интеллекта для постоянного сопоставления данных сокращения мимических мышц, двигательной и речевой активности со сформированной базой данных спектра эмоций человека, по полученным результатам выдаются рекомендации по возможности направления на коррекцию психофизиологического состояния. Коррекцию проводят посредством виртуальной реальности, вводящей человека в трансовое состояние, определяют форму коррекции как директивную или не директивную по индивидуальной программе, основанной на типе личности и преимущественной модальности восприятия информации - визуальной, аудиальной и кенестетической, при постоянном мониторинге энцефалографией, передающей данные искусственному интеллекту для определения эффективности коррекции. Изобретение обеспечивает возможность дистанционного распознавания негативного психоэмоционального состояния человека и своевременной коррекции его при помощи воздействия виртуальной реальности. 3 з.п. ф-лы.

Description

Предлагаемое изобретение относится к области психологии, медицины, а именно диагностике и коррекции психического состояния человека и может быть использовано для профилактики и коррекции функциональных состояний утомления, переутомления, нервозности и лечения астенических состояний, нервозности, неврастении, а так же может быть использовано при комплексном лечении психических нарушений.

Известен способ Электронное оборудование и метод и система идентификации эмоции 2018-05-04: CN 107992199 (А

Вариант реализации изобретения относится к технической области образовательной электронной продукции и раскрывает электронное оборудование и способ идентификации эмоций и систему для этого же. Метод включает в себя с помощью передней камеры электронного оборудования, чтобы приобрести выражение лица располагают информацией пользователя, и/или с помощью микрофона оборудование, подобранное с электронной аппаратурой, чтобы собрать тело человека характеристика информации, которая содержит по меньшей мере один из вокального печати информации, данных частоты сердечных сокращений и кожно-гальванической реакции данных; анализируя функцию выражения лица информация о пользователе и/или тело человека характеристика информации для получения информации эмоции пользователя, чтобы служить в качестве основы регулирования функциональных параметров электронного оборудования для осуществления функционального регулирования параметров. Методом, эмоцию потребителя можно приобрести точно для служения как основа регулировки функционального параметра, и дружественные функции обеспечены.

Недостатком его является отсутствия возможности постоянного мониторинга, так как человек испытывая эмоции может молчать.

Известен способ Метод распознавания эмоций на основе черт лица и голоса, 2018-02-16 CN 107705808 (А).

Изобретение раскрывает метод распознавания эмоций на основе черт лица и голоса, который реализуется с помощью камеры, микрофона и блока обработки эмоций. Метод включает в себя шаги, которые: камера захватывает видеоданные водителя и отправляет их в блок обработки эмоций; микрофон собирает голосовые данные водителя и отправляет его в блок обработки эмоций; эмоции процессор использует данные видео и аудио-данных соответственно распознавать эмоции водителя получить видео эмоция результаты распознавания и голосового распознавания эмоций результаты, где видео распознавания эмоций результаты включают в себя микро-выражение признания результатов, а также микро-выражение признания результатов, полученных с помощью микро-выражение признания метода на основе характеристик поля движения; блок обработки эмоций предохранители результатов распознавания видео эмоции и результаты распознавания эмоций получить результат распознавание эмоций синтеза в качестве окончательного распознавания эмоций результат. Способ, предусмотренный изобретением, позволяет повысить точность распознавания эмоций водителя.

Недостатком его является отсутствия коррекции.

Известен способ Метод и аппарат для вывода распознавания лицевых эмоций, система вывода лицевых эмоций, программный продукт., 2014-02-24, KR 2014002233

Раскрыты метод и система вывода лицевой эмоции для распознавания эмоции пользователя, имеющего лицевые артефакты. Метод вывода эмоций лица быстро изучает артефакты лица и генерирует метрику надежности в соответствии с выбранной единицей действия. Это помогает последовательному движку классификации основываться на единицах действия, которые не сильно зависят от лицевых артефактов, а движок распознавания эмоций работает последовательно в разных положениях камеры. [Справочные цифры] (205) прогнозируют единицы действия; (301) получают видеокадры; (302) определяют положение лица в видеокадрах; (303) извлекает особенности; (304) анализирует артефакты лица; (305) распознает эмоции, сопоставляя единицы действия с эмоциями; (АА) существует ли артефакт лица?; ВВ) НЕТ; СС) ДА

Недостатком его является отсутствия возможности постоянного мониторинга и хранение полученных данных.

Известен способ Система и метод обнаружения эмоций 2012-05-23 CN 102467668 (А).

Изобретение относится к системе обнаружения и успокоения эмоций, которая применяется в электронном устройстве. Электронное устройство состоит из модуля камеры и запоминающего устройства, при котором запоминающее устройство использовано для хранить первоначально характерные значения различных изображений выражения лица. Система состоит из: модуля установки, получая модуля, характерного узнавая модуля и отсека управления, при котором модуль установки использован для устанавливать категории выражений и соответствуя успокоенного путя выражения каждой категории; выражение каждая категория имеет соответствующие исходные значения признака; получение модуль используется для получения снимков с камеры модуль; характеристика признании модуль используется для распознавания лица выражение характеристик в образах и подтверждая выражение категории, которая признала выражение характеристики принадлежат по первоначальному значений признака в хранения устройства; и модуль управления используется для выполнения соответствующего успокаивающий способ подтвержденные выражения категории. Изобретение также обеспечивает обнаружение эмоций и успокаивающий метод. Используя систему и метод, предусмотренные изобретением, можно распознать и успокоить эмоции пользователя.

Недостатком его является отсутствие упоминания о успокаивающей программе. Виртуальная реальность не используется.

Известен способ Распознавание выражения лица. 2018-07-26 US 2018211102 (А1) Раскрытие предоставляет автоматический геометрический метод анализа и распознавания выражения лица человека на основе извлеченных признаков с использованием нейронной сети. Извлеченные особенности получены от извлеченного правого глаза, левого глаза и рта используя радиальные кривые и кубические кривые Безье. Выражения лица делятся на семь различных категорий эмоций: удивление, счастье, отвращение, нейтральность, страх, печаль и гнев. Метод использует алгоритм, который гибридизирует генетические алгоритмы (GA) и итерационный локальный поиск (ILS) с алгоритмом обратного распространения (BP). БП используется для обучения нейронной сети. GA и ILS использованы для того чтобы увеличить и оптимизировать начальные весы BP.

Недостатком его недостаток в том, что программа распознает только базовые эмоции, эмоции не сохраняются и психоэмоциональное состояние человека не корректируется.

Известен способ распознавания эмоций, устройство и носитель информации 2017-11-24 CN 107392124 (А)

Изобретение обеспечивает способ распознавания эмоций, устройство и носитель информации. Способ включает следующие шаги: формирование массы нейтральных вопросов, контрольные вопросы и соответствующие вопросы, и строительство тестовый вопрос банку; по испытанию вопросов, создание теста опросника; резка видео, тест-объект, ответы на тест-анкету, и получение видеоклипы, объект испытаний отвечает на каждый вопрос; извлечение выражение вектора признаков каждого видеоклипа, а также просмотр выражение компонент вектора как вектора признаков каждого соответствующий вопрос; расчета центральной точки вектора признаков каждого нейтральный вопрос, центральной точкой вектора признаков каждого контрольный вопрос, первое расстояние между вектором признаков каждого актуален вопрос и центральная точка вектора признаков каждого нейтральный вопрос, а второй-расстояние между вектором признаков каждого актуален вопрос и центральная точка вектора признаков каждого контрольный вопрос; и когда первая дистанция больше второй дистанции, судя по тому, что тестовый объект скрывает истинные эмоции, и когда первая дистанция меньше второй дистанции, судя по тому, что эмоции, показанные тестовым объектом, верны.

Недостатком его недостатком является то, что человек должен отвечать на вопросы программы, чтобы она определила его эмоции.

Известен способ Прибор виртуальной реальности для лечить психическую болезнь позволяет контролировать пациента в реальное временя, 2018-08-27 KR 20180095148

Виртуальная реальность (BP) устройство для создания виртуальной реальности изображения для пользователя, носили на голове человеческого тела согласно настоящему изобретению; измерительный блок для сбора информации теле пользователя ношение аппарата виртуальной реальности; образ данных, блок памяти для хранения виртуальной реальности изображения данных, которые будут представлены пользователю с помощью виртуальной реальности аппаратуры; выражение лица контроля устройства для фотографирования мимику пользователя; И блок управления для создания виртуальной реальности изображения в данные изображения, блок памяти для виртуальной реальности устройства и получения измеренных пользователя информации из блока измерения и вычисления эффект лечения, видео, данных, обеспечение подразделения для обеспечения реального видео к виртуальной реальности устройство; орган сбора информации для получения организмом информации пользователя измеряется единица измерения; Эмоция стоимости единицы расчета эмоция значение, основанное на мышцы, изменить положение от базовой выражение лица изображение из изображения лица пользователя фотографируется с выражением лица контроля; и эффект вычислительный блок для вычисления эффект лечения основан на организм пользователя информации, передаваемой организму сбора информации блок и эмоции, значение, рассчитанное на эмоции значения вычислительный блок.

Недостатком его является то, что человек, использующий эту коррекцию виртуальной реальности, уже должен быть диагностирован с психическим заболеванием.

Система и метод диагностики психических расстройств, 2005-01-27 US 2005019734 (А1

Настоящее изобретение представляет собой компьютеризированную систему диагностики психического состояния субъекта на основе поведения субъекта, измеряемого в рамках сред виртуальной реальности. Система использует приложение кластеризации нечеткой логики для создания поведенческого профиля пользователя. Среда виртуальной реальности предназначена для измерения определенного шаблона поведения, который представляет собой когнитивную или физическую функциональность. Вывод системы используется в качестве основы для постановки полной психической диагностики исследуемого субъекта.

Недостатком его недостатком является то, что программа не может диагностировать пациента во время работы, так как он быть в очках виртуальной реальности чтобы программа могла его диагностировать.

Из области техники не выявлено наиболее близких аналогов.

Достигаемым при использовании предлагаемого изобретения техническим результатом является дистанционное распознавание негативного психоэмоционального состояния и своевременная коррекция при помощи воздействия виртуальной реальности.

Технический результат достигается тем, что в способе дистанционного распознавания и коррекции с помощью виртуальной реальности психоэмоционального состояния человека для распознавания психоэмоционального состояния используется индивидуальный динамический мониторинг мимики лица, движений и речи - это позволяет быстро, дистанционно без затрат на специалистов распознать негативное психоэмоциональное состояние человека.

Для определения мимических показателей, двигательной и речевой активности человеку предъявляют тестовый материал для воздействия на его рецепторное поле, затем по полученным данным определяют психоэмоциональное состояние человека в соответствии с системой кодирования лицевых движений, полученное мимическое изображение классифицируется системой искусственного интеллекта как аффективный компонент нарушения эмоций - по выраженности и длительности эмоциональных нарушений определяемых как простая эмоция, настроение, аффект, по характеру эмоциональных нарушений - сниженное настроение, повышенное настроение, неустойчивая эмоциональная сфера, качественное искажение эмоций, по моторному компоненту аффективных нарушений - повышенная и сниженная двигательная активность и идеаторному компоненту аффективных нарушений, определяемых по быстрой и медленной речи и запоминается как база данных спектра эмоций индивидуального человека, после чего проводят дистанционный мониторинг в течение заданного времени с использованием искусственного интеллекта для постоянного сопоставления данных сокращения мимических мышц, двигательной и речевой активности с сформированной базой данных спектра эмоций человека, по полученным результатам выдаются рекомендации по возможности направления на коррекцию психофизиологического состояния. Такое решение позволяет обеспечить своевременную коррекцию психоэмоционального состояния на рабочем месте или в месте постоянного нахождения.

Фиксация изображения может проводиться как видимой части спектра, так и при регистрации разной длины волны - ультразвуковой, инфразвуковой, инфракрасной, терагерцовой - это позволяет распознать даже слабые сокращения микромимики лица и определить эмоции при слабовыраженном эмоциональном выражении лица, а так же если человек пытается скрыть и сдерживать свои эмоции.

Распознавания психоэмоционального состояния по мимики лица, двигательной и речевой активности человека, содержит этапы, на которых:

- для отображения на лице той или иной эмоции предъявляют стимульный материал, воздействующий по отдельности, или одновременно, или в различной комбинации на: зрительный, слуховой, обонятельный, тактильный, слуховой, пропроицептивный анализаторы человека, способный вызвать определенное эмоциональное реагирование человека - видеоизображение, аудиозапись, воздействие запахами, воздействие на кожу разными по форме и температуре предметами (иглы, перья, лед, горячая вода и т.п.), воздействие на человека специальными устройствами, меняющими с разной скоростью положение тела в пространстве. - это дает персинификацию эмоций человека, что повышает точность распознавания по сравнению с методом усреднения эмоций множества людей.

- при предъявлении стимульного материала измеряют, по меньшей мере, один переменный временный компонент сокращения мимической мышцы лица человека - позволяет распознавать минимальную микромимическую реакцию.

- при предъявлении стимульного материала измеряют, по меньшей мере, одну эмоцию выраженную на лице человека сформированную сокращением мимических мышц, скорость движения и темп речи, которое передается в блок искусственного интеллекта для формирования базы данных нормальных и патологических эмоций человека - это обеспечивает индивидуализацию и точность распознавания эмоций.

- сравнивают, по меньшей мере, одну измеренную эмоцию, выраженную в сокращении мимических мышц и отображающуюся на лице в виде определенного выражения лица, двигательную и речевую активность с базой данных сформированной при предъявлении стимульного материала; - это обеспечивает точность распознавания эмоций.

- когда измеренное выражение лица, сформированное сокращением мимических мышц совпадает с сохраненным при предъявлении стимульного материала выражению лица сформированного сокращением мимических мышц и отнесенное к определенной эмоции согласно предопределенным характеристикам совпадения, распознают эмоцию человека, как человека находящегося в определенном психоэмоциональном состоянии, при этом определяют время нахождения человека в таком состоянии, а также определяют моторные и идеаторные компоненты аффективного состояния. - это позволяет своевременно определить негативное эмоциональное состояние человека.

Для мониторинга и распознавания эмоций, принятия решения и оценки эффективности проведения коррекции виртуальной реальностью используется искусственный интеллект - обучающиеся нейроматрицы (искусственные нейронные сети), в том числе на миварных, робастных и других математических принципах работы попадающих под определение искусственного интеллекта - это позволяет без участия человека, дистанционно управлять процессом распознавания и коррекции психоэмоционального состояния человека.

Коррекцию проводят посредством виртуальной реальности, вводящей человека в трансовое состояние, определяют форму коррекции как директивную или не директивную по индивидуальной программе основанной на типе личности и преимущественной модальности восприятия информации - визуальной, аудиальной и кенестетической, при постоянном мониторинге энцефалографией, передающей данные искусственному интеллекту для определение эффективности коррекции. Для оценки эффективности коррекции виртуальной реальностью психоэмоционального состояния человека используется энцефалография, проведенная как метод электроэнцефалографии, магнитоэнцефалографии так и другими методами объективизации функционального состояния головного мозга, при этом регистрируемые данные передаются в искусственный интеллект, где и анализируются. Коррекция считается эффективной, если измененное состояние сознания (переходное состояние между бодрствованием и сном) регистрируемое по данным энцефалографии определяется не менее чем в 30% времени от общего времени воздействия - это позволяет исключить дорогостоящего специалиста из процесса коррекции и оценке эффективности проведенного сеанса, а так же автоматизировать процесс коррекции и повысить его производительность.

Предлагаемое изобретение поясняется примерами.

ПРИМЕР 1

Деятельность осуществляют следующим способом.

Устанавливается камера способная распознавать сокращения мимических мышц лица. Камера располагается так, чтобы она могла постоянно мониторировать лицевой череп. После включения камеры человеку предъявляется тестовое задание на самостоятельное изображение на его лице тех или иных эмоций и тестовое воздействие на его рецепторное поле способное вызвать эмоциональные переживания.

Тестовое задание производится следующим образом. Перед камерой человеку предлагают вспомнить или пережить заново ту или иную эмоцию из списка возможных эмоций человека. При этом блоком искусственного интеллекта фиксируются сокращения мимических мышц формирующих выражение лица притом или ином эмоциональном переживании человека и заносятся в базу данных как тестовый образец эмоций этого человека.

Тестовое воздействие на рецепторное поле производится следующим образом. Перед камерой человеку предъявляется набор раздражителей в виде видеоинформации, звуковой, тактильной, обонятельной, проприоцептивной способной вызвать эмоциональное переживание человека из списка возможных эмоций. При этом блок искусственного интеллекта запоминает сокращения мимических мышц и выражение лица при конкретной вызванной эмоции и сохраняет в базе данных как тестовый образец эмоций этого человека.

Далее человек приступает к своей деятельности, а камера мониторирует его мимику в течение заданного времени (часов, суток, месяцев). При этом постоянно сравнивая выражение лица, сформированное сокращением мимических мышц с тестовым образцами и распознавая текущее эмоциональное состояние. После прошествии заданного времени блок искусственного интеллекта выдает данные о количестве времени нахождения человека в том или ином эмоциональном состоянии. Если выявляется преимущественное нахождение человека в негативном эмоциональном состоянии, то дается рекомендация провести психокоррекцию виртуальной реальностью. И человек направляется в помещение, оборудованное под проведение психокоррекции виртуальной реальностью.

Психокоррекция виртуальной реальностью производится следующим образом. В комнате человек размещается в удобном кресле или кушетке сидя или лежа. На человека одевается оборудование виртуальной реальности состоящий из обязательного шлема виртуальной реальности и выбранного по желанию дополнительного оборудования - перчаток, костюма, жилета, виртуальной реальности, устройств ввода информации джойстиков. Так же на голову пациента накладывается устройство считывания электроэнцефалограммы подключенное к блоку искусственного интеллекта управляющего проведением сеанса. Удобно расположившись в кресле человек, проходит экспресс тестирование для подбора индивидуальной программы психокоррекции виртуальной реальностью.

Программа психокоррекции виртуальной реальности осуществляет введение человека в трансовое состояние с внушением формул психологической коррекции направленных на расслабление и отдых. При этом устройство энцефалографии определяет состояние бодрствования и сна. При обнаружении промежуточного состояния между бодрствованием и сном программа психокоррекции считается эффективной, если это состояние фиксируется не менее 30% времени проведенного сеанса. Если такое состояние не наступает или малочисленно по времени, то блок искусственного интеллекта меняет программу психокоррекции виртуальной реальности на другую до достижения параметров эффективности.

После проведения сеанса человек снимает надетое на него оборудование и направляется домой или на свое рабочее место, где продолжается мониторирование его эмоционального состояния с определением негативных эмоций.

Claims (9)

1. Способ дистанционного распознавания и коррекции с помощью виртуальной реальности психоэмоционального состояния человека, в котором для распознавания психоэмоционального состояния используется индивидуальный динамический мониторинг мимики лица, движений и речи, при этом для определения мимических показателей, двигательной и речевой активности человеку предъявляют тестовый материал для воздействия на его рецепторное поле, затем по полученным данным определяют психоэмоциональное состояние человека в соответствии с системой кодирования лицевых движений, полученное мимическое изображение классифицируется системой искусственного интеллекта как аффективный компонент нарушения эмоций - по выраженности и длительности эмоциональных нарушений, определяемых как простая эмоция, настроение, аффект, по характеру эмоциональных нарушений - сниженное настроение, повышенное настроение, неустойчивая эмоциональная сфера, качественное искажение эмоций, по моторному компоненту аффективных нарушений - повышенная и сниженная двигательная активность, и идеаторному компоненту аффективных нарушений, определяемых по быстрой и медленной речи, и запоминается как база данных спектра эмоций индивидуального человека, после чего проводят дистанционный мониторинг с использованием искусственного интеллекта для постоянного сопоставления данных сокращения мимических мышц, двигательной и речевой активности со сформированной базой данных спектра эмоций человека, по полученным результатам выдаются рекомендации по возможности направления на коррекцию психофизиологического состояния, при этом коррекцию проводят посредством виртуальной реальности, вводящей человека в трансовое состояние, определяют форму коррекции как директивную или не директивную по индивидуальной программе, основанной на типе личности и преимущественной модальности восприятия информации - визуальной, аудиальной и кенестетической, при постоянном мониторинге энцефалографией, передающей данные искусственному интеллекту для определения эффективности коррекции.

2. Способ по п. 1, в котором фиксация изображения может проводиться как видимой части спектра, так и при регистрации разной длины волны - ультразвуковой, инфразвуковой, инфракрасной, терагерцовой.

3. Способ по п. 1, распознавания психоэмоционального состояния по мимике лица, двигательной и речевой активности человека, содержащий этапы, на которых:

- для отображения на лице той или иной эмоции предъявляют стимульный материал, воздействующий по отдельности, или одновременно, или в различной комбинации на: зрительный, слуховой, обонятельный, тактильный, слуховой, пропроицептивный анализаторы человека, способный вызвать эмоциональное реагирование человека - видеоизображение, аудиозапись, воздействие запахами, воздействие на кожу разными по форме и температуре предметами, воздействие на человека устройствами, меняющими с разной скоростью положение тела в пространстве,

- при предъявлении стимульного материала измеряют, по меньшей мере, один переменный временный компонент сокращения мимической мышцы лица человека,

- при предъявлении стимульного материала измеряют, по меньшей мере, одну эмоцию, выраженную на лице человека, сформированную сокращением мимических мышц, скорость движения и темп речи, которые передаются в блок искусственного интеллекта для формирования базы данных нормальных и патологических эмоций человека,

- сравнивают, по меньшей мере, одну измеренную эмоцию, выраженную в сокращении мимических мышц и отображающуюся па лице в виде определенного выражения лица, двигательную и речевую активность с базой данных, сформированной при предъявлении стимульного материала,

- когда измеренное выражение лица, сформированное сокращением мимических мышц, совпадает с сохраненным при предъявлении стимульного материала выражением лица, сформированным сокращением мимических мышц и отнесенным к определенной эмоции, согласно предопределенным характеристикам совпадения, распознают эмоцию человека, как человека находящегося в определенном психоэмоциональном состоянии, при этом определяют время нахождения человека в таком состоянии, а также определяют моторные и идеаторные компоненты аффективного состояния.

4. Способ по п. 1, в котором для мониторинга и распознавания эмоций, принятия решения и оценки эффективности проведения коррекции виртуальной реальностью используется искусственный интеллект - обучающиеся нейроматрицы, в том числе на миварных, робастных и других математических принципах работы, попадающих под определение искусственного интеллекта.