WO2021182982A1 - Систем социально-психологического мониторинга человека - Google Patents

Систем социально-психологического мониторинга человека Download PDF

Info

Publication number
WO2021182982A1
WO2021182982A1 PCT/RU2020/000130 RU2020000130W WO2021182982A1 WO 2021182982 A1 WO2021182982 A1 WO 2021182982A1 RU 2020000130 W RU2020000130 W RU 2020000130W WO 2021182982 A1 WO2021182982 A1 WO 2021182982A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
emotions
unit
psychological monitoring
intensity
Prior art date
Application number
PCT/RU2020/000130
Other languages
English (en)
French (fr)
Other versions
WO2021182982A8 (ru
Inventor
Ольга Юрьевна ЗАРЕЧНАЯ
Павел Валерьевич МОЛЯНОВ
Зураби Иродиевич СИЧИНАЕВА
Сергей Александрович БРАЖКИН
Original Assignee
Ооо "Нв-Эмоции"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ооо "Нв-Эмоции" filed Critical Ооо "Нв-Эмоции"
Priority to PCT/RU2020/000130 priority Critical patent/WO2021182982A1/ru
Publication of WO2021182982A1 publication Critical patent/WO2021182982A1/ru
Publication of WO2021182982A8 publication Critical patent/WO2021182982A8/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Definitions

  • the invention relates to assessing the psychological state of a person, in particular, to a system and method for recognizing human emotions and their intensity based on a video image of a person's face and assessing the psychological state of a person based on the recognized emotions.
  • the prior art non-contact emotion detection system measures the color intensity of the skin (blood volume based on heart rate) on captured images. Based on the intensity of the color of the skin, a conclusion is made about the intensity of emotions experienced by a person. However, due to the use of only the intensity of skin coloration, this system has a low accuracy in determining emotions.
  • the present invention addresses at least some of the above problems.
  • a system for psychological monitoring of a person including: an image capturing unit configured to capture video images; a face recognition unit configured to separate and recognize faces in a video stream; an emotional response determination unit configured to determine human emotions and their intensity based on the captured video stream;
  • an analysis unit made with the possibility of analyzing the above-mentioned certain emotional reactions of a person and their intensity during a predetermined period of time to determine the dynamics of his psycho-emotional state.
  • the face recognition unit is configured to recognize faces by matching the faces identified in the video stream with reference photographs loaded into the database.
  • said database is a face descriptor database (BDL)
  • the face recognition unit is configured to convert human face images to represent them as numerical face descriptors and compare said numerical face descriptors with descriptors stored in the BDL.
  • system further comprises a reporting unit configured to receive data from the analysis unit and generate reporting on the dynamics and causes of changes in human emotions, their intensity, general psychoemotional state of a person for certain intervals of time.
  • system further comprises a notification unit configured to receive data from the analysis unit and notify the MHP operator about the psychoemotional state of the observed person.
  • At least one of the face recognition unit, the emotion detection unit and the analysis unit is implemented on the basis of a self-learning artificial neural network (ANN) or a convolutional neural network (CNN).
  • ANN self-learning artificial neural network
  • CNN convolutional neural network
  • all three of the face recognition unit, the emotion detection unit and the analysis unit are implemented on the basis of neural networks.
  • the analysis unit is configured to analyze the emotional reactions of a person associated with an event localized on the object and in time, and determine the said event as the cause of these reactions.
  • the face recognition unit and the emotion detection unit are implemented as a local video stream preprocessing server.
  • a method for psychological monitoring of a person performed by the above-described system for psychological monitoring of a person, comprising the steps of:
  • a computer-readable storage medium containing a program stored thereon, which, when executed by a computer, implements a method for psychological monitoring of a person.
  • the present invention provides, among other things, increased functionality, improved accuracy and performance of the system.
  • FIG. 1 is a general functional diagram of a human psychological monitoring system in accordance with the present invention.
  • FIG. 2 shows an example of a possible implementation of the human psychological monitoring system of FIG. 1.
  • FIG. 3 depicts a flowchart of steps for implementing a method for psychological monitoring of a person in accordance with the present invention.
  • Emotional reaction emotion - a short-term change in mental activity caused by a person's subjective attitude to objects and phenomena of the surrounding world, other people and himself, accompanied by brief motor and neurohumoral changes;
  • Emotional state long-term stable experience of a certain preferred type of emotional reactions, accompanied by changes in neuropsychic tone and affecting cognitive and other human activities;
  • the modality of emotional reactions is a type of emotional reaction in accordance with the classification: neutral, surprise, joy, anger, fear, disgust, sadness, etc .;
  • a reliable emotional reaction is any emotional reaction recorded by an objective method of collecting and analyzing data on a person's facial expression, other than neutral, with an intensity factor of more than 0.5.
  • An exception is the emotional reaction of sadness, for which the coefficient of reliable intensity was determined empirically more than 0.7. If the movements of facial expression did not reach a certain intensity and did not allow the technique to determine the coefficient of reliable intensity more than 0.5, then the emotion is recognized as indistinguishable from neutral and is categorized as the absence of an emotional reaction, i.e. neutral emotional reaction.
  • the present invention is intended to obtain objective data on the dynamics of the emotional state of an individual and / or a group of people located in a certain place and united by a common activity.
  • a system 1 for social psychological monitoring of a person (hereinafter referred to as a system of psychological monitoring of a person - SPMCH).
  • Block 2 image capturing configured to capture video images of the room in which the monitoring is carried out.
  • Block 3 face recognition configured to extract and recognize faces in the video stream by comparing faces with reference photographs uploaded to the system database.
  • the face recognition unit implements the functions of extracting and identifying faces in the frame for subsequent processing.
  • Block 5 for determining emotions configured to determine human emotions based on the database of human emotions.
  • the diagnostic unit detects seven emotional states of a person, highlighting the likelihood and intensity of each at the time of diagnosis.
  • Block 7 analysis providing processing and transmission of metadata on the individual picture of the current psychoemotional state of a person.
  • the analysis unit 7 is configured to analyze the emotional reactions of a person associated with some event localized on the observed object and in time, and determine the said event as the cause of these reactions.
  • the results of the analysis can be transmitted, for example, to the block 8 for generating reports, which can be implemented both as a cloud service and as a local server.
  • the reporting unit is configured to generate reports on the dynamics and possible causes of changes in human emotions, their intensity, the general psychoemotional state of a person for certain time intervals.
  • the analysis results can be transmitted to the notification unit 9 for notifying the operator of the SP CH about the psychoemotional state of the observed person in order to timely respond to the received data.
  • At least one of the face recognition unit 3, the emotion determination unit 5 and the analysis unit 7 is implemented on the algorithms of a self-learning artificial neural network (ANN), for example, a convolutional neural network (CNN).
  • ANN self-learning artificial neural network
  • CNN convolutional neural network
  • the emotion detection unit 5 is implemented on the basis of a self-learning ANN.
  • all three of the above blocks are implemented on the basis of a self-learning ANN.
  • the face recognition unit can be implemented based on principal component analysis (PCA), hidden Markov models, and other well-known face recognition techniques that provide the required recognition quality and performance.
  • PCA principal component analysis
  • hidden Markov models and other well-known face recognition techniques that provide the required recognition quality and performance.
  • This system can be used to solve problems where it is necessary to regularly collect data on the emotional states of a person at a specific object or in a specific activity, namely: assessing the loyalty and general condition of people in crowded places where there is a high risk of emergency situations and a threat to the state of a large number people: social services, employment centers, public places, recreational activities, etc .; prevention of socially dangerous behavior of children and adolescents in places of education; assessment of the general level of customer loyalty and satisfaction to certain services in the context of a week, month or other period, as well as working shifts of specialists.
  • the MPM includes an image capturing unit represented in this case by means of, for example, IP cameras connected by a local area network and configured to capture video images.
  • the captured video stream is transmitted to the video stream preprocessing server (s) 10.
  • the video stream preprocessing server is a local video stream preprocessing server and is installed at an object where the emotional state of people is monitored. This solution prevents the transfer of large amounts of data to a remote computing facility for their subsequent processing, which increases the speed and reliability of the system.
  • the video stream preprocessing server can be implemented as a remote server or as a cloud server.
  • Face descriptors are a digital representation of a person's face obtained using a special algorithm. The original photographs of faces are not stored in the database. Realization of face recognition by means of their representation in the form of numerical face descriptors can reduce the complexity of calculations and increase the speed of data processing.
  • the SPMU does not have a preloaded BDL.
  • the HRMU extracts, recognizes and stores in the BDL data on people under observation, marking them with conditional identifiers.
  • the video stream preprocessing server collects facial expression data of people in the field of view of cameras in the room. To do this, the video stream preprocessing server performs:
  • the ANN classifies the facial expression of the recognized person as one of 7 emotional reactions: neutral, aggression, fear, sadness, disgust, joy, surprise (in this case, the emotional reaction is determined with a numerical intensity factor), aggregation of data obtained as a result of diagnosing a person's emotional state into a special database of emotions and uploading the data of the frame analysis result to the analytical server 11.
  • the definition of a change in facial expression is based on the Facial Motion Coding System (FACS) by Paul Ekman and Wallace Friesen and 7 basic emotions of the same authors, grouped according to personal assessment of current events and significance for activity into 3 groups:
  • FACS Facial Motion Coding System
  • the video stream preprocessing server 10 generates a data table with numerical coefficients of emotional reactions of faces in the frame, tied to a certain set of statistical parameters. This improves the accuracy of determining the emotions of a person under observation.
  • the video stream preprocessing server 10 implements the functions of the face recognition unit 3 and the emotion determination unit 5 described above with reference to FIG. 1.
  • the analytical server 11 in accordance with an exemplary embodiment of the present invention processes the digital data array received from the video stream preprocessing server 10 according to various parameters and allows in a semi-automatic mode to obtain various reporting options with the selection of key indicators for analysis depending on the tasks of the configurable report.
  • Analytical server 11 is implemented on the basis of data processing technology 0LAP (online analytical processing, interactive analytical processing), which consists in the preparation of summary (aggregated) information based on large data arrays, structured according to the multidimensional principle.
  • the analytical server 11 in one of the embodiments is implemented by means of cloud technologies.
  • the present invention makes it possible to analyze the dynamics of the emotional states of people in the field of view of cameras for a selected period of time.
  • the period can be a minute, hour, day, week, month, or year, as selected by the user.
  • Emotional states are determined according to a number of rules for analyzing emotional frame-by-frame reactions.
  • the present invention implements the principle of constant screening of the slightest changes in the emotional states of people on the object with a frequency, for example, 1 time per second, forming a database for analysis, followed by analysis according to the rules established in the analysis unit. This improves the accuracy of determining the emotional states of people under observation.
  • the result is a reliable identification of the general tendency to certain emotional reactions associated with an event localized on the object and in time, which is the cause of these reactions.
  • the SPICH in accordance with the present invention allows: to identify persistent negative and / or positive emotional tendencies of a person arising from prolonged exposure to a causal factor; - directly assess the intensity of the emotional state and indirectly the degree of risk of social consequences from the observed in the selected period of time; to identify the causal factors of the emergence of stable emotional states of a person by comparing the results of the report and the time of the event.
  • SPMCH in accordance with the present invention implements a method for psychological monitoring of a person, performing the following steps, at which:
  • step S1 a video image of the monitored room (space) is captured.
  • the captured video stream is split into separate images (screenshots).
  • the time interval between the selected individual images is set to 1 second.
  • the mentioned interval can be adjusted depending on various parameters (for example, the computational capacity of the system, available memory space, requirements for the accuracy of the results, etc.).
  • DB database
  • step S2 screenshots from the database of screenshots are processed to highlight the faces of people in the general floor plan.
  • step S2 is performed by the ANN.
  • step S3 biometric recognition of the faces of people selected in step S2 is carried out on the basis of a previously created database of photo standards of faces.
  • step S4 the emotional responses of the recognized faces are determined from the facial expression features based on the database of the emotional response photo standards.
  • step S5 the results of determining emotions and their intensity are analyzed to determine the psychoemotional state of a person (a group of people).
  • the reasons for the occurrence of human emotional reactions can also be determined and analyzed.
  • step S6 the results of the analysis of the psychoemotional state of a person are stored in the database of emotions to enable their further processing and analysis.
  • a computer-readable storage medium containing a program stored thereon that, when executed by a computer, implements the above-described method of psychological monitoring of a person.
  • SPMU system of psychological monitoring of students
  • the image capturing unit in accordance with the example implementation is represented by one or more IP cameras, which must provide image capture with the following characteristics:
  • the distance between the pupils of a person in the captured image is at least 60 pixels;
  • one or more dome cameras with a "3-axis" mounting structure can be used for placement in the room.
  • the SPMU video stream preprocessing server can be implemented using a general-purpose processor and a graphics accelerator.
  • the video stream preprocessing server in this case includes:
  • a block for linking students' parameters (identifier, full name) with photographs of faces implemented as a web application that allows the user to match students based on: class index, first name, patronymic, the first letter of the last name with the face image.
  • the server including the unique identifiers of the students and photographs of faces.
  • the data is transferred to the block of descriptors without intermediate storage, the original photograph is deleted from the storage area;
  • a block of person descriptors which is a handler and a DBMS of descriptors designed to identify students in the analysis process.
  • a face descriptor is a digital representation of a person's face obtained using a special algorithm;
  • - a video stream processing unit that provides full-frame images from video data received from external sources in the following formats: H.264 / MPEG; via protocols: RTPM, HLS, RTSP, MJPEG for further processing by the face detection module or saving an image for subsequent processing, if the computational resources of the SPMU are insufficient to process the frame at the current time.
  • Pre-processing of video data and storage of intermediate images (frames) allows SPMU to perform calculations in deferred processing mode around the clock;
  • - face recognition unit which provides finding and matching of faces with previously created descriptors stored in the database of face descriptors, realizing the functions of extracting and determining the belonging of a face, and the resulting face image is transferred to the emotion determination unit without intermediate storage;
  • a unit for determining emotions which processes images of faces transmitted by the unit for recognizing faces by means of a self-learning neural network, determining emotional states, calculating the probability and intensity of such states.
  • the emotion determination unit analyzes 194 anatomical, physiological and behavioral attributes and, based on them, determines seven human emotions and their intensity.
  • the state is calculated, which in a minute is recorded the greatest number of times. At this stage, the number of estimated frames and the total number of frames are calculated.
  • minute measurements per hour are grouped by state; thus, for each state within an hour, we get a certain number of measurements; the state that gains the largest number of minute measurements is considered an hourly state (a unit of a time period in this case can be not only an hour, but a lesson, for example, depending on the applied problems to be solved).
  • the state for the day is calculated - the state for which the maximum number of hourly states per day is recorded (hourly measurements per day grouped by state; thus, for each state within a day, we get a certain number of measurements; the state with the highest number of hourly measurements is considered the day state).
  • the process of data analysis is completed by saving the results to the appropriate database.
  • Configuring and setting up the video stream preprocessing server is implemented in such a way that the full cycle of face processing allows obtaining reliable data on the individual psychoemotional state at a given frequency.
  • the frequency of measurements can reach 3 iterations per second.
  • the SPMU can, through the reporting generation unit, generate appropriate reports with the identified problems and / or points that need to be paid attention to the responsible persons for subsequent analysis and development of response measures.
  • the SPMU in accordance with the specified rules, through the notification block, it can send a notification to the appropriate employee (teacher, psychologist, administration, etc.), informing about the presence of a problem and / or a potentially dangerous situation for a timely response in order to eliminate or prevent the occurrence of undesirable consequences.
  • the SPMU can form its own recommendations regarding the response measures to the identified problems.
  • SPMU can be used to determine the abilities and inclinations of students, determine the propensity to perform certain types of activities, career guidance counseling.
  • the SPMU can determine the presence / absence of a student in the lesson, as well as generate and send a corresponding message in case of his absence.
  • the SPMD in accordance with the present invention has broad functionality.
  • SPMU can conclude that there is a conflict and / or a situation of bullying ("bullying") of the mentioned one student U1 from the side of U2 or State University (see, for example, Table 1 ).
  • the SPMU can send a message to the teacher or school psychologist about a possible conflict in the team, indicating the possible participants in the conflict situation and a recommendation to take measures to eliminate it.
  • SIMU can draw a conclusion about the possible use of psychoactive substances by the student and send an appropriate message to the teacher or the administration of the educational institution.
  • SPMU can conclude that depressive disorders are present and send an appropriate message to the school psychologist about the need to take action.
  • SPMU can analyze the interaction of a certain teacher with a certain class (s) by means of a group analysis of the emotional state of students during classes with the said certain teacher. If there are negative tendencies in the emotional state of students during classes with a specific teacher, SPMU can conclude that there are systemic contradictions between the said teacher and students (see, for example, Table 2). In this case, the SPMU can generate the appropriate reporting and send it to the administration of the educational institution for further assessment and possible adjustment of the teacher's work.
  • Table 2 SPM in accordance with the present invention can be used in many different scenarios, allowing you to identify, prevent or eliminate negative situations and their consequences in an educational institution. It should be noted that SPMU can be implemented both within a separate class (room) and within an entire educational institution, since is a fully scalable system.
  • the methods disclosed herein comprise one or more steps or steps to achieve the described method.
  • the steps and / or steps of the method can be substituted for each other without departing from the scope of the claims.
  • the order and / or use of specific steps and / or actions may vary without departing from the scope of the claims.
  • Examples of computer readable storage media include read only memory, random access memory, register, cache memory, semiconductor storage devices, magnetic media such as internal hard disks and removable disks, magneto-optical media and optical media, and any other storage media known in the art.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Изобретение относится к системе и способу оценки психологического состояния человека. Технический результат состоит в получении системы психологического мониторинга человека с высокой точностью и быстродействием, расширенной функциональностью и универсальностью. Способ психологического мониторинга человека содержит этапы, на которых: захватывают видеоизображение; выделяют и распознают лица в видеопотоке; определяют эмоции человека и их интенсивность; анализируют упомянутые определенные эмоции человека и их интенсивность на протяжении предварительно заданного периода времени для определения его психоэмоционального состояния.

Description

СИСТЕМА СОЦИАЛЬНО-ПСИХОЛОГИЧЕСКОГО МОНИТОРИНГА ЧЕЛОВЕКА
ОПИСАНИЕ
ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к оценке психологического состояния человека, в частности, к системе и способу распознавания эмоций человека и их интенсивности на основании видеоизображения лица человека и оценки психологического состояния человека на основании распознанных эмоций.
УРОВЕНЬ ТЕХНИКИ
В настоящее время существуют различные методики распознавания эмоций человека. При этом развитие вычислительной техники, включая развитие искусственного интеллекта, нейронных сетей и т.д., обеспечивает возможность быстрой и качественной обработки выявленных эмоций человека для оценки его психологического состояния. Это может использоваться для выявления деструктивных наклонностей человека (агрессия, суицидальные настроения, депрессия и т.д.), потенциально конфликтных ситуаций в коллективе и т.д. с целью своевременного оказания психологической и иной помощи для профилактики и/или решения упомянутых проблем.
Так, например, известна система для обнаружения эмоций (патент RU 42905 U1, опубликован 20.12.2004), выполненная с возможностью определения эмоционального состояния индивидуума на основании анализа голосовых данных индивидуума. При этом упомянутая система используется в основном для определения честности/нечестности индивидуума. Однако, данная система обладает довольно ограниченной функциональностью, т.к. может определять малое количество эмоций и обладает низкой точностью идентификации эмоций человека вследствие анализа только голосовых данных.
Кроме того, известна система и способ видео-компьютерной диагностики эмоционального состояния обучаемых и выработки решений на рациональное деление учебных групп (патент RU 2598050 С1, опубликован 20.09.2016). В соответствии с упомянутым способом захватывают изображения лиц обучаемых, распознают параметры лицевой экспрессии каждого обучаемого, классифицируют их в соответствии с двухмерной круговой моделью эмоций Дж. Рассела, а затем постепенно увеличивают сложность изучаемого материала и разделяют исходное множество обучаемых по подгруппам в соответствии с уровнем эмоционального состояния в зависимости от сложности изучаемого материала. Однако, данное решение направлено лишь на определение воздействия на человека определенного обучающего материала в процессе обучения. Также в соответствии с упомянутым решением используются не более одного или двух признаков для определения эмоционального состояния определенного вида, что приводит к низкой точности определения эмоционального состояния .
Известная из уровня техники система бесконтактного определения эмоций (документ WO2018192246A1, опубликован 25.10.2018) измеряет интенсивность окраски кожных покровов (кровенаполнение на основе сердечного ритма) на захваченных изображениях. На основании интенсивности окраски кожных покровов делается вывод об интенсивности эмоций, испытываемых человеком. Однако, вследствие использования только интенсивности окраски кожных покровов данная система обладает низкой точностью определения эмоций.
Дополнительно из уровня техники известно решение, раскрывающее электронное устройство и способ управления эмоциональным состоянием (заявка US 2012/120219 А1, опубликована 17.05.2012), согласно которому определяют эмоции пользователя на основании изображений, захваченных камерой, и осуществляют метод релаксации в соответствии с определенными эмоциями. Однако, данное решение позволяет распознавать только три эмоции, а метод релаксации заключается в подборе релаксирующей музыки в зависимости от эмоции, определенной устройством.
Все перечисленные решения ориентируются на анализ ситуационных эмоциональных реакций и при этом функционируют как системы принятия решений, что с точки зрения психологии вызывает вопросы, поскольку эмоциональные реакции не являются психологической константой и полностью зависят от текущих внутренних мыслительных процессов, которые могут не быть связаны с контекстом происходящих событий. Таким образом, в настоящее время существует потребность в создании системы и способа не просто распознавания эмоций человека, но их регулярного анализа и определения психоэмоционального состояния человека с высокой точностью, достоверностью и достаточным быстродействием.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Настоящее изобретение направлено на решение по меньшей мере некоторых из приведенных выше проблем.
В соответствии с одним аспектом изобретения предложена система психологического мониторинга человека, включающая в себя: блок захвата изображений, выполненный с возможностью захвата видеоизображений; блок распознавания лиц, выполненный с возможностью выделения и распознавания лиц в видеопотоке; блок определения эмоциональных реакций, выполненный с возможностью определения эмоций человека и их интенсивности на основании захваченного видеопотока;
- блок анализа, выполненный с возможностью анализа упомянутых определенных эмоциональных реакций человека и их интенсивности в течение предварительно заданного промежутка времени для определения динамики его психоэмоционального состояния.
В соответствии с одним вариантом осуществления системы блок распознавания лиц выполнен с возможностью распознавания лиц посредством сопоставления выделенных в видеопотоке лиц с эталонными фотографиями, загруженными в базу данных.
В соответствии с другим вариантом осуществления системы упомянутая база данных представляет собой базу дескрипторов лиц (БДЛ), а блок распознавания лиц выполнен с возможностью преобразования изображений лица человека для их представления в виде числовых дескрипторов лиц и сравнения упомянутых числовых дескрипторов лиц с сохраненными в БДЛ дескрипторами.
В соответствии с другим вариантом осуществления система дополнительно содержит блок формирования отчетности, выполненный с возможностью приема данных из блока анализа и формирования отчетности о динамике и причинах изменения эмоций человека, их интенсивности, общем психоэмоциональном состоянии человека за определенные интервалы времени.
В соответствии с другим вариантом осуществления система дополнительно содержит блок уведомления, выполненный с возможностью приема данных из блока анализа и уведомления оператора СПМЧ о психоэмоциональном состоянии наблюдаемого человека .
В соответствии с другим вариантом осуществления системы по меньшей мере один из блока распознавания лиц, блока определения эмоций и блока анализа реализован на основе самообучающейся искусственной нейронной сети (ИНС) или сверточной нейронной сети (СНС).
В соответствии с другим вариантом осуществления системы все три из блока распознавания лиц, блока определения эмоций и блока анализа реализованы на основе нейронных сетей.
В соответствии с другим вариантом осуществления системы блок анализа выполнен с возможностью анализа эмоциональных реакций человека, связанных с локализованным на объекте и во времени событием, и определения упомянутого события в качестве причины данных реакций.
В соответствии с другим вариантом осуществления системы блок распознавания лиц и блок определения эмоций реализованы в качестве локального сервера предобработки видеопотока.
В соответствии со вторым аспектом изобретения предложен способ психологического мониторинга человека, выполняемый посредством описанной выше системы психологического мониторинга человека, содержащий этапы, на которых:
- захватывают видеоизображение;
- выделяют и распознают лица в видеопотоке; определяют эмоциональные реакции человека и их интенсивность ;
- анализируют упомянутые определенные эмоциональные реакции человека и их интенсивность на протяжении предварительно заданного периода времени для определения его устойчивого психоэмоционального состояния. В соответствии с третьим аспектом изобретения предложен компьютерно-читаемый носитель данных, содержащий сохраненную на нем программу, которая при исполнении компьютером реализует способ психологического мониторинга человека.
Настоящее изобретение, в числе прочего, обеспечивает расширение функциональных возможностей, повышение точности и быстродействия работы системы.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
В дальнейшем изобретение поясняется описанием предпочтительных вариантов осуществления изобретения со ссылками на сопроводительные чертежи, на которых:
Фиг. 1 изображает общую функциональную схему системы психологического мониторинга человека в соответствии с настоящим изобретением.
Фиг. 2 изображает пример возможной реализации системы психологического мониторинга человека по фиг. 1.
Фиг. 3 изображает блок-схему этапов осуществления способа психологического мониторинга человека в соответствии с настоящим изобретением .
ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Варианты осуществления не ограничиваются описанными здесь вариантами осуществления, специалисту в области техники на основе информации изложенной в описании и знаний уровня техники станут очевидны и другие варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.
В целях пояснения следует отметить, что в настоящей заявке используются следующие термины:
Эмоциональная реакция (эмоция) - кратковременное изменение психической деятельности, вызванное субъективным отношением человека к объектам и явлениям окружающего мира, другим людям и самому себе, сопровождающееся краткими моторными и нейрогуморальными изменениями;
Эмоциональное состояние (психоэмоциональное состояние) продолжительное во времени устойчивое переживание определенного предпочтительного вида эмоциональных реакций, сопровождающееся изменением нервно-психического тонуса и влияющее на познавательную и иную деятельность человека;
Модальность эмоциональных реакций - вид эмоциональной реакции в соответствии с классификацией: нейтральное, удивление, радость, гнев, страх, отвращение, печаль и т.д.;
Агрегатное эмоциональное состояние - зафиксированное объективным способом сбора и анализа данных лицевой экспрессии человека устойчивое переживание эмоциональных реакций определенной модальности за определенный временной период;
Достоверная эмоциональная реакция - зафиксированная объективным способом сбора и анализа данных лицевой экспрессии человека эмоциональная реакция любая отличная от нейтральной с коэффициентом интенсивности более 0,5. Исключение составляет эмоциональная реакция печали, для которой коэффициент достоверной интенсивности определен эмпирическим путем более 0,7. Если движения лицевой экспрессии не достигли определенной интенсивности и не позволили технике определить коэффициент достоверной интенсивности более 0,5, то эмоция признается не отличающейся от нейтральной и категоризируется как отсутствие эмоциональной реакции, т.е. нейтральная эмоциональная реакция.
Настоящее изобретение предназначено для получения объективных данных о динамике эмоционального состояния отдельного человека и/или группы людей, находящихся в определенном месте и объединенных общей деятельностью.
В соответствии с одним аспектом изобретения предложена система 1 социально-психологического мониторинга человека (далее называемая как система психологического мониторинга человека - СПМЧ) . СПМЧ в соответствии с вариантом осуществления настоящего изобретения, изображенным на фиг. 1, реализующая интеллектуальный анализ изображения человека в видеопотоке, состоит из следующих функциональных блоков:
1) Блок 2 захвата изображений, выполненный с возможностью захвата видеоизображений помещения, в котором осуществляется мониторинг. 2) Блок 3 распознавания лиц, выполненный с возможностью выделения и распознавания лиц в видеопотоке посредством сопоставления лиц с эталонными фотографиями, загруженными в базу данных системы. Блок распознавания лиц реализует функции выделения и идентификации лиц в кадре для последующей обработки.
3) Блок 5 определения эмоций, выполненный с возможностью определения эмоций человека на основании базы данных эмоций людей. В примерном варианте осуществления диагностический блок определяет семь эмоциональных состояний человека, выделяя вероятность и интенсивность каждого из них в момент диагностики.
4) Блок 7 анализа, обеспечивающий обработку и передачу метаданных по индивидуальной картине текущего психоэмоционального состояния человека.
Блок 7 анализа, в числе прочего, выполнен с возможностью анализа эмоциональных реакций человека, связанных с некоторым событием, локализованным на наблюдаемом объекте и во времени, и определения упомянутого события в качестве причины данных реакций.
Результаты анализа могут передаваться, например, в блок 8 формирования отчетности, который может быть реализован как в виде облачного сервиса, так и в виде локального сервера. Блок формирования отчетности выполнен с возможностью формирования отчетности о динамике и возможных причинах изменения эмоций человека, их интенсивности, общем психоэмоциональном состоянии человека за определенные интервалы времени.
В альтернативном варианте осуществления результаты анализа могут передаваться в блок 9 уведомления для уведомления оператора СП Ч о психоэмоциональном состоянии наблюдаемого человека с целью своевременного реагирования на полученные данные.
По меньшей мере один из блока 3 распознавания лиц, блока 5 определения эмоций и блока 7 анализа реализован на алгоритмах самообучающейся искусственной нейронной сети (ИНС), например сверточной нейронной сети (СНС). В предпочтительном варианте блок 5 определения эмоций реализован на основе самообучающейся ИНС. В еще более предпочтительном варианте все три из перечисленных блоков реализованы на основе самообучающейся ИНС. Соединение трех нейросетевых алгоритмов в последовательную схему позволяет осуществлять практически в режиме реального времени выделение лиц в общем плане, идентификацию и определение эмоций с высокой точностью (достоверностью).
В качестве альтернативы блок распознавания лиц может быть реализован на основе метода главных компонент (principal component analysis (РСА)), скрытых Марковских моделей и других известных методик распознавания лица, обеспечивающих требуемое качество распознавания и быстродействие.
Данная система может быть применена для решения задач, где необходим регулярный сбор данных об эмоциональных состояниях человека на конкретном объекте или в конкретной деятельности, а именно : оценка лояльности и общего состояния людей в местах скопления, где высок риск возникновения нештатных ситуаций и угрозы состоянию большого количества людей: социальные службы, центры занятости, общественные места, развлекательные мероприятия и т.д.; предотвращение социально опасного поведения детей и подростков в местах обучения; оценка общего уровня лояльности и удовлетворенности клиентов к определенным услугам в разрезе недели, месяца или др. периода, а также работающих смен специалистов.
Как изображено на фиг. 1 и 2, на физическом уровне СПМЧ в соответствии с примерным вариантом осуществления изобретения включает в себя блок захвата изображений, представленный в данном случае посредством, например, IP-камер, объединенных локально- вычислительной сетью и выполненных с возможностью захвата видеоизображений .
Захватываемый видеопоток передается в сервер (ы) 10 предобработки видеопотока. В предпочтительном варианте осуществления сервер предобработки видеопотока является локальным сервером предобработки видеопотока и устанавливается на объекте, где осуществляется мониторинг эмоционального состояния людей. Такое решение предотвращает передачу больших массивов данных в удаленное вычислительное средство для последующей их обработки, что увеличивает скорость и надежность работы системы. В альтернативном варианте осуществления в зависимости от требований пользователя СПМЧ сервер предобработки видеопотока может быть реализован как удаленный сервер, либо как облачный сервер.
Для обеспечения возможности идентификации личности наблюдаемых людей необходимо предварительно осуществитьоцифровку их фотографий — представление фотографий в виде числовых дескрипторов лиц и добавление их в базу 4 дескрипторов лиц (БДЛ). Дескрипторы лиц — это цифровое представление лица человека, получаемое с помощью специального алгоритма. Исходные фотографии лиц в базе данных не хранятся. Осуществление распознавания лиц посредством их представления в виде числовых дескрипторов лиц позволяет снизить сложность вычислений и повысить скорость обработки данных.
Стоит отметить, что в некоторых сценариях применения (например, на развлекательных мероприятиях) СПМЧ не имеет предварительно загруженной БДЛ. В таком случае СПМЧ во время мониторинга выделяет, распознает и сохраняет в БДЛ данные о людях, находящихся под наблюдением, маркируя их посредством условных идентификаторов .
Сервер предобработки видеопотока осуществляет сбор данных лицевой экспрессии людей, находящихся в поле зрения камер в помещении. Для этого сервер предобработки видеопотока осуществляет :
- дробление видеопотока, поступающего от внешнего источника, на кадры с периодичностью 1 раз в секунду для их последующей обработки,
- поиск лиц в кадре, доступных для анализа,
- биометрическую идентификацию личности найденных лиц в кадре посредством представления их в виде дескрипторов и сопоставления с эталонными дескрипторами из БДЛ,
- анализ лицевой экспрессии найденных лиц на кадре - ИНС относит выражение лица распознанного человека к одной из 7 эмоциональных реакций: нейтральное, агрессия, страх, печаль, отвращение, радость, удивление (при этом эмоциональная реакция определяется с числовым коэффициентом интенсивности), агрегацию данных, полученных в результате диагностики эмоционального состояния человека, в специальную базу данных эмоций и отгрузку данных результата анализа кадра на аналитический сервер 11.
В базу данных результатов эмоциональных реакций сохраняются маркированные в соответствии с установленными атрибутами персонализированные/деперсонализированные результаты определения лицевой экспрессии людей в формате UID/эмоция/коэффициент интенсивности от 0,0...i до 1,0. Данный коэффициент означает эмоциональную реакцию определенной интенсивности, определяемую нейросетевым способом по динамике изменения координат ключевых точек лицевой экспрессии.
В примерном варианте осуществления настоящего изобретения в основе определения изменения лицевой экспрессии лежит «Система кодирования лицевых движений» (FACS) Пола Экмана и Уоллеса Фризена и 7 базовых эмоций этих же авторов, сгруппированных по признаку личностной оценки происходящих событий и значимости для деятельности на 3 группы:
1. Нейтральное - отсутствие внутренней личностной оценки и активной динамики по изменению происходящих событий;
2. Удивление, радость - позитивная личностная оценка происходящего, повышенное восприятие и мотивация деятельности;
3. Страх, отвращение, агрессия, печаль - негативная личностная оценка происходящего и демотивация деятельности.
Таким образом, сервер 10 предобработки видеопотока формирует таблицу данных с числовыми коэффициентами эмоциональных реакций лиц в кадре, привязанных к определенному набору статистических параметров. Это позволяет повысить точность определения эмоций человека, находящегося под наблюдением.
В примерном варианте осуществления сервер 10 предобработки видеопотока реализует функции блока 3 распознавания лиц и блока 5 определения эмоций, описанных выше со ссылкой на фиг. 1. Аналитический сервер 11 в соответствии с примерным вариантом осуществления настоящего изобретения осуществляет обработку массива цифровых данных, полученных с сервера 10 предобработки видеопотока, по различным параметрам и позволяет в полуавтоматическом режиме получать различные варианты отчетности с выбором ключевых показателей для анализа в зависимости от задач конфигурируемого отчета. Аналитический сервер 11 реализован на основе технологии обработки данных 0LAP (англ, online analytical processing, интерактивная аналитическая обработка), заключающейся в подготовке суммарной (агрегированной) информации на основе больших массивов данных, структурированных по многомерному принципу. Аналитический сервер 11 в одном из вариантов осуществления реализован посредством облачных технологий.
Таким образом, настоящее изобретение позволяет осуществлять анализ динамики эмоциональных состояний людей, находящихся в поле зрения камер, за выбранный период времени. Периодом может быть минута, час, день, неделя, месяц или год по выбору пользователя. Эмоциональные состояния определяются по ряду правил анализа эмоциональных покадровых реакций.
В настоящем изобретении реализован принцип постоянного скрининга малейших изменений эмоциональных состояний людей на объекте с периодичностью, например, 1 раз в секунду, формирующий базу данных для анализа, с последующим анализом по правилам, установленным в блоке анализа. Это позволяет повысить точность определения эмоциональных состояний людей, находящихся под наблюдением. Результатом является достоверное выделение общей тенденции к определенным эмоциональным реакциям, связанным с локализованным на объекте и во времени событием, которое является причиной данных реакций.
Таким образом, СПИЧ в соответствии с настоящим изобретением позволяет : выявить устойчивые негативные и/или позитивные эмоциональные тенденции человека, возникающие в результате длительного воздействия причинного фактора; - оценить напрямую интенсивность эмоционального состояния и косвенно степень риска возникновения социальных последствий со стороны наблюдаемого в выбранном периоде времени; выявить причинные факторы возникновения устойчивых эмоциональных состояний человека посредством сопоставления результатов отчета и времени события.
СПМЧ в соответствии с настоящим изобретением реализует способ психологического мониторинга человека, выполняя следующие этапы, на которых:
- захватывают видеоизображение;
- выделяют и распознают лица в видеопотоке;
- определяют эмоции человека и их интенсивность;
- анализируют упомянутые определенные эмоции человека и их интенсивность на протяжении предварительно заданного периода времени для определения его психоэмоционального состояния.
Описанный выше способ психологического мониторинга человека будет более подробно описан далее со ссылкой на фиг. 3.
На этапе S1 осуществляют захват видеоизображения помещения (пространства), находящегося под наблюдением. Захваченный видеопоток разделяется на отдельные изображения (скриншоты). В примерном варианте осуществления интервал времени между выделяемыми отдельными изображениями установлен как 1 секунда. Однако, упомянутый интервал может быть скорректирован в зависимости от различных параметров (например, вычислительные способности системы, доступный объем памяти, требования к точности результатов и т.д.). В результате выполнения этапа S1 получают базу данных (БД) скриншотов, подлежащих дальнейшей обработке.
На этапе S2 скриншоты из базы данных скриншотов обрабатываются для выделения лиц людей на общем плане помещения. В предпочтительном варианте осуществления этап S2 выполняется посредством ИНС.
На этапе S3 осуществляют биометрическое распознавание выделенных на этапе S2 лиц людей на основании предварительно созданной базы данных фотоэталонов лиц. На этапе S4 определяют эмоциональные реакции распознанных лиц по признакам лицевой экспрессии на основании базы данных фотоэталонов эмоциональных реакций.
На этапе S5 анализируют результаты определения эмоций и их интенсивности для определения психоэмоционального состояния человека (группы людей). На данном этапе также могут быть определены и проанализированы причины возникновения эмоциональных реакций человека.
На этапе S6 сохраняют результаты анализа психоэмоционального состояния человека в базу данных эмоций для обеспечения возможности их дальнейшей обработки и анализа.
Кроме того, в соответствии с одним из аспектов настоящего изобретения предложен компьютерно-читаемый носитель данных, содержащий сохраненную на нем программу, которая при исполнении компьютером реализует описанный выше способ психологического мониторинга человека.
Система психологического мониторинга учащихся (СПМУ).
Далее будет описан пример реализации СПМЧ в соответствии с настоящим изобретением для психологического мониторинга учащихся в учебном заведении.
Блок захвата изображений в соответствии с примером реализации представлен посредством одной или нескольких IP-камер, которые должны обеспечивать захват изображений со следующими характеристиками :
- разрешение не менее 1920x1080; расстояние между зрачками человека на захватываемом изображении не менее 60 пикселов;
- вертикальное отклонение от центральной оси наблюдения к плоскости лица, не более 15°;
- горизонтальное отклонение от центральной оси наблюдения к плоскости лица, не более 30°.
Указанные выше значения приведены лишь в иллюстративных, а не в ограничительных целях. Эти параметры могут иметь значения, отличные от указанных выше, но при этом обеспечивающие выполнение соответствующих функций заявляемой системы. Для соблюдения указанных выше требований в данном случае для размещения в помещении может использоваться одна или несколько купольных видеокамер с конструктивом крепления "3-axis".
Сервер предобработки видеопотока СПМУ может быть реализован с использованием процессора общего назначения и графического ускорителя .
Сервер предобработки видеопотока в данном случае включает в себя :
- блок связывания параметров учащихся (идентификатор, Ф.И.О.) с фотоизображениями лиц, реализованный в виде web-приложения, которое позволяет пользователю сопоставить учащихся на основании: индекса класса, имени, отчества, первой буквы фамилии с изображением лица. Для работы блока необходима предварительная загрузка данных на сервер, включая уникальные идентификаторы учёников и фотографии лиц.В результате связывания (сопоставления), данные без промежуточного сохранения передаются блоку дескрипторов, исходная фотография удаляется из области хранения; блок дескрипторов лиц, являющийся обработчиком и СУБД дескрипторов, предназначенных для идентификации учащихся в процессе анализа. Дескриптор лица — это цифровое представление лица человека, получаемое с помощью специального алгоритма;
- блок обработки видеопотока, который обеспечивает получение полнокадровых изображений из видеоданных, поступающих от внешних источников в форматах: H.264/MPEG; по протоколам: RTPM, HLS, RTSP, MJPEG для передачи в дальнейшую обработку модулем обнаружения лиц или сохранения изображения с целью последующей обработки, в случае если вычислительных ресурсов СПМУ недостаточно для обработки кадра в текущий момент времени. Предобработка видеоданных и хранение промежуточных изображений (кадров), позволяет СПМУ выполнять вычисления в режиме отложенной обработки в круглосуточном режиме;
- блок распознавания лиц, который обеспечивает нахождение и сопоставление лиц с ранее созданными дескрипторами, сохраненными в базе дескрипторов лиц, реализуя функции выделения и определения принадлежности лица, причем полученное изображение лица передается в блок определения эмоций без промежуточного сохранения; - блок определения эмоций, который обрабатывает изображения лиц, переданных блоком распознавания лиц, средствами самообучающейся нейронной сети, определяя эмоциональные состояния, подсчитывая вероятность и интенсивность таких состояний.
В примерном варианте осуществления блок определения эмоций анализирует 194 анатомо-физиологических и поведенческих признака и на их основании определяет семь эмоций человека и их интенсивность .
Далее будет описана примерная последовательность и возможные масштабы расчета агрегатных эмоциональных состояний:
1. Расчет агрегатных состояний по минутам.
- На выборке за определенный (ранее) диапазон дат (диапазон времени) вычисляется состояние с максимальным значением для кадра, также определяется коэффициент достоверности эмоциональной реакции. Рассчитывается дата/время для кадра.
- Рассчитывается состояние, которое за минуту зафиксировано наибольшее количество раз. На этом этапе рассчитывается количество оценочных кадров и общее количество кадров.
Сохраняется промежуточный результат расчета минутных агрегатов .
2. Расчет агрегатных состояний по часам.
На основании минутных состояний рассчитывается состояние для часа - состояние, по которому зафиксировано максимальное количество минутных состояний за час: минутные замеры за час группируются по состоянию; таким образом для каждого состояния в рамках часа получаем какое-то количество замеров; состояние, которое набирает наибольшее количество минутных замеров считается часовым состоянием (единицей временного периода в данном случае может быть не только час, но урок, например, в зависимости от решаемых прикладных задач).
3. Расчет агрегатных состояний по дням (аналогично расчету часовых агрегатов).
На основании часовых состояний рассчитывается состояние для дня (дневное) - состояние, по которому зафиксировано максимальное количество часовых состояний за день (часовые замеры за день группируются по состоянию; таким образом для каждого состояния в рамках дня получаем какое-то количество замеров; состояние, которое набирает наибольшее количество часовых замеров считается дневным состоянием).
Завершается процесс анализа данных сохранением результатов в соответствующую базу данных.
Конфигурирование и настройка сервера предобработки видеопотока реализуется таким образом, чтобы полный цикл обработки лиц позволял получать достоверные данные об индивидуальном психоэмоциональном состоянии с заданной периодичностью. В зависимости от интенсивности изменений в кадре, для достоверного выявления психоэмоционального состояния наблюдаемых, периодичность измерений может достигать 3 итераций за секунду.
Блок анализа СПМУ в предпочтительном варианте осуществления реализован с помощью облачных технологий и выполнен с возможностью осуществлять по меньшей мере следующие виды анализа полученных данных :
1. Анализ по отдельному интервалу времени (учебный час, день) или анализ динамики эмоционального состояния конкретного ученика по всему спектру эмоций в течение часа, дня, недели, месяца. Данный анализ позволяет: выявить негативные тенденции по всем группам риска, в частности, увидеть потенциальных агрессоров или суицидентов, а также увидеть эмоциональные пики, связанные с возможным употреблением психоактивных веществ (резкий взрыв положительных эмоций, повторяющийся с четкой временной периодичностью) или последствий их применений накануне (упадок эмоциональной энергии);
- увидеть базовую тревожность, как особенность формирующейся личности;
- увидеть первые признаки переутомления у учащегося.
2. Анализ динамики эмоционального состояния конкретного ученика с привязкой к предмету или форме контроля знаний, позволяет выявить персональное отношение или «индивидуальную непереносимость» предмета или педагога и увидеть динамику изменений на линии времени при проведении психопрофилактической работы после выявления подтверждения наличия проблемной ситуации.
3. Анализ коллективного отношения класса к определенным предметам или формам работы позволяет проанализировать взаимодействие конкретных педагогов с различными классами, выявить системные противоречия определенного педагога или определенного класса .
4 . Анализ коллективной эмоциональной динамики дает возможность выявить появление общеклассной проблемы, коллективных беспорядков, бойкотов и т.д.
5 . Сравнительный анализ динамики эмоций конкретного ученика и его класса дает возможность выявить системных «разрушителей» обстановки на уроках.
6. Анализ эмоций учащихся с привязкой к расписанию за месяц, за четверть, за полугодие, за год. Это позволяет учитывать на стадии оценки работы конкретных педагогов динамику изменений и качество работы психолога и администрации, возможность поддержки кадровых решений, оказание психологической поддержки педагогическому составу в сложных ситуациях, выявление признаков синдрома «профессионального выгорания».
7. Анализ эмоций по всем классам за месяц, за четверть, за полугодие, за год дает возможность определения коллективных точек напряжения для работы с проблемными классами школы и оценки ситуации в школе в целом.
В результате анализа полученных данных блоком анализа СПМУ может посредством блока формирования отчетности формировать соответствующую отчетность с выявленными проблемами и/или моментами, на которые требуется обратить внимание ответственным лицам, для последующего анализа и выработки мер реагирования. В качестве альтернативы СПМУ в соответствии с заданными правилами посредством блока уведомления может направлять уведомление соответствующему сотруднику (педагогу, психологу, администрации и т.д.), сообщающее о наличии проблемы и/или потенциально опасной ситуации для своевременного реагирования с целью устранения или профилактики возникновения нежелательных последствий. Дополнительно СПМУ может формировать собственные рекомендации в отношении мер реагирования на выявленные проблемы.
Кроме того, СПМУ может быть использована для определения способностей и задатков учащихся, определения склонности к выполнению отдельных видов деятельности, профориентационного консультирования.
В дополнительном варианте осуществления СПМУ может определять присутствие/отсутствие ученика на занятии, а также формировать и отправлять соответствующее сообщение в случае его отсутствия.
Таким образом, СПМУ в соответствии с настоящим изобретением обладает широкими функциональными возможностями.
Сценарии применения СПМУ.
Далее будут описаны несколько примерных сценариев применения СПМУ в соответствии с вариантом осуществления настоящего изобретения .
Сценарий 1.
Если в процессе анализа эмоционального состояния учащихся в классе определяется, что при взаимодействии одного учащегося (У1) с другим учащимся (У2) или группой учащихся (ГУ) во время перемены между уроками, упомянутый учащийся У1 преимущественно испытывает эмоции «страх» и «отвращение», а учащийся У2 или группа учащихся ГУ преимущественно испытывают эмоцию «агрессия», то СПМУ может делать вывод о наличии конфликта и/или ситуации травли («буллинга») упомянутого одного учащегося У1 со стороны У2 или ГУ (см., например, Таблицу 1). В таком случае СПМУ может направить сообщение педагогу или школьному психологу о возможном конфликте в коллективе с указанием возможных участников конфликтной ситуации и рекомендацию о принятии мер для ее устранения.
Табл .1
Figure imgf000020_0001
Сценарий 2.
Если в процессе анализа эмоционального состояния учащегося выявлены повторяющиеся с некоторой временной периодичностью интервалы резких положительных эмоций, то СИМУ может делать вывод о возможном употреблении учащимся психоактивных веществ и направить соответствующее сообщение педагогу или администрации учебного заведения.
Сценарий 3.
Если у учащегося в некоторый протяженный период времени преобладают отрицательные эмоции, то СПМУ может делать вывод о наличии депрессивных расстройств и направлять соответствующее сообщение школьному психологу о необходимости принятия мер.
Сценарий 4.
СПМУ может анализировать взаимодействие определенного учителя с определенным классом/классами посредством группового анализа эмоционального состояния учащихся во время занятий с упомянутым определенным учителем. В случае наличия негативных тенденций в эмоциональном состоянии учащихся во время занятий с конкретным учителем СПМУ может делать вывод о наличии системных противоречий упомянутого учителя с учащимися (см., например, Таблицу 2). В таком случае СПМУ может формировать соответствующую отчетность и направлять ее в администрацию учебного заведения для дальнейшей оценки и возможной корректировки работы учителя.
Табл .2
Figure imgf000021_0001
СПМУ в соответствии с настоящим изобретением может использоваться во множестве различных сценариев, позволяя определять, предотвращать или ликвидировать негативные ситуации и их последствия в учебном заведении. Стоит отметить, что СПМУ может быть реализована как в рамках отдельного класса (помещения), так и в рамках целого учебного заведения, т.к. является полностью масштабируемой системой.
Элементы, упомянутые в данном описании в единственном числе, не исключают множественности элементов, если отдельно не указано иное .
Способы, раскрытые здесь, содержат один или несколько этапов или действий для достижения описанного способа. Этапы и/или действия способа могут заменять друг друга, не выходя за пределы объема формулы изобретения. Другими словами, если не определен конкретный порядок этапов или действий, порядок и/или использование конкретных этапов и/или действий может изменяться, не выходя за пределы объема формулы изобретения.
Специалисту в области техники должно быть понятно, что сущность изобретения не ограничена конкретной программной или аппаратной реализацией, и поэтому для осуществления изобретения могут быть использованы любые программные и аппаратные средства известные в уровне техники. Так аппаратные средства могут быть реализованы в одной или нескольких специализированных интегральных схемах, цифровых сигнальных процессорах, устройствах цифровой обработки сигналов, программируемых логических устройствах, программируемых пользователем вентильных матрицах, процессорах, контроллерах, микроконтроллерах, микропроцессорах, электронных устройствах, других электронных модулях, выполненных с возможностью осуществлять описанные в данном документе функции, компьютер либо комбинации вышеозначенного.
Хотя отдельно не упомянуто, но очевидно, что, когда речь идет о хранении данных, программ и т.п., подразумевается наличие компьютерно-читаемого носителя данных. Примеры компьютерно- читаемых носителей данных включают в себя постоянное запоминающее устройство, оперативное запоминающее устройство, регистр, кэш- память, полупроводниковые запоминающие устройства, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, а также любые другие известные в уровне техники носители данных.
Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительном чертеже, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать более широкое изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку различные другие модификации могут быть очевидны специалистам в соответствующей области.
Признаки, упомянутые в различных зависимых пунктах формулы, а также реализации, раскрытые в различных частях описания, могут быть скомбинированы с достижением полезных эффектов, даже если возможность такого комбинирования не раскрыта явно.

Claims

Формула изобретения
1. Система психологического мониторинга человека, включающая в себя: блок захвата изображений, выполненный с возможностью захвата видеоизображений; блок распознавания лиц, выполненный с возможностью выделения и распознавания лиц в видеопотоке; блок определения эмоций, выполненный с возможностью определения эмоций человека и их интенсивности на основании захваченного видеопотока;
- блок анализа, выполненный с возможностью анализа упомянутых определенных эмоций человека и их интенсивности в течение предварительно заданного промежутка времени для определения его психоэмоционального состояния.
2. Система психологического мониторинга человека по п.1, в которой блок распознавания лиц выполнен с возможностью распознавания лиц посредством сопоставления выделенных в видеопотоке лиц с эталонными фотографиями, загруженными в базу данных .
3. Система психологического мониторинга человека по п.2, в которой упомянутая база данных представляет собой базу дескрипторов лиц (БДЛ), а блок распознавания лиц выполнен с возможностью преобразования изображений лица человека для их представления в виде числовых дескрипторов лиц и сравнения упомянутых числовых дескрипторов лиц с сохраненными в БДЛ дескрипторами .
4. Система психологического мониторинга человека по п.1, дополнительно содержащая блок формирования отчетности, выполненный с возможностью приема данных из блока анализа и формирования отчетности о динамике и причинах изменения эмоций человека, их интенсивности, общем психоэмоциональном состоянии человека за определенные интервалы времени.
5. Система психологического мониторинга человека по п.1, дополнительно содержащая блок уведомления, выполненный с возможностью приема данных из блока анализа и уведомления оператора СПМЧ о психоэмоциональном состоянии наблюдаемого человека .
6. Система психологического мониторинга человека по любому из пп.1-5, в которой по меньшей мере один из блока распознавания лиц, блока определения эмоций и блока анализа реализован на основе самообучающейся искусственной нейронной сети (ИНС) или сверточной нейронной сети (СНС).
7. Система психологического мониторинга человека по п.б, в которой все три из блока распознавания лиц, блока определения эмоций и блока анализа реализованы на основе нейронных сетей.
8. Система психологического мониторинга человека по п.1, в которой блок анализа выполнен с возможностью анализа эмоциональных реакций человека, связанных с локализованным на объекте и во времени событием, и определения упомянутого события в качестве причины данных реакций.
9. Система психологического мониторинга человека по п.1, в которой блок распознавания лиц и блок определения эмоций реализованы в качестве локального сервера предобработки видеопотока .
10. Способ психологического мониторинга человека, выполняемый посредством системы психологического мониторинга человека по любому из пп. 1-9, содержащий этапы, на которых:
- захватывают видеоизображение;
- выделяют и распознают лица в видеопотоке;
- определяют эмоции человека и их интенсивность;
- анализируют упомянутые определенные эмоции человека и их интенсивность на протяжении предварительно заданного периода времени для определения его психоэмоционального состояния.
11. Компьютерно-читаемый носитель данных, содержащий сохраненную на нем программу, которая при исполнении компьютером реализует способ психологического мониторинга человека по п.10.
PCT/RU2020/000130 2020-03-13 2020-03-13 Систем социально-психологического мониторинга человека WO2021182982A1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/RU2020/000130 WO2021182982A1 (ru) 2020-03-13 2020-03-13 Систем социально-психологического мониторинга человека

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2020/000130 WO2021182982A1 (ru) 2020-03-13 2020-03-13 Систем социально-психологического мониторинга человека

Publications (2)

Publication Number Publication Date
WO2021182982A1 true WO2021182982A1 (ru) 2021-09-16
WO2021182982A8 WO2021182982A8 (ru) 2022-02-24

Family

ID=77670897

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2020/000130 WO2021182982A1 (ru) 2020-03-13 2020-03-13 Систем социально-психологического мониторинга человека

Country Status (1)

Country Link
WO (1) WO2021182982A1 (ru)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007068620A (ja) * 2005-09-05 2007-03-22 Konica Minolta Holdings Inc 心理状態計測装置
CN1996344A (zh) * 2006-12-22 2007-07-11 北京航空航天大学 人脸表情信息的提取方法及处理
US20150193718A1 (en) * 2015-03-23 2015-07-09 Looksery, Inc. Emotion recognition for workforce analytics
KR20170050465A (ko) * 2015-10-30 2017-05-11 에스케이텔레콤 주식회사 얼굴 인식 장치 및 방법
US20180075292A1 (en) * 2015-03-18 2018-03-15 Snap Inc. Emotion recognition in video conferencing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007068620A (ja) * 2005-09-05 2007-03-22 Konica Minolta Holdings Inc 心理状態計測装置
CN1996344A (zh) * 2006-12-22 2007-07-11 北京航空航天大学 人脸表情信息的提取方法及处理
US20180075292A1 (en) * 2015-03-18 2018-03-15 Snap Inc. Emotion recognition in video conferencing
US20150193718A1 (en) * 2015-03-23 2015-07-09 Looksery, Inc. Emotion recognition for workforce analytics
KR20170050465A (ko) * 2015-10-30 2017-05-11 에스케이텔레콤 주식회사 얼굴 인식 장치 및 방법

Also Published As

Publication number Publication date
WO2021182982A8 (ru) 2022-02-24

Similar Documents

Publication Publication Date Title
Sharma et al. Student engagement detection using emotion analysis, eye tracking and head movement with machine learning
Suen et al. Intelligent video interview agent used to predict communication skill and perceived personality traits
Fournier et al. The interpersonal signature
CN109657529A (zh) 基于面部表情识别的课堂教学效果评价系统
Dogrucu et al. Moodable: On feasibility of instantaneous depression assessment using machine learning on voice samples with retrospectively harvested smartphone and social media data
CN112957042B (zh) 一种非接触式目标情绪识别的方法及系统
WO2014130769A1 (en) Online examination proctoring system
KR102383458B1 (ko) 학습결과에 대한 관리를 지원하는 능동형 인공지능 튜터링 시스템
WO2020128999A1 (en) System and method for reading and analysing behaviour including verbal, body language and facial expressions in order to determine a person's congruence
Bhatt et al. Machine learning for cognitive behavioral analysis: datasets, methods, paradigms, and research directions
Drimalla et al. Detecting autism by analyzing a simulated social interaction
Chiu et al. A bayesian classification network-based learning status management system in an intelligent classroom
Zhang et al. Multi-modal interactive fusion method for detecting teenagers’ psychological stress
US20240203592A1 (en) Content providing method, system and computer program for performing adaptable diagnosis and treatment for mental health
Villegas-Ch et al. Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques
Tsuchiya et al. Detecting deception using machine learning with facial expressions and pulse rate
Beriwal et al. Techniques for suicidal ideation prediction: a qualitative systematic review
Guhan et al. Developing an effective and automated patient engagement estimator for telehealth: A machine learning approach
Liu et al. Emotion Recognition Through Observer's Physiological Signals
WO2021182982A1 (ru) Систем социально-психологического мониторинга человека
KR102465768B1 (ko) 개인화 맞춤형 학습분석 제공 시스템
US20230290505A1 (en) Context Aware Assessment
KR102383457B1 (ko) 교수와 학습을 지원하는 능동형 인공지능 튜터링 시스템 및 이의 제어방법
WO2023079370A1 (en) System and method for enhancing quality of a teaching-learning experience
Agarwal et al. Semi-Supervised Learning to Perceive Children's Affective States in a Tablet Tutor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20923954

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20923954

Country of ref document: EP

Kind code of ref document: A1