WO2018151628A1 - Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту - Google Patents

Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту Download PDF

Info

Publication number
WO2018151628A1
WO2018151628A1 PCT/RU2018/000230 RU2018000230W WO2018151628A1 WO 2018151628 A1 WO2018151628 A1 WO 2018151628A1 RU 2018000230 W RU2018000230 W RU 2018000230W WO 2018151628 A1 WO2018151628 A1 WO 2018151628A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
interpretation
matrix
assessment
mathematical
Prior art date
Application number
PCT/RU2018/000230
Other languages
English (en)
French (fr)
Inventor
Георгий Игоревич ПЛИЕВ
Original Assignee
Георгий Игоревич ПЛИЕВ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Георгий Игоревич ПЛИЕВ filed Critical Георгий Игоревич ПЛИЕВ
Publication of WO2018151628A1 publication Critical patent/WO2018151628A1/ru

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Definitions

  • the invention relates to the field of neurocognitive research and technology, general, clinical, patho-and neuropsychology, psychophysiology, neurobiology, neurolinguistics, big data processing, computer and machine vision, robotics, deep machine learning and artificial neural networks, artificial intelligence, as well as the Internet of things (1 Mr ⁇ ), bioinformatics, security industry, personnel selection, augmented and virtual reality, medicine, law and forensics, intelligent transportation systems a sport.
  • Facial Action Coding System http: // www. Paul ekm an. Com / prod uct-category / facs /
  • the invention is used to collect, register, structure, hierarchize, cluster, process and interpret human body information (physiological, acoustic and optical data - “human data”) using artificial neural network technologies and the potential of deep machine learning.
  • the analysis is carried out and a comprehensive assessment of the psychoemotional and physiological state of the subject throughout the field of functionally significant channels, characteristics, established deviations from the average norm is given.
  • the invention can also be used to measure stress levels, contactless lie detection, identify signs indicating early / latent phases and / or risks of socially critical diseases (Parkinson’s disease, Alzheimer's), mental diseases and pathologies (schizophrenia and other lesions of the speech sections of the cerebral cortex (aphasia), etc.
  • the desired invention is a method of audio and video recording, processing and subsequent analysis of information of the human body, which consists in the following:
  • the collection and fixation (through any available remote, non-invasive audio-video tools) of optical and acoustic data about the object (living organism) is carried out.
  • the collection can be carried out both directly by observation, shooting, registration, and before the start of the analysis (the method provides for the possibility of working with previously received and recorded information);
  • the revealed particular (per-channel) signs of the manifestation of the internal psycho-emotional and physiological state of an object (living organism) are integrated into a synthetic scoring model and processed using a trained classifier (neural network), while the system independently finds inter-channel connections, patterns and discrepancies, confirms or refutes the presence of classifiers the general condition of the organism of signs, makes a statistically probable decision.
  • Classifier training and information processing are carried out in a manner related to the Invention; 4.
  • Generated and issued (“output”) in the form of a diagram, scale or other visualization of indicators and values, complex information about the psycho-emotional state (dominant emotions, stress level, truth / falsehood, fatigue, arousal, etc.) and general physiological state of the object (living organism).
  • the specified method is implemented by using a pre-trained classifier.
  • the trained classifier is the result of preliminary clustering using mathematical and statistical methods of deep machine learning and the architecture of artificial neural networks of all possible psycho-emotional and physiological states of an object (conditionally pure and mixed), their constituent signs and artifacts, and the dynamics of the manifestation of signs over time.
  • the present method finds its practical embodiment in the hardware-software complex, designed on the basis of and around the technological core.
  • the first step requires an incoming stream of optical and acoustic information, which is grouped into the following channels:
  • Mimic facial expression and microexpression
  • Oculographic and oculomotor eyes: oculomotor activity, blinking, gaze direction, pupil size;
  • Proxemic and kinetic body language, gestures, body position in space, spatial and temporal sign system of communication; 5.
  • Signals of the autonomic nervous system heart rate (HR), electrical activity of the skin (EAA / RAG), plethysmogram (blood supply and vascular reactions of the body), blood pressure, electrocardiogram (EEG), body temperature, spirometry (measurement of volume and speed indicators breathing);
  • the present invention includes methods for combining channels in order to achieve the most correct and adequate classification of psychoemotional and physiological conditions at the lowest cost, since the use of all channels at once leads to excessive assumptions, distortions and, as a consequence, total costs, and the use of some combinations may be ineffective.
  • Methods for the classification and processing of signs of manifestation of the internal psycho-emotional and general physiological state of an object (living organism) determine only certain combinations of channels in which the desired technical result is achieved:
  • the invention is positioned as universal, as invariant as possible to ethnic, national, cultural, social, gender, age and other differences.
  • Score F (patterns of channel 1 + patterns of channel 2 + ... + patterns of channel n, where the pattern is understood repeating pattern, traceable pattern of manifestation of signs in each channel);
  • An intermediate step in the application of the method is the formation of a matrix of classes of state of objects in which patterns are fixed with an indication of the type of channel and time of registration.
  • the interpretation of the state of the matrix is a key part of the method.
  • the data set collected during the experimental series contains many possible states of the matrix; these data have already been clustered in the framework of the experiment due to the fixation of physiological manifestations and the conduct of markup of behavioral analysis by specialists.
  • the solution of the classification problem (training with a teacher, the so-called "supervised learning") allows you to get a trained classifier.
  • the training was conducted on an array of collected and clustered multimodal data: two databases (information arrays) were created, conditionally designated, for example, as “humandatel” and “humandate2”, the difference between them was reduced to the amount of data collected, while humandate2 is a corpus, where the classifier was trained (2/3 of the total volume), and the humandatel is the case on which the algorithm was tested (1/3 of the total volume).
  • the classifier learned on the basis of humandate2 then determined how accurately the data from the humandatel database were classified.
  • An artificial neural network consists of elements called mathematical neurons.
  • a mathematical neuron has several inputs and one output. The input of the neuron receives signals, each input in turn has a weight.
  • a linear combination of inputs is called a neuron state.
  • the neurons that make up the network are divided into groups called layers.
  • the signal flows in layers in one direction - from input to output.
  • Neurons of one layer are activated at the same time, each neuron can have connections with neurons of the next layer, and the connection of the neuron to itself (loops) and / or connections with previous layers (feedbacks) are absent in this scheme.
  • the first layer is called the input or distribution, the neurons of this layer do not change the signal and simply distribute it to the neurons of the second layer.
  • the second and subsequent layers are called processing and perform the work of converting the input signal.
  • Neural network training is the adjustment of weights in accordance with the training set, and an important element of this procedure is a way of evaluating the network or the loss function.
  • the mean square error (MSQE) is usually used as a loss function for neural networks.
  • the procedure for training a neural network is to minimize the loss function in the space of weights.
  • the neural network allows us to create a classifier based on the training sample, which will attribute the combination of detected patterns in different channels to a known state with a certain degree of probability.
  • the concept “interpretation of the matrix of state classes” introduced above is another a neural network classifier that interprets patterns identified in other neural network classifiers in each channel.
  • the method uses tools of mathematical statistics, neural networks, deep learning ⁇ "deep learnings) to determine the similarity of the found matrix of state classes with the corresponding set of matrices, constructed as part of creating a dataset for training the classifier.
  • Video and audio fragment analysis consists of the following blocks:
  • the method can be used both on streaming data, with online issuance of estimates, and on ready-made data (which means, for example, recorded / downloaded videos, manually or automatically uploaded to the cloud, followed by issuing the assessment to the consumer in the form of a generated report with statistics).
  • Fundamentally multichannel (more than six main channels in a balanced combination allocated within the framework of the system method), complex, intelligent (using a pre-trained classifier, artificial neural networks, computer vision and deep machine learning), remote, non-contact, high-precision (more than 80%), high-speed (less cumulative time costs for the procedure of reception, analysis, delivery of the result), a reliable and verifiable solution for assessing the psychoemotional (including emotional background ) and the general physiological (including health status and detection of possible deviations from the norm) state of the object in dynamics through mass audio-video streaming content is currently missing.
  • the data obtained in the framework of the experimental series allow us to speak about the degree of reliability of the method of interpreting the psychoemotional and physiological state from the reactions observed within the indicated channels as exceeding 80% (in a sample of 30 people) of the reliability of the prediction.
  • the example below shows a graph that reflects an integrated indicator of the physiological response (heart rate, plethysmogram, RAG, blood pressure) of one test subject lasting 60 seconds.
  • a hardware-software complex revealed patterns within three channels (facial expressions, voice, oculography), which belong to the class of stress response. Pattern registration time 50.920 sec - 53.880 sec.
  • the integrated indicator graph shows that the corresponding stressful physiological reaction in the subject was observed within 50,400 sec - 54,600 sec.
  • the probability of predicting the presence of stress on the video and audio materials of the respondent by the method implemented in the prototype of the Invention is 84.199%.
  • the preliminary calculation shows a greater spread in the probability of the correct detection of such states in comparison with basic emotions.
  • a significant threshold of 66% is overcome by refining the training sample, namely by increasing its volume and differentiation.
  • the desired invention (algorithm, system of methods, software package) can be applied in various industries and disciplines, which entails typological variation of cases. Limited to by listing several practical aspects of the industrial application of the Invention:
  • biometric equipment with additional recognition of emotions, mental and physiological conditions of a person in conditions of mass crowds of people, infrastructure facilities (airports, railway and bus stations, etc.);
  • - Intelligent transport systems built-in cameras (in the steering wheel, dashboards, etc.) and software for determining the states of the operator (driver of a car, railway, cargo, air and sea transport, etc.) in real time, issuing recommendations or automatic transfer to autopilot mode;
  • - neuromarketing is an advanced toolkit for non-contact (hidden) assessment of emotional and physiological reactions / consumer responses to a stimulus: commercials, billboards, videos, colors, packaging, product design, etc.
  • - video aggregators built-in software for analyzing the state of the subject on the laid out video recordings or in the streaming mode;
  • - audio and video messengers built-in software of mass use for the analysis of psycho-emotional and physiological conditions and reactions of the interlocutor / s in the call / dialogue mode, including the provision of telemedicine services and remote medical consultation;
  • - medicine equipment and software for remote contactless assessment of psychoemotional and physiological conditions the subject, multichannel collection and interpretation of signaling data for generating predictive and prognostic models (prerequisites and risks of developing socially critical diseases - stroke, heart attack, Parkinson's and Alzheimer's disease, schizophrenia and central nervous system disorders, other deviations from the norm);
  • Robotics embedding “recognizing” software in robotic systems, capable, in the paradigm of self-learning and adaptation of forms of “weak” artificial intelligence, in communicating correctly and efficiently with an operator / consumer;
  • auxiliary software that helps to adequately simulate, transpose, recreate the natural psycho-emotional world of a person in the "body" of a computer.
  • An algorithm is an exact set of instructions and prescriptions defining a computational process, describing a sequence of actions to achieve a result, solve a problem.
  • Method - a way to achieve a goal, solve a specific problem; a set of techniques or operations of practical or theoretical development (cognition) of reality.
  • Method - a set and order of actions used to solve a problem.
  • a system is a set of interconnected elements that form integrity or unity.
  • a systematic approach is the direction of the methodology of scientific knowledge, which is based on the consideration of an object as a system: an integrated complex of interconnected elements, a set of interacting objects, a set of entities and relationships.
  • Audio and video content - a combination of audio and video materials of any type.
  • Streaming content - data that requires users to have a certain speed for their playback.
  • Streaming content is transmitted to users at the highest possible speed that the client, servers, and network support.
  • Data ⁇ data the presentation of facts and ideas in a formalized form, suitable for transmission and processing in some information process.
  • State is an abstract concept denoting a set of stable values of variable parameters of an object.
  • the state is characterized in that it describes the variable properties of the object, the object in dynamics.
  • a psychoemotional state is a special form of a person’s mental states with a predominance of emotional response as a dominant type. Emotion is a psychic process of medium duration, reflecting a subjective evaluative attitude to existing or possible situations.
  • Physiology is a complex of natural science disciplines that study both the vital activity of the organism as a whole and individual systems and processes, organs, cells, and cellular structures. Physiology seeks to reveal the mechanisms of regulation, the laws of vital activity of the organism and its interaction with the environment.
  • Human body information (human data) - a set of signals, external manifestations and artifacts of the human body, reflecting the internal processing and functioning mechanisms of the brain, consciousness and psyche.
  • Channel channels - localization of certain groups of signals, external manifestations and artifacts in certain areas of the human body.
  • Facial expression facial expression channel - “expressive movements of the muscles of the face, which are one of the forms of manifestation of various human senses” or “movements of muscles in coordinated complexes, reflecting various mental states of a person”.
  • Expression is a vivid mimic manifestation of feelings, emotions, moods, thoughts.
  • Microexpression is a complete, time-compressed mimic expression of emotion.
  • Oculography eye tracking, eye tracking; eye tracking
  • gaze coordinates the point of intersection of the optical axis of the eyeball and the plane of the observed object or screen on which some visual stimulus is presented.
  • Proxemics is a field of social psychology and semiotics that studies the spatial and temporal sign system of an individual’s communication.
  • Inesika kinetic channel - a set of body movements (gestures, facial expressions) used in the process of human communication (with the exception of the movements of the speech apparatus).
  • Body language is a symbolic element of postures and movements of various parts of the body, with the help of which, like with the help of words, thoughts and feelings are structured and encoded, ideas and emotions are transmitted.
  • the speech apparatus is the totality and interaction of human organs necessary for the production of speech.
  • An acoustic signal is a disturbance of an elastic medium, manifested in the occurrence of acoustic vibrations of various shapes and durations.
  • a speech signal is a sound formed by a person’s pronunciation apparatus for the purpose of language communication.
  • Optics is a branch of physics that deals with the phenomena associated with the propagation of electromagnetic waves in the visible, infrared, and ultraviolet spectral ranges.
  • Vegetatics Autonomic nervous system - part of the nervous system of the body, a complex of central and peripheral cellular structures, regulating the functional level of the body, necessary for an adequate reaction of all its systems.
  • Semantics is a branch of linguistics that studies the semantic meaning of language units.
  • Content analysis or content analysis is a standard research technique in the field of social sciences, the subject of analysis of which is the content of text arrays and communicative correspondence products.
  • Context a condition for the meaningful use of a particular language unit in speech (written or oral), taking into account its language environment and the situation of verbal communication.
  • Neural network - a theoretical model, as well as its software or hardware implementation, built on the principle of organization and functioning of biological neural networks - networks of nerve cells of a living organism.
  • Machine learning is an extensive subsection of artificial intelligence, a mathematical discipline that uses sections of mathematical statistics, numerical optimization methods, probability theory, discrete analysis, and extracts knowledge from data.
  • Deep learning is a set of machine learning algorithms that try to simulate high-level abstractions in data using architectures consisting of many non-linear transformations.
  • Classifier a systematic list of named objects, each of which is given a unique code in accordance with the principles and basis of classification.
  • the classification of objects is carried out in accordance with the rules for the distribution of a given set of objects into subsets (classification groups) in accordance with the established signs of their difference or similarity.
  • Algorithm an accurate set of instructions and prescriptions that define the computing process, describing the sequence of actions to achieve a result, solving a problem.
  • Method - a way to achieve a goal, solve a specific problem; a set of techniques or operations of practical or theoretical development (cognition) of reality.
  • Method - a set and order of actions used to solve a problem.
  • a system is a set of interconnected elements that form integrity or unity.
  • a systematic approach is the direction of the methodology of scientific knowledge, which is based on the consideration of an object as a system: an integrated complex of interconnected elements, a set of interacting objects, a set of entities and relationships.
  • Audio and video content - a combination of audio and video materials of any type.
  • Streaming content data that requires users to have a certain speed for their playback.
  • Streaming content is transmitted to users at the highest possible speed that the client, servers, and network support.
  • Data ⁇ data) the presentation of facts and ideas in a formalized form, suitable for transmission and processing in some information process.
  • State is an abstract concept denoting a set of stable values of variable parameters of an object.
  • the state is characterized in that it describes the variable properties of the object, the object in dynamics.
  • a psychoemotional state is a special form of a person’s mental states with a predominance of emotional response as a dominant type.
  • Emotion is a psychic process of medium duration, reflecting a subjective evaluative attitude to existing or possible situations.
  • Physiology is a complex of natural science disciplines that study both the vital activity of the organism as a whole and individual systems and processes, organs, cells, and cellular structures. Physiology seeks to reveal the mechanisms of regulation, the laws of vital activity of the organism and its interaction with the environment.
  • Human body information (human data) - a set of signals, external manifestations and artifacts of the human body, reflecting the internal processing and functioning mechanisms of the brain, consciousness and psyche.
  • Facial expression facial expression channel - “expressive movements of the muscles of the face, which are one of the forms of manifestation of various human senses” or “movements of muscles in coordinated complexes, reflecting various mental states of a person”. Expression is a vivid mimic manifestation of feelings, emotions, moods, thoughts.
  • Microexpression is a complete, time-compressed mimic expression of emotion.
  • Oculography eye tracking, eye tracking; eye tracking
  • gaze coordinates the point of intersection of the optical axis of the eyeball and the plane of the observed object or screen on which some visual stimulus is presented.
  • Proxemics is a field of social psychology and semiotics that studies the spatial and temporal sign system of an individual’s communication.
  • Kinesics kinesic channel - a set of body movements (gestures, facial expressions) used in the process of human communication (with the exception of the movements of the speech apparatus).
  • Body language body language
  • body language symbolic elements of postures and movements of various parts of the body, with the help of which, like with the help of words, thoughts and feelings are structured and encoded, ideas and emotions are transmitted.
  • the speech apparatus is the totality and interaction of human organs necessary for the production of speech.
  • An acoustic signal is a disturbance of an elastic medium, manifested in the occurrence of acoustic vibrations of various shapes and durations.
  • a speech signal is a sound formed by a person’s pronunciation apparatus for the purpose of language communication.
  • Voice a collection of sounds resulting from fluctuations in the vocal cords.
  • Optics is a branch of physics that deals with the phenomena associated with the propagation of electromagnetic waves in the visible, infrared, and ultraviolet spectral ranges.
  • Vegetatics Vegetative nervous system - part of the nervous system of the body, a complex of central and peripheral cellular structures that regulate the functional level of the body, necessary for an adequate reaction of all its systems.
  • Semantics is a branch of linguistics that studies the semantic meaning of language units.
  • Content analysis or content analysis is a standard research technique in the field of social sciences, the subject of analysis of which is the content of text arrays and communicative correspondence products.
  • Context a condition for the meaningful use of a particular language unit in speech (written or oral), taking into account its language environment and the situation of verbal communication.
  • Neural network - a theoretical model, as well as its software or hardware implementation, built on the principle of organization and functioning of biological neural networks - networks of nerve cells of a living organism.
  • Machine Learning an extensive subsection of artificial intelligence, a mathematical discipline, using sections of mathematical statistics, numerical optimization methods, probability theory, discrete analysis, and extracting knowledge from data.
  • Deep learning is a set of machine learning algorithms that attempt to model high-level abstractions in data using architectures consisting of many non-linear transformations.
  • Classifier a systematic list of named objects, each of which is given a unique code in accordance with the principles and basis of classification.
  • the classification of objects is carried out according to the rules for the distribution of a given set of objects into subsets (classification groups) in accordance with the established signs of their difference or similarity.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Machine Translation (AREA)

Abstract

Изобретение представляет собой алгоритм, систему методов, способ и создаваемый на их основе программно-аппаратный комплекс по дистанционному, бесконтактному, мультиканальному сбору, фиксации, классификации, кластеризации и интерпретации информации тела человека (понимая под ней сигналы и артефакты, считываемые с мимического, голосового, кинесического, вегетативного, окулографического и семантического каналов), получаемой посредством анализа аудио- и видеоконтента; по автоматическому преобразованию и последующей обработке данных через предварительно обученный методами глубокого машинного обучения и искусственных нейронных сетей классификатор; и выдаче на выходе отчета и комплексной оценки психоэмоциональных и общих физиологических состояний индивида в режиме реального времени.

Description

«Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту»
Область техники
Изобретение относится к области нейрокогнитивных исследований и технологий, общей, клинической, пато- и нейропсихологии, психофизиологии, нейробиологии, нейролингвистики, обработки больших данных, компьютерного и машинного зрения, робототехники, глубокого машинного обучения и искусственных нейронных сетей, искусственного интеллекта, а также интернета вещей (1оТ), биоинформатики, индустрии безопасности, подбора персонала, дополненной и виртуальной реальности, медицины, юриспруденции и криминалистики, интеллектуальных систем транспорта, спорта.
Уровень техники
Известны методы, способы, продукты и технологии для «считывания», классификации, интерпретации базовых эмоций человека; диагностики состояния здоровья по внешне наблюдаемым признакам; контактного и дистанционного мониторинга физиологических параметров живого организма, а также смежные технологии (например, анализ поведения, окулография в нейромаркетинге и пр.), которые типологически и функционально сближаются с настоящим Изобретением, но обладают рядом ограничений и существенных недостатков.
- Технология канадской компании NuraLogix и заявки на патенты (Patent applications) под общим названием «System And Method For Detecting Invisible Human Emotion» (США, Канада: WO 2016/049757 Al ; EC: EP 3030151 Al): позиционируются как система и метод для дистанционной неинвазивной детекции невидимых естественных эмоций индивида путем захвата и обработки изображения (image-capture based system) с высокой разрешающей способностью. Система позволяет вести мониторинг изменений концентрации гемоглобина (кислородонасыщения) крови, замерять подкожный кровоток (сеть капилляров лица), фиксировать динамику изменений цвета пикселя в единицу времени. Недостатки: неуниверсальность, моноканальность, выключенность общего физиологического контекста, прямая зависимость от освещения и внешней среды, отсутствие доказательств стабильной работы в обычных, повседневных условиях.
- Технология израильской компании Nemesysco с корпусом выпущенных патентов под названием «Apparatus And Methods For Detecting Emotions» (патент EC EP 1038291 B l): аппаратный комплекс (анализатор) и детекция эмоционального статуса, а также бинарной конструкции «правда/ложь» индивида через послойный анализ эмоционально-окрашенных образцов голоса, его интонационных, а также частотных и тембральных характеристик, громкости и диапазона, собственная интерпретационная решетка и выдача результатов в виде «подвижного графика-кристалла». Недостатки: научная необоснованность многих тезисов, отраженная в публикациях критика со стороны международного научного сообщества, бездоказательность предложенного метода, фактическая неуниверсальность, моноканальность, выключенность общего физиологического контекста.
- Технология корейской компании Samsung Electronics с заявкой на патент под названием «Method and Apparatus for recognizing an emotion of an individual based on Facial Action Units» (США: US 2012/0101735 Al): аппаратный комплекс и метод распознавания индивидуальных эмоций человека путем детекции экспрессий лица, построения 3D полигональных моделей лица по узловым точкам (Action Units). Является одним из множества подобных проектов и патентов, заявляющих о точности, малых искажениях и высокой скорости обработки данных с выдачей результата в виде классификации эмоций по шести ключевым «чистым» категориям и их смеси применительно к тому или иному отрезку времени записи. Недостатки: распространенность метода и его повсеместное внедрение в качестве объективной данности, моно- или биканальность (с учетом глаз), отсутствие внимания к уровню микроэкспрессий, эмоциональным оттенкам и принципиально смешанным/пограничным состояниям, иным физиологическим показателям организма, устарелость фундаментальной нейрокультурной теории эмоций и авторской Системы кодирования лицевых движений П.Экмана и её критика.
Британская технология исследовательского коллектива из Университета Оксфорд с заявкой на патент под названием «Automated Recognition Algorithm for Detecting Facial Expressions)) (США: US 2013/0300900 Al): алгоритм распознавания и видео-аналитическая система для автоматической детекции спонтанных микроэкспрессий человеческого лица краткой длительности. Недостатки: относительная распространенность метода и его повсеместное внедрение, моноканальность, недостаточная проработка концепции и классификации релевантных микровыражений на больших и дифференцированных выборках в отрыве от иных физиологических и психоэмоциональных показателей, отсутствие внимания к эмоциональным оттенкам и принципиально смешанным/пограничным состояниям, опора на устаревающую нейрокультурную теорию эмоций.
- Технология американской компании Simple Emotion Inc. с выпущенным патентом под названием «System and method for recognizing emotional state from a speech signal)) (США: US 201 1/0295607 Al): компьютеризированный метод, софт и система по распознаванию эмоций в голосовом и речевом сигналах, сбор статистической информации для сравнения с лабораторными образцами набора акустических данных, скоринговый подход для нахождения корреляций и разнесения по классифицирующим графам базовых эмоций человека, выдача
з вероятностного результата пользователю. Недостатки: моноканальность, оперирование упрощенной схемой эмоциональных состояний, специфическая научная аргументация, вынесение за скобки общего физиологического состояния индивида и ситуативных контекстов, оказывающих воздействие на функционирование вокально-речевого аппарата человека в конкретный период времени.
Некоторые технологические аспекты оценки эмоциональных состояний человека раскрыты в следующих научных публикациях, которые могут быть включены в уровень техники для описываемого Изобретения:
Система кодирования лицевых движений (СКЛиД) (англ. Facial Action Coding System (FACS): http : //www . paul ekm an . com/prod uct- category/facs/
Beatrice de Gelder, "Emotions and the Body"
Carroll Izard, "The Psychology of Emotions"
Steven Pinker, "The Stuff of Thought: Language as a Window into Human Nature"
Steven Pinker, "The Language Instinct: How the Mind Creates Language":
David Sander (Editor), Klaus Scherer (Editor), "Oxford Companion to Emotion and the Affective Sciences" (Oxford University Press, 2009)
Kenneth Holmqvist, Marcus Nystrom etc., "Eye Tracking: A comprehensive guide to methods and measures" (Oxford University Press, 2015)
Michael Horsley (Editor), Natasha Toon (Editor) etc., "Current Trends in Eye Tracking Research" (Springer, 2014)
Amit Konar, Aruna Chakraborty, "Emotion Recognition: A Pattern Analysis Approach" (Wiley, 2015) Priyanka A. Abhang, Bharti W. Gawali, Suresh C. Mehrotra, "Introduction to EEG- and Speech-Based Emotion Recognition" (Academic Press, 2016)
Rosalind W. Picard, "Affective Computing" (MIT Press, 2000)
В.И.Шаховский, "Лингвистическая теория эмоций", Москва, 2008.
Несмотря на наличие ряда известных и доказавших свою ограниченную прикладную полезность продуктов и решений (например, полиграф), а также разнообразного программного обеспечения, выполняющего функции детекции «правда/ложь», определения простых эмоций (6+1) по фотографии и т.п., имеющих нередко сугубо игровой характер, общедоступной массовой (с ответвлениями в специализированные сегменты) дистанционной бесконтактной точной мультиканальной технологии комплексной диагностики, оценки и анализа психоэмоционального и физиологического состояния (шкалы состояний, включая смешанные, оттенки, степень проявленности, отклонения от нормы и пр.) объекта (с вероятным расширительным толкованием: учитываются не только люди, но и животные) в онлайн-режиме через аудио-видео контент в настоящий момент не имеется, поэтому Изобретение является новым.
В сравнении, например, с известным полиграфом (под которым понимается техническое средство, используемое при проведении инструментальных психофизиологических исследований для синхронной регистрации параметров дыхания, сердечно-сосудистой активности, электрического сопротивления кожи, а также, при наличии необходимости и возможности, других физиологических параметров с последующим представлением результатов регистрации этих параметров в аналоговом или цифровом виде, предназначенном для оценки достоверности сообщённой информации) и программными решениями по биометрии и распознаванию эмоций, описываемое Изобретение является: - мультиканальным, то есть позволяющим одновременно сравнивать данные, поступающие минимум по двум каналам в их различных сочетаниях;
- дистанционным, то есть не требующим непосредственной физической регистрации оцениваемых параметров, что позволяет получать эти параметры из имеющегося аудио-видео контента;
- бесконтактным, неинвазивным;
- более точным;
- высокоскоростным;
- более стабильным;
- более чувствительным;
- резистентным к внешним условиям среды и качеству изначального контента;
- встраиваемым в любые мобильные, облачные и прочие платформы и программно-аппаратным комплексом.
Описание Изобретения
Параллельно с качественным повышением компьютерной грамотности человека и сознательным, повсеместным и порой тотальным (особенно в возрастной категории до 35 лет) перемещением деятельности в интернет-пространство, социальные сети, дополненную и виртуальную реальность (AR/VR), ослабляются практические навыки межличностных коммуникаций, способность к «живому» и непосредственному восприятию, считыванию, распознаванию эмоций, состояний, реакций, концептов и т.д., не опосредованных технологическими решениями и изобретениями. Поэтому критически важным для социального бытования субъекта является возможность компенсировать недостаток подобных компетенций через обращение к соответствующему инструментарию, способному скорректировать, сориентировать, подсказать и помочь - на
б базе психоэмоциональной, физиологической и пр. бесконтактной аналитики - сконструировать максимально эффективные и адекватные моменту поведенческие стратегии, модели (само-)идентификации.
Можно автоматизировать, роботизировать и интеллектуализировать (используя элементы «слабого», прикладного искусственного интеллекта) многие операции и функции, позволяющие сводить воедино human data (то есть всю преобразованную совокупность сигналов и артефактов человеческого тела, отражающего внутренний процессинг и механизмы мозга, сознания и психики) и получать в конце цикла обработки- интерпретации релевантные и верифицируемые результаты. Оптимальным способом собрать human data представляется обращение к аудиовизуальному потоковому и прочему контенту, где данные «снимаются» непрерывно и динамически, что позволяет избежать ложных или крайне приблизительных ходов и выводов, возникающих из статики образа, мгновенной фиксации изображения «только здесь и сейчас» (фотография) без предыстории и инерционного шлейфа состояния, ухваченного в отдельно взятом ракурсе.
Изобретение используется для сбора, регистрации, структурирования, иерархизации, кластеризации, обработки и интерпретации информации тела человека (физиологические, акустические и оптические данные - «human data») при помощи технологий искусственных нейронных сетей и потенциала глубокого машинного обучения. Проводится анализ и даётся комплексная оценка психоэмоционального и физиологического состояния субъекта по всему полю функционально значимых каналов, характеристик, установленных отклонений от среднестатистической нормы. Изобретение может также применяться для измерения уровня стресса, бесконтактной детекции лжи, выявления признаков, свидетельствующих о ранних/латентных фазах и/или рисках социально критических заболеваний (болезни Паркинсона, Альцгеймера), психических заболеваний и патологий (шизофрении и пр поражения речевых отделов коры головного мозга (афазия) и проч.
Искомое изобретение (алгоритм, система методов) представляет собой способ аудио- и видеорегистрации, обработки и последующего анализа информации тела человека, который заключается в следующем:
1. Производится сбор и фиксация (посредством любых доступных дистанционных, неинвазивных аудио-видео средств) оптических и акустических данных об объекте (живом организме). Сбор может вестись как непосредственно путём наблюдения, съемки, регистрации, так и до начала анализа (способ предусматривает возможность работы с предварительно полученной и записанной информацией);
2. На основании входящих («input») оптических и акустических данных выявляются признаки, соотносимые с базовыми ячейками интерпретативных решеток каждого канала (например, данные мимики X свидетельствуют о состоянии Y), разработанных концептуально и методически и взятых за референтные в ходе НИР, проявления внутреннего психоэмоционального и общего физиологического состояния объекта (живого организма);
3. Выявленные частные (поканальные) признаки проявления внутреннего психоэмоционального и физиологического состояния объекта (живого организма) интегрируются в синтетическую скоринговую модель и обрабатываются посредством обученного классификатора (нейросеть), при этом система самостоятельно находит межканальные связи,паттерны и расхождения, подтверждает или опровергает наличие классифицирующих общее состояние организма признаков, принимает статистически вероятное решение. Обучение классификатора и обработка информации осуществляются относящимся к Изобретению способом; 4. Генерируется и выдаётся («output») в виде диаграммы, шкалы или иной визуализации показателей и значений комплексная информация о психоэмоциональном состоянии (доминирующие эмоции, уровень стресса, правда/ложь, утомление, возбужденность и т.д.) и об общем физиологическом состоянии объекта (живого организма).
Указанный способ реализуется путем применения предварительно обученного классификатора. Обученный классификатор представляет собой результат предварительно проведенной кластеризации с использованием математико-статистических методов глубокого машинного обучения и архитектур искусственных нейронных сетей всех возможных психоэмоциональных и физиологических состояний объекта (условно чистых и смешанных), составляющих их признаков и артефактов, динамики проявления признаков во времени.
Настоящий способ находит своё практическое воплощение в Программно-аппаратном комплексе, сконструированном на основе и вокруг технологического ядра.
Соответственно, на первом шаге необходим входящий поток оптической и акустической информации, который группируется в следующие каналы:
1. Мимический (мимика): экспрессии и микроэкспрессии лица;
2. Голосовой (акустический): вокально-акустический и речевой сигналы;
3. Окулографический и окуломоторный (глаза): глазодвигательная активность, моргание, направление взора, размеры зрачка;
4. Проксемический и кинесический: язык тела, жестикуляция, положение тела в пространстве, пространственная и временная знаковая система общения; 5. Сигналы вегетативной нервной системы: частота сердечных сокращений (ЧСС), электрическая активность кожи (ЭАК/КГР), плетизмограмма (кровенаполнение и сосудистые реакции организма), артериальное давление, электрокардиограмма (ЭЭГ), температура тела, спирометрия (измерение объёмных и скоростных показателей дыхания);
6. Семантический (контент-анализ и контекст речи).
Классификация и обработка признаков проявления внутреннего психоэмоционального и общего физиологического состояния объекта (живого организма) происходит путем использования одного или комбинации нескольких методов, описанных в настоящей заявке.
Настоящее изобретение включает в себя способы комбинации каналов с целью достижения наиболее корректной и адекватной классификации психоэмоциональных и физиологических состояний с наименьшими затратами, так как применение сразу всех каналов приводит к чрезмерным допущениям, искажениям и, как следствие, совокупным издержкам, а применение некоторых сочетаний может быть неэффективным. Методы классификации и обработки признаков проявления внутреннего психоэмоционального и общего физиологического состояния объекта (живого организма) обуславливают только определенные сочетания каналов, при которых достигается искомый технический результат:
1. Мимический + Голосовой;
2. Мимический + Окулографический и окуломоторный;
3. Мимический + Проксемический и кинесический;
4. Мимический + Сигналы вегетативной нервной системы;
5. Мимический + Семантический;
6. Голосовой + Окулографический и окуломоторный;
7. Голосовой + Проксемический и кинесический;
ю 8. Голосовой + Сигналы вегетативной нервной системы;
9. Голосовой + Семантический;
10. Окулографический и окуломоторный + Проксемический и кинесический;
1 1. Окулографический и окуломоторный + Сигналы вегетативной нервной системы;
12. Окулографический и окуломоторный + Семантический;
13. Проксемический и кинесический + Сигналы вегетативной нервной системы;
14. Проксемический и кинесический + Семантический;
15. Сигналы вегетативной нервной системы + Семантический.
Отдельные парные сочетания ранее применялись в исследованиях и изобретениях (например, рабочей в современной науке является и активно разрабатывается диада «голосовой + семантический»), однако только максимальное количество комбинаций (в том числе относящихся к ноу-хау Изобретения) позволяют добиться требуемой мультимодальности, эффективности и точности анализа состояний объекта (живого организма). С технической точки зрения задача мультиканальной фиксации (при этом принципиально неинвазивной, дистанционной и бесконтактной, что предопределило отсутствие в нашем случае одного и регулярно используемого канала сбора данных: ЭЭГ - регистрации электроэнцефалограммы головного мозга с использованием точечных электродов) состояний до сих пор является достаточно сложной, требующей абсолютно точной синхронизации всех элементов оборудования в едином временном контуре, многопоточной формализованной записи данных в каждом канале с отсутствием задержек и минимизацией шумов, искажающих сигналы, тонкой настройки специализированного инструментария. Несмотря на наличие некоторых базовых алгоритмов (восходящих, например, в окулографии к 1970-80-м гг.), вплоть до середины 2010-х годов постановка подобных экспериментальных сессий оказывалась затруднительной, поскольку в свободном доступе не имелось высокочувствительного интеллектуального софта и аппаратных средств (hardware) лабораторного и коммерческого типов, обеспечивающих необходимый уровень и качество распознания, считывания и трансляции на сервер/в облако динамически собираемых данных человеческого тела (в частности, «продвинутых» айтрекинговых систем, носимых девайсов для измерения физиологических параметров, MS Kinect и аналогов для улавливания движений и жестов и т.п.). Поскольку мультиканальные данные в требуемом для анализа качестве не собирались (исследовательские команды делали ставку, как правило,на моно- или биканальность, прежде всего мимику и голос, и максимально простые теории вроде «шести базовых эмоций плюс нейтральное состояние»), то и классификаторы на них не обучались. Переход к мультимодальности вызван как «дозреванием» технических средств (включая развитие сверхточных нейронных сетей в проектах глубокого обучения), оказывающихся теперь в распоряжении исследователей, так и постепенным пересмотром устоявшихся научных концепций ввиду их недостаточности и наличия критического числа допущений генерализирующего и универсализирующего свойства, опровергаемых новейшими полевыми экспериментами (например, https://naked- science.ru/article/sci/vyrazheniya-lic-okazalis-neuniversalny).
Изобретение позиционируется как универсальное, максимально инвариантное к этническим, национальным, культурным, социальным, гендерным, возрастным и прочим различиям.
Алгоритм метода классификации и обработки признаков проявления внутреннего психоэмоционального и общего физиологического состояния объекта (живого организма) заключается в следующем:
Оценка = F (паттерны канала 1 + паттерны канала 2 + ... + паттерны канала п, где под паттерном понимается повторяющийся шаблон, прослеживаемая закономерность проявления признаков в каждом канале);
- Оценка - внутреннее психоэмоциональное и общее физиологическое состояние объекта;
F(x) - интерпретация текущего набора выявленных паттернов.
Промежуточным этапом применения метода является формирование матрицы классов состояний объектов, в которой фиксируются паттерны с указанием типа канала и времени регистрации.
Интерпретация состояния матрицы является ключевой частью метода. Набор данных, собранный в ходе экспериментальной серии, содержит множество возможных состояний матрицы, эти данные были уже кластеризированы в рамках эксперимента благодаря фиксации физиологических проявлений и проведенной специалистами разметки поведенческого анализа. Решение задачи классификации (обучение с учителем, т.н. «supervised learning») позволяет получить обученный классификатор. Обучение проводилось на массиве собранных и кластеризированных мультимодальных данных: было создано две базы данных (информационных массива), условно обозначенных, например, как «humandatel» и «humandate2», разница между ними сводилась к объему собранных данных, при этом humandate2 - корпус, на котором выполнялось обучение классификатора (2/3 всего объема), a humandatel - корпус, на котором проверялась работа алгоритма (1/3 от всего объема).
После запуска программы классификатор обучился на базе humandate2, затем определил, насколько точно классифицированы данные из базы humandatel .
Метод обучения на малой выборке (до 100 человек) относится к числу классических и уже устоявшихся в практике проектов типа deep learning. Если свести его описание к нескольким пунктам, то получается следующая логическая цепочка:
Искусственная нейронная сеть состоит из элементов, называемых математическими нейронами. Математический нейрон имеет несколько входов и один выход. На вход нейрона поступают сигналы, каждый вход в свою очередь имеет вес. Линейная комбинация входов называется состоянием нейрона.
Нейроны, составляющие сеть, разбиты на группы, называемые слоями. В сетях прямого распространения сигнал проходит послойно в одном направлении - от входа к выходу. Нейроны одного слоя активируются одновременно, причем каждый нейрон может иметь связи с нейронами следующего слоя, а связь нейрона на самого себя (петли) и/или связи с предыдущими слоями (обратные связи) в этой схеме отсутствуют.
Первый слой называется входным или распределительным, нейроны этого слоя не изменяют сигнал и просто распределяют его нейронам второго слоя. Второй и следующие за ним слои называются обрабатывающими и выполняют работу по преобразованию входного сигнала.
Обучение нейронной сети — это настройка весов в соответствии с учебным множеством, и важным элементом этой процедуры является способ оценки работы сети или функция потери. В качестве функции потери для нейронных сетей обычно используется среднеквадратичная ошибка (MSQE)
Введя функцию потери, мы теперь можем формально поставить задачу обучения классификатора следующим образом: процедура обучения нейронной сети— это минимизация функции потери в пространстве весов. В нашем случае нейронная сеть позволяет на основе обучающей выборки создать классификатор, который комбинацию выявленных паттернов в различных каналах будет относить к известному состоянию с определенной степенью вероятности. Таким образом, введенное выше понятие «интерпретация матрицы классов состояний» - это еще один классификатор нейросети, интерпретирующий выявленные другими классификаторами нейросетей паттерны в каждом из каналов.
По итогу лабораторных исследований точность классификации составила порядка 84,199%, ложные или некорректные результаты были получены не более чем в 15,801% случаев. Здесь необходимо отметить, разумеется, что указанные цифры - итог последовательной научно- исследовательской теоретической, прикладной экспериментальной работы и прототипирования в условно идеальных, предварительно заданных и контролируемых лабораторных условиях. Испытания действенности полученного алгоритма на более широкой выборке (около 1500 человек) испытуемых в максимально естественных ситуативных обстоятельствах и разнообразных условиях среды будут проведены далее (2017 г.) с фокусом на конкретно-продуктовые и отраслевые технологические решения, что будет отражено в последующих патентных заявках.
Метод использует инструменты математической статистики, нейронных сетей, глубинное обучение {«deep learnings) для определения схожести найденной матрицы классов состояний с соответствующим набором матриц, построенных в рамках создания набора данных для обучения классификатора.
Анализ видео- и аудио-фрагмента состоит из следующих блоков:
1. Выявление признаков (feature extraction).
2. Очистка признаков (feature reduction).
3. Выявление паттернов (pattern recognition) в каждом канале и разнесение их по классам состояний (pattern classification).
4. Интерпретация матрицы классов состояний.
Процесс сводится к обозначенным итерациям: в каждом из каналов на статистически релевантной выборке из группы распознанных и очищенных признаков выявляются характерные паттерны, относимые к различным классам психоэмоциональны и физиологических состояний с разной степенью вероятности, вместе образующие совокупность - множество, закладываемое в матрицу классов состояний. В случае если данные о состояниях противоречат друг другу, задача точной дефиниции психоэмоционального и физиологического состояния объекта требует интерпретации, когда определяется, насколько и в какой мере каждый канал соотносится с данными других каналов в конкретном аудиовизуальном фрагменте.
Это позволяет в рамках скоринговой модели зафиксировать, данным какого/каких каналов в рассматриваемом эпизоде можно доверять, а каким - нет. Интерпретация матрицы классов состояний - это побочный эффект от большого числа анализируемых каналов, в каждом из которых в тех или иных временных промежутках возможно наличие помех, шумов, либо уникальных признаков, неизвестных для модели, что искажает собираемые данные.
Метод может использоваться как на потоковых данных, с online выдачей оценки, так и на готовых данных (под которыми понимаются, например, записанные/скачанные видеоролики, вручную или автоматически выгружаемые в облако, с последующей выдачей оценки потребителю в виде сформированного отчета со статистикой).
Изобретательский уровень
Подавляющее большинство алгоритмических моделей, программных продуктов на их основе и изобретений в указанной области оперируют преобразованными данными {human data), считываемыми с одного или нескольких (не более трёх) телесных каналов (напр., только мимика, только акустика, только окулография (айтрекинг), или же мимика+айтрекинг, акустика+речь и т.п.). Принципиально мультиканальное (более шести основных каналов в сбалансированной комбинации, выделенной в рамках системного метода), комплексное, интеллектуальное (с использованием предварительно обученного классификатора, искусственных нейронных сетей, компьютерного зрения и глубокого машинного обучения), дистанционное, бесконтактное, высокоточное (более 80%), скоростное (меньшие совокупные временные затраты на процедуру приема-анализа-выдачи результата), достоверное и верифицируемое решение по оценке психоэмоционального (включая эмоциональный фон) и общего физиологического (включая состояние здоровье и детекцию возможных отклонений от нормы) состояния объекта в динамике через массовый аудио-видео потоковый контент в настоящий момент отсутствует.
Экспериментальные данные, подтверждающие промышленную применимость
Данные, полученные в рамках экспериментальной серии, позволяют говорить о степени достоверности метода интерпретации психоэмоционального и физиологического состояния по наблюдаемым в рамках обозначенных каналов реакциям как о превышающей 80% (на выборке из 30 человек) достоверности предсказания. На примере ниже дан график, отражающий интегрированный показатель физиологической реакции (ЧСС, Плетизмограмма, КГР, АД) одного испытуемого длительностью 60 сек. На соответствующем этому графику видеофрагменте программно-аппаратным комплексом были выявлены паттерны в рамках трех каналов (мимика, голос, окулография), относящиеся к классу стрессовой реакции. Время регистрации паттернов 50,920 сек - 53,880 сек. График интегрированного показателя показывает, что соответствующая стрессовая физиологическая реакция у испытуемого наблюдалась в границах 50,400 сек - 54,600 сек.
В рамках всей выборки длительностью 31 :22: 14,960 физиологическая регистрация стресса была зарегистрирована в 481 случае общей длительностью 00:42:00,440. В свою очередь Программно- аппаратный комплекс выявил соответствующие стрессу паттерны в 1 173 видеофрагментах (889 в канале мимика, 284 в канале окулографии) и в 350 аудиофрагментах, общей длительностью в 00:39: 10,500 сек и 00:31 : 19,000 соответственно. В итоге из 481 случая Программно-аппаратный комплекс выявил 405 случаев, указав на 716 фрагментов, попадающих в границы фрагментов, зарегистрированных физиологически.
Таким образом, вероятность предсказания наличия стресса у респондента по видео- и аудиоматериалам методом, реализованным в прототипе Изобретении, составляет 84,199%.
Схожие данные были получены в серии подобных экспериментов.
В отношении более сложных психоэмоциональных и физиологических реакций, а также классифицированных состояний, исходя из оценки набора паттернов в различных каналах, предварительный расчет показывает больший разброс значения вероятности правильного обнаружения подобных состояний в сравнении с базовыми эмоциями. Значимый порог в 66% преодолевается уточнением обучающей выборки, а именно увеличением её объема и дифференциацией.
Примеры применения и описание кейсов с использованием
Искомое изобретение (алгоритм, система методов, программный комплекс) может применяться в различных отраслях и дисциплинах, что влечет за собой типологическую вариативность кейсов. Ограничимся перечислением нескольких практических аспектов промышленного применения Изобретения:
- нейрофизиологические и нейропсихологические исследования: лабораторное аналитическое оборудование (анализаторы);
- нейробиология: оборудование для вычленения корреляций между внешне наблюдаемыми признаками и внутренними процессами (вспомогательный инструментарий для исследования мозга и психики);
- психоанализ, общая и социальная психология: прикладной инструментарий для оценки поведения индивида в определенных ситуативных (в том числе смоделированных, дискурсивных) контекстах;
- юриспруденция и криминалистика: оборудование для судебных экспертиз, профайлинга, дистанционной детекции лжи;
- индустрия безопасности: биометрическое оборудование с дополнительным распознаванием эмоций, психических и физиологических состояний человека в условиях массовых скоплений людей, инфраструктурных объектов (аэропорты, железнодорожные и автовокзалы и т.п.);
- интеллектуальные системы транспорта: встроенные камеры (в руль, приборные доски и т.д.) и софт для определения состояний оператора (водителя авто, ж/д, грузового, авиа- и морского транспорта и пр.) в режиме реального времени, выдача рекомендаций или автоматический перевод в режим автопилотирования;
- нейромаркетинг - продвинутый инструментарий для бесконтактной (скрытой) оценки эмоциональных и физиологических реакций/откликов потребителя на стимул: рекламные ролики, билборды, видеоряд, цветовую гамму, упаковку, дизайн изделия и пр.
- отбор персонала: встроенный софт для бесконтактной (скрытой) оценки кандидатов в ходе очных или дистанционных собеседований;
- видеоагрегаторы: встроенный софт по анализу состояний субъекта на выложенных видеозаписях или в режиме стриминга;
- аудио- и видео-мессенджеры: встроенный софт массового использования для анализа психоэмоциональных и физиологических состояний и реакций собеседника/-ов в режиме коллинга/диалога, в том числе при оказании телемедицинских услуг и дистанционного медицинского консультирования;
- Интернет вещей и масс-маркет: встроенный в телефоны, планшетные компьютеры, часы-браслеты и т.д. софт для определения собственных и собеседника/-ов психоэмоциональных и физиологических состояний и реакций в естественных условиях коммуникации и взаимодействия со средой;
- дополненная и виртуальная реальность, game-индустрия: встроенный в игровые консоли софт, встраивание аналитического софта в шлемы виртуальной реальности и т.д.;
- 40-анимация, киноиндустрия: . инструментарий и софт для считывания и анализа «живых» состояний и реакций субъекта (актера) в заданных сценарных ситуациях с последующим их анимационным воспроизведением (аватары, мультипликационные герои и т.д.);
- медицина: оборудование и софт дистанционной бесконтактной оценки психоэмоциональных и физиологических состояний субъекта, мультиканальный сбор и интерпретация сигнальных данных для генерации предиктивных и прогностических моделей (предпосылки и риски развития социально критических заболеваний - инсульт, инфаркт, болезни Паркинсона и Альцгеймера, шизофрения и расстройства центральной нервной системы, иные отклонения от нормы);
- робототехника: встраивание «распознающего» софта в робототехнические системы, способные - в парадигме самообучения и адаптации форм «слабого» искусственного интеллекта, - корректным и эффективным образом коммуницировать с оператором/потребителем;
- спорт: оборудование и софт для оценки психоэмоциональных и физиологических состояний индивида в условиях высоких нагрузок/перегрузок;
- космос: оборудование и софт для оценки психоэмоциональных и физиологических состояний индивида в условиях стартовых перегрузок/невесомости/работы за пределами орбитальной космической станции;
- affective computing и исследования по искусственному интеллекту: вспомогательный софт, помогающий адекватно смоделировать, транспонировать, воссоздать естественный психоэмоциональный мир человека в «организме» компьютера.
I. Г лоссарий - перечень терминов и их значения
Алгоритм - точный набор инструкций и предписаний, задающих вычислительный процесс, описывающих последовательность действий для достижения результата, решения задачи. Метод - способ достижения какой-либо цели, решения конкретной задачи; совокупность приемов или операций практического или теоретического освоения (познания) действительности.
Способ - совокупность и порядок действий, используемых для решения какой-либо задачи.
Система— совокупность взаимосвязанных элементов, образующих целостность или единство.
Системный подход— направление методологии научного познания, в основе которого лежит рассмотрение объекта как системы: целостного комплекса взаимосвязанных элементов, совокупности взаимодействующих объектов, совокупности сущностей и отношений.
Аудио и видео контент - совокупность аудио- и видеоматериалов любого типа.
Потоковый контент - данные, требующие от пользователей определенной скорости для их воспроизведения. Потоковое содержимое передается пользователям с максимально возможной скоростью, которую поддерживают клиент, серверы и сеть.
Данные {data) - представление фактов и идей в формализованном виде, пригодном для передачи и обработки в некотором информационном процессе.
Состояние - отвлечённое понятие, обозначающее множество устойчивых значений переменных параметров объекта. Состояние характеризуется тем, что описывает переменные свойства объекта, объект в динамике.
Психоэмоциональное состояние — особая форма психических состояний человека с преобладанием эмоционального реагирования по типу доминанты. Эмоция - психический процесс средней продолжительности, отражающий субъективное оценочное отношение к существующим или возможным ситуациям.
Физиология - комплекс естественнонаучных дисциплин, изучающих как жизнедеятельность организма в целом, так и отдельных систем и процессов, органов, клеток, клеточных структур. Физиология стремится раскрыть механизмы регуляции, закономерности жизнедеятельности организма и его взаимодействия с окружающей средой.
Информация тела человека {human data)— совокупность сигналов, внешних проявлений и артефактов человеческого тела, отражающая внутренний процессинг и механизмы функционирования мозга, сознания и психики.
Канал, каналы - локализация отдельных групп сигналов, внешних проявлений и артефактов в определенных зонах человеческого тела.
Мимика, мимический канал - «выразительные движения мышц лица, являющиеся одной из форм проявления тех или иных чувств человека» или «движения мускулатуры в координированных комплексах, отражающие разнообразные психические состояния человека».
Экспрессия - яркое мимическое проявление чувств, эмоций, настроений, мыслей.
Микроэкспрессия - полное, сжатое во времени мимическое выражение эмоции.
Окулография (отслеживание глаз, трекинг глаз; айтрекинг) — определение координат взора («точки пересечения оптической оси глазного яблока и плоскости наблюдаемого объекта или экрана, на котором предъявляется некоторый зрительный раздражитель»).
Окуломоторика - моторика глазодвигательных нервов. Проксемика - область социальной психологии и семиотики, занимающаяся изучением пространственной и временной знаковой системы общения индивида.
инесика, кинесический канал - совокупность телодвижений (жестов, мимики), применяемых в процессе человеческого общения (за исключением движений речевого аппарата).
Язык тела {body language)— знаковые элементы поз и движений различных частей тела, при помощи которых, как и при помощи слов, структурно оформляются и кодируются мысли и чувства, передаются идеи и эмоции.
Акустика - наука о звуке, изучающая физическую природу звука и проблемы, связанные с его возникновением, распространением, восприятием и воздействием, исследующая упругие колебания и волны от самых низких (условно от 0 Гц) до высоких частот.
Речевой аппарат — это совокупность и взаимодействие органов человека, необходимых для производства речи.
Акустический сигнал— возмущение упругой среды, проявляющееся в возникновении акустических колебаний различной формы и длительности.
Речевой сигнал - звук, образуемый произносительным аппаратом человека с целью языкового общения.
Голос - совокупность звуков, возникающих в результате колебания голосовых связок.
Оптика - раздел физики, рассматривающий явления, связанные с распространением электромагнитных волн видимого, инфракрасного и ультрафиолетового диапазонов спектра.
Вегетатика, Вегетативная нервная система - часть нервной системы организма, комплекс центральных и периферических клеточных структур, регулирующих функциональный уровень организма, необходимый для адекватной реакции всех его систем.
Семантика— раздел лингвистики, изучающий смысловое значение единиц языка.
Семантика речи - использование языка, отдельных слов и их частей как средств выражения мыслей, эмоций и чувств, применение их для обозначения предметов, явлений и действий.
Контент-анализ или анализ содержания — стандартная методика исследования в области общественных наук, предметом анализа которой является содержание текстовых массивов и продуктов коммуникативной корреспонденции .
Контекст - условие осмысленного употребления той или иной конкретной языковой единицы в речи (письменной или устной), с учётом её языкового окружения и ситуации речевого общения.
Программный комплекс, программно-аппаратный комплекс - набор технических и программных средств, работающих совместно для выполнения одной или нескольких сходных задач.
Нейронная сеть - теоретическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма.
Машинное обучение (Machine learning) — обширный подраздел искусственного интеллекта, математическая дисциплина, использующая разделы математической статистики, численных методов оптимизации, теории вероятностей, дискретного анализа, и извлекающая знания из данных.
Глубинное или глубокое обучение (Deep learning) — набор алгоритмов машинного обучения, которые пытаются моделировать высокоуровневые абстракции в данных, используя архитектуры, состоящие из множества нелинейных трансформаций.
Классификатор - систематизированный перечень наименованных объектов, каждому из которых в соответствии с принципами и основанием классификации дан уникальный код. Классификация объектов производится согласно правилам распределения заданного множества объектов на подмножества (классификационные группировки) в соответствии с установленными признаками их различия или сходства.
МПК A61B 5/00
A61B 5/16
«Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту»
Глоссарий (перечень терминов и их значения) Алгоритм - точный набор инструкций и предписаний, задающих вычислительный процесс, описывающих последовательность действий для достижения результата, решения задачи.
Метод - способ достижения какой-либо цели, решения конкретной задачи; совокупность приемов или операций практического или теоретического освоения (познания) действительности.
Способ - совокупность и порядок действий, используемых для решения какой-либо задачи.
Система— совокупность взаимосвязанных элементов, образующих целостность или единство.
Системный подход— направление методологии научного познания, в основе которого лежит рассмотрение объекта как системы: целостного комплекса взаимосвязанных элементов, совокупности взаимодействующих объектов, совокупности сущностей и отношений.
Аудио и видео контент - совокупность аудио- и видеоматериалов любого типа.
Потоковый контент - данные, требующие от пользователей определенной скорости для их воспроизведения. Потоковое содержимое передается пользователям с максимально возможной скоростью, которую поддерживают клиент, серверы и сеть. Данные {data) - представление фактов и идей в формализованном виде, пригодном для передачи и обработки в некотором информационном процессе.
Состояние - отвлечённое понятие, обозначающее множество устойчивых значений переменных параметров объекта. Состояние характеризуется тем, что описывает переменные свойства объекта, объект в динамике.
Психоэмоциональное состояние — особая форма психических состояний человека с преобладанием эмоционального реагирования по типу доминанты.
Эмоция - психический процесс средней продолжительности, отражающий субъективное оценочное отношение к существующим или возможным ситуациям.
Физиология - комплекс естественнонаучных дисциплин, изучающих как жизнедеятельность организма в целом, так и отдельных систем и процессов, органов, клеток, клеточных структур. Физиология стремится раскрыть механизмы регуляции, закономерности жизнедеятельности организма и его взаимодействия с окружающей средой.
Информация тела человека {human data) - совокупность сигналов, внешних проявлений и артефактов человеческого тела, отражающая внутренний процессинг и механизмы функционирования мозга, сознания и психики.
Канал, каналы - локализация отдельных групп сигналов, внешних проявлений и артефактов в определенных зонах человеческого тела. Мимика, мимический канал - «выразительные движения мышц лица, являющиеся одной из форм проявления тех или иных чувств человека» или «движения мускулатуры в координированных комплексах, отражающие разнообразные психические состояния человека». Экспрессия - яркое мимическое проявление чувств, эмоций, настроений, мыслей.
Микроэкспрессия - полное, сжатое во времени мимическое выражение эмоции.
Окулография (отслеживание глаз, трекинг глаз; айтрекинг) — определение координат взора («точки пересечения оптической оси глазного яблока и плоскости наблюдаемого объекта или экрана, на котором предъявляется некоторый зрительный раздражитель»).
Окуломоторика - моторика глазодвигательных нервов.
Проксемика - область социальной психологии и семиотики, занимающаяся изучением пространственной и временной знаковой системы общения индивида.
Кинесика, кинесический канал - совокупность телодвижений (жестов, мимики), применяемых в процессе человеческого общения (за исключением движений речевого аппарата).
Язык тела (body language)— знаковые элементы поз и движений различных частей тела, при помощи которых, как и при помощи слов, структурно оформляются и кодируются мысли и чувства, передаются идеи и эмоции.
Акустика - наука о звуке, изучающая физическую природу звука и проблемы, связанные с его возникновением, распространением, восприятием и воздействием, исследующая упругие колебания и волны от самых низких (условно от 0 Гц) до высоких частот.
Речевой аппарат — это совокупность и взаимодействие органов человека, необходимых для производства речи.
Акустический сигнал— возмущение упругой среды, проявляющееся в возникновении акустических колебаний различной формы и длительности.
Речевой сигнал - звук, образуемый произносительным аппаратом человека с целью языкового общения. Голос - совокупность звуков, возникающих в результате колебания голосовых связок.
Оптика - раздел физики, рассматривающий явления, связанные с распространением электромагнитных волн видимого, инфракрасного и ультрафиолетового диапазонов спектра.
Вегетатика, Вегетативная нервная система - часть нервной системы организма, комплекс центральных и периферических клеточных структур, регулирующих функциональный уровень организма, необходимый для адекватной реакции всех его систем.
Семантика— раздел лингвистики, изучающий смысловое значение единиц языка.
Семантика речи - использование языка, отдельных слов и их частей как средств выражения мыслей, эмоций и чувств, применение их для обозначения предметов, явлений и действий.
Контент-анализ или анализ содержания — стандартная методика исследования в области общественных наук, предметом анализа которой является содержание текстовых массивов и продуктов коммуникативной корреспонденции.
Контекст - условие осмысленного употребления той или иной конкретной языковой единицы в речи (письменной или устной), с учётом её языкового окружения и ситуации речевого общения.
Программный комплекс, программно-аппаратный комплекс - набор технических и программных средств, работающих совместно для выполнения одной или нескольких сходных задач.
Нейронная сеть - теоретическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма.
Машинное обучение {Machine learning) — обширный подраздел искусственного интеллекта, математическая дисциплина, использующая разделы математической статистики, численных методов оптимизации, теории вероятностей, дискретного анализа, и извлекающая знания из данных.
Глубинное или глубокое обучение {Deep learning) — набор алгоритмов машинного обучения, которые пытаются моделировать высокоуровневые абстракции в данных, используя архитектуры, состоящие из множества нелинейных трансформаций.
Классификатор - систематизированный перечень наименованных объектов, каждому из которых в соответствии с принципами и основанием классификации дан уникальный код. Классификация объектов производится согласно правилам распределения заданного множества объектов на подмножества (классификационные группировки) в соответствии с установленными признаками их различия или сходства.

Claims

Формула изобретения «Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту»
1. Способ комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния субъекта по аудио-видео данным с использованием комбинаций источников информации, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически- статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки.
2. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в качестве каналов исходных данных используют сочетание мимического и голосового каналов.
3. Способ по п.1 , отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в качестве каналов исходных данных используют сочетание мимического, окулографического и окуломоторного каналов.
4. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в качестве каналов исходных данных используют сочетание мимического, проксемического и кинесического каналов.
5. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в качестве каналов исходных данных используют сочетание мимического канала и канала сигналов вегетативной нервной системы.
6. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в качестве каналов исходных данных используют сочетание мимического и семантического каналов.
7. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с
зз применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в качестве каналов исходных данных используют сочетание голосового, окулографического и окуломоторного каналов.
8. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в качестве каналов исходных данных используют сочетание голосового, проксемического и кинесического каналов.
9. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в качестве каналов исходных данных используют сочетание голосового канала и канала сигналов вегетативной нервной системы.
10. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в качестве каналов исходных данных используют сочетание голосового и семантического каналов.
1 1. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в качестве каналов исходных данных используют сочетание окулографического и окуломоторного канала и проксемического и кинесического канала.
12. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в качестве каналов исходных данных используют сочетание окулографического и окуломоторного канала и канала сигналов вегетативной нервной системы.
13. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в качестве каналов исходных данных используют сочетание окулографического и окуломоторного канала и семантического канала.
14. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в качестве каналов исходных данных используют сочетание проксемического и кинесического канала и канала сигналов вегетативной нервной системы.
15. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в качестве каналов исходных данных используют сочетание проксемического и кинесического канала и семантического канала.
16. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в качестве каналов исходных данных используют сочетание семантического канала и канала сигналов вегетативной нервной системы.
17. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, и включает этапы поиска признаков, очистки признаков, поиска паттернов, классификации паттернов, выбора метода интерпретации и выдачи результата.
18. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором по результатам анализа входящих данных с соответствующих каналов рассчитывается один или несколько интегрированных оценочных показателей состояния живого субъекта, которые затем накладываются на матрицу паттернов с целью определения логической области, характеризующей состояние живого субъекта.
19. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором наблюдение и выдача результатов осуществляются в режиме реального времени (мониторинга).
20. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в состав программно-аппаратного комплекса включается программно- аппаратный модуль машинного видения.
21. Способ по п.1, отличающийся тем, что для его применения используют матрицу классов состояний субъектов, состояние которой оценивается с применением обучаемых компьютерных алгоритмов, а интерпретация результатов осуществляется с применением математически-статистических методов, которые оперируют предварительно составленным банком данных, содержащим сведения о паттернах состояния и их оценки, при котором в состав программно-аппаратного комплекса включается программно- аппаратный модуль сематического распознавания речи.
PCT/RU2018/000230 2017-02-17 2018-04-11 Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту WO2018151628A1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2017105271 2017-02-17
RU2017105271A RU2708807C2 (ru) 2017-02-17 2017-02-17 Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту

Publications (1)

Publication Number Publication Date
WO2018151628A1 true WO2018151628A1 (ru) 2018-08-23

Family

ID=63169603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2018/000230 WO2018151628A1 (ru) 2017-02-17 2018-04-11 Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту

Country Status (2)

Country Link
RU (1) RU2708807C2 (ru)
WO (1) WO2018151628A1 (ru)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493885A (zh) * 2018-11-13 2019-03-19 平安科技（深圳）有限公司 心理状态评估及调节方法、装置及存储介质、服务器
CN110010225A (zh) * 2019-02-22 2019-07-12 张玲 一种基于音视频的心理干预算法
CN110598607A (zh) * 2019-09-02 2019-12-20 中国航天员科研训练中心 非接触式与接触式协同的实时情绪智能监测系统
CN113080969A (zh) * 2021-03-29 2021-07-09 济南大学 基于多模态特征的测谎数据处理方法及系统
US11315040B2 (en) 2020-02-12 2022-04-26 Wipro Limited System and method for detecting instances of lie using Machine Learning model
WO2023218464A1 (en) * 2022-05-12 2023-11-16 Valid.It Evaluation Solutions Ltd Contactless automated and remote polygraph test
RU2810149C1 (ru) * 2023-01-23 2023-12-22 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система автоматической полиграфической проверки с применением двух моделей машинного обучения
CN117530691A (zh) * 2024-01-09 2024-02-09 南通大学 基于室分网络的抑郁倾向检测系统、方法及相关设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL255607A0 (en) 2017-11-12 2017-12-31 Bioeye Ltd A method for the early detection of neurodegeneration using long-term passive tracking of eye markers
WO2021194372A1 (en) * 2020-03-26 2021-09-30 Ringcentral, Inc. Methods and systems for managing meeting notes
CN115099311B (zh) * 2022-06-06 2024-03-19 陕西师范大学 基于脑电时空频特征和眼动特征的多模态情绪分类方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124909A (ja) * 2003-10-24 2005-05-19 Sony Corp 感情情報提示方法、感情情報表示装置及び情報コンテンツの検索方法
RU2415645C1 (ru) * 2009-10-08 2011-04-10 Государственное образовательное учреждение высшего профессионального образования "Саратовский государственный университет им. Н.Г. Чернышевского" Способ диагностики ложности сообщаемой информации по динамике параметров невербального поведения человека

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124909A (ja) * 2003-10-24 2005-05-19 Sony Corp 感情情報提示方法、感情情報表示装置及び情報コンテンツの検索方法
RU2415645C1 (ru) * 2009-10-08 2011-04-10 Государственное образовательное учреждение высшего профессионального образования "Саратовский государственный университет им. Н.Г. Чернышевского" Способ диагностики ложности сообщаемой информации по динамике параметров невербального поведения человека

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHAIKOVSKY I. A. ET AL.: "Otsenka psikhicheskogo napriazheniya operatora na emotsionalno znachimye situatsii", UKRASHSKII ZHURNAL Z PROBLEM MEDITSINI PRATSI, vol. 2, no. 43, 2015, pages 41 - 51 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493885A (zh) * 2018-11-13 2019-03-19 平安科技（深圳）有限公司 心理状态评估及调节方法、装置及存储介质、服务器
CN110010225A (zh) * 2019-02-22 2019-07-12 张玲 一种基于音视频的心理干预算法
CN110598607A (zh) * 2019-09-02 2019-12-20 中国航天员科研训练中心 非接触式与接触式协同的实时情绪智能监测系统
CN110598607B (zh) * 2019-09-02 2022-04-15 中国航天员科研训练中心 非接触式与接触式协同的实时情绪智能监测系统
US11315040B2 (en) 2020-02-12 2022-04-26 Wipro Limited System and method for detecting instances of lie using Machine Learning model
CN113080969A (zh) * 2021-03-29 2021-07-09 济南大学 基于多模态特征的测谎数据处理方法及系统
WO2023218464A1 (en) * 2022-05-12 2023-11-16 Valid.It Evaluation Solutions Ltd Contactless automated and remote polygraph test
RU2810149C1 (ru) * 2023-01-23 2023-12-22 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система автоматической полиграфической проверки с применением двух моделей машинного обучения
CN117530691A (zh) * 2024-01-09 2024-02-09 南通大学 基于室分网络的抑郁倾向检测系统、方法及相关设备
CN117530691B (zh) * 2024-01-09 2024-04-09 南通大学 基于室分网络的抑郁倾向检测系统、方法及相关设备

Also Published As

Publication number Publication date
RU2708807C2 (ru) 2019-12-11
RU2017105271A3 (ru) 2018-08-17
RU2017105271A (ru) 2018-08-17

Similar Documents

Publication Publication Date Title
RU2708807C2 (ru) Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту
Zepf et al. Driver emotion recognition for intelligent vehicles: A survey
Bota et al. A review, current challenges, and future possibilities on emotion recognition using machine learning and physiological signals
CN110507335B (zh) 基于多模态信息的服刑人员心理健康状态评估方法及系统
US20210106265A1 (en) Real time biometric recording, information analytics, and monitoring systems and methods
Grabowski et al. Emotional expression in psychiatric conditions: New technology for clinicians
US20200388287A1 (en) Intelligent health monitoring
KR102277820B1 (ko) 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법
Al Osman et al. Multimodal affect recognition: Current approaches and challenges
Rahman et al. Non-contact-based driver’s cognitive load classification using physiological and vehicular parameters
KR101854812B1 (ko) 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
Mendoza-Palechor et al. Affective recognition from EEG signals: an integrated data-mining approach
Zitouni et al. LSTM-modeling of emotion recognition using peripheral physiological signals in naturalistic conversations
Balamurugan et al. Brain–computer interface for assessment of mental efforts in e‐learning using the nonmarkovian queueing model
Bhatt et al. Machine learning for cognitive behavioral analysis: datasets, methods, paradigms, and research directions
Dar et al. YAAD: young adult’s affective data using wearable ECG and GSR sensors
Mateos-García et al. Driver Stress Detection from Physiological Signals by Virtual Reality Simulator
Haque et al. State-of-the-art of stress prediction from heart rate variability using artificial intelligence
Setiawan et al. Fine-grained emotion recognition: fusion of physiological signals and facial expressions on spontaneous emotion corpus
Jaswal et al. Empirical analysis of multiple modalities for emotion recognition using convolutional neural network
Chaptoukaev et al. StressID: a Multimodal Dataset for Stress Identification
Rieg et al. Machine learning-based diagnosis of epilepsy in clinical routine: Lessons learned from a retrospective pilot study
El Arbaoui et al. A Survey on the Application of the Internet of Things in the Diagnosis of Autism Spectrum Disorder
Buck et al. Measuring the dynamic stream of display: Spontaneous and intentional facial expression and communication.
Ekiz et al. Long short-term memory network based unobtrusive workload monitoring with consumer grade smartwatches

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18753678

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 29.11.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 18753678

Country of ref document: EP

Kind code of ref document: A1