RU2718868C1 - Diagnostic method of psychoemotional state by voice - Google Patents
Diagnostic method of psychoemotional state by voice Download PDFInfo
- Publication number
- RU2718868C1 RU2718868C1 RU2019119280A RU2019119280A RU2718868C1 RU 2718868 C1 RU2718868 C1 RU 2718868C1 RU 2019119280 A RU2019119280 A RU 2019119280A RU 2019119280 A RU2019119280 A RU 2019119280A RU 2718868 C1 RU2718868 C1 RU 2718868C1
- Authority
- RU
- Russia
- Prior art keywords
- voice
- change
- time axis
- intensity
- value
- Prior art date
Links
- 238000002405 diagnostic procedure Methods 0.000 title description 2
- 230000002996 emotional effect Effects 0.000 claims abstract description 16
- 208000019901 Anxiety disease Diseases 0.000 claims abstract description 13
- 230000036506 anxiety Effects 0.000 claims abstract description 13
- 230000016571 aggressive behavior Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 29
- 230000008451 emotion Effects 0.000 claims description 10
- 208000027534 Emotional disease Diseases 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract 1
- 230000008909 emotion recognition Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 7
- 230000007774 longterm Effects 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 101710096660 Probable acetoacetate decarboxylase 2 Proteins 0.000 description 1
- 241001351225 Sergey Species 0.000 description 1
- 206010040914 Skin reaction Diseases 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000035483 skin reaction Effects 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
Изобретение относится к средствам распознавания эмоциональных состояний человека по анализу голосоречевого сигнала, и может быть использовано в медицине, а именно в функциональной диагностике, в психологии, педагогике, социальной работе и в современных инфокоммуникационных системах, а также при массовых обследованиях детей с целью выявления неинвазивным методом психоэмоциональных нарушений: тревожности, депрессивности, агрессивности, а также может применяться в интеллектуальных инфокоммуникационных системах, для определения ряда кратковременных и долговременных эмоциональных состояний.The invention relates to recognition of emotional states of a person by analyzing a voice-speech signal, and can be used in medicine, namely in functional diagnostics, in psychology, pedagogy, social work and modern infocommunication systems, as well as in mass examinations of children in order to identify a non-invasive method psycho-emotional disorders: anxiety, depression, aggressiveness, and can also be used in intelligent infocommunication systems, to determine the number of Tap and long-term emotional states.
Современные исследования показывают, что на сегодняшний день в мире не уменьшается количество лиц, страдающих различными психологическими расстройствами: депрессией, тревожностью, агрессивностью. Подобные психоэмоциональные нарушения в значительной мере отражаются на речи человека, в частности, ребенка [Чухрова М.Г. Взаимосвязь психоэмоционального состояния младших школьников и их голосоречевых характеристик // Наука и социум / Мат. Всерос. Науч.-практ. конф. с междунар.участием. 1 марта 2018 г. - Новосибирск: Изд-во ЧУДПО СИПППиСР. - с. 99-104.], Их своевременное выявление способно предотвратить ряд осложнений и оказать эффективную и своевременную психологическую или врачебную помощь. Раньше подобные изменения голоса пациента определялись специалистом на слух. Однако данный способ является субъективным, зависит от профессионализма специалиста, а также имеет большую вероятность ошибки. К тому же очень тяжело отследить подобные изменения в динамике. С развитием технологий цифровой обработки сигнала появилась возможность переложить эту функцию на интеллектуальные системы обработки сигналов. Такой способ количественной оценки наличия и степени выраженности той или иной эмоциональной составляющей позволит выявлять ряд психоэмоциональных нарушений на ранней стадии и с высокой точностью, а также объективно оценивать динамику их изменений во времени, в том числе и в процессе проведения того или иного вида терапии.Modern studies show that today the number of people suffering from various psychological disorders is not decreasing in the world: depression, anxiety, aggressiveness. Such psychoemotional disturbances are largely reflected in the speech of a person, in particular, a child [Chukhrova MG The relationship of the psycho-emotional state of younger students and their voice and speech characteristics // Science and Society / Mat. Vseros. Scientific Pract. conf. with international participation. March 1, 2018 - Novosibirsk: Publishing House CHUDPO SIPPPiSR. - from. 99-104.], Their timely detection can prevent a number of complications and provide effective and timely psychological or medical assistance. Previously, such changes in the patient’s voice were determined by a specialist by ear. However, this method is subjective, it depends on the professionalism of the specialist, and also has a high probability of error. In addition, it is very difficult to track such changes in dynamics. With the development of digital signal processing technologies, it became possible to shift this function to intelligent signal processing systems. This method of quantifying the presence and severity of a particular emotional component will allow us to identify a number of psychoemotional disorders at an early stage and with high accuracy, as well as objectively assess the dynamics of their changes over time, including during the course of a particular type of therapy.
Подобные методики обнаружения голоса также находят эффективное применение в ряде информационных и инфокоммуникационных технологиях, использующихся в различных специальных системах, в том числе и для русскоговорящих абонентов.Similar voice detection techniques are also effectively used in a number of information and information and communication technologies used in various special systems, including for Russian-speaking subscribers.
Известны способы диагностики психоэмоционального состояния по голосу (патенты RU 2068653 Способ оценки эмоциональной и стрессовой напряженности, Аракелов Геннадий Гургенович, Караваев Сергей Юрьевич, дата приоритета 10.11.1996 и RU 2073484 Способ определения эмоционального стресса и устройство для его осуществления, Юматов Е.А., Судаков К.В., Тараканов О.П. дата приоритета 20.02.1997). Методики, изложенные в патентах включают в себя регистрацию кожно-гальванической реакции, частоты сердечных сокращений и частоты дыхания. Определяется динамика изменения каждого из параметров, которая и предоставляет информацию о наличии у испытуемого эмоциональной напряженности.Known methods for diagnosing psycho-emotional state by voice (patents RU 2068653 Method for assessing emotional and stress tension, Gennady Arakelov, Sergey Yuryevich Karavaev, priority date 10.11.1996 and RU 2073484 Method for determining emotional stress and a device for its implementation, Yumatov EA, Sudakov K.V., Tarakanov O.P. priority date 02.20.1997). The techniques set forth in the patents include recording a galvanic skin reaction, heart rate, and respiratory rate. The dynamics of changes in each of the parameters is determined, which provides information on the presence of emotional tension in the subject.
Данные аналоги имеют ряд недостатков, заключающихся главным образом в том, что для обнаружения эмоций обязательным является использование датчиков, что делает невозможным использование данных методов в ряде современных информационных систем, работающих удаленно.These analogs have a number of disadvantages, which are mainly that the use of sensors is mandatory for detecting emotions, which makes it impossible to use these methods in a number of modern information systems that work remotely.
Известен способ диагностики психоэмоционального состояния по голосовому сигналу, предложенный В.П. Морозовым [В.П. Морозов. Невербальная коммуникация: Экспериментально-психологическое исследование. - М.: Изд-во «Институт психологии РАН», 2011. - 528 с.]. В основе данного способа лежит анализ ряда голосовых характеристик, среди которых изменение высокой певческой форманты (ВПФ), как спектральной характеристики, отображающей тембр голоса; изменение частоты основного тона (ЧОТ), как характеристики интонации и мелодики голоса; темпоритмические характеристики, такие как длительность фронтов нарастания и спада звука; сила голоса, как энергетическая характеристика сигнала.A known method for the diagnosis of psycho-emotional state by voice signal, proposed by V.P. Morozov [V.P. Morozov. Non-verbal communication: An experimental psychological study. - M .: Publishing House "Institute of Psychology RAS", 2011. - 528 p.]. The basis of this method is the analysis of a number of voice characteristics, among which a change in the high singing formant (HF), as a spectral characteristic that displays the timbre of a voice; change in the frequency of the fundamental tone (CHOT), as characteristics of intonation and melody of a voice; temporalistic characteristics, such as the duration of the rise and fall fronts of sound; voice power, as the energy characteristic of a signal.
Данный метод диагностики имеет ряд недостатков. Во-первых, необходимо постоянное присутствие специалиста, процесс комплексного акустического анализа сигнала не автоматизирован. Во-вторых, тембральные характеристики голоса оцениваются лишь одним параметров ВПФ, что не позволяет диагностировать ряд распространенных психоэмоциональных нарушений, таких как тревога, депрессия, агрессия, аутоагрессия, особенно распространенных не только среди взрослых, но и среди детей школьного и младшего школьного возраста.This diagnostic method has several disadvantages. Firstly, the constant presence of a specialist is necessary; the process of complex acoustic signal analysis is not automated. Secondly, the timbral characteristics of the voice are evaluated only by one of the parameters of HMF, which does not allow to diagnose a number of common psycho-emotional disorders, such as anxiety, depression, aggression, auto-aggression, especially common not only among adults, but also among children of school and primary school age.
Наиболее близким по технической сущности к заявляемому способу и выбранным в качестве прототипа является способ диагностики психоэмоционального состояния по голосу (патент RU 2510955 Способ обнаружения эмоций по голосу, Сайтов Игорь Акрамович, Басов Олег Олегович, Ягупов Владимир Александрович дата приоритета 12.03.2012), заключающийся в том, что обнаруживают интенсивности голоса и темпа, определяемого скоростью, с которой появляется голос, соответственно, и обнаруживают в виде величины времени интонацию, которая отражает рисунок изменения интенсивности в каждом слове, выполняемом голосом, на основе введенного голосового сигнала; получают первую величину изменения, указывающую изменение интенсивности обнаруженного голоса в направлении оси времени, и вторую величину изменения, указывающую изменение темпа голоса в направлении оси времени, и третью величину изменения, указывающую изменение интонации голоса в направлении оси времени, отличающийся тем, что вводят голосовой сигнал русскоязычного абонента, а затем обнаруживают интенсивности голоса и темпа; после того как получают третью величину измерения, обнаруживают ЧОТ голосового сигнала и получают четвертую величину изменения, указывающую изменение ЧОТ в направлении оси времени; генерируют сигналы, выражающие эмоциональное состояние гнева, страха, печали и удовольствия, соответственно, на основе указанных первой, второй, третьей и четвертой величин изменения.The closest in technical essence to the claimed method and selected as a prototype is a method for diagnosing a psychoemotional state by voice (patent RU 2510955 Method for detecting emotions by voice, Sites Igor Akramovich, Oleg Olegovich Basov, Vladimir Aleksandrovich Yagupov priority date 12.03.2012), which consists in that they detect the intensity of the voice and the pace, determined by the speed with which the voice appears, respectively, and detect intonation as a time value, which reflects the pattern of change in intensities in each word performed by the voice based on the inputted voice signal; receive a first change amount indicating a change in the intensity of the detected voice in the direction of the time axis, and a second change value indicating a change in the pace of the voice in the direction of the time axis, and a third change value indicating the change in voice intonation in the direction of the time axis, characterized in that the voice signal is input Russian-speaking subscriber, and then detect the intensity of the voice and pace; after the third measurement value is received, the frequency response of the voice signal is detected and the fourth change value is obtained, indicating the change in frequency in the direction of the time axis; generate signals expressing the emotional state of anger, fear, sadness and pleasure, respectively, based on the indicated first, second, third and fourth magnitudes of change.
Способ-прототип предусматривает распознавание эмоций на основе изменений значений ЧОТ во времени, интенсивности, и темпоритма.The prototype method involves the recognition of emotions based on changes in the values of the frequency response in time, intensity, and tempo.
Недостаток данного способа заключается в том, что проведенные исследования показывают [Чухрова М.Г. Взаимосвязь психоэмоционального состояния младших школьников и их голосоречевых характеристик // Наука и социум / Мат. Всерос. Науч.-практ. конф. с междунар. участием. 1 марта 2018 г. - Новосибирск: Изд-во ЧУДПО СИПППиСР. - с. 99-104.], что эмоциональное состояние человека главным образом влияет на целый ряд спектральных характеристик голосового сигнала, и не может быть оценено лишь частотой основного тона. Исследования показывают, что сигнал до 200-300 Гц несет в себе в первую очередь информацию о вербальной составляющей сигнала. Если же пропустить голосовой сигнал через цифровой фильтр, удаляющий частоты до 300 Гц, то полученный сигнал не будет нести вербальную (информационную) составляющую, а информация об эмоциональной составляющей, напротив, сохранится.The disadvantage of this method is that the studies show [Chukhrova MG The relationship of the psycho-emotional state of younger students and their voice and speech characteristics // Science and Society / Mat. Vseros. Scientific Pract. conf. from the international participation. March 1, 2018 - Novosibirsk: Publishing House CHUDPO SIPPPiSR. - from. 99-104.] That the emotional state of a person mainly affects a number of spectral characteristics of a voice signal, and cannot be estimated only by the frequency of the fundamental tone. Studies show that a signal up to 200-300 Hz primarily carries information about the verbal component of the signal. If you pass a voice signal through a digital filter that removes frequencies up to 300 Hz, then the received signal will not carry a verbal (informational) component, and information about the emotional component, on the contrary, will be preserved.
К еще одному недостатку способа-прототипа можно отнести тот факт, что изменение ЧОТ, не способно обнаружить в голосовом сигнале такие распространенные долговременные психоэмоциональные нарушения как тревога, депрессия, агрессия, аутоагрессия.Another disadvantage of the prototype method can be attributed to the fact that the change in CHOT is not able to detect such widespread long-term psycho-emotional disorders in the voice signal as anxiety, depression, aggression, auto-aggression.
Техническим результатом изобретения является повышение точности определения эмоционального состояния говорящего, и выявление психоэмоциональных расстройств, такие, как тревожность, депрессивность, агрессивность, аутоагрессия.The technical result of the invention is to increase the accuracy of determining the emotional state of the speaker, and the identification of psychoemotional disorders, such as anxiety, depression, aggressiveness, autoaggression.
В заявленном способе эта задача решается обнаруживают интенсивности голоса и темпа, определяемого скоростью, с которой появляется голос, соответственно, и обнаруживают в виде величины времени интонацию, которая отражает рисунок изменения интенсивности в каждом слове, выполняемом голосом, на основе введенного голосового сигнала; получают первую величину изменения, указывающую изменение интенсивности обнаруженного голоса в направлении оси времени, и вторую величину изменения, указывающую изменение темпа голоса в направлении оси времени, и третью величину изменения, указывающую изменение интонации голоса в направлении оси времени, отличающийся тем, что вводят голосовой сигнал русскоязычного абонента, обнаруживают интенсивности голоса и темпа; после того как получают третью величину измерения, обнаруживают ЧОТ голосового сигнала и получают четвертую величину изменения, указывающую изменение ЧОТ в направлении оси времени; дополнительно обнаруживают величину коэффициента голосовой гармонизации и получают пятую величину изменения, указывающую изменение коэффициента голосовой гармонизации в направлении оси времени, генерируют сигналы, выражающие эмоциональное состояние гнева, страха, печали и удовольствия, соответственно, а также такие психоэмоциональные нарушения, как тревога, депрессия, агрессия, аутоагрессия на основе указанных первой, второй, третьей, четвертой и пятой величин изменения.In the claimed method, this problem is solved by detecting the intensity of the voice and the pace, determined by the speed with which the voice appears, respectively, and detecting in the form of a time value intonation, which reflects the pattern of the change in intensity in each word performed by the voice, based on the input voice signal; receive a first change amount indicating a change in the intensity of the detected voice in the direction of the time axis, and a second change value indicating a change in the pace of the voice in the direction of the time axis, and a third change value indicating the change in voice intonation in the direction of the time axis, characterized in that the voice signal is input Russian-speaking subscriber, detect voice intensity and pace; after the third measurement value is received, the frequency response of the voice signal is detected and the fourth change value is obtained, indicating the change in frequency in the direction of the time axis; additionally detect the value of the coefficient of voice harmonization and get the fifth magnitude of the change, indicating a change in the coefficient of voice harmonization in the direction of the time axis, generate signals expressing the emotional state of anger, fear, sadness and pleasure, respectively, as well as such psychoemotional disturbances as anxiety, depression, aggression , autoaggression based on the indicated first, second, third, fourth and fifth magnitudes of change.
Новая совокупность существенных признаков позволяет достичь указанного технического результата за счет обнаружения изменения коэффициента голосовой гармонизации (КГГ), как параметра, определяющего тембральные изменения голоса. Введения данного параметра позволяет определять ряд базовых кратковременных эмоциональных состояний (гнев, страх, печаль, удовольствие) в совокупности с четырьмя другими величинами, так и может автономно, вне зависимости от значений других величин, обнаружить в речи говорящего такие долговременные психоэмоциональные расстройства, как тревога, депрессия, агрессия и аутоагрессия.A new set of essential features allows you to achieve the specified technical result by detecting changes in the coefficient of voice harmonization (KGG), as a parameter that determines the tonal changes in the voice. Introducing this parameter allows you to determine a number of basic short-term emotional states (anger, fear, sadness, pleasure) in combination with four other quantities, and it can independently, regardless of the values of other quantities, detect such long-term psycho-emotional disorders in the speaker’s speech as anxiety, depression, aggression and autoaggression.
Проведенный анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностью признаков, тождественных всем признакам заявленного способа обнаружения эмоций, отсутствуют. Следовательно, заявленное изобретение соответствует условию патентоспособности «новизна».The analysis of the prior art made it possible to establish that analogues, characterized by a set of features identical to all the features of the claimed method for detecting emotions, are absent. Therefore, the claimed invention meets the condition of patentability "novelty."
Результаты поиска известных решений в данной и смежных областях техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявленного объекта, показали, что они не следуют явным образом из уровня техники. Из уровня техники также не выявлена известность влияния предусматриваемых существенными признаками заявленного изобретения преобразований на достижение указанного технического результата. Следовательно, заявленное изобретение соответствует условию патентоспособности «изобретательский уровень».Search results for known solutions in this and related fields of technology in order to identify features that match the distinctive features of the claimed object from the prototype showed that they do not follow explicitly from the prior art. The prior art also did not reveal the popularity of the impact provided by the essential features of the claimed invention transformations to achieve the specified technical result. Therefore, the claimed invention meets the condition of patentability "inventive step".
На чертеже представлен вариант реализации системы обнаружения эмоций по голосу, согласно предлагаемому способу, которая включает в себя микрофон (1), аналогово-цифровой преобразователь (АЦП) (2), блок обработки сигнала (3), блок обнаружения интенсивности (4), блок обнаружения ЧОТ (5), блок обнаружения фонем (6), блок обнаружения слов (7), блок обнаружения коэффициента голосовой гармонизации (КГГ) (8), блок временного хранения данных (9), блок обнаружения изменения интенсивности (10), блок обнаружения изменения ЧОТ (11), блок обнаружения изменения темпа речи (12), блок обнаружения изменения тембра (13), блок диагностики психоэмоционального состояния (14).The drawing shows an embodiment of a system for detecting emotions by voice, according to the proposed method, which includes a microphone (1), an analog-to-digital converter (ADC) (2), a signal processing unit (3), an intensity detection unit (4), a unit CHOT detection (5), phoneme detection unit (6), word detection unit (7), voice harmonization coefficient detection unit (KGG) (8), temporary data storage unit (9), intensity change detection unit (10), detection unit CHOT changes (11), the rate change detection unit re chi (12), a block for detecting changes in timbre (13), a unit for diagnosing a psychoemotional state (14).
Реализация заявленного способа заключается в следующем.The implementation of the claimed method is as follows.
Голосовой сигнал поступает на микрофон 1, при помощи усилителя и АЦП 2 преобразуется в цифровой сигнал, который поступает в блок обработки сигналов 3. В данном блоке происходит цифровая обработка сигналов и вычисление необходимых параметров. После блока обработки сигналов 3 полученная информация анализируется каждым блоком 4-8 в отдельности, для получения совокупности акустических характеристик.The voice signal is transmitted to
Блок 4 обнаружения интенсивности определяет интенсивность сигнала в каждый момент времени, заранее сегментированного блоком обработки сигналов 3. При этом интенсивность может определяться, как усредненная за данный промежуток времени величина, однако при этом данный блок обязательно учитывает характеристики микрофона 1 (чувствительность, диапазон, направленность), которые необходимы для точного определения интенсивности сигнала.The
Блок 5 обнаружения ЧОТ производит быстрое преобразование Фурье (FastFourierTransmission - FFT) полученного после блока 3 сигнала, для получения спектра. Из полученного спектра выделяется частота, соответствующая первой гармонике сигнала - частота основного тона. Ее значение не усредняется, а считается после спектрального анализа всего массива, сегментированного блоком 3. Алгоритм поиска частоты основного тона может быть реализован, например, в соответствии с известным решением (патент №78977 дата приоритета 10.12.2008).The
Блок 6 обнаружения фонем реализует сегментацию сигнала путем нахождения момента начала фонемы и фиксацию времени до появления следующей фонемы, что впоследствии определяет темпоритмический рисунок речи.The
Блок 7 обнаружения слов реализует сегментацию словесной структуры сигнала и может быть реализован, например, в соответствии с решением, приведенным в прототипе (патент RU 2510955 Способ обнаружения эмоций по голосу, Сайтов Игорь Акрамович, Басов Олег Олегович, Ягупов Владимир Александрович дата приоритета 12.03.2012).
Блок 8 КГГ рассчитывает различные вариации коэффициента согласно патент RU 2433488 Способ выявления патологии голосоведения в речи, Воронин Евгений Михайлович, Дериглазов С.С, Ламтюгин Д.В., Макуха В.К., Марков А.В., Фетисова О.Г. дата приоритета 09.02.2010). Для этого необходимо получить спектр сигнала, поступившего на вход блока 8. Далее из спектра получить значения соответствующих гармоник. Отношение суммы определенного набора относительно высокочастотных гармоник к сумме определенного набора относительно низкочастотных гармоник и будет представлять собой значение данного коэффициента. При этом номера гармоник подбираются в зависимости от типа определяемого психоэмоционального расстройства. Так для депрессии и соответствующих ей психоэмоциональных состояний наиболее показательным является значение КГГ, где в качестве высокочастотных гармоник выбрана 4 гармоника, а в качестве низкочастотных 1 и 2. Введение в систему данного блока и характерной особенностью предлагаемого решения является возможность диагностирования некоторых долговременных психоэмоциональных расстройств в частности тревоги, депрессии, агрессии и аутоагрессии за счет расчета и отслеживания изменений во времени только данного коэффициента голосовой гармонизации, получаемого в блоке 108. В этом случае получение параметров блоков 4-7 не является обязательным, а лишь может уточнить точность определения кратковременных эмоций.
Блок 9 временного хранения данных предназначен для реализации возможности получения временной картины изменений получаемых параметров. За счет реализации такой динамической регистрации блоки 10-13 обнаруживают временные зависимости каждого из получаемых параметров, что непосредственно является объективными характеристиками эмоциональной составляющей голосоречевого сигнала. Так блок 11 обнаружения изменения ЧОТ позволяет получить объективную информацию об интонации голосового сообщения. Блок 12 определяет темпоритимические характеристики базируясь на временных интервалах, определяемых блоками 6 и 7. Блок 13 определяет изменение значения КГГ во времени, что позволяет получить картину изменений тембра голосового сигнала.
Блок 14 диагностики психоэмоционального состояния получает на вход зависимости изменений параметров блоков 10-13 от времени и на основании входных данных делается вывод о наличии в голосовом сообщении того или иного типа эмоции или психоэмоционального нарушения.
Заявленный способ обнаружения эмоций по голосу обеспечивает повышение точности определения кратковременного эмоционального состояния русскоговорящего человека, а также позволяет определить ряд долговременных психоэмоциональных нарушений, таких как тревога, депрессия, агрессия, аутоагрессия.The claimed method for detecting emotions by voice provides increased accuracy in determining the short-term emotional state of a Russian-speaking person, and also allows you to determine a number of long-term psycho-emotional disorders, such as anxiety, depression, aggression, auto-aggression.
Для доказательства достижения заявленного технического результата приведены следующие экспериментальные исследования. Было протестировано 38 школьников младшего школьного возраста, среди которых, была контрольная группа (10 человек) школьников, не имеющих каких-либо психоэмоциональных расстройств, и экспериментальной группы имеющие следующие психоэмоциональных нарушения: тревога (6), депрессия (8), агрессия (7), аутоагрессия (7). Результаты оценивания согласно способу-прототипу и предлагаемому способу указывают на повышение точности определения данных психоэмоциональных нарушений взаявляемом способе и на возможность решения поставленной задачи изобретения.To prove the achievement of the claimed technical result, the following experimental studies are given. 38 schoolchildren of primary school age were tested, among which there was a control group (10 people) of schoolchildren who did not have any psycho-emotional disorders, and an experimental group with the following psycho-emotional disorders: anxiety (6), depression (8), aggression (7) autoaggression (7). The evaluation results according to the prototype method and the proposed method indicate an increase in the accuracy of determination of these psychoemotional disturbances of the claimed method and the possibility of solving the problem of the invention.
Пример.Example.
Анализ голосоречевого профиля в сравнении экспериментальной и контрольной групп представлен в табл. 1, 2. В табл. 1 представлены голосоречевые характеристики детей из контрольной группы, здоровый контингент, в возрасте от 6 до 9 лет, из них 10 мальчиков и 15 девочек.The analysis of the voice-speech profile in comparison of the experimental and control groups is presented in table. 1, 2. In the table. 1 shows the voice-speech characteristics of children from the control group, a healthy contingent, aged 6 to 9 years, of which 10 boys and 15 girls.
В табл. 2 представлены голосоречевые характеристики детей из экспериментальной группы, в возрасте от 6 до 9 лет, из них 14 мальчиков и 11 девочек. Дети страдают различными формами психоэмоциональных нарушений: агрессивность, депрессивность, тревожность.In the table. 2 shows the voice and speech characteristics of children from the experimental group, aged 6 to 9 years, of which 14 are boys and 11 girls. Children suffer from various forms of psycho-emotional disorders: aggressiveness, depression, anxiety.
При сопоставлении результатов оценки голосоречевых характеристик в контрольной и экспериментальной выборках был установлен ряд различий, который касался всех исследуемых голосоречевых характеристик. Статистический анализ по методу Стьюдента показал достоверность выявленных различий на уровне р<0,005-0,001.When comparing the results of the assessment of voice and speech characteristics in the control and experimental samples, a number of differences were established that applied to all the studied voice and speech characteristics. Statistical analysis by the student method showed the reliability of the revealed differences at the level of p <0.005-0.001.
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019119280A RU2718868C1 (en) | 2019-06-19 | 2019-06-19 | Diagnostic method of psychoemotional state by voice |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019119280A RU2718868C1 (en) | 2019-06-19 | 2019-06-19 | Diagnostic method of psychoemotional state by voice |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2718868C1 true RU2718868C1 (en) | 2020-04-15 |
Family
ID=70277811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2019119280A RU2718868C1 (en) | 2019-06-19 | 2019-06-19 | Diagnostic method of psychoemotional state by voice |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2718868C1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2776392C1 (en) * | 2021-12-30 | 2022-07-19 | Федеральное государственное бюджетное учреждение науки "Санкт-Петербургский Федеральный исследовательский центр Российской академии наук" | Method for recognition of functional condition “psychoemotional stress” |
| CN118588064A (en) * | 2024-07-31 | 2024-09-03 | 金纪科技有限公司 | Non-contact type remaining talking false audio detection method and system |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2068653C1 (en) * | 1995-08-24 | 1996-11-10 | Геннадий Гургенович Аракелов | Method for estimating emotional and stress tensity |
| RU2073484C1 (en) * | 1993-05-17 | 1997-02-20 | Юматов Евгений Антонович | Method and device for psychologic stress estimation |
| RU78977U1 (en) * | 2008-06-30 | 2008-12-10 | Государственное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) | TONE AND TONE NOISE ANALYZER |
| US7778730B2 (en) * | 2005-12-09 | 2010-08-17 | Electronics And Telecommunications Research Institute | Robot for generating multiple emotions and method of generating multiple emotions in robot |
| RU2433488C1 (en) * | 2010-02-09 | 2011-11-10 | Государственное образовательное учреждение высшего профессионального образования "Новосибирский государственный технический университет" | Method of detecting pathology of voice leading in speech |
| US8204747B2 (en) * | 2006-06-23 | 2012-06-19 | Panasonic Corporation | Emotion recognition apparatus |
| RU2510955C2 (en) * | 2012-03-12 | 2014-04-10 | Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) | Method of detecting emotions from voice |
-
2019
- 2019-06-19 RU RU2019119280A patent/RU2718868C1/en active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2073484C1 (en) * | 1993-05-17 | 1997-02-20 | Юматов Евгений Антонович | Method and device for psychologic stress estimation |
| RU2068653C1 (en) * | 1995-08-24 | 1996-11-10 | Геннадий Гургенович Аракелов | Method for estimating emotional and stress tensity |
| US7778730B2 (en) * | 2005-12-09 | 2010-08-17 | Electronics And Telecommunications Research Institute | Robot for generating multiple emotions and method of generating multiple emotions in robot |
| US8204747B2 (en) * | 2006-06-23 | 2012-06-19 | Panasonic Corporation | Emotion recognition apparatus |
| RU78977U1 (en) * | 2008-06-30 | 2008-12-10 | Государственное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) | TONE AND TONE NOISE ANALYZER |
| RU2433488C1 (en) * | 2010-02-09 | 2011-11-10 | Государственное образовательное учреждение высшего профессионального образования "Новосибирский государственный технический университет" | Method of detecting pathology of voice leading in speech |
| RU2510955C2 (en) * | 2012-03-12 | 2014-04-10 | Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) | Method of detecting emotions from voice |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2776392C1 (en) * | 2021-12-30 | 2022-07-19 | Федеральное государственное бюджетное учреждение науки "Санкт-Петербургский Федеральный исследовательский центр Российской академии наук" | Method for recognition of functional condition “psychoemotional stress” |
| CN118588064A (en) * | 2024-07-31 | 2024-09-03 | 金纪科技有限公司 | Non-contact type remaining talking false audio detection method and system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Moran et al. | Telephony-based voice pathology assessment using automated speech analysis | |
| Orozco-Arroyave et al. | Characterization methods for the detection of multiple voice disorders: neurological, functional, and laryngeal diseases | |
| US7565285B2 (en) | Detecting near-term suicidal risk utilizing vocal jitter | |
| Low et al. | Influence of acoustic low-level descriptors in the detection of clinical depression in adolescents | |
| CN107622797B (en) | Body condition determining system and method based on sound | |
| Godino-Llorente et al. | Pathological likelihood index as a measurement of the degree of voice normality and perceived hoarseness | |
| Shin et al. | Automatic detection system for cough sounds as a symptom of abnormal health condition | |
| Hudson et al. | A study of the frequency reading fundamental vocal of young Black adults | |
| Dhupati et al. | A novel drowsiness detection scheme based on speech analysis with validation using simultaneous EEG recordings | |
| Upadhya et al. | Thomson Multitaper MFCC and PLP voice features for early detection of Parkinson disease | |
| Roy et al. | Exploring the clinical utility of relative fundamental frequency as an objective measure of vocal hyperfunction | |
| EP1829025A1 (en) | Method and system of indicating a condition of an individual | |
| US20200229752A1 (en) | Cognitive function evaluation device, cognitive function evaluation system, and cognitive function evaluation method | |
| Zakariah et al. | [Retracted] An Analytical Study of Speech Pathology Detection Based on MFCC and Deep Neural Networks | |
| Cordella et al. | Classification-based screening of Parkinson’s disease patients through voice signal | |
| Almaghrabi et al. | Bio-acoustic features of depression: A review | |
| Sigmund | Statistical analysis of fundamental frequency based features in speech under stress | |
| Bugdol et al. | Prediction of menarcheal status of girls using voice features | |
| US7191134B2 (en) | Audio psychological stress indicator alteration method and apparatus | |
| Godino-Llorente et al. | Support vector machines applied to the detection of voice disorders | |
| Castellana et al. | Cepstral Peak Prominence Smoothed distribution as discriminator of vocal health in sustained vowel | |
| Cordeiro et al. | Spectral envelope first peak and periodic component in pathological voices: A spectral analysis | |
| Ozdas et al. | Analysis of fundamental frequency for near term suicidal risk assessment | |
| Sharma et al. | Processing and analysis of human voice for assessment of Parkinson disease | |
| Milani et al. | A real-time application to detect human voice disorders |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TC4A | Change in inventorship |
Effective date: 20200904 |