WO2021073646A1 - 一种基于语言引导与心率反应来评估情绪特征的方法 - Google Patents

一种基于语言引导与心率反应来评估情绪特征的方法 Download PDF

Info

Publication number
WO2021073646A1
WO2021073646A1 PCT/CN2020/121972 CN2020121972W WO2021073646A1 WO 2021073646 A1 WO2021073646 A1 WO 2021073646A1 CN 2020121972 W CN2020121972 W CN 2020121972W WO 2021073646 A1 WO2021073646 A1 WO 2021073646A1
Authority
WO
WIPO (PCT)
Prior art keywords
heart rate
guidance
voice
emotional
events
Prior art date
Application number
PCT/CN2020/121972
Other languages
English (en)
French (fr)
Inventor
张骏
Original Assignee
四川大学华西医院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 四川大学华西医院 filed Critical 四川大学华西医院
Publication of WO2021073646A1 publication Critical patent/WO2021073646A1/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02444—Details of sensor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Definitions

  • the invention relates to a psychological evaluation method, in particular to a method for evaluating emotional characteristics based on language guidance and heart rate response.
  • Emotions are closely related to physical and behavioral changes, especially heart rate changes and speech expression.
  • Past emotional experiences are stored in memory through events.
  • the person is referred to past events or narrates and expresses past events, the emotions will be reproduced, and the corresponding heart rate and speech expression will change, that is, the phonetic characteristics of the voice will change.
  • heart rate response or changes in voice characteristics it is necessary to clarify the relationship between extreme emotional events and heart rate response and voice characteristics, and establish the basic relationship between personal emotions and heart rate, emotions and voice characteristics. Therefore, it is very necessary to establish a method based on normative voice guidance, heart rate response and voice characteristics of the client to evaluate the emotional characteristics of the client.
  • the present invention aims to provide a method for evaluating emotional characteristics based on language guidance and heart rate response, which can identify and record heart rate and voice characteristics under normative guidance voices awakened by different extreme emotional events.
  • the method for evaluating the emotional characteristics of the party disclosed in the present invention is based on standardized voice guidance and the party’s heart rate reaction and the voice characteristics of the response, including identifying and recording heart rate changes.
  • the identifying and recording of heart rate changes includes:
  • the heart rate change automatic identification method uses a sensor combined with a data processing device to automatically display and record each heart rate, and automatically identify meaningful heart rate changes, and the meaningful heart rate changes include heart rate Changes and changes in psychological variability.
  • Heart rate change means that the heart rate deviates from the normal value and exceeds the first predetermined value
  • the change of the heart rate variability is that the heart rate variability per minute is greater than the second predetermined value
  • It also includes recording the heart rate and heart rate changes over a period of time, including the proportion of different heart rate ranges in the time period, as well as the average heart rate, maximum heart rate, minimum heart rate, and heart rate variability in different time periods;
  • the identification and recording of heart rate changes is the identification and recording under standardized voice guidance; the standardized voice guidance is used to purposefully awaken the recording of different emotional events experienced by the subject, the emotions including positive emotions and Negative emotions, the positive emotions include happiness, happiness, relaxation, pride and/or calm, and the negative emotions include fear, sadness, anger, guilt, shame and/or disgust;
  • the data processing device includes an emotional feature evaluation module, and the emotional feature evaluation module performs emotional feature evaluation based on the identifier and record.
  • the marking and recording of the heart rate change further includes the marking and recording of the heart rate change when inserting an emotional event, the emotional event being an event recalled by the subject that affects the mood of the subject.
  • the voice feature changes include changes in speech rate and/or sound amplitude or frequency, and the rate of speech and/or amplitude and frequency of sounds are recorded, and the speech rate is the average number of words per minute of the speaker;
  • the change in speech rate and/or the change in sound intensity is automatically recognized by a voice recognition device, and the voice recognition device is connected to a data processing device.
  • the standardized voice guidance refers to a guide that allows the subject to awaken according to different emotions in a step-by-step manner, associating events of different emotions, including extreme events experienced in memory.
  • the extreme events include conflict events, traumatic events, Growth events or happy events.
  • the period of time is t n-1 for 30 seconds before the playback of the standardized voice guide
  • n represents the nth segment, when the standardized voice guide is played, t n0
  • the non-voice guide stage t n1 is the standardized voice
  • the party does not speak after the guide is played, and the non-voice guide stage t n2 is the talk stage after the standard voice guide is played
  • the corresponding time period corresponds to the heart rate response index: mean heart rate MeanHRt n-1 , MeanHRt n0 , MeanHRt n1 , MeanHRt n2, the maximum heart rate MaxHRt n1, MaxHRt n0, MaxHRt n1 , MaxHRt n2, lowest heart rate MinHRt n1, MinHRt n0, MinHRt n1 , MinHRt n2, heart rate variability VarHRtn -1, VarHRtn 0, VarHRtn 1 , VarHRtn 2;
  • the present invention also includes recording whether there are corresponding associations, associated emotional events and related characters in the standardized voice guidance scenarios and non-voice guidance scenarios, and the recording of emotional events adopts multiple-choice questions and text entry methods; and Insert the time stamp by pressing the button according to the abnormal change of the heart rate feedback from the sensor.
  • the present invention also includes the user's evaluation and identification of the subjective intensity of the specific emotion being awakened.
  • the present invention also includes the guidance language for memory awakening of a certain extreme emotional event, and the heart rate characteristics of the person involved in different time periods are calculated by the following formula to obtain the objective intensity of a certain emotion quantified by the heart rate Value En x ;
  • En Max2
  • En Min2
  • the present invention also includes the speech recognition and sound spectrum analysis software automatically analyzes the speech time tn 2 and the average speech rate when the person concerned starts to express his emotional event in language under the guidance language for memory awakening of a certain extreme emotional event.
  • S n the average sound amplitude A n
  • the average sound frequency F n the speech rate S 0
  • the sound amplitude A 0 the sound frequency F 0 when a standard text is read aloud.
  • a quantified objective intensity value En y of a certain emotion :
  • the present invention can establish connections between extreme emotions (events) and heart rate changes, emotions (events) and voice characteristics under standardized voice guidance. Important changes in heart rate can be fed back in real time and effectively identified, and the response voice features can be recorded and identified in time , Can help professionals (such as psychotherapists) or parties to quickly understand the relationship between emotions (events) and heart rate, emotions (events) and voice characteristics (speaking). It can be applied to the assessment of related events and experiences such as trauma, different emotions, self-denial and others' denial.
  • Figure 1 is a schematic diagram of the process of establishing a library of emotional indicators based on standard voice-guided heart rate and voice features.
  • the present invention adopts heart rate (pulse rate) monitoring and voice recognition, and proposes a method for correlating changes in heart rate and voice features with emotional events under standardized voice guidance.
  • the subject recalls and associates the corresponding emotional events, and the real-time change of the heart rate during the process or the heart rate within a certain period of time (before voice guidance, during voice guidance, and after voice guidance, before the party’s verbal expression) ,
  • the pattern and change in the process of speech expression suggesting a certain physiological state and change, as well as the pattern and change of emotion, cognition or behavior (mental process) related to it.
  • How to recognize emotions and their changes in the process of linkage changes between heart rate and psychological processes has an important guiding role in psychotherapy.
  • the person concerned recalls and associates the corresponding emotional events, and during the verbal expression (speaking of related events and experiences) in the response process, the length of speech, the speed of speech, and the amplitude and frequency of the speech can reflect the person concerned. Patterns and changes in emotions, cognition, or behavior. How to recognize emotions and their changes from the linkage change process of voice characteristics and psychological processes has an important guiding role in psychotherapy.
  • the first method (automatic identification of heart rate changes): sensors, hardware and software programs, under standardized voice guidance (inviting the parties to associate extreme emotional events and express their experiences in words), the software and hardware automatically display and display each heart rate. Record and automatically identify meaningful heart rate changes. Lay the foundation for establishing the basic connection between the heart rate and the psycho-physiological change process of the person concerned.
  • heart rate 60/RR interval time (seconds), that is, the number of heartbeats per minute calculated based on the time of each complete heartbeat.
  • the period of time for voice guidance (the nth guidance) awakened by different emotional events is specified, that is, the 30 seconds before the standard voice guidance is played is tn-1, the standard voice guidance is tn0 when it is played, and the non-voice guidance stage 1 ( After the standard voice guide is played, the party does not speak stage) is tn1, and the non-voice guidance stage 2 (the stage when the party talks after the standard voice guide is played) is tn2's average heart rate, maximum heart rate, minimum heart rate, and heart rate variability;
  • the second step method (artificial identification of heart rate changes): Based on heart rate monitoring, the psychotherapist or the client can promptly identify important changes in the heart rate during the standardized voice guidance and the client’s verbal expression process.
  • logo display Based on the logo time, it can display abnormal heart rate values and texts at different points in time (if the text has been entered, it can be modified).
  • the third step method (heart rate combined with voice machine recognition method): Based on voice monitoring, the software program automatically recognizes the time when the person starts and ends, the speed of speech (the number of words expressed per minute), and changes in the amplitude and frequency of the voice and give them changes. logo.
  • the frequency spectrum analysis program is used to obtain the amplitude An and frequency Fn of the sound during this period.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一种基于语言引导与心率反应来评估情绪特征的方法，该方法是基于规范的语音引导与当事人心率反应及响应的语音特征来评估的，包括对心率变化进行标识和记录和对响应的语音特征进行标识与记录。该方法能够将心率重要变化与语音特征进行实时反馈并进行有效标识。通过规范的语音引导，让被试者主动回忆过去的重要情感事件，建立用户基本情绪-心率反应、情绪-语音特征反应的基线，实现了以心率和语音特征来量化个体化的基本情绪，并能够建立个体化的情绪-心率反应、情绪-语音特征反应的特征库。可应用于创伤、不同情绪、自我否定与他人否定等相关事件与经历的评估。

Description

一种基于语言引导与心率反应来评估情绪特征的方法 技术领域
本发明涉及一种心理评估方法，尤其涉及一种基于语言引导与心率反应来评估情绪特征的方法。
背景技术
情绪与生理和行为变化联系紧密，特别是与心率变化和言语表达有紧密的联系。过去的情绪经历通过事件存储于记忆之中，当事人在被提及过去事情或在叙述表达过去事件时会再现情绪，相应心率和言语表达会发生变化，即语音的语音特征会发生变化。应用心率反应或语音特征变化来指导心理治疗时，需要先对极端情绪事件与心率反应和语音特征的关系进行明确，建立个人的情绪与心率、情绪与语音特征的基本关系。因此，建立一种基于规范的语音引导与当事人心率反应及语音特征来评估当事人情绪特征的方法，是非常必要的。
发明内容
本发明旨在提供一种基于语言引导与心率反应来评估情绪特征的方法，能够标识和记录在不同极端情绪事件唤醒的规范引导语音下的心率和语音特征。
为达到上述目的，本发明是采用以下技术方案实现的：
本发明公开的评估当事人情绪特征的方法，是基于规范的语音引导与当事人心率反应及响应的语音特征来评估的，包括对心率变化进行标识和记录，所述对心率变化进行标识和记录包括：
包括心率变化自动标识法，所述心率变化自动标识法采用传感器结合数据处理设备自动对每次心率进行显示和记录，并对有意义的心率变化进行自动标识， 所述有意义的心率变化包括心率变化和心理变异度变化。
心率变化为心率偏离正常值超过第一预定值；
心率变异度变化为每分钟心率变异度大于第二预定值；
以时间为横轴坐标，心率为纵轴坐标，以图形的方式显示出心率及每分钟心率变异度发生变化的时间点；
还包括对一段时间内的心率和心率变化进行记录，包括不同心率范围在该时间段所占的比例，以及不同时间段的平均心率、最大心率、最低心率、心率变异度；
所述对心率变化进行标识和记录是在规范的语音引导下进行的标识和记录；规范的语音引导用于，有目的地唤醒当事人经历的不同情绪事件的录音，所述情绪包括正性情绪和负性情绪，所述正性情绪包括开心、幸福、放松、自豪和/或平静，所述负性情绪包括恐惧、悲伤、愤怒、内疚、羞耻和/或厌恶；
所述数据处理设备包括情绪特征评价模块，所述情绪特征评价模块根据所述标识和记录进行情绪特征评价。
优选的，所述对心率变化进行标识和记录还包括对插入情绪事件时对心率变化进行标识和记录，所述情绪事件为当事人回忆的影响当事人情绪的事件。
优选的，所述语音特征变化包括语速变化和/或声音振幅或频率变化，并记录语速和/或声音的振幅和频率，所述语速为说话人的平均每分钟字数；
所述语速的计算方法如下：调用程序对语音文字进行自动识别并计数，计算一段语音引导后当事人说话的总字数Xn，相应的说话时间为Tn，计算出语速Sn＝Xn/Tn；
通过音频频谱分析模块获取该段时间内声音的振幅An和频率Fn。
优选的，所述语速变化和/或声强变化通过语音识别设备自动识别，所述语音识别设备连接数据处理设备。
优选的，所述规范的语音引导是指让当事人按步骤地根据不同情绪唤醒的引 导语，联想不同情绪的事件，包括记忆中所经历的极端事件，所述极端事件包括冲突事件、创伤事件、成长事件或快乐事件。
优选的，所述一段时间为规范的语音引导语播放前30秒为t n-1，n表示第n段，规范的语音引导语播放时为t n0，非语音引导阶段t n1为规范的语音引导语播放后当事人未说话阶段，非语音引导阶段t n2为规范的语音引导语播放结束后当事人说话阶段；相应时间段对应心率反应指标：平均心率MeanHRt n-1、MeanHRt n0、MeanHRt n1、MeanHRt n2，最大心率MaxHRt n-1、MaxHRt n0、MaxHRt n1、MaxHRt n2，最低心率MinHRt n-1、MinHRt n0、MinHRt n1、MinHRt n2，心率变异度VarHRtn -1、VarHRtn 0、VarHRtn 1、VarHRtn 2；非语音引导阶段t n2的语音特征包括说话时间tn 2、平均语速Sn、平均声音振幅An、平均声音频率Fn。
进一步的，本发明还包括在规范的语音引导情景与非语音引导情景下，记录是否有相应联想、联想到的情绪事件与相关人物，所述记录情绪事件采用选择题与文本录入方式；并可以根据传感器反馈的心率异常变化通过按键方式插入时间标识。
进一步的，本发明还包括用户对具体情绪被唤醒的主观强度进行评价和标识。
进一步的，本发明还包括对某种极端情绪事件进行记忆唤醒的引导语下，当事人在其中的不同时间段的心率特征，通过以下公式进行计算，得到通过心率来量化的某种情绪的客观强度值En x；
En mean0＝|MeanHRtn 0-MeanHRtn -1|/MeanHRtn -1
En mean1＝|MeanHRtn 1-MeanHRtn -1|/MeanHRtn -1
En mean2＝|MeanHRtn 2-MeanHRtn -1|/MeanHRtn -1；
En max0＝|MaxHRtn 0-MaxHRtn -1|/MaxHRtn -1
En Max1＝|MaxHRtn 1-MaxHRtn -1|/MaxHRtn -1
En Max2＝|MaxHRtn 2-MaxHRtn -1|/MaxHRtn -1；
En Min0＝|MinHRtn 0-MinHRtn -1|/MinHRtn -1
En Min1＝|MinHRtn 1-MinHRtn -1|/MinHRtn -1
En Min2＝|MinHRtn 2-MinHRtn -1|/MinHRtn -1；
En Var0＝|VarHRtn 0-VarHRtn -1|/VarHRtn -1
En Var1＝|VarHRtn 1-VarHRtn -1|/VarHRtn -1
En Var2＝|VarHRtn 2-VarHRtn -1|/VarHRtn -1。
进一步的，本发明还包括对某种极端情绪事件进行记忆唤醒的引导语下，当事人开始用语言表述其情绪事件时，语音识别与声音频谱分析软件自动分析出的说话时间tn 2、平均语速S n、平均声音振幅A n、平均声音频率F n、通过对比起朗读一段标准文字时的语速S 0、声音振幅A 0、声音频率F 0，通过以下公式进行计算，得到通过语音特征来量化的某种情绪的客观强度值En y：
En Sn＝|S n-S 0|/S 0
En An＝|A n-A 0|/A 0
En Fn＝|F n-F 0|/F 0
本发明的有益效果如下：
本发明能够在规范的语音引导下将极端情绪(事件)与心率变化、情绪(事件)与语音特征建立联系，心率重要变化能够进行实时反馈及有效标识，响应的语音特征能够及时进行记录和标识，能够帮助专业人士(比如心理治疗师)或当事人快速了解情绪(事件)与心率、情绪(事件)与语音特征(说话)之间的联系。可应用于创伤、不同情绪、自我否定与他人否定等相关事件与经历的评估。
附图说明
图1为经标准语音引导的心率与语音特征建立情绪指标库的过程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
如图1所示，本发明采用基于心率(脉率)监测与语音识别，提出了一种在规范的语音引导下将心率变化及语音特征与情绪事件关联分析的一种方法。
在规范的语音引导下，当事人对相应的情绪事件进行回忆和联想，过程中心率的实时变化或心率在特定时间段内(语音引导前、语音引导过程中、语音引导结束后在当事人言语表达前、言语表达过程中)的模式与变化，提示某种生理状态与变化，以及与之相关的情绪、认知或行为(心理过程)的模式与变化。如何从心率与心理过程的联动变化过程中识别出情绪及其变化，对心理治疗具有重要的指引作用。
在规范的语音引导下，当事人对相应的情绪事件进行回忆和联想，在响应过程中进行言语表达(说出相关事件及经历)时，说话时长、语速、语音的振幅与频率能够反映出当事人的情绪、认知或行为的模式与变化。如何从语音特征与心理过程的联动变化过程中识别出情绪及其变化，对心理治疗具有重要的指引作用。
应用：通过规范的语音引导，让被试者主动回忆过去的重要情感事件，建立用户基本情绪-心率反应、情绪-语音特征反应的基线，实现了以心率和语音特征来量化个体化的基本情绪，并能够建立个体化的情绪-心率反应、情绪-语音特征反应的特征库。能够帮助专业人士(比如心理治疗师)或当事人将心率变化、语音特征与当事人的情绪变化建立联系，也能够将心率变化、语音特征与行为和认知(记忆、联想、注意、感知觉和思维等)的变化建立联系，也能够将心率变化、语音特征与外部环境变化(刺激：规范的语音引导语)建立联系。将应用于创伤、不同情绪、自我否定与他人否定等相关事件与经历的评估。
第一步方法(心率变化自动标识法)：传感器、硬件结合软件程序，在规范的语音引导(邀请当事人联想极端情绪事件，并用言语表述其经历)下，软硬件自动对每次心率进行显示和记录，并对有意义的心率变化进行自动标识。为建立心率与当事人心理生理变化过程的基本联系奠定基础。
根据RR间期计算心率，心率＝60/RR间期时间(秒)，即根据每次完整的心跳时间而计算的每分钟心跳次数。
对每次心率的大幅度变化(比如超过或下降5次/分)，进行自动标识。
对每分钟心率变异度进行计算，对每分钟变异度大于3次/分(心率大幅度变化前后)进行标识。
能够对一段时间的心率及心率变化进行系统报告：
对不同情绪事件唤醒的语音引导(第n个引导)的一段时间进行规定，即规范的语音引导播放前30秒为tn-1，规范的语音引导语播放时为tn0，非语音引导阶段1(规范的语音引导语播放后当事人未说话阶段)为tn1，非语音引导阶段2(规范的语音引导语播放结束后当事人说话阶段)为tn2的平均心率、最大心率、最低心率、心率变异度；
以时间为横轴坐标，心率为纵轴坐标，以图形的方式显示出心率及心率变异度重要变化发生的时间点。
第二步方法(心率变化的人工标识法)：基于心率监测，心理治疗师或当事人能够在规范的语音引导及当事人言语表达过程中及时对重要变化的心率进行标识。
标识的方法：
1)击打计算机或手机上某个控键或图标即可插入时间标识；
2)随后还可以通过选择题或录入文本(当事人是否在规范语音引导后进行言语表达，表达是否清晰，表述的情绪事件主题、人物、时间、地点等)，即记录情绪事件；
3)还可以对规范语音引导后唤醒的情绪(恐惧、悲伤、愤怒、内疚、羞耻厌恶、开心、幸福、放松、自豪、平静等)强度进行评价和标识。
标识的显示：基于标识时间，能够显示不同时点的心率异常值及文本(如果已经录入文本，并可以修改)。
基于标识时间，计算前后30秒(或其他设定时间)心率平均值及心率变异度，并显示。
第三步方法(心率结合语音机器识别法)：基于语音监测，软件程序自动识别当事人开始言语表达的时间和结束的时间、语速(每分钟表述的字数)和声音振幅和频率变化并给予变化标识。
语音机器识别程序对语音文字进行自动识别并计数，计算一段语音引导后当事人说话的总字数为Xn，相应的说话时间为Tn(即tn2)，计算出语速Sn＝Xn/Tn。
采用频谱分析程序获取该段时间内声音的振幅An和频率Fn。
当然，本发明还可有其它多种实施例，比如可以将规范的语音引导替换为规范的视频引导，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

  1. 一种基于语言引导与心率反应来评估情绪特征的方法，其特征在于，所述方法是基于规范的语音引导与当事人心率反应及响应的语音特征来评估的，包括对心率变化进行标识和记录，所述对心率变化进行标识和记录包括：
    包括心率变化自动标识法，所述心率变化自动标识法采用传感器结合数据处理设备自动对每次心率进行显示和记录，并对有意义的心率变化进行自动标识，所述有意义的心率变化包括心率变化和心理变异度变化；
    心率变化为心率偏离正常值超过第一预定值；
    心率变异度变化为每分钟心率变异度大于第二预定值；
    以时间为横轴坐标，心率为纵轴坐标，以图形的方式显示出心率及每分钟心率变异度发生变化的时间点；
    还包括对一段时间内的心率和心率变化进行记录，包括不同心率范围在该时间段所占的比例，以及不同时间段的平均心率、最大心率、最低心率、心率变异度；
    所述对心率变化进行标识和记录是在规范的语音引导下进行的标识和记录；规范的语音引导用于，有目的地唤醒当事人经历的不同情绪事件的录音，所述情绪包括正性情绪和负性情绪，所述正性情绪包括开心、幸福、放松、自豪和/或平静，所述负性情绪包括恐惧、悲伤、愤怒、内疚、羞耻和/或厌恶；
    所述数据处理设备包括情绪特征评价模块，所述情绪特征评价模块根据所述标识和记录进行情绪特征评价。
  2. 根据权利要求1所述的基于语言引导与心率反应来评估情绪特征的方法，其特征在于,所述对心率变化进行标识和记录还包括对插入情绪事件时对心率变化进行标识和记录，所述情绪事件为当事人回忆的影响当事人情绪的事件。
  3. 根据权利要求1所述的基于语言引导与心率反应来评估情绪特征的方法，其特征在于,所述语音特征变化包括语速变化和/或声音振幅或频率变化，并记 录语速和/或声音的振幅和频率，所述语速为说话人的平均每分钟字数；
    所述语速的计算方法如下：调用程序对语音文字进行自动识别并计数，计算一段语音引导后当事人说话的总字数Xn，相应的说话时间为Tn，计算出语速Sn＝Xn/Tn；
    通过音频频谱分析模块获取该段时间内声音的振幅An和频率Fn。
  4. 根据权利要求3所述的基于语言引导与心率反应来评估情绪特征的方法，其特征在于,所述语速变化和/或声强变化通过语音识别设备自动识别，所述语音识别设备连接数据处理设备。
  5. 根据权利要求1所述的基于语言引导与心率反应来评估情绪特征的方法，其特征在于,所述规范的语音引导是指让当事人按步骤地根据不同情绪唤醒的引导语，联想不同情绪的事件，包括记忆中所经历的极端事件，所述极端事件包括冲突事件、创伤事件、成长事件或快乐事件。
  6. 根据权利要求1所述的基于语言引导与心率反应来评估情绪特征的方法，其特征在于,所述一段时间为规范的语音引导语播放前30秒为t n-1，n表示第n段，规范的语音引导语播放时为t n0，非语音引导阶段t n1为规范的语音引导语播放后当事人未说话阶段，非语音引导阶段t n2为规范的语音引导语播放结束后当事人说话阶段；相应时间段对应心率反应指标：平均心率MeanHRt n-1、MeanHRt n0、MeanHRt n1、MeanHRt n2，最大心率MaxHRt n-1、MaxHRt n0、MaxHRt n1、MaxHRt n2，最低心率MinHRt n-1、MinHRt n0、MinHRt n1、MinHRt n2，心率变异度VarHRtn -1、VarHRtn 0、VarHRtn 1、VarHRtn 2；非语音引导阶段t n2的语音特征包括说话时间tn 2、平均语速Sn、平均声音振幅An、平均声音频率Fn。
  7. 根据权利要求1所述的基于语言引导与心率反应来评估情绪特征的方法，其特征在于,还包括在规范的语音引导情景与非语音引导情景下，记录是否有相应联想、联想到的情绪事件与相关人物，所述记录情绪事件采用选择题与文本录入方式；并可以根据传感器反馈的心率异常变化通过按键方式插入时间标识。
  8. 根据权利要求6所述的基于语言引导与心率反应来评估情绪特征的方法，其特征在于,还包括用户对具体情绪被唤醒的主观强度进行评价和标识。
  9. 根据权利要求6所述的基于语言引导与心率反应来评估情绪特征的方法，其特征在于,还包括对某种极端情绪事件进行记忆唤醒的引导语下，当事人在其中的不同时间段的心率特征，通过以下公式进行计算，得到通过心率来量化的某种情绪的客观强度值En x；
    En mean0＝|MeanHRtn 0-MeanHRtn -1|/MeanHRtn -1
    En mean1＝|MeanHRtn 1-MeanHRtn -1|/MeanHRtn -1
    En mean2＝|MeanHRtn 2-MeanHRtn -1|/MeanHRtn -1；
    En max0＝|MaxHRtn 0-MaxHRtn -1|/MaxHRtn -1
    En Max1＝|MaxHRtn 1-MaxHRtn -1|/MaxHRtn -1
    En Max2＝|MaxHRtn 2-MaxHRtn -1|/MaxHRtn -1；
    En Min0＝|MinHRtn 0-MinHRtn -1|/MinHRtn -1
    En Min1＝|MinHRtn 1-MinHRtn -1|/MinHRtn -1
    En Min2＝|MinHRtn 2-MinHRtn -1|/MinHRtn -1；
    En Var0＝|VarHRtn 0-VarHRtn -1|/VarHRtn -1
    En Var1＝|VarHRtn 1-VarHRtn -1|/VarHRtn -1
    En Var2＝|VarHRtn 2-VarHRtn -1|/VarHRtn -1。
  10. 根据权利要求6所述的基于语言引导与心率反应来评估情绪特征的方法，其特征在于,还包括对某种极端情绪事件进行记忆唤醒的引导语下，当事人开始用语言表述其情绪事件时，语音识别与声音频谱分析软件自动分析出的说话时间tn 2、平均语速S n、平均声音振幅A n、平均声音频率F n、通过对比起朗读一段标准文字时的语速S 0、声音振幅A 0、声音频率F 0，通过以下公式进行计算，得到通过语音特征来量化的某种情绪的客观强度值En y：
    En Sn＝|S n-S 0|/S 0
    En An＝|A n-A 0|/A 0
    En Fn＝|F n-F 0|/F 0。
PCT/CN2020/121972 2019-10-18 2020-10-19 一种基于语言引导与心率反应来评估情绪特征的方法 WO2021073646A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910995416.4A CN110534135A (zh) 2019-10-18 2019-10-18 一种基于语言引导与心率反应来评估情绪特征的方法
CN201910995416.4 2019-10-18

Publications (1)

Publication Number Publication Date
WO2021073646A1 true WO2021073646A1 (zh) 2021-04-22

Family

ID=68672102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/121972 WO2021073646A1 (zh) 2019-10-18 2020-10-19 一种基于语言引导与心率反应来评估情绪特征的方法

Country Status (2)

Country Link
CN (1) CN110534135A (zh)
WO (1) WO2021073646A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641837A (zh) * 2022-12-22 2023-01-24 北京资采信息技术有限公司 一种智能机器人对话意图识别方法和系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110534135A (zh) * 2019-10-18 2019-12-03 四川大学华西医院 一种基于语言引导与心率反应来评估情绪特征的方法
CN111407255A (zh) * 2020-04-01 2020-07-14 四川大学华西医院 一种通过心率变化与语音来记录、评估和干预情绪的方法
CN113509154A (zh) * 2020-04-10 2021-10-19 广东小天才科技有限公司 人体体温确定方法、装置、计算机设备和存储介质
CN111859025A (zh) * 2020-07-03 2020-10-30 广州华多网络科技有限公司 表情指令生成方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561652A (zh) * 2011-06-01 2014-02-05 皇家飞利浦有限公司 用于辅助患者的方法和系统
CN105374366A (zh) * 2015-10-09 2016-03-02 广东小天才科技有限公司 一种穿戴设备识别语义的方法与系统
CN107714056A (zh) * 2017-09-06 2018-02-23 上海斐讯数据通信技术有限公司 一种智能分析情绪的可穿戴设备及智能分析情绪的方法
US20180114125A1 (en) * 2016-10-24 2018-04-26 Fuji Xerox Co., Ltd. Emotion estimating system
CN108634969A (zh) * 2018-05-16 2018-10-12 京东方科技集团股份有限公司 情绪检测设备、情绪检测系统、情绪检测方法、存储介质
CN109394209A (zh) * 2018-10-15 2019-03-01 汕头大学 一种面向孕妇音乐治疗的个性化情感调节系统及方法
CN110534135A (zh) * 2019-10-18 2019-12-03 四川大学华西医院 一种基于语言引导与心率反应来评估情绪特征的方法
CN111407255A (zh) * 2020-04-01 2020-07-14 四川大学华西医院 一种通过心率变化与语音来记录、评估和干预情绪的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008055078A2 (en) * 2006-10-27 2008-05-08 Vivometrics, Inc. Identification of emotional states using physiological responses
CN101822863A (zh) * 2010-01-28 2010-09-08 深圳先进技术研究院 情绪调节装置和方法
CN106803423B (zh) * 2016-12-27 2020-09-04 智车优行科技（北京）有限公司 基于用户情绪状态的人机交互语音控制方法、装置及车辆
CN107212896A (zh) * 2017-04-05 2017-09-29 天津大学 一种情绪稳定性综合评价系统及信息处理方法
CN106910514A (zh) * 2017-04-30 2017-06-30 上海爱优威软件开发有限公司 语音处理方法及系统
CN108307037A (zh) * 2017-12-15 2018-07-20 努比亚技术有限公司 终端控制方法、终端及计算机可读存储介质
CN109087670B (zh) * 2018-08-30 2021-04-20 西安闻泰电子科技有限公司 情绪分析方法、系统、服务器及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561652A (zh) * 2011-06-01 2014-02-05 皇家飞利浦有限公司 用于辅助患者的方法和系统
CN105374366A (zh) * 2015-10-09 2016-03-02 广东小天才科技有限公司 一种穿戴设备识别语义的方法与系统
US20180114125A1 (en) * 2016-10-24 2018-04-26 Fuji Xerox Co., Ltd. Emotion estimating system
CN107714056A (zh) * 2017-09-06 2018-02-23 上海斐讯数据通信技术有限公司 一种智能分析情绪的可穿戴设备及智能分析情绪的方法
CN108634969A (zh) * 2018-05-16 2018-10-12 京东方科技集团股份有限公司 情绪检测设备、情绪检测系统、情绪检测方法、存储介质
CN109394209A (zh) * 2018-10-15 2019-03-01 汕头大学 一种面向孕妇音乐治疗的个性化情感调节系统及方法
CN110534135A (zh) * 2019-10-18 2019-12-03 四川大学华西医院 一种基于语言引导与心率反应来评估情绪特征的方法
CN111407255A (zh) * 2020-04-01 2020-07-14 四川大学华西医院 一种通过心率变化与语音来记录、评估和干预情绪的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641837A (zh) * 2022-12-22 2023-01-24 北京资采信息技术有限公司 一种智能机器人对话意图识别方法和系统

Also Published As

Publication number Publication date
CN110534135A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
WO2021073646A1 (zh) 一种基于语言引导与心率反应来评估情绪特征的方法
Wiens The interview: Research on its anatomy and structure
US7606701B2 (en) Method and apparatus for determining emotional arousal by speech analysis
EP1222448B1 (en) System, method, and article of manufacture for detecting emotion in voice signals by utilizing statistics for voice signal parameters
EP1222656B1 (en) Telephonic emotion detector with operator feedback
US11967339B2 (en) Method for detecting and recognizing an emotional state of a user
Drahota et al. The vocal communication of different kinds of smile
CN110598611B (zh) 看护系统、基于看护系统的病人看护方法和可读存储介质
JP2006267465A (ja) 発話状態評価装置、発話状態評価プログラム、プログラム格納媒体
CN111407255A (zh) 一种通过心率变化与语音来记录、评估和干预情绪的方法
JP4587854B2 (ja) 感情解析装置、感情解析プログラム、プログラム格納媒体
TWI749663B (zh) 發聲監控之方法及系統
Tjaden A preliminary study of factors influencing perception of articulatory rate in Parkinson disease
Scherer et al. Automatic verification of emotionally stressed speakers: The problem of individual differences
Roberts A forensic phonetic study of the vocal responses of individuals in distress
US20210219893A1 (en) System and method for measurement of vocal biomarkers of vitality and biological aging
Van Den Broek Emotional Prosody Measurement (EPM): A voice-based evaluation method for psychological therapy effectiveness
Owren et al. Understanding spontaneous human laughter: The role of voicing in inducing positive emotion
Buller Methods for measuring speech rate
Tao et al. Cuempathy: A counseling speech dataset for psychotherapy research
Brähler et al. Artifacts in the registration and interpretation of speech-process variables
WO2005104950A1 (ja) 大脳評価装置
Shapiro Variability in the communication of affect
Gadallah et al. Speech based automatic lie detection
JP2020187605A (ja) 制御プログラム、制御装置および制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20877826

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20877826

Country of ref document: EP

Kind code of ref document: A1