WO2015046945A1 - 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법 - Google Patents

다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법 Download PDF

Info

Publication number
WO2015046945A1
WO2015046945A1 PCT/KR2014/009010 KR2014009010W WO2015046945A1 WO 2015046945 A1 WO2015046945 A1 WO 2015046945A1 KR 2014009010 W KR2014009010 W KR 2014009010W WO 2015046945 A1 WO2015046945 A1 WO 2015046945A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
emotional
subject
multisensory
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2014/009010
Other languages
English (en)
French (fr)
Inventor
김현택
정지운
김지영
천예슬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea University Research and Business Foundation
Original Assignee
Korea University Research and Business Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea University Research and Business Foundation filed Critical Korea University Research and Business Foundation
Priority to US15/024,453 priority Critical patent/US9934426B2/en
Publication of WO2015046945A1 publication Critical patent/WO2015046945A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass

Definitions

  • the present invention relates to a system and method for testing emotional cognitive ability using multi-sensory information, and to a system and method for emotional cognitive training using multi-sensory information.
  • Emotional cognitive test system and method using multi-sensory information, and emotional cognitive training system and method using multi-sensory information are examples of the present invention.
  • emotion recognition In order for humans to live in a relationship with others in their lives, it is important to correctly perceive and interpret the emotions of other people, who are connected with me and live with them. This is called emotion recognition.
  • the emotion recognition refers to looking at another person's face to see if the other person's emotion is happy or sad, or listening to another person's voice to determine whether the other person's emotion is calm or angry.
  • an emotional cognitive test system and method using multi-sensory information and an emotional cognitive training system and method using multi-sensory information are as follows.
  • Prior Art 1 relates to Korean Patent Publication No. 2012-0068135 (2012.06.27), which relates to a similar auditory learning method using sound wave analysis.
  • This prior art 1 is a sound transmission step (S110) that the public hears the sound from the speaker 110;
  • a similar hearing learning step (S140) in which the similar auditory learning means 140 learns the emotion corresponding to the similar hearing to the hearing impaired person, by storing a specific frequency of sound as a frequency for the emotion felt by the general public.
  • each physical stimulus is a sound effect that causes the data, and learning to the hearing impaired people have the effect that the hearing impaired can accurately feel the feelings about the physical stimulation converted sound. .
  • the prior art 2 Korean Laid-Open Patent No. 2003-0029660 (2003.04.16), relates to a prenatal device and method using fetal emotion recognition.
  • the prior art 2 is a fetal emotion recognition unit for recognizing the emotional state of the fetus in response to the biological signal generated from the fetus;
  • a mother emotion recognizing unit recognizing the emotional state of the mother in response to the biological signal generated from the mother;
  • An environmental monitoring unit for generating environmental affinity values that numerically evaluate the effects of the surrounding environment on the fetus in response to visual, auditory, and air conditioning data about the surrounding environment where the mother is located;
  • the fetal emotional control By including the fetal emotional control that occurs, it is possible to recognize the emotional state of the fetus and the mother by analysis of the biological signals generated from the fetus and the mother.
  • the fetus's emotional state analysis and stimulus signals are generated in order to maintain a stable state of the fetus in consideration of the effects of the recognized fetal and maternal emotional state and the surrounding environment in which the fetus is located. Therefore, it is possible to preach based on the emotional recognition of the fetus extracted by the objective method.
  • the present invention provides a system and method for testing emotional cognition using multi-sensory information to examine the ability to grasp the emotional state of the other person using the multi-sensory information representing the feelings of others. To provide.
  • the present invention after grasping the ability of the user to recognize the emotional state for the other person, it is a multi-sensory that can improve the emotional state recognition ability for others through repeated execution To provide a system and method for emotional awareness training using information.
  • Emotional cognitive ability test system using multi-sensory information for solving the above problems is an output unit for outputting the multi-sensory information consisting of at least one emotional state of the subject to the outside;
  • An input unit configured to receive emotional state information indicating whether the subject is equal to at least one emotional state based on the output of the multisensory information;
  • a comparison checking unit for checking whether the received emotion state information is identical to the reference emotion state information corresponding to the multisensory information previously stored in a storage unit;
  • a controller configured to determine the emotional cognitive ability of the test subject according to the received confirmation result of the emotional state information.
  • multi-sensory information which is information obtained by combining visual information representing the subject and auditory information representing the subject's voice.
  • Emotional cognitive training system using multi-sensory information for solving the above problems is an output unit for outputting the multi-sensory information consisting of at least one emotional state of the subject;
  • An input unit configured to receive emotional state information indicating whether the subject is equal to at least one emotional state based on the output of the multisensory information;
  • a comparison checking unit for checking whether the received emotion state information is identical to the reference emotion state information corresponding to the multisensory information previously stored in a storage unit; After judging the emotional cognitive ability of the subject according to the check result of the emotion state information received, and generating an output control signal to output the multi-sensory information changed the difficulty of the combination of emotion state based on the determination result to transmit to the output unit
  • a control unit wherein the output unit re-outputs the multisensory information in which the difficulty level of the emotional state combination is changed based on the emotional cognitive ability determination result in response to the output control signal. It is characterized by comparing the result of the judgment on the average emotional cognitive ability to determine whether the test subject's
  • the difficulty changing module for changing the difficulty of the emotional state combination for the multi-sensory information based on the determination result of the emotional cognitive ability of the subject;
  • An order changing module for changing the output order of the multisensory information based on the result of the judgment on the emotional cognition ability of the test subject;
  • a transmission module for generating an output control signal indicating a difficulty level change result of the emotional state combination or an output order of multi-sensory information and transmitting the output control signal to the output unit.
  • the control unit may further include a.
  • multi-sensory information which is information obtained by combining visual information representing the subject and auditory information representing the subject's voice.
  • a method for testing emotional cognition using multi-sensory information including: outputting multi-sensory information including at least one emotional state of a subject to the outside; Receiving emotional state information indicating whether the subject is equal to at least one emotional state based on the multi-sensory information output by the input unit; Confirming whether the emotion state information received by the comparison confirmation unit is the same as the reference emotion state information corresponding to the multisensory information previously stored in a storage unit; And determining, by the controller, the emotional cognitive ability of the test subject according to the check result of the emotional state information received from the controller.
  • the output unit for outputting the multi-sensory information is a combination of the visual information indicating the subject and the auditory information indicating the voice of the subject may include the step of outputting the multi-sensory information.
  • the control unit may include generating an output control signal and transmitting the output control signal to the output unit.
  • Emotional cognition test system and method using the multi-sensory information of the present invention emotional cognitive training system and method using the multi-sensory information to determine the emotional state of the other person using the multi-sensory information, the emotional cognitive ability of the subject There is an effect that can be easily confirmed.
  • the emotional cognitive ability test system and method using the multi-sensory information of the present invention the emotional cognitive training system and method using the multi-sensory information, after confirming the emotional cognitive ability to the current subject of the subject, the combination of emotional state of the multi-sensory information By changing the difficulty level for and repeatedly checking the emotional cognitive ability, there is an effect that can improve the emotional cognitive ability of the test subject.
  • the emotional cognitive test system and method using the multi-sensory information of the present invention is the same as the normal person, but to other people of patients suffering from schizophrenia, autism, depression, etc. Emotional cognitive ability can be objectively confirmed.
  • the emotional cognitive ability test system and method using the multi-sensory information of the present invention the emotional cognitive training system and method using the multi-sensory information difficulty of the multi-sensory information for patients suffering from schizophrenia, autism, depression, etc. By changing the repetition, there is an effect that can improve the emotional cognition ability to others.
  • FIG. 3 is a flowchart of a method for testing emotional cognition using multi-sensory information according to another embodiment of the present invention.
  • 4 is a table showing reference emotional state information for each combination of multisensory information.
  • FIG. 7 is a graph showing the emotional cognitive ability of the subject after performing the emotional cognitive training.
  • the emotional cognitive ability test system 100 using the multi-sensory information of the present invention output unit 110, input unit 120, comparison check unit 130, control unit 140 and storage unit It may be implemented through a computer input / output device and a processor, including 150.
  • the output unit 110 outputs the multisensory information including at least one emotional state of the subject to the outside, and may be configured in the form of a monitor or a speaker.
  • the multisensory information is information obtained by combining visual information representing a subject responding to various stimuli and auditory information representing the subject's voice.
  • FIG. 2 is a block diagram of an emotional cognitive training system using multi-sensory information according to another embodiment of the present invention.
  • the output unit 210 outputs multisensory information formed by combining a plurality of emotional states of the subject.
  • the multisensory information indicates information formed by combining visual information representing the subject and auditory information representing the subject's voice.
  • the output unit 210 re-outputs the multisensory information in which the difficulty level of the emotional state combination is changed based on the emotional cognitive ability determination result.
  • the input unit 220 receives emotional state information indicating whether the subject is equal to at least one emotional state based on the output of the multisensory information.
  • the comparison confirmation unit 230 confirms whether the received emotional state information is the same as the reference emotional state information corresponding to the multisensory information previously stored in the storage unit 250.
  • the order change module 244 changes the output order of the multisensory information based on the determination result of the emotional cognition ability of the test subject.
  • the storage unit 250 previously stores a plurality of multisensory information to be output through the output unit 210, reference emotional state information corresponding to the multisensory information, and a result of determining the average emotional cognitive ability.
  • FIG. 3 is a flowchart of a method for testing emotional cognition using multi-sensory information according to another embodiment of the present invention.
  • the emotional cognitive ability test method using the multi-sensory information of the present invention outputs the multi-sensory information consisting of at least one emotional state of the subject to the outside (S310).
  • the output multisensory information indicates information obtained by combining visual information representing a subject responding to various stimuli and auditory information representing the subject's voice.
  • the test subject receives emotional state information indicating whether the subjects are equal to a plurality of emotional states (S320).
  • the test subject visually indicates the emotional state of the subject.
  • the input unit receives the emotional state information indicating that the visual information and the auditory information of the multisensory information are the same.
  • the received emotional state information and the standard emotional state are the same. It can be determined that the information is the same.
  • the subject predicts the emotional state of the subject through the multi-sensory information indicating the emotional state of the subject, and determines whether the emotion perception ability of the subject corresponds to others by checking whether the expected emotional state is correct. You can do it. In this case, it is possible to score the emotional cognition ability of the test subjects to others.
  • the present invention first receives a score in which the input unit quantifies the emotional cognition ability of the subject by a standard score.
  • the first step is to set the face of the combination having the lowest difficulty as the emotional state of one of the two emotion state information is raised.
  • the two emotional state information are combined in a similar ratio, so that no emotional state is raised.
  • the first stage is used when the standard score indicating the emotional cognition ability of the test subject is -2 or less, and contains 91 to 100% of specific emotions. For example, happy faces are synthesized in a ratio of 95: 5 with happiness and anger, while angry faces are synthesized in a ratio of 95: 5 with happiness.
  • the second stage is used when the standard score indicating the emotional cognition ability of the test subject is -2 or more and less than -1, and includes 81 to 90% of specific emotions. For example, happy faces are composed of happiness and anger at a ratio of 85:15, and angry faces are composed of anger and happiness at a ratio of 95: 5.
  • the fifth step is used when the standard score indicating the emotional cognition ability of the test subject is 1.5 or more, and contains 51 to 60% of specific emotions. For example, happy faces are composed of happiness and anger at 55:45, and angry faces are composed of anger and happiness at 55:45.
  • the test subject Based on the multi-sensory information output from the input unit, the test subject receives emotional state information indicating whether the subjects are equal to a plurality of emotional states (S420).
  • the comparison confirmation unit checks whether the emotion state information inputted is equal to the reference emotion state information corresponding to the multi-sensory information previously stored in the storage unit (S430).
  • the controller determines the emotional cognitive ability of the test subject according to the result of checking the emotional state information (S440).
  • the controller generates an output control signal to output the multisensory information in which the difficulty level of the emotional state combination corresponding to the determination result of the emotional cognition ability of the test subject is changed, and transmits the generated output control signal to the output unit (S450). .
  • the output unit S450
  • an emotional state of 100% happiness to 100% anger may be divided into a plurality of stages and stored in a storage unit.
  • the difficulty level of the emotional state combination with respect to the multisensory information is changed to high and 100% of happiness or 100% of unhappy happiness or 50% of anger
  • An output control signal may be generated to select the multisensory information corresponding to 50%.
  • the multisensory information of which difficulty of combining emotional states is changed is re-outputted (S460).
  • the input unit receives the emotional state information of the subject from the test subject based on the multi-sensory information outputted again (S470).
  • the input time limit may be set, and the input time limit may be reduced or increased as the difficulty of the emotion state combination is changed.
  • the comparison confirmation unit re-confirms whether the emotion state information inputted is equal to the reference emotion state information corresponding to the stored multisensory information (S480).
  • the controller determines whether the output of the multisensory information and the execution of the input are repeated as many times as the preset number (S490).
  • the set number indicates the number of training repetitions and can be changed and set by the test subject.
  • FIG. 7 is a graph showing the emotional cognitive ability of the subject after performing the emotional cognitive training.
  • judgment result of the subject's emotional cognitive ability by training number may also vary.
  • the judgment result of emotional cognitive ability in one training session is 74.38, whereas the judgment result of emotional cognitive ability in five training sessions is 90.21. As the number of training increases, emotional cognition improves.
  • the generalized test of emotional cognition uses visual information representing another subject or auditory information representing another subject's voice, rather than the same type of multisensory information used for emotional cognitive training.
  • the input unit receives at least one information of the gender, age, and race of the subject from the test subject, and also receives the voice tone or content information of the subject. For example, in order to check the emotional cognition ability of the 20's female from the test subject, the input unit receives '20s' and 'female', a voice of 'very high tone', and 'let's go eat'. Can be input.
  • the output unit outputs the multisensory information combining at least one of the subject's gender, age, and race received through the input unit, or visual information and auditory information corresponding to the subject's voice tone or content information.
  • the subject receives the emotion state information indicating whether the subjects are equal to the plurality of emotion states of the subject.
  • the emotional cognitive ability test system and method using the multi-sensory information may be stored in a computer-readable recording medium in which a program for execution by a computer is recorded.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording devices include ROM, RAM, CD-ROM, DVD ⁇ ROM, DVD-RAM, magnetic tape, floppy disks, hard disks, optical data storage devices, and the like.
  • the computer readable recording medium can also be distributed over network coupled computer devices so that the computer readable code is stored and executed in a distributed fashion.
  • Emotional cognitive ability test system and method using the multi-sensory information of the present invention emotional cognitive training system and method using the multi-sensory information to determine the emotional state of the subject using the multi-sensory information to facilitate the emotional cognitive ability for others You can see the effect.
  • the emotional cognitive ability test system and method using the multi-sensory information of the present invention the emotional cognitive training system and method using the multi-sensory information after confirming the emotional cognitive ability for others to change the difficulty of the multi-sensory information to improve the cognitive ability By repeating, there is an effect that can improve the emotional cognition of the user.
  • the emotional cognitive test system and method using the multi-sensory information of the present invention makes it easier for patients suffering from schizophrenia, autism, depression, etc. After checking the current user's emotional recognition state through this, by changing the difficulty of the multi-sensory information, there is an effect that can easily improve the user's emotional recognition state.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법에 관한 것으로, 보다 구체적으로는 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 외부로 출력하는 출력부; 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는 입력부; 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 비교확인부; 및 입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서인지능력을 판단하는 제어부;를 포함한다. 이러한 구성에 의해, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 다감각정보를 이용하여 대상자의 정서 상태를 판단하여 타인에 대한 정서 인지능력을 용이하게 확인할 수 있는 효과가 있다.

Description

다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법
본 발명은 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법에 관한 것으로, 특히 복수 개의 감각정보를 이용하여 상대방의 현재 감정상태를 용이하게 파악할 수 있는 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법에 관한 것이다.
인간이 삶 속에서 타인과의 원만한 관계를 유지하며 살아가기 위해서는 나와 관계를 맺고 살아가는 타인의 감정 즉, 정서를 올바르게 지각하고 해석하는 것이 중요하다. 이를 정서 인지(emotion recognition)라고 한다.
예를 들어, 상기 정서 인지란, 타인의 얼굴을 보고 타인의 정서가 기쁜지 또는 슬픈지 등을 파악하거나, 타인의 목소리를 듣고 타인의 정서가 평온한지 또는 화가 나 있는지 여부를 파악하는 것을 말한다.
이러한 정서 인지 부분은 사회 생활을 막 시작하는 사회 초년생 또는 인간관계의 어려움을 겪는 사람에게 대인관계에 있어서 매우 큰 어려움을 주고 있다. 특히, 외관상으로 환자 여부를 확인하기 어려운 조현증(정신분열증), 자폐증, 우울증을 앓고 있는 환자의 경우에는 타인의 정서 상태를 파악하고, 이에 따른 반응을 하기가 어려운 문제점이 발생했다.
상술한 바와 같이, 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법을 살펴보면 다음과 같다.
선행기술 1은 한국공개특허 제2012-0068135호(2012.06.27)로서, 음파 분석을 이용하는 유사청각 학습 방법에 관한 것이다.
이러한 선행기술 1은 스피커(110)로부터 일반인이 소리를 듣는 소리 전달 단계(S110); 감정 저장 수단(120)이 상기 소리에 대해 상기 일반인이 느끼는 감정을 입력받아 기록하는 감정 기록 단계(S120); 유사청각 변환 수단(130)이 상기 소리를 주파수로 변환하고, 상기 주파수를 유사청각에 해당하는 물리적인 자극으로 변환하는 유사청각 변환 단계(S130); 및 유사청각 학습 수단(140)이 상기 유사청각에 대응되는 감정을 청각장애인에게 학습시키는 유사청각 학습 단계(S140);를 포함하여, 소리의 특정 주파수를 일반인이 느끼는 감정에 대한 주파수로 저장하여 물리적인 자극으로 변환함으로써, 각각의 물리적인 자극이 어떤 감정을 유발하는 소리인지 데이터화 하고, 이를 청각장애인들에게 학습시켜 소리가 변환된 물리적인 자극에 대한 감정을 청각장애인이 정확하게 느낄 수 있는 효과가 있다.
또한, 선행기술 2는 한국공개특허 제2003-0029660호(2003.04.16)로서, 태아 정서 인식을 이용한 태교 장치 및 방법에 관한 것이다. 이러한 선행기술 2는 태아로부터 발생된 생체 신호에 응답해서 태아의 정서 상태를 인식하는 태아 정서 인식부; 모체로부터 발생된 생체 신호에 응답해서 모체의 정서 상태를 인식하는 모체 정서 인식부; 모체가 위치하고 있는 주변 환경에 대한 시각, 청각 및 공조 데이터에 응답해서 주변 환경이 태아에 미치는 영향을 수치적으로 평가한 환경 친화도 값을 발생하는 주변 환경 감시부; 및 상기 태아의 정서 상태, 상기 모체의 정서 상태 및 상기 환경 친화도 값에 응답해서 태아의 정서 상태를 분석하고, 분석 결과에 따라 태아의 정서를 안정된 상태로 유지시키기 위한 태교 신호 및 환경 조절 신호를 발생하는 태아 정서 조절부를 포함함으로써, 태 아 및 모체로부터 발생되는 생체 신호의 분석에 의해 태아 및 모체의 정서 상태를 인식할 수 있다. 그리고, 인식된 태아 및 모체의 정서 상태, 및 태아가 위치하고 있는 주변 환경의 영향을 복합적으로 고려하여 태아의 정서가 안정된 상태를 유지할 수 있도록 지속적인 태아의 정서 상태 분석과 자극 신호를 발생한다. 따라서, 객관적인 방법에 의해 추출된 태아의 정서 인식을 바탕으로 한 태교가 가능하게 된다.
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 타인의 감정을 나타내는 다감각정보를 이용하여 타인의 정서상태를 파악하는 능력을 검사하는 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법을 제공하고자 한다.
더불어, 상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 사용자의 타인에 대한 정서상태를 인지하는 능력을 파악한 후, 반복 수행을 통해 타인에 대한 정서상태 인지 능력을 향상시킬 수 있는 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법을 제공하고자 한다.
위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 다감각정보를 이용한 정서 인지능력 검사 시스템은 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 외부로 출력하는 출력부; 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는 입력부; 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 비교확인부; 및 입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서인지능력을 판단하는 제어부;를 포함한다.
특히, 상기 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보를 상호 조합하여 이루어지는 정보인 다감각정보를 포함할 수 있다.
위와 같은 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 시스템은 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 출력하는 출력부; 출력된 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는 입력부; 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 비교확인부; 입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단한 후, 판단결과에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 출력하도록 출력제어신호를 생성하여 상기 출력부로 전송하는 제어부;를 포함하되, 상기 출력부는 상기 출력제어신호에 응답하여 상기 정서 인지능력 판단결과에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 재출력하며, 상기 제어부는 상기 피실험자의 정서 인지능력에 대한 판단결과를 평균 정서 인지능력에 대한 판단결과와 비교하여 상기 피실험자의 정서 인지능력이 향상 여부를 판단하는 것을 특징으로 한다.
보다 바람직하게는 상기 피실험자의 정서 인지능력에 대한 판단결과에 기초하여 다감각정보에 대한 감정상태 조합의 난이도를 변경하는 난이도변경모듈; 상기 피실험자의 정서 인지능력에 대한 판단결과에 기초하여 다감각정보의 출력 순서를 변경하는 순서변경모듈; 및 상기 감정상태 조합의 난이도 변경결과 또는 다감각정보의 출력 순서를 나타내는 출력제어신호를 생성하여 상기 출력부로 전송하는 전송모듈; 을 더 포함하는 제어부를 포함할 수 있다.
특히, 상기 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보를 상호 조합하여 이루어지는 정보인 다감각정보를 포함할 수 있다.
위와 같은 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 다감각정보를 이용한 정서 인지능력 검사 방법은 출력부가 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 외부로 출력하는 단계; 입력부가 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는 단계; 비교확인부가 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 단계; 및 제어부가 입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단하는 단계;를 포함한다.
특히, 상기 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보가 조합되어 이루어지는 다감각정보를 출력하는 상기 출력부가 다감각정보를 출력하는 단계를 포함할 수 있다.
위와 같은 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 방법은 출력부가 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 출력하는 단계; 입력부가 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는 단계; 비교확인부가 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 단계; 제어부가 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단하는 단계; 상기 제어부가 상기 피실험자의 정서 인지능력에 대한 판단결과에 해당하는 감정상태 조합의 난이도가 변경된 다감각정보를 출력하도록 출력제어신호를 생성하고, 생성한 출력제어신호를 상기 출력부로 전송하는 단계; 상기 출력부가 수신한 출력제어신호에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 재출력하는 단계; 상기 입력부가 재출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 감정상태정보를 입력받는 단계; 상기 비교확인부가 입력받은 상기 감정상태정보가 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 재확인하는 단계; 및 상기 제어부가 상기 감정상태정보의 재확인결과에 따라, 상기 피실험자의 정서 인지능력에 대한 판단결과를 상기 저장부에 기저장된 평균 정서 인지능력의 판단결과와 비교하여 상기 피실험자의 정서 인지능력의 향상 여부를 판단하는 단계; 를 포함한다.
특히, 상기 피실험자의 정서인지 능력에 대한 판단결과에 기초하여 다감각정보에 대한 감정상태 조합의 난이도를 변경한 변경결과 또는 다감각정보의 출력순서를 나타내는 출력제어신호를 생성하여 출력부로 전송하는 상기 제어부가 출력제어신호를 생성하여 출력부로 전송하는 단계를 포함할 수 있다.
본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 다감각정보를 이용하여 타인의 정서 상태를 판단하여, 피실험자의 타인에 대한 정서 인지능력을 용이하게 확인할 수 있는 효과가 있다.
또한, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 피실험자의 현재 타인에 대한 정서 인지능력을 확인한 후, 다감각정보의 감정상태 조합에 대한 난이도를 변경하여 정서 인지능력 확인을 반복수행함으로써, 상기 피실험자의 정서 인지능력을 향상시킬 수 있는 효과가 있다.
더불어, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 외관상으로 정상인과 동일하지만 조현증, 자폐증, 우울증 등을 앓고 있는 환자들의 타인에 대한 정서 인지능력을 객관적으로 확인할 수 있는 효과가 있다.
이와 더불어, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 조현증, 자폐증, 우울증 등을 앓고 있는 환자들에 대하여 다감각정보의 난이도를 변경하여 반복수행함으로써, 타인에 대한 정서 인지능력을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 다감각정보를 이용한 정서 인지능력 검사 시스템의 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 시스템의 블록도이다.
도 3은 본 발명의 또 다른 실시 예에 따른 다감각정보를 이용한 정서 인지능력 검사 방법의 순서도이다.
도 4는 다감각정보의 조합별 기준 감정상태정보를 나타낸 표이다.
도 5는 본 발명의 또 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 방법의 순서도이다.
도 6은 감정의 난이도별 다감각정보를 나타낸 도면이다.
도 7은 정서 인지 훈련 수행 후, 피실험자의 정서 인지능력을 나타내는 그래프이다.
이하, 본 발명을 바람직한 실시 예와 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되는 것은 아니다.
도 1은 본 발명의 일 실시 예에 따른 다감각정보를 이용한 정서 인지능력 검사 시스템의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템(100)은 출력부(110), 입력부(120), 비교확인부(130), 제어부(140) 및 저장부(150)를 포함하여, 컴퓨터 입출력 장치와 프로세서를 통해 구현될 수 있다.
출력부(110)는 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 외부로 출력하는데, 모니터, 스피커 등의 형태로 구성될 수 있다. 특히, 상기 다감각정보는 다양한 자극에 대하여 반응하는 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보를 상호 조합하여 이루어지는 정보이다.
예를 들어, 즐거운 음악이라는 자극이 주어진 경우에, 대상자가 신나고 행복한 표정을 짓게 되는데, 이때 대상자를 촬영한 시각정보와, 또한 이때 상기 대상자가 즐거워하는 목소리를 나타내는 청각정보를 함께 조합하여 이루어지는 다감각정보를 출력부(110)가 출력한다. 또는 상기 출력부(110)는 피실험자의 타인에 대한 정서인지 능력을 판단하기 위해, 대상자를 촬영한 시각정보 또는 대상자의 청각정보만을 선택하여 하나의 정보만을 출력할 수 있다.
입력부(120)는 상기 출력부(110)를 통해 출력된 대상자의 현재 정서상태를 나타내는 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 복수 개의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는다.
예를 들어, 대상자가 웃고 있는 시각정보와, 대상자의 웃음소리를 나타내는 청각정보를 나타내는 다감각정보가 출력부를 통해 출력되면, 피실험자로부터 상기 다감각정보의 시각정보와, 청각정보에 근거하여 현재 대상자의 정서상태가 동일하다고 판단하고, 동일하다는 감정상태정보가 입력부(120)로 입력된다.
비교확인부(130)는 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인한다.
예를 들어, 피실험자로부터 상기 입력부(120)를 통해 입력된 감정상태정보가 기쁜 상태이고, 출력부(110)를 통해 출력된 다감각정보에 해당하는 기준 감정상태정보가 기쁜 상태이면, 상기 비교확인부가 입력받은 감정상태정보와 기준 감정상태정보와 동일하다고 판단할 수 있다.
제어부(140)는 입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서인지능력을 판단한다. 예를 들어, 상기 제어부는 입력받은 감정상태정보와 기준 감정상태정보가 동일하다고 확인한 결과에 기초하여 상기 피실험자의 타인에 대한 정서 인지능력이 양호하다는 판단을 할 수 있다.
저장부(150)는 상기 출력부(110)를 통해 출력하고자 하는 복수 개의 다감각정보 및 상기 복수 개의 다감각정보에 해당하는 기준 감정상태정보를 기저장한다.
이하, 도 2를 참조하여 본 발명의 다감각정보를 이용한 정서 인지 훈련 시스템에 대하여 자세히 살펴보도록 한다.
도 2는 본 발명의 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 시스템의 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 다감각정보를 이용한 정서 인지 훈련 시스템(200)은 출력부(210), 입력부(220), 비교확인부(230), 제어부(240) 및 저장부(250)를 포함하여, 컴퓨터 입출력 장치와 프로세서를 통해 구현될 수 있다.
출력부(210)는 대상자의 복수 개의 감정상태를 조합하여 이루어지는 다감각정보를 출력한다. 이때, 상기 다감각정보는 상기 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보를 상호 조합하여 이루어지는 정보를 나타낸다. 이러한 출력부(210)는 상기 출력제어신호에 응답하여 상기 정서 인지능력 판단결과에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 재출력한다.
입력부(220)는 출력된 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는다.
비교확인부(230)는 입력받은 상기 감정상태정보가 저장부(250)에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인한다.
제어부(240)는 입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단한 후, 판단결과에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 출력하도록 출력제어신호를 생성하여 상기 출력부로 전송한다. 이러한 제어부(240)는 상기 피실험자의 정서 인지능력에 대한 판단결과를 평균 정서 인지능력에 대한 판단결과와 비교하여 상기 피실험자의 정서 인지능력 향상 여부를 판단한다.
이러한 제어부(240)는 난이도변경모듈(242), 순서변경모듈(244) 및 전송모듈(246)을 포함한다.
난이도변경모듈(242)은 상기 피실험자의 정서 인지능력에 대한 판단결과에 기초하여 다감각정보에 대한 감정상태 조합의 난이도를 변경한다.
순서변경모듈(244)은 상기 피실험자의 정서 인지능력에 대한 판단결과에 기초하여 다감각정보의 출력 순서를 변경한다.
전송모듈(246)은 상기 감정상태 조합의 난이도 변경결과 또는 다감각정보의 출력 순서를 나타내는 출력제어신호를 생성하여 상기 출력부(210)로 전송한다.
저장부(250)는 상기 출력부(210)를 통해 출력하고자 하는 복수 개의 다감각정보, 상기 다감각정보에 해당하는 기준 감정상태정보 및 평균 정서 인지능력의 판단결과를 기저장한다.
이하, 도 3을 참조하여 본 발명의 다른 실시 예에 따른 다감각정보를 이용한 정서 인지능력 검사 방법에 대하여 살펴보도록 한다.
도 3은 본 발명의 또 다른 실시 예에 따른 다감각정보를 이용한 정서 인지능력 검사 방법의 순서도이다.
도 3에 도시된 바와 같이, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 방법은 출력부가 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 외부로 출력한다(S310). 이때, 출력되는 상기 다감각정보는 다양한 자극에 대하여 반응하는 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보를 상호 조합하여 이루어지는 정보를 나타낸다.
즉, 즐거운 음악이라는 자극이 주어진 경우에, 대상자가 신나고 행복한 표정을 짓게 되는데, 이때 대상자를 촬영한 시각정보와, 또한 이때 상기 대상자의 웃음소리를 나타내는 청각정보를 함께 조합하여 이루어지는 다감각정보를 출력부(110)가 출력한다.
이에 따라, 입력부가 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 복수 개의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는다(S320).
예를 들어, 도 4에 도시된 바와 같이, 출력부를 통해 출력된 다감각정보가 대상자의 행복을 나타내는 시각정보와, 또한 대상자의 행복을 나타내는 청각정보인 경우에, 피실험자는 대상자의 감정상태가 시각정보와 청각정보에 의해 모두 행복하다고 판단함에 따라, 입력부는 다감각정보의 시각정보와 청각정보가 동일하다는 감정상태정보를 입력받는다.
이후, 비교확인부가 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인한다(S330). 즉, 대상자의 웃는 얼굴이 나타난 시각정보와, 웃음소리를 나타낸 청각정보의 조합으로 이루어지는 다감각정보에 대하여, 기준 감정상태정보는 동일이고, 이러한 다감각정보 및 이에 따른 기준 감정상태정보는 저장부에 저장된다.
예를 들어, 비교확인부가 입력부를 통해 입력받은 감정상태정보가 동일이고, 출력부를 통해 앞서 출력한 다감각정보에 해당하는 기준 감정상태정보가 동일임에 따라, 입력받은 감정상태정보와 기준 감정상태정보가 서로 동일하다고 판단할 수 있다.
이에 따라, 제어부가 입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단한다(S340). 예를 들어, 상기 비교확인부가 확인한 감정상태정보의 확인결과가 동일한 경우에, 상기 제어부는 피실험자의 정서 인지능력이 양호하다고 판단할 수 있다. 하지만 이와 달리, 비교확인부가 확인한 감정상태정보의 확인결과가 동일하지 않은 경우에, 상기 제어부는 피실험자의 타인에 대한 정서 인지능력이 부족하다고 판단할 수 있다.
이와 같이, 대상자의 정서상태를 나타내는 다감각정보를 통해 피실험자가 대상자의 정서상태를 예상하고, 예상한 정서상태가 정확한지 여부를 확인하여 상기 피실험자의 타인에 대한 정서 인지능력이 어느 정도에 해당하는지 판단할 수 있게 된다. 이때, 상기 피실험자의 타인에 대한 정서 인지능력 여부를 점수화할 수 있다.
이처럼, 피실험자의 타인에 대한 정서 인지능력을 검사한 후, 상기 피실험자의 타인에 대한 정서 인지능력이 부족하다고 판단한 경우에는 상기 피실험자의 정서 인지능력을 향상시키기 위한 훈련 방법이 연구될 수 있다.
이하, 도 5를 참조하여 본 발명의 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 방법을 설명하도록 한다.
도 5는 본 발명의 또 다른 실시 예에 따른 다감각정보를 이용한 정서 인지 훈련 방법의 순서도이다.
도 5에 도시된 바와 같이, 본 발명은 먼저, 입력부가 피실험자의 정서 인지능력을 표준점수로 수치화한 점수를 입력받는다.
이후, 출력부가 입력받은 점수에 해당하는 미리 설정된 난이도를 갖도록 대상자의 복수 개의 감정상태정보를 조합하여 이루어지는 다감각정보를 출력한다(S410). 이때, 피실험자의 정서 인지능력을 나타내는 표준점수에 기초하여 다감각정보의 감정상태에 대한 조합 난이도가 결정될 수 있다.
예를 들어, 다감각정보의 조합 난이도를 총 5단계로 나누어 설정한다고 가정한 경우, 처음 제1 단계는 두 가지의 감정상태정보 중 하나의 감정상태가 도드라짐에 따라 조합의 난이도가 가장 낮은 얼굴에 해당하며, 단계가 올라갈수록 두 가지의 감정상태정보가 서로 유사한 비율로 조합되어 어느 하나의 감정상태가 도드라지지 않는다.
예를 들어, 제1 단계는 피실험자의 정서 인지능력을 나타낸 표준점수가 -2 점 이하일 때 사용하며, 특정 정서가 91 내지 100% 포함되어 있다. 예를 들어, 행복한 얼굴은 행복과 화남을 95: 5의 비율로 합성되고, 화난 얼굴의 경우 화남과 행복을 95: 5의 비율로 합성된다.
제2 단계는 피실험자의 정서 인지능력을 나타낸 표준점수가 -2 점 이상 -1 점 미만일 때 사용하며, 특정 정서가 81 내지 90% 포함되어 있다. 예를 들어, 행복한 얼굴은 행복과 화남을 85: 15의 비율로 합성되고, 화난 얼굴의 경우 화남과 행복을 95: 5 의 비율로 합성된다.
제3 단계는 피실험자의 정서 인지능력을 나타낸 표준점수가 -1 점 이상 0점 미만일 때 사용하며, 특정 정서가 71 내지 80% 포함되어 있다. 예를 들어, 행복한 얼굴은 행복과 화남을 75: 25의 비율로 합성되고, 화난 얼굴의 경우 화남과 행복을 75: 25의 비율로 합성된다.
제4 단계는 피실험자의 정서 인지능력을 나타낸 표준점수가 0점 이상 1.5 점 미만일 때 사용하며, 특정 정서가 61 내지 70% 포함되어 있다. 예를 들어, 행복한 얼굴은 행복과 화남을 65: 35 의 비율로 합성되고, 화난 얼굴의 경우 화남과 행복을 65: 35의 비율로 합성된다.
제5 단계는 피실험자의 정서 인지능력을 나타낸 표준점수가 1.5점 이상일 때, 사용하며, 특정 정서가 51 내지 60% 포함되어 있다. 예를 들어, 행복한 얼굴은 행복과 화남을 55: 45의 비율로 합성되고, 화난 얼굴의 경우 화남과 행복을 55: 45의 비율로 합성된다.
입력부가 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 복수 개의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는다(S420).
비교확인부가 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인한다(S430).
제어부가 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단한다(S440).
상기 제어부가 상기 피실험자의 정서 인지능력에 대한 판단결과에 해당하는 감정상태 조합의 난이도가 변경된 다감각정보를 출력하도록 출력제어신호를 생성하고, 생성한 출력제어신호를 상기 출력부로 전송한다(S450). 이때, 상기 피실험자의 정서인지 능력에 대한 판단결과에 기초하여 다감각정보에 대한 감정상태 조합의 난이도를 변경한 변경결과 또는 다감각정보의 출력순서를 나타내는 출력제어신호를 생성하여 출력부로 전송할 수 있다.
도 6은 감정의 난이도별 다감각정보를 나타낸 도면이다.
예를 들어, 행복 100% 에서 화남 100% 까지의 감정상태를 다수의 단계로 나누어 설정하여 저장부에 저장될 수 있다.
특히, 피실험자의 정서인지 능력에 대한 판단결과가 부족에 해당하는 경우에는 다감각정보에 대한 감정상태 조합의 난이도를 낮게 변경하여 행복 100% 또는 화남 100%에 해당하는 다감각정보를 선택하도록 출력제어신호가 생성될 수 있다.
또는 이와 달리, 피실험자의 정서인지 능력에 대한 판단결과가 양호에 해당하는 경우에는 다감각정보에 대한 감정상태 조합의 난이도를 높게 변경하여 행복 100% 또는 화남 100%의 치우치진 않은 행복 50% 또는 화남 50%에 해당하는 다감각정보를 선택하도록 출력제어신호가 생성될 수 있다.
상기 출력부가 수신한 출력제어신호에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 재출력한다(S460).
상기 입력부가 재출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 감정상태정보를 입력받는다(S470). 이때, 상기 입력부가 출력된 다감각정보에 대하여 피실험자로부터 감정상태정보를 입력받는데 있어서, 입력제한시간을 설정할 수 있으며, 감정상태 조합의 난이도가 변경됨에 따라 입력제한시간을 줄이거나 늘리도록 설정할 수 있다.
상기 비교확인부가 입력받은 상기 감정상태정보가 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 재확인한다(S480).
이후, 상기 제어부가 미리 설정한 횟수만큼 다감각정보의 출력 및 이에 따른 입력의 수행이 반복되었는지 확인한다(S490). 이때, 설정된 횟수는 훈련반복 횟수를 나타내는 것으로서, 피실험자의 선택에 의해 변경하여 설정이 가능하다.
이에 따라, 미리 설정한 횟수만큼 다감각정보의 출력 및 이에 따른 입력의 수행이 반복된 경우에는 상기 제어부가 상기 감정상태정보의 재확인결과에 따라, 상기 피실험자의 정서 인지능력에 대한 판단결과를 상기 저장부에 기저장된 평균 정서 인지능력의 판단결과와 비교하여 상기 피실험자의 정서 인지능력의 향상 여부를 판단한다(S500).
도 7은 정서 인지 훈련 수행 후, 피실험자의 정서 인지능력을 나타내는 그래프이다.
예를 들어, 도 7(a)에 도시된 바와 같이, 상기 피실험자의 정서 인지능력에 대한 판단결과가 82.50이고, 저장부에 기저장된 평균 정서 인지능력의 판단결과가 73.98이면, 상기 피실험자의 정서 인지능력이 향상되었다고 판단할 수 있게 된다.
또한, 훈련횟수별 피실험자의 정서 인지능력에 대한 판단결과 또한 달라질 수 있다.
도 7(b)에 도시된 바와 같이, 훈련횟수 1회기일 때의 정서 인지능력에 대한 판단결과가 74.38인데 비하여, 훈련횟수 5회기일 때의 정서 인지능력에 대한 판단결과는 90.21인 것을 알 수 있으며, 훈련횟수가 늘어날수록 정서 인지능력이 향상되는 것을 알 수 있다.
또한 이와 같이, 피실험자가 정서 인지능력에 대한 훈련을 복수 회 수행한 후, 정서 인지능력의 향상여부를 일반화 검사를 통해 확인할 수 있다.
이러한 정서 인지능력의 일반화 검사는 정서 인지 훈련 시 사용한 동일한 형태의 다감각정보가 아닌 다른 대상자를 나타내는 시각 정보 또는 다른 대상자의 목소리를 나타내는 청각정보를 이용한다.
이를 위해, 일반화 검사에서는 입력부가 피실험자로부터 대상자의 성별, 연령, 인종 중 적어도 하나의 정보를 입력받고, 또한 대상자의 음성 톤 또는 내용정보를 입력받는다. 예를 들어, 상기 입력부가 피실험자로부터 20대 여자에 대한 정서 인지능력을 확인하기 위해, '20대', '여자' 를 입력받고, '매우 높은 톤'의 목소리, '밥 먹으러 가자'는 내용을 입력받을 수 있다.
이후, 출력부가 상기 입력부를 통해 입력받은 대상자의 성별, 연령, 인종 중 적어도 하나의 정보 또는 대상자의 음성 톤 또는 내용정보에 해당하는 시각정보 및 청각정보를 조합한 다감각정보를 출력한다.
이후, 상기 입력부가 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 복수 개의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는다.
이후, 비교확인부가 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인한다.
이에 따라, 제어부가 감정상태정보의 확인결과에 기초하여 일반화된 피실험자의 정서 인지능력을 판단할 수 있다.
또한, 이러한 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체에 저장될 수 있다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, DVD±ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크(hard disk), 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 다감각정보를 이용하여 대상자의 정서 상태를 판단하여 타인에 대한 정서 인지능력을 용이하게 확인할 수 있는 효과가 있다.
또한, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 타인에 대한 정서 인지능력을 확인한 후 다감각정보의 난이도를 변경하여 인지능력을 반복수행함으로써, 사용자의 정서 인지능력을 향상시킬 수 있는 효과가 있다.
더불어, 본 발명의 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법은 조현증, 자폐증, 우울증 등을 앓고 있는 환자들로 하여금 타인의 정서 상태를 용이하게 인식할 수 있고, 이를 통해 현재 사용자의 정서 인지상태를 확인한 후, 다감각정보의 난이도를 변경함으로써, 사용자의 정서 인지상태를 용이하게 향상시킬 수 있는 효과가 있다.
상기에서는 본 발명의 바람직한 실시 예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 본 발명의 기술 사상 범위 내에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 첨부된 특허청구범위에 속하는 것은 당연하다.

Claims (10)

  1. 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 외부로 출력하는 출력부;
    출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는 입력부;
    입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 비교확인부; 및
    입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서인지능력을 판단하는 제어부;
    를 포함하는 다감각정보를 이용한 정서 인지능력 검사 시스템.
  2. 제1항에 있어서,
    상기 다감각정보는
    상기 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보를 상호 조합하여 이루어지는 정보인 것을 특징으로 하는 다감각정보를 이용한 정서 인지능력 검사 시스템.
  3. 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 출력하는 출력부;
    출력된 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는 입력부;
    입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 비교확인부;
    입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단한 후, 판단결과에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 출력하도록 출력제어신호를 생성하여 상기 출력부로 전송하는 제어부;
    를 포함하되,
    상기 출력부는
    상기 출력제어신호에 응답하여 상기 정서 인지능력 판단결과에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 재출력하며,
    상기 제어부는
    상기 피실험자의 정서 인지능력에 대한 판단결과를 평균 정서 인지능력에 대한 판단결과와 비교하여 상기 피실험자의 정서 인지능력이 향상 여부를 판단하는 것을 특징으로 하는 다감각정보를 이용한 정서 인지 훈련 시스템.
  4. 제3항에 있어서,
    상기 제어부는
    상기 피실험자의 정서 인지능력에 대한 판단결과에 기초하여 다감각정보에 대한 감정상태 조합의 난이도를 변경하는 난이도변경모듈;
    상기 피실험자의 정서 인지능력에 대한 판단결과에 기초하여 다감각정보의 출력 순서를 변경하는 순서변경모듈; 및
    상기 감정상태 조합의 난이도 변경결과 또는 다감각정보의 출력 순서를 나타내는 출력제어신호를 생성하여 상기 출력부로 전송하는 전송모듈;
    을 더 포함하는 것을 특징으로 하는 다감각정보를 이용한 정서 인지 훈련 시스템.
  5. 제3항에 있어서,
    상기 다감각정보는
    상기 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보를 상호 조합하여 이루어지는 정보인 것을 특징으로 하는 다감각정보를 이용한 정서 인지 훈련 시스템.
  6. 출력부가 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 외부로 출력하는 단계;
    입력부가 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받은 단계;
    비교확인부가 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 단계; 및
    제어부가 입력받은 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단하는 단계;
    를 포함하는 다감각정보를 이용한 정서 인지능력 검사 방법.
  7. 제6항에 있어서,
    상기 출력부가 다감각정보를 출력하는 단계는
    상기 대상자를 나타내는 시각정보 및 상기 대상자의 목소리를 나타내는 청각정보가 조합되어 이루어지는 다감각정보를 출력하는 것을 특징으로 하는 다감각정보를 이용한 정서 인지능력 검사 방법.
  8. 출력부가 대상자의 적어도 하나의 감정상태로 이루어지는 다감각정보를 출력하는 단계;
    입력부가 출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 적어도 하나의 감정상태에 대한 동일여부를 나타내는 감정상태정보를 입력받는 단계;
    비교확인부가 입력받은 상기 감정상태정보가 저장부에 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 확인하는 단계;
    제어부가 상기 감정상태정보의 확인결과에 따라 상기 피실험자의 정서 인지능력을 판단하는 단계;
    상기 제어부가 상기 피실험자의 정서 인지능력에 대한 판단결과에 해당하는 감정상태 조합의 난이도가 변경된 다감각정보를 출력하도록 출력제어신호를 생성하고, 생성한 출력제어신호를 상기 출력부로 전송하는 단계;
    상기 출력부가 수신한 출력제어신호에 기초하여 감정상태 조합의 난이도가 변경된 다감각정보를 재출력하는 단계;
    상기 입력부가 재출력된 상기 다감각정보에 기초하여 피실험자로부터 상기 대상자의 감정상태정보를 입력받는 단계;
    상기 비교확인부가 입력받은 상기 감정상태정보가 기저장된 상기 다감각정보에 해당하는 기준 감정상태정보와 동일한지 여부를 재확인하는 단계; 및
    상기 제어부가 상기 감정상태정보의 재확인결과에 따라, 상기 피실험자의 정서 인지능력에 대한 판단결과를 상기 저장부에 기저장된 평균 정서 인지능력의 판단결과와 비교하여 상기 피실험자의 정서 인지능력의 향상 여부를 판단하는 단계;
    를 포함하는 다감각정보를 이용한 정서 인지 훈련 방법.
  9. 제8항에 있어서,
    상기 제어부가 출력제어신호를 생성하여 출력부로 전송하는 단계는
    상기 피실험자의 정서인지 능력에 대한 판단결과에 기초하여 다감각정보에 대한 감정상태 조합의 난이도를 변경한 변경결과 또는 다감각정보의 출력순서를 나타내는 출력제어신호를 생성하여 출력부로 전송하는 것을 특징으로 하는 다감각정보를 이용한 정서 인지 훈련 방법.
  10. 제6항 내지 제9항 중 어느 한 항에 따른 방법을 컴퓨터로 실행하기 위한 프로그램이 기록된 컴퓨터 판독가능 기록매체.
PCT/KR2014/009010 2013-09-27 2014-09-26 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법 Ceased WO2015046945A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/024,453 US9934426B2 (en) 2013-09-27 2014-09-26 System and method for inspecting emotion recognition capability using multisensory information, and system and method for training emotion recognition using multisensory information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0115385 2013-09-27
KR1020130115385A KR101531664B1 (ko) 2013-09-27 2013-09-27 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2015046945A1 true WO2015046945A1 (ko) 2015-04-02

Family

ID=52743963

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/009010 Ceased WO2015046945A1 (ko) 2013-09-27 2014-09-26 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법

Country Status (3)

Country Link
US (1) US9934426B2 (ko)
KR (1) KR101531664B1 (ko)
WO (1) WO2015046945A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105334743B (zh) * 2015-11-18 2018-10-26 深圳创维－Rgb电子有限公司 一种基于情感识别的智能家居控制方法及其系统
US10950052B1 (en) 2016-10-14 2021-03-16 Purity LLC Computer implemented display system responsive to a detected mood of a person
US10782865B2 (en) 2018-05-08 2020-09-22 Philip Eli Manfield Parameterized sensory system
US11120599B2 (en) * 2018-11-08 2021-09-14 International Business Machines Corporation Deriving avatar expressions in virtual reality environments
KR20210093281A (ko) 2018-11-09 2021-07-27 아킬리 인터랙티브 랩스 인크. 정서 장애의 검사 및 치료를 위한 얼굴 표정 검출
KR102777377B1 (ko) * 2019-01-07 2025-03-11 현대자동차주식회사 차량 및 그 제어방법
CN112927681B (zh) * 2021-02-10 2023-07-21 华南师范大学 因人而异地识别语音的人工智能心理机器人和方法
CN112906555B (zh) * 2021-02-10 2022-08-05 华南师范大学 因人而异地识别表情的人工智能心理机器人和方法
US12253998B1 (en) * 2021-11-05 2025-03-18 Validate Me LLC System and method for qualifying collected data
CN114140814A (zh) * 2022-02-07 2022-03-04 北京无疆脑智科技有限公司 情绪识别能力的训练方法、装置及电子设备
KR102820339B1 (ko) * 2022-06-20 2025-06-13 재단법인대구경북과학기술원 얼굴 정서 유사성 판단 시스템
KR102519335B1 (ko) * 2022-10-25 2023-04-10 주식회사 크리모 자폐 스펙트럼 장애의 개선을 위한 훈련 도구
CN115719643A (zh) * 2022-12-07 2023-02-28 陕西景特智能科技有限公司 情绪识别方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070063813A (ko) * 2005-12-15 2007-06-20 김성인 그림을 이용한 심리증상 진단 시스템 및 그 방법
KR20090010874A (ko) * 2007-07-24 2009-01-30 정재범 웹 서비스 기반의 인지능력 개발 시스템, 그 방법 및 이를기록한 기록매체
US20110027764A1 (en) * 2006-08-25 2011-02-03 Bianchi-Demicheli Francesco System and method for detecting a specific cognitive-emotional state in a subject
US20120035428A1 (en) * 2010-06-17 2012-02-09 Kenneth George Roberts Measurement of emotional response to sensory stimuli
CA2754835A1 (en) * 2011-10-07 2013-04-07 Baycrest Centre For Geriatric Care Methods and systems for assessing cognitive function

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5647834A (en) * 1995-06-30 1997-07-15 Ron; Samuel Speech-based biofeedback method and system
KR20030029660A (ko) 2001-10-05 2003-04-16 삼성전자주식회사 태아 정서 인식을 이용한 태교 장치 및 방법
KR100485906B1 (ko) * 2002-06-26 2005-04-29 삼성전자주식회사 정서유도 장치 및 방법
JP4048492B2 (ja) * 2003-07-03 2008-02-20 ソニー株式会社 音声対話装置及び方法並びにロボット装置
JP2006006355A (ja) * 2004-06-22 2006-01-12 Sony Corp 生体情報の処理装置および映像音響再生装置
US8069125B2 (en) * 2007-12-13 2011-11-29 The Invention Science Fund I Methods and systems for comparing media content
US8462996B2 (en) * 2008-05-19 2013-06-11 Videomining Corporation Method and system for measuring human response to visual stimulus based on changes in facial expression
NZ590399A (en) * 2008-07-10 2013-09-27 Claudia Zayfert Device, system, and method for treating psychiatric disorders
US8798374B2 (en) * 2008-08-26 2014-08-05 The Regents Of The University Of California Automated facial action coding system
US8401248B1 (en) * 2008-12-30 2013-03-19 Videomining Corporation Method and system for measuring emotional and attentional response to dynamic digital media content
US20120116186A1 (en) * 2009-07-20 2012-05-10 University Of Florida Research Foundation, Inc. Method and apparatus for evaluation of a subject's emotional, physiological and/or physical state with the subject's physiological and/or acoustic data
KR101182348B1 (ko) 2010-12-17 2012-09-20 한국표준과학연구원 음파 분석을 이용하는 유사청각 학습 방법
US8392585B1 (en) * 2011-09-26 2013-03-05 Theranos, Inc. Methods and systems for facilitating network connectivity
US20130211277A1 (en) * 2012-02-10 2013-08-15 Oyvind Berg System And Method For Reducing Stress Levels Through A Biofeedback Mediated System Using Color, Sound, And Aroma Therapy
US20140303450A1 (en) * 2013-04-03 2014-10-09 Dylan Caponi System and method for stimulus optimization through closed loop iterative biological sensor feedback
WO2013177688A1 (en) * 2012-06-01 2013-12-05 Next Integrative Mind Life Sciences Holding Inc. Method, system and interface to facilitate change of an emotional state of a user and concurrent users
US8842882B2 (en) * 2012-06-29 2014-09-23 Apple Inc. Individualizing generic communications
US9031293B2 (en) * 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
EP2968638A2 (en) * 2013-03-15 2016-01-20 Vapor Communications, Inc. Systems, methods and articles to provide olfactory sensations
US10365716B2 (en) * 2013-03-15 2019-07-30 Interaxon Inc. Wearable computing apparatus and method
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
JP2017506169A (ja) * 2014-02-20 2017-03-02 マーク オレイニク ロボット調理キッチン内の食品調製のための方法及びシステム
US10518409B2 (en) * 2014-09-02 2019-12-31 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070063813A (ko) * 2005-12-15 2007-06-20 김성인 그림을 이용한 심리증상 진단 시스템 및 그 방법
US20110027764A1 (en) * 2006-08-25 2011-02-03 Bianchi-Demicheli Francesco System and method for detecting a specific cognitive-emotional state in a subject
KR20090010874A (ko) * 2007-07-24 2009-01-30 정재범 웹 서비스 기반의 인지능력 개발 시스템, 그 방법 및 이를기록한 기록매체
US20120035428A1 (en) * 2010-06-17 2012-02-09 Kenneth George Roberts Measurement of emotional response to sensory stimuli
CA2754835A1 (en) * 2011-10-07 2013-04-07 Baycrest Centre For Geriatric Care Methods and systems for assessing cognitive function

Also Published As

Publication number Publication date
US20160217322A1 (en) 2016-07-28
US9934426B2 (en) 2018-04-03
KR101531664B1 (ko) 2015-06-25
KR20150035152A (ko) 2015-04-06

Similar Documents

Publication Publication Date Title
WO2015046945A1 (ko) 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법
Rutter et al. Visual communication and the content and style of conversation
Cleary et al. Some measures of verbal and spatial working memory in eight-and nine-year-old hearing-impaired children with cochlear implants
Tye-Murray et al. Audiovisual integration and lipreading abilities of older adults with normal and impaired hearing
Bellack Recurrent problems in the behavioral assessment of social skill
Worling et al. Spatial and emotional aspects of language inferencing in nonverbal learning disabilities
Humes et al. Measures of working memory, sequence learning, and speech recognition in the elderly
WO2022186528A1 (ko) 비대면 방식의 정신 장애 진료 시스템 및 방법
WO2015008931A1 (ko) 감정 분석을 통한 선호 음원 관리 장치 및 방법
Chevallier et al. From acoustics to grammar: Perceiving and interpreting grammatical prosody in adolescents with Asperger Syndrome
CN111834019B (zh) 基于语音识别技术的标准化病人培训方法和装置
WO2013077558A1 (ko) 뇌전도를 이용한 로봇기반 자폐진단 장치 및 그 방법
WO2022245009A1 (ko) 메타인지능력 평가방법 및 이를 위한 평가시스템
Thomson The identification of ego states
WO2023033242A1 (ko) 음성, 텍스트, 그림 데이터를 이용한 미술 심리분석 장치 및 이를 이용한 미술 심리분석 방법
Beazley et al. Deaf children
WO2012115295A1 (ko) 생체 감성 지표 및 상황 정보로부터 생성된 학습 감성 지표에 기반하여 사용자의 학습 효과를 향상시키기 위한 유비쿼터스-러닝용 학습 효과 향상 장치
WO2012115294A1 (ko) 생체 감성 지표 및 상황 정보로부터 학습 집중도에 관련된 학습 감성 지표를 생성하기 위한 유비쿼터스-러닝용 미들웨어 장치
Sharma et al. Binaural processing and phonological awareness in Australian Indigenous children from the Northern Territory: A community based study
DiGiovanni et al. Noise characteristics and their impact on working memory and listening comprehension performance
WO2023211128A1 (ko) 음성 데이터를 이용한 ai 기반의 질병 진단 방법 및 장치
Mamatha et al. Comparison of diagnostic auditory processing test scores measured in clinical and school settings
Ndwandwe et al. Hard of hearing learners in a school for the deaf: A case study in the Eastern Cape province
Ekberg et al. Effects of mild-to-moderate sensorineural hearing loss and signal amplification on vocal emotion recognition in middle-aged–older individuals
Mokala et al. Internal teacher support in a special school for learners with hearing impairment in Gauteng

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14849972

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15024453

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14849972

Country of ref document: EP

Kind code of ref document: A1