KR102468833B1 - Artificial Intelligence-based Mirror Counseling Method for Depression Treatment - Google Patents
Artificial Intelligence-based Mirror Counseling Method for Depression Treatment Download PDFInfo
- Publication number
- KR102468833B1 KR102468833B1 KR1020210023334A KR20210023334A KR102468833B1 KR 102468833 B1 KR102468833 B1 KR 102468833B1 KR 1020210023334 A KR1020210023334 A KR 1020210023334A KR 20210023334 A KR20210023334 A KR 20210023334A KR 102468833 B1 KR102468833 B1 KR 102468833B1
- Authority
- KR
- South Korea
- Prior art keywords
- depression
- conversation
- artificial intelligence
- data
- subject
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000009223 counseling Methods 0.000 title claims abstract description 40
- 208000020401 Depressive disease Diseases 0.000 title claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000012937 correction Methods 0.000 claims abstract description 10
- 238000001228 spectrum Methods 0.000 claims abstract description 3
- 238000012360 testing method Methods 0.000 claims description 18
- 230000000994 depressogenic effect Effects 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 208000024891 symptom Diseases 0.000 description 5
- 230000003001 depressive effect Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 239000011295 pitch Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010012374 Depressed mood Diseases 0.000 description 2
- 238000009225 cognitive behavioral therapy Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010010144 Completed suicide Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000003863 physical function Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Psychiatry (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Acoustics & Sound (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Multimedia (AREA)
- Developmental Disabilities (AREA)
- Anesthesiology (AREA)
- Veterinary Medicine (AREA)
- Social Psychology (AREA)
- Databases & Information Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Pain & Pain Management (AREA)
Abstract
본 발명은, 피험자의 대화로 획득되는 음성 데이터를 저장하는 단계, 음성 데이터를 전처리하여 수정 데이터를 생성하는 전처리 단계, 제1 인공지능을 이용하여 수정 데이터를 근거로 음성 특성에 대한 스펙트럼을 분석하여 제1 우울증 수치를 획득하는 단계, 제2 인공지능을 이용하여 수정 데이터를 근거로 대화의 내용에 대한 제2 우울증 수치를 도출하는 단계, 제1 우울증 수치 및 제2 우울증 수치를 취합하여 종합 우울증 수치를 근거로 우울증 여부를 판단하는 단계, 피험자가 우울증인 것으로 판단된 경우 제3 인공지능을 이용하여 긍정적 자기 대화(positive self-conversation) 기법을 포함하는 자기 대화 기법 데이터에 근거한 대화내용을 생성하는 단계 및 대화내용을 소리로 출력하는 단계를 포함하는 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법에 관한 것이다.
본 발명에 따른 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법은 병원의 내방없이 디바이스를 통하여 우울증을 치료할 수 있어 환자의 부담을 경감시킬 수 있다.
또한, 자기 대화(self-conversation)를 통해 우울증 환자 자신이 궁극적으로 행복해지는 방법을 찾아 나가는 방향을 깨닫게 함으로써 우울증을 유발하는 근본적인 원인을 해결하여 치료효과를 향상시킬 수 있는 효과가 있다.The present invention includes a step of storing voice data obtained from a subject's conversation, a preprocessing step of preprocessing the voice data to generate corrected data, and analyzing a spectrum for voice characteristics based on the corrected data using first artificial intelligence. Step of obtaining the first depression level, step of deriving the second level of depression for the contents of the conversation based on the correction data using the second artificial intelligence, and the overall level of depression by combining the level of the first level and the level of the second level of depression Determining whether or not the subject is depressed based on, generating a conversation based on self-conversation technique data including a positive self-conversation technique using third artificial intelligence if the subject is determined to be depressed and an artificial intelligence-based mirror counseling method for treating depression, which includes outputting conversation contents as sound.
The artificial intelligence-based mirror counseling method for treatment of depression according to the present invention can treat depression through a device without visiting a hospital, thereby reducing the patient's burden.
In addition, self-conversation has the effect of improving the treatment effect by solving the fundamental cause of depression by helping the depressed patient to realize the direction in which he ultimately finds a way to be happy.
Description
본 발명은 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법에 관한 것이며, 보다 상세하게는 환자의 일상생활에서 우울증을 진단하고 이를 치료하기 위해 미러 카운슬링을 수행할 수 있는 방법에 관한 것이다.The present invention relates to an AI-based mirror counseling method for treating depression, and more particularly, to a method for performing mirror counseling to diagnose and treat depression in a patient's daily life.
우울증이란 흔한 정신질환으로서 생각의 내용, 사고의 과정, 동기, 의욕, 관심, 행동, 수면, 신체활동 등의 전반적인 심신의 기능이 저하된 상태를 뜻한다. 이러한 증상이 단기적 또는 일시적으로 발생하는 경우 우울한기분으로서 정상적이라고 볼 수 있으나, 장기간에 걸쳐서 하루 종일 나타나는 경우 전문적인 치료가 필요하다. 그러나 우울증은 심신의 기능이 저하된 상태에서 스스로 자각하기가 어려워 방치하는 경우가 흔하다. 이러한 우울증에 따른 결과로서, 학습저하, 생산성 저하, 가족과의 갈등, 이혼 등의 문제를 야기할 수 있고, 중증의 경우 자살에 이르기까지 다양한 문제가 발생할 수 있다.Depression is a common mental illness and refers to a state in which overall mental and physical functions such as the content of thought, thought process, motivation, motivation, interest, behavior, sleep, and physical activity are lowered. If these symptoms occur for a short period or temporarily, it can be regarded as normal as a depressed mood, but if they appear throughout the day over a long period of time, professional treatment is required. However, depression is often neglected because it is difficult to recognize oneself in a state where the function of the mind and body is reduced. As a result of such depression, problems such as reduced learning, reduced productivity, conflict with family, and divorce may occur, and in severe cases, various problems may occur, including suicide.
이러한 우울증의 진단과 간련하여 대한민국 등록특허 제2041848 호가 개시되어 있다. 그러나 이러한 종래의 기술은 우울증의 진단에만 그치고 있으며 치료를 위해 의욕이 없는 우울증 환자가 직접 내원하여 전문의의 도움을 받아야 하는 한계가 있었다.Regarding the diagnosis of depression, Korean Registered Patent No. 2041848 has been disclosed. However, these conventional techniques are limited only to the diagnosis of depression, and there is a limitation in that a depressed patient who is not motivated for treatment directly visits the hospital and receives help from a specialist.
본 발명은 종래의 우울증의 진단 및 치료의 한계를 극복할 수 있는 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법을 제공하는 것에 그 목적이 있다.An object of the present invention is to provide an artificial intelligence-based mirror counseling method for the treatment of depression that can overcome the limitations of conventional diagnosis and treatment of depression.
상기 과제의 해결 수단으로서, 피험자의 대화로 획득되는 음성 데이터를 저장하는 단계, 음성 데이터를 전처리하여 수정 데이터를 생성하는 전처리 단계, 제1 인공지능을 이용하여 수정 데이터를 근거로 음성 특성에 대한 스펙트럼을 분석하여 제1 우울증 수치를 획득하는 단계, 제2 인공지능을 이용하여 수정 데이터를 근거로 대화의 내용에 대한 제2 우울증 수치를 도출하는 단계, 제1 우울증 수치 및 제2 우울증 수치를 취합하여 종합 우울증 수치를 근거로 우울증 여부를 판단하는 단계, 피험자가 우울증인 것으로 판단된 경우 제3 인공지능을 이용하여 긍정적 자기 대화(positive self-conversation) 기법을 포함하는 자기 대화 기법 데이터에 근거한 대화내용을 생성하는 단계 및 대화내용을 소리로 출력하는 단계를 포함하는 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법이 제공될 수 있다.As a means for solving the above problems, a step of storing voice data acquired through a conversation of a subject, a preprocessing step of generating corrected data by preprocessing the voice data, and a spectrum for voice characteristics based on the corrected data using first artificial intelligence. Analyzing and obtaining the first depression level, using the second artificial intelligence to derive the second level of depression for the content of the conversation based on the correction data, collecting the level of the first level and the level of the second level of depression Determining whether or not the subject is depressed based on the overall depression score. If the subject is judged to be depressed, the conversation content based on the self-conversation technique data, including the positive self-conversation technique, is displayed using the third artificial intelligence. An artificial intelligence-based mirror counseling method for treating depression including generating and outputting conversation contents as sound may be provided.
한편, 대화내용을 소리로 출력하는 단계는, 피험자의 대화로 획득되는 음성 샘플을 기반으로 피험자의 음성을 모사하여 출력할 수 있다. Meanwhile, in the step of outputting the contents of the conversation as sound, the test subject's voice may be simulated and output based on the voice sample obtained from the test subject's conversation.
또한, 피험자의 대화로 음성 데이터를 저장하는 단계 및 대화내용을 소리로 출력하는 단계는 피험자를 가상현실에 노출시킨 상태에서 수행될 수 있다.Also, the step of storing voice data as a conversation of the test subject and the step of outputting the content of the conversation as sound may be performed in a state in which the test subject is exposed to virtual reality.
한편, 제1 우울증 수치를 도출하는 단계는, 제1 인공지능을 이용하여, 음성 데이터로부터 히트맵을 생성하는 단계, 히트맵을 CNN 분석하는 단계 및 CNN 분석이후 LSTM 분석으로 학습시킨 후 수행될 수 있다. On the other hand, the step of deriving the first depression value is the step of generating a heat map from the voice data using the first artificial intelligence, the step of CNN analysis of the heat map, and training by LSTM analysis after the CNN analysis. have.
또한, 제2 우울증 수치를 획득하는 단계는, 제2 인공지능을 이용하여, 수정 데이터에 포함된 대화의 내용을 LSTM 분석으로 학습시킨 후 수행될 수 있다.In addition, the step of acquiring the second depression level may be performed after learning the contents of the conversation included in the correction data through LSTM analysis using the second artificial intelligence.
한편, 우울증 여부를 판단하는 단계 이후 종합 우울증 수치를 근거로 수치가 소정 범위에 해당하는 경우 피험자에게 게임 컨텐츠를 제공하는 게임 컨텐츠 제공 단계를 더 포함할 수 있다.On the other hand, after the step of determining depression, a game content providing step of providing game content to the test subject may be further included when the value falls within a predetermined range based on the overall depression level.
본 발명에 따른 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법은 병원의 내방없이 디바이스를 통하여 우울증을 치료할 수 있어 환자의 부담을 경감시킬 수 있다. The artificial intelligence-based mirror counseling method for treatment of depression according to the present invention can treat depression through a device without visiting a hospital, thereby reducing the patient's burden.
또한, 자기 대화(self-conversation)를 통해 우울증 환자 자신이 궁극적으로 행복해지는 방법을 찾아 나가는 방향을 깨닫게 함으로써 우울증을 유발하는 근본적인 원인을 해결하여 치료효과를 향상시킬 수 있는 효과가 있다.In addition, self-conversation has the effect of improving the treatment effect by solving the fundamental cause of depression by helping the depressed patient to realize the direction in which he ultimately finds a way to be happy.
도 1은 본 발명에 따른 일 실시예인 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법이 수행되는 구성 및 화면 시현을 도시한 도면이다.
도 2는 본 발명에 따른 일 실시예인 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법이 수행되는 개념도이다.
도 3은 본 발명에 따른 일 실시예인 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법의 순서도이다.
도 4는 도 3의 전처리 단계의 상세한 순서도이다.
도 5는 본 발명에 따른 일 실시예인 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법에서 우울증 수치를 획득하는 과정을 나타낸 개념도이다.
도 6은 본 발명에 따른 일 실시예인 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법에서 우울증으로 판단된 경우 자기 대화 기법으로 상담 내용을 생성하는 과정에 대한 개념도이다.
도 7은 우울증으로 판단된 경우 게임을 추천하는 과정의 개념도이다.
도 8은 본 발명에 따른 일 실시예인 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법에서 수행되는 전체적인 데이터 처리의 개념을 도시한 도면이다.1 is a diagram illustrating a configuration and screen display in which an artificial intelligence-based mirror counseling method for treating depression, which is an embodiment according to the present invention, is performed.
2 is a conceptual diagram in which an artificial intelligence-based mirror counseling method for treating depression, which is an embodiment according to the present invention, is performed.
3 is a flowchart of an AI-based mirror counseling method for treating depression, which is an embodiment according to the present invention.
Figure 4 is a detailed flow chart of the preprocessing step of Figure 3;
5 is a conceptual diagram illustrating a process of obtaining a depression value in an artificial intelligence-based mirror counseling method for treating depression, which is an embodiment according to the present invention.
6 is a conceptual diagram illustrating a process of generating counseling content using a self-talk technique when depression is determined in an artificial intelligence-based mirror counseling method for treating depression, which is an embodiment according to the present invention.
7 is a conceptual diagram of a process of recommending a game when it is determined that depression is present.
8 is a diagram illustrating the concept of overall data processing performed in an artificial intelligence-based mirror counseling method for depression treatment according to an embodiment of the present invention.
이하, 본 발명의 실시 예에 따른 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법에 대하여, 첨부된 도면을 참조하여 상세히 설명한다. 그리고 이하의 실시예의 설명에서 각각의 구성요소의 명칭은 당업계에서 다른 명칭으로 호칭될 수 있다. 그러나 이들의 기능적 유사성 및 동일성이 있다면 변형된 실시예를 채용하더라도 균등한 구성으로 볼 수 있다. 또한 각각의 구성요소에 부가된 부호는 설명의 편의를 위하여 기재된다. 그러나 이들 부호가 기재된 도면상의 도시 내용이 각각의 구성요소를 도면내의 범위로 한정하지 않는다. 마찬가지로 도면상의 구성을 일부 변형한 실시예가 채용되더라도 기능적 유사성 및 동일성이 있다면 균등한 구성으로 볼 수 있다. 또한 당해 기술 분야의 일반적인 기술자 수준에 비추어 보아, 당연히 포함되어야 할 구성요소로 인정되는 경우, 이에 대하여는 설명을 생략한다.Hereinafter, an AI-based mirror counseling method for treating depression according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In addition, in the description of the following embodiments, the name of each component may be called a different name in the art. However, if they have functional similarity and identity, even if a modified embodiment is employed, it can be regarded as an equivalent configuration. In addition, signs added to each component are described for convenience of description. However, the contents of the drawings in which these symbols are written do not limit each component to the scope in the drawings. Likewise, even if an embodiment in which the configuration in the drawings is partially modified is employed, it can be regarded as an equivalent configuration if there is functional similarity and identity. In addition, in light of the level of a general technician in the relevant technical field, if it is recognized as a component that should be included, the description thereof will be omitted.
도 1은 본 발명에 따른 일 실시예인 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법이 수행되는 구성 및 화면 시현을 도시한 도면이다.1 is a diagram illustrating a configuration and screen display in which an artificial intelligence-based mirror counseling method for treating depression, which is an embodiment according to the present invention, is performed.
도 1을 참조하면 본 발명에 따른 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법은 피험자가 상담 및/또는 대화를 몰입하기 위해 가상현실(20)에 노출시킨 상태에서 수행될 수 있다.Referring to FIG. 1 , the artificial intelligence-based mirror counseling method for treating depression according to the present invention may be performed in a state in which a subject is exposed to
도 1(a)을 참조하면, 본 발명에 따른 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법은 피험자가 착용하는 장비, 예를 들어 HMD(head Mount Display, 10) 또는 스마트 디바이스, PC 등의 그래픽 기반의 피험자 인터페이스를 갖는 장치가 이용될 수 있다. 전술한 피험자가 착용하는 장비는 피험자로부터 음성 데이터를 획득할 수 있도록 구성되며, 서버와 통신할 수 있도록 구성될 수 있다.Referring to FIG. 1 (a), the artificial intelligence-based mirror counseling method for the treatment of depression according to the present invention is an equipment worn by a subject, for example, a head mount display (HMD) 10 or a graphic device such as a smart device or a PC. A device having a subject interface based on the subject interface may be used. The above-described equipment worn by the test subject is configured to obtain voice data from the test subject and may be configured to communicate with the server.
도시되지는 않았으나, 서버에는 복수의 인공지능 알고리즘이 탑재되어 피험자의 대화내용 및 음성 특성을 분석하고 우울증 여부를 판단할 수 있도록 구성된다. 또한 복수의 인공지능 중 적어도 하나는 피험자의 대화 내용을 분석하고 우울증을 치료하기 위한 대화내용을 생성하여 피험자가 착용하는 장비로 전송할 수 있도록 구성될 수 있다. Although not shown, a plurality of artificial intelligence algorithms are installed in the server to analyze the conversation contents and voice characteristics of the subject and determine whether or not they are depressed. In addition, at least one of the plurality of artificial intelligence may be configured to analyze the subject's conversation contents, generate conversation contents for treating depression, and transmit the conversation contents to equipment worn by the subject.
한편, 도 1(b)를 참조하면, 서버는 우울증을 치료하기 위한 대화 내용은 가상현실 상에서 생성된 캐릭터의 제스쳐와 음성을 동기화 하여 수행될 수 있다. 이를 위하여 서버에는 가상 현실의 물리 엔진이 탑재될 수 있으며, 피험자의 얼굴 데이터를 기반으로 가상 현실의 캐릭터(21)가 생성되고 이를 가상현실 공간에서 시현할 수 있는 데이터를 생성할 수 있다. 또한 어느 하나의 인공지능은 피험자로부터 획득된 음성에서 음성 특성을 추출하고 우울증을 치료하기 위한 대화 내용을 피험자의 음성을 모사하여 생성하고 영상을 시현할 수 있다.On the other hand, referring to FIG. 1(b), the server may perform conversation contents for treating depression by synchronizing a gesture and voice of a character created in virtual reality. To this end, a virtual reality physics engine may be mounted on the server, and a
또한 서버 또는 피험자가 사용하는 장비는 하나 이상의 게임 컨텐츠를 포함할 수 있다. 인공지능은 피험자가 우울증의 증상이 있는 것으로 판단되는 경우 필요에 따라 몰입감을 제공하고 집중하여 즐길 수 있는 게임을 피험자에게 추천할 수 있다. 상기의 게임은 우울증 환자에게 효과가 있는 적어도 하나의 플레이 방식을 포함할 수 있다.In addition, the server or equipment used by the test subject may include one or more game contents. If the subject is judged to have symptoms of depression, artificial intelligence may recommend a game that provides a sense of immersion and can be enjoyed with concentration as needed. The above game may include at least one play method effective for depressed patients.
본 발명에 따른 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법은 피험자가 병원에 직접 방문하지 않더라도 지속적으로 모니터링이 가능하며, 인공지능에 의해 우울증의 증세 및 심각도를 지속적으로 판단하고 치료를 위한 대화 또는 게임을 제공할 수 있다.The artificial intelligence-based mirror counseling method for depression treatment according to the present invention enables continuous monitoring even if the subject does not visit the hospital in person, continuously determines the symptoms and severity of depression by artificial intelligence, and talks for treatment or games can be provided.
이하에서는 도 2 내지 도 8을 참조하여 본 발명에 따른 일 실시예인 인공지능 기반 미러 카운슬링 방법에 대하여 상세히 설명하도록 한다.Hereinafter, an AI-based mirror counseling method according to an embodiment of the present invention will be described in detail with reference to FIGS. 2 to 8 .
도 2는 본 발명에 따른 일 실시예인 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법이 수행되는 개념도이다.2 is a conceptual diagram in which an artificial intelligence-based mirror counseling method for treating depression, which is an embodiment according to the present invention, is performed.
도 2를 참조하면, 본 발명에 따른 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법은 피험자의 대화로부터 획득된 음성 데이터를 기반으로 우울증 정도를 측정하고 지속적으로 모니터링 할 수 있으며, 우울증 정도에 따른 자기 대화 방식의 상담을 진행할 수 있으며, 또한 필요에 따라 우울증 경감을 위한 게임을 수행하도록 안내할 수 있다. 이때 우울증의 정도 측정 및 모니터링, 자기 대화 방식의 상담 진행 및 게임 제공은 딥러닝으로 학습된 인공지능을 이용하여 판단 및 수행이 이루어질 수 있다.Referring to FIG. 2, the artificial intelligence-based mirror counseling method for treating depression according to the present invention can measure and continuously monitor the degree of depression based on voice data obtained from the conversation of the subject, and self-report according to the degree of depression. Counseling can be conducted in a conversational way, and if necessary, guidance can be given to play a game to alleviate depression. At this time, the degree of depression measurement and monitoring, self-dialogue counseling, and game provision can be judged and performed using artificial intelligence learned through deep learning.
도 3은 본 발명에 따른 일 실시예인 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법의 순서도이다.3 is a flowchart of an AI-based mirror counseling method for treating depression, which is an embodiment according to the present invention.
도 3을 참조하면, 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법은 피험자와의 대화로 획득되는 음성 데이터를 저장하는 단계(S100), 수정 데이터를 생성하는 전처리 단계(S200), 제1 인공지능을 이용하여 음성 특성에 대한 제1 우울증 수치를 획득하는 단계(S300), 제2 인공지능을 이용하여 대화 내용에 대한 제2 우울증 수치를 획득하는 단계(S400), 제1 우울증 수치와 제2 우울증 수치를 취합하여 종합 우울증 수치를 근거로 우울증 여부를 판단하는 단계(S500), 종합 우울증 수치 소정범위에 해당하는지 판단하는 단계(S600), 게임 컨텐츠 제공하는 단계(S700), 피험자가 우울증으로 판단된 경우 제3 인공지능을 이용하여 긍정적 자기 대화 기법에 근거한 대화내용을 생성하는 단계(S800) 및 대화 내용 기반 영상생성 및 시현하는 단계(S900)를 포함하여 구성될 수 있다. Referring to FIG. 3 , the artificial intelligence-based mirror counseling method for treating depression includes a step of storing voice data acquired through a conversation with a subject (S100), a preprocessing step of generating correction data (S200), and a first artificial intelligence Acquiring a first depression value for voice characteristics by using (S300), obtaining a second depression value for conversation content using a second artificial intelligence (S400), the first depression value and the second depression value Determining depression based on the total depression level by collecting the values (S500), determining whether the total depression level falls within a predetermined range (S600), providing game content (S700), determining if the subject is depressed In this case, it may include generating conversation contents based on a positive self-talk technique using third artificial intelligence (S800) and generating and displaying an image based on conversation contents (S900).
피험자와의 대화로 획득되는 음성 데이터를 저장하는 단계(S100)는 음성 데이터를 획득할 수 있는 전용 장치 또는 스마트 디바이스를 통하여 피험자와의 대화로부터 획득되는 음성 데이터를 획득하는 단계에 해당한다. 피험자와의 대화로 획득되는 데이터에는 말의 속도, 음높이 변화, 음정 등의 음성 특성에 데이터와 대화의 의미기 담긴 내용에 대한 정보가 포함될 수 있다. 음성 데이터에 포함된 음성 특성과 대화 내용에는 심리 상태 또는 우울증의 정도에 따라 나타날 수 있는 특징들을 포함할 수 있다. 예컨대, 음성 특성의 관점에서 피험자의 음성 반응이, 질문에 대한 대답 반응속도가 느려지거나, 말하는 음략이 감소하거나, 음의 높이의 다양성이 감소하여 말하는 톤이 일정한 경우에는 우울증 환자의 증상으로 볼 수 있다. 또한 대화 내용의 관점에서 우울하고 부정적인 단어의 사용, 우울하고 부정적인 단어의 빈도가 높은 경우, 우울하고 부정적인 대화의 흐름, 그리고 이러한 우울한 내용과 관련된 빈도가 오전에 더 심하고 오후로 갈수록 호전되는 경우에 우울증 환자의 증상으로 볼 수 있다.The step of storing voice data obtained from a conversation with the test subject (S100) corresponds to a step of acquiring voice data obtained from a conversation with the test subject through a dedicated device or smart device capable of acquiring voice data. Data acquired through a conversation with a subject may include information about content of speech characteristics such as speech speed, pitch change, pitch, and the like and meaning of conversation. Voice characteristics and conversation contents included in the voice data may include features that may appear according to a psychological state or degree of depression. For example, in terms of voice characteristics, if the subject's voice response slows down in response to questions, decreases in speaking volume, or decreases in the variety of pitches, and the speaking tone is constant, it can be seen as a symptom of a depressed patient. have. In addition, in terms of conversation content, the use of depressive and negative words, the high frequency of depressive and negative words, the flow of depressive and negative conversations, and the frequency associated with these depressive contents are more severe in the morning and improve in the afternoon. It can be seen in the patient's symptoms.
수정 데이터를 생성하는 전처리 단계(S200)는 전술한 음성 데이터를 인공지능이 학습하고 판단하기 위한 적절한 형태로 처리하기 위한 단계이다. 이때 음성 데이터로부터 음성 특성과 대화 내용을 각각 전처리할 수 있다. 이와 관련하여, 도 4는 도 3의 전처리 단계(S200)의 상세한 순서도이다. 도 4를 참조하면, 음성 특성을 이미지화하는 전처리 단계는 음성 주파수 추출(S211), 주파수 대역별 mel 값 변환(S212), Mel Spectrogram 생성(S213) 및 Filtering을 통한 n * m 행렬화 단계(S214)를 포함할 수 있다. 결국 음성 데이터에 포함된 주파수 데이터로부터 전처리하여 이미지화 하고 히트맵(heatmap)을 생성할 수 있다.The pre-processing step of generating correction data (S200) is a step for processing the above-described voice data into an appropriate form for artificial intelligence to learn and judge. At this time, voice characteristics and conversation content may be preprocessed from the voice data. In this regard, FIG. 4 is a detailed flowchart of the preprocessing step S200 of FIG. 3 . Referring to FIG. 4, the pre-processing step of imaging voice characteristics includes extracting voice frequencies (S211), converting mel values for each frequency band (S212), generating Mel spectrograms (S213), and converting n * m matrices through filtering (S214). can include As a result, frequency data included in voice data may be preprocessed and imaged, and a heatmap may be generated.
한편, 음성 데이터로부터 내용을 인식시키기 위한 전처리로서, 음성 데이터로부터 문자를 생성하기 위한 전처리가 수행될 수 있다. 구체적으로 음성 데이터를 음성 문서화(S221) 하며, 문서를 토큰화(S222) 하고, 불용어를 제거(S223)하고, 토큰 n * m 행렬로 임베딩(S224)을 수행할 수 있다.Meanwhile, as preprocessing for recognizing content from voice data, preprocessing for generating text from voice data may be performed. Specifically, voice data may be voice documented (S221), the document may be tokenized (S222), stopwords may be removed (S223), and embedding may be performed into a token n * m matrix (S224).
한편, 전술한 전처리 단계(S200)를 수행하여 획득된 데이터를 '수정 데이터'라고 정의하고 이하 설명하도록 한다.Meanwhile, data obtained by performing the above-described preprocessing step (S200) is defined as 'correction data' and will be described below.
도 5는 본 발명에 따른 일 실시예인 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법에서 우울증 수치를 획득하는 과정을 나타낸 개념도이다.5 is a conceptual diagram illustrating a process of obtaining a depression value in an artificial intelligence-based mirror counseling method for treating depression, which is an embodiment according to the present invention.
도 5를 참조하면, 음성 특성 및 대화 내용이 추출된 수정 데이터를 근거로 인공지능을 이용하여 우울증 수치를 획득할 수 있다. 이때 인공지능은 복수로 구성될 수 있으며, 음성 특성을 기반으로 제1 우울증 수치를 획득하는 인공지능과 대화 내용을 기반으로 제2 우울증 수치를 획득하는 인공지능이 별도로 학습될 수 있다.Referring to FIG. 5 , a depression value may be obtained using artificial intelligence based on modified data from which voice characteristics and conversation contents are extracted. At this time, the artificial intelligence may be composed of a plurality, and the artificial intelligence for acquiring the first depression value based on the voice characteristics and the artificial intelligence for obtaining the second depression value based on the conversation content may be separately learned.
제1 인공지능을 이용하여 음성 특성에 대한 제1 우울증 수치를 획득하는 단계(S300)는 수정 이미지 중 히트맵을 입력 데이터로 하여 제1 우울증 수치를 도출하는 과정에 대하여 인공지능을 학습시켜 수행될 수 있다. 이 때 인공지능은 히트맵을 합성곱 신경망(Convolutional Neuron Network, CNN)을 이용하여 학습하고, 이후 LSTM(Long Short-Term Memory) 분석을 수행하여 시계열적인 특성에 대하여 학습한 후 우울증에 대한 수치를 획득할 수 있다. Acquiring a first depression value for voice characteristics using first artificial intelligence (S300) is performed by learning artificial intelligence for a process of deriving a first depression value using a heat map of a modified image as input data. can At this time, AI learns the heat map using a Convolutional Neuron Network (CNN), and then performs LSTM (Long Short-Term Memory) analysis to learn about time-series characteristics, and then calculates the value of depression. can be obtained
제2 인공지능을 이용하여 대화 내용에 대한 제2 우울증 수치를 획득하는 단계(S400)는 수정 데이터에 포함된 토큰 행렬을 근거로 인공지능으로 LSTM 분석을 수행하고 학습 데이터에 근거하여 제2 우울증 수치를 획득하는 단계에 해당한다. 학습 데이터에는 정신과에서 사용되는 문진표 및 연구결과에 따라 단어별로 부정적인지 여부에 대한 정보를 포함할 수 있다. In step S400 of obtaining a second depression value for the conversation content using the second artificial intelligence, LSTM analysis is performed with artificial intelligence based on the token matrix included in the modified data, and the second depression value is obtained based on the learning data. corresponds to the step of obtaining The learning data may include information on whether each word is negative according to the questionnaire used in psychiatry and research results.
제1 우울증 수치와 제2 우울증 수치를 취합하여 종합 우울증 수치를 근거로 우울증 여부를 판단하는 단계(S500)는 복수의 인공지능으로부터 획득된 제1 우울증 수치와 제2 우울증 수치를 취합하여 종합 우울증 수치를 산출하는 단계이다. 이때 각 우울증 수치별로 가중치가 적용될 수 있다. 한편, 인공지능의 학습시에는 Beck Depression Inventory score 와 비교해 오차를 통해 피드백을 수행하여 산출된 종합 우울증 수치의 정확도를 향상시킬 수 있게 된다. In step S500 of collecting the first depression value and the second depression value and determining whether or not there is depression based on the overall depression value, the first depression value and the second depression value obtained from the plurality of artificial intelligence are collected and the comprehensive depression value is determined. is the step of calculating At this time, a weight may be applied for each depression value. On the other hand, when learning artificial intelligence, it is possible to improve the accuracy of the calculated total depression score by performing feedback through errors compared with the Beck Depression Inventory score.
종합 우울증 수치 소정범위에 해당하는지 판단하는 단계(S600)는 종합 우울증 수치에 따라 게임을 제안할 것인지 대화를 진행할 것인지를 판단하는 단계에 해당한다. 종합 우울증 수치가 소정범위에 해당하여 대화를 진행해야 하는 것으로 판단된 경우 긍정적 자기 대화 기법에 근거한 대화내용을 생성하는 단계(S800) 및 대화 내용 기반 영상생성 및 시현하는 단계(S900)가 수행될 수 있다.The step of determining whether the overall depression level falls within a predetermined range (S600) corresponds to the step of determining whether to propose a game or proceed with a conversation according to the total depression level. If it is determined that the conversation should proceed because the overall depression level falls within a predetermined range, the steps of generating conversation contents based on the positive self-talk technique (S800) and generating and displaying images based on conversation contents (S900) may be performed. have.
도 6은 본 발명에 따른 일 실시예인 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법에서 우울증으로 판단된 경우 자기 대화 기법으로 상담 내용을 생성하는 과정에 대한 개념도이다.6 is a conceptual diagram illustrating a process of generating counseling content using a self-talk technique when depression is determined in an artificial intelligence-based mirror counseling method for treating depression, which is an embodiment according to the present invention.
도 6을 참조하면, 긍정적 자기 대화 기법에 근거한 대화내용을 생성하는 단계(S800)는 자기 대화 기법의 대화 내용을 생성하기 위하여 인공지능을 학습시켜 수행될 수 있다. 학습 데이터로서 심리 상담 및 정신과 연구에 의해 구축된 카운슬링 데이터가 이용될 수 있다. 전술한 음성 데이터로부터 획득된 피험자가 말하는 내용을 근거로 자기 대화 기법으로 질문하고 긍정적인 대화를 이끌어낼 수 있는 대화의 내용이 생성될 수 있다. 이와 같은 자기 대화 기법을 통해 우울증 환자 자신이 궁극적으로 행복해지는 방법을 찾아 나가는 방향을 깨닫게 함으로써, 우울증을 유발하는 근본적인 원인을 해결할 수 있다. 일 예로서, 피험자가'나 오늘 기분이 우울해' 라고 말한 경우 인공지능에서는 '무슨 일 이 있었나요?'와 같은 대화 내용을 생성할 수 있다. 이때 인공지능에서 생성된 대화 내용은 카운슬링 데이터와 비교하여 피드백하여 인공지능의 대화 내용 생성의 정확도를 향상시킬 수 있다.Referring to FIG. 6 , generating conversation contents based on the positive self-talk technique (S800) may be performed by learning artificial intelligence to generate conversation contents of the self-talk technique. As learning data, psychological counseling and counseling data established by psychiatric research can be used. Conversation content capable of asking questions and eliciting a positive conversation may be generated based on the content spoken by the test subject obtained from the above-described voice data. Through this self-talk technique, the fundamental cause of depression can be solved by allowing the depressed patient to realize the direction in which he ultimately finds a way to be happy. As an example, when the subject says 'I'm in a depressed mood today', the artificial intelligence can generate conversation contents such as 'what happened?'. At this time, the conversation content generated by artificial intelligence can be compared with the counseling data and fed back to improve the accuracy of conversation content generation by artificial intelligence.
대화 내용 기반 영상생성 및 시현하는 단계(S900)는 대화 내용이 결정되면 피험자가 마치 자기 자신과 또는 자기 자신과 유사한 처지로 생각될 수 있는 캐릭터를 생성하여 캐릭터가 말을 하는 방식으로 구현될 수 있다. 이때 캐릭터는 피험자의 외형 특징을 포함하는 아바타 또는 3차원적인 캐릭터가 될 수 있다. 이때 피험자의 음성 데이터로부터 음성 특성을 추출하고 피험자의 목소리를 모사하여 피험자가 마치 자기 자신과 대화하는 느낌을 갖도록 할 수 있어 자기 대화 기법의 효과를 극대화할 수 있다. 또한 가상현실에서 대화가 이루어지므로 피험자에게 실제 상황과 같은 자극을 제시할 수 있어 높은 생태학적 타당도(ecological validity), 개인 맞춤형 치료적 접근, 오류 발생 시 위험 최소화, 용이한 자극통제와 반복적 자극제시, 객관적인 파라미터 추출이 가능함으로 치료효과가 높아지게 된다.In the step of creating and displaying images based on conversation content (S900), when the content of the conversation is determined, the subject creates a character that can be considered as himself or in a position similar to himself, and the character can be implemented in such a way that the character speaks. . At this time, the character may be an avatar or a three-dimensional character including external features of the subject. At this time, it is possible to extract voice characteristics from the voice data of the test subject and imitate the voice of the test subject so that the test subject feels as if he or she is talking to himself, thereby maximizing the effect of the self-talk technique. In addition, since the conversation takes place in virtual reality, it is possible to present stimuli similar to real situations to the subject, resulting in high ecological validity, personalized therapeutic approach, minimization of risk in case of error, easy stimulus control and repetitive presentation of stimuli, As objective parameter extraction is possible, the treatment effect is increased.
또한 가상현실에서 인지행동치료를 진행하기 때문에, 비교 시술(노출 기반 인지행동치료)과 유사하여 의학적으로 치료 효과가 크게 된다.In addition, since cognitive behavioral therapy is performed in virtual reality, it is similar to the comparative procedure (exposure-based cognitive behavioral therapy), so the treatment effect is great medically.
도 7은 우울증으로 판단된 경우 게임을 추천하는 과정의 개념도이다. 7 is a conceptual diagram of a process of recommending a game when it is determined that depression is present.
게임 컨텐츠 제공하는 단계(S700)는 종합 우울증 수치가 즉시 게임을 제안하여 피험자가 임무를 주어 몰입하게 하거나, 가상 현실에서 다양한 행위를 요구하는 게임을 제안하여 우울증을 개선하기 위해 수행된다. The step of providing game content (S700) is performed to improve depression by suggesting a game for which the total depression level is immediately calculated so that the subject is immersed by giving a task or by suggesting a game requiring various actions in virtual reality.
도 7을 참조하면, 게임 데이터 벳으로부터 후보군을 생성하고 종합 우울증 수치에 따라 현재 상태를 개선하기 위해 적절한 게임에 대한 후보군을 생한다. 이후 순위를 부여하고 가장 적합한 게임을 피험자에게 추천할 수 있게 된다. 다만, 이러한 게임 컨텐츠는 다양하게 변형될 수 있고, 다양한 기준에 의하여 선택될 수있으므로 게임 컨텐츠의 내용 및 추천을 위한 선정 과정에 대하여는 그 설명을 생략하도록 한다.Referring to FIG. 7 , a candidate group is created from game data bets and a candidate group for an appropriate game is created to improve the current state according to the total depression score. After that, rankings are given and the most suitable game can be recommended to the test subjects. However, since these game contents can be variously modified and selected based on various criteria, the description of the contents of the game contents and the selection process for recommendation will be omitted.
도 8은 본 발명에 따른 일 실시예인 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법에서 수행되는 전체적인 데이터 처리의 개념을 도시한 도면이다.8 is a diagram illustrating the concept of overall data processing performed in an artificial intelligence-based mirror counseling method for depression treatment according to an embodiment of the present invention.
도 8을 참조하면, 피험자로부터 획득된 음성 데이터를 이용하여 음성 특성과 음성 내용을 전처리하고 딥 러닝으로 인공지능에 학습시켜 현재의 우울증 척도를 생성하는 과정에 대한 개념이 도시되어 있다.Referring to FIG. 8 , a concept of a process of generating a current depression scale by pre-processing voice characteristics and voice contents using voice data acquired from a subject and learning it with artificial intelligence through deep learning is shown.
이상에서 설명한 바와 같이, 본 발명에 따른 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법은 병원의 내방없이 디바이스를 통하여 우울증을 치료할 수 있어 환자의 부담을 경감시킬 수 있다. As described above, the artificial intelligence-based mirror counseling method for treating depression according to the present invention can treat depression through a device without visiting a hospital, thereby reducing the patient's burden.
또한, 자기 대화(self-conversation)를 통해 우울증 환자 자신이 궁극적으로 행복해지는 방법을 찾아 나가는 방향을 깨닫게 함으로써 우울증을 유발하는 근본적인 원인을 해결하여 치료효과를 향상시킬 수 있는 효과가 있다.In addition, self-conversation has the effect of improving the treatment effect by solving the fundamental cause of depression by helping the depressed patient to realize the direction in which he ultimately finds a way to be happy.
S100: 피험자와의 대화로 획득되는 음성 데이터를 저장하는 단계
S200: 수정 데이터를 생성하는 전처리 단계
S300: 제1 인공지능을 이용하여 음성 특성에 대한 제1 우울증 수치를 획득하는 단계
S400: 제2 인공지능을 이용하여 대화 내용에 대한 제2 우울증 수치를 획득하는 단계
S500: 제1 우울증 수치와 제2 우울증 수치를 취합하여 종합 우울증 수치를 근거로 우울증 여부를 판단하는 단계
S600: 종합 우울증 수치 소정범위인지 판단하는 단계
S700: 피험자가 우울증으로 판단된 경우 제3 인공지능을 이용하여 긍정적 자기 대화 기법에 근거한 대화내용을 생성하는 단계
S800: 게임 컨텐츠 제공
S900: 대화 내용 기반 영상생성 및 시현하는 단계S100: Step of storing voice data acquired through a conversation with a subject
S200: Pre-processing step of generating correction data
S300: Acquiring a first depression value for voice characteristics using first artificial intelligence
S400: Acquiring a second depression value for conversation content using second artificial intelligence
S500: Collecting the first depression value and the second depression value and determining whether or not there is depression based on the overall depression value
S600: Step of determining whether the overall depression level is within a predetermined range
S700: Step of generating conversation based on positive self-talk technique using third artificial intelligence when subject is judged to be depressed
S800: Provide game contents
S900: step of generating and displaying video based on conversation content
Claims (6)
피험자의 대화로 획득되는 음성 데이터를 저장하는 단계;
상기 음성 데이터를 전처리하여 수정 데이터를 생성하는 전처리 단계;
제1 인공지능을 이용하여 상기 수정 데이터를 근거로 음성 특성에 대한 스펙트럼을 분석하여 제1 우울증 수치를 획득하는 단계;
제2 인공지능을 이용하여 상기 수정 데이터를 근거로 대화의 내용에 대한 제2 우울증 수치를 도출하는 단계;
상기 제1 우울증 수치 및 상기 제2 우울증 수치를 취합하여 종합 우울증 수치를 도출하는 단계;
상기 종합 우울증 수치가 소정범위 내에 해당하는 경우 제3 인공지능을 이용하여 긍정적 자기 대화(positive self-conversation) 기법을 포함하는 자기 대화 기법 데이터에 근거한 대화내용을 생성하는 단계; 및
상기 음성 데이터로 획득되는 음성 샘플을 기반으로 상기 피험자의 음성을 모사하여 상기 대화내용을 출력하기 위한 데이터를 생성하는 단계;를 포함하며,
피험자 인터페이스 장치에서 상기 대화내용을 출력하기 위한 데이터를 소리로 출력하는 단계를 더 포함하는 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법.performed by the processor;
storing voice data acquired through a conversation of a subject;
a preprocessing step of preprocessing the voice data to generate corrected data;
obtaining a first depression level by analyzing a spectrum of voice characteristics based on the correction data using first artificial intelligence;
deriving a second depression value for the contents of conversation based on the correction data using a second artificial intelligence;
deriving a comprehensive depression value by combining the first depression value and the second depression value;
generating a conversation based on self-conversation technique data including a positive self-conversation technique using a third artificial intelligence when the overall depression level falls within a predetermined range; and
Generating data for outputting the contents of the conversation by simulating the subject's voice based on the voice sample obtained as the voice data;
An artificial intelligence-based mirror counseling method for treating depression, further comprising outputting data for outputting the contents of the conversation as sound from a subject interface device.
상기 음성 데이터를 저장하는 단계 및 상기 대화내용을 소리로 출력하는 단계는 상기 피험자 인터페이스 장치를 통하여 상기 피험자를 가상현실에 노출시킨 상태에서 수행되는 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법.According to claim 1,
The step of storing the voice data and the step of outputting the conversation contents as sound are performed in a state in which the test subject is exposed to virtual reality through the test subject interface device.
상기 제1 우울증 수치를 도출하는 단계는,
상기 제1 인공지능을 이용하여,
상기 음성 데이터로부터 히트맵을 생성하는 단계;
상기 히트맵을 CNN 분석하는 단계; 및
상기 CNN 분석이후 LSTM 분석으로 학습시킨 후 수행되는 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법.According to claim 3,
The step of deriving the first depression value,
Using the first artificial intelligence,
generating a heat map from the voice data;
CNN analysis of the heat map; and
An artificial intelligence-based mirror counseling method for treating depression performed after learning by LSTM analysis after the CNN analysis.
상기 제2 우울증 수치를 획득하는 단계는,
상기 제2 인공지능을 이용하여,
상기 수정 데이터에 포함된 대화의 내용을 LSTM 분석으로 학습시킨 후 수행되는 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법.According to claim 4,
Obtaining the second depression value,
Using the second artificial intelligence,
An artificial intelligence-based mirror counseling method for treating depression performed after learning the contents of conversation included in the correction data by LSTM analysis.
상기 종합 우울증 수치를 도출하는 단계 이후 상기 종합 우울증 수치를 근거로 상기 수치가 소정 범위에 해당하는 경우 상기 피험자에게 게임 컨텐츠를 제공하는 게임 컨텐츠 제공 단계를 더 포함하는 우울증 치료를 위한 인공지능 기반의 미러 카운슬링 방법.According to claim 3,
After the step of deriving the overall depression value, an artificial intelligence-based mirror for depression treatment further comprising a game content providing step of providing game content to the test subject when the value falls within a predetermined range based on the overall depression value. Counseling method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210023334A KR102468833B1 (en) | 2021-02-22 | 2021-02-22 | Artificial Intelligence-based Mirror Counseling Method for Depression Treatment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210023334A KR102468833B1 (en) | 2021-02-22 | 2021-02-22 | Artificial Intelligence-based Mirror Counseling Method for Depression Treatment |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| KR20220120749A KR20220120749A (en) | 2022-08-31 |
| KR102468833B1 true KR102468833B1 (en) | 2022-11-28 |
| KR102468833B9 KR102468833B9 (en) | 2023-02-23 |
Family
ID=83061635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210023334A KR102468833B1 (en) | 2021-02-22 | 2021-02-22 | Artificial Intelligence-based Mirror Counseling Method for Depression Treatment |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102468833B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102492332B1 (en) * | 2022-09-16 | 2023-01-27 | 주식회사 브로드씨엔에스 | Method and apparatus for providing music data based on call voice data obtained from an terminal using a neural network to the terminal |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101793426B1 (en) * | 2016-10-28 | 2017-11-03 | 신옥철 | Virtual reality exposure theraphy apparatus |
| KR102066225B1 (en) * | 2019-03-12 | 2020-01-14 | 가천대학교 산학협력단 | Smart health care apparatus, system and method using artificial intelligence |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130120691A (en) * | 2012-04-26 | 2013-11-05 | 주식회사 티움씨앤씨 | System and method for improving mental state using self media file |
| KR102041848B1 (en) * | 2017-12-29 | 2019-11-08 | 동국대학교 산학협력단 | Early detection system of depression, anxiety, premature dementia or suicide by Artificial intelligence-based speech analysis |
| KR102222451B1 (en) * | 2018-04-27 | 2021-03-03 | 아토머스 주식회사 | An apparatus for predicting the status of user's psychology and a method thereof |
-
2021
- 2021-02-22 KR KR1020210023334A patent/KR102468833B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101793426B1 (en) * | 2016-10-28 | 2017-11-03 | 신옥철 | Virtual reality exposure theraphy apparatus |
| KR102066225B1 (en) * | 2019-03-12 | 2020-01-14 | 가천대학교 산학협력단 | Smart health care apparatus, system and method using artificial intelligence |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102468833B9 (en) | 2023-02-23 |
| KR20220120749A (en) | 2022-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200365275A1 (en) | System and method for assessing physiological state | |
| CN102149319B (en) | Alzheimer's cognitive enabler | |
| JP2020522028A (en) | Voice-based medical evaluation | |
| US10376197B2 (en) | Diagnosing system for consciousness level measurement and method thereof | |
| US11848079B2 (en) | Biomarker identification | |
| JP7390268B2 (en) | Cognitive function prediction device, cognitive function prediction method, program and system | |
| Peng et al. | Evaluating a 3-D virtual talking head on pronunciation learning | |
| KR20220007275A (en) | Information provision method for diagnosing mood episode(depressive, manic) using analysis of voice activity | |
| Preston et al. | Treatment for residual rhotic errors with high-and low-frequency ultrasound visual feedback: A single-case experimental design | |
| CN116807476B (en) | Multi-mode psychological health assessment system and method based on interface type emotion interaction | |
| KR102468833B1 (en) | Artificial Intelligence-based Mirror Counseling Method for Depression Treatment | |
| Krueger et al. | The influence of misarticulations on children's word identification and processing | |
| KR20210079232A (en) | Collaborative methods and systems for the diagnosis and treatment of developmental disorders | |
| US10820851B2 (en) | Diagnosing system for consciousness level measurement and method thereof | |
| JP7307507B2 (en) | Pathological condition analysis system, pathological condition analyzer, pathological condition analysis method, and pathological condition analysis program | |
| WO2023075746A1 (en) | Detecting emotional state of a user | |
| KR102642997B1 (en) | Ego activation system for mental health | |
| US20240071241A1 (en) | Test familiar determination device, test familiar determination method and storage medium | |
| WO2023190391A1 (en) | Disease correspondence determination program and disease correspondence determination device | |
| US20230360772A1 (en) | Virtual reality based cognitive therapy (vrct) | |
| KR20230118736A (en) | Artificial intelligence-based customized content creation method for the treatment of autism spectrum disorder | |
| Franciscatto et al. | Applying situation-awareness for recommending phonological processes in the children's speech | |
| Rukoz | Decoding perceptual vowel epenthesis: experiments & modelling | |
| Syed | Automated screening methods for mental and neuro-developmental disorders | |
| ElSayed et al. | LexiaQuest: Exploring the Feasibility of a NLP-Based Screening Tool for Dyslexia Using Virtual Reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| G170 | Re-publication after modification of scope of protection [patent] |