KR20220099190A - 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체 - Google Patents
기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체 Download PDFInfo
- Publication number
- KR20220099190A KR20220099190A KR1020210000837A KR20210000837A KR20220099190A KR 20220099190 A KR20220099190 A KR 20220099190A KR 1020210000837 A KR1020210000837 A KR 1020210000837A KR 20210000837 A KR20210000837 A KR 20210000837A KR 20220099190 A KR20220099190 A KR 20220099190A
- Authority
- KR
- South Korea
- Prior art keywords
- depression
- information
- answer
- image
- providing
- Prior art date
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000010801 machine learning Methods 0.000 title claims abstract description 74
- 208000020401 Depressive disease Diseases 0.000 title claims abstract description 11
- 238000013515 script Methods 0.000 claims description 51
- 230000004044 response Effects 0.000 claims description 30
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000000306 recurrent effect Effects 0.000 claims description 5
- 238000009795 derivation Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 208000020016 psychiatric disease Diseases 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 206010010144 Completed suicide Diseases 0.000 description 2
- 238000009223 counseling Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000002250 progressing effect Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 208000007848 Alcoholism Diseases 0.000 description 1
- 208000025721 COVID-19 Diseases 0.000 description 1
- 206010067371 Menopausal depression Diseases 0.000 description 1
- 201000007930 alcohol dependence Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Artificial Intelligence (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Physiology (AREA)
- Educational Technology (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Mathematical Physics (AREA)
Abstract
본 발명은 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체에 관한 것으로서, 피평가자가 수행한 답변영상에 대한 우울증에 대한 분석결과 및 이에 대한 근거정보를 의료진, 사용자, 상담사 등에게 특수한 유저 인터페이스를 통하여 제공함으로써, 우울증에 대한 판단을 보다 효율적으로 하기 위한, 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체에 관한 것이다.
Description
본 발명은 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체에 관한 것으로서, 피평가자가 수행한 답변영상에 대한 우울증에 대한 분석결과 및 이에 대한 근거정보를 의료진, 사용자, 상담사 등에게 특수한 유저 인터페이스를 통하여 제공함으로써, 우울증에 대한 판단을 보다 효율적으로 하기 위한, 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체에 관한 것이다.
최근 코로나19의 영향으로 국민 정신건강에 뚜렷한 적신호가 드러남에 따라 보다 적극적인 형태의 자살예방대책에 대한 필요성이 발생하였다. 현재의 방식에서는 정신질환 초기라고 스스로 진단한 환자가 정신과 병원을 방문하여, 진단을 받는 형태이지만, 일반인의 경우 쉽게 병원을 방문하여 진단 및 상담을 받아보기가 어려운 실정이다.
특히, 최근 20대. 30대, 학생, 및 여성의 자살율이 상당한 속도로 증가하고 있으나, 이와 같은 젊은 연령계층의 경우 정신과 질환 치료에 대한 심리적 거부감이 있거나 혹은 정신과 질환 치료 이력이 자신의 이력에 남는 것에 대한 거부감이 있어서, 쉽게 정신과 병원을 방문하기가 어렵다.
또한, 우울증 치료를 목적으로 상담사가 대응하기 위해서는 우울증 상태 및 정도를 알아야 하지만, 대부분 PHQ-9과 같은 설문조사에 의존하는 경우가 대부분이다. 설문조사는 정확한 자신의 상태를 작성한다는 보장을 할 수가 없기 때문에 진단을 하는데 한계가 있다.
한편, 선행특허 1(한국등록특허 10-2175490호)는 인공지능 스피커를 통해 사용자에게 대화 방식의 인터페이스를 제공하고, 제공되는 대화에 따른 사용자의 응답에 따라 우울증 측정을 위한 설문들에 각각 대응되는 미리 설정된 말뭉치 중 하나를 선택하여 사용자에게 대화 내용으로 제공하여 우울증 측정을 위한 설문들의 응답이 모두 수신하여, 이를 분석하여 우울증을 측정하는 기술을 개시하고 있다.
또한, 선행특허 2(한국공개특허 10-2020-0042373호)는 뇌파 데이터를 획득하고, 뇌파 데이터를 기반으로, 세분화된 복합 멀티스케일 순열 엔트로피(refined composite multi-scale permutation entropy; RCMPE) 지표를 검출하고, 세분화된 복합 멀티스케일 순열 엔트로피 지표를 이용하여, 뇌파 데이터에 대한 뇌파 변이도를 검출하도록 구성하는 기술을 개시하고 있다.
그러나, 선행특허 1의 경우, 사용자에게 편의성을 제공할 수는 있으나, 단순히 음성정보만으로는 우울증을 정확하게 진단할 수 없다는 문제점을 가지고 있고, 선행특허 2의 경우, 대부분의 사용자들에게 해당 진단을 받기 위한 장비가 필요하여 위화감이 발생하고 사용자 편의성이 떨어진다는 문제점이 있다.
또한, 우울증에 대한 정확한 진단은 결국 의사만이 할 수 있고, 이에 대한 처방 및 환자로의 조언 역시 최종적으로 우울증 등의 정신질환을 겪는 사람들이 원하는 것이기 때문에, 전문적인 의사의 활동이 없는 위의 선행기술 1, 2와 같은 방식은 기본적으로 한계가 있는 방법에 해당한다.
한편, 최근 원격 기술이 대두됨에 따라 보다, 정신과 의사나 상담사의 경우에도 화상 커뮤니케이션을 통하여 환자와의 상담 및 진단을 수행할 수 있게 되었다. 그러나, 이와 같은 원격 기술의 경우 의사와 환자가 동일한 시간에 맞추어 상담 및 진단을 수행하여야 하기 때문에, 의사 입장에서는 결국 동일한 시간이 소요되고, 오히려 진료 편의성이 떨어지기 때문에, 이와 같은 이유로 적극적으로 추진이 되지 않은 실정이다.
한편, 최근 급격한 사회 변화에 따라 우울증 대상 연령대가 넓어지고 있고, 다수의 상담 및 진단이 필요한 사람들이 급증하고 있으나, 정신과 의사의 경우 그 수가 제한되어 있기 때문에, 실제 진료나 상담에서도 충분한 분석에 따른 진단이 어려운 실정이다.
본 발명은 피평가자가 수행한 답변영상에 대한 우울증에 대한 분석결과 및 이에 대한 근거정보를 의료진, 사용자, 상담사 등에게 특수한 유저 인터페이스를 통하여 제공함으로써, 우울증에 대한 판단을 보다 효율적으로 하기 위한, 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체를 제공하는 것을 목적으로 한다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅 장치에서 수행되는 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법으로서, 1 이상의 답변영상에 대하여 기계학습된 모델을 이용하여 우울증예비진단정보를 도출하는 진단단계; 및 우울증예비진단정보를 사용자에게 제공하는 제공단계;를 포함하고, 상기 제공단계에 의하여 디스플레이되는 제1표시화면은, 상기 답변영상이 표시되는 답변영상레이어; 및 상기 답변영상과 관련된 질문정보 및 상기 답변영상으로부터 추출된 답변텍스트정보가 디스플레이되는 스크립트레이어;를 포함하고, 상기 스크립트레이어에서 사용자의 입력에 따라 선택된 스크립트부분의 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있는, 우울증예비진단정보를 제공하는 방법을 제공한다.
본 발명의 몇 실시예에서는, 상기 제1표시화면은, 시간축에 따라 진단된 우울증정도가 디스플레이되는 우울증그래프레이어;를 포함하고, 상기 우울증그래프레이어에서 사용자의 입력에 따라 선택된 시간축 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있다.
본 발명의 몇 실시예에서는, 상기 진단단계는, 상기 답변영상으로부터 음성의 텍스트에서 추출한 복수의 단어, 상기 복수의 단어 각각에 상응하는 복수의 이미지프레임, 및 상기 복수의 단어 각각에 상응하는 복수의 음성정보에 기반하여, 기계학습된 모델을 이용하여 상기 우울증예비진단정보를 도출할 수 있다.
본 발명의 몇 실시예에서는, 상기 진단단계는, 상기 답변영상으로부터 음성의 텍스트에서 추출한 복수의 단어, 복수의 이미지프레임, 및 복수의 음성정보를 추출하는 제1단계; 상기 복수의 단어, 상기 복수의 이미지프레임 및 상기 복수의 음성정보로부터 각각의 세부기계학습모델 혹은 알고리즘을 이용하여 복수의 제1특징정보, 복수의 제2특징정보, 및 복수의 제3특징정보를 도출하는 제2단계; 및 복수의 상기 제1특징정보, 복수의 상기 제2특징정보, 및 복수의 상기 제3특징정보로부터 시퀀스 데이터를 고려한 인공신경망을 이용하여 우울증정도를 포함하는 도출정보를 도출하는 제3단계;를 포함할 수 있다.
본 발명의 몇 실시예에서는, 상기 진단단계는, 상기 답변영상으로부터 추출한 음성의 텍스트에서 추출한 복수의 단어, 복수의 이미지프레임, 음성정보 중 2개 이상의 정보에 기반하여, 기계학습된 모델을 이용하여 상기 우울증예비진단정보를 도출할 수 있다.
본 발명의 몇 실시예에서는, 상기 시퀀스 데이터를 고려한 인공신경망은 순환신경망 혹은 어텐션 메커니즘을 기반으로 하는 트랜스포머 계열 기계학습모델에 해당하고, 상기 복수의 단어 각각에 상응하는 제1특징정보, 제2특징정보, 및 제3특징정보가 병합된 형태로 순환신경망 혹은 트랜스포머 계열 기계학습모델에 입력될 수 있다.
본 발명의 몇 실시예에서는, 상기 스크립트레이어에 표시되는 답변텍스트의 부분은 해당 답변텍스트의 부분에 상응하는 상기 우울증예비진단정보의 우울증의 정도 및 우울증의 종류 중 1 이상에 따라 하이라이트, 폰트, 크기, 색상, 및 밑줄 중 1 이상이 변화되어 표시될 수 있다.
본 발명의 몇 실시예에서는, 상기 하이라이트, 폰트, 크기, 색상, 및 밑줄 중 1 이상이 변화되어 표시되는 상기 답변텍스트의 부분은 해당 답변텍스트의 부분에 상응하는 상기 우울증예비진단정보의 우울증의 정도가 기설정된 기준 이상에 해당하고, 상기 하이라이트, 폰트, 크기, 색상, 및 밑줄 중 1 이상이 변화되어 표시되는 상기 답변텍스트의 부분을 사용자가 선택하는 경우에, 해당 답변텍스트의 부분의 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있다.
본 발명의 몇 실시예에서는, 상기 우울증그래프레이어는, 상기 우울증정도가 기설정된 제1기준을 초과하거나 혹은 우울증 세부 종류를 나타내는 제1기준표시엘리먼트;를 포함할 수 있다.
본 발명의 몇 실시예에서는, 상기 제1표시화면은, 상기 스크립트레이어의 스크롤정보를 표시하는 스크롤레이어를 더 포함하고, 상기 스크롤레이어에는 상기 우울증예비진단정보의 우울증의 정도 및 우울증의 종류 중 1 이상에 따라 표시되는 각각의 시점에서의 정보표시엘리먼트;가 표시되고, 상기 정보표시엘리먼트를 사용자가 선택하면, 상기 스크립트레이어에서는 선택된 상기 정보표시엘리먼트에 상응하는 답변텍스트의 위치로 이동할 수 있다.
본 발명의 몇 실시예에서는, 상기 제공단계에 의하여 디스플레이되는 제2표시화면은, 상기 답변영상이 표시되는 답변영상레이어; 및 상기 답변영상으로부터 추출된 요약답변텍스트정보가 디스플레이되는 요약스크립트레이어;를 포함하고, 상기 요약답변텍스트정보는 답변텍스트의 부분에 상응하는 상기 우울증예비진단정보의 우울증의 정도가 기설정된 기준 이상인 답변텍스트의 1 이상의 부분을 포함하고, 상기 요약스크립트레이어에서 사용자의 입력에 따라 선택된 스크립트부분의 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있다.
본 발명의 몇 실시예에서는, 상기 제2표시화면은, 상기 요약답변텍스트정보 각각에 상응하는 1 이상의선택입력엘리먼트;를 더 포함하고, 사용자의 입력에 따라 선택된 상기 선택입력엘리먼트 혹은 요약답변텍스트정보의 일부에 상응하는 답변영상의 부분이 재생될 수 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅 장치로 구현되는 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 장치로서, 1 이상의 답변영상에 대하여 기계학습된 모델을 이용하여 우울증예비진단정보를 도출하는 진단부; 및 우울증예비진단정보를 사용자에게 제공하는 제공부;를 포함하고, 상기 제공단계에 의하여 디스플레이되는 제1표시화면은, 상기 답변영상이 표시되는 답변영상레이어; 및 상기 답변영상과 관련된 질문정보 및 상기 답변영상으로부터 추출된 답변텍스트정보가 디스플레이되는 스크립트레이어;를 포함하고, 상기 스크립트레이어에서 사용자의 입력에 따라 선택된 스크립트부분의 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예는, 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅 장치에서 수행되는 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법을 구현하기 위한, 컴퓨터-판독가능매체로서, 1 이상의 답변영상에 대하여 기계학습된 모델을 이용하여 우울증예비진단정보를 도출하는 진단단계; 및 우울증예비진단정보를 사용자에게 제공하는 제공단계;를 포함하고, 상기 제공단계에 의하여 디스플레이되는 제1표시화면은, 상기 답변영상이 표시되는 답변영상레이어; 및 상기 답변영상과 관련된 질문정보 및 상기 답변영상으로부터 추출된 답변텍스트정보가 디스플레이되는 스크립트레이어;를 포함하고, 상기 스크립트레이어에서 사용자의 입력에 따라 선택된 스크립트부분의 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있는, 컴퓨터-판독가능 매체를 제공한다.
본 발명의 일 실시예에 따르면, 피평가자가 수행한 답변영상에 대한 우울증에 대한 분석결과 및 이에 대한 근거정보를 의료진에게 특수한 유저 인터페이스를 통하여 제공함으로써, 의료진의 우울증에 대한 판단을 보다 효율적으로 하기 위한, 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체를 제공하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 다수의 20대 및 30대의 사용자들도 위화감 없이 자신의 우울증에 대한 진단을 받아볼 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 일종의 원격진료의 개념으로 다수의 사람들에 대한 우울증 여부를 진단할 수 있고, 의사 각각이 환자 혹은 사용자와 시간을 정확하게 정해서 실시간으로 이루어지는 것이 아니라 환자와 의사가 분리된 시간대로 진행할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 진료진 측에서 영상 전체를 모두 재생해보지 않고, 진료진 측에서 기계학습모델에 의하여 선별된 중요한 부분만을 빠른 시간에 확인할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 기계학습모델이 중요하다고 판단되는 부분들을 자동적으로 추출하여 효율적인 유저인터페이스에서 영상들을 확인할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 음성특징, 표정 및 텍스트 전체에 대해 멀티모달적으로 판단하여 우울증 증세에 대한 종합적인 판단을 제공할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 단순히 기계학습모델의 판단결과를 제공하는 것이 아닌 기계학습모델의 판단근거 혹은 설명에 대한 정보를 의료진에 제공함으로써 의료진이 해당 의견에 대한 수용 여부를 빠른 시간에 판단할 수 있는 효과를 발휘할 수 있다.
도 1은 본 발명의 일 실시예에 따른 우울증 예비진단 정보를 제공하는 시스템에서의 전체적인 수행단계들을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 서버시스템의 내부 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 진단부가 수행하는 제1단계의 과정을 개략적으로 도시한다.
도 4은 본 발명의 일 실시예에 따른 진단부가 수행하는 제2단계의 과정을 개략적으로 도시한다.
도 5은 본 발명의 일 실시예에 따른 진단부가 수행하는 제3단계의 과정을 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 제1표시화면을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 답변영상레이어 및 스크립트레이어를 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 답변영상레이어 및 스크립트레이어를 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 답변영상레이어 및 우울증그래프레이어를 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 제2표시화면을 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 서버시스템, 사용자단말기 등이 해당할 수 있는 컴퓨팅 장치에 대해서 도시한다.
도 2는 본 발명의 일 실시예에 따른 서버시스템의 내부 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 진단부가 수행하는 제1단계의 과정을 개략적으로 도시한다.
도 4은 본 발명의 일 실시예에 따른 진단부가 수행하는 제2단계의 과정을 개략적으로 도시한다.
도 5은 본 발명의 일 실시예에 따른 진단부가 수행하는 제3단계의 과정을 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 제1표시화면을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 답변영상레이어 및 스크립트레이어를 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 답변영상레이어 및 스크립트레이어를 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 답변영상레이어 및 우울증그래프레이어를 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 제2표시화면을 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 서버시스템, 사용자단말기 등이 해당할 수 있는 컴퓨팅 장치에 대해서 도시한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이하에서 언급되는 '환자단말기, 및 '의료진단말기'는 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드 (Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, "네트워크"는 근거리 통신망(Local Area Network;LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 우울증 예비진단 정보를 제공하는 시스템에서의 전체적인 수행단계들을 개략적으로 도시한다.
본 발명의 우울증 예비진단 정보를 제공하는 방법은 1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅 장치에서 수행되는 기계학습모델을 이용하여 제공된다.
단계 S10에서는 서버시스템(1000)으로부터 환자단말기에 대해 질문정보를 제공한다. 질문정보는 텍스트, 음성 및 영상 중 1 이상을 포함하는 정보에 해당하고, 텍스트만 제시되거나, 영상만 제시되거나, 음성만 제시되거나 혹은 가상의 휴먼 에이전트에 음성이 합성된 형태로 미디어로 제시될 수 있다. 본 명세서에서 "환자"는 광의의 개념에서의 답변영상을 제공하는 피평가자 혹은 피진단자로 이해되어야 할 것이고, 우울증에 대한 진단을 받는 객체는 본 명세서에서 설명의 편의를 위하여 "환자"로 지칭하는 경우가 있으나, 여기서 환자는 병원의 개념에서의 환자가 아닌 피평가자의 일 예를 나타낸다. 예를들어, 기업 등의 조직에서 본 발명에 따른 시스템을 적용할 때, 진단을 받고자하는 직원 등도 모두 본 명세서의 환자"의 범주로 이해되어야 할 것이다.
단계 S20에서는, 환자단말기에서 카메라 및 MIC를 이용하여 촬영된 답변영상이 서버시스템(1000)으로 전송되는 단계에 해당한다.
본 발명의 실시예들에서는 단계 S10, S20이 수행된 후에, 다른 질문에 대하여 다시 S10, S20이 수행됨에 따라서 복수의 답변영상이 서버시스템(1000)에 수신될 수도 있다.
단계 S30에서는, 1 이상의 답변영상에 대하여 기계학습된 모델을 이용하여 우울증예비진단정보를 도출하는 진단단계가 수행된다.
본 명세서에서의 진단은 환자의 답변영상에 기초하여 우울증 등의 정신질환과 관련된 정보를 도출하는 것으로서, 해당 환자의 우울증 여부를 판단하는 정보에서, 해당 환자의 우울증의 종류, 정도 등을 도출하거나, 혹은 해당 환자의 우울증의 종류, 정도 등에 대한 판단근거를 도출하는 등을 포함하는 최광의로 해석되어야 할 것이다. 또한, 우울증예비진단정보는 상기 진단의 결과 뿐만 아니라, 진단과 관련된 세부 정보, 종합정보, 및 가공정보를 모두 포함하는 최광의로 해석되어야 할 것이다.
단계 S40에서는, 상기 우울증예비진단정보를 사용자에게 제공하는 제공단계;가 수행된다.
상기 사용자는 정신건강의학과 전문의, 간호사 등의 의료진, 상담사, 혹은 해당 면접영상을 촬영한 피평가자, 해당 피평가자의 업무 등과 관련된 조직에서의 관리자, 혹은 구성원 등 모두가 해당할 수 있다.
단계 S50에서는 의료진 단말기에서 수신한 우울증예비진단정보가 특수한 UI에 의하여 디스플레이된다. 단계 S50에서는 상기 사용자가 의료진인 경우를 가정하였지만, 본 발명의 적용범위는 이에 한정되지 않고, 다양한 형태의 사용자가 우울증예비진단정보를 제공받을 수 있다. 다만, 이하에서는 설명의 편의를 위하여, 우울증예비진단정보를 제공받는 사용자를 의료진으로 하여 설명하도록 한다. 또한, 피평가자인 경우에는 환자 단말기가 의료진 단말기와 동일한 단말기 혹은 동일한 응용프로그램에서 표시될 수도 있다.
의료진, 상담사, 혹은 관리자 등의 사용자의 단말기에서는 우울증예비진단정보를 통하여, 환자단말기에서 촬영된 답변영상 전체를 보지 않고, 일차적으로 기계학습모델에서 평가한 결과 및 이에 대한 평가 근거를 요약해서 볼 수 있다. 후술하는 단계 S50에서 의료진단말기에서 디스플레이되는 화면은 의료진에서 직관적으로 해당 환자의 상태를 파악할 수 있는 형태에 해당하고, 이와 같이 디스플레이되는 화면에서 의료진은 1차적으로 예비정보를 받고, 자신이 중요하다고 판단되는 화면 시점을 효율적으로 확인할 수 있음으로써, 의료진이 해당 환자에 대해 원격으로 진료를 수행할 수 있을 뿐만 아니라, 진료시간을 효율적으로 사용할 수 있는 효과를 발휘할 수 있다.
단계 S60에서는 의료진이 자신의 진단정보를 입력하고, 이를 서버시스템(1000)에 전송한다. 진단정보는 우울증에 대한 진단정보 뿐만 아니라, 해당 환자가 실제 병원에 내원이 필요한지 여부, 혹은 병원 진단예약과 관련된 정보를 포함할 수도 있다. 우울증에 대한 진단 정보는 기계학습 모델을 학습하는데 이용될 수 있기 때문에 모델 학습부(1500)에 입력 데이터로 활용 될 수 있다.
단계 S70에서는 서버시스템(1000)에서 상기 의료진이 입력한 진단정보의 일부 혹은 전체를 환자단말기에 전송하는 단계이다. 이와 같은 과정에서, 환자단말기에 예비진단정보의 일부 혹은 전체가 가공된 형태로 제공될 수 있다. 이와 같은 과정을 통하여 환자는 자신의 우울증에 대한 기계학습모델이 진단한 정보 및/또는 실제 의료진이 진단한 정보 및/또는 병원과의 예약과 관련된 정보를 수신할 수 있다.
본 발명의 몇 실시예에서는, 서버시스템(1000)은 복수의 컴퓨팅 시스템으로 구성될 수도 있다. 혹은 환자단말기 및/또는 의료진단말기는 상기 서버시스템(1000)에 물리적으로 결합된 형태 혹은 분리된 단말기에 해당할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 서버시스템(1000)의 내부 구성을 개략적으로 도시한다.
상기 답변영상수집부(1100)는 전술한 S10, S20을 수행하는 모듈에 해당한다. 바람직하게는, 답변영상수집부(1100)는 구조적 질문 형태로 S10을 수행할 수도 있고, 혹은 사용자의 답변영상에 대한 분석결과를 이용하여 질문을 선택하는 형태로 진행될 수도 있다.
이와 같이 답변영상수집부(1100)에 의하여 수집된 답변영상은 서버시스템(1000)의 DB(1600)에 저장된다.
진단부(1200)는 1 이상의 답변영상에 대하여 기계학습모델을 이용하여 우울증예비진단정보를 도출한다.
구체적으로, 상기 기계학습모델은 피평가자(환자)가 수행한 답변영상에 대한 평가를 수행하는 다양한 세부 기계학습모델을 포함할 수 있다. 상기 세부 기계학습모델은 딥러닝 기반으로 학습되어 평가를 수행할 수 있는 세부 기계학습모델에 해당하거나, 혹은 학습이 아닌 기설정된 루틴 혹은 알고리즘에 따라 해당 답변영상에 대한 특징정보를 도출하고, 도출된 특징정보에 대한 평가를 수행하는 세부 기계학습모델에 해당할 수 있다.
본 발명의 일 실시예에서 상기 진단부(1200)는 기본적으로 복수의 연속된 영상(이미지)정보 및 음성정보를 포함하는 피평가자(환자)가 수행한 답변영상을 입력 받고, 딥러닝과 같은 기계학습 기술을 통해 학습된 기계학습모델을 통해 우울증예비진단정보를 도출한다. 또한, 추가적으로 상기 진단부(1200)는 일부 과정에서 기계학습이 아닌 기설정된 규칙을 기반으로 답변영상을 분석하고, 특정 평가값들을 도출할 수도 있다. 상기 진단부(1200)는 복수의 연속된 영상(이미지) 및 음성을 포함하는 답변영상으로부터 영상 및 음성정보를 추출하여 이를 각각의 세부 기계학습모델에 입력하여 결과값을 도출하거나 혹은 영상 및 음성정보를 종합하여 세부 기계학습모델에 입력하여 결과값을 도출할 수도 있다.
정보제공부(1300)는 우울증예비진단정보를 사용자에게 제공한다. 이에 대한 구체적인 사항에 대해서는 후술하기로 한다.
통지부(1400)는 전술한 S60 및 S70과정을 수행하는 모듈에 해당한다.
모델학습부(1500)는 전술한 진단부(1200)에서 진단에 있어서 사용되는 기계학습모델을 학습데이터를 이용하여 지속적으로 학습시키기 위한 모듈에 해당한다. 여기에 의료진 진단 정보(S60)가 학습 데이터로 활용될 수 있다.
한편, DB(1600)에는 상기 답변영상수집부(1100)에서 환자단말기에 제시하는 질문정보에 대한 질문컨텐츠, 상기 답변영상수집부(1100)에서 수신한 답변영상, 상기 진단부(1200)에서 진단을 수행하기 위한 학습된 기계학습모델, 및 상기 단계 S60, S70의 수행과 관련된 통지정보가 저장되어 있다.
본 발명의 다른 실시예에서는, 상기 서버시스템(1000)은 2 이상의 서버를 포함할 수 있고, 각각의 서버에는 상술한 구성들 가운데 일부를 포함하고, 각각의 서버가 통신을 수행하여 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법을 수행할 수도 있다. 예를 들어, 답변영상수집부(1100)와 관련된 기능들은 특정 서버에 포함되고, 진단부(1200) 및 모델학습부(1500)와 관련된 기능들은 또 다른 특정서버에 포함되어, 상기 특정 서버 및 상기 또 다른 특정서버간의 통신을 통해 본 발명의 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법이 수행될 수 있다.
도 3은 본 발명의 일 실시예에 따른 진단부(1200)가 수행하는 제1단계의 과정을 개략적으로 도시한다.
본 발명의 바람직한 실시예에서는, 상기 진단단계는, 상기 답변영상으로부터 음성의 텍스트에서 추출한 복수의 단어, 상기 복수의 단어 각각에 상응하는 복수의 이미지프레임, 및 상기 복수의 단어 각각에 상응하는 복수의 음성정보에 기반하여, 기계학습된 모델을 이용하여 상기 우울증예비진단정보를 도출한다.
도 3에 도시된 제1단계는 상기 답변영상으로부터 음성의 텍스트에서 추출한 복수의 단어, 상기 복수의 단어 각각에 상응하는 복수의 이미지프레임, 및 상기 복수의 단어 각각에 상응하는 복수의 음성정보를 추출한다.
구체적으로, 상기 제1단계에서는 상기 답변영상에서 영상정보 및 음성로우데이터를 분리하는 과정에 해당한다. 구체적으로, 진단부(1200)는 영상음성분리모듈을 포함하고, 상기 영상음성분리모듈은 해당 답변영상을 영상정보 및 음성로우데이터로 분리한다.
상기 진단부(1200)는 STT모듈을 포함하고, 상기 STT모듈은 입력 받은 답변영상에 대하여 Speech to Text(STT) 변환을 수행하여 사용자가 수행한 답변영상의 음성에 대한 텍스트정보를 도출할 수 있다. 상기 STT모듈에서 수행하는 Speech to Text 변환 방법은 기존에 존재하는 다양한 STT 변환 방법을 사용할 수 있다.
본 발명의 바람직한 실시예에서는, 음성인식기에 의하여 인식된 음성을 형태소(혹은 단어) 별로 분리하고, 각각의 형태소에 매칭이 되는 영상이미지 및 특정구간에 따른 음성로우데이터를 추출한다.
예를 들어, 도 3에 도시된 실시예에서는 “죽고”, “싶은”, “생각이”, “들었습니다”로 총 4개의 형태소가 도출되었고, 각각의 형태소에 상응하는 이미지프레임을 선택한다. 도 3에서는 해당 형태소의 발음이 시작되는 시점에서의 이미지프레임을 선택되었으나, 이에 한정되지 않고, 해당 형태소와 관련된 1 이상의 이미지프레임이 선택될 수 있다. 이와 같은 방식은 특정구간에 따른 음성정보에도 동일하게 적용이 된다.
즉, 본 발명에서는 모든 시간 시퀀스를 동일하게 취급하는 것이 아니라, 음성인식기에 의하여 인식된 형태소별로 시퀀스를 취급함으로써, 보다 음성정보가 존재하는 멀티모달 분석에서의 정확도를 높이면서, 연산부하를 줄일 수 있는 효과를 발휘할 수 있다.
도 3에 도시된 실시예에서는 음성인식기에 의하여 인식된 형태소별로 시퀀스를 맞추어, 이미지프레임, 음성로우데이터를 추출하였으나, 본 발명의 다른 실시예에서는 이미지프레임, 시간 등에 시퀀스를 맞추어 나머지 정보들을 추출하여 정렬(ALIGNMENT)를 이용하여 초기 데이터를 획득할 수 있다.
한편, 본 발명의 다른 실시예에서는 도 3에 도시된 실시예와 달리, 이미지프레임, 음성로우데이터, 텍스트(형태소) 사이에서의 정렬(ALIGNMENT)를 수행하지 않고, 각각을 멀티모달 모델(도 4 및 도 5의 모델)에 입력하여 결과를 도출할 수도 있다. 이 경우, 각각의 데이터에 있어서 전체를 이용하거나 혹은 기설정된 규칙에 따라 샘플링을 수행할 수 있다.
본 발명의 다른 실시예에서는, 이미지프레임, 음성로우데이터, 텍스트 중 1 이상, 바람직하게는 2 이상을 이용하여 입력데이터를 추출할 수 있다. 예를 들어, 텍스트에 대한 정보 고려 없이, 이미지프레임 및 음성로우데이터만으로 판단을 수행할 수도 있다.
도 4은 본 발명의 일 실시예에 따른 진단부(1200)가 수행하는 제2단계의 과정을 개략적으로 도시한다.
제2단계에서는, 상기 복수의 단어, 상기 복수의 이미지프레임 및 상기 복수의 음성정보로부터 각각의 세부기계학습모델을 이용하여 복수의 제1특징정보, 복수의 제2특징정보, 및 복수의 제3특징정보를 도출하는 단계가 수행된다.
상기 음성정보는 음성에 대한 로우데이터, 및 음성에 대한 로우데이터로부터 추출된 1이상의 음성특징정보 중 1 이상을 포함한다.
구체적으로, 제2단계에서는, 상기 복수의 단어, 상기 복수의 이미지프레임 및 상기 복수의 음성정보가 각각의 전처리기를 통하여 전처리가 수행되고, 이후, 전처리된 데이터들이 특징정보추출기, 예를 들어 CNN모듈을 통하여 도출되는 정보를 FC과정을 수행하여 데이터 열을 추출하는 추출기를 통하여 각각의 입력데이터에 대한 제1특징정보, 제2특징정보, 및 제3특징정보를 도출한다. 상기 특징정보추출기는 기계학습된 모델 및 기설정된 규칙에 따른 알고리즘 중 1 이상에 따라 특징정보를 추출한다. 한편, 실시예들에 따라 전처리기는 단어, 이미지프레임, 음성정보 각각에 있어서 일부 생략될 수 있다.
음성 텍스트 정보는 텍스트정보를 벡터로 표현하는 임베딩을 수행하는 단계에 의하여 세부특징정보를 추출할 수 있다. 또한, 음성정보에 대한 특징정보추출기 혹은 도 5에 도시되는 RNN모듈에는 해당 질문에 대한 임베딩된 벡터가 추가적으로 입력될 수도 있다. 따라서, 해당 세부기계학습모델은 답변영상뿐만 아니라 답변영상에 대한 질문을 더 고려하여 더욱 정교한 제3특징정보를 도출할 수 있다.
본 발명의 몇 실시예에서는, 음성정보에 대한 특징정보추출기에 포함되는 임베딩모듈은 One-hot encoding, CountVectorizer, TfidVectorizer 및 Word2Vec 등 다양한 임베딩 방법을 사용하여 각각의 텍스트정보를 벡터 형태로 표현할 수 있다.
이와 같이, 본 발명의 바람직한 실시예에서는 답변영상의 영상정보 및 음성특징정보, 및 텍스트정보를 상기 기계학습모델에 각각 입력하여, 텍스트만으로는 파악하기 답변영상에서의 사용자의 답변의 맥락 및 의도를 파악할 수 있고, 따라서 더욱 정확한 우울증진단정보를 도출할 수 있다.
바람직하게는, 영상음성분리모듈에 의해 분리된 영상정보(이미지프레임) 및 음성로우데이터는 각각 개별적으로 전처리되어 상기 기계학습모델에 입력된다. 진단부(1200)에 포함되는 전처리모듈은 상기 영상정보 및 상기 음성로우데이터 각각을 전처리한다. 이와 같이, 상기 전처리모듈을 통해 상기 기계학습모델의 알고리즘에 알맞은 형태로 상기 영상정보 및 상기 음성정보가 변환되며 상기 기계학습모델의 성능을 개선시킬 수 있다.
이를 위하여 상기 전처리모듈에서는 영상정보 및 음성정보에 대하여 Data Cleaning 단계를 통해 missing value 혹은 feature를 처리하고, Handling Text and Categorical Attributes 단계를 통해 one hot encoding 방식 등을 통해 숫자형 데이터로 인코딩하고, Custom Transformers 단계를 통해 데이터를 변환하고, Feature Scaling 단계를 통해 데이터의 범위를 설정하고, Transformation Pipelines 단계를 통해 이러한 과정을 자동화 할 수 있으며, 상기 전처리모듈에서 수행하는 단계들은 상술한 단계들에 한정되지 않고, 기계학습모델을 위한 다양한 전처리 단계들을 포함할 수 있다.
도 5은 본 발명의 일 실시예에 따른 진단부(1200)가 수행하는 제3단계의 과정을 개략적으로 도시한다.
제3단계에서는, 복수의 상기 제1특징정보, 복수의 상기 제2특징정보, 및 복수의 상기 제3특징정보로부터 인공신경망을 이용하여 우울증정도를 포함하는 도출정보를 도출하는 과정이 수행된다.
상기 인공신경망은 복수의 기계학습된 추론모듈을 포함하고, 도 3에서와 같이 4개의 형태소가 있는 경우, 첫번째 형태소에 대한 이미지프레임의 제1특징정보, 첫번째 형태소에 대한 음성특징정보에 대한 제2특징정보, 및 첫번째 형태소 텍스트에 대한 제3특징정보가 CONCAT된 형태로 첫번째 추론모듈에 입력이 되고, 나머지 두번째, 세번째 및 네번째 형태소에 대한 제1특징정보, 제2특징정보, 및 제3특징정보도 동일한 방식으로 처리된다.
도 5에 도시된 실시예에서는, 인공신경망에 입력되는 각각의 특징정보는 정렬이 된 상태에 해당하나, 본 발명의 다른 실시예에서는, 정렬이 되지 않는 형태로 인공신경망에 입력될 수도 있다.
바람직하게는, 상기 인공신경망은 시퀀스 데이터를 고려한 인공신경망에 해당하고, 더욱 바람직하게는 순환신경망 혹은 트랜스포머 계열 모델에 해당하고, 이 경우, 상기 복수의 단어 각각에 상응하는 제1특징정보, 제2특징정보, 및 제3특징정보가 병합된 형태로 인공신경망의 세부 모듈에 입력된다. 더욱 바람직하게는, 상기 트랜스포머 계열 모델은 어텐션 메커니즘을 기반으로 하는 트랜스포머계열 기계학습모델을 포함한다.
이와 같은 순환신경망 혹은 트랜스포머 계열기계학습모델은 최종적으로 복수의 데이터열의 추론결과를 출력할 수 있고, 복수의 데이터열은 제1진단정보, 제2진단정보, ... , 제N진단정보를 포함할 수 있다. 이와 같은 진단정보는 우울증예측정보, 및/또는 우울증종류를 포함할 수 있다.
이와 같은 추론결과는 복수의 추론결과에 해당할 수 있다. 예를 들어, 1 이상의 답변영상 전체에 대하여 특정 구간별로 음성의 텍스트에서 추출한 복수의 단어, 상기 복수의 단어 각각에 상응하는 복수의 이미지프레임, 및 상기 복수의 단어 각각에 상응하는 복수의 음성특징정보에 대하여 도 5에서와 같은 최종적인 진단정보를 도출할 수 있다.
이와 같은 각각의 최종적인 진단정보에 기초하여 특정구간별로 우울증예측점수 및/또는 우울증종류를 파악할 수 있고, 이를 전체적으로 취합하는 경우, 면접영상 전체에서 어느 위치에서 높은 우울증예측점수가 나오는지 혹은 높은 우울증예측점수가 나온다면 우울증종류가 어떠한지 알 수 있다.
바람직하게는, 본 발명의 일 실시예에서는, 상기 진단부(1200)는 각각의 최종적인 진단정보에서의 우울증예측정부 및/또는 우울증종류를 취합하여 전체적인 평가정보를 도출할 수 있다.
혹은, 본 발명의 다른 실시예에서는, 도 5의 최종적인 진단정보에 우울증으로 예측되는 원인이 있는 부분에 대한 정보(예를 들어, 영상의 위치 혹은 텍스트위치)를 포함하여 출력하게 할 수도 있다.
이와 같은 방식으로, 본 발명에서는 단순히 답변영상 전체 혹은 개별 답변영상에 대하여 판단결과 뿐만 아니라, 판단결과의 근거가 되는 부분에 대한 세부적인 정보를 의료진에게 제공할 수 있고, 의료진은 해당 부분만을 바로 확인 혹은 관련 영상부분을 재생함으로써, 보다 진단을 효율적으로 할 수 있는 효과를 발휘할 수 있다.
본 발명의 다른 실시예에서는, 상기 답변영상으로부터 추출한 음성의 텍스트에서 추출한 복수의 단어, 복수의 이미지프레임, 음성정보 중 2개 이상의 정보에 기반하여, 기계학습된 모델을 이용하여 상기 우울증예비진단정보를 도출할 수 있다.
본 발명의 다른 실시예에서는, 상기 답변영상으로부터 추출한 복수의 이미지프레임, 음성정보에 기반하여, 기계학습된 모델을 이용하여 상기 우울증예비진단정보를 도출할 수 있다. 이 경우, 진단부는 이미지프레임 및 음성정보에 기반한 진단, 예측, 혹은 추론모델을 포함하고, Interpretability 기술(Grad-CAM, Integrated Gradient 등)을 사용해 어느 위치 부분 때문에 추론결과가 영향을 받았는 지(점수가 이렇게 되었는지)를 확인한 다음에 그 시간을 구해 상응하는 텍스트의 위치를 추정하고, 이를 도 6, 7, 8 등에서 표시할 수 있다.
도 6은 본 발명의 일 실시예에 따른 제1표시화면을 개략적으로 도시한다.
본 발명의 우울증예비진단정보를 제공하는 방법은 우울증예비진단정보를 사용자에게 제공하는 제공단계;를 포함한다.
상기 제공단계에 의하여 디스플레이되는 제1표시화면은, 상기 답변영상이 표시되는 답변영상레이어(L1); 및 상기 답변영상과 관련된 질문정보 및 상기 답변영상으로부터 추출된 답변텍스트정보가 디스플레이되는 스크립트레이어(L4);를 포함하고, 상기 스크립트레이어(L4)에서 사용자의 입력에 따라 선택된 스크립트부분의 위치에 상응하는 시점으로 상기 답변영상레이어(L1)의 영상시점이 변경될 수 있다.
상기 제1표시화면은 의료진의 단말기 혹은 필요에 따라서 피평가자(환자)의 단말기에서 디스플레이될 수 있다.
답변영상레이어(L1)는 답변영상의 재생을 수행하는 레이어에 해당하고 사용자(의료진, 상담사, 관리자 등)는 재생/정지를 선택할 수 있고, 재생속도를 제어할 수 있으며, 영상에서의 재생시점을 변경할 수 있다. 이와 같은 기능은 컨트롤엘리먼트(E1)을 입력함으로써 이루어질 수 있다.
스크립트레이어(L4)에서는 상기 진단부(1200)에서 STT를 통하여 텍스트로 변환한 환자의 음성텍스트가 디스플레이된다. 이와 같은 방식에서, 의료진은 환자 혹은 피진단자 혹은 피평가자의 답변내용을 빠른 시간에 확인할 수 있고, 자신이 중요하다고 판단되는 답변내용 부분을 클릭 혹은 선택입력을 하는 경우, 답변영상레이어(L1)의 영상시점이 상응하는 영상시점으로 변화하게 됨으로써, 실제 영상을 빠르게 확인할 수 있다.
바람직하게는, 상기 제1표시화면은, 시간축에 따라 진단된 우울증정도가 디스플레이되는 우울증그래프레이어(L2);를 포함하고, 상기 우울증그래프레이어(L2)에서 사용자의 입력에 따라 선택된 시간축 위치에 상응하는 시점으로 상기 답변영상레이어(L1)의 영상시점이 변경될 수 있다.
이와 같은 인터페이스에서는 사용자는 우울증그래프레이어(L2)에서 판단된 우울증 정도가 높은 부분을 선택하는 경우, 상기 답변영상레이어(L1)의 영상의 재생시점이 자동적으로 변경되게 되고, 따라서 기계학습모델이 우울증적 요소가 있다고 판단된 부분만을 선별적으로 확인할 수 있고 따라서, 답변영상 전체를 모두 보지 않고, 빠르게 우울증과 관련된 중요부분을 확인할 수 있고, 또한 기계학습모델이 도출한 판단의 이유에 대해서 의료진이 스스로 판단해보고 이에 대한 수용여부를 결정할 수 있다.
바람직하게는, 상기 스크립트레이어(L4)에 표시되는 답변텍스트의 부분은 해당 답변텍스트의 부분에 상응하는 상기 우울증예비진단정보의 우울증의 정도 및 우울증의 종류 중 1 이상에 따라 하이라이트, 폰트, 크기, 색상, 및 밑줄 중 1 이상이 변화되어 표시된다.
이와 같은 방식으로 의료진은 진단부(1200)에서의 판단이유를 파악할 수 있고, 진단부(1200)에서 우울증의 정도가 기설정된 기준 이상 혹은 우울증과 관련된 텍스트 부분을 직관적으로 파악할 수 있을 뿐만 아니라, 답변영상 전체를 재생하지 않더라도, 중요하다고 판단된 해당 부분에 대한 영상재생을 빠르게 수행할 수 있다.
바람직하게는, 상기 우울증그래프레이어(L2)는, 상기 우울증정도가 기설정된 제1기준을 초과함을 나타내는 제1기준표시엘리먼트(E3); 및 상기 우울증정도가 기설정된 제2기준을 초과함을 나타내는 제2기준표시엘리먼트(E4);를 포함한다.
상기 제1기준표시엘리먼트(E3)는 우울증경증경계에 해당할 수 있고, 제2기준표시엘리먼트(E4)는 우울증중증경계에 해당할 수 있다. 이와 같은 표시 인터페이스에 의하여 사용자는 우울증정도에 대한 기준치가 넘는 부분을 효율적으로 탐색할 수 있는 효과를 발휘할 수 있다. 즉, 상기 제1기준표시엘리먼트 및 상기 제2기준표시엘리먼트는 우울증 세부종류를 표시할 수 있다.
상기 제1표시화면은, 상기 스크립트레이어(L4)의 스크롤정보를 표시하는 스크롤레이어(L5)를 더 포함하고, 상기 스크롤레이어(L5)에는 상기 우울증예비진단정보의 우울증의 정도 및 우울증의 종류 중 1 이상에 따라 표시되는 각각의 시점에서의 정보표시엘리먼트(E6);가 표시되고, 상기 정보표시엘리먼트(E6)를 사용자가 선택하면, 상기 스크립트레이어(L4)에서는 선택된 상기 정보표시엘리먼트(E6)에 상응하는 답변텍스트의 위치로 이동한다.
바람직하게는, 상기 정보표시엘리먼트(E6)의 색상, 크기, 형태 등은 우울증의 정도 및 우울증의 종류 중 1 이상에 따라 변화될 수 있다. 이를 통하여, 의료진은 직관적으로 전체적인 해당 환자의 우울증 정도를 그래픽적으로 판단할 수 있을 뿐만 아니라, 우울증 정도가 크다고 판단되는 해당 위치로의 빠른 이동이 가능하다는 효과를 발휘할 수 있다.
또한, 답변영상에서의 텍스트의 내용이 긴 경우에는 하나의 화면에 모든 텍스트가 표시되지 않는다. 이 경우, 사용자는 스크롤레이어(L5)를 이용함으로써 자신이 원하는 텍스트 및 영상재생시점으로 이동할 수 있는 효과를 발휘할 수 있다.
페이지선택레이어(L3)에서는 도 6에서와 같은 전체에 대한 페이지 및 도 10에서와 같은 요약에 대한 페이지의 변경을 입력할 수 있는 인터페이스를 제공한다.
이와 같은 제1표시화면의 구성에 의하여, 여러 개의 답변영상을 의료진이 개별적으로 확인하지 않더라도 중요 부분을 확인할 수 있고, 또한 기계학습모델에서 판단한 근거에 대해서 합당한지 여부를 빠르게 확인할 수 있으며, 장기간의 영상에 대한 전체적인 평가결과를 파악할 수 있고, 이를 통하여 보다 정확한 우울증에 대한 판단을 효율적으로 수행할 수 있는 효과를 발휘할 수 있다.
도 7은 본 발명의 일 실시예에 따른 답변영상레이어(L1) 및 스크립트레이어(L4)를 개략적으로 도시하고, 도 8은 본 발명의 일 실시예에 따른 답변영상레이어(L1) 및 스크립트레이어(L4)를 개략적으로 도시한다.
도 7에 도시된 바와 같이, 답변영상레이어(L1)에는 복수의 답변영상 중 어느 하나의 특정 시점의 영상이 표시된다. 한편, 스크립트레이어(L4)에는 각각의 질문에 대한 환자의 응답의 텍스트 정보가 표시된다.
전술한 바와 같이, 진단부(1200)에서 진단한 우울증의 종류 및 정도 중 1 이상에 의하여 텍스트가 표시되는 형태가 도 7에서와 같이 변화되게 되고, 이는 스크롤레이어(L5)에도 반영되어 정보표시엘리먼트(E6)가 디스플레이 된다.
상기 하이라이트, 폰트, 크기, 색상, 및 밑줄 중 1 이상이 변화되어 표시되는 상기 답변텍스트의 부분은 해당 답변텍스트의 부분에 상응하는 상기 우울증예비진단정보의 우울증의 정도가 기설정된 기준 이상에 해당하고, 상기 하이라이트, 폰트, 크기, 색상, 및 밑줄 중 1 이상이 변화되어 표시되는 상기 답변텍스트의 부분을 사용자가 선택하는 경우에, 해당 답변텍스트의 부분의 위치에 상응하는 시점으로 상기 답변영상레이어(L1)의 영상시점이 변경된다.
도 7의 상단측의 하이라이트된 색상과 하단측의 하이라이트된 색상은 우울증의 종류에 따라 선택된 색상에 해당한다. 우울증의 종류는 예를 들어, 멜랑콜리아형, 비전형양상, 청소년우울증, 노인우울증, 알코올 중독에 동반된 우울증, 갱년기우울증 등이 해당할 수 있다.
도 7에 도시된 화면은 스크립트레이어(L4)의 상단측의 부분을 선택입력한 경우에 답변영상레이어(L1)의 영상재생시점이 변경된 경우를 도시하고, 도 8에 도시된 화면은 스크립트레이어(L4)의 하단측의 부분을 선택입력한 경우에 답변영상레이어(L1)의 비디오 1번이 2번으로 변경되면서 영상재생시점도 함께 변경된 경우를 도시한다.
도 9는 본 발명의 일 실시예에 따른 답변영상레이어(L1) 및 우울증그래프레이어(L2)를 개략적으로 도시한다.
전술한 바와 같이, 상기 제1표시화면은, 시간축에 따라 진단된 우울증정도가 디스플레이되는 우울증그래프레이어(L2);를 포함하고, 상기 우울증그래프레이어(L2)에서 사용자의 입력에 따라 선택된 시간축 위치에 상응하는 영상 및/또는 시점으로 상기 답변영상레이어(L1)의 영상 및/또는 영상시점이 변경될 수 있다.
도 10은 본 발명의 일 실시예에 따른 제2표시화면을 개략적으로 도시한다.
바람직하게는, 도 10에서 표시되는 제2표시화면은 사용자가 페이지선택레이어(L3)에서 요약부분을 선택하는 경우에 표시되는 화면에 해당한다.
상기 제공단계에 의하여 디스플레이되는 제2표시화면은, 상기 답변영상이 표시되는 답변영상레이어(L1); 및 상기 답변영상으로부터 추출된 요약답변텍스트정보가 디스플레이되는 요약스크립트레이어(L6);를 포함한다.
바람직하게는, 상기 요약답변텍스트정보는 답변텍스트의 부분에 상응하는 상기 우울증예비진단정보의 우울증의 정도가 기설정된 기준 이상인 답변텍스트의 1 이상의 부분을 포함한다.
바람직하게는, 상기 요약스크립트레이어(L6)에서 사용자의 입력에 따라 선택된 스크립트부분의 위치에 상응하는 시점으로 상기 답변영상레이어(L1)의 영상시점이 변경될 수 있다.
이와 같은 제2표시화면에서도 전술한 스크롤레이어(L5)가 디스플레이될 수 도 있다.
상기 제2표시화면은, 상기 요약답변텍스트정보 각각에 상응하는 1 이상의 선택입력엘리먼트;를 더 포함하고, 사용자의 입력에 따라 선택된 상기 선택입력엘리먼트 혹은 요약답변텍스트정보의 일부에 상응하는 복수의 답변영상의 부분이 재생될 수 있다.
바람직하게는, 상기 제2표시화면은, 상기 요약답변텍스트정보 각각에 상응하는 1 이상의 체크박스(E7);를 더 포함한다. 예를 들어, 도 10에서는 각각의 체크박스(E7)는 각각의 요약답변텍스트정보에 상응하는 위치에 표시된다. 상기 체크박스(E7)은 상기 선택입력엘리먼트의 일예에 해당할 수 있다.
바람직하게는, 사용자의 입력에 따라 사용자가 상기 체크박스(E7)를 선택한 복수의 요약답변텍스트정보에 상응하는 복수(혹은 1 이상)의 답변영상의 부분이 재생될 수 있다. 혹은, 본 발명의 다른 실시예에서는 요약답변텍스트 정보의 일부, 즉 문장 등을 복수(혹은 1 이상)로 선택하고, 이에 상응하는 답변영상의 부분이 재생될 수 있다.
구체적으로, 본 발명의 일 실시예에서는, 사용자는 상기 요약스크립트레이어(L6)에서 자신이 재생을 하고 싶은 스크립트에 대한 체크박스(E7)를 선택한 후에, 재생으로 표시된 엘리먼트(E8)를 선택하는 경우, 체크박스(E7)가 선택된 스크립트에 대해서 재생이 수행된다. 이와 같은 재생은 반복재생으로 진행될 수도 있다.
즉, 제2표시화면에서는 진단부(1200)에서 우울증의 정도가 높다고 판단되는 스크립트들을 모아서 보여주고, 이 상태에서 사용자가 선택한 부분에 대해서만, 즉 기계학습모델의 추론 결과에 대해 사용자가 2차적으로 선별한 영상부분에 대해서 재생을 함으로써, 결과적으로 의료진은 전체 답변영상을 확인하지 않더라도, 진단을 더욱 수월하게 하면서, 기계학습모델의 판단결과를 이용하여 더욱 정확한 판단을 내릴 수 있는 효과를 발휘할 수 있다. 상담사 같은 경우에는 어떤 부분에 문제가 있는지 좀 더 명확하게 파악함으로써, 내담자에게 보다 정확한 상담을 수행할 수 있도록 도울 수 있다.
도 11은 본 발명의 일 실시예에 따른 서버시스템, 사용자단말기 등이 해당할 수 있는 컴퓨팅 장치에 대해서 도시한다.
예를 들어, 상술한 도 2에 도시된 서버시스템(1000)은 상기 도 11에 도시된 컴퓨팅장치의 구성요소들을 포함할 수 있다.
도 11에 도시된 바와 같이, 컴퓨팅장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)는 도 1에 도시된 서버시스템(1000) 혹은 상기 서버시스템(1000)에 포함되는 1 이상의 서버에 해당될 수 있다.
메모리(11200)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.
이러한 도 11의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)는 도 11에 도시된 일부 컴포넌트가 생략되거나, 도 11에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 11에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(11600)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
상기에서는 우울증을 기반으로 하여 본 발명의 예비진단 정보를 제공하는 방법 및 시스템에 대하여 설명하였으나, 본 발명은 다양한 정신질환에 이용될 수 있고, 이 경우 '우울증' 용어는 '정신질환'으로 대체될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 사용자단말 혹은 가맹점단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 사용자단말 혹은 가맹점단말에서의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명의 일 실시예에 따르면, 피평가자가 수행한 답변영상에 대한 우울증에 대한 분석결과 및 이에 대한 근거정보를 의료진에게 특수한 유저 인터페이스를 통하여 제공함으로써, 의료진의 우울증에 대한 판단을 보다 효율적으로 하기 위한, 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체를 제공하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 다수의 20대 및 30대의 사용자들도 위화감 없이 자신의 우울증에 대한 진단을 받아볼 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 일종의 원격진료의 개념으로 다수의 사람들에 대한 우울증 여부를 진단할 수 있고, 의사 각각이 환자 혹은 사용자와 시간을 정확하게 정해서 실시간으로 이루어지는 것이 아니라 환자와 의사가 분리된 시간대로 진행할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 진료진 측에서 영상 전체를 모두 재생해보지 않고, 진료진 측에서 기계학습모델에 의하여 선별된 중요한 부분만을 빠른 시간에 확인할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 기계학습모델이 중요하다고 판단되는 부분들을 자동적으로 추출하여 효율적인 유저인터페이스에서 영상들을 확인할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 음성특징, 표정 및 텍스트 전체에 대해 멀티모달적으로 판단하여 우울증 증세에 대한 종합적인 판단을 제공할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에서는, 단순히 기계학습모델의 판단결과를 제공하는 것이 아닌 기계학습모델의 판단근거 혹은 설명에 대한 정보를 의료진에 제공함으로써 의료진이 해당 의견에 대한 수용 여부를 빠른 시간에 판단할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (14)
1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅 장치에서 수행되는 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법으로서,
1 이상의 답변영상에 대하여 기계학습된 모델을 이용하여 우울증예비진단정보를 도출하는 진단단계; 및
우울증예비진단정보를 사용자에게 제공하는 제공단계;를 포함하고,
상기 제공단계에 의하여 디스플레이되는 제1표시화면은,
상기 답변영상이 표시되는 답변영상레이어; 및
상기 답변영상과 관련된 질문정보 및 상기 답변영상으로부터 추출된 답변텍스트정보가 디스플레이되는 스크립트레이어;를 포함하고,
상기 스크립트레이어에서 사용자의 입력에 따라 선택된 스크립트부분의 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있는, 우울증예비진단정보를 제공하는 방법.
1 이상의 답변영상에 대하여 기계학습된 모델을 이용하여 우울증예비진단정보를 도출하는 진단단계; 및
우울증예비진단정보를 사용자에게 제공하는 제공단계;를 포함하고,
상기 제공단계에 의하여 디스플레이되는 제1표시화면은,
상기 답변영상이 표시되는 답변영상레이어; 및
상기 답변영상과 관련된 질문정보 및 상기 답변영상으로부터 추출된 답변텍스트정보가 디스플레이되는 스크립트레이어;를 포함하고,
상기 스크립트레이어에서 사용자의 입력에 따라 선택된 스크립트부분의 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있는, 우울증예비진단정보를 제공하는 방법.
청구항 1에 있어서,
상기 제1표시화면은,
시간축에 따라 진단된 우울증정도가 디스플레이되는 우울증그래프레이어;를 포함하고,
상기 우울증그래프레이어에서 사용자의 입력에 따라 선택된 시간축 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있는, 우울증예비진단정보를 제공하는 방법.
상기 제1표시화면은,
시간축에 따라 진단된 우울증정도가 디스플레이되는 우울증그래프레이어;를 포함하고,
상기 우울증그래프레이어에서 사용자의 입력에 따라 선택된 시간축 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있는, 우울증예비진단정보를 제공하는 방법.
청구항 1에 있어서,
상기 진단단계는,
상기 답변영상으로부터 음성의 텍스트에서 추출한 복수의 단어, 상기 복수의 단어 각각에 상응하는 복수의 이미지프레임, 및 상기 복수의 단어 각각에 상응하는 복수의 음성정보에 기반하여, 기계학습된 모델을 이용하여 상기 우울증예비진단정보를 도출하는, 우울증예비진단정보를 제공하는 방법.
상기 진단단계는,
상기 답변영상으로부터 음성의 텍스트에서 추출한 복수의 단어, 상기 복수의 단어 각각에 상응하는 복수의 이미지프레임, 및 상기 복수의 단어 각각에 상응하는 복수의 음성정보에 기반하여, 기계학습된 모델을 이용하여 상기 우울증예비진단정보를 도출하는, 우울증예비진단정보를 제공하는 방법.
청구항 1에 있어서,
상기 진단단계는,
상기 답변영상으로부터 음성의 텍스트에서 추출한 복수의 단어, 복수의 이미지프레임, 및 복수의 음성정보를 추출하는 제1단계;
상기 복수의 단어, 상기 복수의 이미지프레임 및 상기 복수의 음성정보로부터 각각의 세부기계학습모델 혹은 알고리즘을 이용하여 복수의 제1특징정보, 복수의 제2특징정보, 및 복수의 제3특징정보를 도출하는 제2단계; 및
복수의 상기 제1특징정보, 복수의 상기 제2특징정보, 및 복수의 상기 제3특징정보로부터 시퀀스 데이터를 고려한 인공신경망을 이용하여 우울증정도를 포함하는 도출정보를 도출하는 제3단계;를 포함하는, 우울증예비진단정보를 제공하는 방법.
상기 진단단계는,
상기 답변영상으로부터 음성의 텍스트에서 추출한 복수의 단어, 복수의 이미지프레임, 및 복수의 음성정보를 추출하는 제1단계;
상기 복수의 단어, 상기 복수의 이미지프레임 및 상기 복수의 음성정보로부터 각각의 세부기계학습모델 혹은 알고리즘을 이용하여 복수의 제1특징정보, 복수의 제2특징정보, 및 복수의 제3특징정보를 도출하는 제2단계; 및
복수의 상기 제1특징정보, 복수의 상기 제2특징정보, 및 복수의 상기 제3특징정보로부터 시퀀스 데이터를 고려한 인공신경망을 이용하여 우울증정도를 포함하는 도출정보를 도출하는 제3단계;를 포함하는, 우울증예비진단정보를 제공하는 방법.
청구항 1에 있어서,
상기 진단단계는,
상기 답변영상으로부터 추출한 음성의 텍스트에서 추출한 복수의 단어, 복수의 이미지프레임, 음성정보 중 2개 이상의 정보에 기반하여, 기계학습된 모델을 이용하여 상기 우울증예비진단정보를 도출하는, 우울증예비진단정보를 제공하는 방법.
상기 진단단계는,
상기 답변영상으로부터 추출한 음성의 텍스트에서 추출한 복수의 단어, 복수의 이미지프레임, 음성정보 중 2개 이상의 정보에 기반하여, 기계학습된 모델을 이용하여 상기 우울증예비진단정보를 도출하는, 우울증예비진단정보를 제공하는 방법.
청구항 4에 있어서,
상기 시퀀스 데이터를 고려한 인공신경망은 순환신경망 혹은 어텐션 메커니즘을 기반으로 하는 트랜스포머 계열 기계학습모델에 해당하고,
상기 복수의 단어 각각에 상응하는 제1특징정보, 제2특징정보, 및 제3특징정보가 병합된 형태로 순환신경망 혹은 트랜스포머 계열 기계학습모델에 입력되는, 우울증예비진단정보를 제공하는 방법.
상기 시퀀스 데이터를 고려한 인공신경망은 순환신경망 혹은 어텐션 메커니즘을 기반으로 하는 트랜스포머 계열 기계학습모델에 해당하고,
상기 복수의 단어 각각에 상응하는 제1특징정보, 제2특징정보, 및 제3특징정보가 병합된 형태로 순환신경망 혹은 트랜스포머 계열 기계학습모델에 입력되는, 우울증예비진단정보를 제공하는 방법.
청구항 1에 있어서,
상기 스크립트레이어에 표시되는 답변텍스트의 부분은 해당 답변텍스트의 부분에 상응하는 상기 우울증예비진단정보의 우울증의 정도 및 우울증의 종류 중 1 이상에 따라 하이라이트, 폰트, 크기, 색상, 및 밑줄 중 1 이상이 변화되어 표시되는, 우울증예비진단정보를 제공하는 방법.
상기 스크립트레이어에 표시되는 답변텍스트의 부분은 해당 답변텍스트의 부분에 상응하는 상기 우울증예비진단정보의 우울증의 정도 및 우울증의 종류 중 1 이상에 따라 하이라이트, 폰트, 크기, 색상, 및 밑줄 중 1 이상이 변화되어 표시되는, 우울증예비진단정보를 제공하는 방법.
청구항 7에 있어서,
상기 하이라이트, 폰트, 크기, 색상, 및 밑줄 중 1 이상이 변화되어 표시되는 상기 답변텍스트의 부분은 해당 답변텍스트의 부분에 상응하는 상기 우울증예비진단정보의 우울증의 정도가 기설정된 기준 이상에 해당하고,
상기 하이라이트, 폰트, 크기, 색상, 및 밑줄 중 1 이상이 변화되어 표시되는 상기 답변텍스트의 부분을 사용자가 선택하는 경우에, 해당 답변텍스트의 부분의 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경되는, 우울증예비진단정보를 제공하는 방법.
상기 하이라이트, 폰트, 크기, 색상, 및 밑줄 중 1 이상이 변화되어 표시되는 상기 답변텍스트의 부분은 해당 답변텍스트의 부분에 상응하는 상기 우울증예비진단정보의 우울증의 정도가 기설정된 기준 이상에 해당하고,
상기 하이라이트, 폰트, 크기, 색상, 및 밑줄 중 1 이상이 변화되어 표시되는 상기 답변텍스트의 부분을 사용자가 선택하는 경우에, 해당 답변텍스트의 부분의 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경되는, 우울증예비진단정보를 제공하는 방법.
청구항 2에 있어서,
상기 우울증그래프레이어는,
상기 우울증정도가 기설정된 제1기준을 초과하거나 혹은 우울증 세부 종류를 나타내는 제1기준표시엘리먼트;를 포함하는, 우울증예비진단정보를 제공하는 방법.
상기 우울증그래프레이어는,
상기 우울증정도가 기설정된 제1기준을 초과하거나 혹은 우울증 세부 종류를 나타내는 제1기준표시엘리먼트;를 포함하는, 우울증예비진단정보를 제공하는 방법.
청구항 1에 있어서,
상기 제1표시화면은,
상기 스크립트레이어의 스크롤정보를 표시하는 스크롤레이어를 더 포함하고,
상기 스크롤레이어에는 상기 우울증예비진단정보의 우울증의 정도 및 우울증의 종류 중 1 이상에 따라 표시되는 각각의 시점에서의 정보표시엘리먼트;가 표시되고,
상기 정보표시엘리먼트를 사용자가 선택하면, 상기 스크립트레이어에서는 선택된 상기 정보표시엘리먼트에 상응하는 답변텍스트의 위치로 이동하는, 우울증예비진단정보를 제공하는 방법.
상기 제1표시화면은,
상기 스크립트레이어의 스크롤정보를 표시하는 스크롤레이어를 더 포함하고,
상기 스크롤레이어에는 상기 우울증예비진단정보의 우울증의 정도 및 우울증의 종류 중 1 이상에 따라 표시되는 각각의 시점에서의 정보표시엘리먼트;가 표시되고,
상기 정보표시엘리먼트를 사용자가 선택하면, 상기 스크립트레이어에서는 선택된 상기 정보표시엘리먼트에 상응하는 답변텍스트의 위치로 이동하는, 우울증예비진단정보를 제공하는 방법.
청구항 1에 있어서,
상기 제공단계에 의하여 디스플레이되는 제2표시화면은,
상기 답변영상이 표시되는 답변영상레이어; 및
상기 답변영상으로부터 추출된 요약답변텍스트정보가 디스플레이되는 요약스크립트레이어;를 포함하고,
상기 요약답변텍스트정보는 답변텍스트의 부분에 상응하는 상기 우울증예비진단정보의 우울증의 정도가 기설정된 기준 이상인 답변텍스트의 1 이상의 부분을 포함하고,
상기 요약스크립트레이어에서 사용자의 입력에 따라 선택된 스크립트부분의 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있는, 우울증예비진단정보를 제공하는 방법.
상기 제공단계에 의하여 디스플레이되는 제2표시화면은,
상기 답변영상이 표시되는 답변영상레이어; 및
상기 답변영상으로부터 추출된 요약답변텍스트정보가 디스플레이되는 요약스크립트레이어;를 포함하고,
상기 요약답변텍스트정보는 답변텍스트의 부분에 상응하는 상기 우울증예비진단정보의 우울증의 정도가 기설정된 기준 이상인 답변텍스트의 1 이상의 부분을 포함하고,
상기 요약스크립트레이어에서 사용자의 입력에 따라 선택된 스크립트부분의 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있는, 우울증예비진단정보를 제공하는 방법.
청구항 11에 있어서,
상기 제2표시화면은,
상기 요약답변텍스트정보 각각에 상응하는 1 이상의선택입력엘리먼트;를 더 포함하고,
사용자의 입력에 따라 선택된 상기 선택입력엘리먼트 혹은 요약답변텍스트정보의 일부에 상응하는 답변영상의 부분이 재생될 수 있는, 우울증예비진단정보를 제공하는 방법.
상기 제2표시화면은,
상기 요약답변텍스트정보 각각에 상응하는 1 이상의선택입력엘리먼트;를 더 포함하고,
사용자의 입력에 따라 선택된 상기 선택입력엘리먼트 혹은 요약답변텍스트정보의 일부에 상응하는 답변영상의 부분이 재생될 수 있는, 우울증예비진단정보를 제공하는 방법.
1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅 장치로 구현되는 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 장치로서,
1 이상의 답변영상에 대하여 기계학습된 모델을 이용하여 우울증예비진단정보를 도출하는 진단부; 및
우울증예비진단정보를 사용자에게 제공하는 제공부;를 포함하고,
상기 제공단계에 의하여 디스플레이되는 제1표시화면은,
상기 답변영상이 표시되는 답변영상레이어; 및
상기 답변영상과 관련된 질문정보 및 상기 답변영상으로부터 추출된 답변텍스트정보가 디스플레이되는 스크립트레이어;를 포함하고,
상기 스크립트레이어에서 사용자의 입력에 따라 선택된 스크립트부분의 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있는, 우울증예비진단정보를 제공하는 장치.
1 이상의 답변영상에 대하여 기계학습된 모델을 이용하여 우울증예비진단정보를 도출하는 진단부; 및
우울증예비진단정보를 사용자에게 제공하는 제공부;를 포함하고,
상기 제공단계에 의하여 디스플레이되는 제1표시화면은,
상기 답변영상이 표시되는 답변영상레이어; 및
상기 답변영상과 관련된 질문정보 및 상기 답변영상으로부터 추출된 답변텍스트정보가 디스플레이되는 스크립트레이어;를 포함하고,
상기 스크립트레이어에서 사용자의 입력에 따라 선택된 스크립트부분의 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있는, 우울증예비진단정보를 제공하는 장치.
1 이상의 프로세서 및 1 이상의 메모리를 갖는 컴퓨팅 장치에서 수행되는 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법을 구현하기 위한, 컴퓨터-판독가능매체로서,
1 이상의 답변영상에 대하여 기계학습된 모델을 이용하여 우울증예비진단정보를 도출하는 진단단계; 및
우울증예비진단정보를 사용자에게 제공하는 제공단계;를 포함하고,
상기 제공단계에 의하여 디스플레이되는 제1표시화면은,
상기 답변영상이 표시되는 답변영상레이어; 및
상기 답변영상과 관련된 질문정보 및 상기 답변영상으로부터 추출된 답변텍스트정보가 디스플레이되는 스크립트레이어;를 포함하고,
상기 스크립트레이어에서 사용자의 입력에 따라 선택된 스크립트부분의 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있는, 컴퓨터-판독가능 매체.
1 이상의 답변영상에 대하여 기계학습된 모델을 이용하여 우울증예비진단정보를 도출하는 진단단계; 및
우울증예비진단정보를 사용자에게 제공하는 제공단계;를 포함하고,
상기 제공단계에 의하여 디스플레이되는 제1표시화면은,
상기 답변영상이 표시되는 답변영상레이어; 및
상기 답변영상과 관련된 질문정보 및 상기 답변영상으로부터 추출된 답변텍스트정보가 디스플레이되는 스크립트레이어;를 포함하고,
상기 스크립트레이어에서 사용자의 입력에 따라 선택된 스크립트부분의 위치에 상응하는 시점으로 상기 답변영상레이어의 영상시점이 변경될 수 있는, 컴퓨터-판독가능 매체.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210000837A KR102513645B1 (ko) | 2021-01-05 | 2021-01-05 | 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체 |
| JP2023530207A JP2023552706A (ja) | 2021-01-05 | 2021-11-25 | 機械学習モデルを用いてうつ病予備診断情報を提供する方法、システム、及びコンピュータ読取り可能な媒体 |
| PCT/KR2021/017512 WO2022149720A1 (ko) | 2021-01-05 | 2021-11-25 | 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체 |
| US18/258,865 US20240041371A1 (en) | 2021-01-05 | 2021-11-25 | Method, system, and computer-readable medium for providing depression preliminary diagnosis information by using machine learning model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210000837A KR102513645B1 (ko) | 2021-01-05 | 2021-01-05 | 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220099190A true KR20220099190A (ko) | 2022-07-13 |
| KR102513645B1 KR102513645B1 (ko) | 2023-03-27 |
Family
ID=82357176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210000837A KR102513645B1 (ko) | 2021-01-05 | 2021-01-05 | 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240041371A1 (ko) |
| JP (1) | JP2023552706A (ko) |
| KR (1) | KR102513645B1 (ko) |
| WO (1) | WO2022149720A1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170081859A (ko) * | 2016-01-05 | 2017-07-13 | 이준근 | 동영상을 이용한 고용 지원 시스템 및 방법 |
| US20190355474A1 (en) * | 2018-05-01 | 2019-11-21 | Blackthorn Therapeutics, Inc. | Machine learning-based diagnostic classifier |
| KR20200092512A (ko) * | 2019-01-15 | 2020-08-04 | 주식회사 제네시스랩 | 기계학습을 이용한 온라인 면접을 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102236720B1 (ko) * | 2019-01-07 | 2021-04-06 | 주식회사 제네시스랩 | 기계학습을 이용한 면접준비 서비스를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체 |
| KR20200145299A (ko) * | 2019-06-21 | 2020-12-30 | 주식회사 웨이브온 | 온라인 면접 동영상 분석 및 소셜미디어 정보분석 기반 지능형 채용지원 플랫폼 |
-
2021
- 2021-01-05 KR KR1020210000837A patent/KR102513645B1/ko active IP Right Grant
- 2021-11-25 US US18/258,865 patent/US20240041371A1/en active Pending
- 2021-11-25 JP JP2023530207A patent/JP2023552706A/ja active Pending
- 2021-11-25 WO PCT/KR2021/017512 patent/WO2022149720A1/ko active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170081859A (ko) * | 2016-01-05 | 2017-07-13 | 이준근 | 동영상을 이용한 고용 지원 시스템 및 방법 |
| US20190355474A1 (en) * | 2018-05-01 | 2019-11-21 | Blackthorn Therapeutics, Inc. | Machine learning-based diagnostic classifier |
| KR20200092512A (ko) * | 2019-01-15 | 2020-08-04 | 주식회사 제네시스랩 | 기계학습을 이용한 온라인 면접을 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240041371A1 (en) | 2024-02-08 |
| WO2022149720A1 (ko) | 2022-07-14 |
| KR102513645B1 (ko) | 2023-03-27 |
| JP2023552706A (ja) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11832958B2 (en) | Automatic image-based skin diagnostics using deep learning | |
| US11120895B2 (en) | Systems and methods for mental health assessment | |
| US10748644B2 (en) | Systems and methods for mental health assessment | |
| Dharwadkar et al. | A medical chatbot | |
| Victor et al. | Detecting depression using a framework combining deep multimodal neural networks with a purpose-built automated evaluation. | |
| Laacke et al. | Artificial intelligence, social media and depression. A new concept of health-related digital autonomy | |
| Du et al. | Deep learning-based mental health monitoring scheme for college students using convolutional neural network | |
| US20210345925A1 (en) | A data processing system for detecting health risks and causing treatment responsive to the detection | |
| Sawalha et al. | Detecting presence of PTSD using sentiment analysis from text data | |
| Javed et al. | Artificial intelligence for cognitive health assessment: State-of-the-art, open challenges and future directions | |
| Zhou et al. | Tamfn: Time-aware attention multimodal fusion network for depression detection | |
| Nguyen et al. | Decision support system for the differentiation of schizophrenia and mood disorders using multiple deep learning models on wearable devices data | |
| CN114708976A (zh) | 辅助诊断技术的方法、装置、设备及存储介质 | |
| Codina-Filbà et al. | Mobile eHealth platform for home monitoring of bipolar disorder | |
| Lu et al. | Prediction of Depression Severity Based on Transformer Encoder and CNN Model | |
| Raykar et al. | Cognitive analysis of data mining tools application in health care services | |
| Thapa et al. | Cognitive Internet of Things (IoT) and computational intelligence for mental well-being | |
| KR102513645B1 (ko) | 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체 | |
| Aggarwal | Performance of artificial intelligence imaging models in detecting dermatological manifestations in higher fitzpatrick skin color classifications | |
| Richardson et al. | Mobile Applications for Stroke: A Survey and a Speech Classification Approach. | |
| Dia et al. | Video-based continuous affect recognition of children with Autism Spectrum Disorder using deep learning | |
| Lim Ding Feng et al. | Social Behaviour Understanding using Deep Neural Networks: Development of Social Intelligence Systems | |
| Smitha et al. | VOICE RECOGNITION BASED MEDI ASSISTANT | |
| Abid et al. | Machine Learning based approaches for Identification and Prediction of diverse Mental Health Conditions | |
| Sodhi et al. | Proposed a Framework for Depression Monitoring System by Detecting the Facial Expression using Soft Computing Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |