KR102237539B1 - 음성 대화 분석을 기반으로 하는 치매 및 인지 능력 판단 시스템 및 방법 - Google Patents

음성 대화 분석을 기반으로 하는 치매 및 인지 능력 판단 시스템 및 방법 Download PDF

Info

Publication number
KR102237539B1
KR102237539B1 KR1020200096150A KR20200096150A KR102237539B1 KR 102237539 B1 KR102237539 B1 KR 102237539B1 KR 1020200096150 A KR1020200096150 A KR 1020200096150A KR 20200096150 A KR20200096150 A KR 20200096150A KR 102237539 B1 KR102237539 B1 KR 102237539B1
Authority
KR
South Korea
Prior art keywords
user
dementia
cognitive ability
ability
unit
Prior art date
Application number
KR1020200096150A
Other languages
English (en)
Inventor
이승연
Original Assignee
이승연
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이승연 filed Critical 이승연
Priority to KR1020200096150A priority Critical patent/KR102237539B1/ko
Application granted granted Critical
Publication of KR102237539B1 publication Critical patent/KR102237539B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4803Speech analysis specially adapted for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Neurology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Primary Health Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Nursing (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명의 일 기술적 측면에 따른 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템은, 테스트 컨텐츠를 기반으로 사용자에게 테스트 인터페이스를 제공하고, 상기 테스트 인터페이스를 통하여 사용자 음성 답변을 획득하는 사용자 단말 및 상기 사용자 단말에 치매 및 인지 능력 판단을 위한 상기 테스트 컨텐츠를 제공하고, 상기 사용자 단말이 제공한 상기 사용자 음성 답변을 텍스트로 변환하고 변환된 텍스트를 이용하여 상기 사용자에 대한 인지 능력 및 치매여부를 판단하는 서비스 제공 서버를 포함 할 수 있다.
본 발명에 따르면 온라인 환경에서 비대면 방식으로 사용자가 음성으로 응답한 내용을 분석하여 사용자의 인지 능력 판단 및 치매 여부 판단을 제공함으로써, 사용자에게 검사의 신속성 및 편의성을 제공 할 수 있는 효과가 있다.

Description

음성 대화 분석을 기반으로 하는 치매 및 인지 능력 판단 시스템 및 방법 {SYSTEM AND METHOD FOR DETERMINING DEMENDIA AND CONGNITIVE ABILITY USING VOICE CONVERSATION ANALYSIS}
본 발명은 음성 대화 분석을 기반으로 하는 치매 및 인지 능력 판단 시스템 및 방법에 관한 것으로, 구체적으로 음성 데이터를 텍스트로 변환하여 분석함으로써 사용자의 사용자의 기분, 무드, 감정, 취향, 선호도 등을 식별하고 이를 기반으로 대상의 인지 능력, 스트레스 정도, 치매 가능성 여부 등을 예측 또는 판별하고, 수집된 빅데이터를 기반으로 예측 모델을 통하여 사용자를 유형화하고, 사용자 속성에 따른 사용자 유형 데이터 모델링을 강화하여 유형 모델을 기반으로 인지능력 강화 및 치매 예방을 위한 인지/정서 훈련 또는 프로그램을 제공할 수 있는 치매 및 인지 능력 판단 시스템 및 방법에 관한 것이다.
의료기술 및 과학기술의 발전으로 인하여 삶의 질은 높아지고, 인간의 기대수명이 늘어남에 따라 고령인구 가 증가하고 있다. 고령인구의 증가는 사회 고령화 뿐만 아니라 퇴행성 질환, 치매 및 인지장애 등 나이와 관련된 질병의 유병률 또한 증가시키고 있다.
치매는 퇴행성 질환 중 고령인구에게 가장 많이 생기는 질병으로 기억력을 포함한 인지기능의 감퇴가 진행되어 일상생활에 지장이 생기며, 환자뿐만 아니라 가족들에게도 정신적인 영향을 미칠 수 있다.
2019년 기준 한국의 치매인구는 약 75만명으로 노인 10명 가운데 1명꼴로 치매를 앓고 있다. 이러한 치매 환자를 보살피기 위하여 사용되는 사회비용은 1인당 연간 2042만원 가량의 비용이 소요되는 것으로 추산된다. 이러한 추세는 기대수명의 증가와 함께 더더욱 증가할 것으로 예상된다.
치매의 대부분은 퇴행성 뇌질환에 의한 비가역성 치매로서, 알츠하이머, 루이체 치매, 파킨슨, 전측두엽 치매 등이 해당된다. 비가역성 치매의 경우 질병이 진행된 상태에서 치료를 하더라도 이전의 단계로의 회복은 불가능한 반면, 치매의 진행을 최대한 늦추는 효과를 가진다.
치매환자의 대부분은 알츠하이머 이며, 치매 인구의 60~70%로 가장 유병율이 높고, 퇴행성 및 비가역적 특성을 가지고 있으므로, 이러한 치매의 초기에 진단이 이루어진다면 치매의 진행을 최대한 늦출 수 있으므로, 치매에 대한 빠른 진단이 매우 중요하다.
그러나, 종래의 경우, 치매환자가 직접 정신과 병원이나 보건소에 방문하여 치매 판단을 수행하여야 했다. 종래의 우울증 진단 방법 중 뇌파를 분석하여 이상 징후를 포착하는 방식이 공개된 바 있으나(우울 정도를 실시간으로 분석하는 방법 및 그 시스템, 한국등록특허 제 1768332호), 이는 복잡한 측정기기 및 방법을 이용하는 것으로 정신과 병원에서의 진료가 기반되어야 한다.
그러나, 환자는 대부분 정신과 진료에 대한 거부감과 치매 인지에 대한 반감 등을 가지고 있어, 실제로 증상이 심해지기까지 해당 기관에 방문하는 것을 꺼리는 성향이 있다.
따라서, 치매를 조기에 발견할 수 있도록 온라인 환경에서 치매에 대한 검사가 가능한 시스템에 대한 요구가 증대되고 있다. 특히, 최근의 코로나 19 사태와 함께 비대면 의료 서비스가 필수적으로 요구되고 있으므로, 온라인 환경에서의 치매 및 인지능력 검사에 대한 니즈가 증대되고 있다.
한국 공개특허공보 제10-2019-0092810호
본 발명의 일 기술적 측면은 상기한 종래 기술의 문제점을 해결하기 위한 것으로써, 온라인 환경에서 비대면 방식으로 사용자가 음성으로 응답한 내용을 분석하여 사용자의 인지 능력 판단 및 치매 여부 판단을 제공함으로써, 사용자에게 검사의 편의성을 제공 할 수 있는 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템 및 그 제공방법을 제공하는 것이다.
또한, 본 발명의 일 기술적 측면은, 검사 방식을 사용자와의 대화형 모델로서 제공함으로써, 노령 사용자도 쉽게 검사할 수 있는 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템 및 그 제공방법을 제공하는 것이다.
또한, 본 발명의 일 기술적 측면은, 사용자의 음성을 텍스트로 변환하고 이를 빅 데이터 분석을 통하여 사용자의 기분, 정서적/인지적 특징, 우울 정도 등을 파악하여 인지 능력 및 치매 여부, 치매 가능성을 판단할 수 있는 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템 및 그 제공방법을 제공하는 것이다.
또한, 본 발명의 일 기술적 측면은, 사용자의 음성을 변화시킨 텍스트를 기반으로 제1 판단 모델을 적용하고, 사용자의 음성 자체에 대하여 제2 판단 모델을 적용함으로써, 검사의 정확도를 증가시키고 심도있는 분석이 가능한 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템 및 그 제공방법을 제공하는 것이다.
또한, 본 발명의 일 기술적 측면은, 수집된 빅데이터를 기반으로 예측 모델을 통하여 사용자를 유형화하고, 사용자 속성에 따른 사용자 유형 데이터 모델링을 강화하여 유형 모델을 기반으로 인지능력 강화 및 치매 예방을 위한 인지/정서 훈련 또는 프로그램을 제공할 수 있는 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템 및 그 제공방법을 제공하는 것이다.
본 발명의 상기 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.
본 발명의 일 기술적 측면은 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템을 제안한다. 상기 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템은, 테스트 컨텐츠를 기반으로 사용자에게 테스트 인터페이스를 제공하고, 상기 테스트 인터페이스를 통하여 사용자 음성 답변을 획득하는 사용자 단말 및 상기 사용자 단말에 치매 및 인지 능력 판단을 위한 상기 테스트 컨텐츠를 제공하고, 상기 사용자 단말이 제공한 상기 사용자 음성 답변을 텍스트로 변환하고 변환된 텍스트를 이용하여 상기 사용자에 대한 인지 능력 및 치매여부를 판단하는 서비스 제공 서버를 포함 할 수 있다.
일 실시예에서, 상기 사용자 단말은, 상기 사용자 음성 답변을 입력받아 저장하는 음성 입력부, 상기 사용자에게 상기 테스트 컨텐츠를 제공하는 사용자 인터페이스부, 상기 서비스 제공 서버와 연동하여 상기 서비스 제공 서버에 대한 통신 연결을 수행하는 서버 연동부 및 상기 사용자 인터페이스부를 제어하여 상기 테스트 컨텐츠의 각 항목을 상기 사용자에게 제공하고, 상기 테스트 컨텐츠의 각 항목에 대한 상기 사용자의 음성 답변을 상기 서비스 제공 서버에 제공하도록 상기 서버 연동부를 제어하는 제어부를 포함 할 수 있다.
일 실시예에서, 상기 테스트 컨텐츠는 음성으로 구현된 인지 능력 및 치매여부를 판단하기 위한 컨텐츠이고, 상기 사용자 인터페이스부는 상기 음성 입력부와 연동하여 상기 사용자와의 대화형으로 상기 테스트 컨텐츠를 상기 사용자에게 제공 할 수 있다.
일 실시예에서, 상기 서비스 제공 서버는, 상기 사용자 단말과 연동하여, 상기 사용자 단말로부터 상기 사용자 음성 답변을 제공받아 저장하는 단말 연동부, 저장된 사용자 음성 답변을 클라우드 기반 음성-텍스트 변환 플랫폼을 이용하여 텍스트로 변환하는 음성-텍스트 변환부 및 텍스트로 변환된 사용자 답변에 대하여 빅 데이터 분석을 기반으로 사용자의 인지 능력 및 치매여부를 판단하는 치매 인지능력 판단부를 포함 할 수 있다.
일 실시예에서, 상기 서비스 제공 서버는, 인지 능력 및 치매여부를 판단하기 위한 상기 테스트 컨텐츠를 관리하고, 상기 테스트 컨텐츠를 상기 사용자 단말에 제공하는 테스트 컨텐츠 제공부를 더 포함 할 수 있다.
일 실시예에서, 상기 테스트 컨텐츠 제공부는, 상기 사용자 단말과 통신을 형성하는 단말 통신부, 인지 능력 및 치매여부를 판단하기 위한 텍스트 기반의 테스트 컨텐츠를 관리하는 테스트 컨텐츠 관리부 및 상기 텍스트 기반의 테스트 컨텐츠를 음성 형식으로 변환하여 대화형의 테스트 컨텐츠를 생성하는 텍스트-음성 변환부를 포함 할 수 있다.
일 실시예에서, 상기 치매 인지능력 판단부는, 상기 사용자에 대하여 시간 지각력, 장소 지각력, 기억 등록 및 기억 회상, 주의 집중 능력, 언어 능력 및 이해 판단 능력을 평가하여 상기 사용자의 인지 능력 및 치매여부를 판단 할 수 있다.
본 발명의 다른 일 기술적 측면은 음성 대화 분석을 이용한 치매 및 인지 능력 판단 방법을 제안한다. 상기 음성 대화 분석을 이용한 치매 및 인지 능력 판단 방법은, 사용자가 접근 가능한 사용자 단말 및 상기 사용자 단말과 연동하여 치매 및 인지 능력 판단을 제공하는 서비스 제공 서버를 이용한 치매 및 인지 능력 판단 방법으로서, 상기 사용자 단말을 이용하여, 사용자에게 테스트 컨텐츠를 기반으로 하는 테스트 인터페이스를 제공하는 단계, 상기 사용자 단말을 이용하여, 상기 테스트 인터페이스를 통하여 획득된 사용자 음성 답변을 저장하는 단계 및 상기 서비스 제공 서버를 이용하여, 상기 사용자 음성 답변을 텍스트로 변환하고, 변환된 텍스트를 이용하여 상기 사용자에 대한 인지 능력 및 치매 여부를 판단하는 단계를 포함 할 수 있다.
일 실시예에서, 상기 테스트 컨텐츠는 음성으로 구현된 인지 능력 및 치매여부를 판단하기 위한 컨텐츠이고, 상기 테스트 인터페이스를 제공하는 단계는, 음성으로 구현된 상기 테스트 컨텐츠를 상기 사용자에게 대화형으로 제공하는 단계를 포함 할 수 있다.
일 실시예에서, 상기 인지 능력 및 치매 여부를 판단하는 단계는, 상기 사용자의 시간 지각력을 평가하는 단계, 상기 사용자의 장소 지각력을 평가하는 단계, 상기 사용자에 대하여 기억 등록을 수행하는 단계, 상기 사용자에게 기억 등록된 내용에 대하여 질의하여 기억회상 능력을 평가하는 단계, 상기 사용자의 주의 집중 능력을 평가하는 단계, 상기 사용자의 언어 능력을 평가하는 단계 및 상기 사용자의 이해 판단 능력을 평가하는 단계를 포함 할 수 있다.
상기한 과제의 해결 수단은, 본 발명의 특징을 모두 열거한 것은 아니다. 본 발명의 과제 해결을 위한 다양한 수단들은 이하의 상세한 설명의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시형태에 따르면, 온라인 환경에서 비대면 방식으로 사용자가 음성으로 응답한 내용을 분석하여 사용자의 인지 능력 판단 및 치매 여부 판단을 제공함으로써, 사용자에게 검사의 신속성 및 편의성을 제공 할 수 있는 효과가 있다.
또한, 본 발명의 일 실시형태에 따르면, 검사 방식을 사용자와의 대화형 모델로서 제공함으로써, 노령 사용자도 쉽게 검사할 수 있는 효과가 있다.
또한, 본 발명의 일 실시형태에 따르면, 사용자의 음성을 텍스트로 변환하고 이를 빅 데이터 분석을 통하여 사용자의 기분, 정서적/인지적 특징, 우울 정도 등을 파악하여 인지 능력 및 치매 여부, 치매 가능성을 판단할 수 있는 효과가 있다.
또한, 본 발명의 일 실시형태에 따르면, 사용자의 음성을 변화시킨 텍스트를 기반으로 제1 판단 모델을 적용하고, 사용자의 음성 자체에 대하여 제2 판단 모델을 적용함으로써, 검사의 정확도를 증가시키고 심도있는 분석이 가능한 효과가 있다.
또한, 본 발명의 일 실시형태에 따르면, 수집된 빅데이터를 기반으로 예측 모델을 통하여 사용자를 유형화하고, 사용자 속성에 따른 사용자 유형 데이터 모델링을 강화하여 유형 모델을 기반으로 인지능력 강화 및 치매 예방을 위한 인지/정서 훈련 또는 프로그램을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템의 일 적용예를 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말을 설명하는 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 서비스 제공 서버를 설명하는 블록 구성도이다.
도 4는 도 3에 도시된 서비스 제공 서버의 테스트 컨텐츠 제공부의 일 실시예를 설명하는 블록 구성도이다.
도 5는 도 3에 도시된 서비스 제공 서버의 치매 인지능력 판단부의 일 실시예를 설명하는 블록 구성도이다.
도 6은 도 5에 도시된 치매 인지능력 판단부의 제1 판단모델을 설명하는 도면이다.
도 7은 도 5에 도시된 치매 인지능력 판단부의 제2 판단모델을 설명하는 도면이다.
도 8은 본 발명의 다른 일 실시예에 따른 서비스 제공 서버를 설명하는 블록 구성도이다.
도 9는 본 발명의 일 실시예에 따른 음성 대화 분석을 이용한 치매 및 인지 능력 판단 방법을 설명하는 순서도이다.
도 10은 도 9에 도시된 단계 S830에 대한 일 실시예를 설명하는 순서도이다.
도 11은 도 10에 도시된 단계 S930에 대한 일 실시예를 설명하는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다.
그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다.
즉, 전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 이하에서 본 발명에 따른 시스템을 설명하기 위하여 다양한 구성요소 및 그의 하부 구성요소에 대하여 설명하고 있다. 이러한 구성요소 및 그의 하부 구성요소들은, 하드웨어, 소프트웨어 또는 이들의 조합 등 다양한 형태로서 구현될 수 있다. 예컨대, 각 요소들은 해당 기능을 수행하기 위한 전자적 구성으로 구현되거나, 또는 전자적 시스템에서 구동 가능한 소프트웨어 자체이거나 그러한 소프트웨어의 일 기능적인 요소로 구현될 수 있다. 또는, 전자적 구성과 그에 대응되는 구동 소프트웨어로 구현될 수 있다.
본 발명의 실시형태를 설명하기 위하여 다양한 순서도가 개시되고 있으나, 이는 각 단계의 설명의 편의를 위한 것으로, 반드시 순서도의 순서에 따라 각 단계가 수행되는 것은 아니다. 즉, 순서도에서의 각 단계는, 서로 동시에 수행되거나, 순서도에 따른 순서대로 수행되거나, 또는 순서도에서의 순서와 반대의 순서로도 수행될 수 있다.
이하에서는, 본 발명의 몇몇 실시예에 따른 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템 및 방법을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템의 일 적용예를 설명하는 도면이다.
도 1을 참조하면, 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템은, 사용자 단말(100) 및 서비스 제공 서버(200)를 포함 할 수 있다.
사용자 단말(100)은 서비스 제공 서버(200)로부터 테스트 컨텐츠를 제공받고, 테스트 컨텐츠를 기반으로 사용자에게 테스트 인터페이스를 제공할 수 있다. 여기에서, 테스트 컨텐츠는 치매 및 인지 능력 판단을 위한 테스트를 수행하는 컨텐츠이며, 사용자에 대하여 음성 답변을 요구하는 컨텐츠이다.
사용자는 테스트 인터페이스를 통하여 음성으로 답변을 수행할 수 있으며, 사용자 단말(100)은 테스트 인터페이스를 통하여 사용자 음성 답변을 획득하여 저장하고, 이를 서비스 제공 서버(200)에 제공할 수 있다.
서비스 제공 서버(200)는 사용자 단말(100)에 치매 및 인지 능력 판단을 위한 테스트 컨텐츠를 제공한다.
서비스 제공 서버(200)는 사용자 단말(100)로부터 테스트 컨텐츠에 대한 사용자 음성 답변을 제공받고, 사용자 음성 답변을 기초로 사용자에 대한 인지 능력 및 치매여부를 판단한다.
일 예로, 서비스 제공 서버(200)는 사용자 단말(100)로부터 테스트 컨텐츠에 대한 사용자 음성 답변을 제공받으면, 사용자 음성 답변을 텍스트로 변환하고 변환된 텍스트를 이용하여 사용자에 대한 인지 능력 및 치매여부를 판단할 수 있다.
다른 일 예로, 서비스 제공 서버(200)는 사용자 음성 답변을 변환시킨 텍스트에 대하여 텍스트 분석을 기반으로 하는 제1 판단모델을 적용하고, 사용자 음성 답변 자체에 대하여 음성 분석을 기반으로 하는 제2 판단모델을 적용하여, 사용자에 대한 인지 능력 및 치매여부를 판단할 수 있다.
이하, 도 2 내지 도 7을 참조하여, 이러한 사용자 단말(100) 및 서비스 제공 서버(200)의 다양한 실시예들에 대하여 보다 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말을 설명하는 블록 구성도이다.
도 2를 참조하면, 사용자 단말(100)은 음성 입력부(110), 사용자 인터페이스부(120), 서버 연동부(130), 메모리(140) 및 제어부(150)를 포함할 수 있다.
음성 입력부(110)는 사용자 음성 답변을 입력받아 저장할 수 있고, 사용자 인터페이스부(120)는 사용자에게 테스트 컨텐츠를 제공할 수 있다.
일 실시예에서, 사용자 단말(100)은 사용자에게 음성 대화형 인터페이스로 구현될 수 있다. 예컨대, 테스트 컨텐츠는 음성으로 구현된 인지 능력 및 치매여부를 판단하기 위한 컨텐츠이고, 사용자 인터페이스부(120)는 음성 입력부(110)와 연동하여 사용자와의 대화형으로 테스트 컨텐츠를 사용자에게 제공 할 수 있다.
서버 연동부(130) 서비스 제공 서버(200)와 연동하여 서비스 제공 서버(200)에 대한 통신 연결을 수행할 수 있다.
메모리(140)는 사용자 단말(100)이 동작하는데 필요한 데이터와 프로그램 등을 저장한다. 예컨대, 이러한 메모리(140)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.
제어부(150)은 출입용 리더(200)의 각 구성요소에 대한 제어 및 전반적인 제어 기능을 수행한다. 예컨대, 제어부(150)은 메모리(240)에 저장된 프로그램 및 데이터를 이용하여 출입용 리더(200)의 전반적인 제어 기능을 실행할 수 있다.
제어부(150)은 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 메모리(240)에 액세스하여, 메모리(240)에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 메모리(240)에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
제어부(150)는 사용자 인터페이스부(120)를 제어하여 테스트 컨텐츠의 각 항목을 사용자에게 제공하도록 제어할 수 있다. 제어부(150)는 테스트 컨텐츠의 각 항목에 대한 사용자의 음성 답변을 서비스 제공 서버(200)에 제공하도록 서버 연동부(130)를 제어할 수 있다.
이러한 사용자 단말(100)은, 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치, POS기기, ATM, KIOSK 등과 같은 다양한 단말로 구현 될 수 있다.
도 3은 본 발명의 일 실시예에 따른 서비스 제공 서버를 설명하는 블록 구성도이다.
도 3을 참조하면, 서비스 제공 서버(200)는 단말 연동부(210), 테스트 컨텐츠 제공부(220), 음성-텍스트 변환부(230), 치매 인지능력 판단부(240) 및 데이터베이스(250)를 포함할 수 있다.
단말 연동부(210)는 사용자 단말(100)과 연동하여, 사용자 단말(100)로부터 사용자 음성 답변을 제공받는다. 단말 연동부(210)는 제공받은 사용자 음성 답변을 데이터베이스(250)에 저장할 수 있다.
테스트 컨텐츠 제공부(220)는 인지 능력 및 치매여부를 판단하기 위한 테스트 컨텐츠를 관리한다. 테스트 컨텐츠 제공부(220)는 테스트 컨텐츠를 사용자 단말(100)에 제공할 수 있다.
이러한 테스트 컨텐츠 제공부(220)에 대해서는 도 4를 참조하여 이하에서 보다 상세히 설명한다.
음성-텍스트 변환부(230)는 저장된 사용자 음성 답변을 음성-텍스트 변환 플랫폼을 이용하여 텍스트로 변환할 수 있다. 예를 들어, 음성-텍스트 변환부(230)는 클라우드 기반으로 음성-텍스트 변환 플랫폼을 구성하고, 이를 이용하여 사용자 음성 답변을 텍스트로 변환할 수 있다.
치매 인지능력 판단부(240)는 사용자 답변에 대하여 빅 데이터 분석을 적용하여 사용자의 인지 능력 및 치매여부를 판단할 수 있다.
일 실시예에서, 치매 인지능력 판단부(240)는 사용자에 대하여 시간 지각력, 장소 지각력, 기억 등록 및 기억 회상, 주의 집중 능력, 언어 능력 및 이해 판단 능력을 평가하여 상기 사용자의 인지 능력 및 치매여부를 판단 할 수 있다.
일 실시예에서, 치매 인지능력 판단부(240)는 사용자 단말(100)로부터 테스트 컨텐츠에 대한 사용자 음성 답변을 제공받으면, 사용자 음성 답변을 텍스트로 변환하고 변환된 텍스트를 이용하여 사용자에 대한 인지 능력 및 치매여부를 판단할 수 있다.
다른 일 실시예에서, 치매 인지능력 판단부(240)는 사용자 음성 답변을 변환시킨 텍스트에 대하여 텍스트 분석을 기반으로 하는 제1 판단모델을 적용하고, 사용자 음성 답변 자체에 대하여 음성 분석을 기반으로 하는 제2 판단모델을 적용하여, 사용자에 대한 인지 능력 및 치매여부를 판단할 수 있다.
이러한 치매 인지능력 판단부(240)에 대해서는 도 5 내지 도 7을 참조하여 이하에서 보다 상세히 설명한다.
데이터베이스(250)는 서비스 제공 서버(200)의 운용을 위한 각종 데이터를 저장할 수 있다. 예컨대, 데이터 베이스(250)는 사용자에게 제공되는 테스트 컨텐츠, 사용자의 음성 답변, 사용자에 대한 치매 인지능력 판단 데이터 등이 저장될 수 있다.
도 4는 도 3에 도시된 서비스 제공 서버의 테스트 컨텐츠 제공부의 일 실시예를 설명하는 블록 구성도이다.
도 4를 참조하면, 테스트 컨텐츠 제공부(220)는 단말 통신부(221), 테스트 컨텐츠 관리부(222) 및 텍스트-음성 변환부(223)를 포함 할 수 있다.
단말 통신부(221)는 사용자 단말과 통신을 형성할 수 있다. 단말 통신부(221)는 형성된 통신을 통하여 테스트 컨텐츠를 제공할 수 있다.
테스트 컨텐츠 관리부(222)는 인지 능력 및 치매여부를 판단하기 위한 텍스트 기반의 테스트 컨텐츠를 관리할 수 있다.
일 실시예에서, 테스트 컨텐츠는 텍스트 분석을 기반으로 하는 제1 판단모델을 위한 제1 테스트 컨텐츠와, 음성 분석을 기반으로 하는 제2 판단모델을 위한 제2 테스트 컨텐츠를 포함할 수 있다.
텍스트-음성 변환부(223)는 텍스트 기반의 테스트 컨텐츠를 음성 형식으로 변환하여 대화형의 테스트 컨텐츠를 생성할 수 있다.
일 실시예로서, 서비스 제공 서버(200)는 사용자 음성 답변을 변환시킨 텍스트에 대하여 텍스트 분석을 기반으로 하는 제1 판단모델을 적용하고, 사용자 음성 답변 자체에 대하여 음성 분석을 기반으로 하는 제2 판단모델을 적용하여, 사용자에 대한 인지 능력 및 치매여부를 판단할 수 있다.
이러한 실시예에 대하여 도 5 내지 도 7을 참조하여 이하에서 보다 상세히 설명한다.
도 5는 도 3에 도시된 서비스 제공 서버의 치매 인지능력 판단부의 일 실시예를 설명하는 블록 구성도이다.
도 5를 참조하면, 치매 인지능력 판단부(240)는 제1 판단모델(241) 및 제2 판단모델(242)를 포함할 수 있다.
제1 판단모델(241)은 사용자 음성 답변을 텍스트로 변환시킨 후, 변환된 텍스트에 대하여 텍스트 분석을 기반으로 인지능력을 판단할 수 있다.
제2 판단모델(242)은 사용자 음성 답변 자체에 대하여 음성 분석을 기반으로 사용자의 기분 및 우울도를 판단할 수 있다.
일 실시예에서, 치매 인지능력 판단부(240)는 제1 판단모델(241)에서 판단한 인지능력을 기초로 사용자의 인지능력 및 치매 정도를 판단할 수 있다.
다른 일 실시예에서, 치매 인지능력 판단부(240)는 제1 판단모델(241)에서 판단한 인지능력과 제2 판단모델(242)에서 판단한 기분 및 우울도를 종합적으로 판단하여, 사용자의 인지능력 및 치매 정도를 판단할 수 있다.
도 6은 도 5에 도시된 치매 인지능력 판단부의 제1 판단모델을 설명하는 도면이다.
제1 판단모델(241)은 사용자 음성 답변을 변환한 텍스트를 기반으로 판단한다. 즉, 제1 판단모델(241)은 질문에 대한 응답의 내용을 평가한다.
제1 판단모델(241)은 사용자의 시간 지각력, 장소 지각력, 기억 등록 및 기억회상, 주의 집중 능력, 언어 능력 및 이해 판단 능력을 평가할 수 있다.
시간 지각력에 대한 테스트 컨텐츠는 특정일(테스트일, 생일, 기념일 등)에 대한 날짜, 오늘의 요일, 오늘이 속하는 계절 등을 묻는 시간 지각력에 대한 질문으로 구성되며, 그에 대한 사용자의 답변의 정확도를 근거로 제1 판단모델(241)은 사용자의 시간 지각력을 판단한다.
장소 지각력에 대한 테스트 컨텐츠는 사용자의 주소, 특정 장소(고향 등)에 대한 주소를 묻는 등, 장소 지각력에 대한 질문으로 구성되며, 그에 대한 사용자의 답변의 정확도를 근거로 제1 판단모델(241)은 사용자의 장소 지각력을 판단한다.
기억 등록은 사용자에게 임의의 물건 3가지를 말하게 하는 것으로, 이를 해당 사용자에 대한 기억등록 데이터로서 저장한다. 이후, 일정 시간 후, 또는 다음의 테스트 시 기억 등록한 물건에 대하여 질의를 수행하여 제1 판단모델(241)은 기억 회상을 수행할 수 있다.
주의 집중 능력은 사용자에게 특정 단어를 알려주고, 해당 단어를 거꾸로 읽는 능력을 평가하는 것으로서, 예를 들어, 사용자에게 '삼천리강산'이라는 제시어를 주고, 해당 제시어를 거꾸로 읽도록 요청한다. 제1 판단모델(241)은 사용자의 답변의 정확도를 기초로 사용자의 주의 집중 능력을 판단한다.
언어 능력에 대한 테스트 컨텐츠는, 사용자의 이름을 말하도록 하거나 특정 문장을 따라 말하도록 하는 등 언어 능력에 대한 질문으로 구성되며, 그에 대한 사용자의 답변의 정확도를 근거로 제1 판단모델(241)은 사용자의 언어 능력을 판단한다.
이해 판단 능력은 사용자에게 소정의 질문을 제공하고, 제1 판단모델(241)은 그에 대한 사용자의 질문에 대한 이해도, 질문의 답변을 통한 사용자의 판단력을 판단하여 사용자의 이해 판단 능력을 판단할 수 있다.
이러한 제1 판단모델(241)을 통하여 사용자의 인지정도, 기억력, 언어능력, 주의능력 등을 판단할 수 있으며, 제1 판단모델(241)을 통하여 판단된 내용을 기초로 사용자의 인지능력 및 치매 정도를 판단할 수 있다.
도 7은 도 5에 도시된 치매 인지능력 판단부의 제2 판단모델을 설명하는 도면이다.
제2 판단모델(242)은 사용자의 음성 답변을 직접 분석하여 사용자의 기분, 우울도 등의 감성요소를 판단하는 모델이다.
제2 판단모델(242)은 노이즈 처리부(710), 음도 분석부(720), 말속도 분석부(730) 및 데이터베이스부(740)를 포함할 수 있다.
노이즈 처리부(710)는 사용자 음성 답변에서 사용자 음성 외의 소리에 대해서는 노이즈 처리를 수행한다(S1010).
음도 분석부(720)는 노이즈 처리부(710)에 의하여 노이즈 처리된 사용자 음성 답변에 대하여 대한 음도(pitch)를 분석한다. 우울증 환자의 경우, 통상인 보다 낮은 음도로 말하게 된다. 즉, 우울증 정도는 음도와 부적상관관계를 가지므로, 음도 분석부(720)는 사용자의 연령, 성별 및 지역 등을 기준으로 설정된 표준 음도와 사용자의 음도를 비교 분석하여, 사용자의 음도와 표준 음도 간의 차이에 부적상관관계를 적용하여 우울증 정도를 도출해낼 수 있다.
말속도 분석부(730)는 노이즈 처리부(710)에 의하여 노이즈 처리된 사용자 음성 답변에 대하여 말 속도를 분석한다. 우울증 환자의 경우, 통상인 보다 말 속도가 낮은 특징을 가진다. 즉, 우울증 정도는 말속도에 대해서도 부적상관관계를 가지므로, 말속도 분석부(730)는 사용자의 연령, 성별 및 지역 등을 기준으로 설정된 표준 말속도와 사용자의 말속도를 비교 분석하여, 사용자의 말속도와 표준 말속도 간의 차이에 부적상관관계를 적용하여 우울증 정도를 도출해낼 수 있다.
데이터베이스부(740)는 제2 판단모델(242)의 운용을 위한 각종 데이터를 저장할 수 있다. 예컨대, 데이터 베이스(250)는 노이즈 필터링에 대한 데이터, 연령, 성별 및 지역 등을 기준으로 설정된 표준 음도에 대한 데이터, 연령, 성별 및 지역 등을 기준으로 설정된 표준 말속도에 대한 데이터를 포함할 수 있다.
도 8은 본 발명의 다른 일 실시예에 따른 서비스 제공 서버를 설명하는 블록 구성도이다.
도 8을 참조하면, 서비스 제공 서버(200)는 단말 연동부(210), 테스트 컨텐츠 제공부(220), 음성-텍스트 변환부(230), 치매 인지능력 판단부(240), 데이터베이스(250) 및 사용자 유형 모델링부(260)를 포함할 수 있다.
단말 연동부(210) 내지 데이터베이스(250)에 대한 설명은 도 3 내지 도 7을 참조하여 상술한 바로부터 이해 가능하므로, 여기에서는 그 설명을 생략한다.
사용자 유형 모델링부(260)는 치매 인지능력 판단부(240)에서 수행된 치매 인지능력 판단에 대한 빅데이터를 이용하여 사용자를 유형화하여 사용자 유형 모델을 생성하고, 사용자 유형 모델을 기반으로 새로운 사용자에 대한 사용자 유형을 설정할 수 있다.
일 예로, 사용자 유형 모델링부(260)는 기억력 등 인지기능이 줄지만 일상생활에 지장이 없는 경우에는 경도인지장애 유형으로 구분하고, 치매의 단계에 따라 경도 치매 유형, 중증도 치매 유형, 고도 치매 유형 등으로 구분 가능하다. 또한, 인지능력과 치매에 이르지 않았더라도, 사용자의 우울도에 따라 경도 우울증 유형, 중등도 우울증 유형, 심도 우울증 유형 등으로 구분 가능하다.
사용자 유형 모델링부(260)는 각 사용자 유형에 대하여 인지능력 강화 및 치매 예방을 위한 훈련 프로그램을 개별적으로 설정하고, 새로운 사용자가 특정 사용자 유형으로 판단되면 사용자에게 해당 사용자 유형에 설정된 인지능력 강화 및 치매 예방을 위한 훈련 프로그램을 제공할 수 있다.
이상에서는 도 1 내지 도 8을 참조하여, 본 발명의 일 실시예에 따른 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템에 대하여 설명하였다.
이하에서는, 도 9를 참조하여, 본 발명의 일 실시예에 따른 음성 대화 분석을 이용한 치매 및 인지 능력 판단 방법에 대하여 설명한다. 이하에서 설명할 음성 대화 분석을 이용한 치매 및 인지 능력 판단 방법은 기 설명한 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템을 기초로 수행되므로, 도 1 내지 도 8을 기초로 상술한 설명을 참조하면 보다 쉽게 이해할 수 있다.
도 9는 본 발명의 일 실시예에 따른 음성 대화 분석을 이용한 치매 및 인지 능력 판단 방법을 설명하는 순서도이다.
도 9를 참조하면, 음성 대화 분석을 이용한 치매 및 인지 능력 판단 방법으로, 사용자 단말(100)을 이용하여, 사용자에게 테스트 컨텐츠를 기반으로 하는 테스트 인터페이스를 제공할 수 있다(S810).
그 후, 사용자 단말(100)을 이용하여, 테스트 인터페이스를 통하여 획득된 사용자 음성 답변을 저장 할 수 있다(S820).
그 후, 서비스 제공 서버(200)를 이용하여, 사용자 음성 답변을 텍스트로 변환하고, 변환된 텍스트를 이용하여 사용자에 대한 인지 능력 및 치매 여부를 판단할 수 있다(S830).
일 실시예에서, 테스트 컨텐츠는 음성으로 구현된 인지 능력 및 치매여부를 판단하기 위한 컨텐츠이고, 테스트 인터페이스를 제공하는 단계 S810은, 음성으로 구현된 테스트 컨텐츠를 상기 사용자에게 대화형으로 제공하는 단계를 포함 할 수 있다.
일 실시예에서, 상기 인지 능력 및 치매 여부를 판단하는 단계 S830은, 사용자의 시간 지각력을 평가하는 단계, 사용자의 장소 지각력을 평가하는 단계, 사용자에 대하여 기억 등록을 수행하는 단계, 사용자에게 기억 등록된 내용에 대하여 질의하여 기억회상 능력을 평가하는 단계, 사용자의 주의 집중 능력을 평가하는 단계, 사용자의 언어 능력을 평가하는 단계 및 상기 사용자의 이해 판단 능력을 평가하는 단계를 포함 할 수 있다.
일 실시예에서, 음성 대화 분석을 이용한 치매 및 인지 능력 판단 방법은, 치매 인지능력 판단에 대한 빅데이터를 이용하여 사용자를 유형화하여 사용자 유형 모델을 생성하고, 각 사용자 유형에 대하여 인지능력 강화 및 치매 예방을 위한 훈련 프로그램을 개별적으로 설정하여 사용자에게 제공하는 단계를 더 포함할 수 있다.
도 10은 도 9에 도시된 단계 S830에 대한 일 실시예를 설명하는 순서도이다.
도 10을 참조하면, 서비스 제공 서버(200)는, 사용자 음성 답변을 텍스트로 변환하고(S910), 텍스트로 변환된 사용자 답변에 대하여 제1 판단모델을 적용할 수 있다(S920).
또한, 서비스 제공 서버(200)는 사용자 음성 답변 자체에 대하여 제2 판단 모델을 적용할 수 있다(S930).
여기에서, 제1 판단모델 및 제2 판단모델에 대한 설명은 도 5 내지 도 7을 참조하여 상술한 바로 갈음한다.
도 11은 도 10에 도시된 단계 S930에 대한 일 실시예를 설명하는 순서도이다.
도 11을 참조하면, 서비스 제공 서버(200)는, 사용자 음성 외의 소리에 대해서는 노이즈 처리를 수행한다(S1010).
서비스 제공 서버(200)는, 사용자 음성에 대한 음도를 분석하고(S1020), 사용자 음성에 대한 말 속도를 분석할 수 있다(S1030).
서비스 제공 서버(200)는 분석된 내용을 기초로 빅 데이터를 활용하여 사용자의 우울도를 분석할 수 있다(1040).
이와 관련된 구체적인 설명은, 도 7을 참조하여 상술한 바로 갈음한다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.
10 : 사용자
100 : 사용자 단말 200 : 서비스 제공 서버
300 : 외부기관 서버
110 : 음성 입력부 120 : 사용자 인터페이스부
130 : 서버 연동부 140 : 메모리
150 : 제어부
210 : 단말 연동부 220 : 테스트 컨텐츠 제공부
230 : 음성-텍스트 변환부 240 : 치매 인지능력 판단부
250 : 데이터베이스부 260 : 사용자 유형 모델링부
221 : 단말 통신부 222 : 테스트 컨텐츠 관리부
223 : 텍스트-음성 변환부
241 : 제1 판단모델 242 : 제2 판단모델

Claims (12)

  1. 테스트 컨텐츠를 기반으로 사용자에게 테스트 인터페이스를 제공하고, 상기 테스트 인터페이스를 통하여 사용자 음성 답변을 획득하는 사용자 단말; 및
    상기 사용자 단말에 치매 및 인지 능력 판단을 위한 상기 테스트 컨텐츠를 제공하고, 상기 사용자 단말이 제공한 상기 사용자 음성 답변을 텍스트로 변환하고 변환된 텍스트를 이용하여 상기 사용자에 대한 인지 능력 및 치매여부를 판단하는 서비스 제공 서버를 포함하고,
    상기 서비스 제공 서버는
    상기 사용자 단말과 연동하여, 상기 사용자 단말로부터 상기 사용자 음성 답변을 제공받아 저장하는 단말 연동부;
    저장된 사용자 음성 답변을 클라우드 기반 음성-텍스트 변환 플랫폼을 이용하여 텍스트로 변환하는 음성-텍스트 변환부; 및
    텍스트로 변환된 사용자 답변에 대하여 빅 데이터 분석을 기반으로 사용자의 인지 능력 및 치매여부를 판단하는 치매 인지능력 판단부를 포함하고,
    상기 치매 인지능력 판단부는
    상기 사용자에 대하여 시간 지각력, 장소 지각력, 기억 등록 및 기억 회상, 주의 집중 능력, 언어 능력 및 이해 판단 능력을 평가하여 상기 사용자의 인지 능력 및 치매여부를 판단하는 제1 판단모델; 및
    사용자의 음성 답변을 직접 분석하여 사용자의 기분 및 우울도의 감성요소를 판단하는 제2 판단모델을 포함하고,
    상기 제1 판단모델은,
    특정일에 대한 날짜, 오늘의 요일, 오늘이 속하는 계절 중 적어도 하나를 묻는 시간 지각력에 대한 질문으로 구성되며, 해당 질문에 대한 사용자의 답변의 정확도를 근거로 상기 시간 지각력을 판단하고,
    사용자의 주소, 특정 장소 중 적어도 하나를 묻는 장소 지각력에 대한 질문으로 구성되며, 해당 질문에 대한 사용자의 답변의 정확도를 근거로 장소 지각력을 판단하고,
    사용자가 임의의 물건 3가지를 말하게 하고, 이를 사용자에 대한 기억등록 데이터로서 저장하고, 일정 시간이 지나거나 다음의 테스트 시 기억 등록 데이터로서 저장한 물건에 대한 질의를 하여 기억 등록 및 기억 회상을 수행하고,
    사용자에게 특정 단어를 알려주고, 해당 단어를 거꾸로 읽는 능력을 평가하는 것으로서, 사용자의 답변의 정확도를 기초로 사용자의 주의 집중 능력을 판단하고,
    사용자의 이름을 말하도록 하거나 특정 문장을 따라 말하도록 하는 언어 능력에 대한 질문으로 구성되며, 해당 질문에 대한 사용자의 답변의 정확도를 근거로 사용자의 언어 능력을 판단하고,
    상기 제2 판단모델은,
    사용자 음성 답변에서 사용자 음성 외의 소리에 대한 노이즈 제거 처리하는 노이즈 처리부;
    상기 노이즈 처리부를 통해 노이즈 제거 처리된 사용자 음성 답변에 대한 음도(pitch)를 분석하는 음도 분석부;
    상기 노이즈 처리부에 의하여 노이즈 제거 처리된 사용자 음성 답변에 대하여 말 속도를 분석하는 말속도 분석부;
    상기 제2 판단모델의 운용을 위한 노이즈 필터링에 대한 데이터, 연령, 성별 및 지역 중 적어도 하나를 기준으로 설정된 표준 음도, 및 표준 말속도에 대한 데이터를 저장하는 데이터베이스부를 포함하는 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템.
  2. 제1항에 있어서, 상기 사용자 단말은
    상기 사용자 음성 답변을 입력받아 저장하는 음성 입력부;
    상기 사용자에게 상기 테스트 컨텐츠를 제공하는 사용자 인터페이스부;
    상기 서비스 제공 서버와 연동하여 상기 서비스 제공 서버에 대한 통신 연결을 수행하는 서버 연동부; 및
    상기 사용자 인터페이스부를 제어하여 상기 테스트 컨텐츠의 각 항목을 상기 사용자에게 제공하고, 상기 테스트 컨텐츠의 각 항목에 대한 상기 사용자의 음성 답변을 상기 서비스 제공 서버에 제공하도록 상기 서버 연동부를 제어하는 제어부;
    를 포함하는 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템.
  3. 제2항에 있어서, 상기 테스트 컨텐츠는
    음성으로 구현된 인지 능력 및 치매여부를 판단하기 위한 컨텐츠이고,
    상기 사용자 인터페이스부는
    상기 음성 입력부와 연동하여 상기 사용자와의 대화형으로 상기 테스트 컨텐츠를 상기 사용자에게 제공하는 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템.
  4. 삭제
  5. 제1항에 있어서, 상기 서비스 제공 서버는
    인지 능력 및 치매여부를 판단하기 위한 상기 테스트 컨텐츠를 관리하고, 상기 테스트 컨텐츠를 상기 사용자 단말에 제공하는 테스트 컨텐츠 제공부;
    를 더 포함하는 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템.
  6. 제5항에 있어서, 상기 테스트 컨텐츠 제공부는
    상기 사용자 단말과 통신을 형성하는 단말 통신부;
    인지 능력 및 치매여부를 판단하기 위한 텍스트 기반의 테스트 컨텐츠를 관리하는 테스트 컨텐츠 관리부; 및
    상기 텍스트 기반의 테스트 컨텐츠를 음성 형식으로 변환하여 대화형의 테스트 컨텐츠를 생성하는 텍스트-음성 변환부;
    를 포함하는 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템.
  7. 삭제
  8. 제1항에 있어서, 상기 서비스 제공 서버는
    상기 치매 인지능력 판단부에서 수행된 치매 인지능력 판단에 대한 빅데이터를 이용하여 사용자를 유형화하여 사용자 유형 모델을 생성하고, 각 사용자 유형에 대하여 인지능력 강화 및 치매 예방을 위한 훈련 프로그램을 개별적으로 설정하여 사용자에게 제공하는 사용자 유형 모델링부;
    를 더 포함하는 음성 대화 분석을 이용한 치매 및 인지 능력 판단 시스템.
  9. 사용자가 접근 가능한 사용자 단말 및 상기 사용자 단말과 연동하여 치매 및 인지 능력 판단을 제공하는 서비스 제공 서버를 이용한 치매 및 인지 능력 판단 방법으로서,
    상기 사용자 단말을 이용하여, 사용자에게 테스트 컨텐츠를 기반으로 하는 테스트 인터페이스를 제공하는 단계;
    상기 사용자 단말을 이용하여, 상기 테스트 인터페이스를 통하여 획득된 사용자 음성 답변을 저장하는 단계; 및
    상기 서비스 제공 서버를 이용하여, 상기 사용자 음성 답변을 텍스트로 변환하고, 변환된 텍스트를 이용하여 상기 사용자에 대한 인지 능력 및 치매 여부를 판단하는 단계를 포함하고,
    상기 테스트 컨텐츠는
    음성으로 구현된 인지 능력 및 치매여부를 판단하기 위한 컨텐츠이고,
    상기 테스트 인터페이스를 제공하는 단계는
    음성으로 구현된 상기 테스트 컨텐츠를 상기 사용자에게 대화형으로 제공하는 단계를 포함하고,
    상기 인지 능력 및 치매 여부를 판단하는 단계는
    상기 사용자의 시간 지각력을 평가하는 단계;
    상기 사용자의 장소 지각력을 평가하는 단계;
    상기 사용자에 대하여 기억 등록을 수행하는 단계;
    상기 사용자에게 기억 등록된 내용에 대하여 질의하여 기억회상 능력을 평가하는 단계;
    상기 사용자의 주의 집중 능력을 평가하는 단계;
    상기 사용자의 언어 능력을 평가하는 단계; 및
    상기 사용자의 이해 판단 능력을 평가하는 단계를 포함하고,
    상기 인지 능력 및 치매 여부를 판단하는 단계에서는,
    상기 사용자에 대하여 시간 지각력, 장소 지각력, 기억 등록 및 기억 회상, 주의 집중 능력, 언어 능력 및 이해 판단 능력을 평가하여 상기 사용자의 인지 능력 및 치매여부를 판단하는 제1 판단모델, 및 사용자의 음성 답변을 직접 분석하여 사용자의 기분 및 우울도의 감성요소를 판단하는 제2 판단모델을 이용하여 인지 능력 및 치매 여부를 판단하고,
    상기 제1 판단모델은,
    특정일에 대한 날짜, 오늘의 요일, 오늘이 속하는 계절 중 적어도 하나를 묻는 시간 지각력에 대한 질문으로 구성되며, 해당 질문에 대한 사용자의 답변의 정확도를 근거로 상기 시간 지각력을 판단하고,
    사용자의 주소, 특정 장소 중 적어도 하나를 묻는 장소 지각력에 대한 질문으로 구성되며, 해당 질문에 대한 사용자의 답변의 정확도를 근거로 장소 지각력을 판단하고,
    사용자가 임의의 물건 3가지를 말하게 하고, 이를 사용자에 대한 기억등록 데이터로서 저장하고, 일정 시간이 지나거나 다음의 테스트 시 기억 등록 데이터로서 저장한 물건에 대한 질의를 하여 기억 등록 및 기억 회상을 수행하고,
    사용자에게 특정 단어를 알려주고, 해당 단어를 거꾸로 읽는 능력을 평가하는 것으로서, 사용자의 답변의 정확도를 기초로 사용자의 주의 집중 능력을 판단하고,
    사용자의 이름을 말하도록 하거나 특정 문장을 따라 말하도록 하는 언어 능력에 대한 질문으로 구성되며, 해당 질문에 대한 사용자의 답변의 정확도를 근거로 사용자의 언어 능력을 판단하고,
    상기 제2 판단모델은,
    사용자 음성 답변에서 사용자 음성 외의 소리에 대한 노이즈 제거 처리하는 노이즈 처리부;
    상기 노이즈 처리부를 통해 노이즈 제거 처리된 사용자 음성 답변에 대한 음도(pitch)를 분석하는 음도 분석부;
    상기 노이즈 처리부에 의하여 노이즈 제거 처리된 사용자 음성 답변에 대하여 말 속도를 분석하는 말속도 분석부;
    상기 제2 판단모델의 운용을 위한 노이즈 필터링에 대한 데이터, 연령, 성별 및 지역 중 적어도 하나를 기준으로 설정된 표준 음도, 및 표준 말속도에 대한 데이터를 저장하는 데이터베이스부를 포함하는 음성 대화 분석을 이용한 치매 및 인지 능력 판단 방법.
  10. 삭제
  11. 삭제
  12. 제9항에 있어서, 상기 음성 대화 분석을 이용한 치매 및 인지 능력 판단 방법은,
    치매 인지능력 판단에 대한 빅데이터를 이용하여 사용자를 유형화하여 사용자 유형 모델을 생성하고, 각 사용자 유형에 대하여 인지능력 강화 및 치매 예방을 위한 훈련 프로그램을 개별적으로 설정하여 사용자에게 제공하는 단계;
    를 더 포함하는 음성 대화 분석을 이용한 치매 및 인지 능력 판단 방법.
KR1020200096150A 2020-07-31 2020-07-31 음성 대화 분석을 기반으로 하는 치매 및 인지 능력 판단 시스템 및 방법 KR102237539B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200096150A KR102237539B1 (ko) 2020-07-31 2020-07-31 음성 대화 분석을 기반으로 하는 치매 및 인지 능력 판단 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200096150A KR102237539B1 (ko) 2020-07-31 2020-07-31 음성 대화 분석을 기반으로 하는 치매 및 인지 능력 판단 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102237539B1 true KR102237539B1 (ko) 2021-04-07

Family

ID=75469229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200096150A KR102237539B1 (ko) 2020-07-31 2020-07-31 음성 대화 분석을 기반으로 하는 치매 및 인지 능력 판단 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102237539B1 (ko)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098639A (zh) * 2021-11-16 2022-03-01 上海德律风置业有限公司 一种基于ai算法的老人认知等级评测方法
KR102376538B1 (ko) * 2021-08-09 2022-03-21 주식회사 이모코그 스토리 기반 문답식 평가를 이용한 치매 진단 시스템
KR102376539B1 (ko) * 2021-08-09 2022-03-21 주식회사 이모코그 스토리 기반 문답식 평가를 이용한 치매 진단 방법
KR102376540B1 (ko) * 2021-08-09 2022-03-22 주식회사 이모코그 스토리 기반 음성 추출을 이용한 치매 진단 시스템
KR102376541B1 (ko) * 2021-08-09 2022-03-22 주식회사 이모코그 스토리 기반 음성 추출을 이용한 치매 진단 방법
KR102376543B1 (ko) * 2021-08-09 2022-03-22 주식회사 이모코그 통신수단을 이용한 치매 진단 방법
KR102376542B1 (ko) * 2021-08-09 2022-03-22 주식회사 이모코그 통신수단을 이용한 치매 진단 시스템
KR102380376B1 (ko) * 2021-12-08 2022-04-01 주식회사 세븐포인트원 인공지능 콜을 이용한 음성 질의응답 기반의 치매 검사 방법 및 서버
KR102438777B1 (ko) * 2021-08-09 2022-09-02 주식회사 이모코그 스토리 기반 문답식 평가를 이용한 치매 진단 시스템
KR102438778B1 (ko) * 2021-08-09 2022-09-02 주식회사 이모코그 스토리 기반 문답식 평가를 이용한 치매 진단 방법
US11432761B1 (en) 2021-12-08 2022-09-06 Sevenpointone Inc. Method and server for dementia test based on voice question and answer using artificial intelligence call
KR102441611B1 (ko) * 2021-08-09 2022-09-08 주식회사 이모코그 이미지 기반 치매 진단 시스템
KR20220148365A (ko) * 2021-04-28 2022-11-07 동국대학교 산학협력단 단어 망실 감지를 통한 언어 치유 시스템 및 방법
WO2023018159A1 (ko) * 2021-08-09 2023-02-16 주식회사 이모코그 이미지 기반 치매 진단 시스템 및 방법
WO2023018161A1 (ko) * 2021-08-09 2023-02-16 주식회사 이모코그 스토리 기반 문답식 평가 및 스토리 기반 음성 추출을 통한 치매 진단 방법 및 시스템
KR20230100439A (ko) 2021-12-28 2023-07-05 동의과학대학교산학협력단 치매 스크리닝 디퓨저 장치
KR20230100830A (ko) 2021-12-28 2023-07-06 주식회사 에이아이노미스 치매 조기 스크리닝용 디퓨저 시스템 및 방법
KR20230151197A (ko) 2022-04-25 2023-11-01 그래이스 정은 신 음성 데이터를 이용한 ai 기반의 질병 진단 방법 및 장치
KR102598187B1 (ko) * 2022-06-21 2023-11-03 주식회사 더와이컨설팅 빅데이터 기반 인공지능을 이용한 기업 임직원의 대화 능력 평가 및 개선 시스템
KR102621001B1 (ko) * 2022-08-09 2024-01-08 주식회사 이모코그 인지기능 유지 및 저하 개선을 위한 어플리케이션의 구현 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170059664A (ko) * 2015-11-23 2017-05-31 주식회사 이르테크 언어장애 자율 검사 시스템 및 방법
KR20180127775A (ko) * 2017-05-22 2018-11-30 동아대학교 산학협력단 클라우드 빅데이터 기반 지능형 스마트 케어 시스템
KR20190092810A (ko) 2018-01-31 2019-08-08 주식회사 휴마트컴퍼니 심리상담 데이터를 이용한 텍스트 내 감정 분석 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170059664A (ko) * 2015-11-23 2017-05-31 주식회사 이르테크 언어장애 자율 검사 시스템 및 방법
KR20180127775A (ko) * 2017-05-22 2018-11-30 동아대학교 산학협력단 클라우드 빅데이터 기반 지능형 스마트 케어 시스템
KR20190092810A (ko) 2018-01-31 2019-08-08 주식회사 휴마트컴퍼니 심리상담 데이터를 이용한 텍스트 내 감정 분석 시스템

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102559617B1 (ko) 2021-04-28 2023-07-25 동국대학교 산학협력단 단어 망실 감지를 통한 언어 치유 시스템 및 작동 방법
KR20220148365A (ko) * 2021-04-28 2022-11-07 동국대학교 산학협력단 단어 망실 감지를 통한 언어 치유 시스템 및 방법
KR102376542B1 (ko) * 2021-08-09 2022-03-22 주식회사 이모코그 통신수단을 이용한 치매 진단 시스템
KR102376540B1 (ko) * 2021-08-09 2022-03-22 주식회사 이모코그 스토리 기반 음성 추출을 이용한 치매 진단 시스템
KR102376541B1 (ko) * 2021-08-09 2022-03-22 주식회사 이모코그 스토리 기반 음성 추출을 이용한 치매 진단 방법
KR102376543B1 (ko) * 2021-08-09 2022-03-22 주식회사 이모코그 통신수단을 이용한 치매 진단 방법
WO2023018161A1 (ko) * 2021-08-09 2023-02-16 주식회사 이모코그 스토리 기반 문답식 평가 및 스토리 기반 음성 추출을 통한 치매 진단 방법 및 시스템
KR102376539B1 (ko) * 2021-08-09 2022-03-21 주식회사 이모코그 스토리 기반 문답식 평가를 이용한 치매 진단 방법
KR102438777B1 (ko) * 2021-08-09 2022-09-02 주식회사 이모코그 스토리 기반 문답식 평가를 이용한 치매 진단 시스템
KR102438778B1 (ko) * 2021-08-09 2022-09-02 주식회사 이모코그 스토리 기반 문답식 평가를 이용한 치매 진단 방법
KR102441611B1 (ko) * 2021-08-09 2022-09-08 주식회사 이모코그 이미지 기반 치매 진단 시스템
KR102376538B1 (ko) * 2021-08-09 2022-03-21 주식회사 이모코그 스토리 기반 문답식 평가를 이용한 치매 진단 시스템
WO2023018159A1 (ko) * 2021-08-09 2023-02-16 주식회사 이모코그 이미지 기반 치매 진단 시스템 및 방법
CN114098639A (zh) * 2021-11-16 2022-03-01 上海德律风置业有限公司 一种基于ai算法的老人认知等级评测方法
US11432761B1 (en) 2021-12-08 2022-09-06 Sevenpointone Inc. Method and server for dementia test based on voice question and answer using artificial intelligence call
WO2023106516A1 (ko) * 2021-12-08 2023-06-15 주식회사 세븐포인트원 인공지능 콜을 이용한 질의응답 기반의 치매 검사 방법 및 서버
KR102380376B1 (ko) * 2021-12-08 2022-04-01 주식회사 세븐포인트원 인공지능 콜을 이용한 음성 질의응답 기반의 치매 검사 방법 및 서버
KR20230100439A (ko) 2021-12-28 2023-07-05 동의과학대학교산학협력단 치매 스크리닝 디퓨저 장치
KR20230100830A (ko) 2021-12-28 2023-07-06 주식회사 에이아이노미스 치매 조기 스크리닝용 디퓨저 시스템 및 방법
KR20230151197A (ko) 2022-04-25 2023-11-01 그래이스 정은 신 음성 데이터를 이용한 ai 기반의 질병 진단 방법 및 장치
KR102598187B1 (ko) * 2022-06-21 2023-11-03 주식회사 더와이컨설팅 빅데이터 기반 인공지능을 이용한 기업 임직원의 대화 능력 평가 및 개선 시스템
KR102621001B1 (ko) * 2022-08-09 2024-01-08 주식회사 이모코그 인지기능 유지 및 저하 개선을 위한 어플리케이션의 구현 방법 및 장치
WO2024034737A1 (ko) * 2022-08-09 2024-02-15 주식회사 이모코그 인지기능 유지 및 저하 개선을 위한 어플리케이션의 구현 방법 및 장치

Similar Documents

Publication Publication Date Title
KR102237539B1 (ko) 음성 대화 분석을 기반으로 하는 치매 및 인지 능력 판단 시스템 및 방법
JP6263308B1 (ja) 認知症診断装置、認知症診断方法、及び認知症診断プログラム
US10885278B2 (en) Auto tele-interview solution
US10706873B2 (en) Real-time speaker state analytics platform
US10044864B2 (en) Computer-implemented system and method for assigning call agents to callers
US20190378494A1 (en) Method and apparatus for outputting information
CN108924218B (zh) 用于推送信息的方法和装置
WO2007072485A1 (en) System for indicating emotional attitudes through intonation analysis and methods thereof
CN107133709B (zh) 一种客户服务的质量检验方法、装置及系统
Bhattacharya et al. Quality of experience evaluation of voice communication: an affect-based approach
Lavan et al. Trait evaluations of faces and voices: Comparing within-and between-person variability.
JP2004037721A (ja) 音声応答システム、音声応答プログラム及びそのための記憶媒体
US9922644B2 (en) Analysis of professional-client interactions
Van Den Tillaart-Haverkate et al. The influence of noise reduction on speech intelligibility, response times to speech, and perceived listening effort in normal-hearing listeners
Xu et al. A voice-based automated system for PTSD screening and monitoring
CN116665845A (zh) 一种基于多模态数据用户情绪自测系统
US20210225364A1 (en) Method and system for speech effectiveness evaluation and enhancement
CN115312079A (zh) 信息展示方法、装置、电子设备和计算机可读介质
JP7040593B2 (ja) 接客支援装置、接客支援方法、及び、接客支援プログラム
JP7307507B2 (ja) 病態解析システム、病態解析装置、病態解析方法、及び病態解析プログラム
JP2007065291A (ja) 語学学習支援方法
JP2023534799A (ja) 会話ベースの精神障害選別方法及びその装置
US20220319516A1 (en) Conversation method, conversation system, conversation apparatus, and program
CN117041677A (zh) 基于机顶盒的视频问诊方法、装置、设备及介质
CN116758897A (zh) 方言语音指令的识别方法、装置及电子设备

Legal Events

Date Code Title Description
GRNT Written decision to grant