KR102463243B1 - 사용자 음성 분석 기반의 이명 상담 시스템 - Google Patents

사용자 음성 분석 기반의 이명 상담 시스템 Download PDF

Info

Publication number
KR102463243B1
KR102463243B1 KR1020200064251A KR20200064251A KR102463243B1 KR 102463243 B1 KR102463243 B1 KR 102463243B1 KR 1020200064251 A KR1020200064251 A KR 1020200064251A KR 20200064251 A KR20200064251 A KR 20200064251A KR 102463243 B1 KR102463243 B1 KR 102463243B1
Authority
KR
South Korea
Prior art keywords
user
tinnitus
question
response
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200064251A
Other languages
English (en)
Other versions
KR20210147277A (ko
Inventor
진인기
유제은
최순제
구민승
Original Assignee
한림대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한림대학교 산학협력단 filed Critical 한림대학교 산학협력단
Priority to KR1020200064251A priority Critical patent/KR102463243B1/ko
Publication of KR20210147277A publication Critical patent/KR20210147277A/ko
Application granted granted Critical
Publication of KR102463243B1 publication Critical patent/KR102463243B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/12—Audiometering
    • A61B5/128—Audiometering evaluating tinnitus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/083—Recognition networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G16H10/65—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records stored on portable record carriers, e.g. on smartcards, RFID tags or CD
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Veterinary Medicine (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biophysics (AREA)
  • Psychology (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Otolaryngology (AREA)
  • Vascular Medicine (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 발명의 실시 예에 따른 이명 상담 시스템은 서버, 사용자 기기, 상담자 기기를 포함하여 구성되며, 상기 서버는 이명 상담을 위해 상기 사용자 기기에 질문 콘텐츠를 제공하고, 제공된 질문 콘텐츠에 대한 사용자의 응답 내용을 녹음하도록 명령하며, 녹음된 응답 내용을 분석하여 사용자의 이명 특성을 판단하며, 판단된 사용자 이명 특성에 대응하는 설명 자료를 검색하여 상기 사용자 기기에 제공하고, 상기 사용자 기기는 상기 서버로부터 이명 상담을 위한 질문 콘텐츠 및 사용자의 응답 내용과 관련된 설명 자료를 수신하여 재생하고, 상기 상담자 기기는 사용자 기기에 제공할 질문 콘텐츠 및 설명 자료를 촬영하여 업로드할 수 있다.

Description

사용자 음성 분석 기반의 이명 상담 시스템{Tinnitus counseling system based on user voice analysis}
본 발명은 사용자 음성 분석을 기반으로 한 이명 상담 시스템에 관한 것이다.
일반적으로 이명에 대한 치료는 약물치료 등의 의학적 처치보다는 재활요법, 심리치료 등을 통하여 무감각해지도록 하거나, 벽에 걸린 시계 소리처럼 환자의 일상생활에 방해되지 않는 수준의 일반적인 소리처럼 느끼게 하는 요법이 사용되고 있다.
특히, 이명을 치료하기 위하여 수행되는 상담은 이명에 대한 불안감을 줄이고, 심리적인 안정을 제공할 수 있다.
예를 들어, 이명이 정신병, 치매 등 상대적으로 심각한 질병의 전조증상이라고 오해하는 환자의 경우, 상담을 통하여 이명은 귀로 소리만 들리는 증상일 뿐 다른 질병의 전조증상이 아니라는 상담을 전문가로부터 듣게 되었을 때, 환자는 심리적인 안정감을 찾을 수 있다.
이처럼 이명 환자에게 있어 상담 치료는 그 효과와 이점이 크나 온라인을 통해서는 오프라인에서와 같은 구체적인 상담을 받기는 어려운 실정이다. 온라인의 경우 이명을 전문으로 상담하기 위한 프로그램이 많지 않을 뿐만 아니라, 주로 객관식 문항 체크 등을 통해 사용자 응답이 수행되므로, 사용자가 궁금해하는 내용이나 사용자의 증상에 관한 정보가 상담자에게 제대로 전달되지 못하는 경우가 많다. 따라서 이와 같은 온라인 상담의 문제를 해결하기 위한 방안이 요구되는 바이다.
공개특허공보 제10-2016-0078329호, 2016.07.04.
본 발명은 온라인 상에서 이명 상담을 수행할 시 오프라인 상담에서와 같이 사용자의 발언을 통해 사용자의 증상 정보를 제공할 수 있도록 하며, 사용자는 자신의 모바일 기기를 통해 간편하게 자신의 이명 증상에 대응하는 설명 자료를 제공받을 수 있도록 하는 데 목적이 있다.
본 발명의 실시 예에 따른 이명 상담 시스템은 서버, 사용자 기기, 상담자 기기를 포함하여 구성되며, 상기 서버는 이명 상담을 위해 상기 사용자 기기에 질문 콘텐츠를 제공하고, 제공된 질문 콘텐츠에 대한 사용자의 응답 내용을 녹음하도록 명령하며, 녹음된 응답 내용을 분석하여 사용자의 이명 특성을 판단하며, 판단된 사용자 이명 특성에 대응하는 설명 자료를 검색하여 상기 사용자 기기에 제공하고, 상기 사용자 기기는 상기 서버로부터 이명 상담을 위한 질문 콘텐츠 및 사용자의 응답 내용과 관련된 설명 자료를 수신하여 재생하고, 상기 상담자 기기는 사용자 기기에 제공할 질문 콘텐츠 및 설명 자료를 촬영하여 업로드할 수 있다.
본 발명은 시간, 장소에 구애받지 않고 간편한 방법으로 온라인 이명 상담을 진행할 수 있도록 도울 수 있다.
본 발명은 사용자가 직접 음성으로 응답하는 내용을 기반으로 사용자의 이명 현상에 대하여 판단하고 그에 대응하는 상담 자료를 제공하므로, 사용자로 하여금 오프라인 상담을 수행하는 것과 같은 느낌을 갖게 할 수 있다.
본 발명은 사용자의 발언에 기반하여 사용자의 관심사, 구체적인 이명 증상에 관한 정보를 특정할 수 있으므로, 객관식 문항에 기반하여 사용자의 이명 상태를 측정하는 방법에 비해 사용자의 증상을 보다 정확하게 파악할 수 있도록 한다.
도 1은 본 발명의 실시 예에 따른 이명 상담 지원 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 서버의 구성에 대하여 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 질문 동작 제어부의 구성을 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 응답자료 분석부의 구성을 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 설명 자료 제공부의 구성을 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 사용자 기기의 구성을 도시한 도면이다.
도 7은 본 발명의 실시 예에 따른 이명 상담 동작의 순서를 도시한 순서도이다.
도 8은 본 발명의 실시 예에 따른 사용자 답변 획득 과정을 도시한 도면이다.
도 9는 본 발명의 실시 예에 따라 획득된 녹음 파일의 분석 동작에 대하여 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 이명 관련 설명 동영상이 재생되는 동작에 대하여 도시한 도면이다.
도 11은 본 발명의 실시 예에 따른 이명음 추정 동작에 대하여 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓일 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 이명 상담 지원 시스템의 구성을 도시한 도면이다.
도 1에서 도시되는 바와 같이 본 발명의 실시 예에 따른 이명 상담 지원 시스템은 이명 상담 어플리케이션의 동작을 지원하는 서버 100와, 이명 상담을 요청하고, 그에 대응하여 상기 서버 100로부터 이명 상담용 질문 콘텐츠 및 설명 자료를 제공받는 사용자 기기 200 그리고 전문 상담자로부터 질문 콘텐츠 및 이명 관련 설명 자료를 입력받고, 상기 서버 100에 상담자로부터 입력받은 설명 자료를 전송하는 상담자 기기 300를 포함하여 구성될 수 있다.
도 2는 본 발명의 실시 예에 따른 서버의 구성에 대하여 도시한 도면이다.
도 2에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 서버 100는 통신부 110, 저장부 120, 질문 동작 제어부 131, 응답 자료 분석부 132, 이명음 추정부 133, 설명 자료 제공부 134 및 치료 효과 평가부 135를 포함하여 구성될 수 있다.
상기 통신부 110는 사용자 기기와 서버 간의 데이터 송수신을 위해 네트워크를 이용할 수 있으며 상기 네트워크의 종류는 특별히 제한되지 않는다. 상기 네트워크는 예를 들어, 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스를 제공하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP) 망 일 수 있다. 또한, 상기 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동통신망, LTE advanced(LTE-A), 5G(Five Generation)를 포함하는 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나 이거나 또는 이들 중 적어도 하나 이상을 결합하여 이루어질 수 있다.
본 발명의 실시 예에 따른 상기 통신부 110는 사용자 기기 200 및 상담자 기기 300와 각종 어플리케이션을 통한 상담 관련 데이터 송수신을 수행할 수 있다.
상기 저장부는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), XD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치와 기능적으로 및/또는 물리적으로 연결될 수 있다.
본 발명의 실시 예에 따른 상기 저장부 120는 상담자 기기 300로부터 등록된 다양한 질문 자료 및 설명 자료(동영상)가 저장될 수 있다.
상기 질문 동작 제어부 131는 사용자에게 이명 관련 질문을 수행할 수 있다. 그리고 상기 질문 동작 제어부 131는 사용자에게 제공되는 이명 관련 질문에 관한 정보를 획득 및 가공할 수 있다.
구체적으로, 상기 질문 동작 제어부 131는 일 사용자(이명 환자)로부터 이명 관련 상담 요청 신호를 수신할 수 있다. 예를 들어, 사용자가 사용자 기기 200 상에서 상기 서버 100에서 지원하는 이명 상담 어플리케이션을 실행하고, 실행 화면 내에서 이명 상담 버튼을 선택하는 등의 동작을 수행함에 따라, 상기 사용자 기기 200에서 발생된 이명 상담 요청 신호가 서버 100 측으로 전달될 수 있다. 그리고 상기 사용자 기기 200로부터 전송된 상담 요청 신호를 확인한 서버 100의 질문 동작 제어부 131는 상기 상담 요청 신호에 대응하여 사용자에게 제공할 상담용 질문 정보를 불러오고, 불러온 질문 정보를 사용자 기기 200측에 전송할 수 있다.
다양한 실시 예에 따라, 상기 질문 동작 제어부 131는 다양한 방식으로 질문을 제공할 수 있다. 일 실시 예에 따라 상기 질문 동작 제어부 131는 동영상, 텍스트, 음성 등의 다양한 포맷으로 작성된 질문을 사용자에게 제공할 수 있다.
상기 질문 동작 제어부 131에 관한 보다 상세한 설명은 도 3을 참조하여 기술하기로 한다.
상기 응답 자료 분석부 132는 상기 질문 동작 제어부 131에 의해 이명 상담을 위해 제공된 질문에 대응하는 사용자의 응답 내용을 녹음하며, 녹음된 응답 내용을 분석하는 동작을 수행할 수 있다.
구체적으로, 상기 응답 자료 분석부 132는 응답 녹음 수행부 132a와 녹음 파일 분석부 132b를 포함할 수 있다. 상기 응답 자료 분석부 132는 제시된 질문에 따라 수행된 사용자의 응답 내용을 녹음하고, 녹음된 사용자의 응답 내용을 분석하는 동작을 수행할 수 있다.
상기 응답 자료 분석부 132에 대한 보다 상세한 설명은 도 4를 참조하여 기술하기로 한다.
상기 이명음 추정부 133는 사용자에게 들리는 이명음을 추정하기 위한 일련의 동작 과정을 수행할 수 있다.
일 실시 예에 따라 상기 이명음 추정부 133는 사용자가 느끼는 이명음의 특징을 파악하기 위해, 이명음과 가장 유사한 소리에 대한 정보를 입력하도록 사용자에게 요청할 수 있다. 예를 들어 상기 이명음 추정부 133는 도 11의 1120에서 도시되는 바와 같이, 제공되는 보기 항목 중에서 사용자가 겪는 이명음과 가장 유사한 소리를 선택하도록 사용자에게 요청할 수 있다.
도 11은 본 발명의 실시 예에 따른 이명음 추정 동작에 대하여 도시한 도면이다.
도 11의 1120에서 도시되는 바와 같이, 이명음 추정 동작 시 제공되는 보기 항목으로는 귀뚜라미 소리, 심장 소리, 휘파람 소리, 단순 고주파 소리, 버스 소리 등이 포함될 수 있다.
또한 상기 이명음 추정부 133는 도 11의 1110에서와 같이 사용자로부터 직접 이명음과 유사한 소리를 입력받을 수 있는데, 이를 위해 녹음 동작을 수행할 수 있다.
사용자가 자신의 이명음과 유사한 소리를 녹음하는 동작을 수행하거나, 또는 제공된 샘플 사운드 중 이명음과 유사한 소리에 해당하는 일 항목을 선택하면, 상기 이명음 추정부 133는 1130에서와 도시되는 바와 같이, 선택된 소리에 대한 조정 화면을 제공할 수 있다.
상기 1130에서는 사용자가 1120화면에서 휘파람 소리 항목을 선택함에 따라, 휘파람 소리에 대한 조정 화면이 표시되는 것을 도시하고 있다. 상기 조정 화면에서 조정 가능한 항목으로는 주파수, 볼륨이 포함될 수 있다. 1131에서 보여지는 바와 같이 선택된 샘플 사운드(휘파람 소리)에 대하여 주파수를 화살표 버튼을 통해 조정할 수 있으며, 1132에서 보여지는 바와 같이, 선택된 샘플 사운드의 볼륨 또한 화살표 버튼을 통해 조정할 수 있다.
나아가, 상기 이명음 추정부 133에서 제공하는 조정 화면은 사운드 추가 영역 1133을 포함할 수 있는데, '추가하기' 버튼을 통해 1120에서와 같이 제공되는 샘플 사운드를 다시 한 번 선택하여 해당 소리를 추가할 수 있다.
도면에 도시되지 않았지만, 상기 조정 화면을 통해서 사운드 추가 영역 1133을 통해 추가된 샘플 사운드의 반복 주기를 조정하거나, 상기 '추가하기' 버튼을 통해 추가된 샘플 사운드의 주파수 및 볼륨을 조정하는 동작도 수행될 수 있다.
상기 이명음 추정부 133는 이와 같이 사용자로부터 입력(녹음)되거나, 선택된 후 조정 과정을 거쳐 사운드를 해당 사용자의 이명음으로 특정할 수 있다. 상기 이명음 추정부 133는 이와 같은 과정을 거쳐 이명음을 특정하게 되면, 특정된 이명음을 차폐하는 데 효과적인 종류의 ASMR을 매칭하여 사용자에게 제공할 수 있다. 또는 상기 이명음 추정부 133는 사용자의 이명음이 특정되면, 특정된 이명음 파일을 온라인 상담 시 상담자 기기 300 측에 제공하여 이명 상담 치료에 참고하도록 지원할 수 있다.
상기 설명 자료 제공부 134는 사용자에게 질문한 이후, 해당 질문에 대한 응답을기반으로 사용자의 이명 특성을 판단하고, 사용자의 이명 특성에 대응하는 설명 자료(동영상)을 검색 및 제공할 수 있다.
일 실시 예에 따라 상기 설명 자료 제공부 134는 사용자의 응답에 따른 한 개 또는 다수의 설명 또는 상담 콘텐츠를 제공하고, 콘텐츠 재생이 종료되면 상담을 종료할 지 또는 계속 진행할지 여부를 대상자에게 질의할 수 있다. 사용자가 '종료'를 선택한 경우 해당 동작은 종료되며, '계속'을 선택하면 스텝 1부터 스텝 2를 거쳐 순차적으로 질문이 이어질 수 있다.
상기 설명 자료 제공부 134는 이명 특성 판단부 134a와 적합 자료 검색부 134b를 포함할 수 있다. 상기 설명자료 제공부 134에 대한 보다 상세한 설명은 도 5를 참조하여 기술하기로 한다.
상기 치료 효과 평가부 135는 사용자(이명 대상자)의 상담 회차별 응답 내용을 비교 분석하고, 이에 따라 사용자의 치료 효과를 평가하는 동작을 수행할 수 있다.
상기 치료 효과 평가부 135는 사용자의 대답에서 빈도 높게 언급되는 용어를 빅데이터화하여 분류할 수 있으며, 사용자의 관심사와 관련된 상담 자료 내지 설명 자료가 준비될 수 있도록 상담자 기기 300측에 요청할 수 있다.
상기 치료 효과 평가부 135는 사용자의 상담 회차별 응답 내용을 기반으로 사용자의 관심사 변화, 사용자의 이명 증상 완화 여부를 판단하고, 관심사 변화 또는 이명 증상 완화가 감지되면, 변화된 관심사 정보, 이명 증상 완화 정보를 기반으로 치료 효과 통계를 생성할 수 있다. 상기 치료 효과 평가부 135는 이명 증상 완화 또는 관심사가 변화된 사용자가 시청한 설명 자료를 확인하고 해당 자료에 대한 치료 효과 점수를 부여하여, 타인에게 추천할 설명 자료로써 우선순위를 갖도록 설정할 수 있다.
도 3은 본 발명의 실시 예에 따른 질문 동작 제어부의 구성을 도시한 도면이다.
도 3에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 질문 동작 제어부 131는 질문 관리부 131a 및 질문 수행부 131b를 포함하여 구성될 수 있다.
상기 질문 관리부 131a는 질문을 분류하고 가공하는 동작을 수행할 수 있다. 구체적으로, 상기 질문 관리부 131a는 상담자 기기 300로부터 획득되는 질문 콘텐츠(동영상, 텍스트, 음성)를 수집할 수 있다.
일 실시 예에 따라 상기 질문 관리부 131a는 상담자 기기 300로부터 전송된 질문 콘텐츠를 Q&A 형식으로 관리할 수 있다. 추후 사용자의 응답이 일 질문에 대한 답변으로 적절한지 여부를 판단하기 위해, 상기 질문 관리부 131a는 일 질문과, 해당 질문을 받은 사용자가 답변할 수 있는 예상 응답 내용을 포함하여 질문 콘텐츠를 Q&A 형식으로 관리할 수 있다. 즉, Q&A 항목 중 질문(Q)는 사용자 기기 200측에 제공하는 내용이고, 답변(A)은 사용자 기기 200측으로부터 입력될 내용에 대한 예시, 응답 내용별 부여 점수 등으로 구성될 수 있다.
다양한 실시 예에 따라 상기 질문 관리부 131a는 플로우 차트처럼 응답이 기준 조건을 만족하는 경우, 다음 차례에서 제시할 질문 항목에 대한 정보(질문 연결 정보)를 일 질문 콘텐츠 내에 포함되도록 관리할 수 있다.
상기 질문 관리부 131a는 일 질문이 상담자에 의해 서버에 등록될 때 상기 질문 연결 정보를 함께 등록하도록 요청할 수 있다. 상기 질문 연결 정보는 예를 들어, 일 질문이 사용자 기기에 제공된 이후 사용자 답변의 긍정 단계에 따른 점수가 0점인 경우(예, 부정), 2번 질문으로 이어지도록 하고, 긍정 단계에 따른 점수가 3점인 경우(예, 보통), 3번 질문으로 이어지도록 하며, 긍정 단계에 따른 점수가 5점 이상인 경우(예, 긍정) 4번 질문으로 이어지도록 하는 명령을 의미할 수 있다.
상기 질문 수행부 131b는 사용자에게 제시할 초기 질문을 다수의 질문 항목들 중에서 임의로 선택할 수 있다. 또는 상기 질문 수행부 131b는 사용자에게 제시할 초기 질문을 다수의 질문 항목들 중에서 사용자의 기본 정보(예, 나이, 성별, 기초 설문 조사 정보 등)에 기반하여 선택할 수 있다.
구체적으로, 상기 질문 수행부 131b는 사용자의 이명 상태를 진단하기 위해 사용자에게 다수의 질문 항목 중 일 질문 항목을 선택하여 제시할 수 있다. 이 때 질문을 사용자 기기 200측으로 제시하는 방법은 예컨대, 상담자가 질문하는 모습을 촬영한 동영상 파일을 전송하는 것일 수 있다.
또한 상기 질문 수행부 131b는 일 질문이 제공되어 사용자가 그에 대응하는 답변을 입력하면, 해당 답변 내용에 대응하여 이후 제시할 질문 항목을 선택할 수 있다. 상기 질문 수행부 131b는 예를 들어, 일 질문에 대한 사용자의 응답 결과값(예, 답변별 점수; 맞아요 10점, 잘 모르겠어요 5점, 아니에요 0점 등)에 대응하여 이후 제시할 질문을 선택할 수 있다.
또는 상기 질문 수행부 131b는 사용자의 응답에 대한 답변 정확도에 따라 이후 제시할 질문 항목을 선택할 수 있다. 예를 들어, 상기 질문 수행부 131b는 일 질문을 통해 일 주제(예, 이명 빈도)에 해당하는 사용자의 응답이 확인되었다고 판단한 경우, 이후 제시할 질문으로 다른 주제(예, 이명 발생 시점)에 해당하는 질문 항목을 선택할 수 있다. 반면, 일 주제에 해당하는 사용자의 응답이 충분히 확인되지 않았다고 판단(예, 사용자가 잘 모르겠다고 응답한 경우)되는 경우, 상기 질문 수행부 131b는 동일 범주의 다른 질문 항목을 선택하여 제시할 수 있다.
또는 상기 질문 수행부 131b는 다양한 실시 예에 따라 상담환경을 선택하고, 선택된 상담 환경에서 질문을 수행할 수 있다. 예를 들어, 질문 수행부 131b는 실제 상담자 촬영 동영상을 제공하는 실제 기반 상담환경과, 가상의 상담자 캐릭터 애니메이션에 기반하여 상담을 수행하는 가상캐릭터 기반 상담환경 중 하나를 선택하여 상담을 수행할 수 있다.
구체적으로, 상기 실제 기반 상담환경에서는 실제 상담자가 질문하는 모습을 촬영한 동영상이 사용자 기기 200에서 재생되도록 하는 방식으로 사용자에게 질문을 제공할 수 있다. 그리고 상기 실제 기반 상담환경에서는 사용자가 답변하는 동안 답변중인 사용자의 얼굴 또는 사용자의 답변 내용을 경청하는 듯한 상담자의 모션(예, 고개를 끄덕이는 동작 등)이 화면 상에서 재생될 수 있다.
또한 상기 가상캐릭터 기반 상담환경에서는 텍스트로 입력된 질문을 임의로 선택된 캐릭터가 말하는 듯한 동작이 재생될 수 있다. 마찬가지로 해당 질문에 대응하여 사용자가 답변하는 동안 사용자의 답변 내용을 경청하는 듯한 캐릭터의 모션이 화면 상에서 재생될 수 있다.
구체적으로, 상기 질문 수행부 131b는 사용자가 가상캐릭터 기반 상담환경을 선호하는 경우, 사용자에게 제공할 질문 항목을 기 준비된 텍스트 질문 리스트 중에서 선택할 수 있다. 해당 질문 리스트는 전문 상담자에 의해 Q&A 형식으로 기 입력된 상담용 자료로부터 추출될 수 있다. 그리고 선택된 텍스트 포맷의 질문은 임의로 선택되거나 사용자가 직접 선택한 캐릭터의 목소리로 출력될 수 있다. 즉, 상기 질문 수행부 131b는 사용자에게 제공할 질문(텍스트)를 TTS(Text To Sound) 기법을 통해 선택된 임의의 캐릭터 목소리로 변환하고, 변환된 음성 콘텐츠를 출력하는 방식으로 캐릭터가 직접 질문하는 것과 같은 효과를 사용자가 느끼게 할 수 있다.
또한 상기 질문 수행부 131b는 질문이 제공되는 동안 캐릭터의 입모양, 손동작 등이 움직이도록 제어하여, 캐릭터가 사용자에게 직접 질문하는 것과 같은 효과를 유도할 수 있다.
도 4는 본 발명의 실시 예에 따른 응답자료 분석부의 구성을 도시한 도면이다.
도 4에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 응답자료 분석부 132는 제시된 질문에 따라 수행된 사용자의 응답 내용을 녹음하고, 녹음된 사용자의 응답 내용을 분석하는 동작을 수행할 수 있다. 상기 응답자료 분석부 132는 응답 녹음 수행부 132a, 녹음 파일 분석부 132b를 포함하여 구성될 수 있다.
상기 응답 녹음 수행부 132a는 사용자에게 제공되는 질문 제공 동작이 종료됨에 따라 사용자 응답 음성의 녹음 동작을 개시할 수 있다. 상기 응답 녹음 수행부 132a는 사용자의 음성이 기준 시간 이상 감지되지 않거나, 사용자가 '확인' 버튼을 선택하는 등 답변을 완료한 것으로 판단되는 경우, 녹음 동작을 종료할 수 있다. 그리고 상기 응답 녹음 수행부 132a는 녹음을 통해 획득한 응답 내용을 질문 항목별로 매칭하여 리스트화할 수 있다.
상기 녹음 파일 분석부 132b는 상기 응답 녹음 수행부 132a에 의해 획득된 사용자의 응답 녹음 파일에 대한 분석 동작을 수행할 수 있다. 상기 녹음 파일 분석부 132b는 응답된 녹음 내용을 STT(Sound To Text) 기법을 통해 텍스트로 변환할 수 있다. 이와 같은 방식에 따라 상기 녹음 파일 분석부 132b는 STT 기법을 통해 변환된 텍스트를 기반으로 사용자의 응답 내용을 확인할 수 있다.
예를 들어, 상기 녹음 파일 분석부 132b는 사용자의 응답을 '긍정, 보통, 부정'과 같이 긍정 단계에 따라 분류하는 동작을 수행할 수 있으며, 각 단계마다 그에 대응하는 점수를 부여할 수 있다. 부여된 점수는 사용자의 이명 증상, 이명 종류에 대한 판정 시 참고될 수 있다.
또한 상기 녹음 파일 분석부 132b는 사용자의 응답으로부터 핵심 용어를 추출하는 동작을 수행할 수 있다. 그리고 상기 녹음 파일 분석부 132b는 추출된 핵심 용어를 특성별로 분류할 수 있다. 상기 녹음 파일 분석부 132b는 추출된 핵심 용어의 분류 그룹 정보를 설명 자료 제공부 134로 전달할 수 있다. 추후 상기 응답 자료 분석부 134는 상기 핵심 용어의 분류 그룹 정보(카테고리 정보)를 토대로 사용자에게 적합한 상담 자료를 선택하여 제공할 수 있다.
예를 들어, 사용자가 “평소에는 이명소리가 잘 안들리다가 '조용한 장소' 또는 '잠'을 자려고 하면 이명소리가 유독 '크게' 들려서 '잠'도 잘 안오고 이명소리가 '신경'쓰입니다”와 같이 응답했다고 할 경우, 해당 응답으로부터 '조용한 장소'는 장소 카테고리로 분류되고, '잠'은 삶의 질 카테고리, '신경'은 감정 카테고리로, '크게'는 소리 종류 카테고리로 분류될 수 있다.
구체적으로, 상기 녹음 파일 분석부 132b는 도 9에서 도시되는 도면과 같이, 녹음된 답변 내용을 음성 분석 시스템에 의해 강도 분포에 따른 분석을 수행할 수 있다.
도 9는 본 발명의 실시 예에 따라 획득된 녹음 파일의 분석 동작에 대하여 설명하기 위한 도면이다.
도 9를 참조하면, 910은 '이명'이라고 녹음한 파일을 분석한 것이고, 920은 '감자'라고 녹음한 파일을 분석한 것이다. 910를 살펴보면 x축(시간), y축(에너지 강도)에 따라 '이'는 일정시간 동안 작은 강도를 지속하고 '명'은 상대적으로 큰 강도의 값이 확인된 이후 점자 작아지는 양상을 보이고 있다. '감자'의 녹음 결과를 도시하는 920은 910의 '이명'과는 다른 강도분포를 보임을 알 수 있다.
이처럼 각 음절(가, 바, 사, 다, 앞 등)은 고유의 시간에 따른 에너지 분포가 다르므로, 상기 녹음 파일 분석부 132b는 시간에 따른 에너지 분포 분석을 통해 녹음된 답변 내용을 확인 및 분류할 수 있다. 녹음 파일 분석을 위해, 상기 녹음 파일 분석부 132b는 다수(예, 100명 이상)의 목소리로 음절을 녹음한 후 평균 범위를 설정하는 방식을 통해 음절별 에너지 분포 양상의 평균값을 획득하고, 어플리케이션을 통해 얻어진 사용자의 답변과 상기 음절별 에너지 분포 양상의 평균값과 비교하여 사용자의 음성 내용을 보다 정확히 구분할 수 있다. 이와 같은 방식으로 상기 녹음 파일 분석부 132b는 특정 음절(언어적 음성) 뿐 아니라, 비언어적 음성의 에너지 분포 특징을 검출할 수 있으며, 이에 따라 사용자가 녹음하는 이명음 관련 정보를 분석할 수 있다.
상기 녹음 파일 분석부 132b는 녹음 파일의 분석하여 사용자의 응답 내용을 확인하게 되면, 이후 사용자의 응답 내용에 다른 사용자의 이명 특성 분석을 수행하게 된다.
도 5는 본 발명의 실시 예에 따른 설명 자료 제공부의 구성을 도시한 도면이다.
도 5에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 상기 설명 자료 제공부 134는 사용자에게 질문한 이후, 해당 질문에 대한 응답을 기반으로 사용자의 이명 특성을 판단하고, 사용자의 이명 특성에 대응하는 설명 자료(동영상)을 검색 및 제공할 수 있다.
상기 설명 자료 제공부 134는 이명 특성 판단부 134a 및 적합 자료 검색부 134b를 포함하여 구성될 수 있다.
상기 이명 특성 판단부 134a 상기 녹음 파일 분석부 132b에서 사용자의 답변에 대응하여 부여된 점수 결과 또는 사용자의 응답 결과로부터 추출된 핵심 용어 등에 기반하여 사용자의 이명 특성을 판단하는 동작을 수행할 수 있다. 구체적으로 상기 이명 특성 판단부 134a는 질문 항목별로 부여된 점수를 합산하여 사용자에게 제시된 전체 질문에 대한 답변 내용에 대한 응답 결과를 산출할 수 있다. 상기 이명 특성 판단부 134a는 이와 같이 질문 결과에 대한 점수 합산 결과에 대응하여 사용자의 이명 심각도, 이명 종류, 이명 원인 등에 대한 1차적 분류를 수행하고 그에 대응하는 코드(1차 분류 코드)를 부여할 수 있다.
또한 상기 이명 특성 판단부 134a는 사용자의 답변 내용으로부터 추출된 핵심 용어의 분류 그룹 정보를 상기 녹음 파일 분석부 132b로부터 수신하고, 핵심 용어의 분류 그룹 정보(예, 이명 시간, 소리 종류, 삶의 질, 장소)에 대응하여 사용자의 이명 특성을 판단할 수 있다.
일 실시 예에 따라 상기 이명 특성 판단부 134a는 이명 특성에 대하여 판단할 시, 핵심 용어의 분류 그룹 정보를 기반으로, 사용자의 구체적인 이명 특성을 분류하는 2차 분류 동작을 수행할 수 있다. 구체적으로, 상기 이명 특성 판단부 134a는 이명 시간 카테고리로 분류된 키워드(예, 1개월, 2개월, 새벽, 저녁 등)를 기반으로 이명 기간, 하루 중 이명이 들리는 시간대 등을 판단할 수 있다. 또한 상기 이명 특성 판단부 134a는 소리 종류 카테고리로 분류된 키워드(예, 귀뚜라미, 빗소리, 찌르르르 등)를 기반으로 이명음에 관한 구체적인 종류별 분류, 주기별 분류, 강도별 분류를 수행할 수 있다. 또한 상기 이명 특성 판단부 134a는 감정 관련 단어(짜증, 우울 등)와, 수면, 집중력, 청각 등의 삶의 질 관련 키워드를 기반으로 사용자의 삶의 질 저하 영역 및 삶의 질 저하 정도를 판단할 수 있다. 또한 상기 이명 특성 판단부 134a는 집, 회사, 조용한 방 등과 같은 장소 카테고리로 분류된 키워드를 기반으로 사용자의 이명 장소 종류에 대한 2차 분류를 수행할 수 있다. 분류 그룹 정보(카테고리)와 2차 분류 항목은 앞서 언급한 종류 외에 더 추가될 수 있다.
예를 들어, 사용자가 “평소에는 이명소리가 잘 안들리다가 '조용한 장소' 또는 '잠'을 자려고 하면 이명소리가 유독 '크게' 들려서 '잠'도 잘 안오고 이명소리가 '신경'쓰입니다”와 같이 응답했다고 할 경우, 해당 응답으로부터 '조용한 장소'는 장소 카테고리로 분류되고, '잠'은 삶의 질 카테고리, '신경'은 감정 카테고리로, '크게'는 소리 종류 카테고리로 분류될 수 있다. 상기 이명 특성 판단부 134a는 이와 같이 분류된 카테고리별 핵심 용어를 기반으로 사용자의 이명 특성에 대하여 2차 분류를 수행할 수 있다.
다양한 실시 예에 따라 핵심 용어 카테고리에 대하여 알파벳으로 코드를 부여하고, 2차 분류 시 숫자로 코드를 부여한다고 할 경우, 상기 이명 특성 판단부 134a는 사용자의 이명 기간이 2개월인것으로 판단되는 경우, a02(a카테고리의 02번째 특성)와 같이 코드를 부여할 수 있다. 이와 유사하게 사용자의 이명 소리가 귀뚜라미 소리에 해당하는 것으로 판단되는 경우 상기 이명 특성 판단부 134a는 사용자의 이명 특성으로 b01(b카테고리의 01번째 특성)으로 코드(2차 분류 코드)를 추가로 부여할 수 있다.
상기 이명 특성 판단부 134a는 또한 이명음 추정부 133으로부터 특정된 사용자 이명음에 대한 주파수 및 에너지 분포 특성 정보를 확인하고, 이를 기반으로 이명음 추정 코드를 부여할 수 있다.
상기 적합 자료 검색부 134b는 상기 이명 특성 판단부 134a에 의해 일 사용자에게 부여된 코드들을 기반으로 적합한 자료를 검색하여 제공할 수 있다. 이 때 적합 자료는 사용자가 겪고 있는 이명 특성과 관련이 있는 주제의 설명 동영상을 포함할 수 있다. 또한 상기 적합 자료 검색부 134b에서 검색하여 제공하는 자료는 사용자에게 도움이 될만한 이명 치료음 파일을 포함할 수 있다. 상기 적합 자료 검색부 134b에서 검색되는 설명 동영상이 검색되면 검색 결과를 리스트 형태로 사용자에게 제공할 수 있고 사용자가 이를 선택하여 재생할 수 있게 된다. 또는 다양한 실시 예에 따라 상기 적합 자료 검색부 134b는 사용자의 응답 내용과 가장 유사한 주제의 설명 동영상을 선택하여 자동으로 재생할 수 있다.
구체적으로, 상기 적합 자료 검색부 134b는 “평소에는 이명소리가 잘 안들리다가 '조용한 장소' 또는 '잠'을 자려고 하면 이명소리가 유독 '크게' 들려서 '잠'도 잘 안오고 이명소리가 '신경'쓰입니다”와 같이 응답한 사용자에게 '조용한 장소'에서는 왜 이명이 '크게' 들리는가?, '잠'을 자려고 하면 왜 이명이 '크게' 들리는가?, 이명이 '신경'쓰이고 '크게' 들리는 이유? 와 같이 동일 핵심 용어가 포함되어 있거나, 코드가 동일하게 부여된 설명 자료를 검색하고 이를 해당 사용자에게 제공할 수 있다.
도 6은 본 발명의 실시 예에 따른 사용자 기기의 구성을 도시한 도면이다.
도 6에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 사용자 기기 200는 통신부 210, 저장부 220, 입력부 230, 표시부 240, 오디오 처리부 250, 카메라부 260 및 제어부 270을 포함하여 구성될 수 있다. 그리고 상기 제어부 270는 동영상 재생지원부 271, 반응 정보 수집부 272를 포함하여 구성될 수 있다.
본 발명의 실시 예에 따른 상기 통신부 210는 서버 100와 이명 상담 관련 동작에 요구되는 데이터 송수신을 수행할 수 있다.
본 발명의 실시 예에 따른 상기 저장부 220는 이명 상담 어플리케이션 실행에 요구되는 각종 명령 및 프로그램을 저장할 수 있다.
상기 입력부 230는 예를 들면, 터치 패널(touch panel), (디지털) 펜 센서(pen sensor), 키(key), 또는 초음파(ultrasonic) 입력 장치를 포함할 수 있다. 터치 패널은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널은 제어 회로를 더 포함할 수도 있다. 터치 패널은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다.
본 발명의 실시 예에 따른 입력부 230는 사용자의 신상 정보 등을 입력하기 위한 사용자 입력을 수신할 수 있다.
본 발명의 실시 예에 따른 표시부 240는 어플리케이션을 통해 수행되는 각종 이명 상담 동작을 화면에 표시할 수 있다.
본 발명의 실시 예에 따른 오디오 처리부 250는 이명 상담에 요구되는 사용자 음성 응답 내용을 마이크를 통해 입력받을 수 있으며 상담용 질문, 이명 치료를 위한 설명 동영상에 포함된 사운드 파일을 출력할 수 있다.
상기 카메라부는 260는 이명 상담 시 질문에 대하여 사용자가 응답하는 모습을 촬영할 수 있다.
상기 제어부 270는 프로세서(Processor), 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있다. 한편, 제어부는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 제어부에 의해 구동될 수 있다. 메모리는 상기 사용자 단말 및 서버 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 상기 제어부와 데이터를 주고받을 수 있다.
본 발명의 실시 예에 따른 상기 제어부 270는 어플리케이션을 실행하고 서버 100에서 지원하는 이명 상담 동작이 수행되는 과정 전반을 제어할 수 있다.
구체적으로, 상기 제어부 270는 동영상 재생지원부 271와 반응 정보 수집부 272를 포함하여 구성될 수 있다.
상기 동영상 재생지원부 271는 어플리케이션의 실행 화면 내에서 플레이되는 각종 상담 및 질문 관련 동영상이 재생되는데 필요한 동작을 수행할 수 있다. 상기 동영상 재생지원부 271는 코덱을 이용하여 동영상 파일이 사용자 기기 200에서 재생되도록 지원할 수 있다.
또한 상기 반응 정보 수집부 272는 오디오 처리부 250, 카메라부 260를 통해 감지되는 사용자 모습을 기반으로 사용자의 반응 정보를 수집하는 동작을 수행할 수 있다. 예를 들어 사용자 기기 200는 사용자의 음성이 감지되면, 그 시점으로부터 사용자 음성(질문에 대응하는 답변)을 입력하기 위한 녹음 기능을 수행할 수 있다. 또한 사용자 기기 200는 사용자의 발언이 종료되면 자동으로 녹음 기능을 종료할 수 있다. 이와 같은 기능을 수행하기 위해 상기 반응 정보 수집부 272는 사용자의 발언의 시작 및 종료와 관련된 반응 정보를 수집할 수 있다.
그 외에도 상기 반응 정보 수집부 272는 사용자의 발언 중 이명 현상이 발생하는 것을 감지하기 위해 사용자의 발언 중 표정 반응 정보를 수집할 수 있다.
상기 반응 정보 수집부 272가 수집한 사용자 반응 정보는 사용자의 이명 특성을 판단하는 데 사용하기 위해 서버 100로 자동 제공될 수 있다.
도 7은 본 발명의 실시 예에 따른 이명 상담 동작의 순서를 도시한 순서도이다.
본 발명의 실시 예에 따라, 사용자 기기 200에서 앱이 실행되는 705동작이 수행되면, 서버 100는 이명 관련 질문을 사용자 기기 200측에 제공하는 710동작을 수행할 수 있다.
이후 상기 서버 100는 사용자의 답변을 녹음하도록 제어하는 715동작을 수행할 수 있다. 이에 따라 사용자 기기 100는 사용자의 답변을 녹음하고 녹음된 파일을 서버 100로 전송할 수 있다.
상기 710동작과 715동작에 대해서 도 8에서 도시하고 있다.
도 8은 본 발명의 실시 예에 따른 사용자 답변 획득 과정을 도시한 도면이다.
도 8의 810에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 서버 100는 상담자가 질문하는 동영상을 제공할 수 있다. 그리고 상기 서버 100는 810에서 도시되는 질문 동작 이후에 820에서 도시되는 것과 같은 녹음 동작을 수행하도록 제어할 수 있다. 820에서 도시되는 것과 같이 녹음 동작이 수행되는 동안 표시되는 화면은 동영상을 통해 질문을 받은 사용자는 자신이 해당 질문에 응답할 차례이며, 자신의 응답이 녹음되는 사실을 인지할 수 있도록 하는 이미지 요소(예, 마이크 이미지)를 포함할 수 있다.
이후 상기 서버 100는 획득된 녹음자료를 분석하는 720동작을 수행할 수 있다.
그리고 상기 서버 100는 녹음 자료의 분석을 통해 사용자 답변에 대응하는 설명 자료를 판단할 수 있고, 이를 검색하여 사용자 기기 200측에 제공하는 725동작을 수행할 수 있다.
설명 자료는 도 10에서와 같은 화면으로 제공될 수 있다.
도 10은 본 발명의 실시 예에 따른 이명 관련 설명 동영상이 재생되는 동작에 대하여 도시한 도면이다.
상기 서버 100는 사용자 기기 200로부터 상담 종료 요청이 수신되는지 여부를 확인하는 730동작을 수행할 수 있다. 만약 상담 종료 요청이 수신되면 상기 서버 100는 해당 동작 과정을 종료할 수 있고, 만약 상담 종료 요청이 수신되지 않은 경우 다음 질문을 준비하는 735동작을 수행할 수 있다. 그리고 준비된 이명 관련 질문을 제공하는 710동작 이하를 반복하여 수행할 수 있다.
요컨대, 본 발명의 실시 예에 따른 이명 상담 시스템은 서버, 사용자 기기, 상담자 기기를 포함하여 구성되며, 상기 서버는 이명 상담을 위해 상기 사용자 기기에 질문 콘텐츠를 제공하고, 제공된 질문 콘텐츠에 대한 사용자의 응답 내용을 녹음하도록 명령하며, 녹음된 응답 내용을 분석하여 사용자의 이명 특성을 판단하며, 판단된 사용자 이명 특성에 대응하는 설명 자료를 검색하여 상기 사용자 기기에 제공하고, 상기 사용자 기기는 상기 서버로부터 이명 상담을 위한 질문 콘텐츠 및 사용자의 응답 내용과 관련된 설명 자료를 수신하여 재생하고, 상기 상담자 기기는 사용자 기기에 제공할 질문 콘텐츠 및 설명 자료를 촬영하여 업로드할 수 있다.
그리고 상기 서버는 상담자 기기로부터 이명 관련 질문 콘텐츠를 획득하며, 사용자 기기에 이명 관련 질문을 제공하는 질문 동작 제어부를 포함할 수 있다. 이 때 상기 질문 동작 제어부는 획득된 질문 콘텐츠를 분류하고 가공하되, 일 질문에 대한 사용자 응답 결과에 따라 이후 제시할 질문을 판단할 수 있도록 하는 질문 연결 정보가 일 질문 콘텐츠 내에 포함되도록 관리하는 질문 관리부 및 사용자의 이명 상태를 진단하기 위해 사용자에게 질문 콘텐츠를 제공하되, 임의의 일 질문이 제공된 이후 상기 질문 연결 정보에 기반하여 이어지는 질문을 선택하여 제공하는 질문 수행부를 포함할 수 있다.
그리고 상기 서버는 제시된 질문에 따라 수행된 사용자의 응답 내용을 녹음하고 녹음된 사용자의 응답 내용을 분석하는 응답 자료 분석부를 포함할 수 있다. 상기 응답 자료 분석부는 질문이 제공된 이후 사용자의 발언이 감지됨에 따라 녹음 동작을 개시하는 응답 녹음 수행부 및 사용자의 응답 내용이 녹음된 녹음 파일로부터 핵심 용어를 추출하고, 추출된 핵심 용어를 카테고리별로 분류하는 녹음 파일 분석부를 포함하여 구성될 수 있다.
그리고 상기 서버는 사용자로부터 이명음과 유사한 사운드를 직접 녹음하는 동작 또는 제공된 샘플 사운드 중 이명음과 유사한 소리에 해당하는 항목을 선택하고, 선택된 소리에 대하여 주파수 조정, 강도 조정 또는 샘플 사운드 추가 동작을 통해 조정을 수행하여 이명음을 특정하는 이명음 추정부를 포함할 수 있다.
또한 상기 서버는 사용자에게 질문한 이후 해당 질문에 대한 응답을 기반으로 사용자의 이명 특성을 판단하고 사용자의 이명 특성에 대응하는 설명 자료를 검색 및 제공하는 설명 자료 제공부를 포함할 수 있다.
상기 설명 자료 제공부는 사용자의 응답 내용에 대하여 부여된 점수 결과 또는 사용자의 응답 내용으로부터 추출된 핵심 용어에 기반하여 사용자의 이명 특성에 대응하는 코드를 부여하는 이명 특성 판단부, 상기 이명 특성 판단부에 의해 일 사용자에게 부여된 코드를 기반으로 사용자의 이명 특성과 관련이 있는 설명 자료를 검색하여 사용자에게 제공하는 적합 자료 검색부를 포함할 수 있다.
또한 상기 서버는 사용자의 상담 회차별 응답 내용을 기반으로 사용자의 관심사 변화, 사용자의 이명 증상 완화 여부를 판단하고, 관심사 변화 또는 이명 증상 완화가 감지되면 변화된 관심사 정보 및 이명 증상 완화 정보를 기반으로 치료 효과 통계를 생성하는 치료 효과 평가부를 포함하여 구성될 수 있다.
본 발명의 실시 예에 따른 사용자 음성 분석 기반의 이명 상담 치료 방법은 이명 상담 서버는 사용자의 이명 특성을 판단하기 위해 사용자에게 이명 관련 질문을 제공하는 질문 제공 단계, 상기 서버는 상용자에게 제공된 질문에 응답하는 사용자의 음성을 녹음하는 답변 녹음 단계, 녹음된 사용자의 응답 내용으로부터 핵심 용어를 추출하여 분류하는 녹음 자료 분석 단계, 녹음 자료 분석 결과에 따라 사용자의 이명 특성을 판단하고, 사용자의 이명 특성에 대응하는 설명 자료를 검색하여 사용자 기기에 제공하는 설명 자료 제공 단계, 상담 회차별 사용자의 응답 내용을 기반으로 사용자의 증상 완화가 감지되면 해당 사용자가 시청한 설명 자료에 대한 치료 효과를 평가하는 치료 효과 평가 단계를 포함할 수 있다.
상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.
100 : 서버
110 : 통신부
120 : 저장부
131 : 질문 동작 제어부
131a : 질문 관리부
131b : 질문 수행부
132 : 응답 자료 분석부
132a : 응답 녹음 수행부
132b : 녹음 파일 분석부
133 : 이명음 추정부
134 : 설명 자료 제공부
134a : 이명 특성 판단부
134b : 적합 자료 검색부
135 : 치료 효과 평가부

Claims (9)

  1. 서버, 사용자 기기, 상담자 기기를 포함하여 구성되는 상담 시스템에 있어서,
    상기 서버는
    이명 상담을 위해 상기 사용자 기기에 질문 콘텐츠를 제공하고, 제공된 질문 콘텐츠에 대한 사용자의 응답 내용을 녹음하도록 명령하며, 녹음된 응답 내용을 분석하여 사용자의 이명 특성을 판단하며, 판단된 사용자 이명 특성에 대응하는 설명 자료를 검색하여 상기 사용자 기기에 제공하고,
    상기 사용자 기기는
    상기 서버로부터 이명 상담을 위한 질문 콘텐츠 및 사용자의 응답 내용과 관련된 설명 자료를 수신하여 재생하고,
    상기 상담자 기기는
    사용자 기기에 제공할 질문 콘텐츠 및 설명 자료를 촬영하여 업로드하고,
    상기 서버는
    제시된 질문에 따라 수행된 사용자의 응답 내용을 녹음하고 녹음된 사용자의 응답 내용을 분석하는 응답 자료 분석부; 및
    사용자에게 질문한 이후 해당 질문에 대한 응답을 기반으로 사용자의 이명 특성을 판단하고 사용자의 이명 특성에 대응하는 설명 자료를 검색 및 제공하는 설명 자료 제공부;를 포함하고
    상기 응답 자료 분석부는
    질문이 제공된 이후 사용자의 발언이 감지됨에 따라 녹음 동작을 개시하는 응답 녹음 수행부; 및
    사용자의 응답 내용이 녹음된 녹음 파일로부터 핵심 용어를 추출하고, 추출된 핵심 용어를 카테고리별로 분류한 핵심 용어의 분류 그룹 정보를 생성하는 녹음 파일 분석부;를 포함하고,
    상기 설명 자료 제공부는
    사용자의 응답 내용에 대하여 부여된 점수 결과 및 사용자의 응답 내용으로부터 추출된 핵심 용어에 기반하여 사용자의 이명 특성에 대응하는 코드를 부여하는 이명 특성 판단부; 및
    상기 이명 특성 판단부에 의해 일 사용자에게 부여된 코드를 기반으로 사용자의 이명 특성과 관련이 있는 설명 자료를 검색하여 사용자에게 제공하는 적합 자료 검색부;를 포함하고,
    상기 녹음 파일 분석부는
    사용자의 응답 내용이 녹음된 녹음 파일을 대상으로 시간에 따른 에너지 분포 분석을 수행하여 획득된 음절별 에너지 분포 양상의 평균값을, 기 획득된 음절별 에너지 분포 양상의 평균값과 비교하여, 언어적 음성 및 비언어적 음성의 에너지 분포에 따른 특징을 검출하여, 사용자의 응답 내용이 녹음된 녹음 파일을 분석하고,
    상기 이명 특성 판단부는
    부여된 점수 결과에 대한 점수 합산 결과에 따라 사용자의 이명 심각도, 이명 종류, 및 이명 원인 중 적어도 하나에 대한 1차 분류를 수행하여, 1차 분류에 따른 1차 분류 코드를 부여하고,
    핵심 용어의 분류 그룹 정보를 기반으로 이명 시간, 소리 종류, 삶의 질, 및 장소 중 적어도 하나의 카테고리에 대한 2차 분류를 수행하여, 2차 분류에 따른 2차 분류 코드를 부여하는 것을 특징으로 하는 사용자 음성 분석 기반의 이명 상담 시스템.
  2. 제 1항에 있어서
    상기 서버는
    상담자 기기로부터 이명 관련 질문 콘텐츠를 획득하며, 사용자 기기에 이명 관련 질문을 제공하는 질문 동작 제어부;를 포함하고,
    상기 질문 동작 제어부는
    획득된 질문 콘텐츠를 분류하고 가공하되, 일 질문에 대한 사용자 응답 결과에 따라 이후 제시할 질문을 판단할 수 있도록 하는 질문 연결 정보가 일 질문 콘텐츠 내에 포함되도록 관리하는 질문 관리부; 및
    사용자의 이명 상태를 진단하기 위해 사용자에게 질문 콘텐츠를 제공하되, 임의의 일 질문이 제공된 이후 상기 질문 연결 정보에 기반하여 이어지는 질문을 선택하여 제공하는 질문 수행부;를 포함하는 것을 특징으로 하는 사용자 음성 분석 기반의 이명 상담 시스템.
  3. 삭제
  4. 제 1항에 있어서
    상기 서버는
    사용자로부터 이명음과 유사한 사운드를 직접 녹음하는 동작 또는 제공된 샘플 사운드 중 이명음과 유사한 소리에 해당하는 항목을 선택하고, 선택된 소리에 대하여 주파수 조정, 강도 조정 또는 샘플 사운드 추가 동작을 통해 조정을 수행하여 이명음을 특정하는 이명음 추정부;를 포함하는 것을 특징으로 하는 사용자 음성 분석 기반의 이명 상담 시스템.
  5. 삭제
  6. 제 1항에 있어서,
    상기 서버는
    사용자의 상담 회차별 응답 내용을 기반으로 사용자의 관심사 변화, 사용자의 이명 증상 완화 여부를 판단하고, 관심사 변화 또는 이명 증상 완화가 감지되면 변화된 관심사 정보 및 이명 증상 완화 정보를 기반으로 치료 효과 통계를 생성하는 치료 효과 평가부;를 포함하는 것을 특징으로 하는 사용자 음성 분석 기반의 이명 상담 시스템.
  7. 삭제
  8. 삭제
  9. 삭제
KR1020200064251A 2020-05-28 2020-05-28 사용자 음성 분석 기반의 이명 상담 시스템 Active KR102463243B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200064251A KR102463243B1 (ko) 2020-05-28 2020-05-28 사용자 음성 분석 기반의 이명 상담 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200064251A KR102463243B1 (ko) 2020-05-28 2020-05-28 사용자 음성 분석 기반의 이명 상담 시스템

Publications (2)

Publication Number Publication Date
KR20210147277A KR20210147277A (ko) 2021-12-07
KR102463243B1 true KR102463243B1 (ko) 2022-11-03

Family

ID=78868396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200064251A Active KR102463243B1 (ko) 2020-05-28 2020-05-28 사용자 음성 분석 기반의 이명 상담 시스템

Country Status (1)

Country Link
KR (1) KR102463243B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102604281B1 (ko) * 2022-03-07 2023-11-23 주식회사 뉴라이브 이명 환자의 진단 방법과 분류 방법 및 이명 환자에 대한 맞춤형 치료 프로토콜 제공 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101887521B1 (ko) * 2017-06-21 2018-08-10 경북대학교 산학협력단 음성인식 기반 건강기록 관리 시스템 및 방법, 이를 수행하기 위한 기록매체

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103549961B (zh) 2013-10-31 2015-06-24 江苏贝泰福医疗科技有限公司 基于无线移动通讯平台的互动式听力诊疗系统
KR102024221B1 (ko) * 2018-01-15 2019-09-23 한림대학교 산학협력단 청각 기능 훈련 방법 및 장치
KR102133264B1 (ko) * 2018-09-05 2020-07-13 한림대학교 산학협력단 주변 소음 기반의 이명 치료음 발생 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101887521B1 (ko) * 2017-06-21 2018-08-10 경북대학교 산학협력단 음성인식 기반 건강기록 관리 시스템 및 방법, 이를 수행하기 위한 기록매체

Also Published As

Publication number Publication date
KR20210147277A (ko) 2021-12-07

Similar Documents

Publication Publication Date Title
US12204513B2 (en) Artificial intelligence platform with improved conversational ability and personality development
Chandrasekaran et al. Individual variability in cue-weighting and lexical tone learning
EP4022602B1 (en) Customizable keyword spotting system with keyword adaptation
US10013977B2 (en) Smart home control method based on emotion recognition and the system thereof
US20190147760A1 (en) Cognitive content customization
CN104768049B (zh) 一种用于同步音频数据和视频数据的方法、系统及计算机可读存储介质
CN111149172B (zh) 情绪管理方法、设备及计算机可读存储介质
US20180277110A1 (en) Interactive System, Terminal, Method of Controlling Dialog, and Program for Causing Computer to Function as Interactive System
JP2011039860A (ja) 仮想空間を用いる会話システム、会話方法及びコンピュータプログラム
JP2017116933A (ja) 適応された学習情報をユーザに提供する方法及びデバイス
KR102552220B1 (ko) 정신건강 진단 및 치료를 적응적으로 수행하기 위한 컨텐츠 제공 방법, 시스템 및 컴퓨터 프로그램
CN110505504A (zh) 视频节目处理方法、装置、计算机设备及存储介质
JP2017129720A (ja) 情報処理システム、情報処理装置、情報処理方法および情報処理プログラム
KR102208256B1 (ko) 리딩 기능을 수행하는 스마트 인형
KR102463243B1 (ko) 사용자 음성 분석 기반의 이명 상담 시스템
CN115910111A (zh) 语音交互方法、装置、智能设备及计算机可读存储介质
Strauß et al. Wizard-of-Oz Data Collection for Perception and Interaction in Multi-User Environments.
CN111147914A (zh) 一种视频处理的方法、存储介质及电子设备
CN110289010B (zh) 一种声音采集的方法、装置、设备和计算机存储介质
JP2023021856A (ja) 説明支援システム
US20240119930A1 (en) Artificial intelligence device and operating method thereof
CN119380708A (zh) 语音交互方法、装置、电子设备及计算机存储介质
WO2021134592A1 (zh) 语音处理方法、装置、设备以及存储介质
KR102568994B1 (ko) 사용자의 스피치 능력 개선을 위한 피드백 장치 및 방법
TWI845430B (zh) 互動式語言教學系統

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 4