KR102572362B1 - 난청환자 재활교육용 챗봇 제공 방법 및 그 시스템 - Google Patents
난청환자 재활교육용 챗봇 제공 방법 및 그 시스템 Download PDFInfo
- Publication number
- KR102572362B1 KR102572362B1 KR1020210173210A KR20210173210A KR102572362B1 KR 102572362 B1 KR102572362 B1 KR 102572362B1 KR 1020210173210 A KR1020210173210 A KR 1020210173210A KR 20210173210 A KR20210173210 A KR 20210173210A KR 102572362 B1 KR102572362 B1 KR 102572362B1
- Authority
- KR
- South Korea
- Prior art keywords
- hearing
- rehabilitation
- chatbot
- user
- data
- Prior art date
Links
- 206010011878 Deafness Diseases 0.000 title claims abstract description 113
- 208000016354 hearing loss disease Diseases 0.000 title claims abstract description 113
- 231100000888 hearing loss Toxicity 0.000 title claims abstract description 112
- 230000010370 hearing loss Effects 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 93
- 208000032041 Hearing impaired Diseases 0.000 claims abstract description 85
- 230000008569 process Effects 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 59
- 230000004044 response Effects 0.000 claims abstract description 50
- 238000013136 deep learning model Methods 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 18
- 230000002452 interceptive effect Effects 0.000 claims description 14
- 230000015654 memory Effects 0.000 description 28
- 238000004064 recycling Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000002354 daily effect Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 208000000477 Bilateral Hearing Loss Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000003477 cochlea Anatomy 0.000 description 1
- 210000000860 cochlear nerve Anatomy 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 231100000895 deafness Toxicity 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000000959 ear middle Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/268—Morphological analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G06Q50/40—
-
- G06Q50/50—
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
Abstract
본 발명의 실시예에 따른 난청환자 재활교육용 챗봇 제공 방법은, 단말의 적어도 하나의 프로세서에 의하여 실행되는 챗봇 애플리케이션이 난청환자 재활교육용 챗봇(chatbot)을 제공하는 방법으로서, 난청환자의 청각 재활교육용 대화형 학습 콘텐츠인 난청 재활 콘텐츠를 제공하는 챗봇을 실행하는 단계; 상기 실행된 챗봇을 기초로 상기 난청 재활 콘텐츠의 유형을 결정하는 단계; 상기 결정된 유형에 따른 난청 재활 콘텐츠를 제공하는 단계; 상기 제공된 난청 재활 콘텐츠의 오디오 퀴즈에 대한 사용자 응답 데이터를 획득하는 단계; 상기 획득된 사용자 응답 데이터의 정답 여부를 판단하는 정오 처리 프로세스를 수행하는 단계; 및 상기 수행된 정오 처리 프로세스의 결과를 제공하는 단계를 포함한다.
Description
본 발명은 난청환자 재활교육용 챗봇 제공 방법 및 그 시스템에 관한 것이다. 보다 상세하게는, 난청환자의 음성언어 인지처리를 보정하기 위한 대화형 청각 재활교육 콘텐츠를 제공하는 난청환자 재활교육용 챗봇 제공 방법 및 그 시스템에 관한 것이다.
'난청(難聽)'이란, 소리를 받아들이는 귓바퀴부터 중이의 고막이나 작은 뼈들 (이소골), 달팽이관, 청신경과 이를 복합적으로 분석하는 뇌로 이루어진 청성 회로의 일부에 문제가 발생하여 발생하는 질병으로서, 증상이 경미하면 작은 소리를 듣지 못하는 정도지만 심한 경우 외부 소리를 인식하지 못하게 된다.
노화 등 다양한 원인으로 인해 발생하는 이러한 난청은, 일상생활 속의 의사소통에 심각한 문제를 야기한다. 예컨대, 대화의 단절은 물론 가족, 지인, 업무, 일상의 대부분 상황에서 난처하고 곤란한 상황을 직면하게 될 수밖에 없다.
또한, 경도 난청을 방치하면 치매 발병률이 2배, 고도난청은 최대 5배까지 증가할 수 있다는 위험성이 있으며, 2017년 장애인보장구 정부 지원금 1,065억원 중 보청기가 차지하는 비중이 약 61% 650억원(국민건강보험공단 2017)에 이르는 등 사회적 손실까지 야기되고 있는 상황이다.
그러나 건강보험심사평가원의 발표에 따르면 이러한 난청 환자는 2012년 27만7000명에서 2017년 34만 9,000명으로 연평균 4.8%의 증가율을 보이면서 급증하고 있으며, 국민건강영양조사 결과에 따르면 우리나라 국민 중 만 12세 이상에서 보이는 양측 난청 유병률은 전체 4.5%였으며 만 65세 이상에서는 25.9%로, 노인 인구 4명 중 1명 이상에서 난청이 있는 것으로 나타났다.
그리고 2020년 국내 난청 인구는 약 809만명으로 추산 이중 65세 이상은 약 185만명으로 전체의 25% 비율을 차지하고 있다.
그리하여 최근에는, 이와 같이 증가하는 난청 환자에 대한 재활교육의 필요성이 중요하게 대두되고 있다.
일반적으로 난청 재활교육은 보청기 피팅를 받았거나 난청 초기, 중기 단계의 대상자들이 일상생활에서 대화를 하고 청취를 하는 일상적인 음성인지와 대화인지에 주안을 두고 있다.
즉, 난청 재활교육은 개인의 생활패턴에서 오가는 대화와 문장에 대한 인지력을 향상시킴으로써 난청으로 인한 어음인지력을 보완하고 개선하기 위한 목적을 가진다.
그러나 이러한 난청 재활교육에 최적화된 훈련 프로세스를 가지는 시스템의 개발이 미비한 실정이어서 이에 대한 기술 개발 및 도입이 요구되고 있다.
본 발명은, 상술된 바와 같은 문제점들을 해결하기 위하여 안출된 것으로서, 난청환자의 음성언어 인지처리를 보정하기 위한 대화형 청각 재활교육 콘텐츠를 제공하는 난청환자 재활교육용 챗봇 제공 방법 및 그 시스템을 구현하는데 목적이 있다.
다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 실시예에 따른 난청환자 재활교육용 챗봇 제공 방법은, 단말의 적어도 하나의 프로세서에 의하여 실행되는 챗봇 애플리케이션이 난청환자 재활교육용 챗봇(chatbot)을 제공하는 방법으로서, 난청환자의 청각 재활교육용 대화형 학습 콘텐츠인 난청 재활 콘텐츠를 제공하는 챗봇을 실행하는 단계; 상기 실행된 챗봇을 기초로 상기 난청 재활 콘텐츠의 유형을 결정하는 단계; 상기 결정된 유형에 따른 난청 재활 콘텐츠를 제공하는 단계; 상기 제공된 난청 재활 콘텐츠의 오디오 퀴즈에 대한 사용자 응답 데이터를 획득하는 단계; 상기 획득된 사용자 응답 데이터의 정답 여부를 판단하는 정오 처리 프로세스를 수행하는 단계; 및 상기 수행된 정오 처리 프로세스의 결과를 제공하는 단계를 포함한다.
이때, 상기 난청 재활 콘텐츠는, 소정의 음성 데이터에 기초한 퀴즈인 상기 오디오 퀴즈를 기반으로 질의하고, 상기 오디오 퀴즈에 대한 사용자 응답 데이터를 획득하는 질의응답 방식의 학습 콘텐츠이다.
또한, 상기 난청 재활 콘텐츠의 유형을 결정하는 단계는, 단어 단위의 오디오 퀴즈를 제공하는 단어형 문제유형 및 문장 단위의 오디오 퀴즈를 제공하는 문장형 문제유형 중 적어도 하나의 문제유형을 선택하는 단계를 포함한다.
또한, 상기 결정된 유형에 따른 난청 재활 콘텐츠를 제공하는 단계는, 상기 오디오 퀴즈를 단일 단어 또는 문장에 기반하여 소정의 횟수만큼 출력하는 단계를 포함하고, 상기 사용자 응답 데이터를 획득하는 단계는, 단일 사용자 응답 데이터를 획득하는 단계를 포함한다.
또한, 상기 결정된 유형에 따른 난청 재활 콘텐츠를 제공하는 단계는, 상기 오디오 퀴즈를 복수의 단어 또는 문장에 기반하여 소정의 횟수만큼 출력하는 단계를 포함하고, 상기 사용자 응답 데이터를 획득하는 단계는, 복수의 사용자 응답 데이터를 획득하는 단계를 포함한다.
또한, 상기 결정된 유형에 따른 난청 재활 콘텐츠를 제공하는 단계는, 문제 안내 텍스트, 오디오 퀴즈 시작버튼, 객관식 선택문항 및 타이머 인터페이스를 제공하는 단계를 포함한다.
또한, 상기 결정된 유형에 따른 난청 재활 콘텐츠를 제공하는 단계는, 상기 사용자 응답 데이터가 오답 처리되면, 오답 안내 텍스트, 넘어가기 버튼 및 재시작 버튼을 제공하는 단계를 더 포함한다.
또한, 상기 사용자 응답 데이터를 획득하는 단계는, 상기 난청 재활 콘텐츠의 객관식 선택문항이 포함하는 복수의 선택지 중 적어도 하나를 선택하는 사용자 선택지 입력 및 상기 난청 재활 콘텐츠의 음성입력 사용자 인터페이스에 기초한 사용자 음성 입력 중 적어도 하나의 입력을 기초로 상기 사용자 응답 데이터를 획득하는 단계를 포함한다.
또한, 상기 사용자 응답 데이터를 획득하는 단계는, 상기 난청 재활 콘텐츠가 상기 단어형 문제유형이고 상기 사용자 음성 입력이 문장형 음성 입력이면, 상기 오디오 퀴즈의 정답 데이터를 기초로 상기 문장형 음성 입력을 단어형 음성 입력으로 변환하는 단계를 더 포함한다.
또한, 상기 정오 처리 프로세스를 수행하는 단계는, 상기 사용자 음성 입력을 소정의 딥러닝 모델을 이용하여 적어도 하나의 텍스트 데이터로 변환하는 단계와, 상기 적어도 하나의 텍스트 데이터와 상기 오디오 퀴즈의 정답 데이터를 비교하여 상기 정답 여부를 판단하는 단계를 포함한다.
또한, 상기 정오 처리 프로세스를 수행하는 단계는, 상기 적어도 하나의 텍스트 데이터가 모두 오답 처리되면 상기 적어도 하나의 텍스트 데이터 각각과 상기 정답 데이터 간 일치율을 획득하는 단계와, 상기 획득된 적어도 하나의 일치율 중 적어도 하나가 소정의 기준치 이상을 충족하면 내입력 선택문항을 제공하는 단계를 더 포함하고, 상기 내입력 선택문항은, 적어도 하나의 텍스트 선택지를 기초로 상기 사용자 음성 입력에 대응되는 텍스트를 선택하는 인터페이스를 포함한다.
또한, 상기 내입력 선택문항을 제공하는 단계는, 상기 적어도 하나의 텍스트 데이터와, 상기 정답 데이터와, 상기 텍스트 데이터 및 상기 정답 데이터와 소정의 유사도를 가지고 별도로 생성된 추가 텍스트 중 적어도 하나를 기초로 상기 텍스트 선택지를 제공하는 단계를 포함한다.
또한, 본 발명의 실시예에 따른 난청환자 재활교육용 챗봇 제공 방법은, 상기 사용자 음성 입력 및 상기 적어도 하나의 텍스트 데이터 중 상기 정답 데이터와 일치하는 텍스트 데이터에 기반한 제1 트레이닝 데이터 셋과, 상기 사용자 음성 입력 및 상기 내입력 선택문항의 인터페이스를 기초로 선택된 텍스트 선택지에 기반한 제2 트레이닝 데이터 셋 중 적어도 하나의 트레이닝 데이터 셋에 기초하여 상기 딥러닝 모델을 학습시키는 단계를 더 포함한다.
한편, 본 발명의 실시예에 따른 난청환자 재활교육용 챗봇 제공 시스템은, 난청 재활 콘텐츠를 출력하는 적어도 하나 이상의 디스플레이; 적어도 하나 이상의 메모리; 및 적어도 하나 이상의 프로세서; 를 포함하고, 상기 메모리에 저장되고 상기 프로세서에 의해 실행되어 난청환자 재활교육용 챗봇을 제공하는 적어도 하나의 애플리케이션으로서 상기 적어도 하나의 애플리케이션은, 난청환자의 청각 재활교육용 대화형 학습 콘텐츠인 상기 난청 재활 콘텐츠를 제공하는 챗봇을 실행하고, 상기 실행된 챗봇을 기초로 상기 난청 재활 콘텐츠의 유형을 결정하고, 상기 결정된 유형에 따른 난청 재활 콘텐츠를 제공하고, 상기 제공된 난청 재활 콘텐츠의 오디오 퀴즈에 대한 사용자 응답 데이터를 획득하고, 상기 획득된 사용자 응답 데이터의 정답 여부를 판단하는 정오 처리 프로세스를 수행하고, 상기 수행된 정오 처리 프로세스의 결과를 제공한다.
본 발명의 실시예에 따른 난청환자 재활교육용 챗봇 제공 방법 및 그 시스템은, 난청환자의 음성언어 인지처리를 보정하기 위한 대화형 청각 재활교육 콘텐츠를 제공하는 난청환자 재활교육용 챗봇(chatbot)을 구현함으로써, 난청 재활교육에 최적화된 대화형 방식으로 언제 어디서나 손 쉽게 난청 재활교육 프로세스를 제공할 수 있는 효과가 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 난청환자 재활교육용 챗봇 제공 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 단말의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 난청환자 재활교육용 챗봇 제공 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 단어형 재활 콘텐츠를 설명하기 위한 도면의 일례이다.
도 5는 본 발명의 실시예에 따른 문장형 재활 콘텐츠를 설명하기 위한 도면의 일례이다.
도 6은 본 발명의 실시예에 따른 사용자 응답 데이터를 획득하는 방법을 설명하기 위한 도면의 일례이다.
도 7은 본 발명의 실시예에 따른 인식오류 감지 프로세스를 설명하기 위한 도면의 일례이다.
도 2는 본 발명의 실시예에 따른 단말의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 난청환자 재활교육용 챗봇 제공 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 단어형 재활 콘텐츠를 설명하기 위한 도면의 일례이다.
도 5는 본 발명의 실시예에 따른 문장형 재활 콘텐츠를 설명하기 위한 도면의 일례이다.
도 6은 본 발명의 실시예에 따른 사용자 응답 데이터를 획득하는 방법을 설명하기 위한 도면의 일례이다.
도 7은 본 발명의 실시예에 따른 인식오류 감지 프로세스를 설명하기 위한 도면의 일례이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 난청환자 재활교육용 챗봇 제공 시스템의 개념도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 난청환자 재활교육용 챗봇 제공 시스템(10)은, 난청환자의 음성언어 인지처리를 보정하기 위한 대화형 청각 재활교육 콘텐츠를 제공하는 난청환자 재활교육용 챗봇 제공 서비스(이하, 난청 재활용 챗봇 서비스)를 제공할 수 있다.
실시예에서, 위와 같은 난청 재활용 챗봇 서비스를 제공하는 난청환자 재활교육용 챗봇 제공 시스템은, 단말(100), 재활 콘텐츠 제공서버(200) 및 네트워크(300: Network)를 포함할 수 있다.
이때, 상기 단말(100) 및 재활 콘텐츠 제공서버(200)는, 상기 네트워크(300)를 통하여 연결될 수 있다.
여기서, 실시예에 따른 상기 네트워크(300)는, 단말(100) 및/또는 재활 콘텐츠 제공서버(200) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(300)의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
이하, 첨부된 도면을 참조하여 난청환자 재활교육용 챗봇 제공 시스템을 구현하는 단말(100) 및 재활 콘텐츠 제공서버(200)에 대해 상세히 설명한다.
- 단말(100: Terminal)
본 발명의 실시예에 따른 단말(100)은, 난청 재활용 챗봇 서비스를 제공하는 챗봇 애플리케이션이 설치된 소정의 컴퓨팅 디바이스일 수 있다.
자세히, 하드웨어적 관점에서 단말(100)은, 챗봇 애플리케이션이 설치된 모바일 타입 컴퓨팅 장치(100-1) 및/또는 데스크탑 타입 컴퓨팅 장치(100-2) 등을 포함할 수 있다.
여기서, 모바일 타입 컴퓨팅 장치(100-1)는, 챗봇 애플리케이션이 설치된 스마트 폰이나 테블릿 PC와 같은 모바일 장치일 수 있다.
예를 들어, 모바일 타입 컴퓨팅 장치(100-1)는, 스마트 폰(smart phone), 휴대폰, 디지털방송용 단말(100)기, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC) 등이 포함될 수 있다.
또한, 데스크탑 타입 컴퓨팅 장치(100-2)는, 챗봇 애플리케이션이 설치된 고정형 데스크탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 난청 재활용 챗봇 서비스를 실행하기 위한 프로그램이 설치된 장치 등을 포함할 수 있다.
또한, 실시예에 따라서 단말(100)은, 난청 재활용 챗봇 서비스 환경을 제공하는 소정의 서버(Server) 컴퓨팅 디바이스를 더 포함할 수도 있다.
도 2는 본 발명의 실시예에 따른 단말(100)의 내부 블록도이다.
한편, 도 2를 참조하면, 기능적 관점에서 단말(100)은, 메모리(110), 프로세서 어셈블리(120), 통신 모듈(130), 인터페이스 모듈(140), 입력 시스템(150), 센서 시스템(160) 및 디스플레이 시스템(170)을 포함할 수 있다. 이러한 구성요소들은 단말(100)의 하우징 내에 포함되도록 구성될 수 있다.
자세히, 메모리(110)에는, 챗봇 애플리케이션(111)이 저장되며, 챗봇 애플리케이션(111)은 난청 재활용 챗봇 서비스 환경을 제공하기 위한 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.
즉, 메모리(110)는, 난청 재활용 챗봇 서비스 환경을 생성하기 위하여 사용될 수 있는 명령 및 데이터를 저장할 수 있다.
또한, 상기 메모리(110)는, 프로그램 영역과 데이터 영역을 포함할 수 있다.
여기서, 실시예에 따른 프로그램 영역은, 단말(100)을 부팅하는 운영체제(OS: Operating System) 및 기능요소들 사이에 연계될 수 있으며, 데이터 영역은, 단말(100)의 사용에 따라 발생하는 데이터가 저장될 수 있다.
또한, 메모리(110)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다.
예를 들어, 메모리(110)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet) 상에서 상기 메모리(110)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.
프로세서 어셈블리(120)는, 난청 재활용 챗봇 서비스 환경을 생성하기 위한 다양한 작업을 수행하기 위해, 메모리(110)에 저장된 챗봇 애플리케이션(111)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.
실시예에서 프로세서 어셈블리(120)는, 난청 재활용 챗봇 서비스를 제공하기 위하여 메모리(110)의 챗봇 애플리케이션(111)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다.
이러한 프로세서 어셈블리(120)는, 중앙처리장치(CPU) 및/또는 그래픽처리장치(GPU) 등이 포함된 단말(100)에 적합한 시스템 온 칩(SOC)일 수 있으며, 메모리(110)에 저장된 운영체제(OS) 및/또는 애플리케이션 프로그램 등을 실행할 수 있고, 단말(100)에 탑재된 각 구성요소들을 제어할 수 있다.
또한, 프로세서 어셈블리(120)는, 각 구성요소와 내부적으로 시스템 버스(System Bus)에 의해 통신을 수행할 수 있고, 로컬 버스(Local Bus)를 비롯한 소정의 버스 구조들을 하나 이상 포함할 수 있다.
또한, 프로세서 어셈블리(120)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.
통신 모듈(130)은, 외부의 장치와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(130)은, 무선 네트워크를 통해 통신할 수 있다.
자세히, 통신 모듈(130)은, 난청 재활용 챗봇 서비스 환경을 구현하기 위한 콘텐츠 소스를 저장한 단말(100)과 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다.
실시예에서, 통신 모듈(130)은, 난청 재활용 챗봇 서비스와 관련된 각종 데이터를 타 단말(100) 및/또는 외부의 서버 등과 송수신할 수 있다.
이러한 통신 모듈(130)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말(100), 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.
센서 시스템(160)은, 이미지 센서(161), 위치 센서(IMU, 163), 오디오 센서(165), 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다.
여기서, 이미지 센서(161)는, 단말(100) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다.
실시예에서, 이미지 센서(161)는, 난청 재활용 챗봇 서비스와 관련된 영상(예컨대, 사용자 영상 등)을 촬영하여 획득할 수 있다.
또한, 이미지 센서(161)는, 단말(100)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 단말(100)의 외부를 향해 배치된 카메라를 통해 물리적 공간을 촬영할 수 있다.
이러한 이미지 센서(161)는, 이미지 센서장치와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(161)는, 이미지 센서장치(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.
또한, 이미지 센서(161)는, 영상 처리 모듈을 이용하여 이미지 센서장치를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.
이러한 이미지 센서(161)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다.
또한, 위와 같은 이미지 센서(161)는, 실시예에 따라서 단말(100)에 포함되어 동작할 수도 있고, 외부의 장치(예컨대, 외부의 서버 등)에 포함되어 상술된 통신 모듈(130) 및/또는 인터페이스 모듈(140)에 기초한 연동을 통하여 동작할 수도 있다.
위치 센서(IMU, 163)는, 단말(100)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어질 수 있다.
또한, 위치 센서(IMU, 163)는, 통신 모듈(130)의 GPS와 같은 위치 통신 모듈(130)과 연동하여, 단말(100) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다.
오디오 센서(165)는, 단말(100) 주변의 소리를 인식할 수 있다.
자세히, 오디오 센서(165)는, 단말(100)을 사용하는 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다.
실시예에서 오디오 센서(165)는 난청 재활용 챗봇 서비스를 위해 필요한 음성 데이터를 사용자로부터 입력 받을 수 있다.
인터페이스 모듈(140)은, 단말(100)을 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. 자세히, 인터페이스 모듈(140)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다.
이러한 인터페이스 모듈(140)을 통해 단말(100)은, 여러 입출력 장치들과 연결될 수 있다.
예를 들어, 인터페이스 모듈(140)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다.
예시적으로 오디오 출력장치가 인터페이스 모듈(140)을 통해 연결되는 것으로 설명하였으나, 단말(100) 내부에 설치되는 실시예도 포함될 수 있다.
또한, 예를 들면 인터페이스 모듈(140)은, 키보드 및/또는 마우스와 같은 입력장치와 연결되어, 사용자 입력을 획득할 수 있다.
예시적으로 키보드 및/또는 마우스가 인터페이스 모듈(140)을 통해 연결되는 것으로 설명하였으나, 단말(100) 내부에 설치되는 실시예도 포함될 수 있다.
이러한 인터페이스 모듈(140)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다.
입력 시스템(150)은 난청 재활용 챗봇 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.
자세히, 입력 시스템(150)은 소정의 버튼, 터치 센서 및/또는 사용자 모션 입력을 수신하는 이미지 센서(161) 등을 포함할 수 있다.
또한, 입력 시스템(150)은, 인터페이스 모듈(140)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다.
디스플레이 시스템(170)은, 난청 재활용 챗봇 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.
실시예로, 디스플레이 시스템(170)은, 난청환자 재활교육용 챗봇 사용자 인터페이스(UI, User Interface), 난청 재활 콘텐츠 및/또는 콘텐츠 관리 시스템(CMS: Content Management System) 기반 데이터 등을 표시할 수 있다.
이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
이러한 단말(100)의 하우징 내에는 상기 구성요소들이 배치될 수 있으며, 사용자 인터페이스는 사용자 터치 입력을 수신하도록 구성된 디스플레이(171) 상에 터치 센서(173)를 포함할 수 있다.
자세히, 디스플레이 시스템(170)은, 이미지를 출력하는 디스플레이(171)와, 사용자의 터치 입력을 감지하는 터치 센서(173)를 포함할 수 있다.
예시적으로 디스플레이(171)는 터치 센서(173)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다. 이러한 터치 스크린은, 단말(100)과 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 단말(100)과 사용자 사이의 출력 인터페이스를 제공할 수 있다.
한편, 본 발명의 실시예에 따른 단말(100)은, 소정의 딥러닝 모델(Deep learning model)과 연동하여 난청 재활용 챗봇 서비스에 필요한 딥러닝을 수행할 수 있다.
여기서, 실시예에 따른 상기 딥러닝 모델은, STT(Speech-to-text) 딥러닝 모델, Speech recognition 딥러닝 모델, HMM(Hidden Markov Model) 기반 딥러닝 모델 및/또는 LSTM(Long Short-Term Memory) 기반 딥러닝 모델 등을 포함할 수 있다.
또한, 실시예에 따라서 단말(100)은, 후술되는 재활 콘텐츠 제공서버(200)에서 수행하는 기능 동작의 적어도 일부를 더 수행할 수도 있다.
- 재활 콘텐츠 제공서버(200: Rehabilitation content providing server)
한편, 본 발명의 실시예에 따른 재활 콘텐츠 제공서버(200)는, 난청 재활용 챗봇 서비스를 제공하기 위한 일련의 프로세스를 수행할 수 있다.
자세히, 실시예에서 재활 콘텐츠 제공서버(200)는, 단말(100)과 같은 외부의 장치에서 난청환자 재활교육용 챗봇 제공 프로세스가 구동되게 하기 위해 필요한 데이터를, 상기 외부의 장치와 교환함으로써 상기 난청 재활용 챗봇 서비스를 제공할 수 있다.
보다 상세히, 실시예에서 재활 콘텐츠 제공서버(200)는, 외부의 장치(실시예에서, 모바일 타입 컴퓨팅 장치(100-1) 및/또는 데스크탑 타입 컴퓨팅 장치(100-2) 등)에서 챗봇 애플리케이션(111)이 동작할 수 있는 환경을 제공할 수 있다.
이를 위해, 재활 콘텐츠 제공서버(200)는, 챗봇 애플리케이션(111)이 동작하기 위한 응용 프로그램, 데이터 및/또는 명령어 등을 포함할 수 있고, 이에 기초한 데이터를 상기 외부의 장치와 송수신할 수 있다.
또한, 실시예에서 재활 콘텐츠 제공서버(200)는, 난청 재활 콘텐츠를 제공하는 난청환자 재활교육용 챗봇(chatbot)을 실행할 수 있다.
여기서, 실시예에 따른 상기 난청 재활 콘텐츠는, 난청환자의 음성언어 인지처리를 보정하기 위한 청각 재활교육을 목적으로 하는 학습 콘텐츠일 수 있다.
또한, 실시예에서 재활 콘텐츠 제공서버(200)는, 상기 실행된 난청환자 재활교육용 챗봇을 기초로 난청 재활 콘텐츠 유형을 결정할 수 있다.
여기서, 실시예에 따른 상기 난청 재활 콘텐츠 유형이란, 상기 난청 재활 콘텐츠를 기초로 제공되는 문제의 형태를 특정하는 정보일 수 있다.
또한, 실시예에서 재활 콘텐츠 제공서버(200)는, 상기 결정된 난청 재활 콘텐츠 유형에 따른 난청 재활 콘텐츠를 외부의 장치(실시예에서, 단말(100) 등)로 제공할 수 있다.
또한, 실시예에서 재활 콘텐츠 제공서버(200)는, 상기 제공된 난청 재활 콘텐츠에 기초한 사용자 응답 데이터를 획득할 수 있다.
또한, 실시예에서 재활 콘텐츠 제공서버(200)는, 상기 획득된 사용자 응답 데이터에 기초한 정오 처리 프로세스를 실행할 수 있다.
여기서, 실시예에 따른 상기 정오 처리 프로세스는, 상기 획득된 사용자 응답 데이터가 정답인지 오답인지 여부를 판단하는 프로세스를 의미할 수 있다.
또한, 실시예에서 재활 콘텐츠 제공서버(200)는, 상기 난청 재활 콘텐츠에 기초한 정오 처리 결과를 제공할 수 있다.
또한, 실시예에서 재활 콘텐츠 제공서버(200)는, 사용자 맞춤형 딥러닝 모델 학습을 수행할 수 있다.
자세히, 실시예에서 재활 콘텐츠 제공서버(200)는, 소정의 딥러닝 모델(Deep learning model)과 연동하여 난청 재활용 챗봇 서비스에 필요한 딥러닝을 수행할 수 있다.
보다 상세히, 실시예에서 재활 콘텐츠 제공서버(200)는, 상기 딥러닝을 수행하기 위해 구축되어 있는 소정의 딥 뉴럴 네트워크 구동 프로그램을 메모리 모듈(230)로부터 독출하여, 상기 독출된 소정의 딥 뉴럴 네트워크 시스템에 따라 하기 기술하는 딥러닝을 수행할 수 있다.
여기서, 실시예에 따른 상기 딥러닝 모델은, STT(Speech-to-text) 딥러닝 모델, Speech recognition 딥러닝 모델, HMM(Hidden Markov Model) 기반 딥러닝 모델 및/또는 LSTM(Long Short-Term Memory) 기반 딥러닝 모델 등을 포함할 수 있다.
이때, 실시예에 따라서 위와 같은 딥러닝 모델은, 재활 콘텐츠 제공서버(200)에 직접 포함되거나, 또는 재활 콘텐츠 제공서버(200)와는 별도의 장치 및/또는 서버로서 구현되어 상기 난청 재활용 챗봇 서비스를 위한 딥러닝을 수행할 수 있다.
이하의 설명에서는, 딥러닝 모델이 재활 콘텐츠 제공서버(200)에 포함되어 구현되는 것으로 설명하나 이에 한정되는 것은 아니다.
또한, 실시예에서 재활 콘텐츠 제공서버(200)는, 위와 같은 딥러닝 모델을 사용자 개개인의 특성(실시예에서, 사용자의 발음 특성 등)에 최적화된 맞춤형 딥러닝 모델로 학습시킬 수 있다.
또한, 실시예에서 재활 콘텐츠 제공서버(200)는, 난청 재활용 챗봇 서비스를 구현하기 위한 각종 응용 프로그램, 명령어 및/또는 데이터 등을 저장하고 관리할 수 있다.
실시예로, 재활 콘텐츠 제공서버(200)는, 적어도 하나 이상의 난청 재활 콘텐츠, 난청 재활 콘텐츠 유형, 사용자 응답 데이터, 정오(正誤) 처리 결과 데이터 및/또는 소정의 딥러닝 모델 등을 저장 및 관리할 수 있다.
한편, 도 1을 더 참조하면, 실시예에서 위와 같은 재활 콘텐츠 제공서버(200)는, 데이터 처리를 위한 적어도 하나 이상의 프로세서 모듈(210: Processor Module)과, 외부의 장치와의 데이터 교환을 위한 적어도 하나 이상의 커뮤니케이션 모듈(220: Communication Module)과, 난청 재활용 챗봇 서비스의 제공을 위한 각종 응용 프로그램, 데이터 및/또는 명령어들을 저장하는 적어도 하나 이상의 메모리 모듈(230: Memory Module)을 포함하는 소정의 컴퓨팅 장치로 구현될 수 있다.
여기서, 상기 메모리 모듈(230)은, 난청 재활용 챗봇 서비스를 제공하기 위한 운영체제(OS), 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.
또한, 상기 메모리 모듈(230)은, 프로그램 영역과 데이터 영역을 포함할 수 있다.
여기서, 실시예에 따른 프로그램 영역은, 서버를 부팅하는 운영체제(OS: Operating System) 및 기능요소들 사이에 연계될 수 있으며, 데이터 영역은, 서버의 사용에 따라 발생하는 데이터가 저장될 수 있다.
실시예에서, 이러한 메모리 모듈(230)은, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리 모듈(230)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.
또한, 메모리 모듈(230)은, 서버 상에 탈착 가능한 형태의 기록매체일 수 있다.
한편, 상기 프로세서 모듈(210)은, 난청 재활용 챗봇 서비스를 구현하기 위하여 전술한 각 유닛(unit)의 전반적인 동작을 컨트롤할 수 있다.
이러한 프로세서 모듈(210)은, 중앙처리장치(CPU) 및/또는 그래픽처리장치(GPU) 등이 포함된 서버에 적합한 시스템 온 칩(SOC)일 수 있으며, 메모리 모듈(230)에 저장된 운영체제(OS) 및/또는 애플리케이션 프로그램 등을 실행할 수 있고, 서버에 탑재된 각 구성요소들을 제어할 수 있다.
또한, 프로세서 모듈(210)은, 각 구성요소와 내부적으로 시스템 버스(System Bus)에 의해 통신을 수행할 수 있고, 로컬 버스(Local Bus)를 비롯한 소정의 버스 구조들을 하나 이상 포함할 수 있다.
또한, 프로세서 모듈(210)은, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
이상의 설명에서는, 본 발명의 실시예에 따른 재활 콘텐츠 제공서버(200)가 상술된 바와 같은 기능 동작을 수행한다고 설명하였으나, 실시예에 따라서 재활 콘텐츠 제공서버(200)에서 수행하는 기능 동작의 적어도 일부를 외부의 장치(예컨대, 단말(100) 등)에서 수행할 수도 있고, 상기 외부의 장치에서 수행하는 기능 동작의 적어도 일부를 상기 재활 콘텐츠 제공서버(200)에서 더 수행할 수도 있는 등 다양한 실시예가 가능할 수 있다.
- 난청환자 재활교육용 챗봇 제공 방법
이하, 본 발명의 실시예에 따른 단말(100)의 적어도 하나 이상의 프로세서에 의하여 실행되는 챗봇 애플리케이션(111)이 난청환자의 음성언어 인지처리를 보정하기 위한 대화형 청각 재활교육 콘텐츠를 제공하는 방법을 첨부된 도 3 내지 도 7을 참조하여 상세히 설명한다.
본 발명의 실시예에서 상기 단말(100)의 적어도 하나 이상의 프로세서는, 적어도 하나 이상의 메모리(110)에 저장된 적어도 하나 이상의 챗봇 애플리케이션(111)을 실행하거나 백그라운드 상태로 동작하게 할 수 있다.
이하, 상기 적어도 하나 이상의 프로세서가, 상기 챗봇 애플리케이션(111)의 명령어를 실행하기 위해 동작하여 상술된 난청 재활용 챗봇 서비스를 제공하는 방법을 수행하는 것을 상기 챗봇 애플리케이션(111)이 수행하는 것으로 단축하여 설명한다.
도 3은 본 발명의 실시예에 따른 난청환자 재활교육용 챗봇 제공 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 실시예에서 상기 단말(100)의 적어도 하나 이상의 프로세서에 의하여 실행되거나 백그라운드 상태로 동작하는 챗봇 애플리케이션(111)은, 난청 재활 콘텐츠를 제공하는 난청환자 재활교육용 챗봇(chatbot)을 실행할 수 있다. (S101)
여기서, 실시예에 따른 상기 난청 재활 콘텐츠란, 난청환자의 음성언어 인지처리를 보정하기 위한 청각 재활교육을 목적으로 하는 학습 콘텐츠일 수 있다.
실시예에서 이러한 난청 재활 콘텐츠는, 소정의 음성 데이터에 기초한 문제(이하, 오디오 퀴즈)를 제공하고 이에 대한 사용자(실시예에서, 난청환자)의 응답을 획득하여 정오(正誤) 처리를 수행할 수 있는 질의응답 방식의 학습 콘텐츠를 포함할 수 있다.
즉, 실시예에서 챗봇 애플리케이션(111)은, 위와 같은 난청 재활 콘텐츠를 기반으로 사용자(실시예에서, 난청환자)와 대화 방식(즉, 채팅형 프로그램 방식)의 난청 재활교육을 수행할 수 있는 난청환자 재활교육용 챗봇을 실행할 수 있다.
또한, 실시예에서 챗봇 애플리케이션(111)은, 상기 실행된 난청환자 재활교육용 챗봇에 기초하여 난청 재활 콘텐츠 유형을 결정할 수 있다. (S103)
여기서, 실시예에 따른 상기 난청 재활 콘텐츠 유형이란, 상기 난청 재활 콘텐츠를 기초로 제공되는 문제의 형태를 특정하는 정보일 수 있다.
실시예에서, 이러한 난청 재활 콘텐츠 유형은, 소정의 단어 단위로 문제를 제공하는 단어형 문제유형 및/또는 소정의 문장 단위로 문제를 제공하는 문장형 문제유형을 포함할 수 있다.
자세히, 실시예에서 챗봇 애플리케이션(111)은, 상기 난청 재활 콘텐츠의 유형을 선택할 수 있는 사용자 인터페이스를 제공할 수 있다.
또한, 챗봇 애플리케이션(111)은, 상기 제공된 사용자 인터페이스에 기초한 사용자(실시예예서, 난청환자)의 선택입력을 토대로 상기 난청 재활 콘텐츠 유형을 결정할 수 있다.
또한, 실시예에서 챗봇 애플리케이션(111)은, 상기 결정된 난청 재활 콘텐츠 유형에 따른 난청 재활 콘텐츠를 제공할 수 있다. (S105)
자세히, 실시예에서 챗봇 애플리케이션(111)은, 상기 결정된 난청 재활 콘텐츠 유형으로 구분되는 적어도 하나의 난청 재활 콘텐츠를 메모리(110) 및/또는 외부의 데이터베이스(예컨대, 재활 콘텐츠 제공서버(200)의 메모리 모듈(230) 등)로부터 독출할 수 있다. 이하에서는, 상기 난청 재활 콘텐츠를 상기 메모리(110)에 기반하여 저장 및 관리한다고 설명하나 이에 제한되는 것은 아니다.
또한, 챗봇 애플리케이션(111)은, 상기 독출된 적어도 하나의 난청 재활 콘텐츠를 상기 난청환자 재활교육용 챗봇에 기반하여 제공할 수 있다.
보다 상세히, 실시예에서 챗봇 애플리케이션(111)은, 적어도 하나 이상의 난청 재활 콘텐츠를 복수의 문제유형(실시예에서, 단어형 문제유형 및/또는 문장형 문제유형 등)에 따라서 분류하여 메모리(110)에 기 저장할 수 있다.
또한, 실시예에서 챗봇 애플리케이션(111)은, 사용자(실시예에서, 난청환자) 입력에 따라서 결정된 난청 재활 콘텐츠 유형에 포함되는 적어도 하나의 난청 재활 콘텐츠를 상기 메모리(110)로부터 독출할 수 있다.
또한, 실시예에서 챗봇 애플리케이션(111)은, 상기 독출된 난청 재활 콘텐츠를 상기 난청환자 재활교육용 챗봇에 기초하여 디스플레이 출력해 제공할 수 있다.
이때, 실시예에서 챗봇 애플리케이션(111)은, 해당하는 난청 재활 콘텐츠 유형에 따라서 서로 다른 방식의 문제를 제공할 수 있다.
도 4는 본 발명의 실시예에 따른 단어형 재활 콘텐츠를 설명하기 위한 도면의 일례이다.
구체적으로, 도 4를 참조하면, 실시예에서 챗봇 애플리케이션(111)은, 1) 단어형 문제유형인 난청 재활 콘텐츠(이하, 단어형 재활 콘텐츠(30))인 경우, 문제 안내 텍스트(41), 오디오 퀴즈 시작버튼(42) 및 객관식 선택문항(43)을 포함하는 사용자 인터페이스를 제공할 수 있다.
여기서, 실시예에 따른 상기 문제 안내 텍스트(41)란, 해당하는 단어형 재활 콘텐츠(30)의 질의응답 방식을 설명하는 소정의 텍스트일 수 있다.
또한, 실시예에 따른 상기 오디오 퀴즈 시작버튼(42)이란, 해당 시작버튼에 대한 사용자(실시예에서, 난청환자) 입력 획득시 해당 단어형 재활 콘텐츠(30)에서 제공하는 오디오 퀴즈를 출력할 수 있는 트리거 인터페이스일 수 있다.
또한, 실시예에 따른 상기 객관식 선택문항(43)이란, 상기 오디오 퀴즈에 대한 사용자(실시예에서, 난청환자)의 응답을 복수의 선택지 중에 하나로 결정할 수 있는 답안 선택 인터페이스일 수 있다.
예를 들면, 챗봇 애플리케이션(111)은, '지금부터 반복해서 말하는 단어를 잘 듣으시고 아래에 표시되는 단어 중 듣으신 단어를 찾아 손으로 터치해 주세요.'와 같은 문제 안내 텍스트(41)와 '시작하기'와 같은 오디오 퀴즈 시작버튼(42) 그리고 '카드, 하드, 사드 및 기도'와 같은 복수의 선택지를 포함하는 객관식 선택문항(43)을 제공할 수 있다.
또한, 실시예에서 챗봇 애플리케이션(111)은, 상기 오디오 퀴즈 시작버튼(42)에 대한 사용자 입력 획득 시, 소정의 오디오 퀴즈를 출력할 수 있다.
이때, 실시예에 따라서 챗봇 애플리케이션(111)은, 상기 오디오 퀴즈 시작버튼(42)이 한번 선택된 이후에는 다시듣기 버튼으로 표시를 변경하여 제공할 수 있다.
그리고 챗봇 애플리케이션(111)은, 상기 다시듣기 버튼이 사용자 입력에 따라서 선택되면, 해당하는 오디오 퀴즈를 소정의 횟수만큼 리플레이하여 제공할 수 있다.
또한, 실시예에서 챗봇 애플리케이션(111)은, 상기 오디오 퀴즈가 출력되면 소정의 제한시간(예컨대, 5초 등)을 나타내는 타이머 인터페이스(44)를 제공할 수 있다.
이때, 실시예에서 챗봇 애플리케이션(111)은, 상기 소정의 제한시간 이내에 상기 객관식 선택문항(43) 중 적어도 하나를 선택하는 사용자(실시예에서, 난청환자) 입력이 획득되는지 여부를 판별할 수 있다.
그리고 챗봇 애플리케이션(111)은, 상기 소정의 제한시간 이내에 상기 사용자 입력이 획득되지 않으면, 후술되는 오답 처리 프로세스를 수행할 수 있다.
반면, 챗봇 애플리케이션(111)은, 상기 소정의 제한시간 이내에 상기 사용자 입력이 획득되면, 상기 객관식 선택문항(43) 중 해당 사용자 입력에 따라서 선택된 사용자 선택지에 기반한 정오 처리 프로세스를 수행할 수 있다.
여기서, 실시예에 따른 상기 정오 처리 프로세스란, 상기 선택된 사용자 선택지를 포함하는 사용자의 응답 입력이 정답인지 오답인지 여부를 판단하는 프로세스를 의미할 수 있다. 이에 대한 자세한 설명은 후술되는 S109 단계에서의 설명을 따른다.
또한, 실시예에서 챗봇 애플리케이션(111)은, 상기 정오 처리의 결과 오답으로 판정되면 오답 처리 프로세스를 실행할 수 있다.
자세히, 오답 처리 프로세스를 실행한 챗봇 애플리케이션(111)은, 오답 안내 텍스트(51), 넘어가기 버튼(52) 및 재시작 버튼(53)을 포함하는 사용자 인터페이스를 제공할 수 있다.
여기서, 실시예에 따른 상기 오답 안내 텍스트(51)란, 사용자(실시예에서, 난청환자)가 선택한 사용자 선택지가 오답임을 설명하는 소정의 텍스트일 수 있다.
예를 들면, 상기 오답 안내 텍스트(51)는, '틀렸습니다. 다시 잘 들으시고 맞춰보세요.'와 같은 소정의 텍스트일 수 있다.
또한, 실시예에 따른 상기 넘어가기 버튼(52)이란, 해당 넘어가기 버튼(52)에 대한 사용자(실시예에서, 난청환자) 입력 획득 시 다른 오디오 퀴즈를 기초로 단어형 재활 콘텐츠(30)를 제공할 수 있는 인터페이스일 수 있다.
이때, 챗봇 애플리케이션(111)은, 상기 넘어가기 버튼(52)이 선택되면 해당 문제를 오답 처리할 수 있다.
또한, 실시예에 따른 상기 재시작 버튼(53)이란, 해당 재시작 버튼(53)에 대한 사용자(실시예에서, 난청환자) 입력 획득 시 해당 오디오 퀴즈를 소정의 횟수만큼 추가 수행할 수 있는 인터페이스일 수 있다.
이때, 챗봇 애플리케이션(111)은, 상기 소정의 횟수를 초과하여 오답 처리가 수행되면 상기 재시작 버튼(53)에 기반한 추가 수행을 제한할 수 있다.
또한, 챗봇 애플리케이션(111)은, 상기 재시작 버튼(53)이 선택되어 문제를 다시 제공하는 경우, 해당 문제에 매칭되는 객관식 선택문항(43) 내 복수의 선택지의 순서를 재배치하여 제공할 수 있다.
반면, 실시예에서 챗봇 애플리케이션(111)은, 상기 정오 처리의 결과 오답으로 판정되면 정답 처리 프로세스를 실행할 수 있다.
자세히, 정답 처리 프로세스를 실행한 챗봇 애플리케이션(111)은, 해당 문제를 정답 처리하고 다른 오디오 퀴즈를 기초로 단어형 재활 콘텐츠(30)를 제공할 수 있다.
이와 같이, 챗봇 애플리케이션(111)은, 사용자(실시예에서, 난청환자)가 원하는 문제 형식에 따라서 난청 재활교육을 프로세스를 구현하는 난청 재활 콘텐츠를 챗봇을 통해 제공함으로써, 사용자가 원하는 학습 형태로 언제 어디서나 효과적인 난청 재활 훈련을 수행하게 할 수 있다.
여기서, 도 4의 (a)를 더 참조하면, 실시예에 따라서 챗봇 애플리케이션(111)은, 하나의 음성 데이터를 복수 회 반복하여 출력하는 방식으로 오디오 퀴즈를 제공하고, 상기 출력된 하나의 음성 데이터를 기초로 상기 객관식 선택문항(43) 내 일 선택지를 선택하는 사용자(실시예에서, 난청환자)의 응답을 획득하는 방식으로 단어형 재활 콘텐츠(30)를 제공할 수 있다.
예를 들면, 챗봇 애플리케이션(111)은, '하드, 하드, 하드'와 같이 소정의 음성 데이터를 3회 반복하는 방식으로 오디오 퀴즈를 제공하고, 이를 기초로 상기 객관식 선택문항(43) 내 일 선택지를 선택하는 사용자(실시예에서, 난청환자)의 응답을 획득하는 단어형 재활 콘텐츠(30)를 제공할 수 있다.
또는, 도 4의 (b)를 더 참조하면, 실시예에 따라서 챗봇 애플리케이션(111)은, 서로 다른 복수의 음성 데이터를 순차적으로 출력하는 방식으로 오디오 퀴즈를 제공하고, 상기 출력된 복수의 음성 데이터를 기초로 상기 객관식 선택문항(43) 내 복수의 선택지 중 적어도 하나 이상을 선택하는 사용자(실시예에서, 난청환자)의 응답을 획득하는 방식으로 단어형 재활 콘텐츠(30)를 제공할 수 있다.
예를 들면, 챗봇 애플리케이션(111)은, '하드, 카드, 가드, 미드'와 같은 소정의 음성 데이터를 순차적으로 출력하는 오디오 퀴즈를 제공하고, 이를 기초로 상기 객관식 선택문항(43) 내 적어도 하나 이상의 선택지를 선택하는 사용자(실시예에서, 난청환자)의 응답을 획득하는 단어형 재활 콘텐츠(30)를 제공할 수 있다.
이처럼, 챗봇 애플리케이션(111)은, 동일한 문제유형이더라도 다양한 방식으로 난청 재활교육을 위한 오디오 퀴즈를 제공하여 보다 다각화된 청각 트레이닝 프로세스를 구현할 수 있다.
도 5는 본 발명의 실시예에 따른 문장형 재활 콘텐츠를 설명하기 위한 도면의 일례이다.
한편, 도 5를 참조하면, 실시예에서 챗봇 애플리케이션(111)은, 2) 문장형 문제유형인 난청 재활 콘텐츠(이하, 문장형 재활 콘텐츠(60))인 경우, 문제 안내 텍스트(41), 오디오 퀴즈 시작버튼(42) 및 객관식 선택문항(43)을 포함하는 사용자 인터페이스를 제공할 수 있다. 이하, 상술된 설명과 중복되는 내용은 요약하거나 생략할 수 있다.
예를 들면, 챗봇 애플리케이션(111)은, '지금부터 이야기하는 내용을 잘 듣으시고 내용에 맞는 답변을 아래 문장 중에서 찾아서 손으로 터치해 주세요.'와 같은 문제 안내 텍스트(41)와 '시작하기'와 같은 오디오 퀴즈 시작버튼(42) 그리고 '제1 대화형 문장 텍스트, 제2 대화형 문장 텍스트, 제3 대화형 문장 텍스트 및 제4 대화형 문장 텍스트'와 같은 복수의 선택지를 포함하는 객관식 선택문항(43)을 제공할 수 있다.
또한, 실시예에서 챗봇 애플리케이션(111)은, 상기 오디오 퀴즈 시작버튼(42)에 대한 사용자 입력 획득 시, 소정의 오디오 퀴즈를 출력할 수 있다.
또한, 실시예에서 챗봇 애플리케이션(111)은, 상기 오디오 퀴즈가 출력되면 소정의 제한시간(예컨대, 5초 등)을 나타내는 타이머 인터페이스(44)를 제공할 수 있다.
그리고 챗봇 애플리케이션(111)은, 상기 소정의 제한시간 이내에 상기 사용자 입력이 획득되지 않으면, 오답 처리 프로세스를 수행할 수 있다.
반면, 챗봇 애플리케이션(111)은, 상기 소정의 제한시간 이내에 상기 사용자 입력이 획득되면, 상기 객관식 선택문항(43) 중 해당 사용자 입력에 따라서 선택된 사용자 선택지에 기반한 정오 처리 프로세스를 수행할 수 있다.
그리고 챗봇 애플리케이션(111)은, 상기 정오 처리의 결과에 따라서 오답 처리 프로세스 또는 정답 처리 프로세스를 실행할 수 있다.
이와 같이, 챗봇 애플리케이션(111)은, 사용자(실시예에서, 난청환자) 선택에 따라서 문장 형태의 오디오 퀴즈를 제공함으로써, 단어 단위의 음성인지 능력뿐만 아니라 일상생활에서 주고받는 대화 속 문맥이나 맥락 등에 따른 추론 능력까지 포괄하는 문장 단위의 대화 음성인지 능력 또한 체계적으로 학습시킬 수 있다.
보다 구체적으로, 실시예에서 챗봇 애플리케이션(111)은, 위와 같이 제공된 난청 재활 콘텐츠에 기초한 사용자 응답 데이터를 획득할 수 있다. (S107)
여기서, 실시예에 따른 상기 사용자 응답 데이터란, 상기 난청 재활 콘텐츠에 기반하여 제공되는 오디오 퀴즈에 기초한 사용자(실시예에서, 난청환자) 입력을 토대로 획득되는 응답 데이터를 의미할 수 있다.
도 6은 본 발명의 실시예에 따른 사용자 응답 데이터를 획득하는 방법을 설명하기 위한 도면의 일례이다.
자세히, 도 6의 (a)를 참조하면, 실시예로 챗봇 애플리케이션(111)은, 상기 객관식 선택문항(43)이 포함하는 복수의 선택지 중 적어도 하나를 선택하는 사용자 입력에 기초한 사용자 응답 데이터(이하, 사용자 선택지 입력)를 획득할 수 있다.
다른 실시예로, 도 6의 (b)를 참조하면, 챗봇 애플리케이션(111)은, 사용자의 음성 입력에 기초한 사용자 응답 데이터(이하, 사용자 음성 입력)을 획득할 수 있다.
자세히, 챗봇 애플리케이션(111)은, 상술된 오디오 퀴즈를 제공한 이후, 사용자(실시예에서, 난청환자)의 음성 입력을 획득하는 음성 인식(Speech recognition) 프로세스를 수행할 수 있다.
실시예로, 챗봇 애플리케이션(111)은, 음성 입력을 수행할 수 있는 음성입력 사용자 인터페이스(70)를 제공하고 이에 기초한 사용자 입력을 토대로 상기 사용자 음성 입력을 획득하는 음성 인식 프로세스를 수행할 수 있다.
이때, 챗봇 애플리케이션(111)은, 해당하는 난청 재활 콘텐츠가 단어형 재활 콘텐츠(30)이고 상기 획득된 사용자 음성 입력이 소정의 문장 형태이면, 상기 문장 형태의 사용자 음성 입력에 기초한 자연어 처리를 수행하여 단어 형태의 사용자 음성 입력으로 변환할 수 있다.
즉, 챗봇 애플리케이션(111)은, 사용자 응답이 소정의 단어 형태이어야 하는 단어형 재활 콘텐츠(30)에서 해당 사용자의 응답으로 소정의 문장형 음성 입력이 검출되면, 검출된 문장형 음성 입력을 단어형 음성 입력으로 변환할 수 있다.
자세히, 챗봇 애플리케이션(111)은, 상기 획득된 문장형 음성 입력을 상기 단어형 재활 콘텐츠(30)에 대한 정답 데이터에 기초하여 필터링할 수 있다.
실시예로, 챗봇 애플리케이션(111)은, 상기 정답 데이터에 대응되는 음성 데이터(이하, 대응 음성 데이터)를 상기 문장형 음성 입력으로부터 추출하고, 나머지 음성 데이터는 제거하는 필터링을 수행할 수 있다.
그리고 챗봇 애플리케이션(111)은, 위와 같이 필터링되어 추출된 대응 음성 데이터를 해당 사용자(실시예에서, 난청 환자)의 사용자 음성 입력으로 결정함으로써, 상기 문장형 음성 입력을 상기 단어형 음성 입력으로 변환할 수 있다.
예를 들면, 챗봇 애플리케이션(111)은, 해당 난청 재활 콘텐츠가 단어형 재활 콘텐츠(30)인 경우에 'OO 인 것 같은데'와 같은 문장형 음성 입력을 획득하면, 상기 단어형 재활 콘텐츠(30)에 대한 정답 데이터를 기초로 상기 문장형 음성 입력으로부터 'OO'만을 추출하고 '인 것 같은데'를 제거하는 자연어 처리를 수행할 수 있다. 또한, 본 예시에서 챗봇 애플리케이션(111)은, 위와 같이 자연어 처리되어 생성된 단어형 음성 입력을 해당 사용자(실시예에서, 난청환자)의 사용자 음성 입력으로 결정함으로써 사용자 음성 입력을 획득할 수 있다.
따라서, 챗봇 애플리케이션(111)은, 음성 입력 방식에 기반한 사용자 응답 데이터를 효율적으로 정제하여 보다 정확하게 감지할 수 있다.
또한, 실시예에서 챗봇 애플리케이션(111)은, 상기 획득된 사용자 응답 데이터에 기초한 정오 처리 프로세스를 실행할 수 있다. (S109)
여기서, 다시 말하자면, 실시예에 따른 상기 정오 처리 프로세스란, 상기 획득된 사용자 응답 데이터가 정답인지 오답인지 여부를 판단하는 프로세스를 의미할 수 있다.
자세히, 실시예에서 챗봇 애플리케이션(111)은, 1) 사용자 선택지 입력에 기초한 정오 처리 프로세스를 실행할 수 있다.
보다 상세히, 챗봇 애플리케이션(111)은, 상기 사용자 선택지 입력이 해당하는 난청 재활 콘텐츠의 정답 데이터와 일치하는지 여부를 판단할 수 있다.
또한, 챗봇 애플리케이션(111)은, 상기 사용자 선택지 입력과 상기 정답 데이터가 일치하면 정답 처리 프로세스를 실행하고, 상기 사용자 선택지 입력과 상기 정답 데이터가 불일치하면 오답 처리 프로세스를 실행할 수 있다.
예를 들면, 챗봇 애플리케이션(111)은, 해당 난청 재활 콘텐츠의 정답 데이터가 '하드'이고 상기 사용자 선택지 입력이 '하드'를 가리키면 정답 처리 프로세스를 실행하고, 그 역은 오답 처리 프로세스를 실행할 수 있다.
다른 실시예에서, 챗봇 애플리케이션(111)은, 2) 사용자 음성 입력에 기초한 정오 처리 프로세스를 실행할 수 있다.
자세히, 챗봇 애플리케이션(111)은, 상기 획득된 사용자 음성 입력을 텍스트로 변환할 수 있다.
실시예로, 챗봇 애플리케이션(111)은, 소정의 음성 데이터를 텍스트 데이터로 변환하는 공지된 딥러닝 모델(예컨대, STT(Speech-to-text) 딥러닝 모델 등)을 이용하여 상기 사용자 음성 입력을 텍스트로 변환할 수 있다.
이하의 설명에서는, 효과적인 설명을 위하여 STT 딥러닝 모델을 이용해 소정의 음성 데이터를 텍스트 데이터로 변환하는 것에 기준하여 설명하나 이에 한정되는 것은 아니며, 소정의 음성 데이터를 텍스트 데이터로 변환할 수 있는 알고리즘을 포함하는 어떠한 프로그램으로도 본 기능 동작을 수행할 수 있다.
이때, 챗봇 애플리케이션(111)은, 상기 STT 딥러닝 모델에 기초하여 상기 사용자 음성 입력을 복수의 후보 텍스트로 변환할 수 있다.
실시예로, 챗봇 애플리케이션(111)은, 상기 사용자 음성 입력(즉, 사용자 입력에 따른 음성 데이터)과 소정의 유사율을 가지는 복수의 후보 텍스트를 검출하여 상기 사용자 음성 입력을 변환할 수 있다.
예를 들면, 챗봇 애플리케이션(111)은, 제1 사용자 음성 입력에 대한 제1 후보 텍스트, 제2 후보 텍스트 및 제3 후보 텍스트를 검출하여 상기 사용자 음성 입력을 복수의 후보 텍스트로 변환할 수 있다.
또한, 챗봇 애플리케이션(111)은, 상기 복수의 후보 텍스트와 해당 난청 재활 콘텐츠의 정답 데이터를 비교하여 정답 유무를 판단할 수 있다.
실시예로, 챗봇 애플리케이션(111)은, 상기 복수의 후보 텍스트 중 하나와 상기 정답 데이터가 일치하면 정답 처리 프로세스를 실행할 수 있다.
반면, 챗봇 애플리케이션(111)은, 상기 복수의 후보 텍스트 모두와 상기 정답 데이터가 불일치하면 오답 처리 프로세스를 실행할 수 있다.
이와 같이, 챗봇 애플리케이션(111)은, 해당하는 오디오 퀴즈에 대한 응답을 나타내는 사용자 선택지 입력 및/또는 사용자 음성 입력의 정답 여부를 각 입력 형식에 최적화된 방법을 사용하여 판단함으로써, 효율적으로 보다 정확하게 정답 여부 판단 프로세스를 동작할 수 있음과 동시에 추후 해당 판단 결과를 다양하게 활용하여 난청 재활교육 서비스의 품질 또한 증진시킬 수 있다.
이때, 실시예에 따라서 챗봇 애플리케이션(111)은, 상기 복수의 후보 텍스트 모두와 상기 정답 데이터가 불일치할 시, 상기 복수의 후보 텍스트 각각과 상기 정답 데이터 간 일치율을 기초로 인식오류 감지 프로세스를 실행할 수 있다.
여기서, 실시예에 따른 상기 인식오류 감지 프로세스란, 상기 사용자 음성 입력을 기초로 정오 처리 프로세스를 수행할 시 상기 사용자 음성 입력에 대한 감지 오류를 최소화하기 위하여 상기 사용자 음성 입력을 점검하는 프로세스를 의미할 수 있다.
도 7은 본 발명의 실시예에 따른 인식오류 감지 프로세스를 설명하기 위한 도면의 일례이다.
자세히, 도 7을 참조하면, 실시예에서 챗봇 애플리케이션(111)은, 상기 복수의 후보 텍스트 중 적어도 하나가 상기 정답 데이터와의 일치율이 소정의 기준치 이상을 충족하면, 해당 난청 재활 콘텐츠에 기초하여 내입력 선택문항(80)을 제공할 수 있다.
이때, 실시예로 챗봇 애플리케이션(111)은, 텍스트 간 일치율을 출력으로 하는 공지된 딥러닝 알고리즘(예컨대, 소프트맥스 함수(Softmax function) 기반의 텍스트 분류 딥러닝 알고리즘 등) 등을 이용하여 상기 일치율을 획득할 수 있다.
또한, 여기서 실시예에 따른 상기 내입력 선택문항(80)이란, 사용자(실시예에서, 난청환자)가 입력하고자 한 상기 사용자 음성 입력이 무엇이었는지를 복수의 텍스트 기반 선택지 중에서 하나로 결정할 수 있는 사용자 인터페이스일 수 있다.
즉, 실시예에서 챗봇 애플리케이션(111)은, 상기 내입력 선택문항(80)을 토대로 사용자(실시예에서, 난청환자)가 자신이 발음하여 입력한 음성 데이터가 어떠한 텍스트를 의미하는 것인지를 선택하도록 질의할 수 있고, 이에 대한 응답을 획득할 수 있다.
이때, 실시예에서 챗봇 애플리케이션(111)은, 상기 복수의 텍스트 기반 선택지를 상기 복수의 후보 텍스트 중 상기 정답 데이터와 소정의 기준치 이상의 일치율을 가지는 메인 후보 텍스트, 상기 정답 데이터에 기초한 정답 텍스트, 상기 메인 후보 텍스트와 상기 정답 텍스트를 기초로 생성된 추가 텍스트 및 상기 메인 후보 텍스트 이외의 나머지 후보 텍스트 중 적어도 하나 이상에 기초하여 제공할 수 있다.
여기서, 챗봇 애플리케이션(111)은, 예시적으로 상기 추가 텍스트를 상기 메인 후보 텍스트 및 상기 정답 텍스트를 입력으로 하고 상기 텍스트들과 소정의 유사도를 가지는 소정의 텍스트를 출력으로 하는 딥러닝 모델을 기초로 생성할 수 있다.
예를 들면, 챗봇 애플리케이션(111)은, 상기 메인 후보 텍스트가 '아드'이고 상기 정답 텍스트가 '하드'이고, 상기 나머지 후보 텍스트가 '카드, 가드, 마드'인 경우, 상기 메인 후보 텍스트 및 상기 정답 텍스트를 토대로 '야드' 등을 포함하는 추가 텍스트를 생성할 수 있고, 상기 생성된 추가 텍스트와 상기 메인 후보 텍스트, 상기 정답 텍스트 및 상기 나머지 후보 텍스트를 상기 복수의 텍스트 기반 선택지로서 상기 내입력 선택문항(80)을 통해 제공할 수 있다.
또한, 실시예에서 챗봇 애플리케이션(111)은, 상기 내입력 선택문항(80) 내 적어도 하나의 텍스트 기반 선택지 중에서 적어도 하나를 선택하는 사용자(실시예에서, 난청환자) 입력을 획득할 수 있다.
또한, 챗봇 애플리케이션(111)은, 상기 획득된 사용자 입력에 따라서 선택된 텍스트 기반 선택지와 해당하는 정답 데이터가 일치하면 정답 처리 프로세스를 실행하고, 상기 사용자 선택지 입력과 상기 정답 데이터가 불일치하면 오답 처리 프로세스를 실행할 수 있다.
따라서, 챗봇 애플리케이션(111)은, 음성 입력 방식에 기초하여 획득되는 사용자 응답 데이터에 대한 감지오류를 최소화할 수 있고, 이를 통해 정오 처리 프로세스의 정확도를 향상시켜서 추후 제공되는 정오 처리 결과의 신뢰성을 제고할 수 있다.
또한, 실시예에서 챗봇 애플리케이션(111)은, 상기 난청 재활 콘텐츠에 기초한 정오 처리 결과를 제공할 수 있다. (S111)
자세히, 실시예에서 챗봇 애플리케이션(111)은, 상술된 바와 같이 수행된 난청 재활 콘텐츠에 기초한 정오 처리 프로세스의 결과를 소정의 방식에 따라서 디스플레이 출력하여 제공할 수 있다.
보다 상세히, 실시예로 챗봇 애플리케이션(111)은, 상기 난청 재활 콘텐츠를 통해 제공된 오디오 퀴즈에 대한 사용자 정답 유무, 사용자 응답 데이터 및/또는 정답 데이터 등을 콘텐츠 관리 시스템(CMS: Content Management System)에 기초하여 관리할 수 있다.
또한, 챗봇 애플리케이션(111)은, 상기 콘텐츠 관리 시스템을 기초로 관리되는 데이터들을 다양한 형태(예컨대, 그래프, 표, 차트 및/또는 보고서 형식 등)로 디스플레이 출력하여 제공할 수 있다.
그리하여 챗봇 애플리케이션(111)은, 사용자(실시예에서, 난청환자)가 자신이 수행한 난청 재활훈련의 결과를 쉽고 직관적으로 파악할 수 있는 시각화된 데이터를 제공할 수 있다.
또한, 실시예에서 챗봇 애플리케이션(111)은, 사용자 맞춤형 딥러닝 모델 학습을 수행할 수 있다. (S113)
자세히, 실시예에서 챗봇 애플리케이션(111)은, 상술된 난청 재활 콘텐츠를 기초로 사용자(실시예에서, 난청환자)에 대한 청각 재활교육을 수행하는 과정에서 획득되는 소정의 데이터에 기반하여, 상기 사용자 음성 입력을 텍스트화하여 감지하는 STT 딥러닝 모델을 상기 사용자의 음성 입력 특성에 최적화되도록 학습시킬 수 있다.
즉, 챗봇 애플리케이션(111)은, 상기 STT 딥러닝 모델이 해당하는 사용자(실시에에서, 난청환자)의 발음 특성을 고려하여 상기 사용자에 의한 음성 입력을 텍스트로 변환할 수 있는 사용자 맞춤형 STT 딥러닝 모델로 구현되도록 상기 STT 딥러닝 모델을 트레이닝할 수 있다.
보다 상세히, 실시예로 챗봇 애플리케이션(111)은, 상술된 복수의 후보 텍스트 중 상술된 정답 데이터와 일치하는 후보 텍스트(이하, 정답 후보 텍스트)와, 상기 정답 후보 텍스트에 대응되는 사용자 음성 입력 데이터를 상호 매칭하여 제1 트레이닝 데이터 셋을 생성할 수 있다.
또한, 실시예로 챗봇 애플리케이션(111)은, 상술된 내입력 선택문항(80) 내 복수의 텍스트 기반 선택지 중 해당 사용자(실시예에서, 난청환자) 입력에 따라서 선택된 텍스트 기반 선택지(이하, 정답 텍스트 선택지)와, 상기 정답 텍스트 선택지에 대응되는 사용자 음성 입력 데이터를 상호 매칭하여 제2 트레이닝 데이터 셋을 생성할 수 있다.
또한, 실시예에서 챗봇 애플리케이션(111)은, 위와 같이 생성된 제1 트레이닝 데이터 셋 및/또는 제2 트레이닝 데이터 셋에 기초하여 상기 STT 딥러닝 모델을 상기 사용자(실시예에서, 난청환자)의 발음 특성에 최적화되도록 학습시킬 수 있다.
즉, 챗봇 애플리케이션(111)은, 사용자 음성 입력(즉, 사용자 입력에 따른 음성 데이터)과 이에 대응되는 텍스트 데이터를 한 쌍으로 하는 적어도 하나 이상의 트레이닝 데이터 셋에 기반하여 해당 사용자 맞춤형 STT 딥러닝 모델을 학습시킬 수 있다.
이를 통해, 챗봇 애플리케이션(111)은, 사용자(실시예에서, 난청환자) 개개인의 발음 특성을 보다 소상하게 고려하여 상기 사용자의 음성 데이터를 이에 매칭되는 텍스트 데이터로 정확하게 변환할 수 있는 STT 딥러닝 모델을 구축 및 활용할 수 있다.
또한, 챗봇 애플리케이션(111)은, 이후 사용자 맞춤형으로 학습된 STT 딥러닝 모델을 이용하여 해당 사용자(실시예에서, 난청환자)에 대한 음성 응답 인식을 수행함으로써, 음성 입력 기반의 사용자 응답 데이터에 대한 감지 정확도를 보다 향상시킬 수 있고, 이에 따라서 난청 재활용 챗봇 서비스의 성능 또한 증진시킬 수 있다.
이상, 본 발명의 실시예에 따른 난청환자 재활교육용 챗봇 제공 방법 및 그 시스템은, 난청환자의 음성언어 인지처리를 보정하기 위한 대화형 청각 재활교육 콘텐츠를 제공하는 난청환자 재활교육용 챗봇을 구현함으로써, 난청 재활교육에 최적화된 대화형 방식으로 언제 어디서나 손 쉽게 난청 재활교육 프로세스를 제공할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
Claims (5)
- 단말의 적어도 하나의 프로세서에 의하여 실행되는 챗봇 애플리케이션이 난청환자 재활교육용 챗봇(chatbot)을 제공하는 방법으로서,
난청환자의 청각 재활교육용 대화형 학습 콘텐츠인 난청 재활 콘텐츠를 제공하는 챗봇을 실행하는 단계;
상기 실행된 챗봇을 기초로 상기 난청 재활 콘텐츠의 유형을 결정하는 단계;
상기 결정된 유형에 따른 난청 재활 콘텐츠를 제공하는 단계;
상기 제공된 난청 재활 콘텐츠의 오디오 퀴즈에 대한 사용자 응답 데이터를 획득하는 단계;
상기 획득된 사용자 응답 데이터의 정답 여부를 판단하는 정오 처리 프로세스를 수행하는 단계; 및
상기 수행된 정오 처리 프로세스의 결과를 제공하는 단계를 포함하고,
상기 사용자 응답 데이터를 획득하는 단계는,
상기 난청 재활 콘텐츠의 객관식 선택문항이 포함하는 복수의 선택지 중 적어도 하나를 선택하는 사용자 선택지 입력 및 상기 난청 재활 콘텐츠의 음성입력 사용자 인터페이스에 기초한 사용자 음성 입력 중 적어도 하나의 입력을 기초로 상기 사용자 응답 데이터를 획득하는 단계를 포함하고,
상기 정오 처리 프로세스를 수행하는 단계는,
상기 사용자 음성 입력을 소정의 딥러닝 모델을 이용하여 적어도 하나의 텍스트 데이터로 변환하는 단계와, 상기 적어도 하나의 텍스트 데이터와 상기 오디오 퀴즈의 정답 데이터를 비교하여 상기 정답 여부를 판단하는 단계와, 상기 적어도 하나의 텍스트 데이터가 모두 오답 처리되면 상기 적어도 하나의 텍스트 데이터 각각과 상기 정답 데이터 간 일치율을 획득하는 단계와, 상기 획득된 적어도 하나의 일치율 중 적어도 하나가 소정의 기준치 이상을 충족하면 내입력 선택문항을 제공하는 단계를 포함하고,
상기 내입력 선택문항은, 적어도 하나의 텍스트 선택지를 기초로 상기 사용자 음성 입력에 대응되는 텍스트를 선택하는 인터페이스를 포함하며,
상기 내입력 선택문항을 제공하는 단계는, 상기 적어도 하나의 텍스트 데이터와, 상기 정답 데이터와, 상기 텍스트 데이터 및 상기 정답 데이터와 소정의 유사도를 가지고 별도로 생성된 추가 텍스트 중 적어도 하나를 기초로 상기 텍스트 선택지를 제공하는 단계를 포함하고,
상기 사용자 음성 입력 및 상기 적어도 하나의 텍스트 데이터 중 상기 정답 데이터와 일치하는 텍스트 데이터에 기반한 제1 트레이닝 데이터 셋과, 상기 사용자 음성 입력 및 상기 내입력 선택문항의 인터페이스를 기초로 선택된 텍스트 선택지에 기반한 제2 트레이닝 데이터 셋 중 적어도 하나의 트레이닝 데이터 셋에 기초하여 상기 딥러닝 모델을 학습시키는 단계를 더 포함하는
난청환자 재활교육용 챗봇 제공 방법. - 제1 항에 있어서,
상기 난청 재활 콘텐츠는,
소정의 음성 데이터에 기초한 퀴즈인 상기 오디오 퀴즈를 기반으로 질의하고, 상기 오디오 퀴즈에 대한 사용자 응답 데이터를 획득하는 질의응답 방식의 학습 콘텐츠인
난청환자 재활교육용 챗봇 제공 방법. - 제2 항에 있어서,
상기 난청 재활 콘텐츠의 유형을 결정하는 단계는,
단어 단위의 오디오 퀴즈를 제공하는 단어형 문제유형 및 문장 단위의 오디오 퀴즈를 제공하는 문장형 문제유형 중 적어도 하나의 문제유형을 선택하는 단계를 포함하는
난청환자 재활교육용 챗봇 제공 방법. - 제1 항에 있어서,
상기 결정된 유형에 따른 난청 재활 콘텐츠를 제공하는 단계는,
문제 안내 텍스트, 오디오 퀴즈 시작버튼, 객관식 선택문항 및 타이머 인터페이스를 제공하는 단계를 포함하는
난청환자 재활교육용 챗봇 제공 방법. - 제1 항에 있어서,
상기 사용자 응답 데이터를 획득하는 단계는,
상기 난청 재활 콘텐츠의 객관식 선택문항이 포함하는 복수의 선택지 중 적어도 하나를 선택하는 사용자 선택지 입력 및 상기 난청 재활 콘텐츠의 음성입력 사용자 인터페이스에 기초한 사용자 음성 입력 중 적어도 하나의 입력을 기초로 상기 사용자 응답 데이터를 획득하는 단계를 포함하는
난청환자 재활교육용 챗봇 제공 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210173210A KR102572362B1 (ko) | 2021-12-06 | 2021-12-06 | 난청환자 재활교육용 챗봇 제공 방법 및 그 시스템 |
| PCT/KR2022/019734 WO2023106802A1 (ko) | 2021-12-06 | 2022-12-06 | 난청환자 재활교육용 챗봇 제공 방법 및 그 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210173210A KR102572362B1 (ko) | 2021-12-06 | 2021-12-06 | 난청환자 재활교육용 챗봇 제공 방법 및 그 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230084982A KR20230084982A (ko) | 2023-06-13 |
| KR102572362B1 true KR102572362B1 (ko) | 2023-08-30 |
Family
ID=86730879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210173210A KR102572362B1 (ko) | 2021-12-06 | 2021-12-06 | 난청환자 재활교육용 챗봇 제공 방법 및 그 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102572362B1 (ko) |
| WO (1) | WO2023106802A1 (ko) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3422644A1 (de) * | 1984-06-19 | 1985-12-19 | SMS Hasenclever Maschinenfabrik GmbH, 4000 Düsseldorf | Schmiedepresse in unterflurbauart |
| US9881515B2 (en) * | 2011-04-20 | 2018-01-30 | Sylvain Jean-Pierre Daniel Moreno | Cognitive training system and method |
| KR20160126297A (ko) * | 2015-04-23 | 2016-11-02 | 한림대학교 산학협력단 | 모바일 디바이스를 활용한 청능 훈련 시스템 및 방법 |
| KR102024221B1 (ko) * | 2018-01-15 | 2019-09-23 | 한림대학교 산학협력단 | 청각 기능 훈련 방법 및 장치 |
| KR101984991B1 (ko) * | 2018-10-15 | 2019-06-03 | 신수연 | 사용자 특성 기반의 청능 훈련 장치 |
| KR102179726B1 (ko) | 2019-01-28 | 2020-11-17 | 호남대학교 산학협력단 | 청각 재활 훈련 모듈 |
| KR20200129385A (ko) * | 2019-05-08 | 2020-11-18 | 김준한 | 청각 장애인을 위한 의사 소통 시스템 |
-
2021
- 2021-12-06 KR KR1020210173210A patent/KR102572362B1/ko active IP Right Grant
-
2022
- 2022-12-06 WO PCT/KR2022/019734 patent/WO2023106802A1/ko unknown
Non-Patent Citations (3)
| Title |
|---|
| 공개특허공보 제10-2019-0086868호(2019.7.24. 공개) 1부.* |
| 공개특허공보 제10-2020-0129385호(2020.11.18. 공개) 1부.* |
| 미국 특허출원공개공보 US2017/0046971호(2017.2.16.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230084982A (ko) | 2023-06-13 |
| WO2023106802A1 (ko) | 2023-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20170243582A1 (en) | Hearing assistance with automated speech transcription | |
| CN111226224B (zh) | 用于翻译语音信号的方法及电子设备 | |
| US11183187B2 (en) | Dialog method, dialog system, dialog apparatus and program that gives impression that dialog system understands content of dialog | |
| US20140379352A1 (en) | Portable assistive device for combating autism spectrum disorders | |
| KR20200059054A (ko) | 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법 | |
| US10540994B2 (en) | Personal device for hearing degradation monitoring | |
| EP3866160A1 (en) | Electronic device and control method thereof | |
| US11881229B2 (en) | Server for providing response message on basis of user's voice input and operating method thereof | |
| Tan et al. | iSocioBot: a multimodal interactive social robot | |
| US20200152304A1 (en) | Systems And Methods For Intelligent Voice-Based Journaling And Therapies | |
| Dhanjal et al. | Tools and techniques of assistive technology for hearing impaired people | |
| US20230316950A1 (en) | Self- adapting and autonomous methods for analysis of textual and verbal communication | |
| KR20190106269A (ko) | 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법 | |
| KR102419374B1 (ko) | 사용자 발화를 처리하는 전자 장치 및 그 전자 장치의 제어 방법 | |
| Alkhalifa et al. | Enssat: wearable technology application for the deaf and hard of hearing | |
| KR20200076439A (ko) | 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능 매체. | |
| Berger et al. | Prototype of a smart google glass solution for deaf (and hearing impaired) people | |
| US20220270617A1 (en) | Electronic device for supporting artificial intelligence agent services to talk to users | |
| KR20200066933A (ko) | 전자 장치 및 전자 장치의 제어 방법 | |
| KR102572362B1 (ko) | 난청환자 재활교육용 챗봇 제공 방법 및 그 시스템 | |
| US20230260534A1 (en) | Smart glass interface for impaired users or users with disabilities | |
| US20210385319A1 (en) | Systems and Methods for Detecting Voice Commands to Generate a Peer-to-Peer Communication Link | |
| KR20230083124A (ko) | 난청환자 재활용 온라인 교육 콘텐츠 제공 방법 및 그 시스템 | |
| KR102207006B1 (ko) | 글로벌 소셜 외국어 학습 제공 방법, 이를 수행하는 글로벌 소셜 외국어 학습 제공 서버, 및 이를 저장하는 기록매체 | |
| US20200357385A1 (en) | Information processing apparatus and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| E701 | Decision to grant or registration of patent right |