KR102245941B1 - 연속대화기반 언어발달장애 검사 시스템 및 그 방법 - Google Patents
연속대화기반 언어발달장애 검사 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102245941B1 KR102245941B1 KR1020190162452A KR20190162452A KR102245941B1 KR 102245941 B1 KR102245941 B1 KR 102245941B1 KR 1020190162452 A KR1020190162452 A KR 1020190162452A KR 20190162452 A KR20190162452 A KR 20190162452A KR 102245941 B1 KR102245941 B1 KR 102245941B1
- Authority
- KR
- South Korea
- Prior art keywords
- intention
- user
- speech
- conversation
- dialogue
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Neurology (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Educational Technology (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- General Physics & Mathematics (AREA)
- Social Psychology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Neurosurgery (AREA)
- Physiology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
본 발명은 연속대화기반 언어발달장애 검사에 관한 것으로서, 특히 언어치료사대신 프로그램이 아동의 발달장애 검사를 수행하기 위해 시스템과 사용자간의 연속적인 대화를 통해서 말따라하기, 그림맞추기, 그림보고 말하기를 수행하는 연속대화기반 언어발달장애 검사 시스템 및 그 방법에 관한 것이다.
사용자를 인식하는 사용자인식부, 사용자의 음성을 인식하고 텍스트로 변환하는 음성인식부, 발화 문장을 표출하는 음성합성부 및 말따라하기, 그림맞추기, 그림보고말하기 정보와 이미지 정보를 표시하고 관리하는 콘텐츠관리부가 구성되는 클라이언트; 그리고 상황별 대화시나리오 DB와 상황 장면 이미지정보 DB를 통해서, 사용자의 생활연령이나, 발달연령에 맞는 대화시나리오를 선택하여 발화 문장 형태의 대화시나리오를 작동하고 이미지 정보를 전달하는 대화관리부, 응답발화의 의도가 상황에 맞는지, 아닌지를 분석하는 의도분석부, 및 언어발달장애 여부를 판정하는 언어장애분석부가 구성되는 대화서버; 를 포함하여 구성되는 것을 특징으로 하는 연속대화기반 언어발달장애 검사 시스템
사용자를 인식하는 사용자인식부, 사용자의 음성을 인식하고 텍스트로 변환하는 음성인식부, 발화 문장을 표출하는 음성합성부 및 말따라하기, 그림맞추기, 그림보고말하기 정보와 이미지 정보를 표시하고 관리하는 콘텐츠관리부가 구성되는 클라이언트; 그리고 상황별 대화시나리오 DB와 상황 장면 이미지정보 DB를 통해서, 사용자의 생활연령이나, 발달연령에 맞는 대화시나리오를 선택하여 발화 문장 형태의 대화시나리오를 작동하고 이미지 정보를 전달하는 대화관리부, 응답발화의 의도가 상황에 맞는지, 아닌지를 분석하는 의도분석부, 및 언어발달장애 여부를 판정하는 언어장애분석부가 구성되는 대화서버; 를 포함하여 구성되는 것을 특징으로 하는 연속대화기반 언어발달장애 검사 시스템
Description
본 발명은 연속대화기반 언어발달장애 검사에 관한 것으로서, 더욱 상세하게는 언어치료사대신 프로그램이 아동의 발달장애 검사를 수행하기 위해 시스템과 사용자간의 연속적인 대화를 통해서 말따라하기, 그림맞추기, 그림보고 말하기를 수행하는 연속대화기반 언어발달장애 검사 시스템 및 그 방법에 관한 것이다.
정상 아동 중에 말이 느린 아동, 발달장애아동 등 의사소통문제로 일상생활을 못하는 경우가 많다. 현재 발달장애아동은 기관, 병원, 학교 등에서 작업치료사, 언어재활사, 언어치료사 등이 언어장애 진단과 치료를 수행하고 있지만, 전문 인력이 턱없이 부족한 실정이며, 매뉴얼화된 치료 방법이 없는 상황이다.
종래 기술로서, 본원의 출원인은 대화 시나리오를 SNS, 라디오, 방송에서 자동으로 수집하고, 수집된 시나리오를 온톨로지 관계로 표시하여 자연스러운 대화 전개 및 확장에 이용함으로써, 실시간 연속대화가 가능한 방법 및 시스템을 개발한 바 있다(KR 공개특허 2019-0103504 참조).
상기 온톨로지 대화 관계망을 이용한 연속 대화는 문장을 추출해서 질문과 답변으로 분류하고, 대화 시나리오를 생성하며, 대화 시나리오를 학습해서 시나리오 의미벡터를 구축하고, 시나리오 의미벡터의 의미관계를 추론해서 대화 관계망에 매핑한 후, 대화관계망에 매핑된 시나리오에 따라 연속대화를 전개하는 단계를 포함하여 구성된다.
그러나, 상기 대화 관계망을 이용한 연속 대화는 온톨로지 관계망 매핑 방식으로 시나리오 기반 또는 비시나리오 기반 하에 자연스러운 대화 전개와 확장에 의해 인간과 인공지능 사이의 실시간 연속대화가 가능하기는 하지만, 언어발달장애 아동의 대화능력 개선과 검사를 고려하지는 못한 한계가 있었다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로서, 언어치료사가 수행하는 발달장애검사를 가정에서도 편리하게 수행하도록 하여, 발달장애를 미리 파악하여 빠르게 치료를 유도하기 위해, 말따라하기, 그림맞추기, 그림보고 말하기를 수행할 수 있는 연속 대화시나리오를 구비하고, 상기 연속대화시나리오에 의거, 시스템이 발화를 표출하고, 사용자의 행동이나 발화를 분석해서 발달장애정도를 계산하고, 해당 발달장애 정도를 수치로 표시하는 연속대화기반 언어발달장애 검사 시스템 및 그 방법을 제공하는데 그 목적이 있다.
이와 같은 목적을 달성하기 위한 본 발명의 연속대화기반 언어발달장애 검사 시스템은 특정 상황 또는 특정 행동과 관련하여 클라이언트가 출력한 유도발화와 이미지에 대해 사용자가 응답발화를 출력하는 연속대화에 기반하여 언어발달장애를 검사하는 시스템에 있어서,사용자를 인식하는 사용자인식부, 사용자의 음성을 인식하고 텍스트로 변환하는 음성인식부, 발화 문장을 표출하는 음성합성부 및 말따라하기, 그림맞추기, 그림보고말하기 정보와 이미지 정보를 표시하고 관리하는 콘텐츠관리부가 구성되는 클라이언트; 그리고 상황별 대화시나리오 DB와 상황 장면 이미지정보 DB를 통해서, 사용자의 생활연령이나, 발달연령에 맞는 대화시나리오를 선택하여, 발화 문장 형태의 대화시나리오를 작동하고 이미지 정보를 전달하는 대화관리부, 응답발화의 의도가 상황에 맞는지, 아닌지를 분석하는 의도분석부, 및 언어발달장애 여부를 판정하는 언어장애분석부가 구성되는 대화서버; 를 포함하여 구성되는 것을 특징으로 한다.
그리고, 상기 의도분석부는 유도발화와 응답발화 각각의 문장을 시스템의도, 사용자의도로 표현하며, 하나의 의도는 동일한 의도를 가진 다양한 문장을 대표하도록 설정하는 것을 특징으로 한다.
또한, 상기 대화관리부는 유도발화에 대한 응답발화가 회피 의도 또는 착오 의도인 경우 유도발화를 더 구체화한 재유도발화를 출력하는 대화시나리오를 전개하는 것을 특징으로 한다.
한편, 본 발명의 연속대화기반 언어발달장애 검사 방법은 특정 상황 또는 특정 행동과 관련하여 출력한 유도발화와 이미지에 대해 사용자가 응답발화를 출력하는 연속대화에 기반하여 언어발달장애를 검사하는 방법에 있어서, 말따라하기, 그림맞추기, 그림보고 말하기를 수행할 수 있는 대화시나리오를 준비하는 단계; 상기 대화시나리오에 의해 유도발화를 표출하는 단계; 사용자의 행동이나 응답발화를 분석해서 발달장애 정도를 계산하는 단계; 및 발달장애 정도를 수치로 표시하는 단계; 를 포함하여 구성되는 것을 특징으로 한다.
그리고, 유도문장 표출 후 응답문장이 입력되면 의도분석을 수행하여 응답문장을 하나의 의도로 표현하는 단계; 및 상기 의도와 가장 유사한 의도가 포함된 대화시나리오를 대화시나리오 DB에서 찾은 후, 해당 대화 시나리오에서 상기 의도 다음 순서의 유도문장을 표출하는 단계; 를 포함하여 구성되는 것을 특징으로 한다.
이와 같이 구성된 본 발명의 연속대화기반 언어발달장애 검사 시스템 및 그 방법은 다음과 같은 유용한 효과를 발휘한다.
1) 의사, 언어치료사 등 전문인력 없이 집에서 손쉽게 발달장애검사를 수행할 수 있다.
2) 고가의 검사지를 사지 않고도 저렴한 비용으로 반복적으로 검사를 수행할 수 있다.
3) 장시간 지루한 발달장애 검사 대신, 장소에 구애 없이 발달장애를 검사할 수 있다.
4) 사용자의 의도를 제대로 파악하여 대화시나리오 전개상 적합한 발화인지 판단하고, 점수로 산출하여 언어검사 결과를 분석할 수 있다.
5) 사용자의 의도를 제대로 파악하여 기 구축된 대화시나리오를 통해 연속대화를 자연스럽게 전개하고, 칭찬하는 대화시나리오와 재유도발화 시나리오를 발달장애 검사에 적극 활용할 수 있다.
도 1은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 구성도;
도 2는 본 발명에 따른 연속대화기반 언어발화장애 검사 시스템의 음성을 듣고 말따라하기 대화전개 흐름도;
도 3은 본 발명에 따른 연속대화기반 언어발화장애 검사 시스템의 음성을 듣고 말따라하기 대화시나리오 DB;
도 4는 본 발명에 따른 연속대화기반 언어발화장애 검사 시스템의 그림맞추기 대화전개 흐름도;
도 5는 본 발명에 따른 연속대화기반 언어발화장애 검사 시스템의 그림맞추기 대화시나리오 DB;
도 6은 본 발명에 따른 연속대화기반 언어발화장애 검사 시스템의 그림보고 말하기 대화전개 흐름도;
도 7은 본 발명에 따른 연속대화기반 언어발화장애 검사 시스템의 그림보고 말하기 대화시나리오 DB;
도 8은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템 에서 시스템과 사용자간의 발화 절차도;
도 9는 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 데이터흐름도;
도 10은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 시스템발화와 사용자발화를 바탕으로한 의도분석 절차도;
도 11은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 말따라하기에서 대화시나리오 의도DB간의 관계도 ;
도 12는 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 대화시나리오에 따른 이미지 변화 설명도;
도 13은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 발달검사통계 그래프;
도 14는 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 월별 발달점수 그래프;
도 2는 본 발명에 따른 연속대화기반 언어발화장애 검사 시스템의 음성을 듣고 말따라하기 대화전개 흐름도;
도 3은 본 발명에 따른 연속대화기반 언어발화장애 검사 시스템의 음성을 듣고 말따라하기 대화시나리오 DB;
도 4는 본 발명에 따른 연속대화기반 언어발화장애 검사 시스템의 그림맞추기 대화전개 흐름도;
도 5는 본 발명에 따른 연속대화기반 언어발화장애 검사 시스템의 그림맞추기 대화시나리오 DB;
도 6은 본 발명에 따른 연속대화기반 언어발화장애 검사 시스템의 그림보고 말하기 대화전개 흐름도;
도 7은 본 발명에 따른 연속대화기반 언어발화장애 검사 시스템의 그림보고 말하기 대화시나리오 DB;
도 8은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템 에서 시스템과 사용자간의 발화 절차도;
도 9는 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 데이터흐름도;
도 10은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 시스템발화와 사용자발화를 바탕으로한 의도분석 절차도;
도 11은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 말따라하기에서 대화시나리오 의도DB간의 관계도 ;
도 12는 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 대화시나리오에 따른 이미지 변화 설명도;
도 13은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 발달검사통계 그래프;
도 14는 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 월별 발달점수 그래프;
이하, 본 발명의 목적이 구체적으로 실현될 수 있는 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭이 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.
도 1은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 구성도이다.
본 발명은 특정 상황 또는 특정 행동과 관련하여 클라이언트가 출력한 유도발화와 이미지에 대해 사용자가 응답발화를 출력하는 연속대화에 기반하여 언어발달장애를 검사하는 시스템이다.
본 발명의 연속대화기반 언어발달장애 검사 시스템은 클라이언트(100)와 대화서버(200)를 포함하여 구성된다.
클라이언트(100)는 음성인식부(101), 음성합성부(102), 콘텐츠관리부(103), 사용자인식부(104) 및 발달검사통계부(105)가 구성된다.
대화서버(200)는 대화관리부(202), 의도분석부(203) 및 언어장애분석부(201)가 구성된다. 또한, 말따라하기 대화시나리오 DB(204), 말따라하기 이미지정보 DB(204-1), 그림맞추기 대화시나리오 DB(205), 그림맞추기 이미지정보 DB(205-1), 그림보고말하기 대화시나리오 DB(206), 그림보고말하기 이미지정보 DB(206-1), 회원정보 및 검사이력 DB(207)가 구성된다.
클라이언트(100)는 사용자인식부(104)를 통한 사용자인식 후, 콘텐츠관리부(103)에서 사용자 입력에 의해서 또는 시스템에 의해서 말따라하기, 그림맞추기, 그림보고말하기 중에 하나가 선택되어지면, 상기 선택 정보가 대화서버(200) 대화관리부(202)로 전달되어 대화시나리오 DB(204,205,206)와 이미지정보 DB(204-1, 205-1, 206-1)를 통해서 미리 설정된 대화시나리오가 작동하여, 시스템 발화 문장을 음성합성부(102)가 표출하고, 콘텐츠관리부(103)가 이미지정보를 화면에 표시한다.
사용자인식부(104)는 카메라센서, 지문인식센서 등이 부착되어 얼굴인식이나 홍체인식, 지문인식을 해서 사용자를 자동으로 인식하거나 계정(아이디) 패스워드를 제공하거나 공인인증서를 통해서 사용자를 인식할 수 있다.
대화서버(200)는 클라이언트(100)에서 전달된 말따라하기, 그림맞추기, 그림보고말하기 선택 정보에 의해서 미리 설정된 대화시나리오가 작동하여, 시스템이 먼저 유도발화를 하고 사용자의 입력이나 발화를 대기하게 된다.
이때, 대화시나리오는 전체 시스템과 사용자의 발화 문장 형태로 구성되어서, 클라이언트(100)가 먼저 사용자에 의해 선택된 기능에 대한 대화시나리오를 전개하여, 유도발화를 음성합성이나 음성파일로 출력하는 방식으로 시스템이 발화를 출력한다.
사용자의 응답발화는 음성인식부(101)에 의해서 텍스트로 변환되어 대화관리부(202)로 전달되고, 의도분석부(203)에서 해당 의도가 대화시나리오에 맞는지, 아닌지를 분석해서 클라이언트(100)의 다음발화를 지시하게 된다. 또한, 클라이언트(100)의 발화시 해당하는 장면 이미지 정보는 이미지정보 DB(204-1, 205-1, 206-1)를 통해서 클라이언트(100)로 이미지 정보가 전달된다.
대화관리부(202)는 사용자의 생활연령이나, 발달연령에 맞는 대화시나리오를 선택해서 검사를 진행한다.
언어장애분석부(201)는 의도분석부(203)의 분석을 토대로 사용자가 적절하게 응답했는지를 분석해서 언어발달장애 여부를 판정하게 된다.
사용자의 나이, 언어발달연령, 언어발달장애정도, 검사이력, 부모 관련 정보 등은 회원정보 및 검사이력 DB(207)에서 관리하며, 언어발달장애정도가 발달검사통계부(105)를 통해서 화면에 표시된다. 언어발달장애정도는 말따라하기, 그림맞추기, 그림보고말하기(음소정확도)의 검사결과 수치가 표시된다.
말따라하기의 경우를 예를 들자면, 사용자가 음성발화나 손가락 터치동작으로 말따라하기를 선택하면, 시스템이 말따라하기 대화시나리오 DB(204)의 시스템 발화를 표출하고, 말따라하기 이미지정보 DB(204-1)의 장면정보를 화면에 표시한다.
말따라하기의 경우, 글자를 읽고 말따라하기, 음성을 듣고 말따라하기로 나눌 수 있으며, 글자를 읽고 따라말하기의 경우, 말따라하기 해야하는 단어나 문장을 대화시나리오에서 추출해서 텍스트로 화면에 표시할 수 있다.
또한, 말따라하기는 단어 따라하기와 문장 따라하기로 구분할 수 있으며, 사용자의 수준에 따라 단어와 문장 중 선택하거나 둘다 시행할 수 있다
즉, “콩쥐팥쥐라고 말해보세요.” 라고 시스템이 발화하면 이 발화 문장에서 “콩쥐팥쥐” 단어를 추출해서 화면상에 텍스트로 표시할 수 있고, “콩쥐팥쥐라고 말해보세요.” 라고 시스템이 발화하면, “콩쥐팥쥐”가 적힌 이미지정보를 화면에 표시할 수도 있다.
음성을 듣고 말따라하기의 경우, 시스템이 대화시나리오에 의해, “콩쥐팥쥐라고 말해보세요.” 라고 발화하면, 사용자가 “콩쥐팥쥐”라고 발화하는 것을 말한다.
사용자나 시스템의 의해서 그림맞추기가 선택되면, 그림맞추기 대화시나리오 DB(205)와 그림맞추기 이미지정보 DB(205-1)에 의해서 대화가 전개되며, 시스템의 발화에 의해서 사용자가 클라이언트 콘텐츠관리부(103)에 손가락 터치 등을 통해서 그림맞추기를 선택하면 해당 그림이 현재 대화시나리오에 적합한지 분석하여 언어장애판단에 이용하게 된다.
즉, 시스템이 “여기 많은 그림 중에 콩쥐팥쥐에 해당하는 그림을 선택해주세요.”라고 발화하고, 터치스크린 화면상에서 사용자가 “콩쥐밭쥐”에 해당하는 그림을 선택하는 식으로 언어발달장애검사가 진행된다.
그림맞추기 검사의 경우 사용자 획득점수가 정상아동의 발달연령과 비교해서 사용자의 발달정도를 산출할 수 있는데, 일반적으로 생활연령보다 1세~2세 차이가 날 경우 “약간의 언어발달지체”로 간주하며, 2세 이상 낮은 경우를 “언어장애”로 간주한다. 또다른 방법으로는 또래비교집단과 비교해서 평균 및 표준편차로 “언어발달지체”로 평가할 수 있다.
사용자나 시스템에 의해서 그림보고말하기가 선택되면, 시스템이 그림보고말하기 대화시나리오 DB(206)의 유도발화인 시스템 발화를 표출하고, 그림보고말하기 이미지정보 DB(206-1)의 장면정보를 화면에 표시한다.
그림보고말하기의 경우, 단어 형태로 말하기, 또는 문장형태로 말하기로 나눌 수 있으며, 그림보고말하기 이미지정보 DB와 연동된 그림보고말하기 대화시나리오 DB를 참조해서, 연속적으로 대화하면서 특정 그림을 보여주고, 이 특정 그림에 해당하는 단어 또는 문장을 사용자가 이야기하고, 적절한 단어 또는 문장인지 아닌지 판단해서 언어발달장애검사를 진행하게 된다.
단어 형태로 말하기는 예를 들어, 시스템이 호랑이 이미지를 보여주며, “이것의 이름은 무엇이에요?”라고 유도발화를 하고, 사용자가 “호랑이”라고 말하면 적합하게 응답발화한 것이다.
문장형태로 말하기의 경우는 시스템이 호랑이가 곶감먹는 이미지를 보여주며, “호랑이가 뭘하고 있어요?”라고 유도발화를 하고, 사용자가 “호랑이가 곶감을 먹어요”라고 응답(발화)을 유도하게 된다. 이렇게 함으로써, 목표로하는 낱말(호랑이, 곶감)이 포함된 문장을 사용자가 발화하게 유도하고, 최소한 2회 이상 반복적으로 다른 이미지에서, 다른 목표 낱말을 유도하게 하여, 최종적으로는 성공 여부를 계산하여 언어발달장애 유무를 판정하는데 이용하게 된다.
말따라하기와 그림보고말하기를 통해서 자음과 모음을 얼마나 잘 구사하는지 음소정확도를 판정하게 된다. 자음정확도는 일반적으로 많이 사용하는 “(43 - 오류 음소수)/43*100” 공식을 사용할 수 있고, 모음정확도는 “(10 - 오류 음소 수)/10*100” 공식을 사용할 수 있으며, 정상아동들의 발달연령(습득연령, 습관적연령)과 비교해서 사용자의 발달정도를 산출해서 표시할 수 있다.
또한, 말따라하기와 그림보고말하기의 사용자 성공 여부에 따라, 또래 비교집단과 비교해서 평균 및 표준편차로 “언어발달지체”로 평가할 수 있다.
도 2는 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 음성을 듣고 말따라하기 대화전개 흐름도이다.
대화순서는 시스템과 사용자가 번갈아 가면서 대화를 주고 받는다.
시스템과 사용자의 발화 내용은 대화내용 부분에 표시하였다.
시스템이 “콩쥐팥쥐라고 말해보세요”라고 발화하면, 사용자가 “코지파지”, “몰라요”, (무응답) 등의 회피 의도로 응대할 수 있으며, 대화전개는 사용자의 응답에 따라 다양한 방식으로 대화 시나리오가 전개될 수 있음을 알 수 있다.
도 3은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 음성을 듣고 말따라하기 대화시나리오 DB이다.
그림상의 테이블은 음성을 듣고 말따라하기 대화시나리오 DB의 내용을 표시하였다.
말따라하기는 단어와 문장으로 나눠서 대화시나리오가 구축되어 있으며, “전래동화 단어” 시나리오의 경우, 유도발화인 시스템발화1(콩쥐팥쥐라고 말해보세요)과 응답발화인 사용자발화1(코지파지), 시스템발화2(참 잘했어요. 이제는 장화홍련이라고 말해보세요), 사용자발화2 등의 순서로 검사할려는 단어가 끝날 때까지 연속적으로 대화를 주고 받게 된다. 유도발화인 시스템발화1에 대해서 응답발화인 사용자발화1이 의도에 맞게 발화했는지 평가하여, 사용자의도1이 “회피”의도(무응답을 포함)하여 일 경우, 시스템은 시스템발화2 처럼 유도발화를 더 구체화한 콩쥐팥쥐 재유도하는 발화(자 선생님 입모양을 잘 보고 따라해봐요. 콩쥐팥쥐)를 하게 된다.
상기 의도분석부(203)는 시스템 유도발화와 사용자 응답발화 각각의 문장, 즉 유도문장과 응답문장을 시스템의도, 사용자의도로 간략하게 표현하며, 하나의 의도는 동일한 의도를 가진 다양한 문장을 대표하도록 설정한다.
예를 들면, 사용자의도1의 “콩쥐팥쥐”의도는 “코지파지, 콩이팥찌” 등 “콩쥐팥쥐”의 다양한 오류 발음도 대표하는 의도이다.
이러한 오자탈자는 어절사전을 이용한 방법, 규칙이나 확률, 기계학습을 이용한 방법 등 다양한 오탈자 교정 방법을 적용하여 원래의 단어나 문장을 복원하여 의도를 파악할 수 있다.
대화시나리오 DB에는 연령(생활연령, 발달연령)정보를 기록하여, 대화관리부(202)에서 사용자의 생활연령이나, 발달연령에 맞는 대화시나리오를 선택해서 검사를 진행할 수 있도록 한다.
도 4는 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 그림맞추기 대화전개 흐름도이다.
대화순서는 전체 시스템과 사용자가 번갈아 가면서 대화를 주고 받는다.
시스템과 사용자의 발화 내용은 대화내용 부분에 표시하였다. 사용자는 발화를 할 수도 있고 안할 수도 있으며, 손으로 터치 스크린 화면을 누를 수도 있다. 사용자가 터치 스크린 화면을 누르지 않고 가르키기만 하면, 보호자 또는 선생님이 대신 터치 동작을 수행할 수도 있다.
사용자가 시스템이 제시한 그림 중에 선택하지 않거나(회피 의도), 현재 그림과 관계 없는 다른 발화(착오 의도)를 한다면, 유도발화를 더 구체화한 재유도발화를 활용하는 다른 시나리오로 전개되어, 사용자가 시스템 의도대로 그림맞추기를 하도록 시나리오를 전개한다.
도 5는 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 그림맞추기 대화시나리오 DB이다.
그림에서 테이블은 그림맞추기 대화시나리오 DB의 내용을 표시하였다.
그림맞추기 대화시나리오는 단어선택과 상황선택으로 나눠서 대화시나리오가 구축되어 있으며, “전래동화 콩쥐팥쥐” 시나리오의 경우, 유도발화인 시스템발화1(여기 많은 그림 중에 콩쥐팥쥐에 해당하는 그림을 선택해주세요)과 응답발화인 사용자발화1(이거), 시스템발화2(참 잘했어요. 이제 호미에 해당하는 그림을선택해보세요), 사용자발화2 등의 순서로 검사할려는 단어가 끝날 때까지 연속적으로 대화를 주고 받게 된다. 시스템발화1에 대해서 사용자발화1이 의도에 맞게 발화했는지 평가하여, 사용자의도1이 “회피”의도일 경우, 시스템은 시스템발화2 처럼 콩쥐팥쥐 재유도하는 발화(자 선생님이 다시 문제를 낼게요. 여기 많은 그림 중에 콩쥐팥쥐는 어느 그림 일까요?)를 하게 된다.
시스템 유도발화와 사용자발화 각각의 문장, 즉 유도문장과 발화문장은 시스템의도, 사용자의도로 간략하게 표현되며, 하나의 의도는 동일한 의도를 가진 다양한 문장을 대표한다.
예를 들면, 사용자의도1의 “선택”의도는 “이거, 요거, 이 그림” 등 선택한 그림을 지시하는 다양한 어구를 대표하는 의도이다.
동일의도인지 판단하기 위해서는 동일의도를 의미하는 다양한 어구(단어, 어절, 문장 등)를 모은 사전을 이용한 방법, 규칙이나 확률, 기계학습을 이용한 방법 등 다양한 의도분류 방법이 적용될 수 있다.
대화시나리오 DB에는 연령(생활연령, 발달연령)정보를 기록하여, 대화관리부(202)에서 사용자의 생활연령이나, 발달연령에 맞는 대화시나리오를 선택해서 검사를 진행할 수 있도록 한다.
도 6은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 그림보고 말하기 대화전개 흐름도이다.
대화순서는 시스템과 사용자가 번갈아 가면서 대화를 주고 받는다.
시스템과 사용자의 발화 내용은 대화내용 부분에 표시하였다. 시스템 발화 후, 사용자는 발화를 할수있다.
사용자가 시스템이 제시한 그림에 해당하는 발화를 정확하게 했을 경우 그 다음 시나리오가 준비한 그림을 표시하고, 그 그림에 맞는 발화를 이어서 하면 된다. 사용자가 착오(의도)가 있었거나 회피하거나 무응답(회피 의도)할 경우에는 적절하게 유도하는 발화(재유도발화)를 하도록 대화시나리오가 전개된다.
도 7은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 그림보고 말하기 대화시나리오 DB이다.
테이블은 그림보고 말하기 대화시나리오 DB의 내용을 표시하였다.
그림보고 말하기 대화시나리오는 단어와 문장으로 나눠서 대화시나리오가 구축되어 있으며, “전래동화 콩쥐팥쥐1” 시나리오의 경우, 유도발화인 시스템발화1(이것의 이름은 무엇이에요?)과 응답발화인 사용자발화1(호랑이), 시스템발화2(참 잘했어요. 이제 이것은 뭐라고 부르나요?), 사용자발화2 등의 순서로 검사할려는 단어가 끝날 때까지 연속적으로 대화를 주고 받게 된다. 시스템발화1에 대해서 사용자발화1이 의도에 맞게 발화했는지 평가하여, 사용자의도1이 “호랑이 배경”의도일 경우, 시스템은 시스템발화2 처럼 호랑이 재유도하는 발화(나무 밑에 앉아 있는 이 동물 이름은 뭘까요?)를 하게 된다.
시스템 유도발화와 사용자발화 각각의 문장, 즉 유도문장과 응답문장은 시스템의도, 사용자의도로 간략하게 표현되며, 하나의 의도는 동일한 의도를 가진 다양한 문장을 대표한다.
예를 들면, 사용자의도1의 “마을 잔치”의도는 “사람들이 맛있는 거 먹고 놀아요”, “사람들이 모여서 잔치해요” 등 다양한 문장 형태로 표시될 수 있다.
동일의도인지 판단하기 위해서는 동일의도를 의미하는 다양한 문장패턴을 수집하여 주요 성분(명사, 용언 등)을 비교하는 방법, 동일 의도를 가진 문장들을 수집 후 기계학습하고, 추론하는 방법(RNN, DNN 등 다양한 기계학습 알고리즘 사용) 등 다양한 의도분류 방법이 적용될 수 있다.
대화시나리오 DB에는 연령(생활연령, 발달연령)정보를 기록하여, 대화관리부(202)에서 사용자의 생활연령이나, 발달연령에 맞는 대화시나리오를 선택해서 검사를 진행할 수 있도록 한다.
도 8은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템에서 시스템과 사용자간의 발화 절차도이다.
먼저 사용자 입력이나 시스템 입력에 의해서 말따라하기, 그림맞추기, 그림보고 말하기 중에 하나가 선택되면(302), 상기 선택정보에 적합한 대화시나리오가 전개되면서 시스템이 먼저 발화하고, 시스템 발화에 적합한 이미지가 표시된다(303).
시스템발화에 대한 응답 발화를 사용자가 표출하면(304), 현재 대화시나리오와 이미지에 적합한 응답인지 사용자발화에서 의도를 분석한다(305).
의도를 분석하는 방법은 입력된 사용자발화 의도와 유사한 의도가 현재 대화시나리오 DB에 있는지 확인해서, 동일하거나 유사하다고 판단되면, 현재 대화시나리오에 적합한 발화라고 판단할 수 있다.
의도 분석은 일종의 유사도 계산방법으로써, 규칙기반이나 머신러닝기반, 통계기반 등 다양한 문장 유사도 분석 기법이나 알고리즘을 사용하게 된다.
사용자발화가 현재 대화시나리오에 적합하다면, 다음 시스템발화와 이미지표시(303)가 진행되며, 적합하지 않다면, 현재 시나리오에 적한한 발화를 유도하는 시스템발화(307)로 대화시나리오가 전개된다.
도 9는 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 데이터흐름도이다.
사용자 인식 후, 사용자 또는 시스템에 의해서 클라이언트(100)에서 말따라하기, 그림맞추기, 그림보고 말하기 중에 하나가 선택되면, 상기 선택정보에 적합한 대화시나리오가 전개되면서 시스템이 유도발화하고, 시스템 발화에 적합한 이미지가 클라이언트 상에 표시된다.
또한, 응답발화인 사용자발화가 입력되면, 대화서버(200)에서 의도분석 후, 입력된 사용자 의도에 대한 시스템발화와 이미지가 표시되면서 대화 시나리오가 전개된다.
이렇게 함으로써, 시스템과 사용자가 번갈아가면서 대화를 주고 받으면서 언어발달장애 검사를 수행하게 된다.
도 10은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 시스템발화와 사용자발화를 바탕으로한 의도분석 절차도이다.
시스템발화 문장 출력(401) 후 사용자발화 문장이 입력되면(402) 의도분석을 수행하여, 입력된 사용자발화 문장을 하나의 의도로 표현한다(403).
그리고, 사용자발화 의도와 가상 유사한 의도가 포함된 대화시나리오를 대화시나리오 DB(407)에서 찾은 후(404), 해당 대화 시나리오에서 사용자 의도 다음에 나오는 시스템발화 문장(406)을 표출한다.
현재 사용자 의도를 추론하는 방법은 규칙기반이나 머신러닝기반, 통계기반, 확률기반 등 다양한 문장 유사도 분석 기법이나 알고리즘을 사용한다.
도 11은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 말따라하기에서 대화시나리오 의도DB간의 관계도이다.
대화시나리오 의도DB는 다음과 같이 구성된다.
대화시나리오 “전래동화 단어1(Scenario1)”은 “콩쥐팥쥐 유도(S1_1)” -> “콩쥐밭쥐(S1_2)” -> “장화홍련 유도(S1_3)” 순으로 대화가 진행된다.
대화시나리오 “전래동화 단어2(Scenario2)”는 “콩쥐팥쥐 유도(S2_1)” -> “회피(S2_2)” -> “콩쥐팥쥐 재유도(S2_3)” -> “콩쥐팥쥐(S2_4)” -> “Goto Scenario1, S1_3”로 진행되며, “Goto Scenario1, S1_3”에 의해서 “장화홍련 유도(S1_3)” -> “장화홍련(S1_4)”로 진행된다.
따라서, 시나리오흐름(502)는 “콩쥐팥쥐 유도(S2_1)” -> “회피(S2_2)” -> “콩쥐팥쥐 재유도(S2_3)” -> “콩쥐팥쥐(S2_4)” -> “장화홍련 유도(S1_3)” -> “장화홍련(S1_4)” 으로 대화흐름이 전개된다.
즉, 대화시나리오는 기존 대화시나리오 구간의 재 사용을 위해서, 대화시나리오 전개시 중간에 분기할 수도 있고, 분기된 시나리오가 합쳐질 수도 있다.
도 12는 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 대화시나리오에 따른 이미지 변화 설명도이다.
대화시나리오에 따른 이미지 변경은 다음과 같다. 즉, 대화시나리오상의 시스템발화, 사용자발화는 모두 각각 의도하는 이미지를 보유하고 있으며, 대화 전개시 해당 발화에 적합한 이미지를 표시한다.
도 13은 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 발달검사통계 그래프이다.
도 13의 그래프는 말따라하기 중 단어검사의 경우, 생활연령 6세 수준의 남아 사용자의 평균점수가 30점(100개의 단어중 30개만 정확하게 말따라하기가 성공한 경우)이고, 같은 생활연령(또래연령) 6세 남아의 평균점수가 70점인 것을 나타낸다. 따라서, 현재 사용자(아동)은 또래보다 40점 정도 평균 점수가 낮고, 생활연령 3세수준(약 35점)보다 낮은 수준을 보여주는 것으로써, 언어발달연령은 3세 이하 수준이라고 할 수 있다. 보통 언어발달연령이 2세 이상 차이가 나면 발달장애라고 간주된다.
단어 따라하기의 경우, 정확하게 단어를 따라했으면 성공(콩쥐팥쥐), 조금이라도 틀리면 실패(코쥐팥쥐)로 간주하고, 성공한 것만 카운팅할 수 있다.
그림맞추기에서는 조금 틀려도 동일한 의미(의도)이면(코쥐팥쥐) 성공으로 카운팅할 수 있다.
문장 따라하기의 경우에는 문장 전체를 정확하게 따라 했으면 성공, 그렇지 않으면 실패로 판정할 수 있고, 문장의 일부 음절을 따라하지 못했을 경우에는 해당 음절을 포함한 어절만 실패로 간주하고, 나머지 어절은 성공으로 간주해서 성공으로 카운팅할 수 있다.
단어검사, 문장검사시에 조음음운 검사도 동시에 수행할 수 있다.
조음음운 검사의 경우, 말따라하기 또는 그림보고 말하기에서 단어 또는 문장을 발음할 때, 파열음, 파찰음, 마찰음, 유음, 비음을 제대로 발음했는지 통계를 낼 수 있고, 양순음, 치조음, 경구개음, 연구개음, 성문음을 제대로 발음했는지를 분류해서 통계를 낼 수 있다.
또한, 왜곡이나 대치, 생략이 있었는지, 오류가 발생한 위치는 어두인지 어중인지 어말인지, 초성인지, 중성인지, 종성인지를 분석할 수 있다. 또한 모음에서 오류가 발생하는지 자음에서 오류가 발생하는지를 분석해서 점수를 계산할 수 있으며, 의태어, 의성어로 구분해서 제대로 발성하는지 분석할 수 있다.
또한, 발음오류가 조음 방법(터짐소리, 갈이소리, 터갈이소리, 흐름소리, 콧소리, 홀소리 등)에 의한 것인지, 조음위치(입술소리, 잇몸소리, 입천장 소리, 성문소리, 홀홀소리, 겹홀소리 등)에 의한 것인지도 분석해서 통계를 낼 수 있다.
이렇게 다양한 계산 방법이 적용될 수 있으며, 계산 방법에 따라 수치도 다양하게 표현된다.
도 14는 본 발명에 따른 연속대화기반 언어발달장애 검사 시스템의 월별 발달점수 그래프이다.
도 14의 그래프는 말따라하기 중 단어검사의 경우, 생활연령 6세 수준의 남아 사용자의 월별 발달점수를 나타낸 그래프이다.
월별로 평균점수가 어떻게 변화하는지 볼 수 있으며, 시간별, 일별, 주별, 월별, 년별 등 다양한 형태로 그래프를 제공할 수 있다.
또한, 평균점수 대신 표준편차, 분산, 퍼센트(%) 등 다양한 수치로 표현할 수도 있다.
더구나, 말따라하기의 경우, 단어 영역 뿐만 아니라, 문장영역에서도 검사결과를 그래프로 제공할 수 있다.
그리고, 말따라하기 뿐만 아니라, 그림맞추기, 그림보고 말하기에서도 검사결과를 말따라하기와 유사하게 제공할 수 있다.
이와 같이 본 발명에 따른 바람직한 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화될 수 있다는 사실은 해당 기술분야에 있어 통상의 지식을 가진 자에게는 자명한 것이다.
그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하며, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수 있다.
100...클라이언트 101...음성인식부
102...음성합성부 103...콘텐츠관리부
104...사용자인식부 105...발달검사통계부
200...대화서버 201...언어장애분석부
202...대화관리부 203...의도분석부
204...말따라하기 대화시나리오 DB
205...그림맞추기 대화시나리오 DB
206...그림보고말하기 대화시나리오 DB
207...회원정보 및 검사이력 DB
102...음성합성부 103...콘텐츠관리부
104...사용자인식부 105...발달검사통계부
200...대화서버 201...언어장애분석부
202...대화관리부 203...의도분석부
204...말따라하기 대화시나리오 DB
205...그림맞추기 대화시나리오 DB
206...그림보고말하기 대화시나리오 DB
207...회원정보 및 검사이력 DB
Claims (5)
- 삭제
- 특정 상황 또는 특정 행동과 관련하여 클라이언트가 출력한 유도발화와 이미지에 대해 사용자가 응답발화를 출력하는 연속대화에 기반하여 언어발달장애를 검사하는 시스템에 있어서,
사용자를 인식하는 사용자인식부,
사용자의 음성을 인식하고 텍스트로 변환하는 음성인식부,
발화 문장을 표출하는 음성합성부 및
말따라하기, 그림맞추기, 그림보고말하기 정보와 이미지 정보를 표시하고 관리하는 콘텐츠관리부가 구성되는 클라이언트; 그리고
상황별 대화시나리오 DB와 상황 장면 이미지정보 DB를 통해서, 사용자의 생활연령이나, 발달연령에 맞는 대화시나리오를 선택하여, 발화 문장 형태의 대화시나리오를 작동하고 이미지 정보를 전달하는 대화관리부,
응답발화의 의도가 상황에 맞는지, 아닌지를 분석하는 의도분석부, 및
언어발달장애 여부를 판정하는 언어장애분석부가 구성되는 대화서버; 를 포함하여 구성되며,
상기 의도분석부는 유도발화와 응답발화 각각의 문장을 시스템의도, 사용자의도로 표현하며, 하나의 의도는 동일한 의도를 가진 다양한 문장을 대표하도록 설정하는 것을 특징으로 하는 연속대화기반 언어발달장애 검사 시스템. - 제 2 항에 있어서,
상기 대화관리부는 유도발화에 대한 응답발화가 회피 의도 또는 착오 의도인 경우 유도발화를 더 구체화한 재유도발화를 출력하는 대화시나리오를 전개하는 것을 특징으로 하는 연속대화기반 언어발달장애 검사 시스템. - 삭제
- 특정 상황 또는 특정 행동과 관련하여 출력한 유도발화와 이미지에 대해 사용자가 응답발화를 출력하는 연속대화에 기반하여 언어발달장애를 검사하는 방법에 있어서,
말따라하기, 그림맞추기, 그림보고 말하기를 수행할 수 있는 대화시나리오를 준비하는 단계;
상기 대화시나리오에 의해 유도발화를 표출하는 단계;
사용자의 행동이나 응답발화를 분석해서 발달장애 정도를 계산하는 단계; 및
발달장애 정도를 수치로 표시하는 단계; 를 포함하여 구성되며,
유도문장 표출 후 응답문장이 입력되면 의도분석을 수행하여 응답문장을 하나의 의도로 표현하는 단계; 및
상기 의도와 가장 유사한 의도가 포함된 대화시나리오를 대화시나리오 DB에서 찾은 후, 해당 대화 시나리오에서 상기 의도 다음 순서의 유도문장을 표출하는 단계;
를 포함하여 구성되는 것을 특징으로 하는 연속대화기반 언어발달장애 검사 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20190114202 | 2019-09-17 | ||
| KR1020190114202 | 2019-09-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210032872A KR20210032872A (ko) | 2021-03-25 |
| KR102245941B1 true KR102245941B1 (ko) | 2021-04-29 |
Family
ID=75222781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190162452A KR102245941B1 (ko) | 2019-09-17 | 2019-12-09 | 연속대화기반 언어발달장애 검사 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102245941B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024049186A1 (ko) * | 2022-08-31 | 2024-03-07 | 연세대학교 산학협력단 | 과제 수행 결과 기반 원발진행실어증 유형 분류 장치 및 분류 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101804389B1 (ko) * | 2015-11-23 | 2017-12-04 | 주식회사 이르테크 | 언어장애 자율 검사 시스템 및 방법 |
| KR101926328B1 (ko) * | 2016-11-11 | 2018-12-07 | 주식회사 스마트미디어테크 | 음성인식기반 의사소통훈련 서비스장치 및 시스템 |
| KR20190103504A (ko) | 2018-02-12 | 2019-09-05 | 보리 주식회사 | 대화시나리오 자동 수집 및 온톨로지 대화 관계망을 이용한 연속 대화 방법 및 시스템 |
-
2019
- 2019-12-09 KR KR1020190162452A patent/KR102245941B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210032872A (ko) | 2021-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105792752B (zh) | 用于诊断和治疗语言相关障碍的计算技术 | |
| US6865533B2 (en) | Text to speech | |
| JP2012516463A (ja) | コンピュータ実行方法 | |
| Kim | Perceptual associations between words and speaker age | |
| Pardo et al. | The perception of speech | |
| Kim et al. | How does context play a part in splitting words apart? Production and perception of word boundaries in casual speech | |
| KR20220128976A (ko) | 말 장애 평가 장치, 방법 및 프로그램 | |
| KR102245941B1 (ko) | 연속대화기반 언어발달장애 검사 시스템 및 그 방법 | |
| Mozziconacci et al. | A study of intonation patterns in speech expressing emotion or attitude: production and perception | |
| Cámara-Arenas et al. | Automatic pronunciation assessment vs. automatic speech recognition: A study of conflicting conditions for L2-English | |
| Pisoni | Cognitive audiology: An emerging landscape in speech perception | |
| Weil | The impact of perceptual dissimilarity on the perception of foreign-accented speech | |
| Gibson et al. | Polysyllabic shortening in speakers exposed to two languages | |
| Lopes et al. | A European Portuguese children speech database for computer aided speech therapy | |
| Beechey | Communication difficulty and effort in conversation | |
| KR20210079232A (ko) | 발달장애 진단과 치료를 위한 협업 방법 및 시스템 | |
| Moore | " I'm Having Trouble Understanding You Right Now": A Multi-DimensionalEvaluation of the Intelligibility of Dysphonic Speech | |
| KR20210027001A (ko) | 연속대화기반 언어발달장애 치료 시스템 및 그 방법 | |
| Tan | 4 How do We Stress? Lexical Stress in Malaysian and British English | |
| Shi et al. | Acoustic–phonetic versus lexical processing in nonnative listeners differing in their dominant language | |
| Shao et al. | The role of talker similarity in the perceptual learning of L2 tone categories. | |
| Lachs | Vocal tract kinematics and crossmodal speech information | |
| Borg | Facilitative Online Processing of Gender in Swedish as a Second Language | |
| Rukoz | Decoding perceptual vowel epenthesis: experiments & modelling | |
| Lidestam et al. | Motivation and appraisal in perception of poorly specified speech |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |