KR101926328B1 - 음성인식기반 의사소통훈련 서비스장치 및 시스템 - Google Patents

음성인식기반 의사소통훈련 서비스장치 및 시스템 Download PDF

Info

Publication number
KR101926328B1
KR101926328B1 KR1020160150160A KR20160150160A KR101926328B1 KR 101926328 B1 KR101926328 B1 KR 101926328B1 KR 1020160150160 A KR1020160150160 A KR 1020160150160A KR 20160150160 A KR20160150160 A KR 20160150160A KR 101926328 B1 KR101926328 B1 KR 101926328B1
Authority
KR
South Korea
Prior art keywords
service
voice
learning
communication training
training service
Prior art date
Application number
KR1020160150160A
Other languages
English (en)
Other versions
KR20180052952A (ko
Inventor
고락환
김용운
김진호
이영미
이용주
최대림
김태권
Original Assignee
주식회사 스마트미디어테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스마트미디어테크 filed Critical 주식회사 스마트미디어테크
Priority to KR1020160150160A priority Critical patent/KR101926328B1/ko
Publication of KR20180052952A publication Critical patent/KR20180052952A/ko
Application granted granted Critical
Publication of KR101926328B1 publication Critical patent/KR101926328B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/04—Speaking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0023—Colour matching, recognition, analysis, mixture or the like
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 음성인식기반 의사소통훈련 서비스장치에 관한 것이다. 본 발명의 음성인식기반 의사소통 훈련 서비스장치는, 보유음향모델을 기반으로, 언어가 늦은 아동에 의해 생성된 소규모 음성데이터 및 이를 통해 분석된 언어가 늦은 아동의 발성특징 및 조음오류특성을 이용하여 모델링된 음향모델을 적응시킨 음향적응모델, 의사소통 훈련 서비스에 대응하여 사용자의 음성신호가 입력되면, 상기 음향적응모델과 비교하여 상기 입력된 음성신호를 인식하는 음성인식부 및 상기 인식된 음성신호가 기설정 정보와 일치하면 다음 훈련 과정에 대한 서비스를 제공하는 학습 제공부를 포함한다. 이에 따라, 언어가 늦은 아동의 의사소통을 향상시킬 수 있다.

Description

음성인식기반 의사소통훈련 서비스장치 및 시스템{Service Appratus and System for training Communication based voice recogintion}
본 발명은 말, 언어가 느린 아동의 의사소통훈련을 위한 서비스를 제공하는 음성인식기반 의사소통 훈련서비스장치 및 시스템에 관한 것이다.
보다 구체적으로, 보유음향모델을 기반으로, 언어가 늦은 아동에 의해 생성된 소규모 음성데이터 및 이를 통해 분석된 언어가 늦은 아동의 발성특징 및 조음오류특성을 이용하여 모델링된 음향모델을 적응시킨 음향적응모델, 의사소통 훈련 서비스에 대응하여 사용자의 음성신호가 입력되면, 상기 음향적응모델과 비교하여 상기 입력된 음성신호를 인식하는 음성인식부 및 상기 인식된 음성신호가 기설정 정보와 일치하면 다음 훈련 과정에 대한 서비스를 제공하는 학습 제공부를 포함하는 것을 특징으로 하는 음성인식기반 의사소통훈련 서비스장치에 관한 것이다.
언어는 생각, 느낌 따위를 나타내거나 전달하는 데에 쓰는 음성, 문자 등의 수단으로, 유아시기에 어휘를 표현하는 책, 사물 등을 통해 습득하게 된다. 하지만, 유아(아동)에 따라 언어의 발달 정도가 다를 수 있다.
아동인구의 약 8%가 말, 언어 장애를 가진 것으로 조사되고 있다(Nelson etal.2006). 이러한 아동은 4세 이전에 언어치료를 받으면 의사소통 능력이 크게 향상될 수 있다.
이에, 언어 장애를 가진 아동 및 장애는 없으나 언어 발달이 느린 아동들은 언어 재활기관 등의 전문가들을 통해 언어치료를 받는 경우가 많으나, 관련 언어 재활기관으로 직접 이동하여야 하는 불편함과 경계적 비용이 많이 소요된다는 문제점이 있다.
또한, 언어 학습을 위한 다양한 서비스들이 인터넷 등을 통해 제공되고 있으나, 도구형, 정보형 서비스이거나 비전문적인 콘텐츠를 활용한 서비스가 대부분이다.
종래의 유아 학습을 제공하는 서비스들은 동요, 아동용 애니메이션, 낱말카드 등을 이용한 단순한 지식 전달을 통한 학습을 제공한다. 이러한 학습서비스는 청각 장애 등의 언어장애를 가진 아동이나, 장애는 없으나 언어 발달이 느린 아동들은 이용하기에 어려움이 있다.
이에, 청각 장애 등의 언어장애를 가진 아동이나, 장애는 없으나 언어 발달이 느린 아동을 타켓으로 발성을 유도하여 의사소통을 훈련할 수 있는 학습서비스가 요구된다.
1. 한국공개특허 제2012-000032호(2012.01.03.공개)
본 발명의 목적은, 언어가 느린 아동의 발성특징 및 조음오류특성을 반영한 음향적응모델를 이용한 음성인식을 기반으로 일상에서 경험할 수 있는 스토리를 통한 의사소통 훈련서비스를 제공함으로써, 언어가 늦은 아동의 의사소통을 향상시킬 수 있는 음성인식기반의 의사소통훈련 서비스장치 및 시스템을 제공하는 데 있다.
또한, 인증된 언어 발달 전문가 참여를 생성된 어휘풀(pool), 멀티미디어 라이브러리 및 스토리 시나리오를 이용한 의사소통 훈련 서비스를 제공하고, 사용성 평가를 수집분석하여 서비스를 개선할 수 있는 음성인식기반의 의사소통훈련 서비스장치 및 시스템을 제공하는 데 있다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 음성인식기반 의사소통훈련 서비스장치는 보유음향모델을 기반으로, 언어가 늦은 아동에 의해 생성된 소규모 음성데이터 및 이를 통해 분석된 언어가 늦은 아동의 발성특징 및 조음오류특성을 이용하여 모델링된 음향모델을 적응시킨 음향적응모델, 의사소통 훈련 서비스에 대응하여 사용자의 음성신호가 입력되면, 상기 음향적응모델과 비교하여 상기 입력된 음성신호를 인식하는 음성인식부 및 상기 인식된 음성신호가 기설정 정보와 일치하면 다음 훈련 과정에 대한 서비스를 제공하는 학습 제공부를 포함할 수 있다.
또한, 상기 학습 제공부는, 어휘 풀(pool) 기반의 멀티미디어 라이브러리를 이용하여 일상에서 경험할 수 있는 스토리 기반의 의사소통 훈련 서비스를 제공할 수 있다.
또한, 상기 학습 제공부는, 어휘 형상화를 통한 인지 및 발성, 제시된 음성에 대응하는 사용자 액션, 음성 피드백 및 음성 인터랙션 중 적어도 하나가 유도되는 스토리기반의 의사소통 훈련 서비스를 제공하고, 상기 제시된 음성에 대응하는 사용자 액션이 기설정된 정보와 일치하면, 해당 스토리에 대응하는 효과음 및 화면을 제공할 수 있다.
또한, 상기 음성인식기반 의사소통훈련 서비스는 서비스제공서버로부터 수신하여 설치된 앱에 의해 제공되고, 상기 학습 제공부는, 상기 의사소통 훈련 서비스 이용시 발생된 학습정보를 상기 서비스제공서버로 제공하며, 상기 서비스제공서버는, 설문을 통해 수집된 사용성 평가를 분석하여 관리자 단말로 제공하고, 전송된 학습정보를 이용하여 사용자 학습상황을 관리할 수 있다.
한편, 본 발명의 일 실시 예에 따른 음성인식기반 의사소통훈련 서비스 시스템은 스토리 기반의 의사소통 훈련 서비스에 대응하여 사용자의 음성신호가 입력되면, 언어가 늦은 아동의 장애유형 및 언어발달정도에 따른 발화특성의 차이를 반영한 음향적응모델과 비교하여 상기 입력된 음성신호를 인식하고, 상기 인식된 음성신호가 기설정 정보와 일치하는 정도에 따라 다음 훈련 학습 또는 반복 학습을 제공하는 음성인식기반 의사소통훈련 서비스장치 및 상기 음성인식기반 의사소통훈련 서비스장치와 통신망이 연결되면 상기 스토리 기반의 의사소통 훈련 서비스 이용에 따른 학습정보를 수신하여 사용자 학습상황을 관리하는 서비스제공서버를 포함할 수 있다.
이상에서 설명한 바와 같이, 본 발명에 의하면, 본 발명의 음성인식기반 의사소통훈련서비스장치 및 시스템은 언어가 느린 아동의 발성특징 및 조음오류특성을 반영한 음향적응모델를 이용한 음성인식을 기반으로 의사소통 훈련서비스를 제공함으로써, 언어가 늦은 아동의 의사소통을 향상시킬 수 있다.
또한, 일상에서 경험할 수 있는 스토리를 기반으로 의사소통훈련 서비스를 제공함으로써 아동에게 친숙함을 제공하면서 일상생활의 의사소통을 훈련하고, 미션 수행에 따른 효과음 및 영상을 제공함으로써 아동의 흥미를 높일 수 있다.
또한, 어휘 형상화를 통한 인지 및 발성, 제시된 음성에 대응하는 사용자 액션, 음성 피드백 및 음성 인터랙션 중 적어도 하나가 유도되는 스토리기반의 의사소통 훈련 서비스를 제공함으로써, 자연스럽게 아동이 듣고 말할 수 있게 한다.
또한, 인증된 언어 발달 전문가 참여를 생성된 어휘풀(pool), 멀티미디어 라이브러리 및 스토리 시나리오를 이용한 의사소통 훈련 서비스를 제공함으로써, 전문성 및 신뢰성이 검증된다.
또한, 서비스 이용에 따른 사용성 평가를 수집분석함으로써 서비스 개선에 반영할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 음성인식기반 의사소통훈련서비스시스템의 구성을 개략적으로 나타낸 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 음성인식기반 의사소통훈련서비스장치의 구성을 개략적으로 나타낸 블럭도이다.
도 3 내지 도 8은 본 발명의 일 실시 예에 따른 의사소통훈련서비스를 설명하기 위한 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 도면을 참조하여 설명하기에 앞서, 본 발명의 요지를 드러내기 위해서 필요하지 않은 사항 즉 통상의 지식을 가진 당업자가 자명하게 부가할 수 있는 공지 구성에 대해서는 도시하지 않거나, 구체적으로 기술하지 않았음을 밝혀둔다.
도 1은 본 발명의 일 실시 예에 따른 음성인식기반 의사소통훈련서비스시스템의 구성을 개략적으로 나타낸 블럭도이다.
도 1에 따르면, 본 발명의 일 실시 예에 따른 의사소통훈련 서비스시스템(1000)은 음성인식기반 의사소통훈련 서비스장치(100), 서비스제공서버(200) 및 DB(300)를 포함할 수 있다.
본 발명의 일 실시 예에 따른 음성인식기반 의사소통훈련 서비스 장치(100)는 무선인터넷, wifi 등의 네트워크(10)를 통해 서비스제공서버(200)로부터 언어가 느린 아동의 의사소통훈련을 위한 음성인식기반 의사소통훈련 서비스를 앱(APP)형 태로 수신하여 설치할 수 있다.
이때, 음성인식기반 의사소통훈련 서비스장치(100)는 앱이 설치되면, 네트워크를 통한 서비스제공서버(200)와의 연결 없이도, 앱 구동에 따라 음성인식기반 의 사소통 훈련 서비스를 제공할 수 있다.
이에, 음성인식기반 의사소통훈련 서비스장치(100)는 음성인식기반 의사소통훈련 서비스 앱을 서비스제공서버(200)로부터 수신하여 설치할 수 있고, 설치된 앱 구동에 따라 서비스를 제공할 수 있는 스마트폰, 탭북, PC, 노트북 등의 단말기뿐 아니라, 본 발명의 일 실시 예에 따른 앱 서비스를 제공할 수 있는 완구, 학습기 등의 모든 사용자 단말기가 될 수 있다.
본 발명의 일 실시 예에 따른 음성인식기반 의사소통훈련 서비스는, 청각장애, 언어발달지연 등으로 언어가 늦은 아동을 대상으로, 일상에서 경험할 수 있는 스토리를 기반으로 제공되는 멀티미디어 영상을 통해, 대상 아동이 자연스럽게 듣고 말하기를 유도할 수 있는 학습서비스가 될 수 있다.
서비스제공서버(200)는 음성인식기반 의사소통훈련 서비스 앱을 제공한다. 이때, 앱은 서비스제공서버(200)와의 네트워크(10) 연결 없이도, 서비스DB(113)를 이용하여 음성인식기반 의사소통훈련 서비스를 제공할 수 있다.
이를 위해, 서비스제공서버(200)는 State tying, Mixture tying 및 codebook 등을 이용한 음향모델 압축기술을 적용하여 앱을 제공할 수 있다.
DB(300)는 음성인식기반 의사소통훈련 서비스 앱 및 사용자의 음성인식기반 의사소통훈련 서비스 이용에 따라 발생되는 다양한 정보들을 저장하고 관리할 수 있다. 이때, 저장되는 정보들은 사용자별 학습정보, 사용성 평가 정보 등이 될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 음성인식기반 의사소통훈련서비스장치의 구성을 개략적으로 나타낸 블럭도이다.
도 2를 참고하면, 음성인식기반 의사소통훈련서비스장치(100)는 의사소통 훈련 서비스앱 (110), 입력부(120), 마이크(130), 디스플레이부 (140) 및 사운드출력부(150)를 구비할 수 있다. 또한, 의사소통훈련 서비스 앱(110)은 학습제공 부(111), 음성인식부 (112) 및 서비스DB(113)를 포함할 수 있다. 또한, 서비스DB(113)는 어휘풀 (114), 음향적응모델(115) 및 멀티미디어 라이브러리(116)를 포함할 수 있다.
음성인식기반 의사소통훈련서비스장치(100)의 의사소통 훈련 서비스 앱(110)은 네트워크(10)를 통해 서비스제공서버(200)로부터 수신하여 설치된 앱이 될 수 있다.
이때, 음성인식기반 의사소통훈련서비스장치(100)는 앱의 조작을 위한 터치 등을 통한 사용자선택을 입력받을 수 있는 입력부(120), 사용자 음성을 입력받는 마이크(130), 앱에 의해 제공되는 서비스를 디스플레이하기 위한 디스플레이부(140) 및 앱에 의해 제공되는 사운드를 출력하기 위한 사운드 출력부(150)를 포함한다.
음성인식기반 의사소통훈련서비스장치(100)는 서비스DB(113)의 정보를 기반으로 의사소통 훈련 서비스를 제공할 수 있다.
여기서, 어휘풀(Pool:114))은 언어재활 임상에 근거한 전문가에 의해 검증된 훈련 어휘 목록들로, 소리, 동물, 탈 것 등에 따른 유아학습어휘들과 음성인식을 위해 설계된 한국어 학습을 위한 어휘목록 등을 이용하여 구성될 수 있다.
음향적응모델(115)은 소규모 음성데이터DB의 음성데이터들을 이용하여 언어가 늦은 아동들의 발성특징 및 조음오류특성을 분석하고, 해당 아동에 맞는 음소셋 선정 및 음성특징을 추출함으로써, 아동의 장애유형 및 언어발달정도에 따른 발화 특성차이를 분석할 수 있다.
음향적응모델(115)은 분석된 발화 특성차이를 소규모 음성데이터 DB에 반영하고, 보유음향모델을 기반으로 소규모 음성데이터DB의 음성데이터를 적응시켜 음성인식을 위한 음향적응모델로 구축될 수 있다.
여기서, 보유음향모델은 기저장된 한국어 성인음향모델, 한국어 아동음향모델 등으로 통상적인 한국어 음성인식기술에 적용되고 있는 음향모델이 될 수 있다. 이때, 보유음향모델은 어휘풀(114)을 기반으로 발성된 음향데이터들이 될 수 있다.
또한, 소규모 음성데이터DB는 어휘풀(114)을 기반으로, 언어가 늦은 아동들이 발성한 음성데이터에 의해 구축된 DB가 될 수 있다. 이때, 아동의 장애 유형 및 언어발달정도에 따라 발성 반복횟수를 다양하게 하여 구축될 수 있다.
여기서, 보유음향모델 및 소규모음성데이터DB는 서비스제공서버(200)에서 관리되는 DB(300)에 저장되며, 이를 이용하여 모델링된 음향적응모델만 앱에 구성되어 음성인식기반 의사소통훈련서비스장치(100)에 저장될 수 있다.
이때, 음향적응모델은 MLLR(Maximum Likelihood Linear Regression), MAP(Maximum a Posteriori) 등의 적응 기술에 따라 모델링될 수 있다. 이에, 음향적응모델(340)은 장애유형 및 언어발달정도에 따른 발화 특성차이가 반영된 화자적응모델이 될 수 있다.
멀티미디어 라이브러리(116)는 어휘풀(114)을 기반으로 스토리 시나리오에 따른 템플릿, 이미지, 효과음, 음성데이터, 동영상 등이 저장관리될 수 있다.
이때, 스토리 시나리오는 임상에서 언어치료사가 아동과 상호작용하는 과정, 아동이 일상생활에서 직, 간접적으로 경험할 수 있는 스토리 등을 기반으로 아동언어발달 전문가들에 의해 설계될 수 있다.
학습 제공부(111)는 말하기 영역 및 듣기 영역에 따라 설정된 관련목표에 대응하는 스토리 시나리오 기반의 의사소통 훈련 서비스를 음성인식기반 의사소통훈련서비스장치(100)로 제공할 수 있다.
여기서, 말하기 영역 및 듣기 영역에 따른 관련목표는 다음 표1과 같이 설정될 수 있다.
영역 관련 목표





듣기		 감지하기와 방향 찾기
화자를 찾아서 반응하기
음악에 반응하기
조건화된 놀이청력검사 수행
의미있는 소리에 적절하게 반응하기
소리-대상 연결의 발달
청각 기억의 발달
청각 순서화의 발달
묘사문을 듣고 항목을 확인하기
청각 마무리(종결)
지시 따르기
이야기의 중심 요소 회상하기
듣기-인지 기술의 발달



말		 말소리의 초분절 특성의 발달
특정 모음과 자음의 발달
말소리 생략/대치의 제거
음성의 질 조절/향상
음성 놀이의 참여
음소 확인/재인 과제 수행
낱말과 상용구의 산출
특정 음운변동의 감소 및 제거
또한, 학습 제공부(111)는 말하기 영역 및 듣기 영역에 따른 관련목표에 따라 구축된 서비스DB(113)를 활용하여 스토리 시나리오를 구축할 수 있다. 이때, 스토리 시나리오는 어휘 형상화를 통한 인지 및 발성, 제시된 음성에 대응하는 사용자 액션, 음성 피드백 및 음성 인터랙션 중 적어도 하나가 유도되도록 구성될 수 있다.
여기서, 어휘 형상화를 통한 인지 및 발성은, 특정 단어를 형상화하여 제공함으로써 사용자 즉, 언어가 느린 아동이 형상화된 단어를 시각적으로 인지하여 해당 단어를 발성하는 방식이 될 수 있다.
또한, 제시된 음성에 대응하는 사용자 액션은 형상화된 단어를 다수 개 제공하고, 제시된 음성에 대응되는 형상된 단어를 사용자가 선택하는 방식이 될 수 있다.
또한, 음성 피드백은 특정 단어에 대한 발성요청에 따라 사용자가 특정 단어를 발성하는 방식이 될 수 있다.
또한, 음성 인터랙션은 제공되는 영상에 대해 사용자와 대화하는 방식이 될 수 있다.
도 3 내지 도 8은 본 발명의 일 실시 예에 따른 의사소통훈련서비스를 설명하기 위한 도면이다. 본 발명의 일 실시 예에 따른 의사소통 훈련 서비스의 일 예로, 도 3 내지 도 8을 참고하여, 5가지 스토리 시나리오를 설명할 수 있다.
[ 스토리 시나리오 1] 화면에 나오는 이미지를 보고, 단어 말하기
학습 제공부(111)는 일상생활 속 특정 장소, 공간 등에 구비되는 다양한 단어를 이미지로 형상화하여 제공하고, 랜덤으로 특정 이미지를 시각적으로 제공하여 아동이 인지하고 특정 이미지에 대한 해당 단어를 발성할 수 있게 한다.
스토리 시나리오 1은 말하기 훈련이 될 수 있다. 도 3을 참고하면, 냉장고 속의 음식재료들을 형상화하여 제공하고, 시각적으로 인지하도록 주인공이 특정 음식재료(물고기 또는 생선)를 떠올리면, 아동은 시각적으로 물고기를 인지하고, 해당 단어를 발성할 수 있다.
이때, 마이크(130)를 통해 발성된 음성이 입력되면, 음성인식부(112)는 해당 음성신호를 수신하고, 음향적응모델(340)과 비교분석하여 해당 음성신호를 인식할 수 있다.
학습 제공부(111)는 음성인식부(112)에서 인식된 음성신호에 따라 해당 학습의 정답여부를 판단할 수 있다. 이때, 정답으로 기설정된 음성정보와 음성인식서버(220)에서 인식된 음성신호의 일치 정도가 기설정범위에 있는 경우 정답으로 판단하고, 일치정도에 따라 해당 아동의 언어발달 정도를 판단할 수 있다.
이때, 학습 제공부(111)는 정답이면, 랜덤한 다음 특정이미지를 제공할 수 있다. 한편, 정답이 아니면 기설정 횟수만큼 해당 이미지를 반복 학습시킬 수도 있다.
학습 제공부(111)는 정답으로 판단하면, 해당 이미지에 하이라이트 등의 효과, 정답에 따른 효과음 등을 제공할 수 있다. 또한, 학습 제공부(111)는 오답으로 판단되면, 힌트를 제공하는 특정 효과이미지, 오답에 따른 효과음 등을 제공할 수도 있다.
한편, 음성인식부(112)의 음성신호 인식, 학습 제공부(111)의 정답여부 판단, 아동의 언어발달 정도 판단, 다음학습제공 및 반복학습제공 등은 이하, 스토리 시나리오 2 및 5에서도 동일하게 적용될 수 있다. 또한, 정답여부에 따라 제공되는 효과이미지 및 효과음 등은 모든 스토리 시나리오에 적용될 수 있다.
한편, 도 3은 형상화된 이미지가 명사인 단어를 제공하였으나, 도 4와 같이 동사를 표현할 수도 있다. 도 4와 같이, a 내지 d의 이미지를 순차적으로 표시하여 "녹다"라는 동사를 형상화할 수 있다. 이때, 아동은 제공된 영상을 통해, "녹다"를 인지하고 발성할 수 있다.
[ 스토리 시나리오 2] 화면에 나오는 이미지와 제시되는 음성을 기반으로 말하기
스토리 시나리오 2는 긴 장음 말하기 훈련이 될 수 있다. 도 5의 (a)를 참고하면, 학습 제공부(111)는 긴 장음(ㅃ,ㄸ,ㅉ,ㄲ) 중 하나를 선택받고, 도 5의 (b)를 참고하면 선택된 장음의 음소목록에서 랜덤으로 나오는 음소의 이미지와 해당 이미지에 대응하는 음성을 제공하여, 아동이 해당 음성을 발성할 수 있게 한다. 이때, 한 활동에 기설정된 단어 개수 예를 들어, 5개의 단어를 발성할 수 있게 반복학습을 제공할 수 있다.
[ 스토리 시나리오 3] 제시되는 음성의 의미하는 행동을 이해하고 행동하기
스토리 시나리오 3은 구조화된 듣기기술 향상을 위한 훈련이 될 수 있다. 도 6을 참고하면, 학습 제공부(111)는 활동할 어휘, 예를 들어 따, 타, 퍼, 쏙, 먹어 등의 동사 중 하나를 선택받고, 선택한 어휘에 대한 음성을 제공하여 아동이 해당 화면의 이미지를 터치하여 해당 음성에 대응하는 행동을 영상에서 실행할 수 있게 한다.
예를 들어, 사용자가 "먹어"라는 어휘를 선택한 경우, 밥과 반찬이 차려진 상을 제공하고, 사용자가 행동을 실행할 수 있는 주인공을 제공할 수 있다. 또한, "먹어" 또는 "밥을 먹어요" 등과 같은 행동에 대한 음성을 제시하여, 사용자가 음식이미지를 터치하고 드래그 등을 통해 주인공의 입으로 이동시켜 행동을 실행할 수 있게 한다. 이때, 선택한 어휘에 대한 활동을, 기설정된 횟수만큼 반복학습할 수 있도록 제공할 수 있다.
여기서, 스토리 시나리오 3 및 4는 청각적 기억력을 향상시키기 위한 학습으로, 음성인식에 따른 정답여부가 아닌 제공된 음성에 따른 사용자 액션으로 정답여부를 판단할 수 있다.
즉, 학습 제공부(111)는 선택된 어휘 및 제공된 음성에 따라, 아동이 화면에서 터치하는 위치, 이동시키는 위치 등을 판단하여 해당 학습의 정답여부를 판단할 수 있다.
이때, 학습 제공부(111)는 기설정 횟수만큼 해당 어휘에 대해 반복학습을 제공한 후, 다음 어휘를 선택을 통해 다음 학습을 제공할 수 있다.
[ 스토리 시나리오 4] 제공되는 음성이 무엇을 의미하는지 이해하여 선택하기
스토리 시나리오 4는 묘사문 듣고 이해하기 훈련이 될 수 있다. 도 7을 참고하면, 일상에서 경험할 수 있는 활동할 수 있는 환경 예를 들어, 집, 지하철, 정원, 유치원 등의 환경을 제공하여 선택받고, 선택된 환경에 대응하는 묘사문을 제공하여 해당 이미지를 사용자가 선택할 수 있게 한다.
도 7을 예로 들면, 지하철이 선택된 경우 해당 화면을 제공하고, 지하철에 앉아 있는 다양한 사람들 중 특정인의 특징을 묘사문으로 제공하여 해당 특정인을 사용자가 선택하도록 할 수 있다.
학습 제공부(111)는 선택된 환경 및 제공된 묘사문에 따라, 아동이 화면에서 터치하는 위치를 판단하여 해당 학습의 정답여부를 판단할 수 있다.
이때, 학습 제공부(111)는 선택된 환경에서 기설정 개수의 묘사문 활동을 제공하여 반복학습할 수 있게 하며, 반복학습 완료시 다음 환경 선택을 통해 다음 학습을 제공할 수 있다.
[ 스토리 시나리오 5] 아동이 들리는 음성의 질문에 대답하기
스토리 시나리오 5는 듣고 기억하여 말하기 훈련이 될 수 있다. 도 8을 참고하면, 일상에서 경험할 수 있는 환경 예를 들어, 창문, 앞마당 등을 제공하여 선택받고, 선택된 환경에 따라 의문문 형태의 음성을 제공할 수 있다. 이때, 사용자는 제공된 화면의 상황을 인식하고 제시된 의문문에 대답을 제공할 수 있다.
도 8을 예로 들면, 도 8의 화면 제공과 함께 "나무 위에는 누가 있나요?"라는 음성이 제공되면, 아동은 제공된 화면을 통해 "새"라는 대답을 할 수 있다.
이때, 마이크(130)를 통해 아동에 의해 발성된 음성대답이 입력되면, 음성인식부(112)는 해당 음성신호를 수신하고, 음향적응모델(115)과 비교분석하여 해당 음성신호를 인식할 수 있다.
학습 제공부(111)는 음성인식부(112)에서 인식된 음성신호에 따라 해당 학습의 정답여부를 판단할 수 있다. 이때, 정답으로 기설정된 음성정보와 음성인식부(112)에서 인식된 음성신호의 일치 정도가 기설정범위에 있는 경우 정답으로 판단하고, 일치 정도에 따라 해당 아동의 언어발달 정도를 판단할 수 있다.
학습 제공부(111)는 의사소통 훈련 서비스의 이용 후, 학습이 종료되면 디스플레이부(140)를 통해 사용성 평가를 위한 설문을 제공할 수 있다. 이때, 설문은 사용자인 해당 아동, 보호자, 해당 언어치료사 및 특수교사 등에 따라 분류되어 제공될 수 있다. 이때, 설문은 서비스 이용의 만족도, 난이도, 불편사항, 추가컨텐츠요구 등이 될 수 있다.
학습 제공부(111)는 사용자에 의해 작성된 사용성 평가를 수집하고, 수집된 사용성 평가를 분석하여 관리자 단말(미도시) 및 서비스제공서버(200)에 구비된 표시부(미도시)로 제공할 수 있다. 이에, 사용성 평가 결과를 서비스에 반영하여 업데이트 시킬 수 있다.
또한, 입력부(120)는 네트워크 연결 옵션을 설정할 수 있다. 음성인식기반 의사소통훈련 서비스장치(100)는 서비스제공서버(200)와 네트워크(10) 연결되면, 해당 학습제공부(111)에서 생성된 사용자 학습녹음파일, 학습진행상황, 학습 정답률 등을 포함하는 학습정보와 설문을 통해 작성된 사용성 평가에 대한 정보를 서비스제공서버(200)로 전송할 수 있다.
서비스제공서버(200)는 수신된 정보들을 이용하여 해당 사용자의 학습상황을 관리할 수 있다. 또한, 서비스제공서버(200)는 해당 사용자의 학습상황을 기설정된 언어치료사, 학부모 등의 관련단말기(미도시)로 제공할 수 있다.
결과적으로, 일상에서 경험할 수 있는 스토리를 기반으로 의사소통훈련 서비스를 제공함으로써 아동에게 친숙함을 제공하면서 일상생활의 의사소통을 훈련할 수 있고, 아동이 자연스럽게 듣고 말할 수 있게 된다.
한편, 상기에서 도 1 내지 8을 이용하여 서술한 것은, 본 발명의 주요 사항만을 서술한 것으로, 그 기술적 범위 내에서 다양한 설계가 가능한 만큼, 본 발명이 도 1 내지 8의 구성에 한정되는 것이 아님은 자명하다.
1000 : 음성인식기반 의사소통훈련 서비스시스템
100 : 음성인식기반 의사소통훈련 서비스장치
110 : 의사소통 훈련 서비스 앱
111 : 학습제공부 112 : 음성인식부
113 : 서비스DB 114 : 어휘풀
115 : 음향적응모델 116 : 멀티미디러 라이브러리
120 : 입력부 130 : 마이크
140 : 디스플레이부 150 : 사운드 출려부
200 : 서비스제공서버 300 : DB

Claims (5)

  1. 보유음향모델을 기반으로, 언어가 늦은 아동에 의해 생성된 소규모 음성데이터 및 이를 통해 분석된 언어가 늦은 아동의 발성특징과 조음오류특성을 이용하여 모델링된 음향모델을 적응시킨 음향적응모델;
    의사소통 훈련 서비스에 대응하여 사용자의 음성신호가 입력되면, 상기 음향적응모델과 비교하여 상기 입력된 음성신호를 인식하는 음성인식부; 및
    상기 인식된 음성신호가 기설정 정보와 일치하면 다음 훈련 과정에 대한 서비스를 제공하는 학습 제공부를 포함하고,
    상기 학습 제공부는,
    형상화된 단어의 시각적 인지를 통해 해당 단어를 발성하도록 유도하는 어휘 형상화를 통한 인지 및 발성, 활동할 어휘에 대한 음성 및 캐릭터를 제시한 후 제시한 음성에 포함된 동사(動詞)의 의미에 대응되는 상기 캐릭터의 행동을 터치앤 드래그를 통해 입력받는 사용자 액션, 특정 단어 발성을 요청하여 특정 단어를 발성하도록 유도하는 음성 피드백 및 음성 인터랙션에 기반하여 유도되는 스토리기반의 의사소통 훈련 서비스를 제공하며,
    상기 의사소통 훈련 서비스에 대한 사용자 응답이 기설정된 정보와 일치하면, 해당 스토리에 대응하는 효과음 및 화면을 제공하고,
    어휘 풀(pool) 기반의 멀티미디어 라이브러리를 이용하여 일상에서 경험할 수 있는 스토리 기반의 의사소통 훈련 서비스를 제공하여 일상생활의 의사소통을 훈련시키는 것을 특징으로 하는 음성인식기반 의사소통훈련 서비스장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 음성인식기반 의사소통훈련 서비스는 서비스제공서버로부터 수신하여 설치된 앱에 의해 제공되고,
    상기 학습 제공부는, 상기 의사소통 훈련 서비스 이용시 발생된 학습정보를 상기 서비스제공서버로 제공하며,
    상기 서비스제공서버는, 전송된 학습정보를 이용하여 사용자 학습상황을 관리하는 것을 특징으로 하는 음성인식기반 의사소통훈련 서비스장치.
  5. 스토리 기반의 의사소통 훈련 서비스에 대응하여 사용자의 음성신호가 입력되면, 언어가 늦은 아동의 장애유형 및 언어발달정도에 따른 발화특성의 차이를 반영한 음향적응모델과 비교하여 상기 입력된 음성신호를 인식하고, 상기 인식된 음성신호가 기설정 정보와 일치하는 정도에 따라 다음 훈련 학습 또는 반복 학습을 제공하는 음성인식기반 의사소통훈련 서비스장치; 및
    상기 음성인식기반 의사소통훈련 서비스장치와 통신망이 연결되면 상기 스토리 기반의 의사소통 훈련 서비스 이용에 따른 학습정보를 수신하여 사용자 학습상황을 관리하는 서비스제공서버를 포함하고,
    상기 음성인식기반 의사소통훈련 서비스장치는,
    형상화된 단어의 시각적 인지를 통해 해당 단어를 발성하도록 유도하는 어휘 형상화를 통한 인지 및 발성, 활동할 어휘에 대한 음성 및 캐릭터를 제시한 후 제시한 음성에 포함된 동사(動詞)의 의미에 대응되는 상기 캐릭터의 행동을 터치앤 드래그를 통해 입력받는 사용자 액션, 특정 단어 발성을 요청하여 특정 단어를 발성하도록 유도하는 음성 피드백 및 음성 인터랙션에 기반하여 유도되는 스토리기반의 의사소통 훈련 서비스를 제공하며,
    상기 의사소통 훈련 서비스에 대한 사용자 응답이 기설정된 정보와 일치하면, 해당 스토리에 대응하는 효과음 및 화면을 제공하고,
    어휘 풀(pool) 기반의 멀티미디어 라이브러리를 이용하여 일상에서 경험할 수 있는 스토리 기반의 의사소통 훈련 서비스를 제공하여 일상생활의 의사소통을 훈련시키는 것을 특징으로 하는 음성인식기반 의사소통 훈련서비스시스템.
KR1020160150160A 2016-11-11 2016-11-11 음성인식기반 의사소통훈련 서비스장치 및 시스템 KR101926328B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160150160A KR101926328B1 (ko) 2016-11-11 2016-11-11 음성인식기반 의사소통훈련 서비스장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160150160A KR101926328B1 (ko) 2016-11-11 2016-11-11 음성인식기반 의사소통훈련 서비스장치 및 시스템

Publications (2)

Publication Number Publication Date
KR20180052952A KR20180052952A (ko) 2018-05-21
KR101926328B1 true KR101926328B1 (ko) 2018-12-07

Family

ID=62453417

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160150160A KR101926328B1 (ko) 2016-11-11 2016-11-11 음성인식기반 의사소통훈련 서비스장치 및 시스템

Country Status (1)

Country Link
KR (1) KR101926328B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102245941B1 (ko) * 2019-09-17 2021-04-29 보리 주식회사 연속대화기반 언어발달장애 검사 시스템 및 그 방법
KR102503488B1 (ko) * 2019-12-19 2023-02-24 보리 주식회사 발달장애 진단과 치료를 위한 협업 방법 및 시스템
CN112365752A (zh) * 2020-12-03 2021-02-12 安徽信息工程学院 一款亲子互动类早教系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140015672A (ko) * 2012-07-04 2014-02-07 씨제이에듀케이션즈 주식회사 캐릭터 어학 학습 서비스 제공 장치 및 방법
KR101662753B1 (ko) * 2014-02-13 2016-10-05 (주)코어테크놀로지 언어발달 장애인을 위한 교육 시스템

Also Published As

Publication number Publication date
KR20180052952A (ko) 2018-05-21

Similar Documents

Publication Publication Date Title
US9558734B2 (en) Aging a text-to-speech voice
Chrabaszcz et al. Acoustic cues to perception of word stress by English, Mandarin, and Russian speakers
Hagen et al. Children's speech recognition with application to interactive books and tutors
Gillon Facilitating phoneme awareness development in 3-and 4-year-old children with speech impairment
Saz et al. Tools and technologies for computer-aided speech and language therapy
Abad et al. Automatic word naming recognition for an on-line aphasia treatment system
KR20200142066A (ko) 다수의 연령 및/또는 어휘 수준을 수용하는 자동화 어시스턴트
US20060074659A1 (en) Assessing fluency based on elapsed time
US9336782B1 (en) Distributed collection and processing of voice bank data
US20060069562A1 (en) Word categories
Cravotta et al. Effects of encouraging the use of gestures on speech
Michael Automated Speech Recognition in language learning: Potential models, benefits and impact
KR101973791B1 (ko) 말소리 교정 방법
US9520068B2 (en) Sentence level analysis in a reading tutor
KR101926328B1 (ko) 음성인식기반 의사소통훈련 서비스장치 및 시스템
Athanaselis et al. Making assistive reading tools user friendly: A new platform for Greek dyslexic students empowered by automatic speech recognition
KR102444012B1 (ko) 말 장애 평가 장치, 방법 및 프로그램
Kataoka Phonetic and cognitive bases of sound change
Hay et al. Car-talk: Location-specific speech production and perception
Vaquero et al. E-inclusion technologies for the speech handicapped
Sundara et al. Stem similarity modulates infants' acquisition of phonological alternations
Ertmer et al. Communication intervention for children with cochlear implants
Morales et al. Speech-based human and service robot interaction: An application for Mexican dysarthric people
Bell et al. Child and adult speaker adaptation during error resolution in a publicly available spoken dialogue system.
Beals et al. Speech and language technology for language disorders

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant