KR20190006348A - 말소리 교정 방법 - Google Patents
말소리 교정 방법 Download PDFInfo
- Publication number
- KR20190006348A KR20190006348A KR1020170087238A KR20170087238A KR20190006348A KR 20190006348 A KR20190006348 A KR 20190006348A KR 1020170087238 A KR1020170087238 A KR 1020170087238A KR 20170087238 A KR20170087238 A KR 20170087238A KR 20190006348 A KR20190006348 A KR 20190006348A
- Authority
- KR
- South Korea
- Prior art keywords
- speech
- test
- evaluation
- learner
- learning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 115
- 238000012549 training Methods 0.000 title claims abstract description 39
- 238000012360 testing method Methods 0.000 claims abstract description 136
- 238000006243 chemical reaction Methods 0.000 claims abstract description 96
- 230000008569 process Effects 0.000 claims abstract description 88
- 230000002269 spontaneous effect Effects 0.000 claims abstract description 50
- 239000000463 material Substances 0.000 claims abstract description 20
- 230000001755 vocal effect Effects 0.000 claims abstract description 5
- 238000011156 evaluation Methods 0.000 claims description 137
- 230000004044 response Effects 0.000 claims description 52
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000012854 evaluation process Methods 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 13
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 7
- 230000003278 mimic effect Effects 0.000 claims description 6
- 230000002747 voluntary effect Effects 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims 2
- 208000016354 hearing loss disease Diseases 0.000 abstract description 4
- 230000010370 hearing loss Effects 0.000 abstract description 3
- 231100000888 hearing loss Toxicity 0.000 abstract description 3
- 208000011977 language disease Diseases 0.000 abstract description 3
- 206010011878 Deafness Diseases 0.000 abstract description 2
- 208000030137 articulation disease Diseases 0.000 abstract description 2
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 235000009508 confectionery Nutrition 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000000638 stimulation Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 230000008140 language development Effects 0.000 description 3
- 238000002560 therapeutic procedure Methods 0.000 description 3
- 208000012239 Developmental disease Diseases 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 208000035976 Developmental Disabilities Diseases 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B17/00—Teaching reading
- G09B17/003—Teaching reading electrically operated apparatus or devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Tourism & Hospitality (AREA)
- Educational Technology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명의 실시 형태는 학습자 단말기에 설치된 말소리학습콘텐츠앱이 학습자에 대한 말소리 훈련을 시키는 말소리 평가 및 학습 방법에 있어서, 말소리 훈련에 사용될 말소리훈련콘텐츠를 학습자로부터 선택받는 말소리훈련콘텐츠 선택 과정; 선택된 말소리훈련콘텐츠의 자발어테스트화면을 제공하여 자발어 테스트가 이루어지도록 하는 자발어 테스트 과정; 상기 자발어 테스트 결과 미리 설정된 자발어 평가기준에 미달하는 경우, 말소리 훈련콘텐츠에서 사용된 언어모델의 말소리를 따라하는 모방어에 대한 테스트를 하는 모방어테스트화면을 제공하여 모방어 테스트가 이루어지도록 하는 모방어 테스트 과정; 상기 모방어 테스트 결과 미리 설정된 모방어 평가기준에 미달하는 경우, 상기 모방어 테스트 결과를 반영하여 생성한 음성변환된 언어모델에 대한 모방을 테스트하는 음성변환테스트화면을 제공하여 음성변환테스트가 이루어지도록 하는 음성변환 테스트 과정; 및 상기 말소리 테스트, 모방어 테스트, 음성변환 테스트의 테스트 결과를 반영한 학습자 맞춤형 학습자료를 제공하여 학습자의 말소리 학습이 이루어지도록 하는 말소리 학습 과정;을 포함할 수 있다.
Description
본 발명은 말소리 평가 및 학습 방법으로서, 말소리 학습을 제공하는 말소리 평가 및 학습 방법에 관한 것이다.
일반적인 발달성 장애치료 및 교육 방법에 있어서, 치료전문기관 및 전문가를 통한 치료 및 교육은 장애우에 대한 전문적인 치료가 가능하고, 신뢰를 형성할 수 있는 장점에 비해, 치료전문가의 부족, 경제적 부담, 이용 접근성의 부족, 치료이용시간 부족, 치료이용의 대기시간과 같은 단점이 있다. 또한, 사설 치료기관 및 복지시설을 통한 치료 및 교육은 치료비용이 저렴한 장점이 있으나, 치료사들의 전문성 부족, 시설의 열악함, 전문기관과의 연계부족, 치료이용 대기시간과 같은 단점이 있다. 또한, PC용 치료 S/W 프로그램을 이용한 치료 및 교육은 경제적 부담 감소, 접근성 및 편의성 향상의 장점이 있으나, 전문기관과의 연계부족, 학습자의 개별적인 특성을 고려하지 못한 발음중점의 학습방식과 같은 단점이 있다.
언어발달에 있어서 조기발견 및 조기집중중재의 중요성에 비해 이러한 종래 발달성 장애치료 및 교육 방법은 접근성의 부족, 대기시간의 증가로 인한 치료시기의 지연, 경제적 부담으로 인한 언어치료 이용시간 부족, 전문가와의 연계 부족으로 인해 치료결과에 대한 즉각적 피드백이 어려우며, 전문적인 평가 및 조언이 부족한 문제점이 있다.
한편, 최근 급격히 증가하고 있는 다문화 가정의 자녀에 대한 언어교육이 필요하지만 대부분 전문기관의 방문을 통해서만 가능한 상황이다. 또한, 매년 장애우 수가 증가하는 추세이지만, 이에 비례하여 복지시설 및 치료/교육기관이 현저히 부족한 상황이다.
이와 같이 부족한 치료/교육 기관으로 인해 치료/교육서비스의 질적 저하가 우려되며, 치료/교육 이용시간 부족으로 인해 치료/교육 시기가 지연되거나 치료/교육기간이 장기화되는 문제점이 있다.
이에, 최근에는 언어학습용 콘텐츠가 제공되고 있으나 언어학습 효과에 있어서 실효성이 떨어지는 문제가 있다. 즉, 기존의 언어학습용 콘텐츠의 제작 및 사용자에게 제공하는 방법은, 대부분 한가지 녹음대본은 한가지 음성과 한 가지 발음속도로만 제작하여 사용자에게 제공되고, 언어모델의 발음방법을 강의하고 모델링하는 방식에 한정되었다.
또한 발음속도도 대부분 모국어 사용자의 정상적인 발음양상과 속도이다 보니, 비록 컴퓨터와 인터넷의 편리한 반복 재생기능을 언어학습에 활용한다고 해도 이러한 한가지 형태의 콘텐츠 제공만으로는 언어학습 효과를 기대할 수 없는 문제가 있다.
언어 치료 및 교육이 필요한 학습자의 경우 발음하는 방법이 서툰 이유도 있지만 청각정보처리능력이 부족한 특성의 영향도 있다. 즉, 언어에 대한 기민성과 모국어 변별능력이 부족하고 청각 주의폭, 청각 기억폭 등의 청각정보처리능력이 부족한 특성이 있어, 제시되는 말 속도에 따라 발음 정확도가 달라지기도 한다. 따라서 언어정보처리과정에 기반하여 학습자의 말소리 지각 수준에 대한 객관화된 데이터를 바탕으로 학습자가 언어를 정확하게 들을 수 있는 말소리 자극의 특성을 파악하고 이를 조절해줌으로써 학습자가 정확하게 언어를 인식하고 말하도록 돕는 시스템이 필요하다. 또한 학습자가 숙달될 때까지 언어를 충분히 학습할 수 있도록 말하기 학습이 재미있으면서도 자연스럽게 진행될 필요가 있다. 따라서 학습자의 언어 반응으로 수행되는, 다양한 학습게임은 반복연습을 통한 언어학습 효과와 자발어 증진 효과를 기대할 수 있다.
본 발명의 기술적 과제는 언어 진단 및 치료가 필요한 학습자(언어표현 발달이 느린 유아, 난청과 조음장애를 비롯한 언어장애, 청력 손실로 인한 언어문제를 가진 노인, 발달장애 등)가 말소리 학습을 할 수 있도록 하는 말소리 평가 및 학습 방법을 제공하는데 있다.
본 발명의 실시 형태는 학습자 단말기에 설치된 말소리학습콘텐츠앱이 학습자에 대한 말소리 훈련을 시키는 말소리 평가 및 학습 방법에 있어서, 말소리 훈련에 사용될 말소리훈련콘텐츠를 학습자로부터 선택받는 말소리훈련콘텐츠 선택 과정; 선택된 말소리훈련콘텐츠의 자발어테스트화면을 제공하여 자발어 테스트가 이루어지도록 하는 자발어 테스트 과정; 상기 자발어 테스트 결과 미리 설정된 자발어 평가기준에 미달하는 경우, 말소리 훈련콘텐츠에서 사용된 언어모델의 말소리를 따라하는 모방어에 대한 테스트를 하는 모방어테스트화면을 제공하여 모방어 테스트가 이루어지도록 하는 모방어 테스트 과정; 상기 모방어 테스트 결과 미리 설정된 모방어 평가기준에 미달하는 경우, 상기 모방어 테스트 결과를 반영하여 생성한 음성변환된 언어모델에 대한 모방을 테스트하는 음성변환테스트화면을 제공하여 음성변환테스트가 이루어지도록 하는 음성변환 테스트 과정; 및 상기 말소리 테스트, 모방어 테스트, 음성변환 테스트의 테스트 결과를 반영한 학습자 맞춤형 학습자료를 제공하여 학습자의 말소리 학습이 이루어지도록 하는 말소리 학습 과정;을 포함할 수 있다.
상기 말소리훈련콘텐츠 선택 과정은, 말소리 훈련에 사용될 말소리의 학습목표수준을 선택함을 특징으로 할 수 있다.
상기 자발어 테스트는, 상기 학습목표수준에 부합하는 자발어의 음소, 음절, 단어, 문장을 낼 수 있는 사진이나 문자를 표시하는 자발어 표시 과정; 자발어를 발성하는 학습자의 음성을 입력받아 소음을 제거하는 자발어 전처리 과정; 소음제거된 자발어의 음성에 대하여 반응평가를 진행하는 자발어 반응평가 과정; 상기 자발어 반응평가 결과, 상기 자발어 평가기준에 부합하는 경우 발음평가를 진행하여 피드백 결과를 제공하는 자발어 발음평가 과정; 및 상기 자발어 반응평가 결과, 상기 자발어 평가기준에 미달하는 경우, 자발어 테스트 실패의 피드백을 제공하고 상기 모방어 테스트로 진행하는 모방어 테스트 이동 과정;을 포함할 수 있다.
상기 모방어 테스트 과정은, 상기 학습목표수준에 부합하는 모방어의 음소, 음절, 단어, 문장을 낼 수 있는 사진이나 문자로 표시하고 언어모델의 말소리를 따라하는 모방어 제시 과정; 모방어를 발성하는 학습자의 음성을 입력받아 소음을 제거하는 모방어 전처리 과정; 소음제거된 모방어의 음성에 대하여 반응평가를 진행하는 모방어 반응평가 과정; 상기 모방어 반응평가 결과, 상기 모방어 평가기준에 부합하는 경우 발음평가를 진행하여 피드백 결과를 제공하는 모방어 발음평가 과정; 및 상기 모방어 반응평가 결과, 상기 모방어 평가기준에 미달하는 경우, 모방어 테스트 실패의 피드백을 제공하고 상기 음성변환 테스트로 진행하는 음성변환 테스트 이동 과정;을 포함할 수 있다.
상기 음성변환 테스트 과정은, 상기 모방어 테스트 결과를 반영하여 학습목표수준의 음성변환을 생성하여 제시하는 음성변환 생성 과정; 음성변환된 언어모델의 말소리를 제시하는 음성변환 제시 과정; 음성변환을 따라 발성하는 학습자의 음성을 입력받아 소음을 제거하는 음성변환 전처리 과정; 소음제거된 학습자 음성에 대하여 반응평가를 진행하여, 미리 설정된 음성변환 평가기준에 부합하는 경우 발음평가를 진행하여 피드백 결과를 제공하는 음성변환 발음평가 피드백 제공 과정; 및 상기 음성변환을 따라하는 학습자 음성에 대한 반응평가 결과, 상기 음성변환 평가기준에 미달하는 경우, 음성변환 테스트 실패의 피드백을 제공하는 음성변환 반응평가 피드백 제공 과정;을 포함할 수 있다.
상기 음성변환 테스트 과정은, 학습자의 음성반응이 미리 설정된 기준을 충족할 때까지, 상기 음성변환 생성 과정, 음성변환 전처리 과정, 음성변환 발음평가 피드백 제공 과정, 및 음성변환 반응평가 피드백 제공 과정을 반복함을 특징으로 할 수 있다.
상기 반응평가는, 언어반응평가와 비언어적반응평가가 이루어지며, 비언어적반응평가의 경우, 반응속도, 화면전환, 시선처리에 대한 평가가 이루어지며, 상기 발음평가는, 음소수준, 음절수준, 단어수준, 문장수준에 대한 언어모델에 기반한 발음 평가와 학습자의 학습목표기준과 학습수준에 대한 평가가 이루어짐을 특징으로 할 수 있다.
상기 말소리 학습 과정은, 상기 학습자 맞춤형 학습자료를 제공하는 과정; 상기 학습자 맞춤형 학습자료를 학습하는 학습자의 음성, 입모양, 혀모양, 호흡이 포함된 학습자 정보를 입력받는 과정; 상기 학습자 정보에서 노이즈를 제거하는 과정; 노이즈가 제거된 학습자 정보가 미리 설정된 학습 평가기준에 부합하는지를 학습 평가를 진행하는 과정; 상기 학습 평가 결과, 상기 학습 평가기준에 미달하는 경우 상기 학습자 맞춤형 학습자료를 수정하여 학습자 정보 입력 및 학습 평가를 반복하는 과정; 및 상기 학습 평가 결과, 상기 학습 평가기준에 부합하는 경우, 말소리 학습 게임을 진행하여 학습시키는 말소리 학습 게임 진행 과정;을 포함할 수 있다.
상기 말소리 학습 게임은, 학습자가 이미 학습된 말소리나 학습중인 말소리들로 구성되어, 학습자의 말소리 반응으로 게임의 승패가 결정되도록 함을 특징으로 할 수 있다.
본 발명의 실시 형태에 따르면 말소리 훈련 학습을 제공해줌으로써, 언어 진단 및 치료가 필요한 학습자가 효율적으로 말소리 훈련을 할 수 있다.
도 1은 본 발명의 실시예에 따른 말소리 평가 및 학습이 가능한 학습자 단말기의 사시도.
도 2는 본 발명의 실시예에 따른 학습자 단말기의 구성 블록도.
도 3은 본 발명의 실시예에 따른 말소리 평가 및 학습 과정을 도시한 플로차트.
도 4는 본 발명의 실시예에 따른 자발어 테스트 과정을 도시한 플로차트.
도 5는 본 발명의 실시예에 따른 전처리모듈을 도시한 그림.
도 6은 본 발명의 실시예에 따른 피드백모듈을 도시한 그림이며, 도 7은 본 발명의 실시예에 따른 말소리평가모듈을 도시한 그림.
도 8은 본 발명의 실시예에 따른 모방어 테스트 과정을 도시한 플로차트.
도 9는 본 발명의 실시예에 따른 음성변환 테스트 과정을 도시한 그림.
도 10은 본 발명의 실시예에 따른 음성변환모듈을 도시한 그림.
도 11은 본 발명의 실시예에 따른 말소리 학습 과정을 도시한 플로차트.
도 12는 본 발명의 실시예에 다른 말소리학습모듈을 도시한 그림.
도 13은 본 발명의 실시예에 따른 말소리 학습 게임 화면의 예시 그림.
도 2는 본 발명의 실시예에 따른 학습자 단말기의 구성 블록도.
도 3은 본 발명의 실시예에 따른 말소리 평가 및 학습 과정을 도시한 플로차트.
도 4는 본 발명의 실시예에 따른 자발어 테스트 과정을 도시한 플로차트.
도 5는 본 발명의 실시예에 따른 전처리모듈을 도시한 그림.
도 6은 본 발명의 실시예에 따른 피드백모듈을 도시한 그림이며, 도 7은 본 발명의 실시예에 따른 말소리평가모듈을 도시한 그림.
도 8은 본 발명의 실시예에 따른 모방어 테스트 과정을 도시한 플로차트.
도 9는 본 발명의 실시예에 따른 음성변환 테스트 과정을 도시한 그림.
도 10은 본 발명의 실시예에 따른 음성변환모듈을 도시한 그림.
도 11은 본 발명의 실시예에 따른 말소리 학습 과정을 도시한 플로차트.
도 12는 본 발명의 실시예에 다른 말소리학습모듈을 도시한 그림.
도 13은 본 발명의 실시예에 따른 말소리 학습 게임 화면의 예시 그림.
이하, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은, 이하에서 개시되는 실시예들에 한정되는 것이 아니라 여러 가지 다양한 형태로 구현될 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 말소리 평가 및 학습이 가능한 학습자 단말기의 사시도이며, 도 2는 본 발명의 실시예에 따른 학습자 단말기의 구성 블록도이다.
본 발명은 학습자가 말을 하면 학습자 단말기(10)가 그 중에서 부정확한 발음만을 선별해 내어 정확한 발음을 들을 수 있도록 수정 증폭하여 들려주고, 다시 학습자의 말소리를 듣고 부정확한지 여부를 자동반복하여 알려줌으로써 궁극적으로 발음 문제를 교정하게 해주는 언어 학습 수단이다.
이를 위하여 본 발명의 학습자 단말기(10)는, 언어장애와 발달장애 등과 같이 말소리 학습이 필요한 학습자들을 훈련시킬 수 있도록 하는 어플리케이션(앱;APP)이 설치되어, 이러한 어플리케이션을 통하여 말소리 훈련을 수행하도록 한다.
본 발명의 학습자 단말기(10)는, 도 1의 도면에서는 스마트폰(smart phone)을 예로 들어 설명하나, 스마트폰만 아니라 데스크탑 PC(desktop PC), 태블릿 PC(tablet PC), 슬레이트 PC(slate PC), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이션(Navigation) 등이 해당될 수 있다. 물론, 본 발명이 적용 가능한 단말기는 상술한 종류에 한정되지 않고, 다양한 단말기를 모두 포함할 수 있음은 당연하다.
본 발명의 학습자 단말기(10)는 도 2에 도시한 바와 같이, 단말기 통신부(11), 단말기 메모리(12), 단말기 표시부(13), 단말기 입력부(14), 말소리훈련콘텐츠앱이 설치된 단말기 제어부(15)를 포함할 수 있다.
단말기 통신부(11)는, 이동통신망을 통하여 통신하는 기능을 수행하는 모듈로서, 3G, 4G 등의 이동 통신을 수행하는 경우에는, 무선 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기(미도시)와, 수신되는 무선 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF수신기(미도시) 등을 포함한다.
단말기 메모리(12)는, 본 발명의 말소리훈련콘텐츠(자발어, 모방어, 음성변환 등),화면 그래픽 인터페이스(GUI) 정보 등이 저장된 저장체이다. 이러한 메모리는, 플래시메모리(Flash Memory), CF카드(Compact Flash Card), SD카드(Secure Digital Card) 등 정보의 입출력이 가능한 모듈로서 장치의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다.
단말기 표시부(13)는, 자발어테스트화면, 모방어테스트화면, 음성변환테스트화면, 학습자 맞춤형 학습자료를 표시하는 모듈이다.
단말기 입력부(14)는, 단말기 표시부(13)를 통해 표시된 자발어테스트화면, 모방어테스트화면, 음성변환테스트화면, 학습자 맞춤형 학습자료 등을 통하여 학습자로부터 입력받는 모듈이다. 이러한 단말기 입력부(14)와 단말기 표시부(13)는 터치스크린패널의 단일 형태로 구현될 수 있다. 터치스크린패널은, 입력과 표시를 동시에 수행할 수 있는 터치 스크린 화면을 제공하여 단말기의 전면에 마련되어 작업 화면을 표시하는 표시창으로서, 학습자와의 소통을 위한 그래픽 유저 인터페이스(GUI;Graphic User Interface)를 표시한다.
단말기 제어부(15)는, 학습자 단말기(10)의 각 기능 모듈을 제어하는 MCU(Main Control Unit)로 구현되어, 본 발명의 말소리학습콘텐츠앱이 설치된 모듈이다. 참고로, 스마트폰(smart phone) 등으로 구현되는 학습자 단말기(10)는, 수백여 종의 다양한 어플리케이션(응용프로그램)을 사용자가 원하는 대로 설치하고 추가 또는 삭제할 수 있어, 사용자가 원하는 어플리케이션을 직접 제작할 수도 있으며, 다양한 어플리케이션을 통하여 자신에게 알맞은 인터페이스를 구현할 수 있다. 따라서 구글마켓, 애플스토어 등에서 말소리학습콘텐츠앱을 다운로드받아 스마트폰에 설치할 수 있다.
도 3은 본 발명의 실시예에 따른 말소리 평가 및 학습 과정을 도시한 플로차트이며, 도 4는 본 발명의 실시예에 따른 자발어 테스트 과정을 도시한 플로차트이며, 도 5는 본 발명의 실시예에 따른 전처리모듈을 도시한 그림이며, 도 6은 본 발명의 실시예에 따른 피드백모듈을 도시한 그림이며, 도 7은 본 발명의 실시예에 따른 말소리평가모듈을 도시한 그림이며, 도 8은 본 발명의 실시예에 따른 모방어 테스트 과정을 도시한 플로차트이며, 도 9는 본 발명의 실시예에 따른 음성변환 테스트 과정을 도시한 그림이며, 도 10은 본 발명의 실시예에 따른 음성변환모듈을 도시한 그림이며, 도 11은 본 발명의 실시예에 따른 말소리 학습 과정을 도시한 플로차트이며, 도 12는 본 발명의 실시예에 다른 말소리학습모듈을 도시한 그림이며, 도 13은 본 발명의 실시예에 따른 말소리 학습 게임 화면의 예시 그림이다.
학습자 단말기에 설치된 말소리학습콘텐츠앱이 학습자에 대한 말소리훈련을 실시하는 말소리 평가 및 학습 방법에 있어서, 본 발명의 말소리 평가 및 학습 과정은, 말소리훈련콘텐츠 선택 과정(S100), 자발어 테스트 과정(S200), 모방어 테스트 과정(S300), 음성변환 테스트 과정(S400), 및 말소리 학습 과정(S500)을 가질 수 있다.
말소리훈련콘텐츠 선택 과정(S100)은, 말소리 훈련에 사용될 말소리훈련콘텐츠를 학습자로부터 선택받는 과정으로서, 말소리 훈련에 사용될 말소리의 학습목표수준을 선택받는다.
말소리훈련콘텐의 선택 과정을 상술하면, 말소리선택은 어휘주제별 수준에서 선택할 수도 있고, 발음 수준에서도 선택할 수 있다. 이는 어휘주제별로 선택할 경우에는 유아나 어휘력이 부족한 학습자에게 적합하다. 초기언어발달에서는 언어표현력보다 언어 이해력이 선행되어야 하므로 학습자에게 이미 익숙하거나 좋아하는 어휘주제일 경우 새로운 언어나 발음을 지도하기가 쉽다. 왜냐하면 듣고 말하는 경험이 많았던 어휘일수록 학습하기가 용이하기 때문이다.
발음 수준에서 선택할 경우 발음 학습이 중점인 대상에게 적합하다. 이러한 학습자에게는 발음훈련효과를 높이기 위해서 유사한 발음유형들끼리 학습자료를 제시하는 것이 보다 효과적이다. 따라서 학습자가 학습할 말소리를 빠르게 검색하기 용이하게 2가지 수준으로 나누어 제시한다. 그리고 학습자의 검색 데이터는 말소리 평가 결과와 함께 학습자의 특성과 맞춤형 학습자료를 구성하는데 활용된다. 그런 다음 테스트 발화 수준을 선택하여 최종 말소리 결정하게 된다. 테스트 발화수준 선택은 학습자의 말소리 수준에 따라 음소, 음절, 단어, 문장 수준 중 하나를 선택할 수 있다. 음절수준에서의 자음의 초성, 중성, 종성위치를 선택할 수 있고, 단어 수준에서는 음절수와 단어상에 목표발음의 위치를 선택할 수 있다. 예를 들어 목표발음의 'ㄱ'이라도 '고추'처럼 'ㄱ'이 첫음절의 초성에 해당되는 단어나 '아기'처럼 'ㄱ'이 두번째 음절의 초성에 해당되는 단어를 선택할 수도 있다. 문장 수준에서는 한 문장에 포함된 단어수를 선택하거나 문장수를 선택할 수 있다. 이는 소리의 위치에 따라 동일한 말소리라도 발음의 정확도나 음 강도 등의 차이가 있기 때문이다. 동일한 말소리라도 목표자극의 소리위치, 발화음절수에 따라 학습자의 발음 정확도가 다르기 때문에 음소, 음절, 단어, 문장 단위별로 발음을 분석한다. 예를 들어, '사탕'과 '이사'처럼 '사'의 위치에 따라 '사탕'은 /사탕/으로 '사'를 정확하게 발음할 수 있어도 '이사'는 /이아/로 '사'를 정확하게 발음하지 못할 수 있다. 발화수준 선택 후에는 목표자극을 결정하는데, 학습자의 말소리 평가 및 학습을 위해 말소리와 발화수준을 포함한 최종말소리 자극을 결정하는 것이다.
한편, 자발어 테스트 과정(S200)은, 선택된 말소리훈련콘텐츠의 자발어테스트화면을 제공하여 자발어 테스트가 이루어지도록 한다. 여기서 '자발어'라 함은, 알려진 바와 같이, 촉구나 반복적으로 학습된 말이 아닌 생각한 것으로 스스로 표현하는 말을 말한다. 예를 들어, "몇 살이야" 라고 질문했을 때, 엄마나 주변인이 "4살이라고 말해야지, 4살"이라고 언어촉진을 하지 않고 스스로 "4살이에요"라고 대답하거나 "놀이공원 가고 싶어요"처럼 자신이 원하는 것을 말로 스스로 표현하는 것이다. 이처럼 촉구나 지도 없이 스스로 의사소통이 가능한 것이다.
이러한 자발어 테스트는 도 4에 도시한 바와 같이, 학습목표수준에 부합하는 언어의 음소, 음절, 단어, 문장을 낼 수 있는 사진이나 문자를 표시하는 자발어 표시 과정(S210)과, 자발어를 발성하는 학습자의 음성을 입력(S220)받아 소음을 제거하는 자발어 전처리 과정(S230)과, 소음제거된 자발어의 음성에 대하여 반응평가를 진행하는 자발어 반응평가 과정(S240), 자발어 반응평가 결과, 자발어 평가기준에 부합하는 경우(S240a) 발음평가를 진행(S250)하여 피드백 결과를 제공하는 자발어 발음평가 과정과, 자발어 반응평가(S240) 결과, 자발어 평가기준에 미달하는 경우(S240b), 자발어 테스트 실패의 피드백(S261)을 제공하고 모방어 테스트(S300)로 진행하는 모방어 테스트 이동 과정을 가질 수 있다.
즉, 자발어 테스트에서, 테스트 목표발음이 포함된 사진이나 문자를 제시하였을 때의 학습자의 자발어 반응을 분석한다. 자발어 반응평가에서 학습자의 말소리 반응이 정답일 경우 발음평가로 진행되고 말소리평가에서 발음이 정확한 경우에는 다른 테스트로 진행되며, 발음 오류가 있는 경우에는 모방어 테스트로 진행된다. 또한 학습자의 말소리 반응이 오답일 경우에도 모방어 테스트로 진행된다.
상기에서, 자발어 전처리 과정(S230)은, 자발어를 발성하는 학습자의 음성을 입력받아 소음을 제거하는 전처리 과정인데, 도 5에 도시한 바와 같이 소음제거, 피드백제거, 음성향상, 특정 벡터, 입술 이미지, 혀움직임 이미지, 음성/문자변환의 전처리가 이루어지도록 한다. 즉, 전처리 과정은, 학습자의 음성을 평가에 적합하도록 주변환경소음을 줄여주는 소음제거, 입력된 음성에서 말소리만 증폭하고 다른 잡음을 제거하는 피드백제거, 음성 향상, 특정벡터를 추출한다. 입력된 학습자의 동영상 자료에서 입모양과 혀움직임 부분만 추출하여 평가에 적합하도록 정보를 추출한다. 학습자의 음성을 문자로 변환시킨다.
또한 상기에서 자발어 반응평가에 대한 피드백과 자발어 발음평가에 대한 피드백은 도 6에 도시된 피드백모듈에서 이루어질 수 있다.
도 6에 도시한 피드백모듈에는 반응평가피드백, 발음평가피드백, 구강평가피드백, 보상피드백으로구성된다.
반응평가피드백은, 평가와 학습 동안 학습자의 반응에 대한 정답여부를 시각 그래픽 피드백과 청각, 3D 캐릭터 피드백으로 제시할 수 있다.
발음평가피드백은 발음평가피드백과 그래픽피드백으로구성되는데, 발음평가피드백은 학습자 음성에 대한 발음평가에 따른 결과를 시각적 피드백으로 제시하고, 그래픽 피드백은 학습자의 음성에 대한 스펙트럼, 속도, 강세, 억양을 그래픽 피드백으로 제시하는데, 이는 말소리 평가를 위한 자발어 테스트, 모방어테스트, 음성변환테스트에도 제시될 수 있고, 학습단계에서 학습자료로 제시되어 활용할 수 있다. 구강평가피드백은 학습자의 입모양과 혀움직임 영상에 대한 평가 결과를 동영상으로 제시하는데, 수정해야 할 포인트에 대해서는 그래픽으로 제시한다. 보상 피드백은점수등의 방식으로 학습자에게 피드백을 제시한다. 그리고 반응평가피드백, 발음평가피드백, 구강평가피드백, 보상피드백은 각 테스트와 학습 단계에 따라 필요한 피드백만을 따로 활용할 수도 있다. 예를 들어 자발어테스트에서 반응과 발음이 모두 정확한 경우에는 반응평가피드백과 발음평가피드백, 보상피드백만 제시될 수 있다.
또한, 자발어 반응평가와 자발어 발음평가는, 도 7에 도시한 말소리 평가모듈을 통해 이루어질 수 있다. 참고로 이러한 말소리 평가모듈에서의 반응평가와 발음평가는 후술할 모방어에 대한 반응평가와 발음평가, 후술할 음성변환에 대한 반응평가와 발음평가에도 마찬가지로 적용될 수 있다.
도 7을 참조하여 말소리 평가모듈을 설명한다.
말소리 평가모듈에는 반응평가모듈, 발음평가모듈, 구강평가모듈로 구성된다.
반응평가는 목표 자료에 대한 반응에 대한 언어반응과 비언어적반응을분석한다.
언어반응평가에서는 정답반응과 오답반응을평가한다. 정답반응에는 학습자가 목표 말소리에 해당하는 음성 반응이 있을 경우에 해당되고 학습자의 발음을 분석하는 발음 평가로 진행된다. 예를 들어 '사탕' 사진 자극에 /사탕/, /아탕/, /탕/ 등의 '사탕' 말소리에 해당되는 음성반응이 있을 경우에는 정답으로 인정된다. 오답반응에는 학습자가 목표 자극을 표현하지 못하는 무반응과 목표자극과는 전혀 상관없는 반응을 하였을 경우에 해당되고, 이는 모방어 테스트로 진행된다.
이는 학습자의 무반응 또는 상관없는 반응이 학습자가 목표자료에 대한 적합한 어휘력을 갖추고 있지 않거나 문자를 읽지 못한 영향일 수 있기 때문이다. 따라서 오답에 대한 발음평가는 진행하지 않는다. 비언어 반응평가에서는 반응속도, 화면 전환속도, 시선에 대해 분석한다. 반응속도 분석은 학습자의 응답 반응속도를 저장하고 분석한다.
화면전환속도는 마치 책장을 넘기듯 학습자가 터치를 통해 다음 화면을 전환하기까지 시간을 측정하여 학습자의 개별적인 학습 속도를 분석한다. 시선 분석은 eye tracking 기술을 활용하여 학습자가 학습 과제에 주의 집중하는 패턴과 주의지속시간을 분석한다. 비언어 반응평가 분석자료는 학습자의 개별적인 학습 스타일을 분석하여 학습자에게 가장 효과적인 자극과 학습자료를 구성하고 제시하는 방법을 탐색하고 학습자료를 수정하는데 활용된다.
발음평가모듈은 언어치료 평가기준을 활용하여 언어 모델과 학습자의 발음간의 차이에 대한 특성을 분석한다. 평가에는 언어수준(음소, 음절, 단어, 문장)에 따른 발음 정확도를 평가하기 위해 조음장애와 유창성 장애평가에서 사용되는, 대치, 생략, 왜곡, 첨가, 반복, 연장, 말소리 속도 등과 각각의 말소리에 대한 음강도에 대한 분석이 포함된다. 예를 들어 '사탕'을 보고 /따탕/처럼 /사/를 /따/로 대치하거나 부정확하게 발음하는 오류 특성도 있지만, /사- - - -탕/(연장) or /사사사탕/(동일한말소리반복), /사아탕/(말소리첨가), /-탕/(말소리생략) 같은 오류 특성도 있다.
또한 '사탕'의 'ㅅ'를 /스/와 'ㅏ'를 /아/(음소수준)로 발음할 수 있어도 '사' 음절수준에서는 /아/로 음소생략, '사탕' 단어수준에서는 /다탕/ 대치오류, /살탕/ 첨가오류, ''어제 마트에서 사탕을 샀어' 문장 수준에서는 /어제 마트에서 -탕을샀어'로 말소리 생략 등 오류 특성이 다양하고, 각 발어수준별로도 다르게 나타낼 수 있다. 그리고 사람이 말을 할 때 각각의 말소리 위치에 따라, 발화 길이 수준에 따라 음강도가 제각기 다르게 나타날 수 있다. 이는 말소리를 정확하게 듣고 발음하는데 모두 영향을 미친다. 따라서 언어 모델과 학습자의 발음을 분석하여 학습자의 발음 오류 특성과 언어 듣기 특성을 판단하는 요인으로 활용할 수 있다. 그리고 말소리 자극이 없는 자발어 테스트, 모델 언어의 정확한 말소리 자극이 있는 모방어 테스트, 변환된 모델언어의 음성이 변환된 말소리 자극이 있는 테스트처럼 말소리 자극 수준에 따라서도 학습자의 발음 오류 특성이 다르게 나타날 수 있다.
이는 학습자의 발음오류에 대한 특성과 학습자의 언어학습에 적합한 말소리 자극수준에 대한 특성에 대한 정보를 제공한다.
구강평가모듈은 말을 할 때 언어모델과 학습자의 입모양과 혀 움직임, 호흡 간의 차이에 대한 특성을 비교 분석한다. 말소리에 따라 입모양과 혀움직임이 다르고, 호흡 즉, 들숨과 날숨도 가기 다르며, 말을 유창하게 하기 위해서는 호흡 조절이 또한 중요하다. 학습자마다 발음 오류 특성이 다르고, 부정확하게 발음하는 원인이 저마다 다르기 때문에 이를 분석하고 분석결과를 반영한 학습자 맞춤형 학습자료 를구성할 필요가 있다.
학습자의 입모양과 혀움직임은 학습자가 발화할때 카메라로 촬영하여 전처리 통해 입모양과 혀움직임 데이터 부분만 활용하여 분석한다. 호흡은 UWB 레이더로 측정하여 그래픽으로 산출된다. 학습자의 발음 상태를 분석하기 위해 카메라, 무선 이어폰과 무선 마이크, 호흡 센서기를 활용할 수 있다.
한편, 모방어 테스트 과정(S300)은, 자발어 테스트 결과 미리 설정된 자발어 평가기준에 미달하는 경우, 말소리 훈련콘텐츠에서 사용된 언어모델의 말소리를 따라하는 모방어에 대한 테스트를 하는 모방어테스트화면을 제공하여 모방어 테스트가 이루어지도록 한다. 즉, 도 8에 도시한 바와 같이, 학습목표수준에 부합하는 모방어의 음소, 음절, 단어, 문장을 낼 수 있는 사진이나 문자를 표시하고 언어모델의 말소리를 제시하는 모방어 제시 과정(S310)과, 모방어를 발성하는 학습자의 음성을 입력(S320)받아 소음을 제거하는 모방어 전처리 과정(S330)과, 소음제거된 모방어의 음성에 대하여 반응평가를 진행하는 모방어 반응평가 과정(S3400과, 모방어 반응평가 결과, 모방어 평가기준에 부합하는 경우(S340a), 발음평가를 진행(S350)하여 피드백 결과를 제공하는 모방어 발음평가 과정과, 모방어 반응평가(S340)의 결과, 모방어 평가기준에 미달하는 경우(S340b), 모방어 테스트 실패의 피드백을 제공(S360)하고 음성변환 테스트(S400)로 진행하는 음성변환 테스트 이동 과정을 가진다.
즉, 모방어 테스트는 학습 목표 발음이 포함된 목표자극이 제시되면서 시작된다. 목표자극에는 학습 목표 발음이 포함되고 수준(음소, 음절, 단어, 문장)에 적합한 내용으로, 사진과 언어모델로 구성되거나 사진과 언어모델, 문자로 구성되어 제시될 수 있다. 목표자극에 대한 학습자의 음성입력이 되면, 전처리 단계에서 소음 제거 등을 통해 음성을 향상시키고 평가에 적합한 각각의 데이터를 추출한다. 반응평가는 언어모델의 말을 모방하는 학습자의 음성반응을 분석하여, 정답인 경우에는 발음평가를 진행한 후 피드백을 제시한다. 오답인 경우에는 피드백을 제시하고, 음성변환테스트로진행된다.
한편, 음성변환 테스트 과정(S400)은 모방어 테스트 결과 미리 설정된 모방어 평가기준에 미달하는 경우, 모방어 테스트 결과를 반영하여 생성한 음성변환을 테스트하는 음성변환테스트화면을 제공하여 음성변환테스트가 이루어지도록 한다. 즉, 도 9에 도시한 바와 같이 음성변환 테스트 과정(S400)은, 모방어 테스트 결과를 반영하여 학습목표수준의 음성변환(S410)하여 제시하며(S420), 음성변환을 따라 발성하는 학습자의 음성을 입력(S430)받아 소음을 제거하는 음성변환 전처리 과정(S440)과, 소음제거된 학습자 음성에 대하여 반응평가를 진행(S450)하여, 미리 설정된 음성변환 평가기준에 부합하는 경우(S450a) 발음평가를 진행(S460)하여 피드백 결과를 제공하는 음성변환 발음평가 피드백 제공 과정과, 음성변환을 따라하는 학습자 음성에 대한 반응평가 결과, 음성변환 평가기준에 미달하는 경우(S450b), 음성변환 테스트 실패의 피드백을 제공(S471)하는 음성변환 반응평가 피드백 제공 과정을 가진다.
그리고 음성변환 테스트 과정(S400)은, 학습자의 음성반응이 미리 설정된 기준을 충족할 때까지, 음성변환 생성 과정, 음성변환 전처리 과정, 음성변환 발음평가 피드백 제공 과정, 및 음성변환 반응평가 피드백 제공 과정을 반복한다.
상술하면, 음성변환 테스트는 모방어 테스트의 분석결과를 반영하여 음성변환을 통해 언어모델의 음성을 증폭 수정한다. 수정된 언어 모델을 포함한 수정된 목표자극을 제시하여 학습자 음성반응을 입력한다.
음성변환 전처리 과정에서는 입력된 학습자의 음성을 소음 제거 등의 작업을 통해 음성을 향상시키고 평가에 적합한 각각의 데이터를 추출한다. 반응평가는 수정된 언어모델의 말을 따라하는 학습자의 음성반응을 분석하여, 정답인 경우에는 발음평가를 진행한 후 피드백을 제시하고, 모방어 테스트로 진행된다. 오답인 경우에는 피드백을 제시하고, 분석 결과를 언어모델의 음성변환 단계에 반영된다.
학습자가 음성 반응이 정확해지는 수준까지 음성변환 과정이 자동 반복되어 학습자의 말소리 오류특성을 분석하고 치료 계획에 반영한다. 예를 들어 학습자의 '사탕' 말소리에서 '다탕' 소리로 말한다면, 언어 모델의 음성을 '사' 소리를 크게, '탕'소리는 작게 소리를 증폭변환시켜 제시하고, 이 자극에 학습자가 '사탕'으로 발음한다면, 학습자의 말소리 오류특성은 조음 오류중 대치 유형에 해당되고, 해당 증폭수준을 학습자의 오류를 해결하기 위한 방안으로 결정될 수 있다. 또한, 언어모델의 음성을 소리는 2단계 증폭하고 속도는 1단계 느린 배속으로 제시하였을 때 학습자의 말소리가 정확해진다면, 해당 학습자의 말소리 학습자료는 음성증폭 2단계, 속도 조절 1단계 수준으로 결정된다.
한편, 말소리 학습 과정(S500)은, 말소리 테스트, 모방어 테스트, 음성변환 테스트의 테스트 결과를 반영한 학습자 맞춤형 학습자료를 제공하여 학습자의 말소리 학습이 이루어지도록 한다. 말소리 학습 과정(S500)은 도 11에 도시한 바와 같이, 학습할 말소리 선택(S510) 후 학습자 맞춤형 학습자료를 제공하는 과정(S520)과, 학습자 맞춤형 학습자료를 학습하는 학습자의 음성, 입모양, 혀모양, 호흡이 포함된 학습자 정보를 입력받는 과정(S530)과, 학습자 정보에서 노이즈를 제거하는 전처리 과정(S540)과, 노이즈가 제거된 학습자 정보가 미리 설정된 학습 평가기준에 부합하는지를 학습 평가를 진행하는 과정(S550)과, 학습 평가 결과, 학습 평가기준에 미달하는 경우(S550b) 피드백 결과를 도출(S560)하여 학습자 맞춤형 학습자료를 수정(S570)하여 학습자 정보 입력 및 학습 평가를 반복하는 과정과, 학습 평가 결과, 학습 평가기준에 부합하는 경우(S550a), 피드백을 제공(S580)하고, 말소리 학습 게임을 진행하여 학습시키는 말소리 학습 게임 진행 과정(S590)을 가진다.
상술하면, 말소리 학습과정에서는 학습할 말소리 선택하는데, 학습자가 직접 선택할 수도 있고 앞선 평가결과가 반영되어 자동적으로 선택될 수도 있다. 말소리가 선택되면, 학습자의 발음 분석결과를 반영한 맞춤형 언어모델이 포함된 학습자료가 제시된다. 학습자료에는 도 12에 도시한 바와 같이 언어모델과 입모양, 구강구조자료, 그래프를 함께 제시하여 학습보조자료로 포함될 수 있다. 학습자에 따라 맞춤형 언어 모델의 음성만으로도 학습할 수 있고, 그래픽까지 함께 제시하여 학습할 수도 있다. 학습 강의 실시후 학습자가 말을 하면, 학습자의 음성을 녹음하고 얼굴표정을 카메라로 촬영 녹화하며, 무선으로 호흡을 측정하여 학습자의 정보를 입력한다. 학습자의 정보입력에는 학습자의 음성, 입모양과 혀움직임, 호흡이 포함된다. 전처리 단계를 거쳐 발음평가를 한다. 분석 결과에 따라 언어모델의 음성을 증폭 수정하고, 입모양과 혀움직임에 대한 지도 포인트 수준, 그래픽에서 강조할 학습내용을 변환하여 학습 자료를 수정한다. 학습 진행할때 이어폰과 마이크를 함께 활용할 수 있다.
말소리 학습단계의 말소리평가 단계에서 일정 기준 이상의 정확도로 성공하면 반복 및 유창성 연습을 위해 말소리 학습게임이 제시된다. 말소리 학습게임 제공(S590)은 학습자가 이미 학습된 말소리나 현재 학습중인 말소리들로 구성되고, 학습자의 말소리 반응으로 게임의 승패가 결정되는 학습자 맞춤형 말소리 학습게임이다. 말소리를 재미있게 연습할 수 있도록 학습자의 말소리에 반응하는 다양한 언어 게임유형들이 포함된다. 예를 들어 도 13에 도시한 바와 같이 학습목표단어가 사탕인 경우 쓰레기통으로 떨어지는 사물들 중 '사탕' 그림 자극이 나타났을 때 학습자가 재빨리 사탕을 말하여 많이 모으는 게임이다. 이때 3D캐릭터가 게임 방법을 소개하고, 학습 성취 및 숙달동기를 높이기 위해 피드백을 제공한다. 또한, 발음 정확도를 향상시키기 위해 언어 모델 또는 음성변환된 언어모델이 제시될 수있다. 3D캐릭터는 학습자가 게임을 하는 동안 피드백을 제시하며 학습자에게 교사 역할과 학습자의 경쟁자역할을 수행한다. 입체적으로 제시되는 3D캐릭터들은 학습자에게 칭찬과 격려같은 피드백을 제공하기도 하고, 학습 동기를 자극하는 경쟁자 역할도 수행하면서 게임 학습의 재미와 연습 효과를 높인다. 학습자의 반응결과에 상응하는 캐릭터반응은 학습자가 상호작용하면서 학습하는 효과를 제공함으로써 재미있게 말소리 학습을 반복하여 숙달할 수 있도록 촉진하게 한다.
상술한 본 발명의 설명에서의 실시예는 여러가지 실시가능한 예중에서 당업자의 이해를 돕기 위하여 가장 바람직한 예를 선정하여 제시한 것으로, 이 발명의 기술적 사상이 반드시 이 실시예만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 변경 및 균등한 타의 실시예가 가능한 것이다.
S100:말소리훈련콘텐츠 선택 과정
S200:자발어 테스트 과정
S300:모방어 테스트 과정
S400:변환음성 테스트 과정
S500:말소리 학습 과정
S200:자발어 테스트 과정
S300:모방어 테스트 과정
S400:변환음성 테스트 과정
S500:말소리 학습 과정
Claims (9)
- 학습자 단말기에 설치된 말소리학습콘텐츠앱이 학습자에 대한 말소리 훈련을 시키는 말소리 평가 및 학습 방법에 있어서,
말소리 훈련에 사용될 말소리훈련콘텐츠를 학습자로부터 선택받는 말소리훈련콘텐츠 선택 과정;
선택된 말소리훈련콘텐츠의 자발어테스트화면을 제공하여 자발어 테스트가 이루어지도록 하는 자발어 테스트 과정;
상기 자발어 테스트 결과 미리 설정된 자발어 평가기준에 미달하는 경우, 말소리 훈련콘텐츠에서 사용된 언어모델의 말소리를 따라하는 모방어에 대한 테스트를 하는 모방어테스트화면을 제공하여 모방어 테스트가 이루어지도록 하는 모방어 테스트 과정;
상기 모방어 테스트 결과 미리 설정된 모방어 평가기준에 미달하는 경우, 상기 모방어 테스트 결과를 반영하여 생성한 음성변환된 언어모델에 대한 모방을 테스트하는 음성변환테스트화면을 제공하여 음성변환테스트가 이루어지도록 하는 음성변환 테스트 과정; 및
상기 말소리 테스트, 모방어 테스트, 음성변환 테스트의 테스트 결과를 반영한 학습자 맞춤형 학습자료를 제공하여 학습자의 말소리 학습이 이루어지도록 하는 말소리 학습 과정;
을 포함하는 말소리 평가 및 학습 방법.
- 청구항 1에 있어서, 상기 말소리훈련콘텐츠 선택 과정은,
말소리 훈련에 사용될 말소리의 학습목표수준을 선택함을 특징으로 하는 말소리 평가 및 학습 방법.
- 청구항 2에 있어서, 상기 자발어 테스트는,
상기 학습목표수준에 부합하는 자발어의 음소, 음절, 단어, 문장을 낼 수 있는 사진이나 문자를 표시하는 자발어 표시 과정;
자발어를 발성하는 학습자의 음성을 입력받아 소음을 제거하는 자발어 전처리 과정;
소음제거된 자발어의 음성에 대하여 반응평가를 진행하는 자발어 반응평가 과정;
상기 자발어 반응평가 결과, 상기 자발어 평가기준에 부합하는 경우 발음평가를 진행하여 피드백 결과를 제공하는 자발어 발음평가 과정; 및
상기 자발어 반응평가 결과, 상기 자발어 평가기준에 미달하는 경우, 자발어 테스트 실패의 피드백을 제공하고 상기 모방어 테스트로 진행하는 모방어 테스트 이동 과정;
을 포함하는 말소리 평가 및 학습 방법.
- 청구항 3에 있어서, 상기 모방어 테스트 과정은,
상기 학습목표수준에 부합하는 모방어의 음소, 음절, 단어, 문장을 낼 수 있는 사진이나 문자로 표시하고 언어모델의 말소리를 따라하는 모방어 제시 과정;
모방어를 발성하는 학습자의 음성을 입력받아 소음을 제거하는 모방어 전처리 과정;
소음제거된 모방어의 음성에 대하여 반응평가를 진행하는 모방어 반응평가 과정;
상기 모방어 반응평가 결과, 상기 모방어 평가기준에 부합하는 경우 발음평가를 진행하여 피드백 결과를 제공하는 모방어 발음평가 과정; 및
상기 모방어 반응평가 결과, 상기 모방어 평가기준에 미달하는 경우, 모방어 테스트 실패의 피드백을 제공하고 상기 음성변환 테스트로 진행하는 음성변환 테스트 이동 과정;
을 포함하는 말소리 평가 및 학습 방법.
- 청구항 4에 있어서, 상기 음성변환 테스트 과정은,
상기 모방어 테스트 결과를 반영하여 학습목표수준의 음성변환을 생성하여 제시하는 음성변환 생성 과정;
음성변환된 언어모델의 말소리를 제시하는 음성변환 제시 과정;
음성변환을 따라 발성하는 학습자의 음성을 입력받아 소음을 제거하는 음성변환 전처리 과정;
소음제거된 학습자 음성에 대하여 반응평가를 진행하여, 미리 설정된 음성변환 평가기준에 부합하는 경우 발음평가를 진행하여 피드백 결과를 제공하는 음성변환 발음평가 피드백 제공 과정; 및
상기 음성변환을 따라하는 학습자 음성에 대한 반응평가 결과, 상기 음성변환 평가기준에 미달하는 경우, 음성변환 테스트 실패의 피드백을 제공하는 음성변환 반응평가 피드백 제공 과정;
을 포함하는 말소리 평가 및 학습 방법.
- 청구항 5에 있어서, 상기 음성변환 테스트 과정은,
학습자의 음성반응이 미리 설정된 기준을 충족할 때까지, 상기 음성변환 생성 과정, 음성변환 전처리 과정, 음성변환 발음평가 피드백 제공 과정, 및 음성변환 반응평가 피드백 제공 과정을 반복함을 특징으로 하는 말소리 평가 및 학습 방법.
- 청구항 5에 있어서,
상기 반응평가는, 언어반응평가와 비언어적반응평가가 이루어지며, 비언어적반응평가의 경우, 반응속도, 화면전환, 시선처리에 대한 평가가 이루어지며,
상기 발음평가는, 음소수준, 음절수준, 단어수준, 문장수준에 대한 언어모델에 기반한 발음 평가와 학습자의 학습목표기준과 학습수준에 대한 평가가 이루어짐을 특징으로 하는 말소리 평가 및 학습 방법.
- 청구항 1에 있어서, 상기 말소리 학습 과정은,
상기 학습자 맞춤형 학습자료를 제공하는 과정;
상기 학습자 맞춤형 학습자료를 학습하는 학습자의 음성, 입모양, 혀모양, 호흡이 포함된 학습자 정보를 입력받는 과정;
상기 학습자 정보에서 노이즈를 제거하는 과정;
노이즈가 제거된 학습자 정보가 미리 설정된 학습 평가기준에 부합하는지를 학습 평가를 진행하는 과정;
상기 학습 평가 결과, 상기 학습 평가기준에 미달하는 경우 상기 학습자 맞춤형 학습자료를 수정하여 학습자 정보 입력 및 학습 평가를 반복하는 과정; 및
상기 학습 평가 결과, 상기 학습 평가기준에 부합하는 경우, 말소리 학습 게임을 진행하여 학습시키는 말소리 학습 게임 진행 과정;
을 포함하는 말소리 평가 및 학습 방법.
- 청구항 8에 있어서, 상기 말소리 학습 게임은,
학습자가 이미 학습된 말소리나 학습중인 말소리들로 구성되어, 학습자의 말소리 반응으로 게임의 승패가 결정되도록 함을 특징으로 하는 말소리 평가 및 학습 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170087238A KR101973791B1 (ko) | 2017-07-10 | 2017-07-10 | 말소리 교정 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170087238A KR101973791B1 (ko) | 2017-07-10 | 2017-07-10 | 말소리 교정 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190006348A true KR20190006348A (ko) | 2019-01-18 |
| KR101973791B1 KR101973791B1 (ko) | 2019-04-29 |
Family
ID=65323763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170087238A KR101973791B1 (ko) | 2017-07-10 | 2017-07-10 | 말소리 교정 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101973791B1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102126388B1 (ko) * | 2019-08-29 | 2020-06-24 | 안지현 | 청각장애인용 언어재활시스템 및 방법 |
| WO2021020727A1 (ko) * | 2019-07-31 | 2021-02-04 | 삼성전자 주식회사 | 대상의 언어 수준을 식별하는 전자 장치 및 방법 |
| CN114758647A (zh) * | 2021-07-20 | 2022-07-15 | 无锡柠檬科技服务有限公司 | 基于深度学习的语言训练方法及系统 |
| CN114842567A (zh) * | 2022-03-31 | 2022-08-02 | 浙江大华技术股份有限公司 | 一种视频巡查方法、装置、设备及介质 |
| KR102623155B1 (ko) * | 2022-08-02 | 2024-01-10 | 최동원 | 한국어 학습자를 위한 한국어 발음교정 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100005177A (ko) | 2008-07-05 | 2010-01-14 | 임영희 | 맞춤형 학습 시스템, 맞춤형 학습 방법, 및 학습기 |
| KR20150124561A (ko) * | 2014-04-28 | 2015-11-06 | 포항공과대학교 산학협력단 | 언어 치료용 게임 장치 및 게임 방법 |
| KR20170008971A (ko) * | 2015-07-15 | 2017-01-25 | 대한민국(국립재활원장) | 언어 재활 치료 방법 및 언어 재활 치료 장치 |
-
2017
- 2017-07-10 KR KR1020170087238A patent/KR101973791B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100005177A (ko) | 2008-07-05 | 2010-01-14 | 임영희 | 맞춤형 학습 시스템, 맞춤형 학습 방법, 및 학습기 |
| KR20150124561A (ko) * | 2014-04-28 | 2015-11-06 | 포항공과대학교 산학협력단 | 언어 치료용 게임 장치 및 게임 방법 |
| KR20170008971A (ko) * | 2015-07-15 | 2017-01-25 | 대한민국(국립재활원장) | 언어 재활 치료 방법 및 언어 재활 치료 장치 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021020727A1 (ko) * | 2019-07-31 | 2021-02-04 | 삼성전자 주식회사 | 대상의 언어 수준을 식별하는 전자 장치 및 방법 |
| US11961505B2 (en) | 2019-07-31 | 2024-04-16 | Samsung Electronics Co., Ltd | Electronic device and method for identifying language level of target |
| KR102126388B1 (ko) * | 2019-08-29 | 2020-06-24 | 안지현 | 청각장애인용 언어재활시스템 및 방법 |
| CN114758647A (zh) * | 2021-07-20 | 2022-07-15 | 无锡柠檬科技服务有限公司 | 基于深度学习的语言训练方法及系统 |
| CN114842567A (zh) * | 2022-03-31 | 2022-08-02 | 浙江大华技术股份有限公司 | 一种视频巡查方法、装置、设备及介质 |
| KR102623155B1 (ko) * | 2022-08-02 | 2024-01-10 | 최동원 | 한국어 학습자를 위한 한국어 발음교정 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101973791B1 (ko) | 2019-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101973791B1 (ko) | 말소리 교정 방법 | |
| CN105792752B (zh) | 用于诊断和治疗语言相关障碍的计算技术 | |
| Massaro et al. | Using visible speech to train perception and production of speech for individuals with hearing loss | |
| US8708702B2 (en) | Systems and methods for learning using contextual feedback | |
| Engwall et al. | Designing the user interface of the computer-based speech training system ARTUR based on early user tests | |
| Hahner et al. | Speaking clearly: Improving voice and diction | |
| KR101967849B1 (ko) | 섀도윙과 속청을 결합시켜 모국어 습득과정을 모사한 외국어 학습 방법, 장치 및 프로그램 기록매체 | |
| Thomson | The relationship between L2 speech perception and production | |
| Zuliyan | Songs as Media in Teaching Pronunciation | |
| KR20180052952A (ko) | 음성인식기반 의사소통훈련 서비스장치 및 시스템 | |
| Kissová | Contrastive analysis in teaching English pronunciation | |
| Beals et al. | Speech and language technology for language disorders | |
| Jariyah | The English Pronunciation Problems of EFL Students’ Speaking (A Case Study at the fourth Semester of Teaching Speaking and Listening Class) | |
| Sobti et al. | Challenges for Designing of Children Speech Corpora: A State-of-the-Art Review | |
| KR100780531B1 (ko) | 구화 교육용 게임 시스템 | |
| CHAFAI | The Role of Using ICTs in Enhancing EFL learners’ Pronunciation: Audiobooks as an Example | |
| KR102630356B1 (ko) | 영유아의 청각 언어인지 재활을 위한 전자 장치, 제어 방법, 및 컴퓨터 프로그램 | |
| Çekiç | The effects of computer assisted pronunciation teaching on the listening comprehension of Intermediate learners | |
| Spaai et al. | A visual display for the teaching of intonation to deaf persons: Some preliminary findings | |
| Putri | The Effect of PRAAT Application on Students' Pronunciation Ability (A Quasi-Experimental Study at the Eleventh-Grade Students of SMAN 4 Tangerang Selatan) | |
| Steen | Child Directed Speech in a Kindergarten Setting-A Comparison of Acoustic-Phonetic Characteristics of the Corner Vowels in the Speech of Female Norwegian Pedagogical Employees in Interaction with Toddlers and Adults | |
| Percivalli | SPEECH VISUALIZATION TECHNOLOGY AND TEENAGE EFL LEARNERS. The Effects on English Prosody of Praat Use in a Venetian High School | |
| Roumaissa | The Effect of Automatic Speech Recognition Technologies on Students’ Pronunciation A Case Study of First-year EFL Learners at Biskra University | |
| SOUICI | People’s Democratic Republic of Algeria | |
| Souici | The Effect of Automatic Speech Recognition Technologies on Students’ Pronunciation A Case Study of First-year EFL Learners at Biskra University |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |