KR20150076125A - 3차원 파노라마 멀티 앵글 투시 영상 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 - Google Patents
3차원 파노라마 멀티 앵글 투시 영상 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 Download PDFInfo
- Publication number
- KR20150076125A KR20150076125A KR1020140188817A KR20140188817A KR20150076125A KR 20150076125 A KR20150076125 A KR 20150076125A KR 1020140188817 A KR1020140188817 A KR 1020140188817A KR 20140188817 A KR20140188817 A KR 20140188817A KR 20150076125 A KR20150076125 A KR 20150076125A
- Authority
- KR
- South Korea
- Prior art keywords
- pronunciation
- information
- image
- target
- image information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 93
- 230000010365 information processing Effects 0.000 claims description 92
- 210000000056 organ Anatomy 0.000 claims description 91
- 238000013507 mapping Methods 0.000 claims description 82
- 239000010410 layer Substances 0.000 claims description 55
- 210000000214 mouth Anatomy 0.000 claims description 48
- 230000008859 change Effects 0.000 claims description 42
- 238000003672 processing method Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 24
- 239000002356 single layer Substances 0.000 claims description 5
- 239000007787 solid Substances 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000001149 cognitive effect Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000016776 visual perception Effects 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 6
- 210000002105 tongue Anatomy 0.000 description 65
- 238000010586 diagram Methods 0.000 description 38
- 230000001755 vocal effect Effects 0.000 description 36
- 210000001260 vocal cord Anatomy 0.000 description 20
- 230000033001 locomotion Effects 0.000 description 19
- 238000012800 visualization Methods 0.000 description 18
- 210000003254 palate Anatomy 0.000 description 11
- 206010049816 Muscle tightness Diseases 0.000 description 10
- 230000000052 comparative effect Effects 0.000 description 10
- 238000002360 preparation method Methods 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 8
- 210000003205 muscle Anatomy 0.000 description 8
- 230000010354 integration Effects 0.000 description 7
- 210000003928 nasal cavity Anatomy 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 238000010835 comparative analysis Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 210000003800 pharynx Anatomy 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001808 coupling effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000005182 tip of the tongue Anatomy 0.000 description 1
- 210000000515 tooth Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/04—Speaking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/06—Foreign languages
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명은 조음 기관 내부의 3차원 영상 이미지 상에서의 정확하고 효율적인 발음 학습을 위한 발음 학습 지원 수단을 포함하는 3차원 파노라마 멀티 앵글 투시 영상 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법에 관한 것이다.
본 발명의 3차원 파노라마 멀티 앵글 투시 영상 발음 학습 지원 시스템은 (A1) 제1 투시 방향을 기준으로 영상 처리되며, 발음 대상에 대한 적어도 2 이상의 조음 기관의 내부 이미지가 포함된 제1 3차원 영상 정보를 제공하는 단계; 및 (B1) 제1 투시 방향과 기 설정된 각도만큼 차이가 나는 적어도 하나 이상의 제2 투시 방향을 기준으로 영상 처리되며, 상기 발음 대상에 대한 적어도 2 이상의 조음 기관의 내부 이미지가 포함된 적어도 하나 이상의 제2 3차원 영상 정보를 제공하는 단계;를 포함하는 방식으로 정보 처리하는 것이 특징이다.
본 발명의 발음 학습 지원 시스템을 사용하면 발음을 직관적으로 시각적으로 파악하고 교정할 수 있어 발음 학습의 효과를 극대화시킬 수 있다.
본 발명의 3차원 파노라마 멀티 앵글 투시 영상 발음 학습 지원 시스템은 (A1) 제1 투시 방향을 기준으로 영상 처리되며, 발음 대상에 대한 적어도 2 이상의 조음 기관의 내부 이미지가 포함된 제1 3차원 영상 정보를 제공하는 단계; 및 (B1) 제1 투시 방향과 기 설정된 각도만큼 차이가 나는 적어도 하나 이상의 제2 투시 방향을 기준으로 영상 처리되며, 상기 발음 대상에 대한 적어도 2 이상의 조음 기관의 내부 이미지가 포함된 적어도 하나 이상의 제2 3차원 영상 정보를 제공하는 단계;를 포함하는 방식으로 정보 처리하는 것이 특징이다.
본 발명의 발음 학습 지원 시스템을 사용하면 발음을 직관적으로 시각적으로 파악하고 교정할 수 있어 발음 학습의 효과를 극대화시킬 수 있다.
Description
본 발명은 3차원 파노라마 멀티 앵글 투시 영상 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법에 관한 것으로 더욱 더 상세하게는 조음 기관 내부의 3차원 파노라마 멀티 앵글 투시 영상 상에서의 정확하고 효율적인 발음 학습을 위한 발음 학습 지원 수단을 포함하는 3차원 파노라마 멀티 앵글 투시 영상 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법에 관한 것이다.
최근 들어 산업의 전문화와 국제화의 추세에 따라 각 분야별로 필요한 외국어 학습에 대한 중요성이 날로 커지고 있고, 이러한 중요성에 따라 많은 사람들이 외국어 학습에 많은 시간을 할애하고 있으며, 이에 발맞추어 다양한 온-오프라인 외국어 강좌들이 개설되고 있다.
외국어 학습의 다양한 영역 중에 문법 및 어휘학습의 경우는 모국어와 외국어에 정확한 의미 및 구조상의 차이를 문서화 된 서적 등을 통해서 이해하기가 용의하지만 의사소통의 가장 기본적인 수단 중 하나인 발음 학습의 경우에는 학습하는 외국어의 특정 발음들이 모국어에 존재 하지 않으면 정확하게 모방하여 말하기가 어렵고 또한 영어의 경우에는 영어를 모국어로 하는 각 국가 마다 특정 음소들은 발음하는 방식에 차이가 있고 또한 철자를 소리내는 규칙(phonics)에도 차이가 존재하기 때문에 문서화된 학습 자료가 어떠한 국가의 영어 발음으로 표기가 되었고 기술되었느냐에 따라서 내용이 상이할 수가 있다. 영어가 모국어라고 할 지라도 이러한 각 국가별 발음 차이 및 출신지 역 특유의 방언(dilect) 및 액센트(accent)의 차이를 정확하게 이해하지 못하고 학습하게 되면 대화 시에 정확한 정보를 전달하고 이해하는데 어려움이 있을 수 있다. 이러한 이유로 인하여 영어 발음 학습의 경우는 초기 학습 때부터 전세계적으로 사용빈도가 가장 높은 북미식 또는 영국식 발음 등을 정확한 표준 영어 발음으로 학습하는 것이 학습 효율성을 배가시키는데 중요시 되고 있으며 그러한 이유로 학령전 유아기 때부터 이러한 정확한 외국어의 input과 output 능력을 형성하기 위하여 영어 유치원, 영어 학원 및 재택 방문 1:1 파닉스(Phonics) 학습 등을 통해서 막대한 지출이 소요되는 실정이다.
또한 국제화 정책의 일환 인하여 국내의 외국인 거주자 및 이민자의 수도 지속적으로 증가하고 있는 추세이며 이에 따라서 대한민국 국적을 취득하거나 취득하려고 하는 외국인들의 수도 지속적으로 증가하고 있다. 하지만 이러한 외국인들이 한국어를 학습할 때도 마찬가지로 한국어의 소리 체계와 각 외국인들의 모국에의 소리체계의 차이에 대한 이해가 필요하며 한국어에 있는 특정한 발음들이 한국어를 학습하는 외국인의 모국어에 비슷한 소리가 존재 하지 않는다면 그들 또한 한국어 발음학습 및 한국어로의 의사소통에 어려움을 겪을 수 있다. 이러한 한국어 발음 학습 시의 어려움은 국내에 거주하는 성인 외국인 거주자 및 이민자 뿐만 아니라 이러한 이민자수의 증가에 따라 지속적으로 증가하고 있는 국제 결혼율 및 국제 결혼을 통한 한국 국적의 2세 자녀들이 모국어로 한국어를 배울때도 어려움을 겪고 있다. 하지만 이러한 언어학습시의 어려움을 극복하기 위하여 양성되는 언어 전문가의 인력은 지극히 제한되어 있고 언어학습을 위한 비용 지출은 저소득층 외국인 이민자 가족들에게는 큰 부담이 될 수 있으며 이에 따라 이러한 외국인 언어 학습자들이 저렴한 비용으로 효율적으로 표준 한국어 발음을 학습하기 위한 수단 및 매체의 개발이 시급한 실정이다.
또한 일반적으로 발음이나 발음에 대한 교정은 외국인 강사와의 1:1 지도방식에 의해 이루어지고 있는데, 이 경우 영어 학습에 많은 비용이 소요된다는 문제점이 있으며, 특별히 정해진 시간에 교육이 이루어지기 때문에 직장인 등과 같은 바쁜 일상생활을 영위하는 사람들에게는 그 학습에의 참여가 극히 제한적이라는 문제점이 있었다.
따라서 유휴 시간에 혼자서도 효과적으로 영어에 대한 발음이나 발성 등을 학습하고, 원어민의 발음과 비교 평가하는 프로그램 등을 필요로 하게 되었다.
이러한 요구에 부응하기 위하여 현재에는 음성 인식 또는 음성 파형분석을 이용한 다양한 어학용 프로그램들을 탑재한 어학용 학습기가 개발되어 보급되고 있다.
상기와 같은 어학용 학습기의 영어 발음 평가방법은 음성 신호 처리기술을 이용한 발음 비교방법에 의하며, 여기에는 은닉 마코브 모델(Hidden Markov Model, 이하 HMM 이라 함)을 이용하여 학습자의 발음을 인식한 후, 이를 원어민의 음성과 비교하여 그 결과를 알려주는 프로그램들을 이용하여 실시하고 있다.
하지만, 상기와 같은 프로그램을 탑재한 학습기들은 입력된 학습자의 음성을 상기 프로그램에 의해 원어민의 발음과 단순히 비교 평가하여 그 결과를 점수로 학습자에게 제공하는 것이 대부분이었다.
또한, 학습자는 표시된 점수로 자신의 발음이 얼마나 정확한지를 개략적으로 알 수 있지만, 모음/자음 발음, 강세, 억양에 대한 각 분야별로 비교할 수 있는 수단이 없어 자신의 모음/자음 발음, 강세, 억양이 원음과 얼마나 다르며, 어디가 틀렸는지 정확히 인식할 수 없다.
따라서 발음교정이 비효율적으로 진행되는 결과를 초래하고, 학습자가 영어를 정확하게 발음하도록 유도하는데 어려움이 있으며, 이로 인해 발음교정에 한계가 있는 등 영어 발음을 교정하는데 상당한 노력과 투자가 요구되는 문제점이 있다.
또한 학습하고자 하는 제2 언어의 원어민의 음성과 학습자의 음성의 파형을 비교 분석 하는 경우에도 두 파형 자체 비교로는 발성과 조음시점에 대한 두 파형의 정확한 시간적 동기화가 어렵고 각 음성 파형의 강도 (intensity) 및 음높이(pitch)의 운율(prosody) 변화와 같은 초분절적인(supra segmental aspect of speech) 요소들이 음성신호의 구현에 영향을 미치기 때문에 이러한 초분절적인 요소들이 학습자의 음성신호와 비교대상 원어민 음성신호에 차이가 없을 때만이 정확한 비교 분석이 가능하다. 그렇기 때문에 실제로 이러한 음성파형 비교 분석시에 제 2외국어의 발음과 학습자의 제2 외국어 발음 상(segmental aspect of speech)의 차이를 정확하게 평가하기 위해서는 기 녹음된 제 2언어 원어민의 음성파일과 비교대상인 학습자의 음성신호의 파형의 평균적인 피크 값의 크기 및 파형이 재생되는 길이 및 발성기관인 성대의 1초당 총 진동 회수를 기준으로한 기본진동수 (fundamental frequency: F0)의 값이 유사하여야 한다는 제한이 있다.
또한, 음성인식 또는 음성 파형 비교 분석의 경우는 기 녹음되어 있는 원음과 학습자의 비교대상 음성을 녹음 및 분석을 위한 디지털 신호처리 과정에서 다양한 왜곡요소가 생길 수 있다. 음성 녹음시 신호대 잡음비(signal to noise ratio) 및 음성신호 녹음시 강도의 과부하에 따른 왜곡 및 이러한 과부하에 따른 왜곡을 방지하기 위한 신호의 강도에 따른 압축에 대한 압축비율(compression ratio) 밑 음성신호 강도의 압축 개시 임계점(threshold) 설정 값에 따른 음성 신호의 변화 및 디지털 신호로의 변화시에 표본화 주파수(sampling frequency rate) 설정 및 양자화 (qualtatization) bit 계수 설정에 따라서 음성신호가 구현되는 값은 다양하게 변할 수 있다. 따라서 두 비교대상 음원의 녹음 및 디지털 신호 처리과정에서의 상기 명시한 신호처리 방식의 차이가 상이 할 경우에는 정확한 차이를 비교분석해서 평가하는데 어려움이 따를 수 있다.
이러한 이유로 초기 발음학습은 강세, 리듬, 연음, 억양, 유창성 등 다양한 요소가 소리의 변화에 영향을 미치는 단어, 문장, 단락 등의 발화수준에서 음소발음의 원리를 터득하는 하향식 발음 학습 (Top-down processing) 보다는 각 발음기호(음소)의 정확한 표준 발음을 숙지한 상태에서 강세(stress) 및 동시조음(coarticulation)에 따른 소리의 변화를 이해하며 단어에 적용시고 연음, 억양, 리듬에 다양한 규칙을 학습하면서 문장으로 확장하여 적용하는 상향식 학습법 (bottom-up processing) 이 더욱 효율적인 학습법으로 인정받고 있고 이에 따라 특정언어의 음소단계 즉 각 발음기호의 정확산 발음학습의 중요성이 대두 되고 있다.
기존의 음소단위의 발음학습 도구 및 장치의 경우는 단순히 인체 외부에서 보이는 안면근육 및 구강 밖에서 안쪽으로 바라본 혀의 정면도를 이미지화 하여 보여주고 있으며 또한 실제로 구강 및 비강내에 조음, 발성기관의 움직임을 시뮬레이션한 이미지의 경우도 혀의 위치 및 움직임의 변화 정도를 보여줄 뿐 및 발성 공명의 위치 및 원리 발음시의 공기 기류의 흐름의 변화등 원어민의 발음을 모방하여 학습하기에는 한계가 있는 경우가 많았다.
이에, 인체 외부에서는 확인하기 어려운 구강 내부에서의 특정 발음시의 모든 조음기관의 움직임은 물론 공기 기류의 흐름 및 조음위치 및 공명점을 표기하고 다양한 각도에서 조음, 발성, 공명이 일어난느 위치를 표시함으로서 학습자가 발음을 이해하는데 용의하도록 설계할 필요가 요청되어 왔다.
특히, 보다 나은 학습 효과를 위하여 3차원 투시 영상으로 구강 내부의 조음 기관의 움직임 및 기타 정확한 조음을 위한 각종 구강 내의 현상이 멀티 앵글로 표시되는 발음 학습 지원 시스템의 개발이 절실히 요청되어 왔다.
본 발명이 해결하고자 하는 첫번째 기술적 과제는 3차원 파노라마 멀티 앵글 투시 영상 발음 학습 지원 시스템의 구성을 개시하는 것이다.
본 발명이 해결하고자 하는 두번째 기술적 과제는 3차원 파노라마 멀티 앵글 투시 영상 발음 학습 지원 시스템의 정보 처리 방법을 개시하는 것이다.
본 발명이 해결하고자 하는 세번째 기술적 과제는 3차원 파노라마 멀티 앵글 투시 영상 발음 학습 지원 시스템 및 발음 학습 지원 시스템의 정보 처리 방법이 구현되는 컴퓨터가 읽을 수 있는 프로그램이 탑재된 기록 매체를 개시하는 것이다.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여, 발음 학습 지원 시스템의 정보 처리 방법에 있어서, 상기 발음 학습 지원 시스템이 (A1) 제1 투시 방향을 기준으로 영상 처리되며, 발음 대상에 대한 적어도 2 이상의 조음 기관의 내부 이미지가 포함된 제1 3차원 영상 정보를 제공하는 단계; 및 (B1) 제1 투시 방향과 기 설정된 각도만큼 차이가 나는 적어도 하나 이상의 제2 투시 방향을 기준으로 영상 처리되며, 상기 발음 대상에 대한 적어도 2 이상의 조음 기관의 내부 이미지가 포함된 적어도 하나 이상의 제2 3차원 영상 정보를 제공하는 단계;를 포함하며, 상기 조음 기관의 내부 이미지는 구강 내의 혀 이미지에 대한 3 차원 이미지를 포함하는 것이며, 상기 조음 기관의 내부 이미지는 상기 발음 대상의 발음의 진행에 따라 시간적 변동이 발생하는 것인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법을 제시한다.
상기 각도의 차이는 평면각 및 입체각 중에서 선택되는 어느 하나 이상에서의 차이인 것이 바람직하다.
상기 (A1) 단계 및 상기 (B1) 단계의 상기 제1 3차원 영상 정보 및 상기 제2 3차원 영상 정보에서는 상기 발음 대상의 발성에 대응되는 기류 표시 이미지가 더 포함되어 있는 것이며, 상기 기류 표시 이미지는 상기 발음 대상의 발음의 진행에 따라 시간적으로 형상이 변동되는 것인 것이 바람직하다.
상기 기류 표시 이미지는 제1 종 기류 표시 이미지 및 제2 종 기류 표시 이미지 중 어느 하나 이상으로 구성되며, 상기 제1 종 기류 표시 이미지는 시각적으로 독립되어 제시되는 적어도 2개 이상의 부분 기류 표시 이미지를 포함하는 것이며, 상기 제2 종 기류 표시 이미지는 단일 개체성이 유지되는 부분 기류 표시 이미지인 것이 바람직하다.
상기 (A1) 단계 및 상기 (B1) 단계의 상기 제1 3차원 영상 정보 및 상기 제2 3차원 영상 정보 중 어느 하나 이상에서는 권장 공명점 대응 이미지 및/또는 권장 조음 위치 대응 이미지가 포함되어 있는 것인 것이 바람직하다.
상기 권장 공명점 대응 이미지 및/또는 권장 조음 위치 대응 이미지는 발음 대상의 발음의 진행에 따라 위치 및 모양 중 어느 하나 이상에서 변동이 발생하는 것인 것이 바람직하다.
상기 기류 표시 이미지는 구강 내에서의 기류의 변화, 공기의 압력, 강도 또는 공기의 집중을 반영하여 형상이 변경되는 것인 것이 바람직하다.
상기 발음 대상은 음소, 음절, 단어 및 단어열 중 어느 하나인 것이 바람직하다.
상기 제2 투시 방향은 2 종류 이상인 것이며, 상기 제2 투시 방향이 2 종류 이상일 경우, 상기 (B1) 단계는 각 투시 방향에 대하여, 상기 발음 대상에 대한 적어도 2 이상의 조음 기관의 내부 이미지가 포함된 적어도 하나 이상의 제2 3차원 영상 정보를 제공하는 것인 것이 바람직하다.
상기 제1 3차원 영상 정보 및 상기 제2 3차원 영상 정보 중 어느 하나 이상에는 상기 발음 대상의 발음의 진행에 따라 형태가 변동되는 형태 변동 조음 기관만이 표시되는 것이거나, 상기 형태 변동 조음 기관의 상대적 위치에 대한 시각적 인지를 지원하는 시각적 인지 지원 조음 기관과 상기 상기 형태 변동 조음 기관만이 표시되는 것인 것이 바람직하다.
(C1) 상기 제1 3차원 영상 정보와 상기 제2 3차원 영상 정보를 1개의 사용자 단말기의 디스플레이 장치에 동시에 표시되도록 제공하는 단계;를 포함하는 것이 바람직하다.
(D1-1) 적어도 하나 이상의 사용자 단말기 또는 상기 사용자 단말기의 기 설정된 적어도 하나 이상의 사용자 단말기 기능 모듈로부터 발음 대상에 대한 입력 정보를 입수 받는 단계; 및 (D1-2) 상기 사용자 단말기 또는 상기 사용자 단말기 기능 모듈로 상기 입력 정보를 입수 받은 발음 대상에 대하여 상기 (A1) 단계 및 상기 (B1) 단계를 실시하는 단계;를 더 포함하는 것이 바람직하다.
(D1-3) 적어도 하나 이상의 사용자 단말기 또는 상기 사용자 단말기의 기 설정된 적어도 하나 이상의 사용자 단말기 기능 모듈로부터 적어도 하나 이상의 투시 방향에 대한 선택 정보를 입수 받는 단계; 및 (D1-4) 상기 사용자 단말기 또는 상기 사용자 단말기 기능 모듈로 상기 선택 정보를 입수 받은 투시 방향을 기준으로 발음 대상에 대한 적어도 2 이상의 조음 기관의 내부 이미지가 포함된 3차원 영상 정보를 제공하는 단계 ;를 더 포함하는 것이 바람직하다.
상기 3차원 영상 정보에는 접촉부 대응 이미지가 더 포함되는 것인 것이 바람직하다.
상기 3차원 영상 정보는 단일 레이어로 구성되거나, 상기 조음 기관 내부 이미지를 표시하는 레이어를 필수적으로 포함하고, 기류 표시 이미지를 표시하는 레이어, 권장 공명점 대응 이미지 및/또는 권장 조음 위치 대응 이미지를 표시하는 레이어 및 접촉부 대응 이미지를 표시하는 레이어 중에서 선택되는 하나 이상의 레이어를 더 포함하는 것이거나, 상기 조음 기관 내부 이미지를 표시하는 레이어 및 기류 표시 이미지, 권장 공명점 대응 이미지 및/또는 권장 조음 위치 대응 이미지 및 접촉부 대응 이미지 중에서 선택되는 어느 하나 이상이 포함되어 표시되는 레이어를 포함하는 방식으로 구성되는 것인 것이 바람직하다.
상기 발음 학습 지원 시스템은 적어도 하나 이상의 사용자 단말기와 유무선으로 통신하는 서버에 존재하는 것이거나, 사용자 단말기 내에 존재하는 것이거나, 상기 사용자 단말기 내에서 구동되는 적어도 하나 이상의 기능 모듈에 존재하는 것인 것이 바람직하다.
(E1-1) 사용자 또는 사용자 단말기로부터 사용자 발성 정보를 입수 받는 단계; (E1-2) 상기 발성 정보로 사용자 발성 처리 공명점 정보를 생성하는 단계;및 (E1-3) 상기 사용자 발성 처리 공명점 정보가 상기 3차원 영상에 표시되게 처리하는 단계;를 포함하는 것이 바람직하다.
상기 사용자 발성 처리 공명점 정보의 생성은 포멘트 주파수 중 가장 낮은 2개의 주파수를 처리하여 생성되는 것인 것이 바람직하다.
상기 (A1) 단계 및 상기 (B1) 단계는 각 단계마다 독립되어 저장되어 있는 디지털 파일 또는 투시 방향마다 독립되어 저장되어 있는 디지털 파일에 대응되어 실시되는 것인 것이며, 상기 발음 대상에 대한 청각적 정보는 상기 디지털 파일에 포함되어 저장되어 있거나, 상기 디지털 파일과 독립된 음성 파일에 저장되는 것이며, 상기 독립된 음성 파일은 상기 디지털 파일과 동기화되어 제공되거나, 동기화되어 재생되는 것인 것이 바람직하다.
상기 (A1) 단계 및 상기 (B1) 단계는 단일한 1개의 디지털 파일에 대응되어 실시되는 것인 것이 바람직하다.
(F1) 상기 (A1) 단계 및 상기 (B1) 단계가 실시 될 때, 상기 발음 대상에 대한 청각적 발성 정보를 제공하는 단계;를 더 포함하며, 상기 청각적 발성 정보는 상기 발음 대상의 발음의 진행에 따라 상기 조음 기관의 내부 이미지와 동기화되어 제공되는 것인 것이 바람직하다.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여, 상기의 어느 한 항의 방법을 실시하며 컴퓨터가 읽을 수 있는 프로그램을 포함하는 것을 특징으로 하는 기록 매체를 제시한다.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여, 상기의 어느 한 항의 방법을 실시하며, 발음 대상별 적어도 2 이상의 투시 방향별 3차원 영상 정보를 포함하고 있는 발음 대상별 3차원 영상 정보 DB; 상기 발음 대상별로 투시 방향별 3차원 영상 발음 정보를 맵핑 처리하는 기능을 수행하는 3차원 영상 맵핑 처리 모듈;및 상기 발음 대상별로 기 설정된 적어도 2 이상의 3차원 영상 정보의 제공을 제어하는 기능을 수행하는 파노라마 영상 제공 모듈;을 포함하는 것을 특징으로 하는 발음 학습 지원 시스템을 제시한다.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여, 발음 학습 지원 시스템의 정보 처리 방법에 있어서, 상기 발음 학습 지원 시스템이 (A2) 선택 정보를 입수 받은 발음 대상에 대한 준비 구강 영상 정보를 제공하는 단계; 및 (B2) 상기 발음 대상에 대한 발성 구강 영상 정보를 제공하는 단계;를 포함하며, 선택적으로 (C2) 상기 발음 대상에 대한 후속 구강 영상 정보를 제공하는 단계;를 더 포함할 수 있는 것이며, 상기 (A2) 단계에서 준비 구강 영상 정보를 제공하는 것은 상기 발음 대상의 발성에 개입하는 적어도 하나 이상의 조음 기관이 포함되어 표시되는 조음 기관 단면 이미지를 제공하는 것인 것이며, 상기 (B2) 단계에서 발성 구강 영상 정보에는 상기 발음 대상에 대한 발음 지원 시각화 수단이 더 포함되어 있는 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법을 제시한다.
상기 발음 지원 시각화 수단은 권장 공명점 정보인 것이며, 상기 권장 공명점 정보의 표시는 공진 주파수에 진폭이 최대치가 되거나 최대치로 유지 되는 시간 동안 상기 발음 대상의 청각적 정보 제공에 동기화되어 표시되는 것인 것이 바람직하다.
상기 발음 지원 시각화 수단은 권장 공명점 정보인 것이며, 상기 권장 공명점 정보의 표시는 상기 발음 대상에 대한 혀 형상의 시간적 및 공간적 변화에 동기화하여 시각적으로 위치가 변경되면서 표시되는 것인 것이 바람직하다.
상기 발음 지원 시각화 수단은 권장 공명점 정보인 것이며, 상기 권장 공명점 정보의 표시는 혀의 표면 중 기 설정된 위치에 표시되는 것이며, 상기 권장 공명점 정보가 표시되는 위치는 혀의 시간적 움직임과 구강 내에서의 형태 변화에 따라 표시되는 위치가 달라질 수 있는 것이 바람직하다.
상기 발음 대상에 대한 발성 구강 영상 정보를 제공하는 단계는 (B2-1) 조음 기관의 움직임을 포함한 발성 구강 영상 정보를 제공하는 단계;및 (B2-2) 공명점 정보의 표시를 포함하는 발성 구강 영상 정보를 제공하는 단계;를 포함하는 것이 바람직하다.
상기 조음 기관 단면 이미지에는 모음 사각도가 더 포함되어 있는 것인 것이며, 상기 발음 지원 시각화 수단은 권장 공명점 정보인 것이며, 상기 권장 공명점 정보의 구강 내의 상대적 위치는 상기 모음 사각도 상에 표시될 수 있는 것인 것이 바람직하다.
상기 발음 지원 시각화 수단은 권장 조음 위치 정보 및 기류 표시 이미지 정보 중 어느 하나 이상인 것이며, 상기 권장 조음 위치 정보는 상기 조음 기관 단면 이미지 상에서 시각적으로 인지 될 수 있도록 표시되는 것인 것이며, 상기 기류 표시 이미지 정보는 기류 표시를 포함하여 상기 조음 기관 단면 이미지 상에서 기류의 변화가 시각적으로 인지 될 수 있는 것인 것이 바람직하다.
상기 기류 표시 이미지 정보는 상기 발음 대상의 발성에 대응되는 기류 변화나 공기의 압력, 강도 또는 공기의 집중의 변화 표시 중 어느 하나 이상에 대응되는 시각적으로 인지될 수 있는 표시인 것이 바람직하다.
상기 기류 표시 이미지 정보는 방향성 표시 수단이 포함된 기류 표시 이미지의 형태인 것이며, 상기 기류 표시 이미지는 모양, 색채 및 개수 중 어느 하나 이상이 시간에 따라 변동되는 것인 것이 바람직하다.
상기 (C2) 단계의 상기 후속 구강 영상 정보의 제공은 상기 발음 대상의 발성에 대한 공명 유지 시간 및 상기 발음 대상의 발성에 대한 조음 유지 시간 중 어느 하나 이상이 종료되는 시점부터 또는 상기 발음 대상의 발성에 대한 청각적 페이드 아웃이 시작되는 시점부터 제공되는 것인 것이 바람직하다.
상기 후속 구강 영상 정보는 상기 발음 지원 시각화 수단에서 표시되는 권장 조음 위치 정보 및 기류 표시 이미지 정보 중 어느 하나 이상이 유지되게 처리되는 것인 것이며, 상기 권장 조음 위치 정보는 상기 조음 기관 단면 이미지 상에서 시각적으로 인지 될 수 있도록 표시되는 것인 것이며, 상기 기류 표시 이미지 정보는 기류 표시를 포함하여 상기 조음 기관 단면 이미지 상에서 시각적으로 인지 될 수 있는 것인 것이 바람직하다.
상기 (B2) 단계를 필수적으로 포함하고, 상기 (A2) 단계 및 상기 (C2) 단계 중에서 선택되는 어느 하나의 단계 이상이 실시되는 동안에, (D2) 상기 발음 대상의 발성에 대한 안면 이미지 정보를 제공하는 단계;를 더 포함하는 것이며, 상기 (D2) 단계가 실시될 때, 상기 조음 기관 단면 이미지는 측면 방향의 조음 기관 단면 이미지인 것이 바람직하다.
상기 발성 구강 영상 정보에는 상기 발음 대상의 발성에 따른 근육의 수축과 이완에 대응되는 근육 긴장 표시 정보가 포함되어 표시되는 것인 것이 바람직하다.
상기 근육 긴장 표시 정보에는 근육 긴장 위치 표시 정보 및 근육 긴장 방향 표시 정보 중 어느 하나 이상이 포함되어 있는 것인 것이 바람직하다.
상기 발성 구강 영상 정보에는 접촉부 대응 이미지가 더 포함되는 것인 것이 바람직하다.
(E2-1) 적어도 하나 이상의 사용자 단말기 또는 상기 사용자 단말기의 기 설정된 적어도 하나 이상의 사용자 단말기 기능 모듈로부터 발음 대상에 대한 입력 정보를 입수 받는 단계; 및 (E2-2) 상기 사용자 단말기 또는 상기 사용자 단말기 기능 모듈로 상기 입력 정보를 입수 받은 발음 대상에 대하여 상기 (A2) 단계 및 상기 (B2) 단계를 실시하는 단계;를 더 포함하는 것이 바람직하다.
상기 발성 구강 영상 정보는 단일 레이어로 구성되거나, 상기 조음 기관 내부 이미지를 표시하는 레이어를 필수적으로 포함하고, 기류 흐름 대응 이미지를 표시하는 레이어, 권장 공명점 표시 이미지 및/또는 권장 조음 위치 표시 이미지를 표시하는 레이어 및 접촉부 대응 이미지를 표시하는 레이어 중에서 선택되는 하나 이상의 레이어를 더 포함하는 것이거나, 상기 조음 기관 내부 이미지를 표시하는 레이어 및 기류 흐름 대응 이미지, 권장 공명점 표시 이미지, 권장 조음 위치 표시 이미지 및 접촉부 대응 이미지 중에서 선택되는 어느 하나 이상이 포함되어 표시되는 레이어를 포함하는 방식으로 구성되는 것인 것이 바람직하다.
상기 발음 학습 지원 시스템은 적어도 하나 이상의 사용자 단말기와 유무선으로 통신하는 서버에 존재하는 것이거나, 사용자 단말기 내에 존재하는 것이거나, 상기 사용자 단말기 내에서 구동되는 적어도 하나 이상의 기능 모듈에 존재하는 것인 것이 바람직하다.
(F2-1) 사용자 또는 사용자 단말기로부터 사용자 발성 정보를 입수 받는 단계; (F2-2) 상기 발성 정보로 사용자 발성 처리 공명점 정보를 생성하는 단계;및 (F2-3) 상기 사용자 발성 처리 공명점 정보가 상기 발성 구강 영상에 표시되게 처리하는 단계;를 포함하는 것이 바람직하다.
상기 사용자 발성 처리 공명점 정보의 생성은 포멘트 주파수 중 가장 낮은 2개의 주파수를 처리하여 생성되는 것인 것이 바람직하다.
상기 (A2) 단계 및 상기 (B2) 단계는 각 단계마다 독립되어 저장되어 있는 디지털 파일인 것이며, 상기 발음 대상에 대한 청각적 정보는 상기 (B2) 단계에 대응되는 디지털 파일에 포함되어 저장되어 있는 것이 바람직하다.
상기 (A2) 단계 및 상기 (B2) 단계는 단일한 1개의 디지털 파일에 대응되어 실시되는 것인 것이 바람직하다.
(G2) 상기 (A2) 단계 및 상기 (B2) 단계가 실시 될 때, 상기 발음 대상에 대한 청각적 발성 정보를 제공하는 단계;를 더 포함하며, 상기 청각적 발성 정보는 상기 발음 대상의 발음의 진행에 따라 상기 조음 기관의 내부 이미지와 동기화되어 제공되는 것인 것이 바람직하다.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여, 상기 어느 한 항의 방법을 실시하며 컴퓨터가 읽을 수 있는 프로그램을 포함하는 것을 특징으로 하는 기록 매체를 제시한다.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여, 발음 학습 지원 시스템의 정보 처리 방법에 있어서, 상기 발음 학습 지원 시스템이 (A3) 목표 언어 발음 대상과 맵핑되어 있는 적어도 하나 이상의 참조 언어 발음 대상에 대한 참조 언어 발음 대응 구강 영상 정보를 제공하는 단계; 및 (B3) 목표 언어 발음 대상에 대한 목표 언어 발음 대응 구강 영상 정보를 제공하는 단계; 중 어느 하나의 단계를 실시하는 것을 포함하며, (C3) 상기 참조 언어 발음 대상 및 상기 목표 언어 발음 대상에 대한 비교 정보인 목표-참조 비교 정보를 제공하는 단계;를 포함하는 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법을 제시한다.
상기 (A3) 단계 및 (B3) 단계가 제시되는 순서는 상기 (A3) 단계 이후에 상기 (B3) 단계가 실시되거나, 상기 (B3) 단계 이후에 상기 (A3) 단계가 실시되는 것인 것이 바람직하다.
상기 (C3) 단계는 상기 (A3) 단계 이후에 상기 (B3) 단계가 실시되고, 이어 상기 (C3) 단계가 실시되는 것이거나, 상기 (A3) 단계 이후에 상기 (C3) 단계가 실시되고, 이어, 상기 (B3) 단계가 실시되는 것이거나, 상기 (B3) 단계 이후에 상기 (A3) 단계가 실시되고, 이어 상기 (C3) 단계가 실시되는 것이거나, 상기 (B3) 단계 이후에 상기 (C3) 단계가 실시되고, 이어, 상기 (A3) 단계가 실시되는 것인 것이 바람직하다.
목표 언어 발음 대상 집합에 포함된 적어도 어느 하나의 목표 언어 발음 대상은 맵핑 관계가 성립되는 적어도 어느 하나의 참조 언어 발음 대상을 가지는 것이며, 참조 언어 발음 대상 집합에 포함된 적어도 어느 하나의 참조 언어 발음 대상은 맵핑 관계가 성립되는 적어도 어느 하나의 목표 언어 발음 대상을 가지는 것인 것이 바람직하다.
상기 목표 언어 발음 대상과 맵핑되어 있는 참조 언어 발음 대상이 2 이상인 경우에는 상기 (A3) 단계는 참조 언어 발음 대상 수만큼 실시되는 것인 것이 바람직하다.
상기 목표 언어 발음 대상과 맵핑되어 있는 참조 언어 발음 대상이 2 이상인 경우에는 상기 (C3) 단계의 목표-참조 비교 정보의 제공은 2 이상의 상기 참조 언어 발음 대응 구강 영상 정보별로 상기 참조 언어 발음 대상 구강 영상 정보와 상기 목표 언어 발음 대상 구강 영상 정보를 1:1로 비교하면서 제공하는 제1 목표-참조 비교 정보 제공 방법, 2 이상의 상기 참조 언어 발음 대응 구강 영상 정보를 1개의 집단 묶어서, 상기 참조 언어 발음 대응 구강 영상 정보와 상기 목표 언어 발음 대상 구강 영상 정보를 1:1로 비교하면서 제공하는 제2 목표-참조 비교 정보 제공 방법 및 2 이상의 상기 참조 언어 발음 대응 구강 영상 정보와 상기 목표 언어 발음 대상 구강 영상 정보를 시각적으로 동시에 표시하여 제공하는 제3 목표-참조 비교 정보 제공 방법 중 어느 하나 이상을 실시하는 것인 것이 바람직하다.
상기 제1 목표-참조 비교 정보 제공 방법, 상기 제2 목표-참조 비교 정보 제공 방법 및 상기 제3 목표-참조 비교 정보 제공 방법은 기 설정된 순서로 3가지 방법이 순차적으로 실시되거나, 상기 3가지 방법 중에서 선택되는 어느 2개의 방법이 순차적으로 또는 교번하여 실시되는 것인 것이 바람직하다.
상기 참조 언어 발음 대상과 맵핑되어 있는 목표 언어 발음 대상이 2 이상인 경우에는 상기 (B3) 단계는 목표 언어 발음 대상 수만큼 실시되는 것인 것이 바람직하다.
상기 참조 언어 발음 대상과 맵핑되어 있는 목표 언어 발음 대상이 2 이상인 경우에는 상기 (C3) 단계의 목표-참조 비교 정보의 제공은 2 이상의 상기 목표 언어 발음 대응 구강 영상 정보별로 상기 목표 언어 발음 대상 구강 영상 정보와 상기 참조 언어 발음 대상 구강 영상 정보를 1:1로 비교하면서 제공하는 제1 목표-참조 비교 정보 제공 방법, 2 이상의 상기 목표 언어 발음 대응 구강 영상 정보를 1개의 집단 묶어서, 상기 목표 언어 발음 대응 구강 영상 정보와 상기 참조 언어 발음 대상 구강 영상 정보를 1:1로 비교하면서 제공하는 제2 목표-참조 비교 정보 제공 방법 및 2 이상의 상기 목표 언어 발음 대응 구강 영상 정보와 상기 참조 언어 발음 대상 구강 영상 정보를 시각적으로 동시에 표시하여 제공하는 제3 목표-참조 비교 정보 제공 방법 중 어느 하나 이상을 실시하는 것인 것이 바람직하다.
상기 제4 목표-참조 비교 정보 제공 방법, 상기 제5 목표-참조 비교 정보 제공 방법 및 상기 제6 목표-참조 비교 정보 제공 방법은 기 설정된 순서로 3가지 방법이 순차적으로 실시되거나, 상기 3가지 방법 중에서 선택되는 어느 2개의 방법이 순차적으로 또는 교번하여 실시되는 것인 것이 바람직하다.
상기 참조 언어는 2개 이상의 언어일 수 있는 것인 것이며, 상기 목표-참조 비교 정보는 언어마다 생성되는 것인 것이 바람직하다.
상기 목표-참조 비교 정보에는 목표 언어 발음 대상에 대응되는 적어도 하나 이상의 목표 언어 발음 대응 조음 기관 이미지와 참조 언어 발음 대상에 대응되는 참조 언어 발음 대응 조음 기관 이미지를 구별할 수 있도록 지원하는 시각적 구분 수단이 더 포함되어 있는 것인 것이 바람직하다.
상기 목표-참조 비교 정보에는 목표 언어 발음 대상에 대응되는 목표 언어 발음 대응 공명점 정보와 참조 언어 발음 대상에 대응되는 참조 언어 발음 대응 공명점 정보가 더 포함되어 있는 것인 것이거나, 상기 목표-참조 비교 정보에는 목표 언어 발음 대상에 대응되는 목표 언어 발음 대응 조음 위치 정보와 참조 언어 발음 대상에 대응되는 참조 언어 발음 대응 조음 위치 정보가 더 포함되어 있는 것인 것이거나, 상기 목표-참조 비교 정보에는 목표 언어 발음 대상에 대응되는 목표 언어 발음 대응 기류 표시 이미지 정보와 참조 언어 발음 대상에 대응되는 참조 언어 발음 대응 기류 표시 이미지 정보가 더 포함되어 있는 것인 것이 바람직하다.
참조 언어 발음 대응 구강 영상 정보 및 상기 목표 언어 발음 대응 구강 영상 정보는 1개의 참조 언어 발음 또는 1개의 목표 언어 발음에 대하여 적어도 2 이상의 투시 방향별 3차원 영상 정보가 제공되는 것인 것이며, 상기 목표-참조 비교 정보는 상기 3차원 영상 정보 내에서 제공되는 것인 것이 바람직하다.
(D3-1) 사용자 단말기로부터 목표 언어 발음 대상 정보를 입수하는 단계; (D3-2) 상기 입수한 목표 언어 발음 대상 정보와 맵핑되는 참조 언어 발음 대상 정보를 조회하는 단계;및 (D3-3) 상기 조회의 결과 참조 언어 발음 대상 정보가 존재하는 경우, 상기 (A3) 단계 내지는 상기 (B3) 단계를 실시하는 단계;를 더 포함하는 것이 바람직하다.
상기 (C3) 단계는 필수적으로 실행하는 것인 것이며, 상기 목표-참조 비교 정보는 시각적으로 인지될 수 있는 비교 정보인 것이며, 상기 목표-참조 비교 정보는 상기 (A3) 단계의 실행 중이나 상기 (B3) 단계의 실행 중에서도 표시되도록 제어되는 것인 것이 바람직하다.
상기 목표 언어 발음 대응 구강 영상 정보, 참조 언어 발음 대응 구강 영상 정보 및 목표-참조 비교 정보 중 어느 하나 이상은 단일 레이어로 구성되거나, 조음 기관 내부 이미지를 표시하는 레이어를 필수적으로 포함하고, 기류 흐름 대응 이미지를 표시하는 레이어, 권장 공명점 대응 이미지 및/또는 권장 조음 위치 대응 이미지를 표시하는 레이어 및 접촉부 대응 이미지를 표시하는 레이어 중에서 선택되는 하나 이상의 레이어를 더 포함하는 것이거나, 상기 조음 기관 내부 이미지를 표시하는 레이어 및 기류 흐름 대응 이미지, 권장 공명점 대응 이미지, 권장 조음 위치 대응 이미지 및 접촉부 대응 이미지 중에서 선택되는 어느 하나 이상이 포함되어 표시되는 레이어를 포함하는 방식으로 구성되는 것인 것이 바람직하다.
상기 발음 학습 지원 시스템은 적어도 하나 이상의 사용자 단말기와 유무선으로 통신하는 서버에 존재하는 것이거나, 사용자 단말기 내에 존재하는 것이거나, 상기 사용자 단말기 내에서 구동되는 적어도 하나 이상의 기능 모듈에 존재하는 것인 것이 바람직하다.
(E3-1) 사용자 또는 사용자 단말기로부터 사용자 발성 정보를 입수 받는 단계; (E3-2) 상기 발성 정보로 사용자 발성 처리 공명점 정보를 생성하는 단계;및 (E3-3) 상기 사용자 발성 처리 공명점 정보를 포함하여 사용자-목표-참조 비교 정보를 생성하는 단계; (E3-4) 상기 사용자-목표-참조 비교 정보를 표시되게 처리하는 단계;를 포함하는 것이 바람직하다.
상기 사용자 발성 처리 공명점 정보의 생성은 포멘트 주파수 중 가장 낮은 2개의 주파수를 처리하여 생성되는 것인 것이 바람직하다.
(F) 상기 (A3) 단계 및 상기 (B3) 단계가 실시 될 때, 상기 참조 언어 발음 대상 및 상기 목표 언어 발음 대상에 대한 청각적 발성 정보를 제공하는 단계;를 더 포함하며, 상기 청각적 발성 정보는 상기 참조 언어 발음 대상 및 상기 목표 언어 발음 대상의 발음의 진행에 따라 상기 조음 기관의 내부 이미지와 동기화되어 제공되는 것인 것이 바람직하다.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여, 상기 중 어느 한 항의 방법을 실시하며 컴퓨터가 읽을 수 있는 프로그램을 포함하는 것을 특징으로 하는 기록 매체를 제시한다.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여, 상기의 어느 한 항의 방법을 실시하며, 상기 목표 언어 발음 대응 구강 영상 정보 및 상기 참조 언어 발음 대응 구강 영상 정보를 포함하고 있는 맵핑 언어 영상 정보 DB; 상기 목표 언어 발음 대상과 상기 참조 언어 발음 대상간의 맵핑 관계 정보에 관한 맵핑 처리하는 기능을 수행하는 복수 언어간 맵핑 처리 모듈;및 상기 참조 언어 발음 대상 및 상기 목표 언어 발음 대상에 대한 비교 정보인 목표-참조 비교 정보의 생성을 포함하는 비교 정보 생성 모듈;을 포함하는 것을 특징으로 하는 발음 학습 지원 시스템을 개시한다.
본 발명을 활용하면 다음과 같은 효과가 있다.
첫째, 발음에 대한 지식이 없는 일반 학습자에게도 이해하기 쉽게 시각적으로 각 음소 발음 시 공명점 및 조음 위치 공기기류의 흐름을 시각적으로 제공함으로서 이해도를 배가시키는 효과가 있다.
둘째, 발음시에 공기의 기류 및 공명이 일어나는 시기를 음성신호와 동기와하여 시간의 흐름에 따라 그 공명도와 공기압력 및 흐름의 세기와 방향을 변화의 보여줌으로서 학습자가 발음을 쉽께 따라하기 용이하다.
셋째, 각 음소별 발음 시에 시간의 흐름에 따른 안면 근육, 입술 및 혀의 위치의 변화를 시뮬레이션 하여 보여주어 발음을 체계적으로 따라 할 수 있게 된다.
넷째, 각 음소별 발음 시에 시간의 흐름에 따른 입술 및 혀와 같은 조음기관의 위치의 변화를 다양한 각도에서 시뮬레이션 하여 보여주어 발음을 이해하기 용이하게 하고 체계적으로 따라 할 수 있게 된다.
다섯째, 모음과 같은 공명음의 경우 구강내에서 울림이 발생하는 공명점 뿐아니라 구강내에서 공명이 일어날 수 있는 범위를 모음사각도로 표기하여 구강내에 삽입하여 공명점과 함께 보여줌으로서 각 모음발음별로 고정되어있는 혀의 위치를 이해하는데 용이하게 해 준다.
여섯째, 공명도(sonorant)가 높은 [l, w, j] 등의 자음소리들은 공명점과 공기의 기류를 동시에 표시해주어 학습자가 발음시 혀가 울리는 위치 및 및 공기의 흐름을 이해하는데 용이하다
일곱째, 모음의 경우 제1언어와 제 2언어의 유사 모음의 혀의 위치 및 공명점의 차이를 비교하여 보여줌으로서 모국어의 특정 모음을 기반으로 그 차이점만큼만 혀의 위치를 이동시키는 효율적인 발음교정이 가능하다.
여덟째, 자음의 경우 제1언어와 제2언어의 유사 자음의 조음위치 및 조음위치에서 조음기관이 접촉되는 면적의 차이를 비교하여 보여줌으로서 모국어의 특정 자음을 기반으로 그 차이점만큼만 조음기관을 이동시키는 효율적인 발음교정이 가능하다.
아홉째, 파열음 [p,b,t,d,k,g] 류의 안면근육 또는 구강내 조음기관들에 근육에 긴장도가 조음시에 급격하게 변화하는 소리들은 조음시 근육의 수축 방향 및 긴장되는 정도를 이미지 영상의 조음위치에 기호로 표기하여 학습자들이 발음시에 어떤근육을 어느정도의 힘을 주고 발음해야하는지 이해하는데 용이하다.
열번째, 마찰음[f,v,s,z,h,S,3,ㅅ, ㅎ]류의 구강내의 조음기관들이 맞물리는 틈새에서 공기가 지속적으로 새어나오는 소리들은 공기가 세어나오는 조음기관에서의 통로의 면적부위를 보여주는 기호를 표기하고 또한 면적에 따라서 공기의 기류가 새어나오는 양을 기류의 흐름을 보여주는 선 형태의 굵기를 달리함으로서 학습자가 시각적으로 쉽게 조음시의 공기의 흐름과 정도를 이해하기 용이하다.
도 1은 본 발명의 발음 학습 지원 시스템의 일 실시예적 구성에 관한 도면이다.
도 2는 본 발명의 발음 학습 지원 시스템의 다른 일 실시예적 구성에 관한 도면이다.
도 3은 본 발명의 발음 학습 지원 시스템의 발음 학습 지원 DB부의 일 실시예적 구성에 관한 도면이다.
도 4은 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 5는 제1 및 제2 3차원 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 6은 제어 정보를 입수 받고 제어 정보에 대응되는 3차원 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 7은 투시 방향 선택 정보를 입수 받고, 투시 방향에 대응되는 3차원 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 8은 조음 기관별 레이어 선택 정보를 입수 받고, 조음 기관별 레이어에 대응되는 3차원 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 9는 사용자로부터 입수한 음성 정보를 처리하는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 10 내지 도 12는 [p]에 대하여 예시적인 제1 투시 방향을 기준으로 제공되는 한 본 발명의 제1 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 13 내지 도 14는 투시되는 방향이 연속적으로 변동하고 있음을 보여주는 제1 3차원 영상 제공과 제2 3차원 영상 제공의 중간 단계를 보여 주는 도면이다.
도 15 내지 도 17는 [p]에 대하여 예시적인 제2 투시 방향을 기준으로 제공되는 본 발명의 제2 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 18 내지 도 20는 [p]에 대하여 예시적인 제3 투시 방향을 기준으로 제공되는 본 발명의 다른 제2 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 21 내지 도 23는 [p]에 대하여 예시적인 제4 투시 방향을 기준으로 제공되는 본 발명의 또다른 제2 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 24 내지 도 26는 [p]에 대하여 예시적인 4개의 투시 방향을 기준으로 통합적으로 제공되는 본 발명의 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 27 내지 도 29는 반모듬 [w]에 대하여 예시적인 제1 투시 방향을 기준으로 제공되는 한 본 발명의 제1 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 30 내지 도 32는 반모음 [w]에 대하여 예시적인 제2 투시 방향을 기준으로 제공되는 본 발명의 제2 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 33 내지 도 34는 본 발명의 공명점 정보 및 권장 공명점 정보가 비교되어 제공되는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 결과에 관한 도면이다.
도 35는 구강 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 구성에 관한 도면이다.
도 36은 발음 대상에 대한 구강 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 37은 입수 받은 구강 영상에 대한 제어 정보에 대응하는 구강 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 38은 입수 받은 발음 지원 시각화 수단에 대응하는 구강 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 39는 입수 받은 조음 기관별 레이어 선택 정보에 대응하는 구강 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 40은 사용자로부터 입수한 음성 정보를 처리하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 41은 음소［ch］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 마찰음에 대하여 준비 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 42 내지 도 45는 음소［ch］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 마찰음에 대하여 발성 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 46은 음소［ch］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 마찰음에 대하여 후속 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 47은 음소［ei］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 음소에 대하여 준비 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 48 내지 도 50는 음소［ei］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 음소에 대하여 발성 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 51은 음소［ei］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 음소에 대하여 후속 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 52는 성대 울림이 있는 경우, 성대 쪽에 울림을 의미하는 표시하는 성대 울림 이미지 데이터(1481)와 파형 이미지가 추가적으로 제공되는 본 발명 사상이 적용되는 발성 구강 영상 정보의 일 실시예적 이미지이다.
도 53은 모음 사각도 이미지가 포함되어 있는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 준비 구강 영상 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 54는 모음 사각도 이미지가 포함되어 있는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 발성 구강 영상 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 55는 사용자 발성 정보를 입력받아서, 사용자 발성 정보의 F1 및 F2를 처리하여 사용자 발성 공명점 정보(별표 모양)가 표시되어 있는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 발성 구강 영상 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 56 내지 도 59는 발성 구성 영상 정보 중 근육 긴장 표시 수단이 반영되어 표시되어 있는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 발성 구강 영상 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 60은 참조 언어의 발음과 비교하여 목표 언어의 발음에 대한 학습을 지원하는 본 발명의 발음 학습 지원 시스템의 맵핑 발음 학습 지원 모듈의 일 실시예적 구성에 관한 도면이다.
도 61은는 참조 언어의 발음과 비교하여 목표 언어의 발음에 대한 학습을 지원하는 본 발명의 발음 학습 지원 시스템의 맵핑 발음 학습 지원 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 62는 입수한 목표 언어 발음 대상 정보와 맵핑되는 참조 언어 발음 대상 정보를 조회 처리하는 본 발명의 발음 학습 지원 시스템의 맵핑 발음 학습 지원 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 63은 제어 정보를 참조하여 참조 언어 발음 대응 구강 영상 정보, 목표 언어 발음 대응 구강 영상 정보 및 목표-참조 비교 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 맵핑 발음 학습 지원 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 64는 사용자-목표-참조 비교 정보가 포함된 사용자-목표-참조 비교 영상 정보 제공하는 본 발명의 발음 학습 지원 시스템의 맵핑 발음 학습 지원 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 65는 목표 언어 [i]에 대응되는 참조 언어 [이]에 대한 참조 언어 발음 대상에 대한 참조 언어 발음 대응 구강 영상 정보가 표시되는 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 66은 목표 언어 [i]에 대한 발음 대상 대응 구강 영상 정보와 목표 언어 [i]에 대응되는 참조 언어 [이]에 대한 참조 언어 발음 대응 구강 영상 정보가 함께 표시되는 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 67는 목표 언어 [^]과 [:] 에 대응되는 참조 언어 [어]에 대한 참조 언어 발음 대상에 대한 참조 언어 발음 대응 구강 영상 정보가 표시되는 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 68은 목표 언어 [^]에 대한 발음 대상 대응 구강 영상 정보와 목표 언어 [^]에 대응되는 참조 언어 [어]에 대한 참조 언어 발음 대응 구강 영상 정보가 함께 표시되는 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 69은 목표 언어 [^] 및 [:]에 대한 발음 대상 대응 구강 영상 정보와 목표 언어 [^] 및 [:]에 대응되는 참조 언어 [어]에 대한 참조 언어 발음 대응 구강 영상 정보가 모두 함께 표시되는 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 70 내지 도 73은 자음에 대한 본 발명 사상을 적용한 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 2는 본 발명의 발음 학습 지원 시스템의 다른 일 실시예적 구성에 관한 도면이다.
도 3은 본 발명의 발음 학습 지원 시스템의 발음 학습 지원 DB부의 일 실시예적 구성에 관한 도면이다.
도 4은 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 5는 제1 및 제2 3차원 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 6은 제어 정보를 입수 받고 제어 정보에 대응되는 3차원 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 7은 투시 방향 선택 정보를 입수 받고, 투시 방향에 대응되는 3차원 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 8은 조음 기관별 레이어 선택 정보를 입수 받고, 조음 기관별 레이어에 대응되는 3차원 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 9는 사용자로부터 입수한 음성 정보를 처리하는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 10 내지 도 12는 [p]에 대하여 예시적인 제1 투시 방향을 기준으로 제공되는 한 본 발명의 제1 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 13 내지 도 14는 투시되는 방향이 연속적으로 변동하고 있음을 보여주는 제1 3차원 영상 제공과 제2 3차원 영상 제공의 중간 단계를 보여 주는 도면이다.
도 15 내지 도 17는 [p]에 대하여 예시적인 제2 투시 방향을 기준으로 제공되는 본 발명의 제2 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 18 내지 도 20는 [p]에 대하여 예시적인 제3 투시 방향을 기준으로 제공되는 본 발명의 다른 제2 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 21 내지 도 23는 [p]에 대하여 예시적인 제4 투시 방향을 기준으로 제공되는 본 발명의 또다른 제2 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 24 내지 도 26는 [p]에 대하여 예시적인 4개의 투시 방향을 기준으로 통합적으로 제공되는 본 발명의 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 27 내지 도 29는 반모듬 [w]에 대하여 예시적인 제1 투시 방향을 기준으로 제공되는 한 본 발명의 제1 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 30 내지 도 32는 반모음 [w]에 대하여 예시적인 제2 투시 방향을 기준으로 제공되는 본 발명의 제2 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 33 내지 도 34는 본 발명의 공명점 정보 및 권장 공명점 정보가 비교되어 제공되는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 결과에 관한 도면이다.
도 35는 구강 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 구성에 관한 도면이다.
도 36은 발음 대상에 대한 구강 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 37은 입수 받은 구강 영상에 대한 제어 정보에 대응하는 구강 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 38은 입수 받은 발음 지원 시각화 수단에 대응하는 구강 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 39는 입수 받은 조음 기관별 레이어 선택 정보에 대응하는 구강 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 40은 사용자로부터 입수한 음성 정보를 처리하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 41은 음소［ch］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 마찰음에 대하여 준비 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 42 내지 도 45는 음소［ch］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 마찰음에 대하여 발성 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 46은 음소［ch］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 마찰음에 대하여 후속 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 47은 음소［ei］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 음소에 대하여 준비 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 48 내지 도 50는 음소［ei］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 음소에 대하여 발성 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 51은 음소［ei］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 음소에 대하여 후속 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 52는 성대 울림이 있는 경우, 성대 쪽에 울림을 의미하는 표시하는 성대 울림 이미지 데이터(1481)와 파형 이미지가 추가적으로 제공되는 본 발명 사상이 적용되는 발성 구강 영상 정보의 일 실시예적 이미지이다.
도 53은 모음 사각도 이미지가 포함되어 있는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 준비 구강 영상 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 54는 모음 사각도 이미지가 포함되어 있는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 발성 구강 영상 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 55는 사용자 발성 정보를 입력받아서, 사용자 발성 정보의 F1 및 F2를 처리하여 사용자 발성 공명점 정보(별표 모양)가 표시되어 있는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 발성 구강 영상 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 56 내지 도 59는 발성 구성 영상 정보 중 근육 긴장 표시 수단이 반영되어 표시되어 있는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 발성 구강 영상 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 60은 참조 언어의 발음과 비교하여 목표 언어의 발음에 대한 학습을 지원하는 본 발명의 발음 학습 지원 시스템의 맵핑 발음 학습 지원 모듈의 일 실시예적 구성에 관한 도면이다.
도 61은는 참조 언어의 발음과 비교하여 목표 언어의 발음에 대한 학습을 지원하는 본 발명의 발음 학습 지원 시스템의 맵핑 발음 학습 지원 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 62는 입수한 목표 언어 발음 대상 정보와 맵핑되는 참조 언어 발음 대상 정보를 조회 처리하는 본 발명의 발음 학습 지원 시스템의 맵핑 발음 학습 지원 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 63은 제어 정보를 참조하여 참조 언어 발음 대응 구강 영상 정보, 목표 언어 발음 대응 구강 영상 정보 및 목표-참조 비교 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 맵핑 발음 학습 지원 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 64는 사용자-목표-참조 비교 정보가 포함된 사용자-목표-참조 비교 영상 정보 제공하는 본 발명의 발음 학습 지원 시스템의 맵핑 발음 학습 지원 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 65는 목표 언어 [i]에 대응되는 참조 언어 [이]에 대한 참조 언어 발음 대상에 대한 참조 언어 발음 대응 구강 영상 정보가 표시되는 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 66은 목표 언어 [i]에 대한 발음 대상 대응 구강 영상 정보와 목표 언어 [i]에 대응되는 참조 언어 [이]에 대한 참조 언어 발음 대응 구강 영상 정보가 함께 표시되는 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 67는 목표 언어 [^]과 [:] 에 대응되는 참조 언어 [어]에 대한 참조 언어 발음 대상에 대한 참조 언어 발음 대응 구강 영상 정보가 표시되는 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 68은 목표 언어 [^]에 대한 발음 대상 대응 구강 영상 정보와 목표 언어 [^]에 대응되는 참조 언어 [어]에 대한 참조 언어 발음 대응 구강 영상 정보가 함께 표시되는 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 69은 목표 언어 [^] 및 [:]에 대한 발음 대상 대응 구강 영상 정보와 목표 언어 [^] 및 [:]에 대응되는 참조 언어 [어]에 대한 참조 언어 발음 대응 구강 영상 정보가 모두 함께 표시되는 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 70 내지 도 73은 자음에 대한 본 발명 사상을 적용한 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
이하, 도면을 참조하면서 더욱 더 상세하게 설명한다.
도 1에서 예시되어 있듯이, 본 발명의 발음 학습 지원 시스템(1000)은 유무선 네트워크(5000)를 통하여 적어도 하나 이상의 사용자 단말기(2000)와 정보를 주고 받으며, 사용자에게 발음 학습을 지원할 수 있다. 상기 사용자 단말기(2000)는 상기 발음 학습 지원 시스템(1000)의 입장에서 상기 발음 학습 지원 시스템(1000)의 기능과 서비스를 주고 받는 대상으로, 본 발명에서는 상기 사용자 단말기(2000)에 PC, 스마트 폰, 휴대용 컴퓨터 등과 개인용 단말기 뿐만 아니라, 제3의 시스템도 배제되지 않는다. 상기 제3의 시스템은 본 발명의 발음 학습 지원 시스템(1000)에게 정보를 받아서, 자신의 서비스를 받는 자의 단말기에 전송하여 줄 수 있음은 물론일 것이다. 한편, 사용자 단말기(2000)에 전용 프로그램 또는 특정한 소프트웨어가 설치되어 있고, 상기 전용 프로그램 또는 소프트웨어가 상기 발음 학습 지원 시스템(1000)과 정보 교환하면서 본 발명 사상을 실행할 수 있음은 물론일 것이다. 한편, 도 2에서 예시되듯이 상기 발음 학습 지원 시스템(1000)은 사용자 단말기(2000) 내에서도 구동될 수도 있음은 물론일 것이다. 상기 발음 학습 지원 시스템(1000)은 상기 발음 학습 지원 시스템(1000)을 위한 전용 단말기 또는 상기 발음 학습 지원 시스템(1000)에 설치되는 전용 프로그램 또는 특정한 소프트웨어 내에서 독립적 일부 기능 또는 전부 기능의 부분인 일부로서 실행될 수 있을 것이다. 물론, 상기 전용 프로그램 또는 특정한 소프트웨어가 유무선 네트워크(5000)를 통하여 상기 발음 학습 지원 시스템(1000)으로부터 최신 서비스나 갱신된 정보를 업데이트 받을 수 있음도 물론일 것이다.
상기 발음 학습 지원 시스템(1000)은 발음 학습을 위한 3차원 파노라마 영상 정보를 처리하는 3차원 영상 정보 처리 모듈(1100), 구강 영상 정보를 처리하는 구강 영상 정보 처리 모듈(1200), 이종 언어를 사용하여 발음 학습을 지원하는 맵핑 발음 학습 지원 모듈(1300) 중 어느 하나 이상을 포함하고 있을 수 있다. 한편, 상기 발음 학습 지원 시스템(1000)은 발음 학습을 지원하기 위한 각종 DB 및 데이터를 포함하고 있는 발음 학습 지원 DB부(1400)를 포함하고 있을 수 있다. 한편, 상기 발음 학습 지원 DB부(1400)는 유무선 네트워크(5000)로 연결된 사용자 단말기(2000) 또는 제3의 시스템과 정보를 주고 받는 기능을 수행하는 입출력부(1600) 및 물리적인 통신 기능을 담당하는 통신 지원부(1800)를 포함하고 있으며, 서버나 기타 통상적인 컴퓨팅 기능을 제공하기 위한 물리적 장치와의 통상적인 정보 처리를 위한 각종 기능 모듈을 포함하고 있다. 그리고, 상기 발음 학습 지원 시스템(1000)은 단위 영상 또는 영상을 구성하는 이미지를 결합하여 결합 영상을 생성하는 열결부 및 특화된 정보를 처리하는 특화 정보 처리부(1700)를 포함하고 있을 수 있다.
상기 3차원 영상 정보 처리 모듈(1100)은 3차원 영상 정보 데이터를 포함하고 있는 3차원 영상 정보 DB(1110), 3차원 영상 맵핑을 처리하는 3차원 영상 맵핑 처리 모듈(1120), 사용자 입력 기반 3차원 영상 정보를 처리하는 사용자 입력 기반 3차원 영상 처리부(1130) 및 사용자 단말기(2000) 또는 사용자 단말기(2000)의 디스플레이 장치에 파노라마 영상을 제공하는 파노라마 영상 제공 모듈(1140)을 포함하고 있을 수 있다. 상기 3차원 영상 정보 DB(1110)는 발음 대상별 3차원 영상 정보 데이터(1111), 발음 대상별 투시 방향별 3차원 영상 정보 데이터(1112) 및/또는 통합 3차원 영상 정보 데이터(1113) 등을 포함하고 있을 수 있다. 한편, 3차원 영상 맵핑 처리 모듈(1120)은 발음 대상별 3차원 영상 정보를 맵핑 처리하는 3차원 영상 맵핑 처리부(1121) 및 발음 대상별 3차원 영상 맵핑 관계 정보 데이터(1122)를 포함하고 있을 수 있다.
상기 구강 영상 정보 처리 모듈(1200)은 구강 영상 정보를 제공하고 있는 구강 영상 정보 DB(1210), 구강 영상 정보를 제공하는 구강 영상 제공 모듈(1220), 사용자의 입력을 받아서 구강 영상 정보를 처리하는 사용자 입력 기반 구강 영상 처리부(1230) 및 구강 영상 정보를 제공하는 구강 영상 정보 제공 모듈(1240)을 포함하고 있을 수 있다. 상기 구강 영상 정보 DB(1210)는 발음 대상별 준비 구강 영상 정보 데이터(1211), 발음 대상별 발성 구강 영상 정보 데이터(1212), 발음 대상별 후속 구강 영상 정보 데이터(1213) 및/또는 발음 대상별 통합 구강 영상 정보 데이터(1214) 중 어느 하나 이상을 포함하고 있을 수 있다. 상기 구강 영상 제공 모듈(1220)은 구강 영상 결합 제공부(1221) 또는 통합 구강 영상 제공부(1222) 중 어느 하나 이상을 포함하고 있을 수 있다.
상기 맵핑 발음 학습 지원 모듈(1300)은 발음 학습을 위한 이종 언어간의 맵핑 언어 영상 정보를 저장하고 있는 맵핑 언어 영상 정보 DB(1310), 복수 언어간 맵핑 처리 기능을 수행하는 복수 언어간 맵핑 처리 모듈(1320), 맵핑 언어 영상 정보의 제공을 제어하는 맵핑 언어 영상 정보 제공 제어부(1330) 및 사용자가 입력하는 정보에 기반하여 맵핑 언어 영상 정보를 처리하는 사용자 입력 기반 맵핑 언어 영상 처리부(1340)를 포함하고 있을 수 있다. 상기 맵핑 언어 영상 정보 DB(1310)는 목표 언어 발음 대응 구강 영상 정보 데이터(1311), 참조 언어 발음 대응 구강 영상 정보 데이터(1312), 목표-참조 비교 정보 데이터(1313) 및 통합 맵핑 언어 영상 정보 데이터(1314) 중 어느 하나 이상을 포함하고 있을 수 있다. 상기 복수 언어간 맵핑 처리 모듈(1320)은 복수 언어 간의 맵핑 정보를 처리하는 복수 언어 맵핑 처리부(1321) 및 발음 대상별 복수 언어간의 맵핑 정보를 저장하고 있는 발음 대상별 복수 언어간 맵핑 관계 정보 데이터(1322) 중 어느 하나 이상을 포함하고 있을 수 있다.
상기 발음 학습 지원 DB부(1400)는 본 발명 사상의 발음 학습을 지원하기 위한 각종 데이터를 포함하고 있다. 상기 발음 학습 지원 DB부(1400)에는 발음 학습 대상을 저장하고 있는 발음 학습 대상 데이터(1410), 조음 기관의 이미지를 저장하고 있는 조음 기관 이미지 데이터(1420), 기류 표시 이미지를 저장하고 있는 기류 표시 이미지 데이터(1430), 안면 이미지 정보를 저장하고 있는 안면 이미지 데이터(1440), 발음 대상별 청각 정보를 저장하고 있는 발음 대상별 청각 정보 데이터(1450), 공명정 정보를 저장하고 있는 공명점 정보 데이터(1460), 조음 위치 정보를 저장하고 있는 조음 위치 정보 데이터(1470), 성대 울림 이미지 정보를 저장하고 있는 성대 울림 이미지 데이터(1481), 모음 사각도 이미지 정보를 저장하고 있는 모음 사각도 이미지 데이터(1482), 접촉부 대응 이미지 정보를 저장하고 있는 접촉부 대응 이미지 데이터(1483), 근육 긴장 표시 이미지 데이터(1484)를 저장하고 있는 근육 긴장 표시 이미지 데이터(1484) 중 어느 하나 이상을 포함하고 있을 수 있다.
상기 발음 학습 대상 데이터(1410)에는 발음 학습의 대상이 되는 음소, 음절, 단어 및 단어열에 대한 정보를 포함한다. 음소에는 발음 학습의 대상이 되는 언어와 관련되는 발음 기호뿐만 아니라, 발음 학습을 위한 참조의 대상이 되는 언어와 관련되는 발음 기호를 포함할 수 있다. 음절은 상기 음소가 1개 이상 사용되어 형성되며, 상기 단어나 단어열도 음소의 선형적인 결합을 통해서 준비될 수 있다. 한편, 상기 음소, 음절에는 발음 학습의 대상이 되는 언어의 철자 또는 스펠링이 대응될 수도 있으며, 이러한 대응되는 철자 또는 스펠링도 상기 발음 학습 대상 데이터(1410)의 정보를 이룬다. 한편, 단어 및 단어열(구, 절 및 문장)은 철자 및 발음 기호가 대응될 수 있으므로, 철자 및 대응되는 발음 기호 또는 발음 기호열도 상기 발음 학습 대상 데이터(1410)의 중요한 구성 요소가 될 수 있다.
상기 조음 기관 이미지 데이터(1420)는 조음 기관의 이미지 데이터를 포함한다. 조음 기관의 이미지는 크게 3가지가 있을 수 있다. 첫째는 특정한 발음 대상을 위한 조음 기관별 이미지 데이터이다. 조음 기관에는 혀, 입술, 구강, 치아, 성대, 코 등이 있는데, 특정한 발음을 할 때, 이들 조음 기관 중에서 어느 하나 이상이 형태(시각적으로 인지되는 모양, 긴장, 근육의 움직임 등)이 변할 수 있다. 이때, 상기 조음 기관별 이미지 데이터는 특정한 발음을 위한 조음 기관의 움직임이 일어나는 시계열적 이미지(동영상적 이미지)를 말한다. 이러한 조음 기관별 이미지 데이터는 조음 기관별로 레이어 처리가 되어, 특정한 발음을 위해 각 레이어별로 겹쳐서 사용자에게 제공될 수 있다. 정확한 발음을 학습하기 위해 조음 기관별 심화 학습을 위해 사용자가 혀 등과 같은 특정한 조음 기관의 움직임만을 집중적으로 파악하고자 할 수 있다. 이 때, 레이어 처리가 되어 있어야 혀의 움직임과 관련된 레이어만을 사용자에게 제공할 수도 있고, 다른 레이어도 함께 제공하되, 혀에 대해서만 특별한 처리(확연히 구분되는 색깔, 경계선, 또는 기타 강조 처리)를 수행하고, 특별한 처리가 된 레이어를 기존의 다른 레이어와 결합하여 사용자 단말기(2000)로 제공해 줄 수 있게 된다. 레이어별 정보 처리는 본 발명의 영상 결합부(1500)의 레이어 처리부(1510)가 수행한다. 레이어 처리가 될 때 다른 조음 기관 이미지들과의 동기화 처리가 중요한데, 이러한 동기화 처리는 동기화 처리부(1520)가 수행한다. 한편, 이렇게 특별한 처리가 되었거나, 또는 조음 기관별 이미지가 결합되어 하나의 단일 영상(비 레이어 또는 단일 레이어로 구성)으로 생성될 수도 있는데, 이러한 처리는 본 발명의 단일 영상 생성부(1530)가 수행한다. 발음 대상별로 상기 단일 영상으로 된 영상에는 상기 발음 대상의 발음을 위한 모든 조음 기관 또는 시각적으로 제공할 필요가 있는 필수 또는 필요 조음 기관이 표시되는 이미지 영상이 포함된다. 한편, 1개의 조음 기관에 대해서도 적어도 1개 이상의 조음 기관 이미지 데이터(1420)가 포함될 수 있음을 당연할 것이다. 특히, 후술하는 파노라마 영상으로 발음 대상의 영상 이미지를 제공할 때는 더욱 더 그러하다. 상기 조음 기관 이미지 데이터(1420)는 발음 대상별로 맵핑되어 저장될 수 있다.
상기 기류 표시 이미지 데이터(1430)는 발음 학습을 위하여 조음 기관 내에서 발생하는 공기의 흐름, 강약, 압축과 해제 등에 대응되는 기류의 변화에 대응되는 이미지를 포함하고 있다. 상기 기류 표시 이미지 데이터(1430)는 발음 대상별로 다를 수도 있으며, 발음 대상별로 특정한 기류 표시 이미지 데이터(1430)를 공유할 수도 있다. 상기 기류 표시 이미지 데이터(1430)는 발음 대상별로 맵핑되어 저장될 수 있다.
상기 안면 이미지 데이터(1440)는 발음 대상별로 발음이 진행될 때, 안면 이미지를 제공하는데 필요한 데이터이다. 상기 안면 이미지 데이터(1440)는 발음이 진행되면서 구강의 열림과 닫힘, 안면 근육의 변화 등 안면에서 발생되는 각종 변화를 제공하여, 정확하고 효율적인 발음 학습을 돕는데 활용된다. 상기 안면 이미지 데이터(1440)는 특정한 발음 학습이 진행될 때, 독자적으로도 제공 가능하지만, 다른 영상과 부수적, 병렬적 또는 선후차적으로 제공될 수도 있다.
발음 대상별 청각 정보 데이터(1450)는 발음 대상별로 청각적으로 인지될 수 있는 소리 또는 발성 데이터이다. 이러한 소리 또는 발성은 1개의 발성 대상에 대하여 다수 개가 맵핑될 수 있다. 발음 대상의 발성음에는 음색, 남녀, 나이 등에 따라 사용자들에게 다르게 들릴 수 있기 때문에, 사용자에게 친숙하게 들리게 하기 위해서는 발음 대상 1개에 복수개의 발성음이 맵핑되어 있는 것이 바람직하다. 이때, 상기 사용자는 자신이 원하는 특성(예, 여자, 변성기 이전, 맑은 음색)에 대한 선택 정보를 상기 발음 학습 지원 시스템(1000)에 전송할 수 있고(이를 위해서는 상기 발음 학습 지원 시스템(1000)의 사용자 선택 정보 제공 요청부(1610)는 사용자 단말기(2000)에 상기 발음 학습 지원 시스템(1000)이 제공 가능한 발성음의 특성 정보를 제공하는 것이 바람직할 것이다.), 상기 발음 학습 지원 시스템(1000)은 이러한 특성에 부합하는 발성음으로 발음 학습을 진행할 수 있을 것이다. 이때, 상기 발성음과 발음 대상과 맵핑되어 있는 영상과는 동기화가 필요하며, 이는 본 발명의 동기화 처리부(1520)가 수행한다. 물론, 상기 발성음은 상기 발음 대상과 맵핑되어 있는 영상에 결합되어 존재할 수도 있을 것이다. 이때도, 상기 발음 대상과 맵핑되어 있는 영상을 선택 가능한 발성음의 특성의 가능한 조합별로 생성해 놓으면, 사용자가 선택하는 특성에 부합하는 발성음을 제공해 줄 수 있을 것이다.
발음 대상의 정확한 발음을 위해서는 정확한 위치에서 공명(모음 또는 반모음/반자음 일부에서 등)이 발생하는 것이 중요하다. 본 발명의 상기 공명점 정보 데이터(1460)에는 공명이 발생하는 발음 대상에 대하여 공명점 정보를 저장하고 있다. 공명점 정보에는 공명이 발생하는 조음 기관 내에서의 공명점 위치 정보 및 공명점을 시각적으로 인지할 수 있는 공명점 표시 이미지 데이터(1461)가 포함된다. 공명점 위치 정보는 구강 이미지에 따라서 시각적으로 인지되는 위치 좌표가 달라질 수 있으므로, 구강 이미지별로 절대적 위치 정보가 확보되거나, 상대적 위치 정보가 저장된다. 한편, 발음의 진행에 따라 공명점의 위치가 변동될 수 있는데(연속되는 모음 또는 단어 등의 발음 등에서) 이 경우 발음의 진행과 더불어 변동되는 공명점의 위치 변동은 동기화가 될 필요가 있다. 상기 영상 결합부(1500)는 발음 대상별로 발성 시간의 경과에 따른 공명점 위치 정보가 저장되어 있는 경우, 공명점 위치 정보의 변동을 구강 이미지에 결합하는 기능을 수행할 수 있다. 물론, 공명점의 변동은 공명점의 표시를 위한 독립된 레이어 상에서 처리될 수도 있으며, 이 경우 레이어 처리는 본 발명의 레이어 처리부(1510)가 수행하고, 동기화는 본 발명의 동기화 처리부(1520)가 수행한다. 한편, 공명은 발성이 진행되는 동안 일정 시간 이상 발생할 수 있기 때문에, 발음 대상의 영상 정보 제공 시에는 공명이 발생하는 동안 공명점에서는 공명점 표시 이미지 데이터(1461)를 사용하는 지속적인 공명 표시가 시각적으로 인지 될 수 있도록 유지되는 것이 바람직할 것이다. 한편, 공명이 발생하는 발음 대상에 대한 공명점 표시 이미지 데이터(1461)가 사용되는 공명 표시가 포함된 단일 영상이 생성될 수 있을 것이다. 사용자 단말기(2000)를 통하여 생성된 단일 영상 제공되는 동안 공명점 표시 이미지 데이터(1461)가 사용자에게 시각적으로 인지될 수 있을 것이다.
성대에서 일어난 발성으로 인하여 생성된 음성 에너지가 구강을 통과하면서 구강 내에서의 공진 주파수에 진폭이 최대치가 되는， 즉 공명이 일어 나고 있는 시점 또는 시간대 동안 동영상을 구성하는 이미지에 공명 표시 수단을 통해서 표시될 수 있다. 발음 지원 시각화 수단 중 가장 중요한 수단 중의 하나인 공명 표시 수단이 삽입되어 표시되면, 사용자들이 동영상 재생 시 음성 신호 및 각 음소 발음 시의 혀의 위치와 동기화 하여 구강 내 공명이 일어나고 있는 순간과 혀의 위치를 시각적으로 인지할 수 있게 되어 학습자가 구강 내에서의 위치 뿐 아니라 혀가 울리는 부분(공명이 일어나고 있는 위치)을 인식 및 예측할 수 있게 된다.
공명음(sonorants) 이란 구강(oral cavity)이나 비강(nasal cavity)을 통해 공기가 흐르면서 울리는 소리를 말한다. 장애음(obstruents) 에 상대하여 이르는 말로 대표적으로 각 언어의 모음, 반모음[w, j, 등], 유음 [l , r 등] 비음 [m, n, ng] 을 이른다. 이러한 공명음 중 반모음을 제외한 대다수의 공명음들은 (모음, 비음, 유음) 단어 내에서 독립적인 음절(의미를 만드는 말이 되는 최소한의 소리 덩어리)을 구성할 수 있기 때문에 언어 학습에서 이러한 공명음의 부정확한 발음은 특정 음운의 왜곡(distortion), 동화 (assimilation), 이화(substitution), 생략(omission) 같은 인지 상에 오류를 유발할 수 있기 때문에 각 음소별 정확한 발음 기관의 위치 조절 및 정확한 발성에 의한 안정적인 공명이 발생하였을 때 명확하게 의미를 전달할 수 있다.
일반적으로 F1 F2 포먼트 주파수의 공명점은 각 언어별 모든 모음과 한국어 와웨위야여유요예, 영어의 [w, j], 또는 프랑스어의 반모음(semivowel), 그리고 유음중 dark'l' (모음 역할을 하는 l 발음, 모음 뒤에 나오거나 'little' 처럼 자음의 뒤에 쓰여 하나의 독립된 음절을 형성할 수 있음) 의 경우에는 비교적 F1, F2 의 비율로 산정된 구강 내에서의 공명점의 위치의 변동값을 학습자가 시각적으로 인지할 수 있을 정도로 정확한 표시가 가능할 정도로 안정적인(steady) 값을 가지고 있다. 또한 공명점의 위치가 각 음소 발음 시에 특정위치에서의 혀의 표면과 정확하게 일치하기 때문에 시각적으로 이러한 부분을 인지하고 학습자의 음성으로 그러한 공명음류의 음소 발음을 모방할 시에 더욱 효과적인 이 가능하다.
하지만 이러한 공명음 중에서도 비음[m, n, ng] (구강뿐만 아니라 비강의 면적과 모양의 차이로 공명점을 찾는 소리) 나 유음중 자음역할 을 하는 light 'l' 발음 ('lead' 처럼 앞에 모음 없이 단독으로 위치하거나 'blade' 처럼 자음과 하나의 자음군(consonant clusters)을 형성하는 'l', [ r] 과 같은 공명음들은 발성되는 소리의 길이가 상대적으로 짧아서 정확한 공명점을 시각적으로 확인하기에는 어려움이 있고 또한 특정 공명음 음소 발음에서의 혀의 고정된 위치에서의 혀의 표면과 F1 F2의 공명점의 값이 전혀 일치 하지 않는 경우가 더 많기 때문에 이러한 공명음들은 공명점을 보여주기보다는 조음 위치와 발성, 발음 원리를 시간의 흐름에 따라 기호화 하여 표시하기로 한다. 즉, 이러한 소리들은 공명점으로 표기하지 않고 다른 자음들과 마찬가지 방식으로 조음 중심으로 풀어나가는 것이 바람직하다.
각 모음 발음별 공명점에 표시는 포먼트(formant) 주파수중 가장 낮은 주파수를 Ｆ１, Ｆ２라고 할 때 이 두 주파수 값의 비율을 분석한 기존 연구 논문들을 기반으로 분석하여 언어별 각 모음 발음 시에 공명이 일어나는 위치를 예측할 기 제작한 ３Ｄ 시뮬레이션 영상의 구강에 있는 혀의 특정 위치의 표면에 공명이 일어나는 주파수 대역의 평균치를 환산하여 그 평균값을 방사형 모양의 표식을 통하여 동영상내의 각 모음 음성 신호의 재생 시작점부터 동시에 표시될 수 있도록 동기화하여 구강 내에서 공명이 발생하는 혀의 위치에 표시한다.
발음 대상의 정확한 발음을 위해서는 정확한 조음 위치(자음 또는 반모음/반자음 일부에서 등)에서 음을 발생시키는 것이 중요하다. 본 발명의 상기 조음 위치 정보 데이터(1470)에는 발음 대상에 대하여 조음 위치 정보를 저장하고 있다. 조음 위치 정보에는 조음 기관 내에서의 조음 위치 정보 및 조음 위치를 시각적으로 인지할 수 있는 조음 위치 표시 이미지 데이터(1471)가 포함된다. 조음 위치 정보는 구강 이미지에 따라서 시각적으로 인지되는 위치 좌표가 달라질 수 있으므로, 구강 이미지별로 절대적 위치 정보가 확보되거나, 상대적 위치 정보가 저장된다. 한편, 발음의 진행에 따라 조음 위치가 변동될 수 있는데(연속되는 자음 또는 단어 등의 발음 등에서) 이 경우 발음의 진행과 더불어 변동되는 조음 위치 변동은 동기화가 될 필요가 있다. 상기 영상 결합부(1500)는 발음 대상별로 발성 시간의 경과에 따른 조음 위치 정보가 저장되어 있는 경우, 조음 위치 정보의 변동을 구강 이미지에 결합하는 기능을 수행할 수 있다. 물론, 조음 위치의 변동은 조음 위치의 표시를 위한 독립된 레이어 상에서 처리될 수도 있으며, 이 경우 레이어 처리는 본 발명의 레이어 처리부(1510)가 수행하고, 동기화는 본 발명의 동기화 처리부(1520)가 수행한다. 한편, 조음 위치의 유지나 변동은 발성이 진행되는 동안 일정 시간 이상 발생할 수 있기 때문에, 발음 대상의 영상 정보 제공 시에는 조음 위치에서는 조음 위치 표시 이미지 데이터(1471)를 사용하는 지속적인 조음 위치 표시가 시각적으로 인지 될 수 있도록 유지되는 것이 바람직할 것이다. 한편, 발음 대상에 대한 조음 위치 표시 이미지 데이터(1471)가 사용되는 조음 위치 표시가 포함된 단일 영상이 생성될 수 있을 것이다. 사용자 단말기(2000)를 통하여 생성된 단일 영상 제공되는 동안 조음 위치 표시 이미지 데이터(1471)가 사용자에게 시각적으로 인지될 수 있을 것이다.
이어, 본 발명의 3차원 영상 정보 처리 모듈(1100) 및 3차원 영상 정보 처리 모듈(1100)의 정보 처리 방법을 도 4 내지 도 34를 참조하면서 더욱 더 상세하게 설명한다.
도 5에서 예시되듯이, 상기 3차원 영상 정보 처리 모듈(1100)은 상기 발음 대상에 대한 3차원 영상 정보의 제공을 요청 받고(S1-11), 제1 3차원 영상 정보를 제공(S1-12)하고, 적어도 하나 이상의 제2 3차원 영상 정보를 제공(S1-13)하는 기능을 수행한다.
제1 3차원 영상 정보와 상기 제2 3차원 영상 정보 모두 동적으로 변동되는 영상(동영상이 예가 되며, 이러한 변동은 일정한 시간 단위로의 계단적 변화나 변동 또는 동영상과 같은 스무드(smooth)한 연속적 변동을 포함한다.)이며, 상기 동영상에는 발음 대상과 관련있는 조음 기관 표시, 공명점 표시나 조음 위치 표시, 기류 변화 표시, 성대 울림 표시, 접촉 부위 표시 등이 포함되어 있으며, 이들 각종 표시 중 일부 또는 전부는 발성의 진행에 따라 형상이나 크기나 모양 등 시각적으로 인지될 수 있는 형태가 변동될 수 있다.
제1 3차원 영상 정보와 상기 제2 3차원 영상 정보를 구분 짓는 것은 투시 방향(시점, 앵글 등과 같이 조음 기관을 투시하는 방향)이다. 제1 3차원 영상 정보는 1개의 발성 대상에 대하여 발성의 준비, 개시 및 종료까지의 1개의 투시 방향과 관련된 3차원 영상 정보를 제공한다. 투시 방향은 전후, 좌우 등과 같은 평면각일 수도 있지만, 입체각(상하를 포함하며, 입체 좌표 상에서 (1,1,1)에서 원점을 바라보는 투시각 또는 (1,2/3, 1/3)에서 원점을 바라보는 투시각 등이 입체각의 예시가 될 수 있다.)인 것이 더욱 더 바람직할 것이다.
도 10 내지 도 12는 [p]에 대하여 특정한 제1 입체각에서 본 발명의 제1 3차원 영상 정보가 제공되는 모습을 보인 것이다. 제1 3차원 영상 정보는 스무드한 동영상으로 제공되는 것이 바람직한 것이나, 본 발명의 명세서에서는 기술(description)의 한계상 계단식 또는 단계식으로 표현하나 이는 스무드한 연속적 변화로 제공될 수도 있다는 것으로 이해되어야 할 것이다.
도 10은 [p]발음을 개시하려 할 때의 최초로 제공되는 이미지이다. 도 10에서 알 수 있듯이, 본 발명에서는 [p]발음에 활용되는 조음 기관인 입술, 혀, 및 구개만이 3차원적으로 사용될 수 있으며, 무관한 다른 조음 기관은 제외되고 있음을 알 수 있다. 또한, 본 발명 사상의 큰 특징인 혀나 입술 안쪽 등과 같은 조음 기관의 내부 이미지가 사용되고 있음을 확인할 수 있다. 이러한 것은 평면적 2차원적 이미지의 표시로는 달성할 수 없는 것이다.
한편, 도 10에서는 혀와 내부 입술 사이에 작은 화살표가 있음을 알 수 있는데, 이 작은 화살표는 기류 변화에 대응되는 이미지 표시 수단이다. 도 11에서는 동일한 영상에서 기류 변화에 대응되는 이미지 표시 수단의 크기가 크다는 점을 발견할 수 있다. 도 12에서는 입술이 열리면서 방사형으로 향하는 3개의 작은 화살표로 기류 변화에 대응되는 이미지 표시 수단이 표시되고 있음을 볼 수 있다. 이와 같이 본 발명에서는 파열음인 [p]를 정확히 발음하기 위하여, 기류 변화의 이미지로 공기를 서서히 압축한 다음, 입술이 열리면서 공기가 방사형으로 발산해야 함을 직관적으로 인지할 수 있도록 시각적으로 제공한다. 특정한 발음을 할 때의 기류의 시간적 변화에 따른 화살표의 크기의 변화(구강 내에서의 공기압의 변화) 및 방향의 변화(공기의 기류의 변화)를 통하여 시간의 흐름에 따라 실제 발음을 할 때의 변화와 동일성이 시각적으로 최대한 인지될 수 있는 시뮬레이션이 제공될 수 있게 된다.
한편, 혀의 입술의 모양도 3차원적으로, 특히 조음 기관의 내부 이미지를 활용하여 어떤 형상(혀의 끝을 아래쪽으로 굽히게끔 유지하고, 혀의 중앙부분은 평평하게 유지해야)을 갖추어야만 정확하게 파열음 [p]를 발성할 수 있는 지를 확인할 수 있다.
도 13 내지 도 14는 투시되는 방향이 연속적으로 변동하고 있음을 보여주는 제1 3차원 영상 제공과 제2 3차원 영상 제공의 중간 단계를 보여 주는 도면이다.
이어, 도 15 내지 도 17은 다른 투시 방향(측면 방향)에서 [p]발음을 위한 조음 기관의 운동과 기류의 흐름이나 변동을 보여주고 있다. 특히, 도 16에서는 혀의 움직임은 변동 없는 상태에서 기류 표시 이미지(111)가 가장 커지면서 입술은 굳게 다물어지는 것을 보여 주는데, 이는 [[p]발음을 파열시키는 방식으로 터트리기 전에 공기를 압축함을 잘 보여 주고 있다. 이러한 것이 발음 학습에서 본 발명의 내부 조음 기관의 3차원 이미지와 기류 표시 이미지(111)의 결합 효과를 잘 보여주는 예라 할 것이다.
그리고, 도 18 내지 도 20은 또 다른 투시 방향(도 10 내지 도 12와 90도 각도를 이루는 다른 측면 방향)에서 [p]발음을 위한 조음 기관의 운동과 기류의 흐름이나 변동을 보여주고 있다. 특히, 도 19 및 도 20은 외부에서 관찰되는 외부 조음 기관의 이미지 부분은 전혀 없이 내부 조음 기관의 3차원 이미지만 나타나는 것으로, 본 발명의 내부 조음 기관의 3차원 이미지와 기류 표시 이미지(111)의 결합 효과를 잘 보여주는 다른 예라 할 것이다. 도 19 내지 도 20에서와 같이 본 발명은 특정한 발음을 발성하기 위하여 구강 내에서 일어나는 현상 또는 일어나야 하는 현상을 3차원 이미지와 기류 흐름 표시 이미지를 통하여 효과적으로 제시하고 있다.
마지막으로, 도 21 내지 도 23는 다른 투시 방향(후면 방향)에서 [p]발음을 위한 조음 기관의 운동과 기류의 흐름이나 변동을 보여주고 있다.
한편, 상기 발음 학습 지원 시스템(1000)은 선택적으로 제공되었던 제1 3차원 영상에서 제n 3차원 영상까지 n(n >1, n은 자연수)개의 영상을 한 개의 화면에 나타나도록 합쳐서 종합적으로 [p]발음을 위한 조음 기관의 운동을 확인할 수 있도록 n개의 3차원 영상을 한꺼번에 제공할 수 있다. 도 24 내지 도 26에서 n개의 3차원 영상을 한꺼번에 제공되는 것을 확인할 수 있다.
본 발명의 발음 학습 지원 시스템(1000)은 상기 도 10 내지 도 23 또는 도 10 내지 도 26까지의 영상을 순차적으로 제공하기 위해서 통합적인 1개의 3차원 영상 파일로 생성하여 통합 3차원 영상 정보 데이터(1113)에 저장한 다음, 사용자 단말기(2000)로 제공할 수도 있을 것이다. 한편, 상기 3차원 영상 정보 처리 모듈(1100)은 각 투시 방향에서 제공되는 제n 3차원 영상 각각을 n개의 영상 파일로 분리하여 저장한 다음, 순차적으로 또는 사용자의 선택에 따라 선택에 부합하는 3차원 영상 정보만을 제공할 수도 있을 것이다.
한편, 상기 발음 학습 지원 시스템(1000)은 도 6 내지 도 8에서 예시되듯이, 다수 개의 투시 방향에 대한 3차원 영상 정보를 생성한 다음 발음 대상별 투시 방향별 3차원 영상 정보 데이터(1112)에 이러한 3차원 영상 정보를 저장해 놓은 다음, 사용자 단말기(2000)로부터 제어 정보를 입수 받고, 제어 정보에 대응되는 3차원 영상 정보를 제공해 줄 수도 있을 것이다. 상기 3차원 영상 정보 처리 모듈(1100)은 3차원 영상 제공에 대한 제어 정보를 입수 받고(S1-21), 제어 정보에 대응되는 3차원 영상 정보를 제공(S1-22)할 수 있다. 제어 정보에는 투시 방향, 재생 속도(정상 속도, 1/n배속, n배속 등, n은 자연수), 나타나야 할 조음 기관의 선택이나 강조되어야 할 조음 기관의 선택, 공명점이나 조음 위치의 표시, 기류의 표시 유무나 표시 방법, 발음 대상(음소, 음절, 단어 및/또는 단어열) 등이 될 것이다. 상기 입출력부(1600)의 사용자 선택 정보 제공 요청부(1610)는 사용자 단말기(2000)에 선택 가능한 제어 정보의 목록을 제시하고, 사용자 선택 정보 입수부(1620)를 통하여 사용자의 제어 선택 정보를 입수한 다음, 사용자의 제어 선택 정보에 부합하는 3차원 영상 정보를 입수하여 제공할 수 있다.
대표적인 제어 정보로는 투시 방향이 될 것이며, 이는 도 7에서 잘 나타나 있다. 도 7에서 예시되듯이, 상기 3차원 영상 정보 처리 모듈(1100)은 사용자 단말기(2000)로부터 자신이 원하는 적어도 하나 이상의 투시 방향에 대한 선택 정보를 입수(S1-31)하고, 투시 방향에 대응되는 3차원 영상 정보 입수(S1-32)하고, 투시 방향에 대응되는 3차원 영상 정보 제공(S1-33)할 수 있다.
한편, 조음 기관별로 레이어 처리가 되어 있을 경우, 도 8에서 예시되듯이, 상기 3차원 영상 정보 처리 모듈(1100)은 조음 기관별 레이어에 대한 선택 정보를 입수(S1-41)하고, 선택된 조음 기관별 레이어에 대한 3차원 영상 정보를 제공(S1-42)할 수 있을 것이다.
도 27 내지 도 29는 반모음 [w]에 대한 제1 3차원 영상 정보에 대한 것이며, 도 30 내지 도 32는 제2 3차원 영상 정보에 대한 것이다. 도 26 내지 도 32에서는 공명점에 대한 표시, 기류 흐름 표시 및 접촉부 표시가 있음을 볼 수 있다. 도 26 및 도 30에서 반모음을 발성하기 위하여 기류가 목젖 쪽에서부터 올라와야 한다는 것이 나타나 있고, 도 28 및 도 31에서는 혀의 중간에 공명점이 표시되어 있고, 기류 표시가 공명점의 주위를 지나서 양 옆으로 흩어진다는 것과 혀의 맨 앞이 구개 천장에 붙어야 한다는 것이 나타나 있다. 도 28 및 도 31에서 알 수 있듯이, 구개와 붙는 부분(구개 접촉 부위 표시 이미지(114))은 혀의 다른 부위와는 달리 음영(짙은 색깔)로 처리되어 있어(음영 처리되는 부분이 구개 접촉 부위 표시 이미지(114)가 된다.) 반모음의 발음에서 혀가 구개와 접촉해야 함을 직관적으로 이해할 수 있도록 이미지화되어 있다. 한편, 도 28 내지 도 29, 도 31 내지 도 32에서 볼 수 있듯이, 공명점 대응 이미지(공명점은 원형의 점으로 표시되고, 퍼져 나가는 울림 표시가 공명점의 주위에 있음)가 공명이 발생하는 동안에 계속하여 유지되고 있음을 볼 수 있다. 본 발명 사상에서는 정확한 발성을 위한 공명점 표시 이미지와 기류 표시 이미지(111)가 발성의 진행에 따른 정확한 동기화된 유지를 효과적으로 학습할 수 있도록 지원되고 있다.
상기 3차원 영상 정보 처리 모듈(1100)의 파노라마 영상 제공 모듈(1140)은 사용자 단말기(2000)에 상기 도 10 내지 도 32와 같은 3차원 영상을 투시 방향을 변경해 가면서 파노라마처럼 제공해 주는 기능을 수행한다.
한편, 본 발명의 3차원 영상 정보 처리 모듈(1100)은 사용자로부터 동일한 발음 대상에 대한 발성 정보를 입수하고, 입수한 발성 정보로부터 공점점에 대한 위치 정보를 도출할 수 있다. 사용자 입력 발성에 대한 공명점 위치 정보를 도출하는 것은 본원 특허 출원인의 선행 기술인 국내공개특허공보 제10-2012-0040174호에 잘 나타나 있다. 상기 선행 기술에서는 사용자의 발성 정보에 대한 주파수 분석을 수행하여 포먼트 주파수 중 가장 낮은 두 개의 주파수인 F1, F2를 사용하여 F1을 y 좌표로 하고, F2를 x 좌표로 처리한 (F2, F1)를 공명점의 위치로 결정할 수 있다는 것을 보여 주고 있다.
사용자 발성 정보에 기반한 사용자 (발성) 공명점의 위치를 정하게 되면 상기 사용자 (발성) 공명점과 정확한 발성을 위한 권장 공명점에 대한 비교 위치 정보를 생성할 수 있게 된다. 도 9에서 예시되듯이, 상기 3차원 영상 정보 처리 모듈(1100)은 발음 대상에 대한 사용자의 음성/발성 정보를 입수(S1-51)하고, 사용자의 음성/발성 정보에서 사용자 공명점 정보(공명점의 위치 정보 및 공명 유지 시간 정보 등)를 생성(S1-52)하고, 사용자 공명점 정보를 3차원 영상에 포함되게 처리(S1-53)하고, 사용자 (발성) 공명점 정보 및 권장 공명점 정보가 포함된 3차원 영상 정보 제공(S1-54)하는 과정을 수행한다. 공명점 정보의 생성은 본 발명의 공명점 생성부(1710)가 수행하게 된다.
도 33과 도 34는 본 발명의 공명점 정보 및 권장 공명점 정보가 비교되어 나타나는 것을 예시하고 있다. 도 33에서는 상기 공명점 생성부(1710)가 생성해 놓은 공명점 정보가 3차원 영상에 별 모양으로 반영되어 있음을 볼 수 있다. 도 33에서 사용자 공명점은 권장 공명점보다 좌 상향되어 위치하고 있다는 것이 시각적으로 제시되어 사용자의 발음 교정 직관적으로 기여하게 된다. 아울러, 도 34에서는 사용자 공명점은 사라져 버리고 권장 공명점만 유지되고 있음을 보여 주고 있다. 도 34를 통해서 사용자에게 사용자 공명점이 지속적으로 유지되지 않음을 보여 주어, 사용자는 정확한 발음을 위해서 공명 유지 시간을 지속시켜야 한다는 학습 포인트를 직관적으로 느낄 수 있게 된다.
도 4는 본 발명의 3차원 영상 정보 처리 모듈(1100)에 대한 일 실시예적 구성에 관한 도면이다. 상기 설명에서 알 수 있듯이, 상기 3차원 영상 정보 DB(1110)의 발음 대상별 3차원 영상 정보 데이터(1111)에는 발음 대상별로 3차원 영상 정보 데이터가 포함되어 있으며, 발음 대상별 3차원 영상 정보 데이터(1111)에 포함되어 있는 3차원 영상 정보는 모든 투시 방향의 3차원 영상 정보가 함께 포함되어 있다. 발음 대상별 투시 방향별 3차원 영상 정보 데이터(1112)에 포함된 3차원 영상 정보는 투시 방향별로 별도의 3차원 영상 정보가 포함되어 있다. 사용자로부터 특정한 투시 방향에 대한 선택 정보를 입수 받는 경우에는 발음 대상별 투시 방향별 3차원 영상 정보 데이터(1112)에 포함된 3차원 영상 정보가 활용된다. 통합 3차원 영상 정보 데이터(1113)에 포함되어 있는 3차원 영상 정보는 발음 대상별로 여러 가지 3차원 영상(투시 방향별 통합, 음색별 통합, 조음 기관별로의 통합, 재생 속도별 통합 등)이 통합되어 존재하는 것이 특징이다.
한편, 상기 3차원 영상 정보 처리 모듈(1100)은 상기 사용자로부터 재생 속도에 대한 선택 정보를 입수 받고, 상기 3차원 영상의 제공 속도를 조절하여 제공할 수도 있을 것이다.
한편, 상기 3차원 영상 맵핑 처리 모듈(1120)은 발음 대상별로 3차원 영상 정보를 관리하고, 외부로부터의 발음 대상(및 투시 방향)에 대한 요청이 있는 경우 발음 대상별 3차원 영상 맵핑 관계 정보 데이터(1122)의 데이터를 제공한다. 발음 대상별 3차원 영상 맵핑 관계 정보 데이터(1122)의 데이터는 하기 표 1과 같을 수 있다.
| 음소 식별자 | 투시 방향 | 파일명 | 비고 |
| 음소i | (1, 0, 0) | 음소i_100.avi | 측면 |
| 음소i | (1, 1, 0) | 음소i_110.avi | 45도 우회전 |
| 음소i | (0, 1, 0) | 음소i_010.avi | 후면 |
| 음소i | .. | .. | |
| 음소i | (1, 1, 1) | 음소i_111.avi | 우 하향 |
| 음소i | 통합 | 음소i.avi | 모든 투시 방향 통합 |
| 음소i | (1, 0, 0) | 음소j_100.avi | 측면 |
이어, 도 도 35 내지 도 59를 참조하면서 본 발명의 구강 영상 정보 처리 모듈(1200)의 정보 처리 방법을 더욱 더 상세하게 설명한다.
상기 구강 영상 정보 처리 모듈(1200)은 발음 대상에 대한 구강 영상 정보의 제공을 요청 받는(S2-11) 경우, 준비 구강 영상 정보를 제공(S2-12)하고, 이어, 발성 구강 영상 정보를 제공(S2-13)한다. 선택적으로, 구강 영상 정보 처리 모듈(1200)은 후속 구강 영상 정보를 제공(S2-14)하기도 한다.
도 41은 사용자 단말기(2000)로부터 음소［ch］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 마찰음에 대하여 준비 구강 영상 정보로 제공하는 동영상의 한 예시적 이미지를 제공하고 있다.
도 41에서는 우측에는 조음 기관의 3차원(혀 등과 같은 주요 조음 기관이 단순한 2차원적 평면 이미지가 아니라 입체감 있는 3차원적 이미지로 되어 있음)적으로 구성되는 단면 이미지가 준비 구강 영상 정보로서의 동영상 구성 이미지로 나타나 있으며, 좌측에는 안면 이미지가 나타나 있다. 본 발명에서 좌측의 안면 이미지는 선택적일 수 있다. 도 41에서 예시되는 준비 구강 영상 정보에서는 혀의 준비 위치, 성대에서 기류의 발생 준비 및 조음 위치(혀가 구개와 맞닿는 부분이 표시되는 원이 조음 위치를 나타냄)가 나타나 있음을 알 수 있다. 준비 구강 영상 정보에서는 발성이 준비될 뿐 실제 발성은 시작되지 않는 것이며, 이에 따라 청각적으로 인지될 수 있는 발성음도 대응되지 않는다. 사용자는 도 41과 같은 준비 구강 영상 정보를 통하여, 발음 학습이 필요한 발음 대상에 대하여 발성을 하기 전에 어떤 준비를 해야 하는지를 시각적으로 이해할 수 있게 된다.
도 42 내지 도 45는 발성 구강 영상 정보를 구성하는 동영상의 일부인 이미지를 보여 주고 있다. 도 42 및 도 45에서 알 수 있듯이, 발성 구강 영상 정보에는 기류 표시 이미지 등과 같이 발성이 존재할 때에 나타나는 각종 이미지가 포함되어 있음을 알 수 있다. 사용자는 발성 구강 영상 정보에 포함된 도 42와 같은 이미지를 통해서 성대 쪽으로부터 기류가 올라오고 있음을 파악할 수 있으며, 도 43과 같은 이미지를 통해서 기류가 혀가 구개와 맞닿은 곳에 이를 때까지 혀와 구개의 접촉이 분리되어서는 아니 됨을 알 수 있고, 도 44와 같은 이미지를 통해서 혀와 구개가 미약하게 벌어지면서 기류가 벌어진 틈을 통해서 나오는데, 이 때 혀의 중앙부까지가 굽혀져야 하고, 입술과 치아는 벌어져야 함을 알 수 있으며, 도 45를 통해서 기류가 서서히 소멸되고 있고 이 때에도 구개의 맞닿는 위치 및 혀의 모양은 변동이 없어야 함을 직관적으로 이해할 수 있다. 특히, 도 44에서도 도 45에서는 기류를 나타내는 색의 진하기가 달라지는데, 진하기나 색깔의 채도 등의 변화를 통해서 기류의 강약의 변동을 반영할 수 있다.
도 46은 후속 구강 영상 정보에 대응되는 동영상에 포함되는 일 실시예적 이미지를 보여주고 있다. 도 46에서 알 수 있듯이, 기류는 소멸되었으나 치아와 입술은 열려 있으며, 혀와 구개의 맞닿는 위치는 변동이 없음을 알 수 있다. 후속 구강 영상 정보를 선택적으로 제공함으로써, 발음의 마무리를 확실하게 처리할 수 있게 된다. 마무리(종결)이 정확하게 유지되어야 종결 직전의 과정 또한 정확하게 모사될 수 있기 때문에, 후속 구강 영상 정보의 제공은 정확한 발음 교육을 위한 본 발명 사상에서 중요한 부분을 구성한다.
도 47 내지 도 50은 [ei] 발음에 대한 본 발명 사상이 구현되는 일 실시예적 구성이다. 도 47은 [ei] 음소에 대한 준비 구강 영상 정보의 일 실시예적 구성 이미지를 나타낸다. 도 48 내지 도 50은 [ei] 음소에 대한 발성 구강 영상 정보의 일 실시예적 구성 이미지의 예시들이다. 사용자는 도 48에서는 혀는 낮은 위치에 존재하면서 혀 위에는 공명점이 존재함을 알 수 있다. 사용자는 도 49에서는 혀와 떨어진 구강 내 공간에서 공명점이 있음을 알 수 있으며, 도 50에서는 구개와 가까운 혀의 위치에 공명점이 존재하며 공명 표시 이미지(113)에 좌우로 확산되는 표시가 있음을 통해서 공명이 지속됨을 알 수 있다. 도 51은 [ei] 음소에 대한 후속 구강 영상 정보의 일 실시예적 구성 이미지가 나타나 있다. 사용자는 도 51과 같은 본 발명 사상이 적용되는 후속 구강 영상 정보를 통하여 공명은 사라지고 없으며, 구강에서의 혀의 위치와 상태는 발성 구강 영상 정보의 최종적인 위치와 상태를 상당히 유지하고 있음을 알 수 있다.
도 52는 성대 울림이 있는 경우, 성대 쪽에 울림을 의미하는 표시하는 성대 울림 이미지 데이터(1481)가 표시되어 있는 본 발명 사상이 적용되는 발성 구강 영상 정보의 일 실시예적 이미지이다. 도 52에서 알 수 있듯이, 성대 울림이 있는 경우에는 성대 울림과 관련성 있는 파형 이미지가 추가적으로 제공될 수도 있다. 성대의 울림의 유무 를 영상 이미지의 성대의 위치에 표기하여 무성음이면 아무런 표기가 없고 유성음이면 동영상의 음성 신호에서 성대에서 발성이 일어나는 시점에만 지 때 늘 지그재그 형태의 발성이 일어난다는 표식이 예시적으로 삽입될 수 있다.
도 53은 모음 사각도 이미지(121)가 포함되어 있는 본 발명의 준비 구강 영상 정보의 일 실시예적 이미지이며, 도 54는 모음 사각도 이미지(121)가 포함되어 있는 본 발명의 발성 구강 영상 정보의 일 실시예적 이미지이다. 구강 이미지 안에 각 언어별 성인 남성， 성인 여성， 변성기 이전 아동의 모음 발음 시에 구강 내에서 공명이 일어날 수 있는 범위의 평균값을 계산하여 설정된 사다리꼴 모양의 모음 사각도 (vowel quadrillateral: 구강 내에서 특정 언어의 모든 모음 중에 공명이 일어 날 수 있는 한계 범위) 삽입되면, 학습자가 모음 발음 시 구강 내에서 혀가 울리는 부분을 예측할 때 이해를 용이하게 되는 장점이 있다. 본원 발명의 이미지에서는 회색으로 보이는 사다리꼴 모양의 모음 사각도를 의미한다.
도 35는 본 발명의 구강 영상 정보 처리 모듈(1200)의 일 실시예적 구성에 관한 도면이다. 상기 발음 대상별 준비 구강 영상 정보 데이터(1211)는 준비 구강 영상 정보 데이터를, 발음 대상별 발성 구강 영상 정보 데이터(1212)는 발성 구강 영상 정보를, 발음 대상별 후속 구강 영상 정보 데이터(1213)는 후속 구강 영상 정보를 발음 대상별로 저장해 놓고 있다. 한편, 상기 준비 구강 영상 정보, 상기 발성 구강 영상 정보 및 후속 구강 영상 정보가 1개의 통합된 디지털 파일로 존재하는 경우, 발음 대상별 통합 구강 영상 정보 데이터(1214)는 이러한 통합된 디지털 파일을 발음 대상별로 저장하고 있다.
한편, 상기 발음 대상별 발성 구강 영상 정보 데이터(1212)가 저장하고 있는 발성 구강 영상 정보에는 발음 지원 시각화 수단(기류 표시 수단, 공명점 표시 수단, 조음점 표시 수단, 성대 울림 표시 수단, 근육 긴장 표시 수단(116) 등)이 포함되어 있다. 도 38에서는 상기 구강 영상 정보 처리 모듈(1200)이 발음 지원 시각화 수단에 대한 선택 정보를 입수(S2-31)하고, 발음 지원 시각화 수단에 대응되는 구강 영상 정보를 입수(S2-32)한 다음, 발음 지원 시각화 수단에 대응되는 구강 영상 정보를 제공(S2-33)하는 본 발명의 발명 사상을 개시하고 있다.
발성 지원 시각화 수단별 구강 영상 데이터(1212-1)에는 이러한 발음 지원 시각화 수단별 발성 구강 영상 데이터가 별도로 포함되어 있을 수 있다. 발성 지원 시각화 수단별 구강 영상 데이터(1212-1)의 데이터는 발성 구강 영상 정보가 다수 개의 레이어를 통해서 제공될 때, 발음 지원 시각화 수단별 레이어가 존재하고, 발음 지원 시각화 수단별 레이어가 포개져서 하나의 시각적 결과물로 사용자에게 제공될 때 특히 유용하다. 이렇게 될 경우, 상기 특별한 레이어에 대해서 강조 표시가 제공될 수가 있을 것이다. 예를 들면 기류 표시 레이어가 독립되어 있을 경우, 기류 표시에 대해서 강력한 칼라가 적용되고, 기류의 외곽선이 진하게 표시되 있는 경우, 이러한 기류 표시 레이어가 결합되어 발성 구강 영상 정보로 사용자에게 나타날 때는 기류 표시가 더욱 더 선명하게 부각되게 된다.
물론, 상기 사용자 입력 기반 구강 영상 처리부(1230)가 사용자 단말기(2000)로부터 기류 표시에 대한 강조 선택 정보를 입수 받는 경우에는 더욱 더 레이어 방식이 효과적일 수 있다. 도 36은 상기 사용자 입력 기반 구강 영상 처리부(1230)가 구강 영상 제공에 대한 제어 정보를 입수 받고(S2-21), 제어 정보에 대응되는 구강 영상 정보를 제공(S2-22)하는 발명 사상을 제시하고 있다. 제어 정보에는 속도 제어, 준비 구강 영상 정보나 후속 구강 영상 정보를 제외한 전송 요청, 특별한 발음 지원 시각화 수단에 대한 요청, 음색 등의 선택 등이 있을 수 있다.
한편, 상기 구강 영상 정보 처리 모듈(1200)은 레이어를 사용하지 않거나, 레이어를 사용하여 제작하되, 최종적으로 사용자 단말기(2000)에 제공되는 영상에는 레이어가 제거되었지만, 기류 표시가 강조된 단일 영상을 생성해 놓을 수 있다. 사용자 단말기(2000)로부터 기류 표시 강조에 대한 선택 정보가 입수되는 경우, 기류 표시가 강조된 단일 영상을 제공해 줄 수 있음은 물론일 것이다. 이러한 사용자 단말기(2000)로의 영상 정보의 제공은 구강 영상 제공 모듈(1220)이 수행한다. 구강 영상 결합 제공부(1221)는 상기 준비 구강 영상 정보, 상기 발성 구강 영상 정보 및 후속 구강 영상 정보를 결합하여 제공하는 기능을 수행하며, 통합 구강 영상 제공부(1222)는 사전에 결합되어 있는 통합 구강 영상 정보를 제공하는 기능을 수행한다.
한편, 도 39에서는 상기 구강 영상 정보 처리 모듈(1200)이 조음 기관별 레이어에 대한 선택 정보를 입수(S2-41)하고, 선택된 조음 기관별 레이어에 대한 구강 영상 정보를 제공(S2-42)하는 조음 기관별 레이어 처리된 구강 영상 정보에 대한 발명 사상이 개시되어 있다.
도 40에서는 발음 교정을 위하여, 상기 구강 영상 정보 처리 모듈(1200)이 공명점 생성부(1710), 위치 표시 정보 처리부(1730) 등의 지원을 받아, 상기 사용자 단말기(2000)로부터 발음 대상에 대한 사용자의 음성 정보를 입수(S2-51)하고, 사용자의 음성 정보에서 사용자 공명점 정보를 생성(S2-52)하며, 사용자 공명점 정보를 구강 영상 영상에 포함되게 처리(S2-53)하고, 사용자 공명점 정보 및 권장 공명점 정보가 포함된 구강 영상 정보 제공(S2-54)하는 발명 사상이 개시되어 있다. 도 55에서는 발성 구강 영상 정보에 사용자의 공명점(별 모양으로 표시한 이미지)가 위치해 있음을 알 수 있다) 사용자는 정확한 권장 공명점와 자신의 공명점을 비교함으로써 발음을 좀더 정확하고 정교하게 교정할 수 있게 된다.
한편, 특정 자음 발음 중에 구강 내에서의 안면 근육 또는 혀 근육에 급격한 수축을 통하여 특정 조음 위치를 폐쇄하고 발음하는 파열음[p,b,t,d,k,g]과 파찰음 [tS, ts, d3, ㅊ, ㅈ] 소리들의 경우에는 조음 기관의 근육이 수축되는 즉 힘이 들어가는 방향을 표기함으로서 학습자들이 소리를 학습할 때 힘을 주는 조음 기관의 위치를 이해가기 용이하게 하는 효과가 있다. 도 56 내지 도 59는 발성 구성 영상 정보 중 근육 긴장 표시 수단(116)이 반영된 일 실시예적 구성 이미지이다. 도 56 내지 도 57은 턱 근육의 긴장과 이완이 발생하고 있는 동영상 구성 이미지의 일부를 보여 주고 있다. 근육의 긴장도 화살표 등으로 표시될 수 있다. 도 58은 혀 근육의 긴장과 이완이 발생하고 있는 동영상 구성 이미지의 일부를 보여 주고 있다.
이어, 각 음소의 특징별로 동영상에 표기되는 바람직한 방식에 대한 예시 설명을 부가한다.
파열음은 구강의 특정위치（조음점）을 완전히 밀폐시켜 밀폐된 조음 위치 근처에서 압축되었던 공기압이 조음점이 개방되는 시점에 단번에 폭발하듯이 쏟아져 나오는 소리이기 때문에 혀가 조음 위치에 접촉된 시점부터 음성 신호가 재생되는 시점 전까지는 앞모습과 구강 옆모습 이지미가 동일한 이미지 프레임이 재생되고 음성 신호가 재생되기 전까지 성대를 통과한 공기 기류의 흐름의 변화만을 시간에 따른 화살표 위치의 변화를 주어 표현되는 것이 바람직하다. 음성신호가 재생되면서 혀의 위치가 조음점에서 떨어지는 이미지가 재생되고 또한 성대를 통과하여 조음 위치에 근처에 도달하였던 화살표의 이미지는 시간의 흐름에 따라 명암비를 흐려지게 하고 궁극적으로 조음점에서 떨어진 혀의 움짐임이 완전히 멈추게 된 시점에는 사라지게 되고, 조음점 뒤에 있던 화살표의 이미지의 명암비가 흐려지면서 동시에 조음점 앞부분 즉， 구강 바깥쪽과 더 가까운 위치에서는 압축되었던 공기압의 파열음화를 보여주는 화살표를 표기하여 기류의 변화를 학습자가 이해하기 용이하게 될 수 있도록 지원한다.
마찰음은 구강의 특정위치（조음점）사이에 비좁은 틈을 만들어 폐에서 올라온 공기의 기류가 조음점 근처에서 약간 압축되게 되고 비좁은 틈 사이에서 생긴 저항에 의해서 마찰（Ｆｒｉｃｔｉｏｎ）된 소리가 지속적으로 새어 나오는 소리이기 때문에 혀가 조음 위치에 완벽히 도달하는 시점부터 음성신호가 재생되는 시점 전까지는 앞모습과 구강 옆모습 이지미가 동일한 이미지 프레임이 재생되고 음성신호가 재생되면서 성대를 통과한 공기 기류의 흐름의 변화만을 시간에 따른 화살표 위치의 변화를 주어 표현하는 것이 바람직하다. 음성신호가 재생되면서 조음점을 통과하여 시간에 흐름에 연계하여 구강바깥쪽으로 이동하는 화살표 이미지는 재생되는 음성신호가 종료되는 시점까지 유지되다가 음성신호의 재생이 종료되면 명암비를 흐려지게 되며 궁극적으는 사라지게 되며, 시간의 흐름에 따라서 조음 위치에서의 공기의 기류의 흐름의 변화를 화살표로 표기하여 학습자가 발음 시 기류의 위치 및 변화를 이해하기 용이하게 한다．
파찰음은 구강의 특정위치（조음점）을 완전히 밀폐시켜 밀폐된 조음 위치 근처에서 압축되었던 공기압이 조음점이 개방되는 시점에서 강한 압력으로 새어 나오는 나오는 소리이기 때문에 혀가 조음 위치에 접촉된 시점부터 음성신호가 재생되는 시점 전까지는 앞모습과 구강 옆모습 이지미가 동일한 이미지 프레임이 재생되고 음성신호가 재생되기 전까지 성대를 통과한 공기 기류의 흐름의 변화만을 시간에 따른 화살표 위치의 변화를 주어 표현하는 것이 바람직하다.
음성신호가 재생되면서 혀의 위치가 조음점에서 떨어지면서 이동하는 이미지가 재생되고 또한 성대를 통과하여 조음 위치에 근처에 도달하였던 화살표의 이미지는 시간의 흐름에 따라 명암비를 흐려지게 하고 궁극적으로 조음점에서 떨어진 혀의 움짐임이 완전히 멈추게 된 시점에는 사라지게 되며, 조음점 뒤에 있던 화살표의 이미지의 명암비가 흐려지면서 동시에 조음점 앞부분 즉， 구강 바깥쪽과 더 가까운 위치에서는 압축되었던 기류의 빠른 흐름의 변화를 보여주는 화살표를 표기하여 기류의 변화를 학습자가 이해하기 용이하게 한다．음성신호의 재생이 종료되면 구강 바깥으로 이동하던 화살표도 명암비가 흐려지면서 궁극적으로는 사라지게 된다．
비음은 구강의 특정위치가 완전히 밀폐되고 비음을 제외한 다른 발음들에서는 폐쇄되었던 구개수 근처의 연구와 인두에 접촉되었던 부분이 연구개가 아래로 내려가면서 개방되면서 공기의 기류의 흐름이 비강으로 향하게 되어 성대의 발성이 완료 될 때까지 소리가 지속적으로 비강을 통하여 콧구멍 밖으로 새어 나오는 소리이기 때문에 음성신호 재생 전후의 모든 이미지에서 연구개가 아래로 개방이 되어있고 혀가 조음 위치 도달할 때와 음성신호가 재생되는 시점이 동기화 되며 이후 앞모습과 구강 옆모습 이지미가 동일한 이미지 프레임이 재생되고 음성신호가 재생되면서 성대를 통과하여 비강을 통과하는 공기 기류의 흐름의 변화만을 시간에 따른 화살표 위치의 변화를 주어 표현하는 것이 바람직하다.
음성신호가 재생되면서 조음점을 통과하여 시간에 흐름에 연계하여 구강바깥쪽으로 이동하는 화살표 이미지는 재생되는 음성신호가 종료되는 시점까지 유지되다가 음성신호의 재생이 종료되면 명암비를 흐려지게 되며 궁극적으는 사라지게 되며, 시간의 흐름에 따라서 조음 위치에서의 공기의 기류의 흐름의 변화를 화살표로 표기하여 학습자가 발음 시 기류의 위치 및 변화를 이해하기 용이하게 한다．
자음 중에 [w, j] 같은 공명음 소리들은 조음 위치 및 기류의 흐름의 변화에 대한 이미지뿐 아라 공명이 일어나는 위치와 시간의 흐름에 따른 위치의 변화를 음성신호의 재생 시작점부터 동기화 하여 그 변화를 방사형 이미지를 활용하여 동시에 표기하는 것이 바람직하다.
이어, 본 발명의 발음 학습 지원 시스템(1000)의 맵핑 발음 학습 지원 모듈(1300)의 정보 처리 방법에 대해서 더욱 더 상세하게 설명한다. 한국어의 [이] 발음과 영어의 [i] 발음은 혀의 위치 및 공명점이 다름에도 불구하고 대부분의 사람들은 양자를 구분하지 못하고, 영어의 [i] 발음을 한국어의 [이] 발음처럼 발음하는 문제를 안고 있다. 한편, 한국어의 [이] 발음이 정확한 사람의 경우에는 한어의 [이] 발음과 영어의 [i] 발음의 정확한 차이만 알게 영어의 [i] 발음을 더욱 더 정확하게 발음할 수 있게 된다. 이처럼 2개 국어 이상에서 유사한 음가를 가지를 음소의 경우에는 정확한 발음을 위해서는 해독도 되지만, 도움도 될 수 있는 양면성을 가진다. 상기 맵핑 발음 학습 지원 모듈(1300)은 목표 언어와 참조 언어에 본질적으로 상이하나 유사한 음가를 가지는 음소에 대한 비교 영상 정보를 제공하여, 목표 언어의 정확한 발음 교육을 성취하도록 지원한다.
도 60은 맵핑 발음 학습 지원 모듈(1300)의 일 실시예적 구성을 제시하고 있다. 상기 맵핑 언어 영상 정보 DB(1310)는 목표 언어에 대한 발음 대상별 구강 영상 정보를 저장하고 있는 목표 언어 발음 대응 구강 영상 정보 데이터(1311), 참조 언어에 대한 발음 대상별 구강 영상 정보를 저장하고 있는 참조 언어 발음 대응 구강 영상 정보 데이터(1312), 목표 언어와 참조 언어에 대한 비교 정보를 저장하고 있는 목표-참조 비교 정보 데이터(1313)를 포함하고 있다. 상기 목표 언어 발음 대응 구강 영상 정보 데이터(1311), 참조 언어 발음 대응 구강 영상 정보 데이터(1312) 및 목표-참조 비교 정보 데이터(1313)는 각각의 독립된 영상 파일로 존재할 수도 있지만, 목표 언어의 발성 대상별로 1개의 통합적인 디지털 파일로 존재할 수도 있다. 후자의 경우 이러한 통합적인 디지털 파일은 통합 맵핑 언어 영상 정보 데이터(1314)에 저장되어 있을 수 있다.
하기 표 2는 복수 언어간 맵핑 처리 모듈(1320)의 일 실시예적 맵핑 관리 정보 구조를 나타내고 있다. 상기 복수 언어간 맵핑 처리 모듈(1320)의 복수 언어 맵핑 처리부(1321)는 목표 언어와 참조 언어의 맵핑 관계를 처리하고, 이러한 맵핑 관계는 발음 대상별 복수 언어간 맵핑 관계 정보 데이터(1322)에 저장된다.
| 목표 언어 | 참조 언어 | 파일 정보 |
| [i] | [이] | 목표_i.avi |
| [i] | [이] | 참조_이.avi |
| [i] | [이] | 비교_i_이.avi |
| [i] | [이] | 통합_i-이_avi |
| [^]/[:] | [이] | 목표_^.avi |
| [^]/[:] | [이] | 목표_ |
| [^]/[:] | [이] | 참조_어.avi |
| [^]/[:] | [이] | 비교_^__어.avi |
| [^]/[:] | [이] | 통합_^__어.avi |
한편, 목표 발음 1개를 정확히 발성하기 위하여 참조 발음 n개를 빠르게 연이어서 발성하면 효과적인 경우가 있다. 예를 들면, book의 모음에서 발음되는 영어의 단모음 [u]는 독립된 음소로는 한국어말에는 존재하지 않는 소리이지만 우리말 우으어를 힘을 빼고 짧게 발음하면 매우 유사한 소리가 된다. 따라서 영어의 [u] 학습할 때 우리말 우으어를 발음하는 영상을 빠르게 재생하여 제공하면 사용자가 이를 모방하여 효과적으로 [u] 발음할 수 있도록 지원할 수 있다
도 61은 본 발명의 맵핑 발음 학습 지원 모듈(1300)의 일 실시예적 정보 처리 방법에 대한 예시이다. 상기 맵핑 발음 학습 지원 모듈(1300)은 참조 언어 발음 대상에 대한 참조 언어 발음 대응 구강 영상 정보를 제공(S3-11)하고, 목표 언어 발음 대상에 대한 목표 언어 발음 대응 구강 영상 정보를 제공(S3-12)하며, 참조 언어 발음 대상 및 목표 언어 발음 대상에 대한 비교 정보인 목표-참조 비교 영상 정보 제공(S3-13)한다.
한편, 상기 맵핑 발음 학습 지원 모듈(1300)은 상기 사용자 단말기(2000)로부터 목표 언어 발음 대상 정보를 입수(S3-21)하고, 입수한 목표 언어 발음 대상 정보와 맵핑되는 참조 언어 발음 대상 정보를 조회(S3-22)한다. 예를 들어, 상기 맵핑 발음 학습 지원 모듈(1300)의 사용자 입력 기반 3차원 영상 처리부(1130)는 사용자 단말기(2000)로부터 목표 언어의 발음 대상인 [i]를 목표 언어 발음 대상 정보를 입수하며, 표 2와 같은 발음 대상별 복수 언어간 맵핑 관계 정보 데이터(1322)를 조회하여 참조 언어 발음 대상 정보인 [이]를 입수한다.
그리고, 표 2에서 예시되듯이, 참조 언어 [어]에는 복수 개의 목표 언어가 맵핑되어 있을 수 있다. 이 때, 상기 복수 언어간 맵핑 처리 모듈(1320)은 도 63에 예시되는 바와 같이, 복수 참조 언어 맵핑 정보를 입수(S3-31)하고, 맵핑된 복수 참조 언어에 대한 비교 정보 제공에 대한 제어 정보를 입수(S3-32)하고, 제어 정보를 참조하여 참조 언어 발음 대응 구강 영상 정보, 목표 언어 발음 대응 구강 영상 정보 및 목표-참조 비교 정보를 제공(S3-33)한다.
이하, 맵핑 발음 학습 지원 모듈(1300)이 제공하는 영상 정보에 포함된 이미지를 예시하면서 설명한다. 도 65는 목표 언어 [i]에 대응되는 참조 언어 [이]에 대한 참조 언어 발음 대상에 대한 참조 언어 발음 대응 구강 영상 정보다. 상기 [이]에 대한 구강 영상 정보가 나오는 동안에 텍스트로 "한국어 - 이"와 같은 참조 언어 발음을 명확히 하는 지원 정보가 표시된다. 한편, 사용자 단말기(2000)에 나타나는 구강 영상 정보에는 한국어 [이]에 대한 구강 영상으로, 혀의 위치, 모양 및 혀의 외곽선에 대한 강조 표시(참조 언어 발음 대상에 대한 혀의 외곽선에 대한 강조 표시(131)) 등이 나타나고 중요 정보로 한국어 [이] 발음에 대한 권장 공명점(133)((혀 위에 표시되어 있는 점)이 나타난다.
이어 도 66과 같이 목표 언어와 참조 언어에 대한 비교 정보가 나타난다. 이때, 목표 언어 [i]에 대한 발음이 청각적으로 제공되면서, 도 66에서 도시되는 바와 같이 목표 언어 [i]에 대응되는 혀의 위치, 모양 및 혀의 외곽선에 대한 강조 표시(목표 언어 발음 대상에 대한 혀의 외곽선에 대한 강조 표시(132))가 나타나고, 중요 정보로서 목표 언어 발음인 [i]에 대응되는 권장 공명점(134) 및 참조 언어의 권장 공명점과 목표 언어의 권장 공명점간의 위치적 차이를 나타내는 표현 수단(135)(참조 언어의 권장 공명점(132)에서 목표 언어의 권장 공명점(134)으로의 화살표 표시 등)가 나타나 있다. 한편, 도 65와 66에서 구강 내에서는 모음 사각도가 표시되어 있어, 목표 언어와 참조 언어의 권장 공명점의 모음 사각도 상의 상대적인 위치를 파악할 수 있도록 지원한다.
도 67 내지 도 69는 1개의 참조 언어와 2개의 목표 언어가 맵핑되는 본원 발명 사상의 또 다른 실시예를 보여 주고 있다. 상기 맵핑 발음 학습 지원 모듈(1300)은 [^] 발음 교육이나 [:]에 대한 발음 교육을 지원하기 위해서 참조 언어로 [어]에 대한 발음과의 비교 정보를 제공한다.
도 67은 목표 언어의 목표 발음인 [^]에 대한 구강 영상 정보의 일 실시예적 이미지이다. 목표 발음인 [^]에 관한 모든 정보는 마름모 사각형으로 처리되고 있음을 보여 주고 있다. 도 68은 참조 언어의 참조 발음인 [어]에 대하여 원형으로 처리되는 구강 영상 정보가 목표 언어의 목표 발음인 [^]에 대한 구강 영상 정보에 겹쳐서 나타나고 있음을 예시적으로 보여 준다. 물론, 이때, 참조 언어의 참조 발음인 [어]에 대한 구강 영상 정보가 먼저 나타나고, 이어, 목표 언어의 목표 발음인 [^]에 대한 구강 영상 정보를 비교 정보로 제공될 수도 있을 것이다. 도 69는 목표 언어의 목표 발음인 [:]에 대한 삼각형 모양으로 처리된 구강 영상 정보의 일 실시예적 이미지가, 마름모 사각형으로 처리된 목표 언어의 목표 발음 [^]에 대한 구강 영상 정보와 원형으로 처리된 참조 언어의 참조 발음 [어]에 대한 구강 영상 정보가 비교되어 제공되고 있음을 보여 준다.
도 67 내지 도 69에서처럼 1개의 참조 언어의 참조 발음에 목표 언어의 복수 개의 목표 발음이 대응되거나, 1개의 목표 언어의 목표 발음에 참조 언어의 복수 개의 참조 발음이 대응될 수 있을 것이다. 이때 복수 개의 참조 발음에 대한 구강 영상 정보나 복수 개의 목표 발음에 대한 구강 영상 정보가 나타나는 순서는 임의로 정하거나, 사용자 입력 기반 맵핑 언어 영상 처리부(1340)를 통한 사용자의 선택 정보를 반영하여 정할 수 있다. 또한, 각 단수/복수 개의 목표 발음에 대한 구강 영상 정보 및/또는 각 단수/복수 개의 참조 발음에 대한 구강 영상 정보가 개별적으로 나타난 다음, 목표 발음에 대한 구강 영상 및 참조 발음에 대한 구강 영상 정보를 비교하는 목표-참조 비교 영상 정보가 제공되는 방식과 같은 순차 제공 방식이 채용될 수도 있다. 상기 도 65 내지 도 69에서 처럼, 단수 또는 복수 개의 참조 발음에 대한 영상 정보나 단수 또는 복수 개의 목표 발음에 대한 영상 정보는 이들 정보가 나타날 때, 이전에 나타난 구강 영상 정보를 유지한 채 이전에 나타난 구강 영상 정보와 구분되게 중첩적으로 제공될 수도 있을 것이다. 이러한 순차 제공 방식이나 중첩 제공 방식은 사용자 입력 기반 맵핑 언어 영상 처리부(1340)가 입수하는 사용자의 선택에 따르거나, 맵핑 발음 학습 지원 모듈(1300)의 제공 방식에 대한 초기 세팅값에 따라 달라질 수 있게 된다. 하지만, 어떠한 제공 방식을 취하든 목표-참조 비교 정보 데이터(1313)는 필수적으로 제공되는 것이 바람직할 것이다.
이때, 목표 발음의 구강 영상 정보나 참조 발음의 구강 영상 및 목표-참조 비교 구강 영상 정보는 별도의 디지털 파일로 존재하고, 호출되는 순서에 따라 사용자 단말기(2000)로 전송될 수 있을 것이다. 물론, 1개의 통합적인 파일 내에 목표 발음의 구강 영상 정보나 참조 발음의 구강 영상 및 목표-참조 비교 구강 영상 정보가 함께 존재하는 방식도 바람직할 수 있을 것이다.
한편, 상기 사용자 입력 기반 맵핑 언어 영상 처리부(1340)는 상기 사용자 단말기(2000)로부터 사용자 음성 정보를 입수하고, 상기 사용자 음성 정보를 처리하여, 공명점 정보를 생성할 수 있을 것이다. 공명점 정보의 생성은 전술한 바와 같다. 상기 생성된 공명점이 상기 목표 발음의 구강 영상 정보나 참조 발음의 구강 영상 및 목표-참조 비교 구강 영상 정보에 반영될 수 있음은 전술한 바와 같다. 도 64는 이러한 사용자 음성 정보 정보를 처리하여 발음 학습 효과를 극대화하는 본 발명 사상을 개시하고 있다. 상기 맵핑 발음 학습 지원 모듈(1300)은 발음 대상에 대한 사용자의 음성 정보를 입수(S3-41)하고, 사용자의 음성 정보에서 사용자 공명점 정보를 생성(S3-42)한 다음, 사용자 공명점 정보를 목표-참조 비교 정보에 포함시켜 사용자-목표-참조 비교 정보 생성(S3-43)하고, 사용자-목표-참조 비교 정보가 포함된 사용자-목표-참조 비교 영상 정보 제공(S3-44)한다.
도 70 내지 도 73은 자음에 대한 본 발명 사상을 적용한 일 실시예적 동영상 구성 도면이다. 도 70은 참조 발음으로서 한국어 [ㅇ] 발음에 대한 구강 영상 정보이며, 도 71은 참조 발음과 목표 발음이 비교되어 나타나는 구강 영상 도면이다. 도 72은 참조 발음으로서 한국어 [ㅎ] 발음에 대한 성대 영상 정보이며, 도 73은 목표 발음 [h]에 대한 성대 영상 모양이다. 도 72와 도 73의 비교에서 한국어 [ㅎ] 발음에 비하여 [h] 발음의 경우, 성대가 좁아져야 정확한 발음을 할 수 있다는 직관적으로 이해할 수 있다.
상기에서는 목표 언어를 영어 발음으로, 참조 언어를 한국어 발음으로 예시하였으나, 이는 예시일 뿐 목표 언어와 참조 언어는 맵핑 관계만 성립하면 어떠한 언어의 조합이라도 본원 발명 사상이 적용됨은 당업자에게 당연할 것이다. 한편, 1개의 목표 언어에 대하여 복수 개의 참조 언어가 대응될 수 있음도 당연할 것이다.
본 발명은 교육 산업, 특히 외국어 교육 산업 및 언어 교정 관련 산업에 광범위하게 활용될 수 있다.
1000 : 발음 학습 지원 시스템
1100 : 3차원 영상 정보 처리 모듈
1110 : 3차원 영상 정보 DB
1111 : 발음 대상별 3차원 영상 정보 데이터
1112 : 발음 대상별 투시 방향별 3차원 영상 정보 데이터
1113 : 통합 3차원 영상 정보 데이터
1120 : 3차원 영상 맵핑 처리 모듈
1121 : 3차원 영상 맵핑 처리부
1122 : 발음 대상별 3차원 영상 맵핑 관계 정보 데이터
1130 : 사용자 입력 기반 3차원 영상 처리부
1140 : 파노라마 영상 제공 모듈
1200 : 구강 영상 정보 처리 모듈
1210 : 구강 영상 정보 DB
1211 : 발음 대상별 준비 구강 영상 정보 데이터
1212-1 : 발음 지원 시각화 수단별 구강 영상 데이터
1212 : 발음 대상별 발성 구강 영상 정보 데이터
1213 : 발음 대상별 후속 구강 영상 정보 데이터
1214 : 발음 대상별 통합 구강 영상 정보 데이터
1220 : 구강 영상 제공 모듈
1221 : 구강 영상 결합 제공부
1222 : 통합 구강 영상 제공부
1230 : 사용자 입력 기반 구강 영상 처리부
1240 : 구강 영상 정보 제공 모듈
1300 : 맵핑 발음 학습 지원 모듈
1310 : 맵핑 언어 영상 정보 DB
1311 : 목표 언어 발음 대응 구강 영상 정보 데이터
1312 : 참조 언어 발음 대응 구강 영상 정보 데이터
1313 : 목표-참조 비교 정보 데이터
1314 : 통합 맵핑 언어 영상 정보 데이터
1320 : 복수 언어간 맵핑 처리 모듈
1321 : 복수 언어 맵핑 처리부
1322 : 발음 대상별 복수 언어간 맵핑 관계 정보 데이터
1330 : 맵핑 언어 영상 정보 제공 제어부
1340 : 사용자 입력 기반 맵핑 언어 영상 처리부
1400 : 발음 학습 지원 DB부
1410 : 발음 학습 대상 데이터
1420 : 조음 기관 이미지 데이터
1430 : 기류 표시 이미지 데이터
1440 : 안면 이미지 데이터
1450 : 발음 대상별 청각 정보 데이터
1460 : 공명점 정보 데이터
1461 : 공명점 표시 이미지 데이터
1470 : 조음 위치 정보 데이터
1471 : 조음 위치 표시 이미지 데이터
1480 : 기타 이미지 데이터
1481 : 성대 울림 이미지 데이터
1482 : 모음 사각도 이미지 데이터
1483 : 접촉부 대응 이미지 데이터
1484 : 근육 긴장 표시 이미지 데이터
1500 : 영상 결합부
1510 : 레이어 처리부
1520 : 동기화 처리부
1530 : 단일 영상 생성부
1600 : 입출력부
1610 : 사용자 선택 정보 제공 요청부
1620 : 사용자 선택 정보 입수부
1630 : 사용자 발성 정보 제공 요청부
1640 : 사용자 발성 정보 입수부
1650 : 생성 정보 제공부
1700 : 특화 정보 처리부
1710 : 공명점 생성부
1720 : 조음 위치 생성부
1730 : 위치 표시 정보 처리부
1800 : 통신 지원부
2000 : 사용자 단말기
5000 : 유무선 네트워크
101 : 구개
102 : 입술
103 : 혀
104 : 목구멍
105 : 치아
106 : 성대
111 : 기류 표시 이미지
112 : 공명점 표시 이미지
113 : 공명 표시 이미지
114 : 구개 접촉 부위 표시 이미지
115 : 사용자 발성 공명점 정보 표시
116 : 근육 긴장 표시 수단
121 : 모음 사각도 이미지
131 : 참조 언어 발음 대상에 대한 혀의 외곽선에 대한 강조 표시
132 : 목표 언어 발음 대상에 대한 혀의 외곽선에 대한 강조 표시
133 : 참조 언어 발음 대상에 대한 조음점
134 : 목표 언어 발음 대상에 대한 조음점
135 : 참조 언어의 권장 공명점과 목표 언어의 권장 공명점간의 위치적 차이를 나타내는 표현 수단
1100 : 3차원 영상 정보 처리 모듈
1110 : 3차원 영상 정보 DB
1111 : 발음 대상별 3차원 영상 정보 데이터
1112 : 발음 대상별 투시 방향별 3차원 영상 정보 데이터
1113 : 통합 3차원 영상 정보 데이터
1120 : 3차원 영상 맵핑 처리 모듈
1121 : 3차원 영상 맵핑 처리부
1122 : 발음 대상별 3차원 영상 맵핑 관계 정보 데이터
1130 : 사용자 입력 기반 3차원 영상 처리부
1140 : 파노라마 영상 제공 모듈
1200 : 구강 영상 정보 처리 모듈
1210 : 구강 영상 정보 DB
1211 : 발음 대상별 준비 구강 영상 정보 데이터
1212-1 : 발음 지원 시각화 수단별 구강 영상 데이터
1212 : 발음 대상별 발성 구강 영상 정보 데이터
1213 : 발음 대상별 후속 구강 영상 정보 데이터
1214 : 발음 대상별 통합 구강 영상 정보 데이터
1220 : 구강 영상 제공 모듈
1221 : 구강 영상 결합 제공부
1222 : 통합 구강 영상 제공부
1230 : 사용자 입력 기반 구강 영상 처리부
1240 : 구강 영상 정보 제공 모듈
1300 : 맵핑 발음 학습 지원 모듈
1310 : 맵핑 언어 영상 정보 DB
1311 : 목표 언어 발음 대응 구강 영상 정보 데이터
1312 : 참조 언어 발음 대응 구강 영상 정보 데이터
1313 : 목표-참조 비교 정보 데이터
1314 : 통합 맵핑 언어 영상 정보 데이터
1320 : 복수 언어간 맵핑 처리 모듈
1321 : 복수 언어 맵핑 처리부
1322 : 발음 대상별 복수 언어간 맵핑 관계 정보 데이터
1330 : 맵핑 언어 영상 정보 제공 제어부
1340 : 사용자 입력 기반 맵핑 언어 영상 처리부
1400 : 발음 학습 지원 DB부
1410 : 발음 학습 대상 데이터
1420 : 조음 기관 이미지 데이터
1430 : 기류 표시 이미지 데이터
1440 : 안면 이미지 데이터
1450 : 발음 대상별 청각 정보 데이터
1460 : 공명점 정보 데이터
1461 : 공명점 표시 이미지 데이터
1470 : 조음 위치 정보 데이터
1471 : 조음 위치 표시 이미지 데이터
1480 : 기타 이미지 데이터
1481 : 성대 울림 이미지 데이터
1482 : 모음 사각도 이미지 데이터
1483 : 접촉부 대응 이미지 데이터
1484 : 근육 긴장 표시 이미지 데이터
1500 : 영상 결합부
1510 : 레이어 처리부
1520 : 동기화 처리부
1530 : 단일 영상 생성부
1600 : 입출력부
1610 : 사용자 선택 정보 제공 요청부
1620 : 사용자 선택 정보 입수부
1630 : 사용자 발성 정보 제공 요청부
1640 : 사용자 발성 정보 입수부
1650 : 생성 정보 제공부
1700 : 특화 정보 처리부
1710 : 공명점 생성부
1720 : 조음 위치 생성부
1730 : 위치 표시 정보 처리부
1800 : 통신 지원부
2000 : 사용자 단말기
5000 : 유무선 네트워크
101 : 구개
102 : 입술
103 : 혀
104 : 목구멍
105 : 치아
106 : 성대
111 : 기류 표시 이미지
112 : 공명점 표시 이미지
113 : 공명 표시 이미지
114 : 구개 접촉 부위 표시 이미지
115 : 사용자 발성 공명점 정보 표시
116 : 근육 긴장 표시 수단
121 : 모음 사각도 이미지
131 : 참조 언어 발음 대상에 대한 혀의 외곽선에 대한 강조 표시
132 : 목표 언어 발음 대상에 대한 혀의 외곽선에 대한 강조 표시
133 : 참조 언어 발음 대상에 대한 조음점
134 : 목표 언어 발음 대상에 대한 조음점
135 : 참조 언어의 권장 공명점과 목표 언어의 권장 공명점간의 위치적 차이를 나타내는 표현 수단
Claims (23)
- 발음 학습 지원 시스템의 정보 처리 방법에 있어서,
상기 발음 학습 지원 시스템이
(A1) 제1 투시 방향을 기준으로 영상 처리되며, 발음 대상에 대한 적어도 2 이상의 조음 기관의 내부 이미지가 포함된 제1 3차원 영상 정보를 제공하는 단계; 및
(B1) 제1 투시 방향과 기 설정된 각도만큼 차이가 나는 적어도 하나 이상의 제2 투시 방향을 기준으로 영상 처리되며, 상기 발음 대상에 대한 적어도 2 이상의 조음 기관의 내부 이미지가 포함된 적어도 하나 이상의 제2 3차원 영상 정보를 제공하는 단계;를 포함하며,
상기 조음 기관의 내부 이미지는 구강 내의 혀 이미지에 대한 3 차원 이미지를 포함하는 것이며,
상기 조음 기관의 내부 이미지는 상기 발음 대상의 발음의 진행에 따라 시간적 변동이 발생하는 것인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 1항에 있어서,
상기 각도의 차이는 평면각 및 입체각 중에서 선택되는 어느 하나 이상에서의 차이인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 1항에 있어서,
상기 (A1) 단계 및 상기 (B1) 단계의 상기 제1 3차원 영상 정보 및 상기 제2 3차원 영상 정보에서는
상기 발음 대상의 발성에 대응되는 기류 표시 이미지가 더 포함되어 있는 것이며,
상기 기류 표시 이미지는 상기 발음 대상의 발음의 진행에 따라 시간적으로 형상이 변동되는 것인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 3항에 있어서,
상기 기류 표시 이미지는 제1 종 기류 표시 이미지 및 제2 종 기류 표시 이미지 중 어느 하나 이상으로 구성되며,
상기 제1 종 기류 표시 이미지는 시각적으로 독립되어 제시되는 적어도 2개 이상의 부분 기류 표시 이미지를 포함하는 것이며,
상기 제2 종 기류 표시 이미지는 단일 개체성이 유지되는 부분 기류 표시 이미지인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 1항에 있어서,
상기 (A1) 단계 및 상기 (B1) 단계의 상기 제1 3차원 영상 정보 및 상기 제2 3차원 영상 정보 중 어느 하나 이상에서는 권장 공명점 대응 이미지 및/또는 권장 조음 위치 대응 이미지가 포함되어 있는 것인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 5항에 있어서,
상기 권장 공명점 대응 이미지 및/또는 권장 조음 위치 대응 이미지는 발음 대상의 발음의 진행에 따라 위치 및 모양 중 어느 하나 이상에서 변동이 발생하는 것인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 3항에 있어서,
상기 기류 표시 이미지는 구강 내에서의 기류의 변화, 공기의 압력, 강도 또는 공기의 집중을 반영하여 형상이 변경되는 것인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 1항에 있어서,
상기 발음 대상은 음소, 음절, 단어 및 단어열 중 어느 하나인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 1항에 있어서,
상기 제2 투시 방향은 2 종류 이상인 것이며,
상기 제2 투시 방향이 2 종류 이상일 경우, 상기 (B1) 단계는 각 투시 방향에 대하여, 상기 발음 대상에 대한 적어도 2 이상의 조음 기관의 내부 이미지가 포함된 적어도 하나 이상의 제2 3차원 영상 정보를 제공하는 것인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 1항에 있어서,
상기 제1 3차원 영상 정보 및 상기 제2 3차원 영상 정보 중 어느 하나 이상에는 상기 발음 대상의 발음의 진행에 따라 형태가 변동되는 형태 변동 조음 기관만이 표시되는 것이거나,
상기 형태 변동 조음 기관의 상대적 위치에 대한 시각적 인지를 지원하는 시각적 인지 지원 조음 기관과 상기 상기 형태 변동 조음 기관만이 표시되는 것인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 1항에 있어서,
(C1) 상기 제1 3차원 영상 정보와 상기 제2 3차원 영상 정보를 1개의 사용자 단말기의 디스플레이 장치에 동시에 표시되도록 제공하는 단계;를 포함하는 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - (D1-1) 적어도 하나 이상의 사용자 단말기 또는 상기 사용자 단말기의 기 설정된 적어도 하나 이상의 사용자 단말기 기능 모듈로부터 발음 대상에 대한 입력 정보를 입수 받는 단계; 및
(D1-2) 상기 사용자 단말기 또는 상기 사용자 단말기 기능 모듈로 상기 입력 정보를 입수 받은 발음 대상에 대하여 상기 (A1) 단계 및 상기 (B1) 단계를 실시하는 단계;를 더 포함하는 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - (D1-3) 적어도 하나 이상의 사용자 단말기 또는 상기 사용자 단말기의 기 설정된 적어도 하나 이상의 사용자 단말기 기능 모듈로부터 적어도 하나 이상의 투시 방향에 대한 선택 정보를 입수 받는 단계; 및
(D1-4) 상기 사용자 단말기 또는 상기 사용자 단말기 기능 모듈로 상기 선택 정보를 입수 받은 투시 방향을 기준으로 발음 대상에 대한 적어도 2 이상의 조음 기관의 내부 이미지가 포함된 3차원 영상 정보를 제공하는 단계 ;를 더 포함하는 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 1항에 있어서,
상기 3차원 영상 정보에는 접촉부 대응 이미지가 더 포함되는 것인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 1항에 있어서,
상기 3차원 영상 정보는
단일 레이어로 구성되거나,
상기 조음 기관 내부 이미지를 표시하는 레이어를 필수적으로 포함하고, 기류 표시 이미지를 표시하는 레이어, 권장 공명점 대응 이미지 및/또는 권장 조음 위치 대응 이미지를 표시하는 레이어 및 접촉부 대응 이미지를 표시하는 레이어 중에서 선택되는 하나 이상의 레이어를 더 포함하는 것이거나,
상기 조음 기관 내부 이미지를 표시하는 레이어 및 기류 표시 이미지, 권장 공명점 대응 이미지 및/또는 권장 조음 위치 대응 이미지 및 접촉부 대응 이미지 중에서 선택되는 어느 하나 이상이 포함되어 표시되는 레이어를 포함하는 방식으로 구성되는 것인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 1항에 있어서,
상기 발음 학습 지원 시스템은 적어도 하나 이상의 사용자 단말기와 유무선으로 통신하는 서버에 존재하는 것이거나,
사용자 단말기 내에 존재하는 것이거나,
상기 사용자 단말기 내에서 구동되는 적어도 하나 이상의 기능 모듈에 존재하는 것인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 1항에 있어서,
(E1-1) 사용자 또는 사용자 단말기로부터 사용자 발성 정보를 입수 받는 단계;
(E1-2) 상기 발성 정보로 사용자 발성 처리 공명점 정보를 생성하는 단계;및
(E1-3) 상기 사용자 발성 처리 공명점 정보가 상기 3차원 영상에 표시되게 처리하는 단계;를 포함하는 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 17항에 있어서,
상기 사용자 발성 처리 공명점 정보의 생성은 포멘트 주파수 중 가장 낮은 2개의 주파수를 처리하여 생성되는 것인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 1항에 있어서,
상기 (A1) 단계 및 상기 (B1) 단계는
각 단계마다 독립되어 저장되어 있는 디지털 파일 또는 투시 방향마다 독립되어 저장되어 있는 디지털 파일에 대응되어 실시되는 것인 것이며,
상기 발음 대상에 대한 청각적 정보는 상기 디지털 파일에 포함되어 저장되어 있거나, 상기 디지털 파일과 독립된 음성 파일에 저장되는 것이며,
상기 독립된 음성 파일은 상기 디지털 파일과 동기화되어 제공되거나, 동기화되어 재생되는 것인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 1항에 있어서,
상기 (A1) 단계 및 상기 (B1) 단계는 단일한 1개의 디지털 파일에 대응되어 실시되는 것인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제 1항에 있어서,
(F1) 상기 (A1) 단계 및 상기 (B1) 단계가 실시 될 때, 상기 발음 대상에 대한 청각적 발성 정보를 제공하는 단계;를 더 포함하며,
상기 청각적 발성 정보는 상기 발음 대상의 발음의 진행에 따라 상기 조음 기관의 내부 이미지와 동기화되어 제공되는 것인 것을 특징으로 하는 발음 학습 지원 시스템의 정보 처리 방법. - 제1항 내지 제18항 중 어느 한 항의 방법을 실시하며 컴퓨터가 읽을 수 있는 프로그램을 포함하는 것을 특징으로 하는 기록 매체.
- 제1항 내지 제15항 중 어느 한 항의 방법을 실시하며,
발음 대상별 적어도 2 이상의 투시 방향별 3차원 영상 정보를 포함하고 있는 발음 대상별 3차원 영상 정보 DB;
상기 발음 대상별로 투시 방향별 3차원 영상 발음 정보를 맵핑 처리하는 기능을 수행하는 3차원 영상 맵핑 처리 모듈;및
상기 발음 대상별로 기 설정된 적어도 2 이상의 3차원 영상 정보의 제공을 제어하는 기능을 수행하는 파노라마 영상 제공 모듈;을 포함하는 것을 특징으로 하는 특징으로 하는 발음 학습 지원 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20130163530 | 2013-12-26 | ||
| KR1020130163530 | 2013-12-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150076125A true KR20150076125A (ko) | 2015-07-06 |
Family
ID=53479228
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140188817A KR20150076125A (ko) | 2013-12-26 | 2014-12-24 | 3차원 파노라마 멀티 앵글 투시 영상 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 |
| KR1020140188818A KR20150076126A (ko) | 2013-12-26 | 2014-12-24 | 동적 발음 지원 시각화 수단을 포함하는 활용 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 |
| KR1020140188820A KR20150076128A (ko) | 2013-12-26 | 2014-12-24 | 3차원 멀티미디어 활용 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 |
| KR1020140188819A KR20150076127A (ko) | 2013-12-26 | 2014-12-24 | 이종 언어 비교 발음 지원 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140188818A KR20150076126A (ko) | 2013-12-26 | 2014-12-24 | 동적 발음 지원 시각화 수단을 포함하는 활용 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 |
| KR1020140188820A KR20150076128A (ko) | 2013-12-26 | 2014-12-24 | 3차원 멀티미디어 활용 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 |
| KR1020140188819A KR20150076127A (ko) | 2013-12-26 | 2014-12-24 | 이종 언어 비교 발음 지원 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20160321953A1 (ko) |
| KR (4) | KR20150076125A (ko) |
| WO (1) | WO2015099464A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102019613B1 (ko) | 2018-12-13 | 2019-09-06 | 김대호 | 혀 운동성에 기반한 발음 연습 및 학습 방법 |
| KR102495698B1 (ko) * | 2022-01-24 | 2023-02-06 | 주식회사 하이 | 신경언어장애를 개선하는 방법 및 장치 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109756727B (zh) * | 2017-08-25 | 2021-07-20 | 华为技术有限公司 | 信息显示方法及相关设备 |
| US11594147B2 (en) * | 2018-02-27 | 2023-02-28 | Voixtek Vr, Llc | Interactive training tool for use in vocal training |
| KR102655791B1 (ko) | 2018-08-27 | 2024-04-09 | 삼성전자주식회사 | 화자 인증 방법, 화자 인증을 위한 학습 방법 및 그 장치들 |
| CN111047922A (zh) * | 2019-12-27 | 2020-04-21 | 浙江工业大学之江学院 | 一种发音教学方法、装置、系统、计算机设备和存储介质 |
| CN111445925A (zh) * | 2020-03-31 | 2020-07-24 | 北京字节跳动网络技术有限公司 | 用于生成差异信息的方法和装置 |
| KR102480607B1 (ko) * | 2021-01-11 | 2022-12-23 | 정가영 | 인토네이션, 스트레스 및 리듬을 표기한 영어 말하기 학습 서비스 제공 시스템 |
| KR102355960B1 (ko) * | 2021-04-12 | 2022-02-08 | 주식회사 미카 | 자격조건검증 기반 한국어 교육 서비스 제공 시스템 |
| WO2023007509A1 (en) * | 2021-07-27 | 2023-02-02 | Indian Institute Of Technology Bombay | Method and system for time-scaled audiovisual feedback of speech production efforts |
| KR102582716B1 (ko) * | 2021-12-07 | 2023-09-22 | 이수연 | 훈민정음 창제원리를 이용한 한국어발음교정 시스템 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000250402A (ja) * | 1999-03-01 | 2000-09-14 | Kono Biru Kk | 外国語の発音学習装置及び外国語発音学習用データを記録した記録媒体 |
| JP2008158055A (ja) * | 2006-12-21 | 2008-07-10 | Sumitomo Cement Computers Systems Co Ltd | 言語発音練習支援システム |
| KR20100016704A (ko) * | 2008-08-05 | 2010-02-16 | 김상도 | 단어와 그림의 저장 방법 및 이 데이터 베이스를 이용하는인터넷 외국어 학습 방법 |
| KR20100138654A (ko) * | 2009-06-25 | 2010-12-31 | 유혜경 | 외국어 발음 학습 장치 및 방법 |
| KR101329999B1 (ko) * | 2009-10-29 | 2013-11-20 | 조문경 | 음성분석기술을 이용한 시각적 영어 발음 교정시스템 및 교정법 |
| KR20150024180A (ko) * | 2013-08-26 | 2015-03-06 | 주식회사 셀리이노베이션스 | 발음 교정 장치 및 방법 |
| CN105792752B (zh) * | 2013-10-31 | 2021-03-02 | P-S·哈鲁塔 | 用于诊断和治疗语言相关障碍的计算技术 |
-
2014
- 2014-12-24 KR KR1020140188817A patent/KR20150076125A/ko not_active Application Discontinuation
- 2014-12-24 US US15/108,318 patent/US20160321953A1/en not_active Abandoned
- 2014-12-24 KR KR1020140188818A patent/KR20150076126A/ko not_active Application Discontinuation
- 2014-12-24 KR KR1020140188820A patent/KR20150076128A/ko not_active Application Discontinuation
- 2014-12-24 KR KR1020140188819A patent/KR20150076127A/ko not_active Application Discontinuation
- 2014-12-24 WO PCT/KR2014/012850 patent/WO2015099464A1/ko active Application Filing
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102019613B1 (ko) | 2018-12-13 | 2019-09-06 | 김대호 | 혀 운동성에 기반한 발음 연습 및 학습 방법 |
| KR102495698B1 (ko) * | 2022-01-24 | 2023-02-06 | 주식회사 하이 | 신경언어장애를 개선하는 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150076127A (ko) | 2015-07-06 |
| KR20150076126A (ko) | 2015-07-06 |
| KR20150076128A (ko) | 2015-07-06 |
| US20160321953A1 (en) | 2016-11-03 |
| WO2015099464A1 (ko) | 2015-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20150076125A (ko) | 3차원 파노라마 멀티 앵글 투시 영상 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 | |
| Lambacher | A CALL tool for improving second language acquisition of English consonants by Japanese learners | |
| US6865533B2 (en) | Text to speech | |
| US6963841B2 (en) | Speech training method with alternative proper pronunciation database | |
| JPH075807A (ja) | 合成を基本とした会話訓練装置 | |
| JPS63157184A (ja) | 発音訓練装置 | |
| JP2003186379A (ja) | 音声可視化処理のためのプログラム、音声可視化図形表示と音声及び動画像の再生処理のためのプログラム、及び訓練結果表示のためのプログラム、並びに発声発話訓練装置及びコンピュータ・システム | |
| Story | History of speech synthesis | |
| Engwall et al. | Design strategies for a virtual language tutor | |
| Demenko et al. | The use of speech technology in foreign language pronunciation training | |
| Czap et al. | Features and results of a speech improvement experiment on hard of hearing children | |
| Karpov et al. | Multimodal synthesizer for Russian and Czech sign languages and audio-visual speech | |
| KR20150075502A (ko) | 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 | |
| Granström | Towards a virtual language tutor | |
| JPH03273280A (ja) | 発声練習用音声合成方式 | |
| Athanasopoulos et al. | King's speech: pronounce a foreign language with style | |
| Öster | Computer-based speech therapy using visual feedback with focus on children with profound hearing impairments | |
| Demenko et al. | An audiovisual feedback system for acquiring L2 pronunciation and L2 prosody. | |
| Granström | Speech technology for language training and e-inclusion. | |
| Rathinavelu et al. | Evaluation of a computer aided 3D lip sync instructional model using virtual reality objects | |
| JP2908720B2 (ja) | 合成を基本とした会話訓練装置及び方法 | |
| Demenko et al. | Applying speech and language technology to foreign language education | |
| JPH1195653A (ja) | 英語の発音習得方法 | |
| Gómez et al. | Applications of formant detection in language learning | |
| WO2023007509A1 (en) | Method and system for time-scaled audiovisual feedback of speech production efforts |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |