KR20150076128A - 3차원 멀티미디어 활용 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법 - Google Patents

Abstract

본 발명의 3차원 멀티미디어 활용 발음 학습 지원 시스템은 (a) 발음 대상별로 해당 발음에 대한 발성 시 구강 내부의 공간을 통해 흐르는 기류의 세기 및 방향 정보를 포함하는 권장 기류 정보 데이터 및 해당 발음에 대한 발성 시 공명이 발생하는 조음 기관 상의 위치 정보를 포함하는 권장 공명점 정보 데이터 중 적어도 일부를 획득하는 단계; 및 (b) 상기 발음 대상 중 특정 발음 대상이 선택되면, 상기 특정 발음 대상에 대응되는 특정 권장 기류 정보 데이터를 제1 투시 방향을 기준으로 제공되는 영상 내의 구강 내부의 공간에 표시하는 프로세스 및 상기 특정 발음 대상에 대응되는 특정 권장 공명점 정보 데이터를 상기 제1 투시 방향을 기준으로 제공되는 영상 내의 조음 기관 상의 특정 위치에 표시하는 프로세스 중 적어도 하나를 처리하여 영상을 제공하는 단계;를 포함하는 방식으로 정보 처리하는 것이 특징이다.

Description

3차원 멀티미디어 활용 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법{System and method on education supporting of pronunciation ussing 3 dimensional multimedia}

본 발명은 3차원 멀티미디어 활용 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법에 관한 것으로 더욱 더 상세하게는 조음 기관 내부의 3차원 영상 이미지 상에서의 정확하고 효율적인 발음 학습을 위한 발음 학습 지원 수단을 포함하는 3차원 멀티미디어 활용 발음 학습 지원 시스템 및 그 시스템의 발음 학습 지원 방법에 관한 것이다.

최근 들어 산업의 전문화와 국제화의 추세에 따라 각 분야별로 필요한 외국어 학습에 대한 중요성이 날로 커지고 있고, 이러한 중요성에 따라 많은 사람들이 외국어 학습에 많은 시간을 할애하고 있으며, 이에 발맞추어 다양한 온-오프라인 외국어 강좌들이 개설되고 있다.

외국어 학습의 다양한 영역 중에 문법 및 어휘학습의 경우는 모국어와 외국어에 정확한 의미 및 구조상의 차이를 문서화 된 서적 등을 통해서 이해하기가 용의하지만 의사소통의 가장 기본적인 수단 중 하나인 발음 학습의 경우에는 학습하는 외국어의 특정 발음들이 모국어에 존재 하지 않으면 정확하게 모방하여 말하기가 어렵고 또한 영어의 경우에는 영어를 모국어로 하는 각 국가 마다 특정 음소들은 발음하는 방식에 차이가 있고 또한 철자를 소리내는 규칙(phonics)에도 차이가 존재하기 때문에 문서화된 학습 자료가 어떠한 국가의 영어 발음으로 표기가 되었고 기술되었느냐에 따라서 내용이 상이할 수가 있다. 영어가 모국어라고 할 지라도 이러한 각 국가별 발음 차이 및 출신지 역 특유의 방언(dilect) 및 액센트(accent)의 차이를 정확하게 이해하지 못하고 학습하게 되면 대화 시에 정확한 정보를 전달하고 이해하는데 어려움이 있을 수 있다. 이러한 이유로 인하여 영어 발음 학습의 경우는 초기 학습 때부터 전세계적으로 사용빈도가 가장 높은 북미식 또는 영국식 발음 등을 정확한 표준 영어 발음으로 학습하는 것이 학습 효율성을 배가시키는데 중요시 되고 있으며 그러한 이유로 학령전 유아기 때부터 이러한 정확한 외국어의 input과 output 능력을 형성하기 위하여 영어 유치원, 영어 학원 및 재택 방문 1:1 파닉스(Phonics) 학습 등을 통해서 막대한 지출이 소요되는 실정이다.

또한 국제화 정책의 일환 인하여 국내의 외국인 거주자 및 이민자의 수도 지속적으로 증가하고 있는 추세이며 이에 따라서 대한민국 국적을 취득하거나 취득하려고 하는 외국인들의 수도 지속적으로 증가하고 있다. 하지만 이러한 외국인들이 한국어를 학습할 때도 마찬가지로 한국어의 소리 체계와 각 외국인들의 모국에의 소리체계의 차이에 대한 이해가 필요하며 한국어에 있는 특정한 발음들이 한국어를 학습하는 외국인의 모국어에 비슷한 소리가 존재 하지 않는다면 그들 또한 한국어 발음학습 및 한국어로의 의사소통에 어려움을 겪을 수 있다. 이러한 한국어 발음 학습 시의 어려움은 국내에 거주하는 성인 외국인 거주자 및 이민자 뿐만 아니라 이러한 이민자수의 증가에 따라 지속적으로 증가하고 있는 국제 결혼율 및 국제 결혼을 통한 한국 국적의 2세 자녀들이 모국어로 한국어를 배울때도 어려움을 겪고 있다. 하지만 이러한 언어학습시의 어려움을 극복하기 위하여 양성되는 언어 전문가의 인력은 지극히 제한되어 있고 언어학습을 위한 비용 지출은 저소득층 외국인 이민자 가족들에게는 큰 부담이 될 수 있으며 이에 따라 이러한 외국인 언어 학습자들이 저렴한 비용으로 효율적으로 표준 한국어 발음을 학습하기 위한 수단 및 매체의 개발이 시급한 실정이다.

또한 일반적으로 발음이나 발음에 대한 교정은 외국인 강사와의 1:1 지도방식에 의해 이루어지고 있는데, 이 경우 영어 학습에 많은 비용이 소요된다는 문제점이 있으며, 특별히 정해진 시간에 교육이 이루어지기 때문에 직장인 등과 같은 바쁜 일상생활을 영위하는 사람들에게는 그 학습에의 참여가 극히 제한적이라는 문제점이 있었다.

따라서 유휴 시간에 혼자서도 효과적으로 영어에 대한 발음이나 발성 등을 학습하고, 원어민의 발음과 비교 평가하는 프로그램 등을 필요로 하게 되었다.

이러한 요구에 부응하기 위하여 현재에는 음성 인식 또는 음성 파형분석을 이용한 다양한 어학용 프로그램들을 탑재한 어학용 학습기가 개발되어 보급되고 있다.

상기와 같은 어학용 학습기의 영어 발음 평가방법은 음성 신호 처리기술을 이용한 발음 비교방법에 의하며, 여기에는 은닉 마코브 모델(Hidden Markov Model, 이하 HMM 이라 함)을 이용하여 학습자의 발음을 인식한 후, 이를 원어민의 음성과 비교하여 그 결과를 알려주는 프로그램들을 이용하여 실시하고 있다.

하지만, 상기와 같은 프로그램을 탑재한 학습기들은 입력된 학습자의 음성을 상기 프로그램에 의해 원어민의 발음과 단순히 비교 평가하여 그 결과를 점수로 학습자에게 제공하는 것이 대부분이었다.

또한, 학습자는 표시된 점수로 자신의 발음이 얼마나 정확한지를 개략적으로 알 수 있지만, 모음/자음 발음, 강세, 억양에 대한 각 분야별로 비교할 수 있는 수단이 없어 자신의 모음/자음 발음, 강세, 억양이 원음과 얼마나 다르며, 어디가 틀렸는지 정확히 인식할 수 없다.

따라서 발음교정이 비효율적으로 진행되는 결과를 초래하고, 학습자가 영어를 정확하게 발음하도록 유도하는데 어려움이 있으며, 이로 인해 발음교정에 한계가 있는 등 영어 발음을 교정하는데 상당한 노력과 투자가 요구되는 문제점이 있다.

또한 학습하고자 하는 제2 언어의 원어민의 음성과 학습자의 음성의 파형을 비교 분석 하는 경우에도 두 파형 자체 비교로는 발성과 조음시점에 대한 두 파형의 정확한 시간적 동기화가 어렵고 각 음성 파형의 강도 (intensity) 및 음높이(pitch)의 운율(prosody) 변화와 같은 초분절적인(supra segmental aspect of speech) 요소들이 음성신호의 구현에 영향을 미치기 때문에 이러한 초분절적인 요소들이 학습자의 음성신호와 비교대상 원어민 음성신호에 차이가 없을 때만이 정확한 비교 분석이 가능하다. 그렇기 때문에 실제로 이러한 음성파형 비교 분석시에 제 2외국어의 발음과 학습자의 제2 외국어 발음 상(segmental aspect of speech)의 차이를 정확하게 평가하기 위해서는 기 녹음된 제 2언어 원어민의 음성파일과 비교대상인 학습자의 음성신호의 파형의 평균적인 피크 값의 크기 및 파형이 재생되는 길이 및 발성기관인 성대의 1초당 총 진동 회수를 기준으로한 기본진동수 (fundamental frequency: F0)의 값이 유사하여야 한다는 제한이 있다.

또한, 음성인식 또는 음성 파형 비교 분석의 경우는 기 녹음되어 있는 원음과 학습자의 비교대상 음성을 녹음 및 분석을 위한 디지털 신호처리 과정에서 다양한 왜곡요소가 생길 수 있다. 음성 녹음시 신호대 잡음비(signal to noise ratio) 및 음성신호 녹음시 강도의 과부하에 따른 왜곡 및 이러한 과부하에 따른 왜곡을 방지하기 위한 신호의 강도에 따른 압축에 대한 압축비율(compression ratio) 밑 음성신호 강도의 압축 개시 임계점(threshold) 설정 값에 따른 음성 신호의 변화 및 디지털 신호로의 변화시에 표본화 주파수(sampling frequency rate) 설정 및 양자화 (qualtatization) bit 계수 설정에 따라서 음성신호가 구현되는 값은 다양하게 변할 수 있다. 따라서 두 비교대상 음원의 녹음 및 디지털 신호 처리과정에서의 상기 명시한 신호처리 방식의 차이가 상이 할 경우에는 정확한 차이를 비교분석해서 평가하는데 어려움이 따를 수 있다.

이러한 이유로 초기 발음학습은 강세, 리듬, 연음, 억양, 유창성 등 다양한 요소가 소리의 변화에 영향을 미치는 단어, 문장, 단락 등의 발화수준에서 음소발음의 원리를 터득하는 하향식 발음 학습 (Top-down processing) 보다는 각 발음기호(음소)의 정확한 표준 발음을 숙지한 상태에서 강세(stress) 및 동시조음(coarticulation)에 따른 소리의 변화를 이해하며 단어에 적용시고 연음, 억양, 리듬에 다양한 규칙을 학습하면서 문장으로 확장하여 적용하는 상향식 학습법 (bottom-up processing) 이 더욱 효율적인 학습법으로 인정받고 있고 이에 따라 특정언어의 음소단계 즉 각 발음기호의 정확산 발음학습의 중요성이 대두 되고 있다.

기존의 음소단위의 발음학습 도구 및 장치의 경우는 단순히 인체 외부에서 보이는 안면근육 및 구강 밖에서 안쪽으로 바라본 혀의 정면도를 이미지화 하여 보여주고 있으며 또한 실제로 구강 및 비강내에 조음, 발성기관의 움직임을 시뮬레이션한 이미지의 경우도 혀의 위치 및 움직임의 변화 정도를 보여줄 뿐 및 발성 공명의 위치 및 원리 발음시의 공기 기류의 흐름의 변화등 원어민의 발음을 모방하여 학습하기에는 한계가 있는 경우가 많았다.

이에, 인체 외부에서는 확인하기 어려운 구강내부에서의 특정발음시의 모든 조음기관의 움직임은 물론 공기 기류의 흐름 및 조음위치 및 공명점을 표기하고 다양한 각도에서 조음, 발성, 공명이 일어난느 위치를 표시함으로서 학습자가 발음을 이해하는데 용의하도록 설계할 필요가 요청되어 왔다.

국내공개특허공보 제10-2012-0040174 A1

본 발명은 상기 문제점을 해결하기 위한 것으로, 본 발명의 일 실시예에 따른 발음 학습 지원 시스템이 소정의 사용자 단말 장치 또는 서버에 포함될 수 있으며, 상기 발음 학습 지원 시스템에 포함되거나 연동되는 영상 센서가 상기 발음 학습 지원 시스템을 이용하는 사용자의 시선 방향을 인식하거나 얼굴의 방향을 인식하면, 인식된 방향을 참조로 하여 결정된 제1 투시 방향에서 바라본 상태의 발음 학습 관련 영상을 제공할 수 있도록 상기 발음 학습 지원 시스템에 포함되거나 연동되는 이미지 프로세싱 장치가 이미지 프로세싱 작업을 처리하도록 함으로써, 사용자가 간편하게 언어 학습의 전문적인 데이터 내용을 다양한 각도의 영상을 통해 제공 받을 수 있는 사용자 편의적인 유저 인터페이스를 구현할 수 있다.

또한, 상기 발음 학습 지원 시스템은 자신이 포함하거나 접근 가능한 데이터베이스를 관리할 수 있는데, 상기 데이터베이스에는 발음 대상별로 해당 발음에 대한 발성 시 구강 내부의 공간을 통해 흐르는 기류의 세기 및 방향 정보를 포함하는 권장 기류 정보 데이터 및 해당 발음에 대한 발성 시 공명이 발생하는 조음 기관 상의 위치 정보를 포함하는 권장 공명점 정보 데이터 중 적어도 일부가 기록될 수 있으며, 상기 발음 학습 지원 시스템은 상기 데이터베이스에 기록된 권장 기류 정보 데이터 및 권장 공명점 정보 데이터 중 적어도 일부를 소정 조건에 따라 상기 데이터베이스로부터 획득하고 이미지 프로세싱 장치를 통해 이를 영상에 표시하여 제공함으로써, 상기 발음 학습 지원 시스템의 사용자가 보다 편리하게 각종 언어에 대한 발음 학습을 매우 체계적이고 전문적으로 익힐 수 있도록 지원할 수 있다.

또한, 상기 발음 학습 지원 시스템은 복수의 피험자를 대상으로 발음 대상별로 발성 정보를 획득하고 상기 발성 정보별로 획득한 발성 정보에 대하여 주파수 분석을 수행하거나 이를 지원할 수 있는데, 이와 같은 주파수 분석을 수행하기 위하여 상기 발음 학습 지원 시스템은 오디오 센서의 일종인 주파수 분석 장치를 포함하거나 이와 연동될 수 있을 것이며, 상기 주파수 분석 장치는 포먼트 주파수 중 가장 낮은 두 개의 주파수인 F1 및 F2를 추출해낼 수 있으며 이와 같이 추출된 F1 및 F2 주파수 값을 참조로 하여 상기 권장 공명점 정보 데이터를 발성 정보별로 획득하고 이와 같이 획득된 데이터가 상기 데이터베이스 상에 기록되도록 함으로써, 상기 발음 학습 지원 시스템을 이용하는 사용자가 매우 합리적이고 정확한 발성 정보를 발음 대상별로 시청할 수 있도록 지원할 수 있다.

상기 발음 학습 지원 시스템은 사용자의 특정 발음 대상에 대한 발성을 감지하기 위하여 오디오 센서를 포함하거나 이와 연동될 수 있으며, 상기 오디오 센서를 사용하여 사용자의 상기 특정 발음 대상에 대한 실제 공명점 정보 데이터를 획득할 수 있는데, 상기 실제 공명점 정보 데이터를 제1 투시 방향을 기준으로 제공되는 영상 내의 조음 기관 상의 해당 위치에 표시할 때 이미지 프로세싱 장치가 동작되도록 함으로써 상기 데이터베이스에 기록된 특정 권장 공명점 정보 데이터를 상기 제1 투시 방향을 기준으로 제공되는 영상 내의 조음 기관 상의 해당 위치에 구별하여 표시함으로써, 사용자가 자신의 발음에 따른 실제 공명점 정보와 데이터베이스에 기록되어 있는 권장 공명점 정보를 한 눈에 간편하게 비교해 볼 수 있도록 지원할 수 있다.

또한, 상기 이미지 프로세싱 장치는 상기 조음 기관 중 적어도 일부를 서로 다른 레이어로 처리되도록 하기 위하여 메타데이터를 참조할 수 있으며, 상기 메타데이터는 이미지 프로세싱 장치가 직접 포함하여 관리하고 있거나 소정의 데이터베이스에 접근하여 획득하여 참조할 수 있도록 함으로써, 상기 발음 학습 지원 시스템의 사용자가 본인이 발음하는 특정 발음 대상의 발성에 사용되는 조음 기관만을 활성화시켜 영상에 포함되도록 하여 사용자의 흥미와 언어 학습의 효과를 증진시킬 수 있다.

또한, 본 발명은 상기 문제점을 해결하기 위한 것으로, 본 발명의 다른 실시예에 따른 발음 학습 지원 시스템이 소정의 사용자 단말 장치 또는 서버에 포함될 수 있으며, 상기 발음 학습 지원 시스템에 포함되거나 연동되는 이미지 프로세싱 장치가 (i) 특정 발음 대상에 대응되어 있는 특정 준비 데이터에 포함되어 있는 구강 내부의 공간의 상태 및 조음 기관의 상태에 대한 정보를 표시하여 준비 구강 영상 정보를 제공하는 프로세스, (ii) 상기 특정 발음 대상에 대응되어 있는 특정 권장 기류 정보 데이터 및 특정 권장 공명점 정보 데이터 중 적어도 일부를 구강 내부의 공간 및 조음 기관 상의 적어도 일부의 위치에 표시하여 발성 구강 영상 정보를 제공하는 프로세스, (iii) 상기 특정 발음 대상에 대응되어 있는 특정 후속 데이터에 포함되어 있는 구강 내부의 공간의 상태 및 조음 기관의 상태에 대한 정보를 표시하여 후속 구강 영상 정보를 제공하는 프로세스를 처리하여 영상을 제공함으로써, 사용자로 하여금 특정 발음 대상에 대한 준비 과정부터 본 과정, 후속 과정에 이르기까지 정확한 발음 학습을 할 수 있도록 지원할 수 있다.

상기 발음 학습 지원 시스템은 (i) 발음 대상별로 해당 발음 대상이 발성되기 전의 구강 내부의 공간의 상태 및 조음 기관의 상태에 대한 정보를 포함하는 준비 데이터 중 적어도 일부를 획득하고, (ii) 해당 발음에 대한 발성 시 상기 구강 내부의 공간을 통해 흐르는 기류의 세기 및 방향 정보를 포함하는 권장 기류 정보 데이터 및 해당 발음에 대한 발성 시 공명이 발생하는 조음 기관 상의 위치 정보를 포함하는 권장 공명점 정보 데이터 중 적어도 일부를 획득하고, (iii) 해당 발음 대상이 발성된 후의 상기 구강 내부의 공간의 상태 및 상기 조음 기관의 상태에 대한 정보를 포함하는 후속 데이터 중 적어도 일부를 획득하기 위하여, 각 언어별, 사람의 성별, 연령별로 모음 발음 시에 구강 내에 공명이 일어날 수 있는 범위를 계산하기 위한 오디오 센서를 포함하거나 이와 연동될 수 있는데, 상기 오디오 센서는 상기 계산된 공명이 일어날 수 있는 범위의 평균값을 계산할 수 있고, 상기 계산된 평균값을 참조로 하여 소정의 구획이 설정되도록 함으로써, 이미지 프로세싱 장치가 상기 구획 정보를 바탕으로 하여 모음 사각도를 생성하여 이를 영상에 포함시켜 제공할 수 있도록 지원하고, 이를 통해 사용자가 공명 발생의 정확한 위치를 제공 받음으로써 언어 학습의 전문적인 정보를 정확하게 제공 받을 수 있게 할 수 있다.

또한, 상기 발음 학습 지원 시스템은 복수의 피험자를 대상으로 발음 대상별로 발성 정보를 획득하고 상기 발성 정보별로 획득한 발성 정보에 대하여 주파수 분석을 수행하거나 이를 지원할 수 있는데, 이와 같은 주파수 분석을 수행하기 위하여 상기 발음 학습 지원 시스템은 오디오 센서의 일종인 주파수 분석 장치를 포함하거나 이와 연동될 수 있을 것이며, 상기 주파수 분석 장치는 포먼트 주파수 중 가장 낮은 두 개의 주파수인 F1 및 F2를 추출해낼 수 있으며 이와 같이 추출된 F1 및 F2 주파수 값을 참조로 하여 상기 권장 공명점 정보 데이터를 발성 정보별로 획득하고 이와 같이 획득된 데이터가 상기 데이터베이스 상에 기록되도록 함으로써, 상기 발음 학습 지원 시스템을 이용하는 사용자가 매우 합리적이고 정확한 발성 정보를 발음 대상별로 시청 및 청취할 수 있도록 지원할 수 있다.

상기 발음 학습 지원 시스템은 사용자의 특정 발음 대상에 대한 발성을 감지하기 위하여 오디오 센서를 포함하거나 이와 연동될 수 있으며, 상기 오디오 센서를 사용하여 사용자의 상기 특정 발음 대상에 대한 실제 공명점 정보 데이터를 획득할 수 있는데, 상기 실제 공명점 정보 데이터를 영상 내의 조음 기관 상의 해당 위치에 표시할 때 이미지 프로세싱 장치가 동작되도록 함으로써 상기 데이터베이스에 기록된 특정 권장 공명점 정보 데이터를 영상 내의 조음 기관 상의 해당 위치에 비교되도록 구별하여 표시함으로써, 사용자가 자신의 발음에 따른 실제 공명점 정보와 데이터베이스에 기록되어 있는 권장 공명점 정보를 한 눈에 간편하게 비교해 볼 수 있도록 지원할 수 있다.

또한, 상기 이미지 프로세싱 장치는 상기 조음 기관 중 적어도 일부를 서로 다른 레이어로 처리되도록 하기 위하여 메타데이터를 참조할 수 있으며, 상기 메타데이터는 이미지 프로세싱 장치가 직접 포함하여 관리하고 있거나 소정의 데이터베이스에 접근하여 획득하여 참조할 수 있도록 함으로써, 상기 발음 학습 지원 시스템의 사용자가 본인이 발음하는 특정 발음 대상의 발성에 사용되는 조음 기관만을 활성화시켜 영상에 포함되도록 하여 사용자의 흥미와 언어 학습의 효과를 증진시킬 수 있다.

또한, 본 발명은 상기 문제점을 해결하기 위한 것으로, 본 발명의 또 다른 실시예에 따른 발음 학습 지원 시스템이 소정의 사용자 단말 장치 또는 서버에 포함될 수 있으며, 상기 발음 학습 지원 시스템에 포함되거나 연동되는 이미지 프로세싱 장치가 (i) 상기 특정 목표 언어 발음 대상에 대응되는 제1 특정 권장 기류 정보 데이터를 구강 내부의 공간에 표시하는 프로세스 및 상기 특정 목표 언어 발음 대상에 대응되는 제1 특정 권장 공명점 정보 데이터를 조음 기관 상의 특정 위치에 표시하는 프로세스 중 적어도 하나를 처리하고, (ii) 상기 특정 참조 언어 발음 대상에 대응되는 제2 특정 권장 기류 정보 데이터를 구강 내부의 공간에 표시하는 프로세스 및 상기 특정 참조 언어 발음 대상에 대응되는 제2 특정 권장 공명점 정보 데이터를 조음 기관 상의 특정 위치에 표시하는 프로세스 중 적어도 하나를 처리하여 영상을 제공함으로써, 사용자가 목표 언어와 참조 언어의 발성 비교를 통하여 외국어의 발음을 정확하게 학습하도록 할 수 있다.

또한, 상기 발음 학습 지원 시스템은 복수의 피험자를 대상으로 발음 대상별로 발성 정보를 획득하고 상기 발성 정보별로 획득한 발성 정보에 대하여 주파수 분석을 수행하거나 이를 지원할 수 있는데, 이와 같은 주파수 분석을 수행하기 위하여 상기 발음 학습 지원 시스템은 오디오 센서의 일종인 주파수 분석 장치를 포함하거나 이와 연동될 수 있을 것이며, 상기 주파수 분석 장치는 포먼트 주파수 중 가장 낮은 두 개의 주파수인 F1 및 F2를 추출해낼 수 있으며 이와 같이 추출된 F1 및 F2 주파수 값을 참조로 하여 상기 권장 공명점 정보 데이터를 발성 정보별로 획득하고 이와 같이 획득된 데이터가 상기 데이터베이스 상에 기록되도록 함으로써, 상기 발음 학습 지원 시스템을 이용하는 사용자가 매우 합리적이고 정확한 발성 정보를 발음 대상별로 시청 및 청취할 수 있도록 지원할 수 있다.

상기 발음 학습 지원 시스템은 사용자의 특정 발음 대상에 대한 발성을 감지하기 위하여 오디오 센서를 포함하거나 이와 연동될 수 있으며, 상기 오디오 센서를 사용하여 사용자의 상기 특정 발음 대상에 대한 실제 공명점 정보 데이터를 획득할 수 있는데, 상기 실제 공명점 정보 데이터를 제1 투시 방향을 기준으로 제공되는 영상 내의 조음 기관 상의 해당 위치에 표시할 때 이미지 프로세싱 장치가 동작되도록 함으로써 상기 데이터베이스에 기록된 특정 권장 공명점 정보 데이터를 상기 제1 투시 방향을 기준으로 제공되는 영상 내의 조음 기관 상의 해당 위치에 비교되도록 구별하여 표시함으로써, 사용자가 자신의 발음에 따른 실제 공명점 정보와 데이터베이스에 기록되어 있는 권장 공명점 정보를 한 눈에 간편하게 비교해 볼 수 있도록 지원할 수 있다.

또한, 상기 이미지 프로세싱 장치는 상기 조음 기관 중 적어도 일부를 서로 다른 레이어로 처리되도록 하기 위하여 메타데이터를 참조할 수 있으며, 상기 메타데이터는 이미지 프로세싱 장치가 직접 포함하여 관리하고 있거나 소정의 데이터베이스에 접근하여 획득하여 참조할 수 있도록 함으로써, 상기 발음 학습 지원 시스템의 사용자가 본인이 발음하는 특정 발음 대상의 발성에 사용되는 조음 기관만을 활성화시켜 영상에 포함되도록 하여 사용자의 흥미와 언어 학습의 효과를 증진시킬 수 있다.

본 발명의 일 실시예에 따른 발음 학습 지원 시스템의 정보 처리 방법에 있어서, 상기 발음 학습 지원 시스템이 (a) 자신이 관리하고 있는 데이터베이스 또는 외부의 데이터베이스에 접근하여 발음 대상별로 해당 발음에 대한 발성 시 구강 내부의 공간을 통해 흐르는 기류의 세기 및 방향 정보를 포함하는 권장 기류 정보 데이터 및 해당 발음에 대한 발성 시 공명이 발생하는 조음 기관 상의 위치 정보를 포함하는 권장 공명점 정보 데이터 중 적어도 일부를 획득하는 단계; 및 (b) 상기 발음 대상 중 특정 발음 대상이 선택되면, 자신이 관리하고 있는 이미지 프로세싱 장치 또는 외부의 이미지 프로세싱 장치에 요청하여 상기 특정 발음 대상에 대응되는 특정 권장 기류 정보 데이터를 제1 투시 방향을 기준으로 제공되는 영상 내의 구강 내부의 공간에 표시하도록 하는 프로세스 및 상기 특정 발음 대상에 대응되는 특정 권장 공명점 정보 데이터를 상기 제1 투시 방향을 기준으로 제공되는 영상 내의 조음 기관 상의 특정 위치에 표시하도록 하는 프로세스 중 적어도 하나를 처리하여 영상을 제공하는 단계를 포함하는 발음 학습 지원 시스템의 정보 처리 방법을 개시한다.

본 발명의 일 실시예에 따르면, 상기 (b) 단계는, 오디오 센서가 사용자가 상기 특정 발음 대상을 발음한 것에 대응하여 상기 발음 학습 지원 시스템이 상기 발음된 특정 발음 대상을 식별하면, 상기 발음 학습 지원 시스템이 관리하는 이미지 프로세싱 장치 또는 외부의 이미지 프로세싱 장치에 요청하여 상기 특정 발음 대상에 대응되는 상기 특정 권장 기류 정보 데이터를 상기 제1 투시 방향을 기준으로 제공되는 영상 내의 구강 내부의 공간에 표시하는 프로세스 및 상기 특정 발음 대상에 대응되는 상기 특정 권장 공명점 정보 데이터를 상기 제1 투시 방향을 기준으로 제공되는 영상 내의 조음 기관 상의 상기 특정 위치에 표시하는 프로세스 중 적어도 하나를 수행하여 제공하는 것을 특징으로 한다.

본 발명의 일 실시예에 따르면, 발음 학습 지원 시스템이 관리하는 영상 센서 또는 외부의 영상 센서에 요청하여 상기 발음 학습 지원 시스템을 이용하는 사용자의 시선 인식 기술 또는 상기 사용자의 얼굴에 대한 인식 기술에 따라 상기 사용자가 화면을 바라보는 방향 정보가 제1 방향으로서 식별되면, 이를 참조로 하여 상기 제1 투시 방향이 결정되는 것을 특징으로 한다.

본 발명의 일 실시예에 따르면, 상기 (b) 단계는, 상기 제1 투시 방향으로 제공하는 상태에서 상기 사용자가 상기 화면을 바라보는 방향 정보가 제2 방향으로 변경되었음이 식별되면, 상기 제1 투시 방향 기준으로 처리된 영상 및 상기 제2 방향과 대응하는 것으로 저장된 제2 투시 방향 기준으로 처리된 영상을 제공하는 것을 특징으로 한다.

본 발명의 일 실시예에 따르면, 상기 (a) 단계는, 발음 학습 지원 시스템이 관리하는 오디오 센서 또는 외부의 오디오 센서에 요청하여 (a1) 복수의 피험자를 대상으로 발음 대상별로 발성 정보를 획득하는 단계; (a2) 상기 발성 정보별로 획득한 발성 정보에 대하여 주파수 분석을 수행하는 단계; 및 (a3) 상기 주파수 분석을 참조로 하여, 포먼트 주파수 중 가장 낮은 두 개의 주파수인 F1 및 F2를 참조로 하여 상기 권장 공명점 정보 데이터를 발성 정보별로 획득하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따르면, 상기 발음 학습 지원 시스템의 사용자로부터 특정 발음 대상에 대한 발성이 상기의 오디오 센서 등을 통하여 감지되면, 상기 (b) 단계는, (b1) 상기 감지된 발성으로부터 상기 사용자의 상기 특정 발음 대상에 대한 실제 공명점 정보 데이터를 획득하는 단계; 및 (b2) 상기 특정 발음 대상에 대응되어 저장되어 있는 상기 특정 권장 공명점 정보 데이터 및 상기 실제 공명점 정보 데이터를 상기 제1 투시 방향을 기준으로 제공되는 영상 내의 조음 기관 상의 해당 위치에 각각 표시하는 프로세스를 처리하여 영상을 제공하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따르면, 상기 조음 기관은 n 개이며, 상기 조음 기관 중 적어도 일부는 서로 다른 레이어로 처리되도록 하기 위한 메타데이터가 저장되어 있고, 상기 발음 학습 지원 시스템의 사용자에 의해 상기 특정 발음 대상이 선택되면, 상기의 이미지 프로세싱 장치는 상기 특정 발음 대상에 대응되는 적어도 하나의 특정 조음 기관에 해당되는 레이어를 활성화하여 영상을 제공하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따른 발음 학습 지원 시스템의 정보 처리 방법에 있어서, 상기 발음 학습 지원 시스템이 자신이 관리하고 있는 데이터베이스 또는 외부의 데이터베이스에 접근하여 (a) (i) 발음 대상별로 해당 발음 대상이 발성되기 전의 구강 내부의 공간의 상태 및 조음 기관의 상태에 대한 정보를 포함하는 준비 데이터 중 적어도 일부를 획득하고, (ii) 해당 발음에 대한 발성 시 상기 구강 내부의 공간을 통해 흐르는 기류의 세기 및 방향 정보를 포함하는 권장 기류 정보 데이터 및 해당 발음에 대한 발성 시 공명이 발생하는 조음 기관 상의 위치 정보를 포함하는 권장 공명점 정보 데이터 중 적어도 일부를 획득하고, (iii) 해당 발음 대상이 발성된 후의 상기 구강 내부의 공간의 상태 및 상기 조음 기관의 상태에 대한 정보를 포함하는 후속 데이터 중 적어도 일부를 획득하는 단계; 및 (b) 상기 발음 대상 중 특정 발음 대상이 선택되면, 자신에 포함되거나 연동 가능한 이미지 프로세싱 장치를 사용하여 (i) 상기 특정 발음 대상에 대응되어 있는 특정 준비 데이터에 포함되어 있는 구강 내부의 공간의 상태 및 조음 기관의 상태에 대한 정보를 표시하여 준비 구강 영상 정보를 제공하는 프로세스, (ii) 상기 특정 발음 대상에 대응되어 있는 특정 권장 기류 정보 데이터 및 특정 권장 공명점 정보 데이터 중 적어도 일부를 구강 내부의 공간 및 조음 기관 상의 적어도 일부의 위치에 표시하여 발성 구강 영상 정보를 제공하는 프로세스, (iii) 상기 특정 발음 대상에 대응되어 있는 특정 후속 데이터에 포함되어 있는 구강 내부의 공간의 상태 및 조음 기관의 상태에 대한 정보를 표시하여 후속 구강 영상 정보를 제공하는 프로세스를 처리하여 영상을 제공하는 단계를 포함하는 발음 학습 지원 시스템의 정보 처리 방법을 개시한다.

본 발명의 다른 실시예에 따르면, 상기 (a) 단계에서, 상기 발음 학습 지원 시스템이 관리하고 있는 오디오 센서 또는 이와 연동되는 오디오 센서는 1) 각 언어별, 사람의 성별, 연령별로 모음 발음 시에 구강 내에 공명이 일어날 수 있는 범위를 계산하는 단계; (a2) 상기 계산된 공명이 일어날 수 있는 범위의 평균값을 계산하는 단계; 및 (a3) 상기 계산된 평균값을 참조로 하여 구획을 설정하는 단계를 포함하는 프로세스를 통하여 모음 사각도에 대한 정보를 추가로 획득할 수 있고, 상기 (b) 단계에서, 상기 선택된 특정 발음 대상에 모음이 포함된 경우, 상기 이미지 프로세싱 장치는 상기 준비 구강 영상 정보, 상기 발성 구강 영상 정보, 상기 후속 구강 영상 정보 중 적어도 일부에는 상기 특정 발음 대상에 대응되는 모음 사각도를 삽입하여 제공할 수 있는 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 상기 (a) 단계는, 상기 오디오 센서 등의 주파수 분석 장치를 사용하여 (a1) 복수의 피험자를 대상으로 발음 대상별로 발성 정보를 획득하는 단계; (a2) 상기 발성 정보별로 획득한 발성 정보에 대하여 주파수 분석을 수행하는 단계; 및 (a3) 상기 주파수 분석을 참조로 하여, 포먼트 주파수 중 가장 낮은 두 개의 주파수인 F1 및 F2를 참조로 하여 상기 권장 공명점 정보 데이터를 발성 정보별로 획득하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 상기 발음 학습 지원 시스템의 사용자로부터 특정 발음 대상에 대한 발성이 상기 오디오 센서 등에 의해 감지되면, 상기 (b) 단계는, (b1) 상기 감지된 발성으로부터 상기 사용자의 상기 특정 발음 대상에 대한 실제 공명점 정보 데이터를 획득하는 단계; 및 (b2) 상기 특정 발음 대상에 대응되어 저장되어 있는 상기 특정 권장 공명점 정보 데이터 및 상기 실제 공명점 정보 데이터를 상기 이미지 프로세싱 장치를 사용하여 조음 기관 상의 해당 위치에 각각 표시하여 상기 발성 구강 영상 정보를 제공하는 프로세스를 처리하여 영상을 제공하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 상기 조음 기관은 n 개이며, 상기 조음 기관 중 적어도 일부는 서로 다른 레이어로 처리되도록 하기 위한 메타데이터가 저장되어 있고, 상기 발음 학습 지원 시스템의 사용자에 의해 상기 특정 발음 대상이 선택되면, 상기 특정 발음 대상에 대응되는 적어도 하나의 특정 조음 기관에 해당되는 레이어를 활성화하여 영상을 제공하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 따른 발음 학습 지원 시스템의 정보 처리 방법에 있어서, 상기 발음 학습 지원 시스템이 자신이 관리하고 있는 데이터베이스 또는 외부의 데이터베이스에 접근하여 (a) 목표 언어의 발음 대상 및 상기 목표 언어의 발음 대상에 대응되는 참조 언어의 발음 대상에 대한 발성 시 구강 내부의 공간을 통해 흐르는 기류의 세기 및 방향 정보를 포함하는 권장 기류 정보 데이터 및 해당 발음에 대한 발성 시 공명이 발생하는 조음 기관 상의 위치 정보를 포함하는 권장 공명점 정보 데이터 중 적어도 일부를 획득하는 단계; 및 (b) 상기 목표 언어 중 특정 목표 언어가 선택되고 상기 참조 언어 중 특정 참조 언어가 선택되며, 상기 특정 목표 언어의 발음 대상 중 특정 목표 언어 발음 대상이 선택되고 상기 특정 참조 언어의 발음 대상 중 특정 참조 언어 발음 대상이 선택되면, (i) 상기 특정 목표 언어 발음 대상에 대응되는 제1 특정 권장 기류 정보 데이터를 구강 내부의 공간에 표시하는 프로세스 및 상기 특정 목표 언어 발음 대상에 대응되는 제1 특정 권장 공명점 정보 데이터를 조음 기관 상의 특정 위치에 표시하는 프로세스 중 적어도 하나를 이미지 프로세싱 장치를 사용하여 처리하고, (ii) 상기 특정 참조 언어 발음 대상에 대응되는 제2 특정 권장 기류 정보 데이터를 구강 내부의 공간에 표시하는 프로세스 및 상기 특정 참조 언어 발음 대상에 대응되는 제2 특정 권장 공명점 정보 데이터를 조음 기관 상의 특정 위치에 표시하는 프로세스 중 적어도 하나를 처리하여 상기 이미지 프로세싱 장치를 사용하여 영상을 제공하는 단계를 포함하는 발음 학습 지원 시스템의 정보 처리 방법을 개시한다.

본 발명의 또 다른 실시예에 따르면, 상기 (b) 단계는, (b1) 오디오 센서를 사용하여 상기 발음 학습 지원 시스템의 사용자의 발성으로부터 음성 데이터를 획득하는 단계; (b2) 상기 획득된 음성 데이터를 분석하여 상기 참조 언어의 종류를 획득하는 단계; 및 (b3) 상기 획득된 참조 언어의 종류에 대응되어 있는 적어도 하나의 목표 언어 중 상기 발음 학습 지원 시스템을 사용했던 복수의 피험자들이 상기 획득된 참조 언어의 종류에 대한 페어(pair)로서 가장 많이 선택했던 상위 n 개의 목표 언어의 종류를 제공하여 선택을 지원하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 따르면, 상기 (b) 단계는, (b1) 상기 발음 학습 지원 시스템의 사용자의 발성으로부터 오디오 센서를 사용하여 음성 데이터를 획득하는 단계; (b2) 상기 획득된 음성 데이터를 분석하여 상기 목표 언어의 종류를 획득하는 단계; 및 (b3) 상기 획득된 목표 언어의 종류에 대응되어 있는 적어도 하나의 참조 언어 중 상기 발음 학습 지원 시스템을 사용했던 복수의 피험자들이 상기 획득된 목표 언어의 종류에 대한 페어(pair)로서 가장 많이 선택했던 상위 n 개의 참조 언어의 종류를 제공하여 선택을 지원하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 따르면, 상기 (a) 단계는, (a1) 복수의 피험자를 대상으로 상기 목표 언어의 발음 대상별로 발성 정보를 획득하고 상기 참조 언어의 발음 대상별로 발성 정보를 획득하는 단계; (a2) 상기 목표 언어 및 상기 참조 언어의 발성 정보별로 획득한 발성 정보에 대하여 주파수 분석을 각각 수행하는 단계; 및 (a3) 상기 주파수 분석을 참조로 하여, 포먼트 주파수 중 가장 낮은 두 개의 주파수인 F1 및 F2를 참조로 하여 상기 권장 공명점 정보 데이터를 상기 목표 언어 및 상기 참조 언어의 발성 정보별로 획득하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 따르면, 상기 발음 학습 지원 시스템의 사용자로부터의 특정 발음 대상에 대한 발성이 상기 특정 목표 언어 또는 상기 특정 참조 언어의 발성으로서 감지되면, 상기 (b) 단계는, (b1) 상기 감지된 발성으로부터 상기 사용자의 상기 특정 발음 대상에 대한 실제 공명점 정보 데이터를 획득하는 단계; 및 (b2) 상기 특정 발음 대상에 대응되어 저장되어 있는 상기 제1 특정 권장 공명점 정보 데이터 및 상기 제2 특정 권장 공명점 정보 데이터 중 적어도 하나와 상기 실제 공명점 정보 데이터를 이미지 프로세싱 장치를 사용하여 조음 기관 상의 해당 위치에 각각 표시하는 프로세스를 처리하여 영상을 제공하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에 따르면, 상기 조음 기관은 n 개이며, 상기 조음 기관 중 적어도 일부는 서로 다른 레이어로 처리되도록 하기 위한 메타데이터가 저장되어 있고, 상기 발음 학습 지원 시스템의 사용자에 의해 상기 특정 목표 언어 발음 대상 또는 상기 특정 참조 언어 발음 대상이 선택되면, 상기 특정 목표 언어 발음 대상 또는 상기 특정 참조 언어 발음 대상에 대응되는 적어도 하나의 특정 조음 기관에 해당되는 레이어를 이미지 프로세싱 장치를 사용하여 활성화하여 영상을 제공하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 발음 학습 지원 시스템은 자신에 포함되거나 연동되는 영상 센서가 상기 발음 학습 지원 시스템을 이용하는 사용자의 시선 방향을 인식하거나 얼굴의 방향을 인식하면, 인식된 방향을 참조로 하여 결정된 제1 투시 방향에서 바라본 상태의 발음 학습 관련 영상을 제공할 수 있도록 상기 발음 학습 지원 시스템에 포함되거나 연동되는 이미지 프로세싱 장치가 이미지 프로세싱 작업을 처리하도록 함으로써, 사용자가 간편하게 언어 학습의 전문적인 데이터 내용을 다양한 각도의 영상을 통해 제공 받을 수 있는 사용자 편의적인 유저 인터페이스를 구현할 수 있다는 효과가 있다.

또한, 상기 발음 학습 지원 시스템은 자신이 포함하거나 접근 가능한 데이터베이스를 관리할 수 있는데, 상기 데이터베이스에는 발음 대상별로 해당 발음에 대한 발성 시 구강 내부의 공간을 통해 흐르는 기류의 세기 및 방향 정보를 포함하는 권장 기류 정보 데이터 및 해당 발음에 대한 발성 시 공명이 발생하는 조음 기관 상의 위치 정보를 포함하는 권장 공명점 정보 데이터 중 적어도 일부가 기록될 수 있으며, 상기 발음 학습 지원 시스템은 상기 데이터베이스에 기록된 권장 기류 정보 데이터 및 권장 공명점 정보 데이터 중 적어도 일부를 소정 조건에 따라 상기 데이터베이스로부터 획득하고 이미지 프로세싱 장치를 통해 이를 영상에 표시하여 제공함으로써, 상기 발음 학습 지원 시스템의 사용자가 보다 편리하게 각종 언어에 대한 발음 학습을 매우 체계적이고 전문적으로 익힐 수 있도록 지원할 수 있다는 효과가 있다.

또한, 상기 발음 학습 지원 시스템은 복수의 피험자를 대상으로 발음 대상별로 발성 정보를 획득하고 상기 발성 정보별로 획득한 발성 정보에 대하여 주파수 분석을 수행하거나 이를 지원할 수 있는데, 이와 같은 주파수 분석을 수행하기 위하여 상기 발음 학습 지원 시스템은 오디오 센서의 일종인 주파수 분석 장치를 포함하거나 이와 연동될 수 있을 것이며, 상기 주파수 분석 장치는 포먼트 주파수 중 가장 낮은 두 개의 주파수인 F1 및 F2를 추출해낼 수 있으며 이와 같이 추출된 F1 및 F2 주파수 값을 참조로 하여 상기 권장 공명점 정보 데이터를 발성 정보별로 획득하고 이와 같이 획득된 데이터가 상기 데이터베이스 상에 기록되도록 함으로써, 상기 발음 학습 지원 시스템을 이용하는 사용자가 매우 합리적이고 정확한 발성 정보를 발음 대상별로 시청할 수 있도록 지원할 수 있다는 효과가 있다.

또한, 상기 발음 학습 지원 시스템은 사용자의 특정 발음 대상에 대한 발성을 감지하기 위하여 오디오 센서를 포함하거나 이와 연동될 수 있으며, 상기 오디오 센서를 사용하여 사용자의 상기 특정 발음 대상에 대한 실제 공명점 정보 데이터를 획득할 수 있는데, 상기 실제 공명점 정보 데이터를 제1 투시 방향을 기준으로 제공되는 영상 내의 조음 기관 상의 해당 위치에 표시할 때 이미지 프로세싱 장치가 동작되도록 함으로써 상기 데이터베이스에 기록된 특정 권장 공명점 정보 데이터를 상기 제1 투시 방향을 기준으로 제공되는 영상 내의 조음 기관 상의 해당 위치에 구별하여 표시할 수 있고, 이를 통해 사용자가 자신의 발음에 따른 실제 공명점 정보와 데이터베이스에 기록되어 있는 권장 공명점 정보를 한 눈에 간편하게 비교해 볼 수 있도록 지원할 수 있다는 효과가 있다.

또한, 상기 이미지 프로세싱 장치는 상기 조음 기관 중 적어도 일부를 서로 다른 레이어로 처리되도록 하기 위하여 메타데이터를 참조할 수 있으며, 상기 메타데이터는 이미지 프로세싱 장치가 직접 포함하여 관리하고 있거나 소정의 데이터베이스에 접근하여 획득하여 참조할 수 있도록 함으로써, 상기 발음 학습 지원 시스템의 사용자가 본인이 발음하는 특정 발음 대상의 발성에 사용되는 조음 기관만을 활성화시켜 영상에 포함되도록 하여 사용자의 흥미와 언어 학습의 효과를 증진시킬 수 있다는 효과가 있다.

또한, 본 발명의 다른 실시예에 따른 발음 학습 지원 시스템에 포함되거나 연동되는 이미지 프로세싱 장치가 (i) 특정 발음 대상에 대응되어 있는 특정 준비 데이터에 포함되어 있는 구강 내부의 공간의 상태 및 조음 기관의 상태에 대한 정보를 표시하여 준비 구강 영상 정보를 제공하는 프로세스, (ii) 상기 특정 발음 대상에 대응되어 있는 특정 권장 기류 정보 데이터 및 특정 권장 공명점 정보 데이터 중 적어도 일부를 구강 내부의 공간 및 조음 기관 상의 적어도 일부의 위치에 표시하여 발성 구강 영상 정보를 제공하는 프로세스, (iii) 상기 특정 발음 대상에 대응되어 있는 특정 후속 데이터에 포함되어 있는 구강 내부의 공간의 상태 및 조음 기관의 상태에 대한 정보를 표시하여 후속 구강 영상 정보를 제공하는 프로세스를 처리하여 영상을 제공함으로써, 사용자로 하여금 특정 발음 대상에 대한 준비 과정부터 본 과정, 후속 과정에 이르기까지 정확한 발음 학습을 할 수 있다는 효과가 있다.

상기 발음 학습 지원 시스템은 자신에 포함되거나 접근 가능한 데이터베이스로부터 (i) 발음 대상별로 해당 발음 대상이 발성되기 전의 구강 내부의 공간의 상태 및 조음 기관의 상태에 대한 정보를 포함하는 준비 데이터 중 적어도 일부를 획득하고, (ii) 해당 발음에 대한 발성 시 상기 구강 내부의 공간을 통해 흐르는 기류의 세기 및 방향 정보를 포함하는 권장 기류 정보 데이터 및 해당 발음에 대한 발성 시 공명이 발생하는 조음 기관 상의 위치 정보를 포함하는 권장 공명점 정보 데이터 중 적어도 일부를 획득하고, (iii) 해당 발음 대상이 발성된 후의 상기 구강 내부의 공간의 상태 및 상기 조음 기관의 상태에 대한 정보를 포함하는 후속 데이터 중 적어도 일부를 획득하기 위하여, 각 언어별, 사람의 성별, 연령별로 모음 발음 시에 구강 내에 공명이 일어날 수 있는 범위를 계산하기 위한 오디오 센서를 포함하거나 이와 연동될 수 있는데, 상기 오디오 센서는 상기 계산된 공명이 일어날 수 있는 범위의 평균값을 계산할 수 있고, 상기 계산된 평균값을 참조로 하여 소정의 구획이 설정되도록 함으로써, 이미지 프로세싱 장치가 상기 구획 정보를 바탕으로 하여 모음 사각도를 생성하여 이를 영상에 포함시켜 제공할 수 있도록 지원하고, 이를 통해 사용자가 공명 발생의 정확한 위치를 제공 받음으로써 언어 학습의 전문적인 정보를 정확하게 제공 받을 수 있다는 효과가 있다.

또한, 상기 발음 학습 지원 시스템은 복수의 피험자를 대상으로 발음 대상별로 발성 정보를 획득하고 상기 발성 정보별로 획득한 발성 정보에 대하여 주파수 분석을 수행하거나 이를 지원할 수 있는데, 이와 같은 주파수 분석을 수행하기 위하여 상기 발음 학습 지원 시스템은 오디오 센서의 일종인 주파수 분석 장치를 포함하거나 이와 연동될 수 있을 것이며, 상기 주파수 분석 장치는 포먼트 주파수 중 가장 낮은 두 개의 주파수인 F1 및 F2를 추출해낼 수 있으며 이와 같이 추출된 F1 및 F2 주파수 값을 참조로 하여 상기 권장 공명점 정보 데이터를 발성 정보별로 획득하고 이와 같이 획득된 데이터가 상기 데이터베이스 상에 기록되도록 함으로써, 상기 발음 학습 지원 시스템을 이용하는 사용자가 매우 합리적이고 정확한 발성 정보를 발음 대상별로 시청 및 청취할 수 있다는 효과가 있다.

상기 발음 학습 지원 시스템은 사용자의 특정 발음 대상에 대한 발성을 감지하기 위하여 오디오 센서를 포함하거나 이와 연동될 수 있으며, 상기 오디오 센서를 사용하여 사용자의 상기 특정 발음 대상에 대한 실제 공명점 정보 데이터를 획득할 수 있는데, 상기 실제 공명점 정보 데이터를 영상 내의 조음 기관 상의 해당 위치에 표시할 때 이미지 프로세싱 장치가 동작되도록 함으로써 상기 데이터베이스에 기록된 특정 권장 공명점 정보 데이터를 영상 내의 조음 기관 상의 해당 위치에 비교되도록 구별하여 표시함으로써, 사용자가 자신의 발음에 따른 실제 공명점 정보와 데이터베이스에 기록되어 있는 권장 공명점 정보를 한 눈에 간편하게 비교해 볼 수 있도록 지원할 수 있다는 효과가 있다.

또한, 상기 이미지 프로세싱 장치는 상기 조음 기관 중 적어도 일부를 서로 다른 레이어로 처리되도록 하기 위하여 메타데이터를 참조할 수 있으며, 상기 메타데이터는 이미지 프로세싱 장치가 직접 포함하여 관리하고 있거나 소정의 데이터베이스에 접근하여 획득하여 참조할 수 있도록 함으로써, 상기 발음 학습 지원 시스템의 사용자가 본인이 발음하는 특정 발음 대상의 발성에 사용되는 조음 기관만을 활성화시켜 영상에 포함되도록 하여 사용자의 흥미와 언어 학습의 효과를 증진시킬 수 있다는 효과가 있다.

또한, 본 발명의 또 다른 실시예에 따른 발음 학습 지원 시스템에 포함되거나 연동되는 이미지 프로세싱 장치가 (i) 상기 특정 목표 언어 발음 대상에 대응되는 제1 특정 권장 기류 정보 데이터를 구강 내부의 공간에 표시하는 프로세스 및 상기 특정 목표 언어 발음 대상에 대응되는 제1 특정 권장 공명점 정보 데이터를 조음 기관 상의 특정 위치에 표시하는 프로세스 중 적어도 하나를 처리하고, (ii) 상기 특정 참조 언어 발음 대상에 대응되는 제2 특정 권장 기류 정보 데이터를 구강 내부의 공간에 표시하는 프로세스 및 상기 특정 참조 언어 발음 대상에 대응되는 제2 특정 권장 공명점 정보 데이터를 조음 기관 상의 특정 위치에 표시하는 프로세스 중 적어도 하나를 처리하여 영상을 제공함으로써, 사용자가 목표 언어와 참조 언어의 발성 비교를 통하여 외국어의 발음을 정확하게 학습하도록 할 수 있다는 효과가 있다.

또한, 상기 발음 학습 지원 시스템은 복수의 피험자를 대상으로 발음 대상별로 발성 정보를 획득하고 상기 발성 정보별로 획득한 발성 정보에 대하여 주파수 분석을 수행하거나 이를 지원할 수 있는데, 이와 같은 주파수 분석을 수행하기 위하여 상기 발음 학습 지원 시스템은 오디오 센서의 일종인 주파수 분석 장치를 포함하거나 이와 연동될 수 있을 것이며, 상기 주파수 분석 장치는 포먼트 주파수 중 가장 낮은 두 개의 주파수인 F1 및 F2를 추출해낼 수 있으며 이와 같이 추출된 F1 및 F2 주파수 값을 참조로 하여 상기 권장 공명점 정보 데이터를 발성 정보별로 획득하고 이와 같이 획득된 데이터가 상기 데이터베이스 상에 기록되도록 함으로써, 상기 발음 학습 지원 시스템을 이용하는 사용자가 매우 합리적이고 정확한 발성 정보를 발음 대상별로 시청 및 청취할 수 있도록 지원할 수 있다는 효과가 있다.

상기 발음 학습 지원 시스템은 사용자의 특정 발음 대상에 대한 발성을 감지하기 위하여 오디오 센서를 포함하거나 이와 연동될 수 있으며, 상기 오디오 센서를 사용하여 사용자의 상기 특정 발음 대상에 대한 실제 공명점 정보 데이터를 획득할 수 있는데, 상기 실제 공명점 정보 데이터를 제1 투시 방향을 기준으로 제공되는 영상 내의 조음 기관 상의 해당 위치에 표시할 때 이미지 프로세싱 장치가 동작되도록 함으로써 상기 데이터베이스에 기록된 특정 권장 공명점 정보 데이터를 상기 제1 투시 방향을 기준으로 제공되는 영상 내의 조음 기관 상의 해당 위치에 비교되도록 구별하여 표시함으로써, 사용자가 자신의 발음에 따른 실제 공명점 정보와 데이터베이스에 기록되어 있는 권장 공명점 정보를 한 눈에 간편하게 비교해 볼 수 있도록 지원할 수 있다는 효과가 있다.

또한, 상기 이미지 프로세싱 장치는 상기 조음 기관 중 적어도 일부를 서로 다른 레이어로 처리되도록 하기 위하여 메타데이터를 참조할 수 있으며, 상기 메타데이터는 이미지 프로세싱 장치가 직접 포함하여 관리하고 있거나 소정의 데이터베이스에 접근하여 획득하여 참조할 수 있도록 함으로써, 상기 발음 학습 지원 시스템의 사용자가 본인이 발음하는 특정 발음 대상의 발성에 사용되는 조음 기관만을 활성화시켜 영상에 포함되도록 하여 사용자의 흥미와 언어 학습의 효과를 증진시킬 수 있다는 효과가 있다.

도 1은 본 발명의 발음 학습 지원 시스템의 일 실시예적 구성에 관한 도면이다.
도 2는 본 발명의 발음 학습 지원 시스템의 다른 일 실시예적 구성에 관한 도면이다.
도 3은 본 발명의 발음 학습 지원 시스템의 발음 학습 지원 DB부의 일 실시예적 구성에 관한 도면이다.
도 4은 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 5는 제1 및 제2 3차원 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 6은 제어 정보를 입수 받고 제어 정보에 대응되는 3차원 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 7은 투시 방향 선택 정보를 입수 받고, 투시 방향에 대응되는 3차원 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 8은 조음 기관별 레이어 선택 정보를 입수 받고, 조음 기관별 레이어에 대응되는 3차원 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 9는 사용자로부터 입수한 음성 정보를 처리하는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 10 내지 도 12는 [p]에 대하여 예시적인 제1 투시 방향을 기준으로 제공되는 한 본 발명의 제1 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 13 내지 도 14는 투시되는 방향이 연속적으로 변동하고 있음을 보여주는 제1 3차원 영상 제공과 제2 3차원 영상 제공의 중간 단계를 보여 주는 도면이다.
도 15 내지 도 17는 [p]에 대하여 예시적인 제2 투시 방향을 기준으로 제공되는 본 발명의 제2 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 18 내지 도 20는 [p]에 대하여 예시적인 제3 투시 방향을 기준으로 제공되는 본 발명의 다른 제2 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 21 내지 도 23는 [p]에 대하여 예시적인 제4 투시 방향을 기준으로 제공되는 본 발명의 또다른 제2 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 24 내지 도 26는 [p]에 대하여 예시적인 4개의 투시 방향을 기준으로 통합적으로 제공되는 본 발명의 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 27 내지 도 29는 반모듬 [w]에 대하여 예시적인 제1 투시 방향을 기준으로 제공되는 한 본 발명의 제1 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 30 내지 도 32는 반모음 [w]에 대하여 예시적인 제2 투시 방향을 기준으로 제공되는 본 발명의 제2 3차원 영상 정보를 구성하는데 포함된 일 실시예적 이미지들이다.
도 33 내지 도 34는 본 발명의 공명점 정보 및 권장 공명점 정보가 비교되어 제공되는 본 발명의 발음 학습 지원 시스템의 3차원 영상 정보 처리 모듈의 일 실시예적 정보 처리 결과에 관한 도면이다.
도 35는 구강 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 구성에 관한 도면이다.
도 36은 발음 대상에 대한 구강 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 37은 입수 받은 구강 영상에 대한 제어 정보에 대응하는 구강 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 38은 입수 받은 발음 지원 시각화 수단에 대응하는 구강 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 39는 입수 받은 조음 기관별 레이어 선택 정보에 대응하는 구강 영상 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 40은 사용자로부터 입수한 음성 정보를 처리하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 41은 음소［ch］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 마찰음에 대하여 준비 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 42 내지 도 45는 음소［ch］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 마찰음에 대하여 발성 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 46은 음소［ch］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 마찰음에 대하여 후속 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 47은 음소［ei］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 음소에 대하여 준비 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 48 내지 도 50는 음소［ei］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 음소에 대하여 발성 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 51은 음소［ei］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 음소에 대하여 후속 구강 영상 정보로 제공하는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 일 실시예적 결과에 관한 도면이다.
도 52는 성대 울림이 있는 경우, 성대 쪽에 울림을 의미하는 표시하는 성대 울림 이미지 데이터(1481)와 파형 이미지가 추가적으로 제공되는 본 발명 사상이 적용되는 발성 구강 영상 정보의 일 실시예적 이미지이다.
도 53은 모음 사각도 이미지가 포함되어 있는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 준비 구강 영상 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 54는 모음 사각도 이미지가 포함되어 있는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 발성 구강 영상 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 55는 사용자 발성 정보를 입력받아서, 사용자 발성 정보의 F1 및 F2를 처리하여 사용자 발성 공명점 정보(별표 모양)가 표시되어 있는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 발성 구강 영상 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 56 내지 도 59는 발성 구성 영상 정보 중 근육 긴장 표시 수단이 반영되어 표시되어 있는 본 발명의 발음 학습 지원 시스템의 구강 영상 정보 처리 모듈의 발성 구강 영상 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 60은 참조 언어의 발음과 비교하여 목표 언어의 발음에 대한 학습을 지원하는 본 발명의 발음 학습 지원 시스템의 맵핑 발음 학습 지원 모듈의 일 실시예적 구성에 관한 도면이다.
도 61은는 참조 언어의 발음과 비교하여 목표 언어의 발음에 대한 학습을 지원하는 본 발명의 발음 학습 지원 시스템의 맵핑 발음 학습 지원 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 62는 입수한 목표 언어 발음 대상 정보와 맵핑되는 참조 언어 발음 대상 정보를 조회 처리하는 본 발명의 발음 학습 지원 시스템의 맵핑 발음 학습 지원 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 63은 제어 정보를 참조하여 참조 언어 발음 대응 구강 영상 정보, 목표 언어 발음 대응 구강 영상 정보 및 목표-참조 비교 정보를 제공하는 본 발명의 발음 학습 지원 시스템의 맵핑 발음 학습 지원 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 64는 사용자-목표-참조 비교 정보가 포함된 사용자-목표-참조 비교 영상 정보 제공하는 본 발명의 발음 학습 지원 시스템의 맵핑 발음 학습 지원 모듈의 일 실시예적 정보 처리 방법에 관한 도면이다.
도 65는 목표 언어 [i]에 대응되는 참조 언어 [이]에 대한 참조 언어 발음 대상에 대한 참조 언어 발음 대응 구강 영상 정보가 표시되는 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 66은 목표 언어 [i]에 대한 발음 대상 대응 구강 영상 정보와 목표 언어 [i]에 대응되는 참조 언어 [이]에 대한 참조 언어 발음 대응 구강 영상 정보가 함께 표시되는 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 67는 목표 언어 [^]과 [:] 에 대응되는 참조 언어 [어]에 대한 참조 언어 발음 대상에 대한 참조 언어 발음 대응 구강 영상 정보가 표시되는 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 68은 목표 언어 [^]에 대한 발음 대상 대응 구강 영상 정보와 목표 언어 [^]에 대응되는 참조 언어 [어]에 대한 참조 언어 발음 대응 구강 영상 정보가 함께 표시되는 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 69은 목표 언어 [^] 및 [:]에 대한 발음 대상 대응 구강 영상 정보와 목표 언어 [^] 및 [:]에 대응되는 참조 언어 [어]에 대한 참조 언어 발음 대응 구강 영상 정보가 모두 함께 표시되는 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.
도 70 내지 도 73은 자음에 대한 본 발명 사상을 적용한 본 발명의 발음 학습 지원 시스템의 복수 언어간 맵핑 처리 모듈의 정보 처리에 대한 일 실시예적 결과에 관한 도면이다.

이하, 도면을 참조하면서 더욱 더 상세하게 설명한다.

도 1에서 예시되어 있듯이, 본 발명의 발음 학습 지원 시스템(1000)은 유무선 네트워크(5000)를 통하여 적어도 하나 이상의 사용자 단말기(2000)와 정보를 주고 받으며, 사용자에게 발음 학습을 지원할 수 있다. 상기 사용자 단말기(2000)는 상기 발음 학습 지원 시스템(1000)의 입장에서 상기 발음 학습 지원 시스템(1000)의 기능과 서비스를 주고 받는 대상으로, 본 발명에서는 상기 사용자 단말기(2000)에 PC, 스마트 폰, 휴대용 컴퓨터 등과 개인용 단말기 뿐만 아니라, 제3의 시스템도 배제되지 않는다. 상기 제3의 시스템은 본 발명의 발음 학습 지원 시스템(1000)에게 정보를 받아서, 자신의 서비스를 받는 자의 단말기에 전송하여 줄 수 있음은 물론일 것이다. 한편, 사용자 단말기(2000)에 전용 프로그램 또는 특정한 소프트웨어가 설치되어 있고, 상기 전용 프로그램 또는 소프트웨어가 상기 발음 학습 지원 시스템(1000)과 정보 교환하면서 본 발명 사상을 실행할 수 있음은 물론일 것이다. 한편, 도 2에서 예시되듯이 상기 발음 학습 지원 시스템(1000)은 사용자 단말기(2000) 내에서 구동될 수도 있음은 물론일 것이다. 상기 발음 학습 지원 시스템(1000)은 상기 발음 학습 지원 시스템(1000)을 위한 전용 단말기 또는 상기 발음 학습 지원 시스템(1000)에 설치되는 전용 프로그램 또는 특정한 소프트웨어 내에서 실행될 수 있을 것이다. 물론, 상기 전용 프로그램 또는 특정한 소프트웨어가 유무선 네트워크(5000)를 통하여 상기 발음 학습 지원 시스템(1000)으로부터 최신 서비스나 갱신된 콘텐츠를 업데이트 받을 수 있음도 물론일 것이다.

상기 발음 학습 지원 시스템(1000)은 발음 학습을 위한 3차원 파노라마 영상 정보를 처리하는 3차원 영상 정보 처리 모듈(1100), 구강 영상 정보를 처리하는 구강 영상 정보 처리 모듈(1200), 이종 언어를 사용하여 발음 학습을 지원하는 맵핑 발음 학습 지원 모듈(1300) 중 어느 하나 이상을 포함하고 있을 수 있다. 한편, 상기 발음 학습 지원 시스템(1000)은 발음 학습을 지원하기 위한 각종 DB 및 데이터를 포함하고 있는 발음 학습 지원 DB부(1400)를 포함하고 있을 수 있다. 한편, 상기 발음 학습 지원 DB부(1400)는 유무선 네트워크(5000)로 연결된 사용자 단말기(2000) 또는 제3의 시스템과 정보를 주고 받는 기능을 수행하는 입출력부(1600) 및 물리적인 통신 기능을 담당하는 통신 지원부(1800)를 포함하고 있으며, 서버나 기타 통상적인 컴퓨팅 기능을 제공하기 위한 물리적 장치와의 통상적인 정보 처리를 위한 각종 기능 모듈을 포함하고 있다. 그리고, 상기 발음 학습 지원 시스템(1000)은 단위 영상 또는 영상을 구성하는 이미지를 결합하여 결합 영상을 생성하는 열결부 및 특화된 정보를 처리하는 특화 정보 처리부(1700)를 포함하고 있을 수 있다.

상기 3차원 영상 정보 처리 모듈(1100)은 3차원 영상 정보 데이터를 포함하고 있는 3차원 영상 정보 DB(1110), 3차원 영상 맵핑을 처리하는 3차원 영상 맵핑 처리 모듈(1120), 사용자 입력 기반 3차원 영상 정보를 처리하는 사용자 입력 기반 3차원 영상 처리부(1130) 및 사용자 단말기(2000) 또는 사용자 단말기(2000)의 디스플레이 장치에 파노라마 영상을 제공하는 파노라마 영상 제공 모듈(1140)을 포함하고 있을 수 있다. 상기 3차원 영상 정보 DB(1110)는 발음 대상별 3차원 영상 정보 데이터(1111), 발음 대상별 투시 방향별 3차원 영상 정보 데이터(1112) 및/또는 통합 3차원 영상 정보 데이터(1113) 등을 포함하고 있을 수 있다. 한편, 3차원 영상 맵핑 처리 모듈(1120)은 발음 대상별 3차원 영상 정보를 맵핑 처리하는 3차원 영상 맵핑 처리부(1121) 및 발음 대상별 3차원 영상 맵핑 관계 정보 데이터(1122)를 포함하고 있을 수 있다.

상기 구강 영상 정보 처리 모듈(1200)은 구강 영상 정보를 제공하고 있는 구강 영상 정보 DB(1210), 구강 영상 정보를 제공하는 구강 영상 제공 모듈(1220), 사용자의 입력을 받아서 구강 영상 정보를 처리하는 사용자 입력 기반 구강 영상 처리부(1230) 및 구강 영상 정보를 제공하는 구강 영상 정보 제공 모듈(1240)을 포함하고 있을 수 있다. 상기 구강 영상 정보 DB(1210)는 발음 대상별 준비 구강 영상 정보 데이터(1211), 발음 대상별 발성 구강 영상 정보 데이터(1212), 발음 대상별 후속 구강 영상 정보 데이터(1213) 및/또는 발음 대상별 통합 구강 영상 정보 데이터(1214) 중 어느 하나 이상을 포함하고 있을 수 있다. 상기 구강 영상 제공 모듈(1220)은 구강 영상 결합 제공부(1221) 또는 통합 구강 영상 제공부(1222) 중 어느 하나 이상을 포함하고 있을 수 있다.

상기 맵핑 발음 학습 지원 모듈(1300)은 발음 학습을 위한 이종 언어간의 맵핑 언어 영상 정보를 저장하고 있는 맵핑 언어 영상 정보 DB(1310), 복수 언어간 맵핑 처리 기능을 수행하는 복수 언어간 맵핑 처리 모듈(1320), 맵핑 언어 영상 정보의 제공을 제어하는 맵핑 언어 영상 정보 제공 제어부(1330) 및 사용자가 입력하는 정보에 기반하여 맵핑 언어 영상 정보를 처리하는 사용자 입력 기반 맵핑 언어 영상 처리부(1340)를 포함하고 있을 수 있다. 상기 맵핑 언어 영상 정보 DB(1310)는 목표 언어 발음 대응 구강 영상 정보 데이터(1311), 참조 언어 발음 대응 구강 영상 정보 데이터(1312), 목표-참조 비교 정보 데이터(1313) 및 통합 맵핑 언어 영상 정보 데이터(1314) 중 어느 하나 이상을 포함하고 있을 수 있다. 상기 복수 언어간 맵핑 처리 모듈(1320)은 복수 언어 간의 맵핑 정보를 처리하는 복수 언어 맵핑 처리부(1321) 및 발음 대상별 복수 언어간의 맵핑 정보를 저장하고 있는 발음 대상별 복수 언어간 맵핑 관계 정보 데이터(1322) 중 어느 하나 이상을 포함하고 있을 수 있다.

상기 발음 학습 지원 DB부(1400)는 본 발명 사상의 발음 학습을 지원하기 위한 각종 데이터를 포함하고 있다. 상기 발음 학습 지원 DB부(1400)에는 발음 학습 대상을 저장하고 있는 발음 학습 대상 데이터(1410), 조음 기관의 이미지를 저장하고 있는 조음 기관 이미지 데이터(1420), 기류 표시 이미지를 저장하고 있는 기류 표시 이미지 데이터(1430), 안면 이미지 정보를 저장하고 있는 안면 이미지 데이터(1440), 발음 대상별 청각 정보를 저장하고 있는 발음 대상별 청각 정보 데이터(1450), 공명정 정보를 저장하고 있는 공명점 정보 데이터(1460), 조음 위치 정보를 저장하고 있는 조음 위치 정보 데이터(1470), 성대 울림 이미지 정보를 저장하고 있는 성대 울림 이미지 데이터(1481), 모음 사각도 이미지 정보를 저장하고 있는 모음 사각도 이미지 데이터(1482), 접촉부 대응 이미지 정보를 저장하고 있는 접촉부 대응 이미지 데이터(1483), 근육 긴장 표시 이미지 데이터(1484)를 저장하고 있는 근육 긴장 표시 이미지 데이터(1484) 중 어느 하나 이상을 포함하고 있을 수 있다.

상기 발음 학습 대상 데이터(1410)에는 발음 학습의 대상이 되는 음소, 음절, 단어 및 단어열에 대한 정보를 포함한다. 음소에는 발음 학습의 대상이 되는 언어와 관련되는 발음 기호뿐만 아니라, 발음 학습을 위한 참조의 대상이 되는 언어와 관련되는 발음 기호를 포함할 수 있다. 음절은 상기 음소가 1개 이상 사용되어 형성되며, 상기 단어나 단어열도 음소의 선형적인 결합을 통해서 준비될 수 있다. 한편, 상기 음소, 음절에는 발음 학습의 대상이 되는 언어의 철자 또는 스펠링이 대응될 수도 있으며, 이러한 대응되는 철자 또는 스펠링도 상기 발음 학습 대상 데이터(1410)의 정보를 이룬다. 한편, 단어 및 단어열(구, 절 및 문장)은 철자 및 발음 기호가 대응될 수 있으므로, 철자 및 대응되는 발음 기호 또는 발음 기호열도 상기 발음 학습 대상 데이터(1410)의 중요한 구성 요소가 될 수 있다.

상기 조음 기관 이미지 데이터(1420)는 조음 기관의 이미지 데이터를 포함한다. 조음 기관의 이미지는 크게 3가지가 있을 수 있다. 첫째는 특정한 발음 대상을 위한 조음 기관별 이미지 데이터이다. 조음 기관에는 혀, 입술, 구강, 치아, 성대, 코 등이 있는데, 특정한 발음을 할 때, 이들 조음 기관 중에서 어느 하나 이상이 형태(시각적으로 인지되는 모양, 긴장, 근육의 움직임 등)이 변할 수 있다. 이때, 상기 조음 기관별 이미지 데이터는 특정한 발음을 위한 조음 기관의 움직임이 일어나는 시계열적 이미지(동영상적 이미지)를 말한다. 이러한 조음 기관별 이미지 데이터는 조음 기관별로 레이어 처리가 되어, 특정한 발음을 위해 각 레이어별로 겹쳐서 사용자에게 제공될 수 있다. 정확한 발음을 학습하기 위해 조음 기관별 심화 학습을 위해 사용자가 혀 등과 같은 특정한 조음 기관의 움직임만을 집중적으로 파악하고자 할 수 있다. 이 때, 레이어 처리가 되어 있어야 혀의 움직임과 관련된 레이어만을 사용자에게 제공할 수도 있고, 다른 레이어도 함께 제공하되, 혀에 대해서만 특별한 처리(확연히 구분되는 색깔, 경계선, 또는 기타 강조 처리)를 수행하고, 특별한 처리가 된 레이어를 기존의 다른 레이어와 결합하여 사용자 단말기(2000)로 제공해 줄 수 있게 된다. 레이어별 정보 처리는 본 발명의 영상 결합부(1500)의 레이어 처리부(1510)가 수행한다. 레이어 처리가 될 때 다른 조음 기관 이미지들과의 동기화 처리가 중요한데, 이러한 동기화 처리는 동기화 처리부(1520)가 수행한다. 한편, 이렇게 특별한 처리가 되었거나, 또는 조음 기관별 이미지가 결합되어 하나의 단일 영상(비 레이어 또는 단일 레이어로 구성)으로 생성될 수도 있는데, 이러한 처리는 본 발명의 단일 영상 생성부(1530)가 수행한다. 발음 대상별로 상기 단일 영상으로 된 영상에는 상기 발음 대상의 발음을 위한 모든 조음 기관 또는 시각적으로 제공할 필요가 있는 필수 또는 필요 조음 기관이 표시되는 이미지 영상이 포함된다. 한편, 1개의 조음 기관에 대해서도 적어도 1개 이상의 조음 기관 이미지 데이터(1420)가 포함될 수 있음을 당연할 것이다. 특히, 후술하는 파노라마 영상으로 발음 대상의 영상 이미지를 제공할 때는 더욱 더 그러하다. 상기 조음 기관 이미지 데이터(1420)는 발음 대상별로 맵핑되어 저장될 수 있다.

상기 기류 표시 이미지 데이터(1430)는 발음 학습을 위하여 조음 기관 내에서 발생하는 공기의 흐름, 강약, 압축과 해제 등에 대응되는 기류의 변화에 대응되는 이미지를 포함하고 있다. 상기 기류 표시 이미지 데이터(1430)는 발음 대상별로 다를 수도 있으며, 발음 대상별로 특정한 기류 표시 이미지 데이터(1430)를 공유할 수도 있다. 상기 기류 표시 이미지 데이터(1430)는 발음 대상별로 맵핑되어 저장될 수 있다.

상기 안면 이미지 데이터(1440)는 발음 대상별로 발음이 진행될 때, 안면 이미지를 제공하는데 필요한 데이터이다. 상기 안면 이미지 데이터(1440)는 발음이 진행되면서 구강의 열림과 닫힘, 안면 근육의 변화 등 안면에서 발생되는 각종 변화를 제공하여, 정확하고 효율적인 발음 학습을 돕는데 활용된다. 상기 안면 이미지 데이터(1440)는 특정한 발음 학습이 진행될 때, 독자적으로도 제공 가능하지만, 다른 영상과 부수적, 병렬적 또는 선후차적으로 제공될 수도 있다.

발음 대상별 청각 정보 데이터(1450)는 발음 대상별로 청각적으로 인지될 수 있는 소리 또는 발성 데이터이다. 이러한 소리 또는 발성은 1개의 발성 대상에 대하여 다수 개가 맵핑될 수 있다. 발음 대상의 발성음에는 음색, 남녀, 나이 등에 따라 사용자들에게 다르게 들릴 수 있기 때문에, 사용자에게 친숙하게 들리게 하기 위해서는 발음 대상 1개에 복수개의 발성음이 맵핑되어 있는 것이 바람직하다. 이때, 상기 사용자는 자신이 원하는 특성(예, 여자, 변성기 이전, 맑은 음색)에 대한 선택 정보를 상기 발음 학습 지원 시스템(1000)에 전송할 수 있고(이를 위해서는 상기 발음 학습 지원 시스템(1000)의 사용자 선택 정보 제공 요청부(1610)는 사용자 단말기(2000)에 상기 발음 학습 지원 시스템(1000)이 제공 가능한 발성음의 특성 정보를 제공하는 것이 바람직할 것이다.), 상기 발음 학습 지원 시스템(1000)은 이러한 특성에 부합하는 발성음으로 발음 학습을 진행할 수 있을 것이다. 이때, 상기 발성음과 발음 대상과 맵핑되어 있는 영상과는 동기화가 필요하며, 이는 본 발명의 동기화 처리부(1520)가 수행한다. 물론, 상기 발성음은 상기 발음 대상과 맵핑되어 있는 영상에 결합되어 존재할 수도 있을 것이다. 이때도, 상기 발음 대상과 맵핑되어 있는 영상을 선택 가능한 발성음의 특성의 가능한 조합별로 생성해 놓으면, 사용자가 선택하는 특성에 부합하는 발성음을 제공해 줄 수 있을 것이다.

발음 대상의 정확한 발음을 위해서는 정확한 위치에서 공명(모음 또는 반모음/반자음 일부에서 등)이 발생하는 것이 중요하다. 본 발명의 상기 공명점 정보 데이터(1460)에는 공명이 발생하는 발음 대상에 대하여 공명점 정보를 저장하고 있다. 공명점 정보에는 공명이 발생하는 조음 기관 내에서의 공명점 위치 정보 및 공명점을 시각적으로 인지할 수 있는 공명점 표시 이미지 데이터(1461)가 포함된다. 공명점 위치 정보는 구강 이미지에 따라서 시각적으로 인지되는 위치 좌표가 달라질 수 있으므로, 구강 이미지별로 절대적 위치 정보가 확보되거나, 상대적 위치 정보가 저장된다. 한편, 발음의 진행에 따라 공명점의 위치가 변동될 수 있는데(연속되는 모음 또는 단어 등의 발음 등에서) 이 경우 발음의 진행과 더불어 변동되는 공명점의 위치 변동은 동기화가 될 필요가 있다. 상기 영상 결합부(1500)는 발음 대상별로 발성 시간의 경과에 따른 공명점 위치 정보가 저장되어 있는 경우, 공명점 위치 정보의 변동을 구강 이미지에 결합하는 기능을 수행할 수 있다. 물론, 공명점의 변동은 공명점의 표시를 위한 독립된 레이어 상에서 처리될 수도 있으며, 이 경우 레이어 처리는 본 발명의 레이어 처리부(1510)가 수행하고, 동기화는 본 발명의 동기화 처리부(1520)가 수행한다. 한편, 공명은 발성이 진행되는 동안 일정 시간 이상 발생할 수 있기 때문에, 발음 대상의 영상 정보 제공 시에는 공명이 발생하는 동안 공명점에서는 공명점 표시 이미지 데이터(1461)를 사용하는 지속적인 공명 표시가 시각적으로 인지 될 수 있도록 유지되는 것이 바람직할 것이다. 한편, 공명이 발생하는 발음 대상에 대한 공명점 표시 이미지 데이터(1461)가 사용되는 공명 표시가 포함된 단일 영상이 생성될 수 있을 것이다. 사용자 단말기(2000)를 통하여 생성된 단일 영상 제공되는 동안 공명점 표시 이미지 데이터(1461)가 사용자에게 시각적으로 인지될 수 있을 것이다.

성대에서　일어난　발성으로　인하여　생성된　음성　에너지가　구강을　통과하면서　구강 내에서의　공진 주파수에　진폭이　최대치가　되는， 즉 공명이 일어 나고 있는 시점 또는 시간대 동안 동영상을 구성하는 이미지에 공명 표시 수단을 통해서 표시될 수 있다. 발음 지원 시각화 수단 중 가장 중요한 수단 중의 하나인 공명 표시 수단이 삽입되어　표시되면,　사용자들이 동영상　재생 시　음성 신호 및 각 음소 발음 시의 혀의 위치와　동기화　하여　구강 내　공명이　일어나고　있는　순간과　혀의 위치를 시각적으로 인지할 수 있게 되어 　학습자가 구강 내에서의 위치 뿐 아니라 혀가 울리는 부분(공명이 일어나고 있는 위치)을 인식 및 예측할　수　있게 된다.

공명음(sonorants) 이란 구강(oral cavity)이나 비강(nasal cavity)을 통해 공기가 흐르면서 울리는 소리를 말한다. 장애음(obstruents) 에 상대하여 이르는 말로 대표적으로 각 언어의 모음, 반모음[w, j, 등], 유음 [l , r 등] 비음 [m, n, ng] 을 이른다. 이러한 공명음 중 반모음을 제외한 대다수의 공명음들은 (모음, 비음, 유음) 단어 내에서 독립적인 음절(의미를 만드는 말이 되는 최소한의 소리 덩어리)을 구성할 수 있기 때문에 언어 학습에서 이러한 공명음의 부정확한 발음은 특정 음운의 왜곡(distortion), 동화 (assimilation), 이화(substitution), 생략(omission) 같은 인지 상에 오류를 유발할 수 있기 때문에 각 음소별 정확한 발음 기관의 위치 조절 및 정확한 발성에 의한 안정적인 공명이 발생하였을 때 명확하게 의미를 전달할 수 있다.

일반적으로 F1 F2 포먼트 주파수의 공명점은 각 언어별 모든 모음과 한국어 와웨위야여유요예, 영어의 [w, j], 또는 프랑스어의 반모음(semivowel), 그리고 유음중 dark'l' (모음 역할을 하는 l 발음, 모음 뒤에 나오거나 'little' 처럼 자음의 뒤에 쓰여 하나의 독립된 음절을 형성할 수 있음) 의 경우에는 비교적 F1, F2 의 비율로 산정된 구강 내에서의 공명점의 위치의 변동값을 학습자가 시각적으로 인지할 수 있을 정도로 정확한 표시가 가능할 정도로 안정적인(steady) 값을 가지고 있다. 또한 공명점의 위치가 각 음소 발음 시에 특정위치에서의 혀의 표면과 정확하게 일치하기 때문에 시각적으로 이러한 부분을 인지하고 학습자의 음성으로 그러한 공명음류의 음소 발음을 모방할 시에 더욱 효과적인 이 가능하다.

하지만 이러한 공명음 중에서도 비음[m, n, ng] (구강뿐만 아니라 비강의 면적과 모양의 차이로 공명점을 찾는 소리) 나 유음중 자음역할 을 하는 light 'l' 발음 ('lead' 처럼 앞에 모음 없이 단독으로 위치하거나 'blade' 처럼 자음과 하나의 자음군(consonant clusters)을 형성하는 'l', [ r] 과 같은 공명음들은 발성되는 소리의 길이가 상대적으로 짧아서 정확한 공명점을 시각적으로 확인하기에는 어려움이 있고 또한 특정 공명음 음소 발음에서의 혀의 고정된 위치에서의 혀의 표면과 F1 F2의 공명점의 값이 전혀 일치 하지 않는 경우가 더 많기 때문에 이러한 공명음들은 공명점을 보여주기보다는 조음 위치와 발성, 발음 원리를 시간의 흐름에 따라 기호화 하여 표시하기로 한다. 즉, 이러한 소리들은 공명점으로 표기하지 않고 다른 자음들과 마찬가지 방식으로 조음 중심으로 풀어나가는 것이 바람직하다.

각　모음 발음별　공명점에　표시는　포먼트(formant)　주파수중　가장　낮은　주파수를　Ｆ１,　Ｆ２라고　할 때　이　두　주파수　값의　비율을　분석한　기존 연구 논문들을　기반으로　분석하여 언어별　각　모음 발음 시에　공명이　일어나는　위치를　예측할 　기　제작한　３Ｄ　시뮬레이션　영상의　구강에　있는　혀의　특정 위치의 표면에　공명이　일어나는　주파수　대역의　평균치를　환산하여　그　평균값을　방사형　모양의　표식을　통하여　동영상내의　각　모음　음성 신호의　재생　시작점부터 동시에　표시될　수　있도록　동기화하여 구강 내에서 공명이 발생하는 혀의 위치에　표시한다.

발음 대상의 정확한 발음을 위해서는 정확한 조음 위치(자음 또는 반모음/반자음 일부에서 등)에서 음을 발생시키는 것이 중요하다. 본 발명의 상기 조음 위치 정보 데이터(1470)에는 발음 대상에 대하여 조음 위치 정보를 저장하고 있다. 조음 위치 정보에는 조음 기관 내에서의 조음 위치 정보 및 조음 위치를 시각적으로 인지할 수 있는 조음 위치 표시 이미지 데이터(1471)가 포함된다. 조음 위치 정보는 구강 이미지에 따라서 시각적으로 인지되는 위치 좌표가 달라질 수 있으므로, 구강 이미지별로 절대적 위치 정보가 확보되거나, 상대적 위치 정보가 저장된다. 한편, 발음의 진행에 따라 조음 위치가 변동될 수 있는데(연속되는 자음 또는 단어 등의 발음 등에서) 이 경우 발음의 진행과 더불어 변동되는 조음 위치 변동은 동기화가 될 필요가 있다. 상기 영상 결합부(1500)는 발음 대상별로 발성 시간의 경과에 따른 조음 위치 정보가 저장되어 있는 경우, 조음 위치 정보의 변동을 구강 이미지에 결합하는 기능을 수행할 수 있다. 물론, 조음 위치의 변동은 조음 위치의 표시를 위한 독립된 레이어 상에서 처리될 수도 있으며, 이 경우 레이어 처리는 본 발명의 레이어 처리부(1510)가 수행하고, 동기화는 본 발명의 동기화 처리부(1520)가 수행한다. 한편, 조음 위치의 유지나 변동은 발성이 진행되는 동안 일정 시간 이상 발생할 수 있기 때문에, 발음 대상의 영상 정보 제공 시에는 조음 위치에서는 조음 위치 표시 이미지 데이터(1471)를 사용하는 지속적인 조음 위치 표시가 시각적으로 인지 될 수 있도록 유지되는 것이 바람직할 것이다. 한편, 발음 대상에 대한 조음 위치 표시 이미지 데이터(1471)가 사용되는 조음 위치 표시가 포함된 단일 영상이 생성될 수 있을 것이다. 사용자 단말기(2000)를 통하여 생성된 단일 영상 제공되는 동안 조음 위치 표시 이미지 데이터(1471)가 사용자에게 시각적으로 인지될 수 있을 것이다.

이어, 본 발명의 3차원 영상 정보 처리 모듈(1100) 및 3차원 영상 정보 처리 모듈(1100)의 정보 처리 방법을 도 4 내지 도 34를 참조하면서 더욱 더 상세하게 설명한다.

도 5에서 예시되듯이, 상기 3차원 영상 정보 처리 모듈(1100)은 상기 발음 대상에 대한 3차원 영상 정보의 제공을 요청 받고(S1-11), 제1 3차원 영상 정보를 제공(S1-12)하고, 적어도 하나 이상의 제2 3차원 영상 정보를 제공(S1-13)하는 기능을 수행한다.

제1 3차원 영상 정보와 상기 제2 3차원 영상 정보 모두 동적으로 변동되는 영상(동영상이 예가 되며, 이러한 변동은 일정한 시간 단위로의 계단적 변화나 변동 또는 동영상과 같은 스무드(smooth)한 연속적 변동을 포함한다.)이며, 상기 동영상에는 발음 대상과 관련있는 조음 기관 표시, 공명점 표시나 조음 위치 표시, 기류 변화 표시, 성대 울림 표시, 접촉 부위 표시 등이 포함되어 있으며, 이들 각종 표시 중 일부 또는 전부는 발성의 진행에 따라 형상이나 크기나 모양 등 시각적으로 인지될 수 있는 형태가 변동될 수 있다.

제1 3차원 영상 정보와 상기 제2 3차원 영상 정보를 구분 짓는 것은 투시 방향(시점, 앵글 등과 같이 조음 기관을 투시하는 방향)이다. 제1 3차원 영상 정보는 1개의 발성 대상에 대하여 발성의 준비, 개시 및 종료까지의 1개의 투시 방향과 관련된 3차원 영상 정보를 제공한다. 투시 방향은 전후, 좌우 등과 같은 평면각일 수도 있지만, 입체각(상하를 포함하며, 입체 좌표 상에서 (1,1,1)에서 원점을 바라보는 투시각 또는 (1,2/3, 1/3)에서 원점을 바라보는 투시각 등이 입체각의 예시가 될 수 있다.)인 것이 더욱 더 바람직할 것이다.

도 10 내지 도 12는 [p]에 대하여 특정한 제1 입체각에서 본 발명의 제1 3차원 영상 정보가 제공되는 모습을 보인 것이다. 제1 3차원 영상 정보는 스무드한 동영상으로 제공되는 것이 바람직한 것이나, 본 발명의 명세서에서는 기술(description)의 한계상 계단식 또는 단계식으로 표현하나 이는 스무드한 연속적 변화로 제공될 수도 있다는 것으로 이해되어야 할 것이다.

도 10은 [p]발음을 개시하려 할 때의 최초로 제공되는 이미지이다. 도 10에서 알 수 있듯이, 본 발명에서는 [p]발음에 활용되는 조음 기관인 입술, 혀, 및 구개만이 3차원적으로 사용될 수 있으며, 무관한 다른 조음 기관은 제외되고 있음을 알 수 있다. 또한, 본 발명 사상의 큰 특징인 혀나 입술 안쪽 등과 같은 조음 기관의 내부 이미지가 사용되고 있음을 확인할 수 있다. 이러한 것은 평면적 2차원적 이미지의 표시로는 달성할 수 없는 것이다.

한편, 도 10에서는 혀와 내부 입술 사이에 작은 화살표가 있음을 알 수 있는데, 이 작은 화살표는 기류 변화에 대응되는 이미지 표시 수단이다. 도 11에서는 동일한 영상에서 기류 변화에 대응되는 이미지 표시 수단의 크기가 크다는 점을 발견할 수 있다. 도 12에서는 입술이 열리면서 방사형으로 향하는 3개의 작은 화살표로 기류 변화에 대응되는 이미지 표시 수단이 표시되고 있음을 볼 수 있다. 이와 같이 본 발명에서는 파열음인 [p]를 정확히 발음하기 위하여, 기류 변화의 이미지로 공기를 서서히 압축한 다음, 입술이 열리면서 공기가 방사형으로 발산해야 함을 직관적으로 인지할 수 있도록 시각적으로 제공한다. 특정한 발음을 할 때의 기류의 시간적 변화에 따른 화살표의 크기의 변화(구강 내에서의 공기압의 변화) 및 방향의　변화(공기의 기류의　변화)를　통하여　시간의　흐름에　따라　실제　발음을　할 때의　변화와　동일성이 시각적으로 최대한 인지될 수 있는 시뮬레이션이 제공될 수 있게 된다.

한편, 혀의 입술의 모양도 3차원적으로, 특히 조음 기관의 내부 이미지를 활용하여 어떤 형상(혀의 끝을 아래쪽으로 굽히게끔 유지하고, 혀의 중앙부분은 평평하게 유지해야)을 갖추어야만 정확하게 파열음 [p]를 발성할 수 있는 지를 확인할 수 있다.

도 13 내지 도 14는 투시되는 방향이 연속적으로 변동하고 있음을 보여주는 제1 3차원 영상 제공과 제2 3차원 영상 제공의 중간 단계를 보여 주는 도면이다.

이어, 도 15 내지 도 17은 다른 투시 방향(측면 방향)에서 [p]발음을 위한 조음 기관의 운동과 기류의 흐름이나 변동을 보여주고 있다. 특히, 도 16에서는 혀의 움직임은 변동 없는 상태에서 기류 표시 이미지(111)가 가장 커지면서 입술은 굳게 다물어지는 것을 보여 주는데, 이는 [[p]발음을 파열시키는 방식으로 터트리기 전에 공기를 압축함을 잘 보여 주고 있다. 이러한 것이 발음 학습에서 본 발명의 내부 조음 기관의 3차원 이미지와 기류 표시 이미지(111)의 결합 효과를 잘 보여주는 예라 할 것이다.

그리고, 도 18 내지 도 20은 또 다른 투시 방향(도 10 내지 도 12와 90도 각도를 이루는 다른 측면 방향)에서 [p]발음을 위한 조음 기관의 운동과 기류의 흐름이나 변동을 보여주고 있다. 특히, 도 19 및 도 20은 외부에서 관찰되는 외부 조음 기관의 이미지 부분은 전혀 없이 내부 조음 기관의 3차원 이미지만 나타나는 것으로, 본 발명의 내부 조음 기관의 3차원 이미지와 기류 표시 이미지(111)의 결합 효과를 잘 보여주는 다른 예라 할 것이다. 도 19 내지 도 20에서와 같이 본 발명은 특정한 발음을 발성하기 위하여 구강 내에서 일어나는 현상 또는 일어나야 하는 현상을 3차원 이미지와 기류 흐름 표시 이미지를 통하여 효과적으로 제시하고 있다.

마지막으로, 도 21 내지 도 23는 다른 투시 방향(후면 방향)에서 [p]발음을 위한 조음 기관의 운동과 기류의 흐름이나 변동을 보여주고 있다.

한편, 상기 발음 학습 지원 시스템(1000)은 선택적으로 제공되었던 제1 3차원 영상에서 제n 3차원 영상까지 n(n >1, n은 자연수)개의 영상을 한 개의 화면에 나타나도록 합쳐서 종합적으로 [p]발음을 위한 조음 기관의 운동을 확인할 수 있도록 n개의 3차원 영상을 한꺼번에 제공할 수 있다. 도 24 내지 도 26에서 n개의 3차원 영상을 한꺼번에 제공되는 것을 확인할 수 있다.

본 발명의 발음 학습 지원 시스템(1000)은 상기 도 10 내지 도 23 또는 도 10 내지 도 26까지의 영상을 순차적으로 제공하기 위해서 통합적인 1개의 3차원 영상 파일로 생성하여 통합 3차원 영상 정보 데이터(1113)에 저장한 다음, 사용자 단말기(2000)로 제공할 수도 있을 것이다. 한편, 상기 3차원 영상 정보 처리 모듈(1100)은 각 투시 방향에서 제공되는 제n 3차원 영상 각각을 n개의 영상 파일로 분리하여 저장한 다음, 순차적으로 또는 사용자의 선택에 따라 선택에 부합하는 3차원 영상 정보만을 제공할 수도 있을 것이다.

한편, 상기 발음 학습 지원 시스템(1000)은 도 6 내지 도 8에서 예시되듯이, 다수 개의 투시 방향에 대한 3차원 영상 정보를 생성한 다음 발음 대상별 투시 방향별 3차원 영상 정보 데이터(1112)에 이러한 3차원 영상 정보를 저장해 놓은 다음, 사용자 단말기(2000)로부터 제어 정보를 입수 받고, 제어 정보에 대응되는 3차원 영상 정보를 제공해 줄 수도 있을 것이다. 상기 3차원 영상 정보 처리 모듈(1100)은 3차원 영상 제공에 대한 제어 정보를 입수 받고(S1-21), 제어 정보에 대응되는 3차원 영상 정보를 제공(S1-22)할 수 있다. 제어 정보에는 투시 방향, 재생 속도(정상 속도, 1/n배속, n배속 등, n은 자연수), 나타나야 할 조음 기관의 선택이나 강조되어야 할 조음 기관의 선택, 공명점이나 조음 위치의 표시, 기류의 표시 유무나 표시 방법, 발음 대상(음소, 음절, 단어 및/또는 단어열) 등이 될 것이다. 상기 입출력부(1600)의 사용자 선택 정보 제공 요청부(1610)는 사용자 단말기(2000)에 선택 가능한 제어 정보의 목록을 제시하고, 사용자 선택 정보 입수부(1620)를 통하여 사용자의 제어 선택 정보를 입수한 다음, 사용자의 제어 선택 정보에 부합하는 3차원 영상 정보를 입수하여 제공할 수 있다.

대표적인 제어 정보로는 투시 방향이 될 것이며, 이는 도 7에서 잘 나타나 있다. 도 7에서 예시되듯이, 상기 3차원 영상 정보 처리 모듈(1100)은 사용자 단말기(2000)로부터 자신이 원하는 적어도 하나 이상의 투시 방향에 대한 선택 정보를 입수(S1-31)하고, 투시 방향에 대응되는 3차원 영상 정보 입수(S1-32)하고, 투시 방향에 대응되는 3차원 영상 정보 제공(S1-33)할 수 있다.

한편, 조음 기관별로 레이어 처리가 되어 있을 경우, 도 8에서 예시되듯이, 상기 3차원 영상 정보 처리 모듈(1100)은 조음 기관별 레이어에 대한 선택 정보를 입수(S1-41)하고, 선택된 조음 기관별 레이어에 대한 3차원 영상 정보를 제공(S1-42)할 수 있을 것이다.

도 27 내지 도 29는 반모음 [w]에 대한 제1 3차원 영상 정보에 대한 것이며, 도 30 내지 도 32는 제2 3차원 영상 정보에 대한 것이다. 도 26 내지 도 32에서는 공명점에 대한 표시, 기류 흐름 표시 및 접촉부 표시가 있음을 볼 수 있다. 도 26 및 도 30에서 반모음을 발성하기 위하여 기류가 목젖 쪽에서부터 올라와야 한다는 것이 나타나 있고, 도 28 및 도 31에서는 혀의 중간에 공명점이 표시되어 있고, 기류 표시가 공명점의 주위를 지나서 양 옆으로 흩어진다는 것과 혀의 맨 앞이 구개 천장에 붙어야 한다는 것이 나타나 있다. 도 28 및 도 31에서 알 수 있듯이, 구개와 붙는 부분(구개 접촉 부위 표시 이미지(114))은 혀의 다른 부위와는 달리 음영(짙은 색깔)로 처리되어 있어(음영 처리되는 부분이 구개 접촉 부위 표시 이미지(114)가 된다.) 반모음의 발음에서 혀가 구개와 접촉해야 함을 직관적으로 이해할 수 있도록 이미지화되어 있다. 한편, 도 28 내지 도 29, 도 31 내지 도 32에서 볼 수 있듯이, 공명점 대응 이미지(공명점은 원형의 점으로 표시되고, 퍼져 나가는 울림 표시가 공명점의 주위에 있음)가 공명이 발생하는 동안에 계속하여 유지되고 있음을 볼 수 있다. 본 발명 사상에서는 정확한 발성을 위한 공명점 표시 이미지와 기류 표시 이미지(111)가 발성의 진행에 따른 정확한 동기화된 유지를 효과적으로 학습할 수 있도록 지원되고 있다.

상기 3차원 영상 정보 처리 모듈(1100)의 파노라마 영상 제공 모듈(1140)은 사용자 단말기(2000)에 상기 도 10 내지 도 32와 같은 3차원 영상을 투시 방향을 변경해 가면서 파노라마처럼 제공해 주는 기능을 수행한다.

한편, 본 발명의 3차원 영상 정보 처리 모듈(1100)은 사용자로부터 동일한 발음 대상에 대한 발성 정보를 입수하고, 입수한 발성 정보로부터 공점점에 대한 위치 정보를 도출할 수 있다. 사용자 입력 발성에 대한 공명점 위치 정보를 도출하는 것은 본원 특허 출원인의 선행 기술인 국내공개특허공보 제10-2012-0040174호에 잘 나타나 있다. 상기 선행 기술에서는 사용자의 발성 정보에 대한 주파수 분석을 수행하여 포먼트 주파수 중 가장 낮은 두 개의 주파수인 F1, F2를 사용하여 F1을 y 좌표로 하고, F2를 x 좌표로 처리한 (F2, F1)를 공명점의 위치로 결정할 수 있다는 것을 보여 주고 있다.

사용자 발성 정보에 기반한 사용자 (발성) 공명점의 위치를 정하게 되면 상기 사용자 (발성) 공명점과 정확한 발성을 위한 권장 공명점에 대한 비교 위치 정보를 생성할 수 있게 된다. 도 9에서 예시되듯이, 상기 3차원 영상 정보 처리 모듈(1100)은 발음 대상에 대한 사용자의 음성/발성 정보를 입수(S1-51)하고, 사용자의 음성/발성 정보에서 사용자 공명점 정보(공명점의 위치 정보 및 공명 유지 시간 정보 등)를 생성(S1-52)하고, 사용자 공명점 정보를 3차원 영상에 포함되게 처리(S1-53)하고, 사용자 (발성) 공명점 정보 및 권장 공명점 정보가 포함된 3차원 영상 정보 제공(S1-54)하는 과정을 수행한다. 공명점 정보의 생성은 본 발명의 공명점 생성부(1710)가 수행하게 된다.

도 33과 도 34는 본 발명의 공명점 정보 및 권장 공명점 정보가 비교되어 나타나는 것을 예시하고 있다. 도 33에서는 상기 공명점 생성부(1710)가 생성해 놓은 공명점 정보가 3차원 영상에 별 모양으로 반영되어 있음을 볼 수 있다. 도 33에서 사용자 공명점은 권장 공명점보다 좌 상향되어 위치하고 있다는 것이 시각적으로 제시되어 사용자의 발음 교정 직관적으로 기여하게 된다. 아울러, 도 34에서는 사용자 공명점은 사라져 버리고 권장 공명점만 유지되고 있음을 보여 주고 있다. 도 34를 통해서 사용자에게 사용자 공명점이 지속적으로 유지되지 않음을 보여 주어, 사용자는 정확한 발음을 위해서 공명 유지 시간을 지속시켜야 한다는 학습 포인트를 직관적으로 느낄 수 있게 된다.

도 4는 본 발명의 3차원 영상 정보 처리 모듈(1100)에 대한 일 실시예적 구성에 관한 도면이다. 상기 설명에서 알 수 있듯이, 상기 3차원 영상 정보 DB(1110)의 발음 대상별 3차원 영상 정보 데이터(1111)에는 발음 대상별로 3차원 영상 정보 데이터가 포함되어 있으며, 발음 대상별 3차원 영상 정보 데이터(1111)에 포함되어 있는 3차원 영상 정보는 모든 투시 방향의 3차원 영상 정보가 함께 포함되어 있다. 발음 대상별 투시 방향별 3차원 영상 정보 데이터(1112)에 포함된 3차원 영상 정보는 투시 방향별로 별도의 3차원 영상 정보가 포함되어 있다. 사용자로부터 특정한 투시 방향에 대한 선택 정보를 입수 받는 경우에는 발음 대상별 투시 방향별 3차원 영상 정보 데이터(1112)에 포함된 3차원 영상 정보가 활용된다. 통합 3차원 영상 정보 데이터(1113)에 포함되어 있는 3차원 영상 정보는 발음 대상별로 여러 가지 3차원 영상(투시 방향별 통합, 음색별 통합, 조음 기관별로의 통합, 재생 속도별 통합 등)이 통합되어 존재하는 것이 특징이다.

한편, 상기 3차원 영상 정보 처리 모듈(1100)은 상기 사용자로부터 재생 속도에 대한 선택 정보를 입수 받고, 상기 3차원 영상의 제공 속도를 조절하여 제공할 수도 있을 것이다.

한편, 상기 3차원 영상 맵핑 처리 모듈(1120)은 발음 대상별로 3차원 영상 정보를 관리하고, 외부로부터의 발음 대상(및 투시 방향)에 대한 요청이 있는 경우 발음 대상별 3차원 영상 맵핑 관계 정보 데이터(1122)의 데이터를 제공한다. 발음 대상별 3차원 영상 맵핑 관계 정보 데이터(1122)의 데이터는 하기 표 1과 같을 수 있다.

음소 식별자	투시 방향	파일명	비고
음소i	(1, 0, 0)	음소i_100.avi	측면
음소i	(1, 1, 0)	음소i_110.avi	45도 우회전
음소i	(0, 1, 0)	음소i_010.avi	후면
음소i	..	..
음소i	(1, 1, 1)	음소i_111.avi	우 하향
음소i	통합	음소i.avi	모든 투시 방향 통합
음소j	(1, 0, 0)	음소j_100.avi	측면
	..	..

이어, 도 도 35 내지 도 59를 참조하면서 본 발명의 구강 영상 정보 처리 모듈(1200)의 정보 처리 방법을 더욱 더 상세하게 설명한다.

상기 구강 영상 정보 처리 모듈(1200)은 발음 대상에 대한 구강 영상 정보의 제공을 요청 받는(S2-11) 경우, 준비 구강 영상 정보를 제공(S2-12)하고, 이어, 발성 구강 영상 정보를 제공(S2-13)한다. 선택적으로, 구강 영상 정보 처리 모듈(1200)은 후속 구강 영상 정보를 제공(S2-14)하기도 한다.

도 41은 사용자 단말기(2000)로부터 음소［ch］에 대한 구강 영상 정보의 제공을 요청 받았을 경우, 상기 마찰음에 대하여 준비 구강 영상 정보로 제공하는 동영상의 한 예시적 이미지를 제공하고 있다.

도 41에서는 우측에는 조음 기관의 3차원(혀 등과 같은 주요 조음 기관이 단순한 2차원적 평면 이미지가 아니라 입체감 있는 3차원적 이미지로 되어 있음)적으로 구성되는 단면 이미지가 준비 구강 영상 정보로서의 동영상 구성 이미지로 나타나 있으며, 좌측에는 안면 이미지가 나타나 있다. 본 발명에서 좌측의 안면 이미지는 선택적일 수 있다. 도 41에서 예시되는 준비 구강 영상 정보에서는 혀의 준비 위치, 성대에서 기류의 발생 준비 및 조음 위치(혀가 구개와 맞닿는 부분이 표시되는 원이 조음 위치를 나타냄)가 나타나 있음을 알 수 있다. 준비 구강 영상 정보에서는 발성이 준비될 뿐 실제 발성은 시작되지 않는 것이며, 이에 따라 청각적으로 인지될 수 있는 발성음도 대응되지 않는다. 사용자는 도 41과 같은 준비 구강 영상 정보를 통하여, 발음 학습이 필요한 발음 대상에 대하여 발성을 하기 전에 어떤 준비를 해야 하는지를 시각적으로 이해할 수 있게 된다.

도 42 내지 도 45는 발성 구강 영상 정보를 구성하는 동영상의 일부인 이미지를 보여 주고 있다. 도 42 및 도 45에서 알 수 있듯이, 발성 구강 영상 정보에는 기류 표시 이미지 등과 같이 발성이 존재할 때에 나타나는 각종 이미지가 포함되어 있음을 알 수 있다. 사용자는 발성 구강 영상 정보에 포함된 도 42와 같은 이미지를 통해서 성대 쪽으로부터 기류가 올라오고 있음을 파악할 수 있으며, 도 43과 같은 이미지를 통해서 기류가 혀가 구개와 맞닿은 곳에 이를 때까지 혀와 구개의 접촉이 분리되어서는 아니 됨을 알 수 있고, 도 44와 같은 이미지를 통해서 혀와 구개가 미약하게 벌어지면서 기류가 벌어진 틈을 통해서 나오는데, 이 때 혀의 중앙부까지가 굽혀져야 하고, 입술과 치아는 벌어져야 함을 알 수 있으며, 도 45를 통해서 기류가 서서히 소멸되고 있고 이 때에도 구개의 맞닿는 위치 및 혀의 모양은 변동이 없어야 함을 직관적으로 이해할 수 있다. 특히, 도 44에서도 도 45에서는 기류를 나타내는 색의 진하기가 달라지는데, 진하기나 색깔의 채도 등의 변화를 통해서 기류의 강약의 변동을 반영할 수 있다.

도 46은 후속 구강 영상 정보에 대응되는 동영상에 포함되는 일 실시예적 이미지를 보여주고 있다. 도 46에서 알 수 있듯이, 기류는 소멸되었으나 치아와 입술은 열려 있으며, 혀와 구개의 맞닿는 위치는 변동이 없음을 알 수 있다. 후속 구강 영상 정보를 선택적으로 제공함으로써, 발음의 마무리를 확실하게 처리할 수 있게 된다. 마무리(종결)이 정확하게 유지되어야 종결 직전의 과정 또한 정확하게 모사될 수 있기 때문에, 후속 구강 영상 정보의 제공은 정확한 발음 교육을 위한 본 발명 사상에서 중요한 부분을 구성한다.

도 47 내지 도 50은 [ei] 발음에 대한 본 발명 사상이 구현되는 일 실시예적 구성이다. 도 47은 [ei] 음소에 대한 준비 구강 영상 정보의 일 실시예적 구성 이미지를 나타낸다. 도 48 내지 도 50은 [ei] 음소에 대한 발성 구강 영상 정보의 일 실시예적 구성 이미지의 예시들이다. 사용자는 도 48에서는 혀는 낮은 위치에 존재하면서 혀 위에는 공명점이 존재함을 알 수 있다. 사용자는 도 49에서는 혀와 떨어진 구강 내 공간에서 공명점이 있음을 알 수 있으며, 도 50에서는 구개와 가까운 혀의 위치에 공명점이 존재하며 공명 표시 이미지(113)에 좌우로 확산되는 표시가 있음을 통해서 공명이 지속됨을 알 수 있다. 도 51은 [ei] 음소에 대한 후속 구강 영상 정보의 일 실시예적 구성 이미지가 나타나 있다. 사용자는 도 51과 같은 본 발명 사상이 적용되는 후속 구강 영상 정보를 통하여 공명은 사라지고 없으며, 구강에서의 혀의 위치와 상태는 발성 구강 영상 정보의 최종적인 위치와 상태를 상당히 유지하고 있음을 알 수 있다.

도 52는 성대 울림이 있는 경우, 성대 쪽에 울림을 의미하는 표시하는 성대 울림 이미지 데이터(1481)가 표시되어 있는 본 발명 사상이 적용되는 발성 구강 영상 정보의 일 실시예적 이미지이다. 도 52에서 알 수 있듯이, 성대 울림이 있는 경우에는 성대 울림과 관련성 있는 파형 이미지가 추가적으로 제공될 수도 있다. 성대의 울림의 유무 를 영상 이미지의 성대의 위치에 표기하여 무성음이면 아무런 표기가 없고 유성음이면 동영상의 음성 신호에서 성대에서 발성이 일어나는 시점에만 지 때 늘 지그재그 형태의 발성이 일어난다는 표식이 예시적으로 삽입될 수 있다.

도 53은 모음 사각도 이미지(121)가 포함되어 있는 본 발명의 준비 구강 영상 정보의 일 실시예적 이미지이며, 도 54는 모음 사각도 이미지(121)가 포함되어 있는 본 발명의 발성 구강 영상 정보의 일 실시예적 이미지이다. 구강 이미지　안에　각　언어별　성인　남성，　성인　여성，　변성기　이전　아동의　모음 발음 시에　구강 내에서　공명이　일어날　수　있는　범위의　평균값을　계산하여　설정된　사다리꼴　모양의 모음 사각도 (vowel quadrillateral: 구강 내에서 특정 언어의 모든 모음 중에 공명이 일어 날 수 있는 한계 범위) 삽입되면,　학습자가　모음 발음 시　구강 내에서　혀가　울리는　부분을　예측할 때　이해를　용이하게 되는 장점이 있다. 본원 발명의 이미지에서는 회색으로　보이는　사다리꼴　모양의　모음 사각도를　의미한다.

도 35는 본 발명의 구강 영상 정보 처리 모듈(1200)의 일 실시예적 구성에 관한 도면이다. 상기 발음 대상별 준비 구강 영상 정보 데이터(1211)는 준비 구강 영상 정보 데이터를, 발음 대상별 발성 구강 영상 정보 데이터(1212)는 발성 구강 영상 정보를, 발음 대상별 후속 구강 영상 정보 데이터(1213)는 후속 구강 영상 정보를 발음 대상별로 저장해 놓고 있다. 한편, 상기 준비 구강 영상 정보, 상기 발성 구강 영상 정보 및 후속 구강 영상 정보가 1개의 통합된 디지털 파일로 존재하는 경우, 발음 대상별 통합 구강 영상 정보 데이터(1214)는 이러한 통합된 디지털 파일을 발음 대상별로 저장하고 있다.

한편, 상기 발음 대상별 발성 구강 영상 정보 데이터(1212)가 저장하고 있는 발성 구강 영상 정보에는 발음 지원 시각화 수단(기류 표시 수단, 공명점 표시 수단, 조음점 표시 수단, 성대 울림 표시 수단, 근육 긴장 표시 수단(116) 등)이 포함되어 있다. 도 38에서는 상기 구강 영상 정보 처리 모듈(1200)이 발음 지원 시각화 수단에 대한 선택 정보를 입수(S2-31)하고, 발음 지원 시각화 수단에 대응되는 구강 영상 정보를 입수(S2-32)한 다음, 발음 지원 시각화 수단에 대응되는 구강 영상 정보를 제공(S2-33)하는 본 발명의 발명 사상을 개시하고 있다.

발성 지원 시각화 수단별 구강 영상 데이터(1212-1)에는 이러한 발음 지원 시각화 수단별 발성 구강 영상 데이터가 별도로 포함되어 있을 수 있다. 발성 지원 시각화 수단별 구강 영상 데이터(1212-1)의 데이터는 발성 구강 영상 정보가 다수 개의 레이어를 통해서 제공될 때, 발음 지원 시각화 수단별 레이어가 존재하고, 발음 지원 시각화 수단별 레이어가 포개져서 하나의 시각적 결과물로 사용자에게 제공될 때 특히 유용하다. 이렇게 될 경우, 상기 특별한 레이어에 대해서 강조 표시가 제공될 수가 있을 것이다. 예를 들면 기류 표시 레이어가 독립되어 있을 경우, 기류 표시에 대해서 강력한 칼라가 적용되고, 기류의 외곽선이 진하게 표시되 있는 경우, 이러한 기류 표시 레이어가 결합되어 발성 구강 영상 정보로 사용자에게 나타날 때는 기류 표시가 더욱 더 선명하게 부각되게 된다.

물론, 상기 사용자 입력 기반 구강 영상 처리부(1230)가 사용자 단말기(2000)로부터 기류 표시에 대한 강조 선택 정보를 입수 받는 경우에는 더욱 더 레이어 방식이 효과적일 수 있다. 도 36은 상기 사용자 입력 기반 구강 영상 처리부(1230)가 구강 영상 제공에 대한 제어 정보를 입수 받고(S2-21), 제어 정보에 대응되는 구강 영상 정보를 제공(S2-22)하는 발명 사상을 제시하고 있다. 제어 정보에는 속도 제어, 준비 구강 영상 정보나 후속 구강 영상 정보를 제외한 전송 요청, 특별한 발음 지원 시각화 수단에 대한 요청, 음색 등의 선택 등이 있을 수 있다.

한편, 상기 구강 영상 정보 처리 모듈(1200)은 레이어를 사용하지 않거나, 레이어를 사용하여 제작하되, 최종적으로 사용자 단말기(2000)에 제공되는 영상에는 레이어가 제거되었지만, 기류 표시가 강조된 단일 영상을 생성해 놓을 수 있다. 사용자 단말기(2000)로부터 기류 표시 강조에 대한 선택 정보가 입수되는 경우, 기류 표시가 강조된 단일 영상을 제공해 줄 수 있음은 물론일 것이다. 이러한 사용자 단말기(2000)로의 영상 정보의 제공은 구강 영상 제공 모듈(1220)이 수행한다. 구강 영상 결합 제공부(1221)는 상기 준비 구강 영상 정보, 상기 발성 구강 영상 정보 및 후속 구강 영상 정보를 결합하여 제공하는 기능을 수행하며, 통합 구강 영상 제공부(1222)는 사전에 결합되어 있는 통합 구강 영상 정보를 제공하는 기능을 수행한다.

한편, 도 39에서는 상기 구강 영상 정보 처리 모듈(1200)이 조음 기관별 레이어에 대한 선택 정보를 입수(S2-41)하고, 선택된 조음 기관별 레이어에 대한 구강 영상 정보를 제공(S2-42)하는 조음 기관별 레이어 처리된 구강 영상 정보에 대한 발명 사상이 개시되어 있다.

도 40에서는 발음 교정을 위하여, 상기 구강 영상 정보 처리 모듈(1200)이 공명점 생성부(1710), 위치 표시 정보 처리부(1730) 등의 지원을 받아, 상기 사용자 단말기(2000)로부터 발음 대상에 대한 사용자의 음성 정보를 입수(S2-51)하고, 사용자의 음성 정보에서 사용자 공명점 정보를 생성(S2-52)하며, 사용자 공명점 정보를 구강 영상 영상에 포함되게 처리(S2-53)하고, 사용자 공명점 정보 및 권장 공명점 정보가 포함된 구강 영상 정보 제공(S2-54)하는 발명 사상이 개시되어 있다. 도 55에서는 발성 구강 영상 정보에 사용자의 공명점(별 모양으로 표시한 이미지)가 위치해 있음을 알 수 있다) 사용자는 정확한 권장 공명점와 자신의 공명점을 비교함으로써 발음을 좀더 정확하고 정교하게 교정할 수 있게 된다.

한편, 특정 자음 발음 중에 구강 내에서의 안면 근육 또는 혀 근육에 급격한 수축을 통하여 특정 조음 위치를 폐쇄하고 발음하는 파열음[p,b,t,d,k,g]과 파찰음 [tS, ts, d3, ㅊ, ㅈ] 소리들의 경우에는 조음 기관의 근육이 수축되는 즉 힘이 들어가는 방향을 표기함으로서 학습자들이 소리를 학습할 때 힘을 주는 조음 기관의 위치를 이해가기 용이하게 하는 효과가 있다. 도 56 내지 도 59는 발성 구성 영상 정보 중 근육 긴장 표시 수단(116)이 반영된 일 실시예적 구성 이미지이다. 도 56 내지 도 57은 턱 근육의 긴장과 이완이 발생하고 있는 동영상 구성 이미지의 일부를 보여 주고 있다. 근육의 긴장도 화살표 등으로 표시될 수 있다. 도 58은 혀 근육의 긴장과 이완이 발생하고 있는 동영상 구성 이미지의 일부를 보여 주고 있다.

이어, 각 음소의 특징별로 동영상에 표기되는 바람직한 방식에 대한 예시 설명을 부가한다.

파열음은　구강의　특정위치（조음점）을　완전히　밀폐시켜　밀폐된　조음 위치　근처에서　압축되었던　공기압이　조음점이　개방되는　시점에　단번에　폭발하듯이　쏟아져　나오는　소리이기　때문에　혀가　조음 위치에　접촉된　시점부터　음성 신호가　재생되는　시점 전까지는　앞모습과　구강　옆모습　이지미가　동일한　이미지　프레임이　재생되고　음성 신호가　재생되기　전까지　성대를　통과한　공기　기류의　흐름의　변화만을　시간에　따른　화살표　위치의　변화를　주어　표현되는 것이 바람직하다. 음성신호가　재생되면서　혀의　위치가　조음점에서　떨어지는　이미지가　재생되고　또한　성대를　통과하여　조음 위치에　근처에　도달하였던　화살표의　이미지는　시간의　흐름에　따라　명암비를　흐려지게　하고　궁극적으로　조음점에서　떨어진　혀의　움짐임이　완전히　멈추게　된　시점에는　사라지게　되고,　조음점　뒤에　있던　화살표의　이미지의　명암비가　흐려지면서　동시에　조음점　앞부분　즉，　구강　바깥쪽과　더　가까운　위치에서는　압축되었던　공기압의　파열음화를　보여주는　화살표를　표기하여　기류의　변화를　학습자가　이해하기　용이하게 될 수 있도록 지원한다.

마찰음은　구강의　특정위치（조음점）사이에　비좁은　틈을　만들어　폐에서　올라온　공기의　기류가　조음점　근처에서　약간　압축되게　되고　비좁은　틈 사이에서　생긴　저항에　의해서　마찰（Ｆｒｉｃｔｉｏｎ）된　소리가　지속적으로　새어 나오는　소리이기 때문에　혀가　조음 위치에　완벽히　도달하는　시점부터　음성신호가　재생되는　시점 전까지는　앞모습과　구강　옆모습　이지미가　동일한　이미지　프레임이　재생되고　음성신호가　재생되면서　성대를　통과한　공기　기류의　흐름의　변화만을　시간에　따른　화살표　위치의　변화를　주어　표현하는 것이 바람직하다. 음성신호가　재생되면서　조음점을　통과하여　시간에　흐름에　연계하여　구강바깥쪽으로　이동하는　화살표　이미지는　재생되는　음성신호가　종료되는　시점까지　유지되다가　음성신호의　재생이　종료되면　명암비를　흐려지게　되며　궁극적으는　사라지게　되며,　시간의　흐름에　따라서　조음 위치에서의　공기의　기류의　흐름의　변화를　화살표로　표기하여　학습자가　발음 시　기류의　위치　및　변화를　이해하기　용이하게　한다．

파찰음은　구강의　특정위치（조음점）을　완전히　밀폐시켜　밀폐된　조음 위치　근처에서　압축되었던　공기압이　조음점이　개방되는　시점에서　강한　압력으로　새어 나오는　나오는　소리이기　때문에　혀가　조음 위치에　접촉된　시점부터　음성신호가　재생되는　시점 전까지는　앞모습과　구강　옆모습　이지미가　동일한　이미지　프레임이　재생되고　음성신호가　재생되기　전까지　성대를　통과한　공기　기류의　흐름의　변화만을　시간에　따른　화살표　위치의　변화를　주어　표현하는 것이 바람직하다.

음성신호가　재생되면서　혀의　위치가　조음점에서　떨어지면서　이동하는　이미지가　재생되고　또한　성대를　통과하여　조음 위치에　근처에　도달하였던　화살표의　이미지는　시간의　흐름에　따라　명암비를　흐려지게　하고　궁극적으로　조음점에서　떨어진　혀의　움짐임이　완전히　멈추게　된　시점에는　사라지게　되며,　조음점　뒤에　있던　화살표의　이미지의　명암비가　흐려지면서　동시에　조음점　앞부분　즉，　구강　바깥쪽과　더　가까운　위치에서는　압축되었던　기류의　빠른　흐름의　변화를　보여주는　화살표를　표기하여　기류의　변화를　학습자가　이해하기　용이하게　한다．음성신호의　재생이　종료되면　구강　바깥으로　이동하던　화살표도　명암비가　흐려지면서　궁극적으로는　사라지게　된다．

비음은　구강의　특정위치가　완전히　밀폐되고　비음을　제외한　다른　발음들에서는　폐쇄되었던　구개수　근처의　연구와　인두에　접촉되었던　부분이　연구개가　아래로　내려가면서　개방되면서　공기의　기류의　흐름이　비강으로　향하게　되어　성대의　발성이　완료　될 때까지　소리가　지속적으로　비강을　통하여　콧구멍　밖으로　새어 나오는　소리이기 때문에　음성신호　재생　전후의　모든　이미지에서　연구개가　아래로　개방이　되어있고　혀가　조음 위치　도달할 때와　음성신호가　재생되는　시점이　동기화　되며　이후　앞모습과　구강　옆모습　이지미가　동일한　이미지　프레임이　재생되고　음성신호가　재생되면서　성대를　통과하여　비강을　통과하는　공기　기류의　흐름의　변화만을　시간에　따른　화살표　위치의　변화를　주어　표현하는 것이 바람직하다.　

음성신호가　재생되면서　조음점을　통과하여　시간에　흐름에　연계하여　구강바깥쪽으로　이동하는　화살표　이미지는　재생되는　음성신호가　종료되는　시점까지　유지되다가　음성신호의　재생이　종료되면　명암비를　흐려지게　되며　궁극적으는　사라지게　되며,　시간의　흐름에　따라서　조음 위치에서의　공기의　기류의　흐름의　변화를　화살표로　표기하여　학습자가　발음 시　기류의　위치　및　변화를　이해하기　용이하게　한다．

자음 중에 [w, j] 같은 공명음 소리들은 조음 위치 및 기류의 흐름의 변화에 대한 이미지뿐　아라　공명이　일어나는　위치와　시간의　흐름에　따른　위치의　변화를　음성신호의　재생 시작점부터　동기화　하여　그　변화를 방사형　이미지를　활용하여　동시에 표기하는 것이 바람직하다.

이어, 본 발명의 발음 학습 지원 시스템(1000)의 맵핑 발음 학습 지원 모듈(1300)의 정보 처리 방법에 대해서 더욱 더 상세하게 설명한다. 한국어의 [이] 발음과 영어의 [i] 발음은 혀의 위치 및 공명점이 다름에도 불구하고 대부분의 사람들은 양자를 구분하지 못하고, 영어의 [i] 발음을 한국어의 [이] 발음처럼 발음하는 문제를 안고 있다. 한편, 한국어의 [이] 발음이 정확한 사람의 경우에는 한어의 [이] 발음과 영어의 [i] 발음의 정확한 차이만 알게 영어의 [i] 발음을 더욱 더 정확하게 발음할 수 있게 된다. 이처럼 2개 국어 이상에서 유사한 음가를 가지를 음소의 경우에는 정확한 발음을 위해서는 해독도 되지만, 도움도 될 수 있는 양면성을 가진다. 상기 맵핑 발음 학습 지원 모듈(1300)은 목표 언어와 참조 언어에 본질적으로 상이하나 유사한 음가를 가지는 음소에 대한 비교 영상 정보를 제공하여, 목표 언어의 정확한 발음 교육을 성취하도록 지원한다.

도 60은 맵핑 발음 학습 지원 모듈(1300)의 일 실시예적 구성을 제시하고 있다. 상기 맵핑 언어 영상 정보 DB(1310)는 목표 언어에 대한 발음 대상별 구강 영상 정보를 저장하고 있는 목표 언어 발음 대응 구강 영상 정보 데이터(1311), 참조 언어에 대한 발음 대상별 구강 영상 정보를 저장하고 있는 참조 언어 발음 대응 구강 영상 정보 데이터(1312), 목표 언어와 참조 언어에 대한 비교 정보를 저장하고 있는 목표-참조 비교 정보 데이터(1313)를 포함하고 있다. 상기 목표 언어 발음 대응 구강 영상 정보 데이터(1311), 참조 언어 발음 대응 구강 영상 정보 데이터(1312) 및 목표-참조 비교 정보 데이터(1313)는 각각의 독립된 영상 파일로 존재할 수도 있지만, 목표 언어의 발성 대상별로 1개의 통합적인 디지털 파일로 존재할 수도 있다. 후자의 경우 이러한 통합적인 디지털 파일은 통합 맵핑 언어 영상 정보 데이터(1314)에 저장되어 있을 수 있다.

하기 표 2는 복수 언어간 맵핑 처리 모듈(1320)의 일 실시예적 맵핑 관리 정보 구조를 나타내고 있다. 상기 복수 언어간 맵핑 처리 모듈(1320)의 복수 언어 맵핑 처리부(1321)는 목표 언어와 참조 언어의 맵핑 관계를 처리하고, 이러한 맵핑 관계는 발음 대상별 복수 언어간 맵핑 관계 정보 데이터(1322)에 저장된다.

목표 언어	참조 언어	파일 정보
[i]	[이]	목표_i.avi
[i]	[이]	참조_이.avi
[i]	[이]	비교_i_이.avi
[i]	[이]	통합_i-이_avi
[^]/[:]	[어]	목표_^.avi
[^]/[:]	[어]	목표_
[^]/[:]	[어]	참조_어.avi
[^]/[:]	[어]	비교_^__어.avi
[^]/[:]	[어]	통합_^__어.avi
..	..	..

한편, 목표 발음 1개를 정확히 발성하기 위하여 참조 발음 n개를 빠르게 연이어서 발성하면 효과적인 경우가 있다. 예를 들면, book의 모음에서 발음되는 영어의 단모음 [u]는 독립된 음소로는 한국어말에는 존재하지 않는 소리이지만 우리말 우으어를 힘을 빼고 짧게 발음하면 매우 유사한 소리가 된다. 따라서 영어의 [u] 학습할 때 우리말 우으어를 발음하는 영상을 빠르게 재생하여 제공하면 사용자가 이를 모방하여 효과적으로 [u] 발음할 수 있도록 지원할 수 있다

도 61은 본 발명의 맵핑 발음 학습 지원 모듈(1300)의 일 실시예적 정보 처리 방법에 대한 예시이다. 상기 맵핑 발음 학습 지원 모듈(1300)은 참조 언어 발음 대상에 대한 참조 언어 발음 대응 구강 영상 정보를 제공(S3-11)하고, 목표 언어 발음 대상에 대한 목표 언어 발음 대응 구강 영상 정보를 제공(S3-12)하며, 참조 언어 발음 대상 및 목표 언어 발음 대상에 대한 비교 정보인 목표-참조 비교 영상 정보 제공(S3-13)한다.

한편, 상기 맵핑 발음 학습 지원 모듈(1300)은 상기 사용자 단말기(2000)로부터 목표 언어 발음 대상 정보를 입수(S3-21)하고, 입수한 목표 언어 발음 대상 정보와 맵핑되는 참조 언어 발음 대상 정보를 조회(S3-22)한다. 예를 들어, 상기 맵핑 발음 학습 지원 모듈(1300)의 사용자 입력 기반 3차원 영상 처리부(1130)는 사용자 단말기(2000)로부터 목표 언어의 발음 대상인 [i]를 목표 언어 발음 대상 정보를 입수하며, 표 2와 같은 발음 대상별 복수 언어간 맵핑 관계 정보 데이터(1322)를 조회하여 참조 언어 발음 대상 정보인 [이]를 입수한다.

그리고, 표 2에서 예시되듯이, 참조 언어 [어]에는 복수 개의 목표 언어가 맵핑되어 있을 수 있다. 이 때, 상기 복수 언어간 맵핑 처리 모듈(1320)은 도 63에 예시되는 바와 같이, 복수 참조 언어 맵핑 정보를 입수(S3-31)하고, 맵핑된 복수 참조 언어에 대한 비교 정보 제공에 대한 제어 정보를 입수(S3-32)하고, 제어 정보를 참조하여 참조 언어 발음 대응 구강 영상 정보, 목표 언어 발음 대응 구강 영상 정보 및 목표-참조 비교 정보를 제공(S3-33)한다.

이하, 맵핑 발음 학습 지원 모듈(1300)이 제공하는 영상 정보에 포함된 이미지를 예시하면서 설명한다. 도 65는 목표 언어 [i]에 대응되는 참조 언어 [이]에 대한 참조 언어 발음 대상에 대한 참조 언어 발음 대응 구강 영상 정보다. 상기 [이]에 대한 구강 영상 정보가 나오는 동안에 텍스트로 "한국어 - 이"와 같은 참조 언어 발음을 명확히 하는 지원 정보가 표시된다. 한편, 사용자 단말기(2000)에 나타나는 구강 영상 정보에는 한국어 [이]에 대한 구강 영상으로, 혀의 위치, 모양 및 혀의 외곽선에 대한 강조 표시(참조 언어 발음 대상에 대한 혀의 외곽선에 대한 강조 표시(131)) 등이 나타나고 중요 정보로 한국어 [이] 발음에 대한 권장 공명점(133)((혀 위에 표시되어 있는 점)이 나타난다.

이어 도 66과 같이 목표 언어와 참조 언어에 대한 비교 정보가 나타난다. 이때, 목표 언어 [i]에 대한 발음이 청각적으로 제공되면서, 도 66에서 도시되는 바와 같이 목표 언어 [i]에 대응되는 혀의 위치, 모양 및 혀의 외곽선에 대한 강조 표시(목표 언어 발음 대상에 대한 혀의 외곽선에 대한 강조 표시(132))가 나타나고, 중요 정보로서 목표 언어 발음인 [i]에 대응되는 권장 공명점(134) 및 참조 언어의 권장 공명점과 목표 언어의 권장 공명점간의 위치적 차이를 나타내는 표현 수단(135)(참조 언어의 권장 공명점(132)에서 목표 언어의 권장 공명점(134)으로의 화살표 표시 등)가 나타나 있다. 한편, 도 65와 66에서 구강 내에서는 모음 사각도가 표시되어 있어, 목표 언어와 참조 언어의 권장 공명점의 모음 사각도 상의 상대적인 위치를 파악할 수 있도록 지원한다.

도 67 내지 도 69는 1개의 참조 언어와 2개의 목표 언어가 맵핑되는 본원 발명 사상의 또 다른 실시예를 보여 주고 있다. 상기 맵핑 발음 학습 지원 모듈(1300)은 [^] 발음 교육이나 [:]에 대한 발음 교육을 지원하기 위해서 참조 언어로 [어]에 대한 발음과의 비교 정보를 제공한다.

도 67은 목표 언어의 목표 발음인 [^]에 대한 구강 영상 정보의 일 실시예적 이미지이다. 목표 발음인 [^]에 관한 모든 정보는 마름모 사각형으로 처리되고 있음을 보여 주고 있다. 도 68은 참조 언어의 참조 발음인 [어]에 대하여 원형으로 처리되는 구강 영상 정보가 목표 언어의 목표 발음인 [^]에 대한 구강 영상 정보에 겹쳐서 나타나고 있음을 예시적으로 보여 준다. 물론, 이때, 참조 언어의 참조 발음인 [어]에 대한 구강 영상 정보가 먼저 나타나고, 이어, 목표 언어의 목표 발음인 [^]에 대한 구강 영상 정보를 비교 정보로 제공될 수도 있을 것이다. 도 69는 목표 언어의 목표 발음인 [:]에 대한 삼각형 모양으로 처리된 구강 영상 정보의 일 실시예적 이미지가, 마름모 사각형으로 처리된 목표 언어의 목표 발음 [^]에 대한 구강 영상 정보와 원형으로 처리된 참조 언어의 참조 발음 [어]에 대한 구강 영상 정보가 비교되어 제공되고 있음을 보여 준다.

도 67 내지 도 69에서처럼 1개의 참조 언어의 참조 발음에 목표 언어의 복수 개의 목표 발음이 대응되거나, 1개의 목표 언어의 목표 발음에 참조 언어의 복수 개의 참조 발음이 대응될 수 있을 것이다. 이때 복수 개의 참조 발음에 대한 구강 영상 정보나 복수 개의 목표 발음에 대한 구강 영상 정보가 나타나는 순서는 임의로 정하거나, 사용자 입력 기반 맵핑 언어 영상 처리부(1340)를 통한 사용자의 선택 정보를 반영하여 정할 수 있다. 또한, 각 단수/복수 개의 목표 발음에 대한 구강 영상 정보 및/또는 각 단수/복수 개의 참조 발음에 대한 구강 영상 정보가 개별적으로 나타난 다음, 목표 발음에 대한 구강 영상 및 참조 발음에 대한 구강 영상 정보를 비교하는 목표-참조 비교 영상 정보가 제공되는 방식과 같은 순차 제공 방식이 채용될 수도 있다. 상기 도 65 내지 도 69에서 처럼, 단수 또는 복수 개의 참조 발음에 대한 영상 정보나 단수 또는 복수 개의 목표 발음에 대한 영상 정보는 이들 정보가 나타날 때, 이전에 나타난 구강 영상 정보를 유지한 채 이전에 나타난 구강 영상 정보와 구분되게 중첩적으로 제공될 수도 있을 것이다. 이러한 순차 제공 방식이나 중첩 제공 방식은 사용자 입력 기반 맵핑 언어 영상 처리부(1340)가 입수하는 사용자의 선택에 따르거나, 맵핑 발음 학습 지원 모듈(1300)의 제공 방식에 대한 초기 세팅값에 따라 달라질 수 있게 된다. 하지만, 어떠한 제공 방식을 취하든 목표-참조 비교 정보 데이터(1313)는 필수적으로 제공되는 것이 바람직할 것이다.

이때, 목표 발음의 구강 영상 정보나 참조 발음의 구강 영상 및 목표-참조 비교 구강 영상 정보는 별도의 디지털 파일로 존재하고, 호출되는 순서에 따라 사용자 단말기(2000)로 전송될 수 있을 것이다. 물론, 1개의 통합적인 파일 내에 목표 발음의 구강 영상 정보나 참조 발음의 구강 영상 및 목표-참조 비교 구강 영상 정보가 함께 존재하는 방식도 바람직할 수 있을 것이다.

한편, 상기 사용자 입력 기반 맵핑 언어 영상 처리부(1340)는 상기 사용자 단말기(2000)로부터 사용자 음성 정보를 입수하고, 상기 사용자 음성 정보를 처리하여, 공명점 정보를 생성할 수 있을 것이다. 공명점 정보의 생성은 전술한 바와 같다. 상기 생성된 공명점이 상기 목표 발음의 구강 영상 정보나 참조 발음의 구강 영상 및 목표-참조 비교 구강 영상 정보에 반영될 수 있음은 전술한 바와 같다. 도 64는 이러한 사용자 음성 정보 정보를 처리하여 발음 학습 효과를 극대화하는 본 발명 사상을 개시하고 있다. 상기 맵핑 발음 학습 지원 모듈(1300)은 발음 대상에 대한 사용자의 음성 정보를 입수(S3-41)하고, 사용자의 음성 정보에서 사용자 공명점 정보를 생성(S3-42)한 다음, 사용자 공명점 정보를 목표-참조 비교 정보에 포함시켜 사용자-목표-참조 비교 정보 생성(S3-43)하고, 사용자-목표-참조 비교 정보가 포함된 사용자-목표-참조 비교 영상 정보 제공(S3-44)한다.

도 70 내지 도 73은 자음에 대한 본 발명 사상을 적용한 일 실시예적 동영상 구성 도면이다. 도 70은 참조 발음으로서 한국어 [ㅇ] 발음에 대한 구강 영상 정보이며, 도 71은 참조 발음과 목표 발음이 비교되어 나타나는 구강 영상 도면이다. 도 72은 참조 발음으로서 한국어 [ㅎ] 발음에 대한 성대 영상 정보이며, 도 73은 목표 발음 [h]에 대한 성대 영상 모양이다. 도 72와 도 73의 비교에서 한국어 [ㅎ] 발음에 비하여 [h] 발음의 경우, 성대가 좁아져야 정확한 발음을 할 수 있다는 직관적으로 이해할 수 있다.

상기에서는 목표 언어를 영어 발음으로, 참조 언어를 한국어 발음으로 예시하였으나, 이는 예시일 뿐 목표 언어와 참조 언어는 맵핑 관계만 성립하면 어떠한 언어의 조합이라도 본원 발명 사상이 적용됨은 당업자에게 당연할 것이다. 한편, 1개의 목표 언어에 대하여 복수 개의 참조 언어가 대응될 수 있음도 당연할 것이다.

본 발명은 교육 산업, 특히 외국어 교육 산업 및 언어 교정 관련 산업에 광범위하게 활용될 수 있다.

1000 : 발음 학습 지원 시스템
1100 : 3차원 영상 정보 처리 모듈
1110 : 3차원 영상 정보 DB
1111 : 발음 대상별 3차원 영상 정보 데이터
1112 : 발음 대상별 투시 방향별 3차원 영상 정보 데이터
1113 : 통합 3차원 영상 정보 데이터
1120 : 3차원 영상 맵핑 처리 모듈
1121 : 3차원 영상 맵핑 처리부
1122 : 발음 대상별 3차원 영상 맵핑 관계 정보 데이터
1130 : 사용자 입력 기반 3차원 영상 처리부
1140 : 파노라마 영상 제공 모듈
1200 : 구강 영상 정보 처리 모듈
1210 : 구강 영상 정보 DB
1211 : 발음 대상별 준비 구강 영상 정보 데이터
1212-1 : 발음 지원 시각화 수단별 구강 영상 데이터
1212 : 발음 대상별 발성 구강 영상 정보 데이터
1213 : 발음 대상별 후속 구강 영상 정보 데이터
1214 : 발음 대상별 통합 구강 영상 정보 데이터
1220 : 구강 영상 제공 모듈
1221 : 구강 영상 결합 제공부
1222 : 통합 구강 영상 제공부
1230 : 사용자 입력 기반 구강 영상 처리부
1240 : 구강 영상 정보 제공 모듈
1300 : 맵핑 발음 학습 지원 모듈
1310 : 맵핑 언어 영상 정보 DB
1311 : 목표 언어 발음 대응 구강 영상 정보 데이터
1312 : 참조 언어 발음 대응 구강 영상 정보 데이터
1313 : 목표-참조 비교 정보 데이터
1314 : 통합 맵핑 언어 영상 정보 데이터
1320 : 복수 언어간 맵핑 처리 모듈
1321 : 복수 언어 맵핑 처리부
1322 : 발음 대상별 복수 언어간 맵핑 관계 정보 데이터
1330 : 맵핑 언어 영상 정보 제공 제어부
1340 : 사용자 입력 기반 맵핑 언어 영상 처리부
1400 : 발음 학습 지원 DB부
1410 : 발음 학습 대상 데이터
1420 : 조음 기관 이미지 데이터
1430 : 기류 표시 이미지 데이터
1440 : 안면 이미지 데이터
1450 : 발음 대상별 청각 정보 데이터
1460 : 공명점 정보 데이터
1461 : 공명점 표시 이미지 데이터
1470 : 조음 위치 정보 데이터
1471 : 조음 위치 표시 이미지 데이터
1480 : 기타 이미지 데이터
1481 : 성대 울림 이미지 데이터
1482 : 모음 사각도 이미지 데이터
1483 : 접촉부 대응 이미지 데이터
1484 : 근육 긴장 표시 이미지 데이터
1500 : 영상 결합부
1510 : 레이어 처리부
1520 : 동기화 처리부
1530 : 단일 영상 생성부
1600 : 입출력부
1610 : 사용자 선택 정보 제공 요청부
1620 : 사용자 선택 정보 입수부
1630 : 사용자 발성 정보 제공 요청부
1640 : 사용자 발성 정보 입수부
1650 : 생성 정보 제공부
1700 : 특화 정보 처리부
1710 : 공명점 생성부
1720 : 조음 위치 생성부
1730 : 위치 표시 정보 처리부
1800 : 통신 지원부
2000 : 사용자 단말기
5000 : 유무선 네트워크
101 : 구개
102 : 입술
103 : 혀
104 : 목구멍
105 : 치아
106 : 성대
　111 : 기류 표시 이미지
112 : 공명점 표시 이미지
113 : 공명 표시 이미지
114 : 구개 접촉 부위 표시 이미지
115 : 사용자 발성 공명점 정보 표시
116 : 근육 긴장 표시 수단
121 : 모음 사각도 이미지
131 : 참조 언어 발음 대상에 대한 혀의 외곽선에 대한 강조 표시
132 : 목표 언어 발음 대상에 대한 혀의 외곽선에 대한 강조 표시
133 : 참조 언어 발음 대상에 대한 조음점
134 : 목표 언어 발음 대상에 대한 조음점
135 : 참조 언어의 권장 공명점과 목표 언어의 권장 공명점간의 위치적 차이를 나타내는 표현 수단

Claims (21)

1. 발음 학습 지원 시스템의 정보 처리 방법에 있어서,
   상기 발음 학습 지원 시스템이
   (a) 발음 대상별로 해당 발음에 대한 발성 시 구강 내부의 공간을 통해 흐르는 기류의 세기 및 방향 정보를 포함하는 권장 기류 정보 데이터 및 해당 발음에 대한 발성 시 공명이 발생하는 조음 기관 상의 위치 정보를 포함하는 권장 공명점 정보 데이터 중 적어도 일부를 획득하는 단계; 및
   (b) 상기 발음 대상 중 특정 발음 대상이 선택되면, 상기 특정 발음 대상에 대응되는 특정 권장 기류 정보 데이터를 제1 투시 방향을 기준으로 제공되는 영상 내의 구강 내부의 공간에 표시하는 프로세스 및 상기 특정 발음 대상에 대응되는 특정 권장 공명점 정보 데이터를 상기 제1 투시 방향을 기준으로 제공되는 영상 내의 조음 기관 상의 특정 위치에 표시하는 프로세스 중 적어도 하나를 처리하여 영상을 제공하는 단계
   를 포함하는 발음 학습 지원 시스템의 정보 처리 방법.
2. 제 1항에 있어서,
   상기 (b) 단계는,
   사용자가 상기 특정 발음 대상을 발음한 것에 대응하여 상기 발음 학습 지원 시스템이 상기 발음된 특정 발음 대상을 식별하면, 상기 특정 발음 대상에 대응되는 상기 특정 권장 기류 정보 데이터를 상기 제1 투시 방향을 기준으로 제공되는 영상 내의 구강 내부의 공간에 표시하는 프로세스 및 상기 특정 발음 대상에 대응되는 상기 특정 권장 공명점 정보 데이터를 상기 제1 투시 방향을 기준으로 제공되는 영상 내의 조음 기관 상의 상기 특정 위치에 표시하는 프로세스 중 적어도 하나를 수행하여 제공하는 것을 특징으로 하는 방법.
3. 제 1항에 있어서,
   상기 발음 학습 지원 시스템을 이용하는 사용자의 시선 인식 기술 또는 상기 사용자의 얼굴에 대한 인식 기술에 따라 상기 사용자가 화면을 바라보는 방향 정보가 제1 방향으로서 식별되면, 이를 참조로 하여 상기 제1 투시 방향이 결정되는 것을 특징으로 하는 방법.
4. 제 3항에 있어서,
   상기 (b) 단계는,
   상기 제1 투시 방향으로 제공하는 상태에서 상기 사용자가 상기 화면을 바라보는 방향 정보가 제2 방향으로 변경되었음이 식별되면, 상기 제1 투시 방향 기준으로 처리된 영상 및 상기 제2 방향과 대응하는 것으로 저장된 제2 투시 방향 기준으로 처리된 영상을 제공하는 것을 특징으로 하는 방법.
5. 제 1항에 있어서,
   상기 (a) 단계는,
   (a1) 복수의 피험자를 대상으로 발음 대상별로 발성 정보를 획득하는 단계;
   (a2) 상기 발성 정보별로 획득한 발성 정보에 대하여 주파수 분석을 수행하는 단계; 및
   (a3) 상기 주파수 분석을 참조로 하여, 포먼트 주파수 중 가장 낮은 두 개의 주파수인 F1 및 F2를 참조로 하여 상기 권장 공명점 정보 데이터를 발성 정보별로 획득하는 단계
   를 포함하는 것을 특징으로 하는 방법.
6. 제 1항에 있어서,
   상기 발음 학습 지원 시스템의 사용자로부터 특정 발음 대상에 대한 발성이 감지되면,
   상기 (b) 단계는,
   (b1) 상기 감지된 발성으로부터 상기 사용자의 상기 특정 발음 대상에 대한 실제 공명점 정보 데이터를 획득하는 단계; 및
   (b2) 상기 특정 발음 대상에 대응되어 저장되어 있는 상기 특정 권장 공명점 정보 데이터 및 상기 실제 공명점 정보 데이터를 상기 제1 투시 방향을 기준으로 제공되는 영상 내의 조음 기관 상의 해당 위치에 각각 표시하는 프로세스를 처리하여 영상을 제공하는 단계
   를 포함하는 것을 특징으로 하는 방법.
7. 제 1항에 있어서,
   상기 조음 기관은 n 개이며, 상기 조음 기관 중 적어도 일부는 서로 다른 레이어로 처리되도록 하기 위한 메타데이터가 저장되어 있고,
   상기 발음 학습 지원 시스템의 사용자에 의해 상기 특정 발음 대상이 선택되면, 상기 특정 발음 대상에 대응되는 적어도 하나의 특정 조음 기관에 해당되는 레이어를 활성화하여 영상을 제공하는 것을 특징으로 하는 방법.
8. 제1항 내지 제7항 중 어느 한 항의 방법을 실시하며 컴퓨터가 읽을 수 있는 프로그램을 포함하는 것을 특징으로 하는 기록 매체.
9. 발음 학습 지원 시스템의 정보 처리 방법에 있어서,
   상기 발음 학습 지원 시스템이
   (a) (i) 발음 대상별로 해당 발음 대상이 발성되기 전의 구강 내부의 공간의 상태 및 조음 기관의 상태에 대한 정보를 포함하는 준비 데이터 중 적어도 일부를 획득하고, (ii) 해당 발음에 대한 발성 시 상기 구강 내부의 공간을 통해 흐르는 기류의 세기 및 방향 정보를 포함하는 권장 기류 정보 데이터 및 해당 발음에 대한 발성 시 공명이 발생하는 조음 기관 상의 위치 정보를 포함하는 권장 공명점 정보 데이터 중 적어도 일부를 획득하고, (iii) 해당 발음 대상이 발성된 후의 상기 구강 내부의 공간의 상태 및 상기 조음 기관의 상태에 대한 정보를 포함하는 후속 데이터 중 적어도 일부를 획득하는 단계; 및
   (b) 상기 발음 대상 중 특정 발음 대상이 선택되면, (i) 상기 특정 발음 대상에 대응되어 있는 특정 준비 데이터에 포함되어 있는 구강 내부의 공간의 상태 및 조음 기관의 상태에 대한 정보를 표시하여 준비 구강 영상 정보를 제공하는 프로세스, (ii) 상기 특정 발음 대상에 대응되어 있는 특정 권장 기류 정보 데이터 및 특정 권장 공명점 정보 데이터 중 적어도 일부를 구강 내부의 공간 및 조음 기관 상의 적어도 일부의 위치에 표시하여 발성 구강 영상 정보를 제공하는 프로세스, (iii) 상기 특정 발음 대상에 대응되어 있는 특정 후속 데이터에 포함되어 있는 구강 내부의 공간의 상태 및 조음 기관의 상태에 대한 정보를 표시하여 후속 구강 영상 정보를 제공하는 프로세스를 처리하여 영상을 제공하는 단계
   를 포함하는 발음 학습 지원 시스템의 정보 처리 방법.
10. 제 9항에 있어서,
    상기 (a) 단계에서,
    (a1) 각 언어별, 사람의 성별, 연령별로 모음 발음 시에 구강 내에 공명이 일어날 수 있는 범위를 계산하는 단계;
    (a2) 상기 계산된 공명이 일어날 수 있는 범위의 평균값을 계산하는 단계; 및
    (a3) 상기 계산된 평균값을 참조로 하여 구획을 설정하는 단계를 포함하는 프로세스를 통하여 모음 사각도에 대한 정보가 추가로 획득되고,
    상기 (b) 단계에서,
    상기 선택된 특정 발음 대상에 모음이 포함된 경우, 상기 준비 구강 영상 정보, 상기 발성 구강 영상 정보, 상기 후속 구강 영상 정보 중 적어도 일부에는 상기 특정 발음 대상에 대응되는 모음 사각도가 삽입되어 제공되는 것을 특징으로 하는 방법.
11. 제 9항에 있어서,
    상기 (a) 단계는,
    (a1) 복수의 피험자를 대상으로 발음 대상별로 발성 정보를 획득하는 단계;
    (a2) 상기 발성 정보별로 획득한 발성 정보에 대하여 주파수 분석을 수행하는 단계; 및
    (a3) 상기 주파수 분석을 참조로 하여, 포먼트 주파수 중 가장 낮은 두 개의 주파수인 F1 및 F2를 참조로 하여 상기 권장 공명점 정보 데이터를 발성 정보별로 획득하는 단계
    를 포함하는 것을 특징으로 하는 방법.
12. 제 9항에 있어서,
    상기 발음 학습 지원 시스템의 사용자로부터 특정 발음 대상에 대한 발성이 감지되면,
    상기 (b) 단계는,
    (b1) 상기 감지된 발성으로부터 상기 사용자의 상기 특정 발음 대상에 대한 실제 공명점 정보 데이터를 획득하는 단계; 및
    (b2) 상기 특정 발음 대상에 대응되어 저장되어 있는 상기 특정 권장 공명점 정보 데이터 및 상기 실제 공명점 정보 데이터를 조음 기관 상의 해당 위치에 각각 표시하여 상기 발성 구강 영상 정보를 제공하는 프로세스를 처리하여 영상을 제공하는 단계
    를 포함하는 것을 특징으로 하는 방법.
13. 제 9항에 있어서,
    상기 조음 기관은 n 개이며, 상기 조음 기관 중 적어도 일부는 서로 다른 레이어로 처리되도록 하기 위한 메타데이터가 저장되어 있고,
    상기 발음 학습 지원 시스템의 사용자에 의해 상기 특정 발음 대상이 선택되면, 상기 특정 발음 대상에 대응되는 적어도 하나의 특정 조음 기관에 해당되는 레이어를 활성화하여 영상을 제공하는 것을 특징으로 하는 방법.
14. 제9항 내지 제13항 중 어느 한 항의 방법을 실시하며 컴퓨터가 읽을 수 있는 프로그램을 포함하는 것을 특징으로 하는 기록 매체.
15. 발음 학습 지원 시스템의 정보 처리 방법에 있어서,
    상기 발음 학습 지원 시스템이
    (a) 목표 언어의 발음 대상 및 상기 목표 언어의 발음 대상에 대응되는 참조 언어의 발음 대상에 대한 발성 시 구강 내부의 공간을 통해 흐르는 기류의 세기 및 방향 정보를 포함하는 권장 기류 정보 데이터 및 해당 발음에 대한 발성 시 공명이 발생하는 조음 기관 상의 위치 정보를 포함하는 권장 공명점 정보 데이터 중 적어도 일부를 획득하는 단계; 및
    (b) 상기 목표 언어 중 특정 목표 언어가 선택되고 상기 참조 언어 중 특정 참조 언어가 선택되며, 상기 특정 목표 언어의 발음 대상 중 특정 목표 언어 발음 대상이 선택되고 상기 특정 참조 언어의 발음 대상 중 특정 참조 언어 발음 대상이 선택되면, (i) 상기 특정 목표 언어 발음 대상에 대응되는 제1 특정 권장 기류 정보 데이터를 구강 내부의 공간에 표시하는 프로세스 및 상기 특정 목표 언어 발음 대상에 대응되는 제1 특정 권장 공명점 정보 데이터를 조음 기관 상의 특정 위치에 표시하는 프로세스 중 적어도 하나를 처리하고, (ii) 상기 특정 참조 언어 발음 대상에 대응되는 제2 특정 권장 기류 정보 데이터를 구강 내부의 공간에 표시하는 프로세스 및 상기 특정 참조 언어 발음 대상에 대응되는 제2 특정 권장 공명점 정보 데이터를 조음 기관 상의 특정 위치에 표시하는 프로세스 중 적어도 하나를 처리하여 영상을 제공하는 단계
    를 포함하는 발음 학습 지원 시스템의 정보 처리 방법.
16. 제 15항에 있어서,
    상기 (b) 단계는,
    (b1) 상기 발음 학습 지원 시스템의 사용자의 발성으로부터 음성 데이터를 획득하는 단계;
    (b2) 상기 획득된 음성 데이터를 분석하여 상기 참조 언어의 종류를 획득하는 단계; 및
    (b3) 상기 획득된 참조 언어의 종류에 대응되어 있는 적어도 하나의 목표 언어 중 상기 발음 학습 지원 시스템을 사용했던 복수의 피험자들이 상기 획득된 참조 언어의 종류에 대한 페어(pair)로서 가장 많이 선택했던 상위 n 개의 목표 언어의 종류를 제공하여 선택을 지원하는 단계를 포함하는 것을 특징으로 하는 방법.
17. 제 15항에 있어서,
    상기 (b) 단계는,
    (b1) 상기 발음 학습 지원 시스템의 사용자의 발성으로부터 음성 데이터를 획득하는 단계;
    (b2) 상기 획득된 음성 데이터를 분석하여 상기 목표 언어의 종류를 획득하는 단계; 및
    (b3) 상기 획득된 목표 언어의 종류에 대응되어 있는 적어도 하나의 참조 언어 중 상기 발음 학습 지원 시스템을 사용했던 복수의 피험자들이 상기 획득된 목표 언어의 종류에 대한 페어(pair)로서 가장 많이 선택했던 상위 n 개의 참조 언어의 종류를 제공하여 선택을 지원하는 단계를 포함하는 것을 특징으로 하는 방법.
18. 제 15항에 있어서,
    상기 (a) 단계는,
    (a1) 복수의 피험자를 대상으로 상기 목표 언어의 발음 대상별로 발성 정보를 획득하고 상기 참조 언어의 발음 대상별로 발성 정보를 획득하는 단계;
    (a2) 상기 목표 언어 및 상기 참조 언어의 발성 정보별로 획득한 발성 정보에 대하여 주파수 분석을 각각 수행하는 단계; 및
    (a3) 상기 주파수 분석을 참조로 하여, 포먼트 주파수 중 가장 낮은 두 개의 주파수인 F1 및 F2를 참조로 하여 상기 권장 공명점 정보 데이터를 상기 목표 언어 및 상기 참조 언어의 발성 정보별로 획득하는 단계
    를 포함하는 것을 특징으로 하는 방법.
19. 제 15항에 있어서,
    상기 발음 학습 지원 시스템의 사용자로부터의 특정 발음 대상에 대한 발성이 상기 특정 목표 언어 또는 상기 특정 참조 언어의 발성으로서 감지되면,
    상기 (b) 단계는,
    (b1) 상기 감지된 발성으로부터 상기 사용자의 상기 특정 발음 대상에 대한 실제 공명점 정보 데이터를 획득하는 단계; 및
    (b2) 상기 특정 발음 대상에 대응되어 저장되어 있는 상기 제1 특정 권장 공명점 정보 데이터 및 상기 제2 특정 권장 공명점 정보 데이터 중 적어도 하나와 상기 실제 공명점 정보 데이터를 조음 기관 상의 해당 위치에 각각 표시하는 프로세스를 처리하여 영상을 제공하는 단계
    를 포함하는 것을 특징으로 하는 방법.
20. 제 15항에 있어서,
    상기 조음 기관은 n 개이며, 상기 조음 기관 중 적어도 일부는 서로 다른 레이어로 처리되도록 하기 위한 메타데이터가 저장되어 있고,
    상기 발음 학습 지원 시스템의 사용자에 의해 상기 특정 목표 언어 발음 대상 또는 상기 특정 참조 언어 발음 대상이 선택되면, 상기 특정 목표 언어 발음 대상 또는 상기 특정 참조 언어 발음 대상에 대응되는 적어도 하나의 특정 조음 기관에 해당되는 레이어를 활성화하여 영상을 제공하는 것을 특징으로 하는 방법.
21. 제15항 내지 제20항 중 어느 한 항의 방법을 실시하며 컴퓨터가 읽을 수 있는 프로그램을 포함하는 것을 특징으로 하는 기록 매체.
    
    

Images