KR100393122B1

KR100393122B1 - 골도청각을 이용한 농아용 언어학습장치 및언어학습방법과 저장매체

Info

Publication number: KR100393122B1
Application number: KR20000035846A
Authority: KR
Inventors: 박규진
Original assignee: 박규진
Priority date: 2000-06-28
Filing date: 2000-06-28
Publication date: 2003-07-31
Also published as: KR20020003956A

Abstract

본 발명은 골도청각을 이용한 농아용 언어학습장치 및 언어학습방법에 관한 것으로서, 더욱 구체적으로는 선천성 청각장애 또는 후천성 청각장애로 인하여 말을 배우는 시기에 말을 습득하지 못한 농아(聾啞)를 위한 언어학습장치 및 이것을 이용한 언어학습방법, 저장매체에 관한 것이다. 본 발명의 장치는 또한 청각장애인용 보청기로도 사용할 수 있다.

본 발명의 골도청각을 이용한 농아용 언어학습장치는, 음성을 입력하기 위한 마이크(10)와, 상기 마이크(10)를 통하여 입력되는 음성신호를 디지탈신호로 변환하며 장치 전반을 제어하는 프로그램이 내장된 제어부(14)와, 상기 제어부(14)에 특정명령을 입력시키기 위한 기능키가 구비된 키입력부(16)와, 상기 제어부(14)의 제어에 의하여 음성신호데이터를 복조하기 위한 디코더(18)와, 상기 디코더(18)에 의하여 복조된 디지탈신호를 아날로그신호로 변환하기 위한 DAC(20)와, 상기 DAC(20)로부터 출력되는 아날로그신호를 증폭하여 출력하기 위한 증폭부(22)와, 안면의 일측에 부착되어 상기 증폭부(22)로부터 출력되는 전기적인 음성신호를 진동신호로 변환하여 출력하는 진동출력부(24)와, 상기 제어부(14)의 제어에 의하여 언어학습용 데이터를 표시하기 위한 화면표시부(28)와, 학습데이터를 저장하기 위한 데이터저장장치(30)를 포함한다.

또한 본 발명에 의한 골도청각을 이용한 농아용 언어학습방법은, 언어교습을 위한 학습데이터 및 음성데이터를 각각 표시화면과 진동출력부를 통하여 동기화시켜 출력하는 제1단계와, 마이크를 통하여 입력되는 사용자의 발음데이터를 진동출력부를 통하여 사용자에게 출력하는 제2단계와, 마이크를 통하여 입력받은 발음데이터와 정상음성출력데이터를 비교하는 제3단계와, 및 비교결과에 따른 차이점을 표시하여 발음을 교정하는 제4단계를 포함한다.

Description

골도청각을 이용한 농아용 언어학습장치 및 언어학습방법과 저장매체{System and Method for learning languages by using bone-path hearing function of a deaf person and storage media}

본 발명은 골도청각을 이용한 농아용 언어학습장치 및 언어학습방법에 관한 것으로서, 더욱 구체적으로는 선천성 청각장애 또는 후천성 청각장애로 인하여 말을 하지 못하는 농아(聾啞)를 위한 골도청각을 이용한 언어학습장치 및 이것을 이용한 언어학습방법에 관한 것이다. 또한 본 발명의 언어학습장치는 청각장애인용 보청기로도 사용할 수 있다.

청각기능에 장애를 가진 귀머거리 또는 벙어리(이하 "농아"라 통칭함)를 주변에서 쉽게 볼 수 있다. 일반적으로 귀가 잘 들리지 않는 것을 난청(難聽)이라고 하는데, 난청의 정도는 다양해서 가벼운 것은 감기가 들었을 때 귀가 약간 먹먹한 정도에서부터 귀 밑에서 큰소리를 쳐야 알아 듣는 정도까지가 있다. 좀 더 심할 경우, 말을 전혀 알아듣지 못하는 경우가 있는데, 이러한 난청을 농자(聾者), 즉 귀머거리라고 한다. 난청의 정도를 숫자로 나타낼 때 데시벨(db)이라는 단위를 사용한다. 정상인은 0 db이며 난청의 정도가 커질수록 숫자가 높아져, 귀머거리는 80 db 이상이 된다. 청력검사에서 90 db 이상의 소리도 들리지 않는 고도의 난청을 농(聾)이라고 한다.

농아는 그 모체가 임신 중에 풍진(風疹)을 앓거나 극약 등을 복용하여 생기는 선천적 농아와 3∼4세 때 뇌막염·성홍열 등의 병을 앓아 말을 배울 때 귀가 먹어 벙어리가 되는 후천적인 것이 있다. 따라서 청각장애 이외에 정상적으로 발성을 할 수 있는 성대기능을 보유하고 있더라도 듣지 못하기 때문에 말을 배우지 못하고 한평생을 불편속에서 보내게 된다.

상기와 같은 농아를 위하여 다양한 언어학습장치 및 방법이 개발되고 있다. 성대기능이 완전한 농아들을 위한 방법중의 하나가 교습자의 입술모양을 보고 단어들을 학습하여 발음하는 시각적인 방법이 주로 사용되고 있다. 그러나 시각적인 방법은 농아가 자신이 발음하는 것이 정확한가 아닌가를 인식하지 못한 상태에서 학습을 하는 한계점이 있다. 비록 교습자가 발음을 어느 정도 교정하더라도 시간적, 경제적인 이유로 인하여 정상적인 교습을 받지 못하므로 농아의 언어교육의 효과가 저하되고 있으며, 이로 인하여 언어습득을 포기하는 경우도 발생된다. 더욱이, 정상적인 청각기능을 보충하기 위하여 상대방의 입술움직임을 주의하여 보아야 하기 때문에 사회생활에서도 제약이 되고 있는 형편이다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 선천성 청각장애 또는 후천성 청각장애로 인하여 말을 하지 못하는농아(聾啞)를 위한 골도청각을 이용한 농아용 언어학습장치 및 이것을 이용한 언어학습방법을 제공하는데 있다.

본 발명의 다른 목적은 말로 배우려는 단어를 문자를 통하여 눈으로 확인하는 동시에 정확한 음가를 가진 발음을 귀 또는 골도진동메카니즘을 통하여 청신경으로 전달한 후에, 표준발음에 가깝도록 발음을 학습함으로서 말을 배울 수 있는 골도청각을 이용한 농아용 언어학습장치 및 언어학습방법을 제공하는데 있다.

본 발명의 또다른 목적은, 평상시에 상대방의 음성을 입력받아서 전달하는 과정에서 골도청각기능을 수행하여 보청기와 같은 형태로 사용할 수 있는 골도청각을 이용한 농아용 언어학습장치를 제공하는데 있다.

본 발명의 또다른 목적은 휴대가 가능하며 시간과 장소애 구애받지 않으면서 종래 전문교습자에 의한 지도와 동일한 수준의 언어습득교육을 제공함으로서 농아의 언어습득능력을 향상시키는데 일조할 수 있는 골도청각을 이용한 농아용 언어학습장치 및 언어학습방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 골도청각을 이용한 농아용 언어학습장치는, 음성을 입력하기 위한 마이크(10)와, 상기 마이크(10)를 통하여 입력되는 음성신호를 디지탈신호로 변환하며 장치 전반을 제어하는 프로그램이 내장된 제어부(14)와, 상기 제어부(14)에 특정명령을 입력시키기 위한 기능키가 구비된 키입력부(16)와, 상기 제어부(14)의 제어에 의하여 음성신호데이터를 복조하기 위한 디코더(18)와, 상기 디코더(18)에 의하여 복조된 디지탈신호를 아날로그신호로 변환하기 위한 DAC(20)와, 상기 DAC(20)로부터 출력되는 아날로그신호를 증폭하여 출력하기 위한 증폭부(22)와, 안면의 일측에 부착되어 상기 증폭부(22)로부터 출력되는 전기적인 음성신호를 진동신호로 변환하여 출력하는 진동출력부(24)와, 상기 제어부(14)의 제어에 의하여 언어학습용 데이터를 표시하기 위한 화면표시부(28)와, 학습데이터를 저장하기 위한 데이터저장장치(30)를 포함한다.

도 1은 본 발명에 의한 언어학습장치의 사용상태도,

도 2는 본 발명에 의한 언어학습장치의 블럭도,

도 3은 본 발명에 의한 언어학습장치의 다른 실시예의 블럭도,

도 4는 본 발명에 의한 언어학습방법을 설명하기 위한 플로우차트,

도 5는 본 발명에 의한 언어학습방법의 화면표시의 일실시예,

도 6은 본 발명에 의한 언어학습방법의 화면표시의 다른 실시예,

도 7은 본 발명에 의한 언어학습방법에서 파형비교의 화면표시예,

도 8은 본 발명에 의한 언어학습방법에서 음성인식률의 화면표시예,

도 9는 본 발명에 의한 언어학습방법에서 입술비교의 화면표시예.

<도면의 주요 부분에 대한 부호의 설명>

1 : 언어학습장치 2 : 인터페이스잭

3 : 진동출력부 10: 마이크

10a: 기도마이크 연결잭 12: 파형분석부

12a: ADC 12b: 디지탈카메라

12c: 음성인식칩 14: 제어부

16: 키입력부 18: 디코더

20: DAC 22: 증폭부

24: 진동출력부 26: 구동부

28: 화면표시부 30: 데이터저장장치

10a: 기도마이크

이하 첨부된 도면을 참고하여 본 발명의 골도청각을 이용한 농아용 언어학습장치 및 언어학습방법을 상세히 설명하면 다음과 같다.

본 발명의 원리는, 말로 배우려는 단어를 문자(및 이미지, 동영상등)를 통하여 눈으로 확인하는 동시에 정확한 음가를 가진 발음을 귀 또는 골도진동메카니즘을 통하여 청신경으로 전달하고, 정상출력음과 비슷하게 발음하도록 노력하고 표준발음과 학습자의 발음을 비교하는 것을 반복하여 최소의 노력으로 최대의 효과를 거둘 수 있는 것이다.

먼저 본 발명에 의한 언어학습장치(1)의 구성상태를 외관을 나타내는 도 1을 참고하여 설명한다.

언어학습장치(1)는 표시부와 마이크가 설치되는 본체부분과, 농아자가 착용하기 위한 진동출력부(3)로 크게 구분된다. 상기 진동출력부(3)는 음성출력을 귀를 통하여서가 아니라 골도(bone-path)를 통하여 착용자의 청각세포에 전달하기 위한 장치이다.상기의 골도기능을 이용한 진동출력부(3)는 종래 잘 알려져 있다. 예를 들어, 공개특허공보 2000-0052066에 개시된 것과 같이, 외부의 입력음성신호에 대해 직접 진동을 하며 골도청각에 음성신호를 지각할 수 있도록 하는 진동수단과, 상기 진동수단에 끼워져 장착되며 음성신호를 자계의 변화로 변환하는 진동자용 코일인 보이스코일이 감겨진 보빈과, 상기 보빈의 일측 소정위치에 연결되어 그것에 감겨진 보이스코일에 전류를 공급하는 전극과, 상기 보빈의 내외측으로 위치되며 전자석인 네오듐과 페라이트의 자기회로로 구성되되 그들 사이의 공극에서 상기 보이스코일의 진동이 원활하게 유지되도록 하여 상기 보이스코일에 의한 자기장과 상호흡인 반발작용을 유발시키므로서 상기 보이스코일과 함께 실제 진동수단의 진동을 발생시키는 고정자석과, 상기 진동수단의 양측에 장착되어 상기 진동수단의 진동을 안정되게 유지해주는 보조판넬과, 상기 진동수단의 상단부 중앙에 장착되며 인체의 유양돌기에 상기 진동수단의 진동을 직접 전달하는 진동접촉부등으로 구성될 수 있으며, 종래 사용되는 골도스피커와 유사한 구조를 갖거나 변형, 또는 개량된 구조를 가질 수 있다. 따라서 착용자는 진동이 가장 잘 전달되는 안면부분, 예를 들어서 귀밑의 뼈주위, 또는 목덜미의 후위부에 밀착시켜서 착용한다. 또는 종래 사용되는 골도핸드폰등을 진동출력부(3)에 사용할 수 있다.

또한 언어학습장치(1)의 표면에는 마이크(10)가 설치된다. 마이크(10)는 성대가 정상적인 기능을 하는 경우에는 본인의 음성을 직접 입력할 수 있으며, 성대의 기능에 이상이 있을 경우에는 기도부위의 진동을 감지하여 전달할 수 있는 기도진동형 발음입력수단등을 사용할 수 있다. 상기 기도진동형 발음입력수단을 위한 연결잭(10a)이 더 설치된다. 한편, 본 발명의 언어학습장치(1)에 사용되는 학습데이터등은 휴대폰을 이용하거나 일반 PC의 통신기능을 이용하여 갱신시킬 수 있으며, 휴대폰이나 PC와의 연결을 위하여 인터페이스부(미도시됨)이 포함되고 이것을 연결하기 위한 인터페이스잭(2)이 측면에 설치되어 있음을 알 수 있다.

언어학습장치(1)의 정면에는 학습데이터가 표시되는 표시화면이 부착되고 또한 상세히 도시되지 않았지만, 일반 학습장치에서와 같이 항목선택, 메뉴선택, 반복, 재생선택등을 위한 기능키들이 구비된다.

상기의 언어학습장치(1)의 일실시예의 블럭도가 도 2에 표시되어 있다.

언어학습장치(1)는, 음성을 입력하기 위한 마이크(10)와, 장치 전반을 제어하는 프로그램이 내장된 제어부(14)와, 상기 제어부(14)에 특정명령을 입력시키기 위한 기능키가 구비된 키입력부(16)와, 상기 제어부(14)의 제어에 의하여 음성신호데이터를 복조하기 위한 디코더(18)와, 상기 디코더(18)에 의하여 복조된 디지탈신호를 아날로그신호로 변환하기 위한 DAC(20)와, 상기 DAC(20)로부터 출력되는 아날로그신호를 증폭하여 출력하기 위한 증폭부(22)와, 안면의 일측에 부착되어 골도기능에 의한 음성신호를 출력하는 진동출력부(24)와, 상기 제어부(14)의 제어에 의하여 문자데이터를 표시하기 위한 화면표시부(28)와, 학습데이터를 저장하기 위한 데이터저장장치(30)를 포함한다.

상기 마이크(10)는 정상적인 성대기능을 가진 사람이 발음하는 음성신호의 입력을 위한 것이다. 농아가 정상성대기능을 가진 경우에 상기 마이크(10)를 사용하여 자신의 음성상태를 확인할 수 있다. 성대기능에 이상이 있는 경우에, 성대대용으로 하여 발음생성이 가능한 기도(氣道)의 진동을 감지할 수 있는 다른 진동형 입력수단을 사용할 수 있으며, 이것을 위한 연결잭(10a)이 도 1에 표시되어 있다.

상기 마이크(10)는 도면에서는 언어학습장치(1)의 본체부에 장착된 것으로 표시되어 있지만, 사용상의 편리성을 위하여 사용자의 표피에 밀착되는 진동출력부(24)와 일체형으로 제작하는 것도 가능함은 명백하다. 일체형으로 제작시에 마이크부분은 입에 인접하도록 돌출시키는 것이 바람직하다. 일체형을 다시 설명하면 진동출력부(24)는 안면의 뺨부분 또는 골도기능이 발달된 부분에 부착되어 진동전달기능을 수행하고, 마이크부분은 입주변에 위치하도록 연장시켜서 헤드폰과 같은 형태로 구성한다.

마이크(10)의 입력은 직접 제어부(14)로 입력되어서 진동출력부(24)를 통하여 출력, 처리되지만, 음성파형의 비교를 위하여 별도의 장치들을 부착할 수 있다. 도 3에는 파형비교를 위한 파형분석부(12)와, 또한 ADC(12a)가 더 추가된 블럭도가 점선안에 표시되어 있다.

상기 파형분석부(12)는 마이크(10)를 통하여 입력되는 음성진동신호를 분석하여 음성신호의 고저, 진폭등을 포함하는 입력되는 신호에 상응하는 파형도를 출력한다. 상기 파형분석부(12)는 농아의 발성상태와 정상발성상태의 비교기능(후에 상술됨)의 수행시에 파형을 분석하여 출력한다. 도면에서는 하드웨어(H/W) 상태로 파형분석부(12)를 구비하였지만, 제어부(14)로 사용되는 CPU의 처리능력에 따라서 소프트웨어적으로 구성하는 것도 가능하다. 다시 말하면, 마이크(10)의 입력을 ADC(12a)에서 디지탈신호로 처리하고 제어부(14)에서 소프트웨어적으로 신호를 처리하여 파형을 비교한다. 파형분석부(12) 또는 ADC(12a)를 이용하는 비교기능이 수행되지 않으면 마이크(10)를 통하여 입력되는 음성신호는 파형분석결과를 출력하지 않고 입력된 상태로 제어부(14)로 출력한다. 이것은 단순히 음성을 화자에게 전달하는 역할을 하는 것이다. 상기 파형분석부(12)는 종래 기술에 의하여 용이하게 달성될 수 있다.

상기 마이크(10)에서 출력된 농아에 의한 음성신호는 제어부(14)로 입력된다. 제어부(14)는 키입력부(16)로부터 입력되는 제어명령신호에 따라서 특정동작, 예를 들어서 학습데이터를 출력하고 비교결과를 출력하는 등의 작업을 수행하기 위한 프로그램을 내장하고 있다. 실제로 프로그램등은 롬(32)과 램(34)등에 분산, 저장된다. 제어부(14)는 롬(32)과 램(34)에 적재된 프로그램을 작업수행을 위하여 적재한다. 또한 제어부(14)와 디코더(18)를 일체형으로 구성하거나 또는 제어부(14)에서 소프트웨어적으로 디코더 기능을 구비하도록 하여 디코더를 제거할 수 있음은 명백하다. 또한 상기 제어부(14), 디코더(18), 및 DAC(20)를 일체형으로 구성하면 회로가 간단해지는 이점이 있으며, 이렇게 일체화시킨 것도 역시 본 발명의 범위에 속한다 할 것이다.

제어부(14)를 다시 상세히 설명하면, 사용자가 학습데이터를 재생시키도록 제어명령을 입력시키면 학습데이터와 이에 관련된 음성데이터를 각각 화면표시부(28)와 진동출력부(24)를 통하여 동기화시켜서 출력시킨다. 또한 마이크(10)를 통하여 사용자의 발성신호가 입력되면 이것을 적절한 순서에 의하여 진동출력부(24)로 출력한다. 따라서 사용자는 학습데이터 및 음성데이터에 의하여 1차적으로 학습을 하고, 다시 자신이 발음한 발성신호를 듣게 됨으로서 발성연습이 가능해지는 것이다.

제어부(14)에 의하여 출력되는 학습데이터와 음성데이터들은 디지탈파일형태로 저장되어 있으며, 음성으로 출력하기 위하여 디코더(18)와, DAC(20)을 이용하여 복조한 후에, 증폭부(22)에서 충분한 크기로 증폭하고 최종적으로 진동출력부(24)를 통하여 출력시킨다. 한편, 학습데이터들은 구동부(26)에 의하여 작동되는 화면표시부(28)에 문자, 이미지, 동영상등의 다양한 형태로 표시되며 데이터저장장치(30)에 저장된다.

상기 데이터저장장치(30)는, 전원이 오프되어도 저장된 데이터들이 제거되지 않고 저장되는 비휘발성 데이터 저장장치, 예를 들어 플래시메모리(flash memory),HDD, MD, 리라이터블 CD등과 같은 저장장치들을 사용하는 것이 바람직하다. 따라서 상기 데이터저장장치(30)들은 모두 읽기/쓰기가 가능한 저장매체가 되어야 한다. 또한 사용상의 편리를 위하여 상기 비휘발성 데이터 저장장치들은 착탈가능하도록 구성하는 것이 바람직하다. 이러한 착탈구조를 이용하면 학습데이터의 교환이 용이한 이점이 있다.

음성데이터들도 역시 데이터저장장치(30)에 저장된다. 학습데이터들과 음성데이터들은 모두 동기화되어 있어서 학습데이터가 표시되면 이것과 동기된 음성데이터가 동시에 출력된다.

본 발명의 언어학습장치(1)에는 또한 학습데이터들을 새로운 내용으로 간단히 업데이트할 수 있도록 통신인터페이스부(36)를 더 포함한다. 도 3을 다시 참고하면, 상기 통신인터페이스부(36)는 PC, 휴대폰, PDA등과 연결되어서 유선인터넷 또는 무선인터넷을 통하여 학습데이터를 전송받아서 상기 데이터저장장치(30)에 저장할 수 있다. 실제로 상기 통신인터페이스부(36)는 PC, 휴대폰, PDA 등을 이용하여 유, 무선인터넷에 연결된 상태에서 서버로부터 전송되는 데이터들을 전송하는 데이터전송인터페이스(RS232C등)를 이용하여 용이하게 구성할 수 있다.

좀더 복잡하고 다양한 기능을 위하여 무선송수신기능들을 언어학습장치(1)에 포함하는 것도 가능하다. 제어부(14)에는 통신인터페이스부(36)를 통하여 PC, 휴대폰으로부터 전송되는 데이터들을 저장하기 위한 제어모듈이 적재된다.

본 발명에는 또한 디지탈카메라(12b) 또는 음성인식칩(12c)를 더 추가하여 다양한 작용을 수행할 수 있다. 디지탈카메라(12b)를 사용하여 화자의 입술형태를 촬영하고, 이것을 디지탈데이터로 변환하여 저장한 후에, 미리 저장된 표준발음에 대한 입술의 형태를 비교함으로서 화자의 정확한 발음을 유도하는데 사용할 수 있다. 표준발음에 대한 이미지 또한 동영상자료들은 미리 작성한 후에 데이터 저장장치(30)에 저장한다. 디지탈카메라(12b)를 이용하여 촬영되는 입술형태는, 제어부에 의하여 저장된 후에, 입술형태의 비교메뉴에 의하여 동시에 출력되도록 구성할 수 있다.

도 9에 이러한 입술형태의 비교예가 표시되어 있다. 도시된 바와 같이 단어 "아버지"에 대한 입술의 변형상태를 이미지, 이미지슬라이드, 또는 동영상의 형태로 출력하고, 이와 동시에 디지탈카메라(12b)를 이용하여 촬영된 사용자의 입술형태를 역시 이미지, 이미지슬라이드, 또는 동영상의 형태로 출력한다. 이 때 발음의 시작과 끝을 동기화시켜서 정확한 비교가 되도록 설정한다. 상기와 같이 입술형태의 비교출력에 의하여 사용자는 정확한 입술형태를 인지할 수 있기 때문에 정확한 음성발음을 할 수 있게 된다.

또한 음성인식칩(12c)을 포함한 경우에는, 사용자의 음성을 입력받아서 이것을 표준단어에 대한 정확도를 판단한다. 다시 말하면, 사용자가 발음하여 음성인식된 단어와 표준단어발음을 비교하고 정확도를 수치(%)로 판단하여 그 결과를 출력한다. 도 8에 음성인식칩(12c)을 이용한 발음예가 표시되어 있다. 상기와 같은 음성인식칩(12c)은 종래 상용으로 판매되고 있으므로 상세한 설명은 생략한다. 단, 본 발명에서는 상기와 같은 음성인식칩(12c)에 미리 저장되어 있는 표준발음들에 대하여 발음에 대한 정확도를 판단할 수 있다.

도 4에는 상기와 같은 언어학습장치(1)에서 수행되는 언어학습방법이 표시되어 있다. 본 발명의 언어학습방법은, 언어교습을 위한 학습데이터 및 음성데이터를 각각 표시화면과 진동출력부를 통하여 동기화시켜 출력하는 제1단계와, 사용자에 의하여 입력되는 발성데이터를 마이크를 통하여 입력받고 진동출력부를 통하여 출력하는 제2단계와, 마이크를 통하여 입력받은 발음데이터와 정상음성출력데이터를 비교하는 제3단계와, 비교결과에 따른 차이점을 표시하여 발음을 교정하는 제4단계를 포함한다.

사용자(농아)는 먼저 자신이 학습하고자 하는 내용을 선택한다. 통상 학습데이터는 단어, 구절, 문장 등과 같은 구성으로 이루어져 있으며, 자신의 학습진도에 따라서 필요한 과정을 선택한다. 그러나 단어, 구절, 문장에서의 학습방식은 캡션(문자)와 이에 대응되는 음성데이터신호출력, 캡션(문자)와 이에 대응되는 음성데이터신호출력과 이미지, 캡션(문자)와 이에 대응되는 음성데이터신호출력과 동영상등과 같이 동일하므로 단어를 예로 들어서 설명한다.

상기 캡션데이터는 텍스트문자 데이터파일포맷, 음성데이터는 오디오파일포맷으로 제작되고, 이미지데이터는 jpg, jpeg, gif, png, tif(f)등과 같은 통상의 이미지파일포맷으로 제작이 가능하며, 동영상파일포맷도 역시 mov, avi등과 같은 종래 사용되는 어떤 파일포맷의 동영상파일포맷으로 제작하는 것이 가능하다. 물론 상기에서 언급되지 않은 파일포맷의 사용도 가능함은 명백하다.

사용자가 선택하면 학습데이터 및 음성데이터가 각각 표시화면과 진동출력부를 통하여 출력된다. 표시화면을 보고 사용자는 자신이 학습하려는 문자를 인식하고, 진동출력부를 통하여 출력되는 음성신호를 골도(骨道)청각을 이용하여 인식한다. 사용자는 다양한 단어들을 연속적으로 출력하도록 선택할 수 있다. 이것은 모두 키입력부(16)의 기능키들을 사용하여 설정한다.

학습데이터는 사용자가 단어, 구절, 또는 문장을 학습하는데 시각적으로 도움이 되는 문자, 이미지, 또는 동영상을 의미한다. 이러한 학습데이터들은 모두 디지탈파일형태로 저장되어 있다가, 사용자가 선택하는 학습데이터 내용과 음성데이터를 동시에 출력하게 된다. 도 5를 참고하면, 사용자가 단어학습에서 "아버지", "컴퓨터"등과 같은 단어를 학습하는 경우에, 표시화면에 "아버지"라는 단어와 그에연관된 이미지가 표시된다. "컴퓨터"라는 단어의 경우에도 동일하다. 따라서 사용자는 "아버지"라는 단어와 이미지를 보는 것과 동시에 진동출력부를 통하여 "아버지"에 해당되는 음성신호의 진동상태를 골도(骨道)를 통하여 청각신경에서 인식하여 학습을 수행한다. 도면에서는 반전상태의 단어에 대하여 현재 진동출력부를 통하여 음성신호가 출력되도록 동기화시키는 것이 필수적이다.

도 7은 이미지 대신에 특정단어에 대한 동작형태 "전화걸기" 형태를 표시하고 있다. 이것은 사용자가 직접 동작을 봄으로서 어떤 행동인가를 인식할 수 있도록 하는 것이다. 또한 특정단어에 대한 입술형태를 표시하는 것도 가능하다. 다시말하면, "아버지"라른 단어에 대한 입술형태를 이미지, 또는 "입술" 이미지들의 연속되는 슬라이드나, 또는 동영상으로 "입술"의 움직임을 표시할 수 있다. 동영상의 경우에도, 애니메이션으로 처리하거나 또는 실제의 입술형태의 변화과정을 촬영하여 동영상으로 제공하는 것이 가능하다. 이러한 학습데이터의 표시상태는 메뉴화되어서 사용자가 선택하도록 구성된다.

학습데이터는 단어에 대하여 "입술"형태뿐만 아니라, 임의의 동작을 설명함에 있어서, 실제 동작을 수행하는 동영상등과 같이 다양하게 제작할 수 있으며, 이러한 데이터들도 역시 본 발명에 속한다 할 것이다.

사용자는 또한 반복횟수 및/또는 출력속도를 선택할 수 있다. 즉, 자신의 능력에 맞도록 반복횟수를 설정하고, 또한 자신이 단어를 이해할 수 있는 속도로 학습데이터 및 음성데이터를 조정할 수 있다. 예를 들어서 처음듣는 단어의 속도는 "저속", 자주 들어서 익숙한 상태의 단어는 "평속"으로 출력되도록 설정하는 것이다. 이것들도 역시 키입력부의 기능키들을 이용하여 설정하는 것이 가능하다. 사용자에 의하여 설정된 반복회수와 속도에 따라서 지정된 동작이 수행된다.

동기화된 학습데이터와 음성데이터가 출력하는 과정에서 사용자는 마이크를 이용하여 자신의 음성을 입력시킨다. 입력된 음성은 다시 진동출력부를 통하여 출력됨으로서 사용자는 자신의 음성을 직접 들을 수 있어서 학습효과가 높아진다. 이것이 본 발명의 방법에서의 제2단계이다.

또한 사용자는 시각적으로 자신의 음성출력과 정상음성출력을 비교할 수 있다. 즉 상기와 같이 학습을 수행하면, 마이크를 통하여 입력되는 사용자의 발성신호와 정상상태의 발성신호가 비교된다. 이러한 비교는 파형의 분석에 의하여 수행된다. 즉, 언어학습장치(1)의 파형분석부(12)를 포함한 경우에 사용자에 의하여 입력되는 발성신호의 파형을 감지하고 이것을 시각적으로 표시한다. 또한 정상발음에 대한 파형을 감지하고 역시 이것을 시각적으로 표시한다. 이러한 파형의 비교를 통하여 사용자의 발음상의 문제점을 파악하고 그에 따른 교정데이터를 출력하여 발음을 교정할 수 있다. 교정데이터도 역시 진동출력부를 통하여 출력되어서 사용자에게 전달된다.

도 7은 파형분석에 의한 발음비교를 도시한 것이다. 도시된 바와 같이, 정상적인 "아버지" 발음파형이 상부에 사용자에 의한 입력발음파형이 하부에 표시되어 있다. 발음파형의 상이점이 명백하게 표시되어 있으며, 제어부에서는 이 파형의 비교결과에 따라서 적절하게 교정할 수 있는 해결책을 제시하는 것이다. 이와 같이 하여 사용자는 전문교습자가 없더라도 단어, 구절, 문장등에 대한 음성데이터와 학습데이터, 더 나아가서는 이미지, 동영상등과 같은 관련된 데이터들을 이용하여 청각을 대신할 수 있는 골도청각을 이용하여 학습을 용이하게 할 수 있다.

도 8은 음성인식칩(12c)을 이용하여 발음을 비교하는 예를 도시한 것으로서, 정확도를 %로 표시할 수 있으며, 도 9는 디지탈카메라(12b)를 이용하여 입술의 형태를 비교한 예를 도시한 것이다. 상기와 같은 파형도를 이용한 발음비교는, 종래 잘 알려져 있다.

실제 하나의 단어(또는 구절, 문장)에 대하여 제1단계 내지 제4단계의 방법이 연속적으로 수행됨으로서 하나의 단어에 대한 학습이 종료된다. 사용자는 학습진도에 따라서 반복횟수, 속도등을 재설정하는 것이 바람직하다.

본 발명의 언어학습장치(1)는 또한 청각장애인에게 상대방의 음성을 인식할 수 있는 보청기역할을 수행할 수 있다. 즉 본 발명의 언어학습장치(1)의 기능중에서 언어학습기능대신에 마이크(10)를 통하여 입력되는 음성(발성)신호의 출력기능만을 설정함으로서 상대방의 음성을 골도청각으로 직접 듣고 대화할 수 있다. 이것은 제어부(14)에서의 회로제어상태변경을 통하여 간단하게 구현될 수 있는 것이다.

상기 설명에서 본 발명의 어학학습장치(1)는 별도의 하드웨어를 이용하여 구성되었으나, 도 2에 도시된 것과 같은 하드웨어를 포함하는 컴퓨터, PDA, 또는 IMT 2000과 같은 장치를 이용하여 본 발명의 방법을 실행시킬 수 있으며, 이러한 구성도 역시 본 발명의 범주에 속한다 할 것이다.

또한 본 발명은 한국어 학습을 예로 들어 설명하였지만, 영어, 일본어, 중국어, 불란서어등과 같은 모든 언어에 동일하게 적용될 수 있음은 명백하다.

상기와 같이 본 발명에 의하면, 농아가 간편하고 경제적으로 특정언어를 습득할 수 있으며, 발음상의 문제점을 정확하게 판단함으로서 표준발음을 용이하게 학습할 수 있는 이점이 있다.

본 발명은 기재된 구체예에 대해서만 상세히 설명되었지만 본 발명의 사상과 범위내에서 변형이나 변경할 수 있음은 본 발명이 속하는 분야의 당업자에게는 명백한 것이며, 그러한 변형이나 변경은 첨부한 특허청구범위에 속한다 할 것이다.

Claims

언어학습장치에 있어서,

음성을 입력하기 위한 마이크(10)와, 상기 마이크(10)를 통하여 입력되는 음성신호를 디지탈신호로 변환하며 장치 전반을 제어하는 프로그램이 내장된 제어부(14)와, 상기 제어부(14)에 특정명령을 입력시키기 위한 기능키가 구비된 키입력부(16)와, 상기 제어부(14)의 제어에 의하여 음성신호데이터를 복조하기 위한 디코더(18)와, 상기 디코더(18)에 의하여 복조된 디지탈신호를 아날로그신호로 변환하기 위한 DAC(20)와, 상기 DAC(20)로부터 출력되는 아날로그신호를 증폭하여 출력하기 위한 증폭부(22)와, 안면의 일측에 부착되어 상기 증폭부(22)로부터 출력되는 전기적인 음성신호를 진동신호로 변환하여 출력하는 진동출력부(24)와, 상기 제어부(14)의 제어에 의하여 언어학습용 데이터를 표시하기 위한 화면표시부(28)와, 학습데이터를 저장하기 위한 데이터저장장치(30)를 포함하는 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습장치.
제1항에 있어서,

상기 언어학습장치가 성대기능에 이상이 있는 사용자로부터의 발성신호를 입력받기 위한 기도진동감지형 마이크를 더 연결시킬 수 있는 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습장치.
제1항에 있어서,

상기 마이크(10)가 진동출력부(24)와 일체형으로 구성되며, 상기 마이크(10)는 입주변에 위치하도록 연장되고 상기 진동출력부(24)는 골도청각기능이 양호한 안면의 일부분에 밀착되도록 헤드폰형태로 구성되는 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습장치.
제1항에 있어서,

상기 진동출력부(24)가 음성신호를 골도를 통하여 청각세포에 전달되도록 진동으로 변경하는 골도이어폰인 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습장치.
제1항에 있어서,

상기 데이터저장장치(30)가 플래시메모리(flash memory), HDD, MD, 리라이터블 CD등과 같은 비휘발성 데이터 저장장치인 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습장치.
제1항에 있어서,

상기 언어학습장치가 학습데이터와 음성데이터들을 업데이트하기 위하여 외부 유무선통신망으로부터 데이터를 전송받기 위한 유무선 통신인터페이스부(36)를 더 포함하는 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습장치.
제1항 또는 제5항에 있어서,

상기 데이터 저장장치(30)는 착탈가능한 외장형 저장장치인 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습장치.
삭제
제1항에 있어서,

상기 제어부(14), 디코더(18), 및 DAC(20)가 일체형으로 구성되는 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습장치.
제1항에 있어서,

상기 장치가 화자의 음성데이터를 인식하는 음성인식칩(12c)을 더 포함하여 미리 음성인식칩(12c)에 저장되어 있는 표준발음의 정확도를 측정, 비교하는 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습장치.
제1항에 있어서,

상기 장치가 디지털카메라(12b)를 더 포함하여 화자의 입술모양을 촬영하고 저장한후에 화자의 입술과 발음에 대한 표준입술형태를 동시에 표시하고, 비교하는것을 특징으로 하는 골도청각을 이용한 농아용 언어학습장치.
제1항에 있어서,

상기 마이크(10)를 통하여 입력되는 음성신호의 파형을 분석하고 비교하기 위하여 음성신호의 파형도를 출력하는 파형분석부(12)를 더 포함하는 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습장치.
제1항에 있어서,

상기 마이크(10)를 통하여 입력되는 음성신호를 ADC(12a)를 통하여 디지털신호로 변환하고, 변환된 디지털신호를 제어부(14)에서 프로그램의 파형분석, 비교하는 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습장치.
언어교습을 위한 학습데이터 및 음성데이터를 각각 표시화면과 진동출력부를 통하여 동기화시켜 출력하는 제1단계와, 마이크를 통하여 입력되는 사용자의 발음데이터를 진동출력부를 통하여 사용자에게 출력하는 제2단계와, 마이크를 통하여 입력받은 발음데이터와 정상음성출력데이터를 비교하는 제3단계와, 및 비교결과에 따른 차이점을 표시하여 발음을 교정하는 제4단계를 포함하는 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습방법.
제14항에 있어서,

상기 학습데이터가, "캡션 및 음성데이터", "캡션, 음성데이터 및 이미지데이터", 또는 "캡션, 음성데이터, 및 동영상데이터"중의 하나인 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습방법.
제15항에 있어서,

상기 캡션데이터는 텍스트문자 데이터파일포맷, 음성데이터는 AAC, A3C, WAVE, RA등과 디지탈오디오파일포맷, 이미지데이터는 jpg, jpeg, gif, png, tif(f)등과 같은 이미지파일포맷, 동영상데이터는 mov, avi 등과 같은 동영상파일포맷인 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습방법.
제14항에 있어서,

상기 제3단계에서의 발음데이터와 정상음성출력데이터의 비교가 각각의 신호파형을 감지하고, 감지된 신호파형의 형태를 비교하는 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습방법.
제14항에 있어서,

상기 제3단계에서의 발음데이터와 정상음성출력데이터의 비교가 화자의 입술형태를 촬영하여 저장하고, 표준발음에 대한 입술형태와 비교하는 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습방법.
제14항에 있어서,

상기 제3단계에서의 발음데이터와 정상음성출력데이터의 비교가 화자의 음성을 인식하고 이것을 표준발음에 대한 음성과 비교하여 정확도를 표시하는 것을 특징으로 하는 골도청각을 이용한 농아용 언어학습방법.
언어교습을 위한 학습데이터 및 음성데이터를 각각 표시화면과 진동출력부를 통하여 동기화시켜 출력하는 제1단계와, 마이크를 통하여 입력되는 사용자의 발음데이터를 진동출력부를 통하여 사용자에게 출력하는 제2단계와, 마이크를 통하여 입력받은 발음데이터와 정상음성출력데이터를 비교하는 제3단계와, 및 비교결과에 따른 차이점을 표시하여 발음을 교정하는 제4단계를 수행하기 위한 프로그램이 저장된 저장매체.
마이크를 통하여 입력되는 음성신호를 디지탈신호로 변환하고, 장치 전반을 제어하는 프로그램이 내장된 제어부와, 상기 제어부에 특정명령을 입력시키기 위한 기능키가 구비된 키입력부와, 상기 제어부의 제어에 의하여 음성신호데이터를 복조하기 위한 디코더와, 상기 디코더에 의하여 복조된 디지탈신호를 아날로그신호로 변환하기 위한 DAC와, 상기 DAC로부터 출력되는 아날로그신호를 증폭하여 출력하기 위한 증폭기와, 안면의 일측에 부착되어 골도기능에 의한 음성신호를 출력하며 착탈이 가능한 진동출력부와, 상기 제어부의 제어에 의하여 학습데이터를 표시하기 위한 화면표시부와, 학습데이터를 저장하기 위한 데이터저장장치를 포함하는 컴퓨터시스템.
마이크를 통하여 입력되는 음성신호를 디지탈신호로 변환하고, 장치 전반을 제어하는 프로그램이 내장된 제어부와, 상기 제어부에 특정명령을 입력시키기 위한 기능키가 구비된 키입력부와, 상기 제어부의 제어에 의하여 음성신호데이터를 복조하기 위한 디코더와, 상기 디코더에 의하여 복조된 디지탈신호를 아날로그신호로 변환하기 위한 DAC와, 상기 DAC로부터 출력되는 아날로그신호를 증폭하여 출력하기 위한 증폭기와, 안면의 일측에 부착되어 골도기능에 의한 음성신호를 출력하며 착탈이 가능한 진동출력부와, 상기 제어부의 제어에 의하여 학습데이터를 표시하기 위한 화면표시부와, 학습데이터를 저장하기 위한 데이터저장장치를 포함하는 PDA.
마이크를 통하여 입력되는 음성신호를 디지탈신호로 변환하고, 장치 전반을 제어하는 프로그램이 내장된 제어부와, 상기 제어부에 특정명령을 입력시키기 위한 기능키가 구비된 키입력부와, 상기 제어부의 제어에 의하여 음성신호데이터를 복조하기 위한 디코더와, 상기 디코더에 의하여 복조된 디지탈신호를 아날로그신호로 변환하기 위한 DAC와, 상기 DAC로부터 출력되는 아날로그신호를 증폭하여 출력하기 위한 증폭기와, 안면의 일측에 부착되어 골도기능에 의한 음성신호를 출력하며 착탈이 가능한 진동출력부와, 상기 제어부의 제어에 의하여 학습데이터를 표시하기 위한 화면표시부와, 학습데이터를 저장하기 위한 데이터저장장치를 포함하는 IMT 2000 통신단말기.