KR20050119808A - 음성인식을 이용한 다국어 통역/학습 장치 및 방법과 그저장매체 - Google Patents

Abstract

본 발명은 음성인식 및 문자를 이용한 다국어 통역 및 학습 장치 및 방법에 관한 것이다. 이러한 본 발명의 장치는 컴퓨터 하드 디스크 및 소프트웨어나, 이동 가능한 스토리지로 이루어져 다국어 어학 컨텐츠를 저장하고 있는 컨텐츠 스토리지;상황이나 케이스에 맞는 문장과 조작상태를 나타내는 정보를 문자로 표시함과 아울러 터치펜, 음성 등으로 조작신호를 입력할 수 있는 터치패널; 키입력부; 마이크로부터 입력된 아날로그 음성신호를 디지털로 변환하여 음성인식알고리즘을 적용할 수 있게 하고, 문자를 음성으로 출력하는 TTS기능을 제공함과 아울러 디지털 음성데이터를 아날로그신호로 변환한 후 증폭하여 스피커를 통해 출력하는 음성처리부; 및 키입력부를 통해 전원이 온 되면, 미리 내장된 메인화면을 터치패널에 표시하도록 제어하고, 터치패널이나 키입력부를 통해 사용자가 통역기능을 선택하면 상기 컨텐츠 스토리지로부터 통역을 위한 컨텐츠를 읽어와 터치패널을 통해 제공하고, 학습기능을 선택하면 컨텐츠 스토리지로부터 학습을 위한 컨텐츠를 읽어와 터치패널을 통해 제공하며, 통역기능에서 사용자가 자국어 문장을 선택하면 대응하는 상대어 문장을 찾아 터치패널을 통해 제공하는 마이크로프로세서로 구성된다.

Description

음성인식을 이용한 다국어 통역/학습 장치 및 방법과 그 저장매체 { Apparatus and method of translating or learnning multi languages by sound recognition and storage for the same }

본 발명은 자동 통역 및 어학학습 장치에 관한 것으로, 더욱 상세하게는 음성인식과 문자를 이용한 다국어 통역 및 학습 장치 및 방법과 저장매체에 관한 것이다.

최근들어, 교통통신 수단이 발달하고 경제수준이 높아짐에 따라 해외여행이 잦아지고 외국인의 방문도 증가하고 있다. 그런데 외국어에 능통하지 않은 경우 해외여행이나 외국인과 만날 때 의사소통이 어려운 경우가 많다. 이러한 문제점을 해결하기 위해 통역이 가능한 여행 안내원 등을 동반하여 여행하는 경우가 있으나 비용이 많이 들고, 다국어 통역은 사실상 어려운 문제점이 있다.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 별도의 통역자 없이도 다국어로 의사소통이 가능하게 하는 다국어 통역기능은 물론 다국어 학습기능도 부가된 음성인식, 문자 및 인터넷을 이용한 다국어 통역/학습 장치 및 방법과 저장매체를 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 장치는, 하드 디스크나 이동 가능한 스토리지로 이루어져 다국어 어학 컨텐츠를 저장하고 있는 컨텐츠 스토리지; 상황이나 케이스에 맞는 문장과 조작상태를 나타내는 정보를 문자나 음성으로 표시함과 아울러 터치펜 등으로 조작신호를 입력할 수 있는 터치패널; 키입력부; 마이크로부터 입력된 아날로그 음성신호를 디지털로 변환하여 음성인식알고리즘을 적용할 수 있게 하고, 문자를 음성으로 출력하는 TTS기능을 제공함과 아울러 디지털 음성데이터를 아날로그신호로 변환한 후 증폭하여 스피커를 통해 출력하는 음성처리부; 및 상기 키입력부를 통해 전원이 온되면, 미리 내장된 메인화면을 상기 터치패널에 표시하도록 제어하고, 상기 터치패널이나 상기 키입력부를 통해 사용자가 통역기능을 선택하면 상기 컨텐츠 스토리지로부터 통역을 위한 컨텐츠를 읽어와 상기 터치패널을 통해 제공하고, 학습기능을 선택하면 상기 컨텐츠 스토리지로부터 학습을 위한 컨텐츠를 읽어와 상기 터치패널을 통해 제공하며, 통역기능에서 사용자가 자국어 문장을 선택하면 대응하는 상대어 문장을 찾아 상기 터치패널을 통해 제공하는 제어수단으로 구성된 것을 특징으로 한다.

상기와 같은 목적을 달성하기 위하여 본 발명의 방법은, 통역기능이나 학습기능 혹은 컨텐츠 확장기능 및 MP3기능을 선택하는 기능 선택 단계; 통역기능을 선택하면, 자국어와 상대어를 설정하는 설정 단계; 상황이나 케이스에 맞는 자국어 문장을 다국어 컨텐츠로부터 찾아 표시하는 자국어 표시 단계; 사용자가 자국어 문장을 선택하면, 상기 다국어 컨텐츠에서 해당 상대어를 찾아 상대어로 출력하는 통역 단계; 학습기능을 선택하면, 상기 다국어 컨텐츠를 학습에 편리하도록 표시하여 학습하도록 하는 학습단계; 및 컨텐츠 확장기능을 선택하면, 다운로드방식이나 직접 입력을 통해 상기 다국어 컨텐츠를 추가하는 컨텐츠 확장 단계를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 자세히 설명하기로 한다.

도 1은 본 발명에 따른 다국어 통역 및 학습시스템의 구성을 도시한 블럭도로서, 다국어 통역 및 학습시스템은 소정의 다국어 콘텐츠가 내장되어 다국어 통역 및 학습이 가능한 단말기(110-A,110-B)와, 단말기(110-A)와 단말기(110-B)를 연결하기 위한 유무선 통신망(120)으로 이루어진다. 여기서, 단말기는 휴대용기기와, 노트북 컴퓨터, PDA 등을 의미한다.

도 1을 참조하면, 본 발명에 따른 다국어 통역 및 학습 단말기(110-A,110-B)는 다양한 형태로 구현될 수 있는데, 예컨대 다국어 통역 및 학습 컨텐츠가 내장된 MP3 플레이어나 휴대폰, PDA, 노트북 컴퓨터, 데스크탑 컴퓨터, 전용 단말기기 등으로 구현될 수 있다. 이러한 다국어 통역 및 학습 단말기(110-A,110-B)는 하나의 단말기를 이용하여 서로 번갈아 가면서 사용할 수도 있으나 복수의 단말기를 유무선 통신망(120)으로 연결하여 사용하는 것이 바람직하다.

그리고 유무선 통신망(120)은 케이블을 통한 직접 연결이나 유선 인터넷, 무선 인터넷, CDMA, 블루투스, 무선랜 등 다양한 방식이 가능하다.

본 발명에 따른 다국어 통역 및 학습시스템의 전용 단말기(110)는 도 2에 도시된 바와 같이, 마이크로프로세서(MCU:111), 컨텐츠 스토리지(112), 터치패널(113), 통신인터페이스(114), 키입력부(115), 음성처리부(116), 마이크(117), 스피커(118) 등으로 구성된다.

도 2를 참조하면, 컨텐츠 스토리지(112)는 하드디스크나 이동 가능한 스토리지(SMC, MMC, 스마트카드)등으로서 본 발명에 따라 제작된 다국어 어학 컨텐츠를 저장하고 있고, 터치패널(113)은 상황(에피소드)이나 케이스(유닛)에 맞는 문장과 조작상태를 나타내는 정보를 문자로 표시함과 아울러 터치펜, 음성 등으로 조작신호를 입력할 수 있다. 통신인터페이스(114)는 통신수단에 따라 모뎀이나 RF칩, 블루투스칩, CDMA칩, RS232C 드라이버 등이 될 수 있으며, 상대방의 단말기와 통신망(120)을 통해 연결하기 위한 것이다.

키입력부(115)는 각종 조작을 위한 입력수단으로서 키패드나 마우스, 트랙볼 등으로 구현될 수 있고, 음성처리부(116)는 마이크(117)로부터 입력된 아날로그 음성신호를 디지털로 변환하여 음성인식 알고리즘을 적용할 수 있게 하고, 문자를 음성으로 출력하는 TTS기능을 제공함과 아울러 디지털 음성데이터를 아날로그신호로 변환한 후 증폭하여 스피커(118)를 통해 출력한다. 그리고 도면에는 도시하지 않았으나 헤드셋을 연결하여 사용할 수도 있다.

마이크로프로세서(111)는 키입력부(115)의 조작을 통해 전원이 온되면 미리 내장된 메인화면을 터치패널(113)에 표시하도록 제어함과 아울러 터치패널(113)이나 키입력부(115)를 통해 사용자가 '통역기능'을 선택하면 통역을 위한 화면을 제공하고, '학습기능'이나 'MP3기능'을 선택하면 학습을 위한 화면을 제공한다.

[다국어 통역기능]

도 3은 본 발명에 따른 음성인식, 문자를 이용한 다국어 통역 및 학습 방법의 순서를 도시한 순서도이다.

도 3을 참조하면, 전원이 온되면 초기화 후 메인화면을 터치패널(113)에 표시하고 사용자 입력을 대기한다(S1,S2).

사용자가 통역기능을 선택하면, 이어 자국어와 상대어를 설정하도록 요구하여 자국어와 상대어를 설정한다(S3,S4). 이때 자국어는 사용자가 알고 있는 언어이고, 상대어는 대화할 상대방의 언어를 의미한다.

이어 상황에 맞는 문장을 선택하기 위해 상황(에피소드)과 케이스(유닛)를 찾아 원하는 자국어 문장을 선택한다(S5,S6). 이에 따라 통역 및 학습장치는 선택된 자국어 문장에 대응하는 상대어의 문장을 검색한 후, 상대어의 문장을 문자나 음성 혹은 문자와 음성으로 동시에 출력한다(S7,S8). 이에 따라 상대방은 사용자의 의사를 이해하고 적절한 조치를 취하고, 상대방이 갖고 있는 단말기나 컴퓨터의 인터넷을 통해 답변하거나 의사를 교환한다. 이와 같은 과정을 반복하여 외국어를 모르더라도 지역에 관계없이 자유롭게 의사소통을 할 수 있다.

한편, 기능선택에서 학습기능을 선택하면 후술하는 바와 같은 학습절차를 수행하고, 컨텐츠 추가를 선택하면 컨텐츠를 추가하는 방식을 선택하도록 요구하여 콘텐츠 추가방식을 설정한다(S10~S17). 즉, 콘텐츠 추가방식은 인터넷을 통해 통역및 어학 학습 서비스를 제공하는 웹사이트에 접속하여 다운로드받거나 TTS기능을 통하여 직접 입력하여 컨텐츠를 추가할 수도 있다. 이와 같이 본 발명에 따르면, 필요에 따라 컨텐츠를 추가할 수 있으므로 환경과 상황에 따라 적응적으로 대처할 수 있는 잇점이 있다.

도 4는 본 발명에 따른 컨텐츠의 구성예이며, 도 5는 본 발명에 따른 다국어 통역 화면의 예이다.

도 4를 참조하면, 본 발명에 따른 다국어 컨텐츠는 크게 상황(에피소드)으로 구분되어 있고, 상황은 다수의 케이스(유닛)로 구분되어 있다. 그리고 각 케이스는 케이스에 맞는 다국어 콘텐츠가 분류되어 있는데, 예컨대 한국어 컨텐츠, 영어 컨텐츠, 일본어 컨텐츠, 중국어 컨텐츠 등이 있을 수 있고, 각각의 해당 언어는 문자로 표시하기 위한 문자파일과 음성으로 출력하기 위한 음성파일 형태로 존재한다.

그리고 파일에 억세스하기 편리하도록 각 콘텐츠는 컨텐츠 인덱스를 이용하여 분류할 수 있는데, 예컨대 상황은 XX, 케이스는 YY, 한국어는 K, 영어는 E, 일본어는 J, 중국어는 C라 하고, 문자파일을 01, 음성파일을 02라 하면 "XX-YY-K01", "XX-YY-K02" 등으로 각 문장에 인덱스를 부여하여 검색을 용이하게 할 수도 있다.

도 5를 참조하면, 사용자 A와 사용자 B가 가까이 위치하여 블루투스로 연결되거나 멀리 떨어진 곳에서 위치하여 인터넷을 통해 연결될 경우, 서로 통역하는 화면이 도시되어 있다.

사용자 A의 화면에는 자국어로서 한국어가 설정되어 있고 상대어로서 영어가 설정되어 있으며, 상황이나 케이스에 따라 해당 문장이 중앙에 표시된다. 그리고 사용자 B의 화면에는 자국어로서 영어가 설정되어 있고 상대어로서 한국어가 설정되어 있으며, 상황이나 케이스에 따라 해당 문장이 중앙에 표시된다.

예컨대, 사용자 A가 한국어로된 "안녕하세요"라는 문장을 선택한 후 번역을 입력하면 "안녕하세요"라는 한국어에 대응하는 영어문장을 찾아 해당 문장의 인덱스인 "XX-YY-E01"을 통신망(120)을 통해 사용자 B로 전달하고, 이에 따라 사용자 B의 단말기는 문장 인덱스를 수신받아 컨텐츠에서 해당 문장을 찾아 사용자 B의 화면에 출력한다. 그리고 사용자 B가 사용자 A의 의사표시에 대해 응답할 경우, 동일한 방식으로 사용자 B가 선택한 영어문장에 대응하는 한국어 컨텐츠 인덱스가 사용자 A의 단말기로 통신망을 통해 전달되어 사용자 A의 화면에 해당 문장이 표시된다.

이와 같이 본 발명에 따르면 외국어를 모르더라도 사용자간에 충분히 의사소통이 가능하게 된다. 더욱이, 다국어가 가능하므로 본 발명에 따른 휴대용 단말기나 핸드폰, 일반전화기(인터넷전화기 포함)에 사용 가능하며, 컴퓨터(일반컴퓨터,노트북, PDA 등)설치용 소프트웨어 프로그램이나 삽입식 메모리칩을 하나만 가지면 어느 나라 말로든지 통역할 수 있어 매우 편리하다.

[다국어 학습기능]

한편, 사용자가 다국어 학습기능을 선택한 경우, 다국어 학습 절차는 다음과 같이 수행된다.

도 6은 본 발명에 따른 어학 학습절차를 도시한 전체 순서도이다.

본 발명에 따른 어학 학습을 선택하면, ID를 선택하기 위한 화면이 표시된다(601). 다수의 아이디를 관리할 수 있도록 함으로써 하나의 단말기를 여러 사람이 사용할 수 있고, 각자의 스코어도 아이디별로 관리할 수 있다.

이어 아이디를 선택하여 로그인하면, 메인화면이 나타난다(602). 메인화면에는 학습모드 선택부분과, 스코어 보드부분, 상태표시박스, 종료버튼, 옵션버튼, TTS버튼 등이 표시되어 있다. 여기서, 학습콘텐츠는 예로 회화학습실(EPSODE-I, EPSODE-Ⅱ), 시네마(영화)학습, 에이니메이션학습, 만화학습, TEST 등 학습모드를 선택하기 위한 것이고, 스코어 보드(SCORE BOARD)는 각 해당 학습실내의 에피소드1과 에피소드2,3 등으로 구분되고, 각 에피소드는 다시 단어(WORD), 문장(SENTENCE), 회화(CONVERSATION), 듣고쓰기(LISTEN&WRITE)로 구분되어 해당 스코어가 표시된다. 스코어 보드(SCORE BOARD)는 해당 학습실에서 사용자가 어학학습을 위해 입력(음성회화)하면 원어민의 음성파형과 사용자의 파형을 비교할 수 있도록 표시되고, 아울러 사용자의 발음상태(정확도)가 원어민 대비 어느정도 일치한다는 상태를 스코어로 표시한다. 상태표시박스에는 현재의 학습모드와 스코어 등이 표시된다. 또한 TTS버튼은 문자음성변환(Text To Speech)기술을 이용하여 학습자가 문자를 입력하여 새로운 학습 컨텐츠를 구성할 수 있게 한다.

이와 같은 메인화면에서 학습모드를 선택한다(603). 예로 회화학습실은 일반생활영어로 에피소드1(EPISODE I)과 전문영어는 에피소드2(EPISODE Ⅱ)로 구별하며, 각 에피소드별로 단어, 문장, 회화, 듣고쓰기로 구별되며 스코어 및 파형은 동일하게 표시된다. 각 에피소드는 학습방법은 동일하고, 그 내용이 다른 것이다. 예컨대, 에피소드1(EPISODE I)은 업무(BUSINESS)와 관련된 상황의 컨텐츠들로 이루어지고, 에피소드2(EPISODE Ⅱ)는 생활회화와 관련된 컨텐츠들로 이루어질 수 있으며, 필요에 따라 보다 다양한 에피소드를 부가할 수도 있다. 시네마학습실은 영화나 만화, 에니메이션 등 움직이는 영상을 이용하여 학습하는 학습실로, 사용자가 영화나 에니메이션속의 주인공이 되어 대화을 하면서 어학학습을 할 수 있는 기능을 부여한 것이며, 학습상태는 음성파형 및 스코어가 표시되고, 일정한 스코어에 도달하여야 영화 등이 진행되며, 일정스코어에 미달하면 연습을 더하여야하는 등 학습의 기능과 재미의 기능을 부여한다. 테스트(TEST)는 학습한 내용을 시험하기 위한 것으로 예컨대, 회화에 대한 객관적인 평가시험과 회화에 대한 급수 및 레벨테스트가 가능하여 학교나 학원에서 배운 회화나 듣기평가를 즉시할 수 있으며, TOEIC 방식으로 문제를 내고 답안을 작성하게 한 후 온라인 평가를 할 수 있다(615,616).

학습을 위해 에피소드1이나 에피소드2를 선택하면, 에피소드 주화면이 나타난다(604,605). 에피소드 주화면은 유닛 선택(UNIT SELECT)박스와 상태표시박스, 및 각종 버튼으로 이루어진다. 즉, 전체 어학 학습 컨텐츠는 크게 에피소드(EPISODE)로 구분되고, 각 에피소드(EPISODE)는 다수의 유닛(UNIT)으로 이루어진다. 본 발명의 실시예에서는 에피소드1(EPISODE I)은 업무와 관련된 컨텐츠들이고, 에피소드2(EPISODE Ⅱ)는 생활화화와 관련된 컨텐츠들이며, 각 에피소드(EPISODE)는 수십개의 유닛(UNIT)으로 이루어진다. 이와 같이 선택된 유닛을 학습하는 학습종류는 단어(WORD) 학습, 문장(SENTENCE) 학습, 회화(CONVERSATION) 학습, 듣고쓰기 (LISTEN&WRITE) 학습으로 구분된다.

이어 에피소드 주화면에서, 유닛 및 학습종류를 선택한다(606). 즉, "단어(WORD)" 버튼을 선택하면 해당 유닛의 단어들을 학습할 수 있고(607,608), "문장(SENTENCE)" 버튼을 선택하면 해당 유닛에 사용되는 문장들을 학습할 수 있으며(609,610), "회화(CONVERSATION)" 버튼을 선택하면 해당 유닛의 전체 회화문장을 학습할 수 있다(611,612). 그리고 "듣고쓰기(LISTEN & WRITE)" 버튼을 선택하면, 해당 유닛의 문장들에 사용된 단어들을 빈칸(blank) 채우기 형식으로 학습할 수 있다(613,614).

도 7은 도 6에 도시된 단어 학습과정을 도시한 상세 흐름도이다.

에피소드 주화면에서 임의의 유닛(UNIT)을 선택한 후 "단어(WORD)" 학습을 선택하면, 단어 학습화면이 나타난다(701). 단어 학습화면은 유닛에 적합한 이미지 화면을 표시할 수 있는 이미지박스와, 학습할 영어단어를 표시하는 영어단어박스(SPEAK THIS WORD), 단어목록박스(WORD LIST), 학습할 영어단어의 한글해석을 표시하는 한글해석박스(INTERPRET), 현지인의 표준발음의 스펙트럼과 억양을 표시하는 표준발음 표시박스(NATIVE'S SPECTRUM), 학습자의 발음의 스펙트럼과 억양을 표시하는 학습자발음 표시박스(YOURS SPECTRUM), 상태표시박스로 이루어진다. 상태표시박스에는 단어(WORD), 문장(SENTENCE), 회화(CONVERSATION), 듣고쓰기(LISTEN & WRITE) 선택버튼과, 현재학습 및 이전학습의 스코어를 보여주는 스코어박스, 조작버튼, 레벨설정버튼, 각 단어별 스코어 등이 표시된다. 이때 이전에 학습한 스코어를 클릭하면 그때의 발음을 다시 들려준다.

단어학습을 위해서 학습자는 먼저 레벨(LV)을 설정하는데, 본 발명의 실시예에서 레벨은 1, 2, 3, 4, 5로 이루어진다(702). 각 레벨은 서로 다른 임계치를 가지고 있다. 예컨대, 레벨1은 50%, 레벨2는 60%, 레벨3은 70%, 레벨4는 80%, 레벨5는 90%로 정의되어 있고, 학습자가 레벨3으로 설정하였다면 학습자의 학습결과 스코어가 70% 이상일 경우에만 스코어가 나타나도록 되어 있고, 학습을 반복하여 적어도 3회 이상 70%을 넘길 때 다음 단어를 학습할 수 있도록 되어 있다.

다시 도 7을 참조하면, 학습자는 단어 학습화면에서 레벨 버튼을 클릭하여 레벨을 설정하고, 플레이 버튼(▶)을 클릭한다(703). 플레이 버튼(▶)이 클릭되면, 현재 학습중인 단어의 표준음이 스피커를 통해 출력됨과 동시에 표준 단어에 대한 스펙트럼과 억양이 표준발음 표시박스에 표시된다(704). 이러한 표준음은 해당 네이티브 스피커(Native Speaker) 약 5000명 이상의 발음을 평균하여 표준화한 것이다.

학습자가 표준음을 듣고, 그 단어의 발음을 따라하면서 어학학습이 이루어지고, 이때 학습자의 음성은 마이크를 통해 입력된 후 음성인식수단에 의해 판별되어 평가된다(705,706). 즉, 입력된 음성신호는 음성인식기술에 의해 분석된 후 표준음 데이터(706a)와 일치도가 비교되어 스코어가 부여되고, 학습자 발음의 스펙트럼과 억양이 학습자발음 표시박스에 표시된다.

이어 평가된 학습자의 스코어가 앞서 설정된 레벨의 임계치보다 낮으면 스코어가 나타나지 않으면서 현 단어에 대해 반복 학습하게 하고, 임계치 이상이면 스코어를 표시한 후 카운트한다(707~709). 그리고 현재 단어에 대해 설정된 레벨을 통과한 회수가 소정 회수(예컨대, 3회) 이상이 되면 다음 단어를 학습할 수 있게 한다(710,711). 이와 같이 본 발명에 따르면 설정 레벨을 소정 회수 이상 통과할 경우에만 다음 단어를 학습할 수 있게 하므로 엄격한 학습이 가능하고, 표준발음 표시박스를 통해 표시되는 표준발음과 학습자발음 표시박스를 통해 표시되는 학습자의 발음을 비교하면서 학습하게 되므로 보다 정확한 학습이 가능하다.

도 8은 도 6에 도시된 문장 학습과정을 도시한 상세 흐름도이다.

에피소드(EPISODE) 주화면에서 임의의 유닛(UNIT)을 선택한 후 "문장(SENTENCE)" 학습을 선택하면, 문장 학습화면이 나타난다(801). 문장 학습화면은 유닛에 적합한 이미지 화면을 표시할 수 있는 이미지박스와, 학습할 영어 및 한글 문장을 표시하는 문장박스(SPEAK THIS SENTENCE), 학습할 영어문장들의 목록이 표시되는 문장 리스트 박스(SENTENCE LIST), 현지인의 표준발음의 스펙트럼과 억양을 표시하는 표준발음 표시박스, 학습자의 발음의 스펙트럼과 억양을 표시하는 학습자발음 표시박스, 상태표시박스로 이루어진다. 이때 문장박스에는 문장을 보이게 하거나 보이지 않게 하는 "보이기/숨기기(Show/Hide)" 버튼과, 한글해석을 표시하거나 표시하지 않는 "해석(Interpret)" 버튼이 표시된다. 상태표시박스에는 단어(WORD), 문장(SENTENCE), 회화(CONVERTION), 듣고쓰기(LISTEN&WRITE) 선택버튼과 현재학습 및 이전학습의 스코어를 보여주는 스코어박스, 조작버튼, 레벨설정버튼, 이미 학습한 각 문장별 스코어 등이 표시된다.

문장학습을 위해서 학습자는 먼저 레벨(LV)을 설정하는데, 본 발명의 실시예에서 레벨은 1, 2, 3, 4, 5로 이루어진다(802). 각 레벨은 서로 다른 임계치를 가지고 있다. 예컨대, 레벨1은 50%, 레벨2는 60%, 레벨3은 70%, 레벨4는 80%, 레벨5는 90%로 정의되어 있고, 학습자가 레벨3으로 설정하였다면 학습자의 학습결과 스코어가 70% 이상일 경우에만 스코어가 나타나도록 되어 있고, 학습을 반복하여 적어도 3회 이상 70%을 넘길 때 다음 문장을 학습할 수 있도록 되어 있다.

다시 도 8을 참조하면, 학습자는 문장 학습화면에서 레벨버튼을 클릭하여 레벨을 설정하고, 플레이 버튼(▶)을 클릭한다(803). 플레이 버튼(▶)이 클릭되면, 현재 학습중인 문장의 표준음이 스피커를 통해 출력됨과 동시에 문장의 표준발음에 대한 스펙트럼과 억양이 표준발음 표시박스에 표시된다(804).

학습자가 표준음을 듣고, 그 문장의 발음을 따라하면서 어학학습이 이루어지고, 이때 학습자의 음성은 마이크를 통해 입력된 후 음성인식수단에 의해 판별되어 평가된다(805,806). 즉, 입력된 음성신호는 음성인식기술에 의해 분석된 후 표준음 데이터(806a)와 일치도가 비교되어 스코어가 부여되고, 학습자 발음의 스펙트럼과 억양이 학습자발음 표시박스에 표시된다.

이어 평가된 학습자의 스코어가 앞서 설정된 레벨의 임계치보다 낮으면 스코어가 나타나지 않으면서 현 문장에 대해 반복 학습하게 하고, 임계치 이상이면 스코어를 표시한 후 카운트한다(807~809). 그리고 현재 문장에 대해 설정된 레벨을 통과한 회수가 소정 수(예컨대, 3회) 이상이 되면, 다음 문장을 학습할 수 있게 한다(810,811). 이와 같이 본 발명에 따르면 설정 레벨을 소정 회수 이상 통과할 경우에만 다음 문장을 학습할 수 있게 하므로 엄격한 학습이 가능하고, 표준발음 표시박스를 통해 표시되는 표준발음과 학습자발음 표시박스를 통해 표시되는 학습자의 발음을 비교하면서 학습하게 되므로 보다 정확한 학습이 가능하다.

도 9는 도 6에 도시된 회화 학습과정을 도시한 상세 흐름도이다.

에피소드(EPSODE) 주화면에서 임의의 유닛(UNIT)을 선택한 후 "회화(CONVERSATION)" 학습을 선택하면, 회화 학습화면이 나타난다(901). 회화 학습화면은 유닛(UNIT)에 적합한 이미지 화면을 표시할 수 있는 이미지박스와, 학습할 화자별 회화 문장을 표시하는 문장박스(SPEAK THIS SENTENCE), 화자 선택박스(SELECT SPEAKER), 상태표시박스 등이 표시된다. 이때 문장박스에는 문장을 보이거나 보이지 않게 하는 버튼(Show/Hide)과, 한글해석을 표시하거나 표시하지 않는 기능버튼(Interpret)이 표시되고, 화자 선택박스에는 전체 내용을 듣기 위한 리슨 올(Listen ALL)과 리피트 올(Repeat ALL) 버튼이 있다. 상태표시박스에는 단어(WORD), 문장(SENTENCE), 회화(CONVERSATION), 듣고쓰기(LISTEN & WRITE) 선택버튼과 현재학습 및 이전학습의 스코어를 보여주는 스코어박스, 조작버튼, 레벨설정버튼, 틀린 문장(WRONG SENTENCE)들이 표시된다.

회화학습을 위해서 학습자는 먼저 레벨(LV)을 설정하는데, 본 발명의 실시예에서 레벨은 1, 2, 3, 4, 5로 이루어진다. 각 레벨은 서로 다른 임계치를 가지고 있다. 예컨대, 레벨1은 50%, 레벨2는 60%, 레벨3은 70%, 레벨4는 80%, 레벨5는 90%로 정의되어 있고, 학습자가 레벨3으로 설정하였다면 학습자의 학습결과 스코어가 70% 이상일 경우에만 스코어가 나타나도록 되어 있고, 학습을 반복하여 적어도 3회 이상 70%을 넘길 때 다음 단계를 학습할 수 있게 되어 있다.

다시 도 9를 참조하면, 학습자는 회화 학습화면에서 레벨버튼을 클릭하여 레벨을 설정하고, 다수의 화자중에서 자신이 말할 화자(SPEAKER)를 선택한다(902,903).

이어 플레이 버튼(▶)을 클릭하면, 현재 학습중인 회화 문장의 표준음이 스피커를 통해 출력되는데, 선택된 화자의 차례가 되면 학습자가 말하기를 대기한다(904,905).

학습자가 자신의 역할에 따라 적절한 문장을 발음하면, 학습자의 음성은 마이크를 통해 입력된 후 음성인식수단에 의해 판별되어 평가된다(906,907). 즉, 입력된 음성신호는 음성인식기술에 의해 분석된 후 표준음 데이터(907a)와 일치도가 비교되어 스코어가 부여된다.

이어 평가된 학습자의 스코어가 앞서 설정된 레벨의 임계치보다 낮으면 스코어가 나타나지 않으면서 현 문장이 틀린문장(WRONG SENTENCE)으로 등록되고(908,909), 임계치 이상이면 다음 문장으로 진행한다(910). 하나의 전체 회화가 종료되면 틀린문장들을 학습하기 위한 틀린문장 학습이 안내되고, 이에 따라 문장학습을 한다(911,912). 문장학습방법은 이전과 동일하므로 더 이상의 설명은 생략한다. 한편, 회화 학습화면에서 모두 듣기(LISTEN ALL)를 클릭하면 전체 문장을 듣을 수 있다(913,914).

도 10은 도 6에 도시된 듣고쓰기 학습과정을 도시한 상세 흐름도이다.

에피소드 주화면에서 임의의 유닛(UNIT)을 선택한 후 "듣고쓰기(LISTEN&WRITE)" 학습을 선택하면, 듣고쓰기 학습화면이 나타난다(1001). 이때 듣고쓰기 학습화면은 유닛에 적합한 이미지 화면을 표시할 수 있는 이미지박스와, 학습할 영어 문장을 표시하는 문장박스(QUESTION), 답안 입력박스(ANSWER), 상태표시박스 등이 표시된다. 상태표시박스에는 단어(WORD), 문장(SENTENCE), 회화(CONVERSATION), 듣고쓰기(LISTEN & WRITE) 선택버튼과, 답안입력시 맞고 틀린 것을 표해주는 "O,X" 박스, 각 레벨의 스코어가 표시된다.

이어 난이도를 선택한다(1002). 듣고쓰기 학습에서 레벨(LV)은 난이도를 나타내는 것으로서, 레벨 1(난이도 1)이면 문장에서 하나의 단어가 블랭크로 되어 학습자가 문장을 듣고 1 단어를 쓸 수 있게 하고, 레벨 2(난이도 2)이면 문장에서 두 단어가 블랭크로 되어 학습자가 문장을 듣고 2 단어를 쓰게 한다. 동일한 방식으로, 레벨3(난이도 3)에서는 전체 문장을 듣고 다수의 단어를 블랭크로 하여 해당 단어를 쓰게 하며, 레벨4(난이도 4)에서는 문장을 전체를 블랭크로 하여 듣고 쓰게 한다.

선택된 난이도에 따라 블랭크를 포함하는 문장이 나타나고, 플레이 버튼(▶)을 클릭하면 해당 문장에 대한 표준발음이 출력되고, 이에 따라 듣고 블랭크에 해당하는 단어를 답안 입력박스(ANSWER)에 기입한다(1011~1013).

그리고 학습자가 답안입력박스에 기입한 단어나 문장은 답안 데이터베이스(1014a)와 비교되어 평가되고, 그 결과가 스코어로 나타난다(1014). 학습자의 스코어에 따라 동일한 상황을 반복하게 하거나 보나 낮은 단계로 이동시키거나 보다 상위 단계로 이동시킨다.

이와 같이 본 발명에 따르면 회화뿐만 아니라 듣고쓰기 학습이 가능하여 다양한 방식으로 균형있게 어학능력을 향상시킬 수 있다.

이상에서 설명한 바와 같이, 본 발명에 따르면 외국어를 모르더라도 상황에 따라 자국어를 상대어로 변환해 자동으로 통,번역해줌으로써 서로 의사소통을 가능하게 한다. 그리고 어학학습기능은 다양한 상황에 적합한 현지인의 레퍼런스 데이터를 저장한 후, 학습자가 선택한 역할의 발음을 해당 레퍼런스 데이터와 비교하여 일치도에 따라 스코어화하여 표시하고, 스코어에 따라 적당한 다음 화면을 자동으로 표시해 줌으로써 원어민과 대화하는 느낌을 줌으로 학습능률을 향상시킬 수 있다. 또한 문자음성변환(TTS)기술을 이용하여 학습자가 필요에 따라 스스로 새로운 어학 컨텐츠를 생성하여 학습할 수 있으므로 보다 자유로운 통,번역과 어학학습이 가능하고, 컨텐츠를 확장할 수 있는 잇점이 있다. 아울러 저장된 데이터와 음성인식기능에 의해 음성인식사전의 역할을 동시에 가능하게 한다.

도 1은 본 발명에 따른 다국어 통역 및 학습시스템의 구성을 도시한 블럭도,

도 2는 도 1에 도시된 다국어 통역 및 학습시스템의 단말기 구성 예,

도 3은 본 발명에 따른 음성인식과 문자를 이용한 다국어 통역 및 학습 방법의 순서를 도시한 순서도,

도 4는 본 발명에 따른 컨텐츠의 구성 예,

도 5는 본 발명에 따른 다국어 통역 화면의 예,

도 6은 본 발명에 따른 어학 학습절차를 도시한 전체 순서도,

도 7은 도 6에 도시된 단어 학습과정을 도시한 상세 흐름도,

도 8은 도 6에 도시된 문장 학습과정을 도시한 상세 흐름도,

도 9는 도 6에 도시된 회화 학습과정을 도시한 상세 흐름도,

도 10은 도 6에 도시된 듣고쓰기 학습과정을 도시한 상세 흐름도.

*도면의 주요부분에 대한 부호의 설명

110-A,110-B: 다국어 통역/학습 단말기 120: 통신망

111: MCU 112: 컨텐츠 스토리지

113: 터치패널 114: 통신 인터페이스

Claims (7)

1. 컴퓨터하드 디스크나 이동 가능한 스토리지로 이루어져 다국어 어학 컨텐츠를 저장하고 있는 컨텐츠 스토리지;

   상황이나 케이스에 맞는 문장과 조작상태를 나타내는 정보를 문자로 표시함과 아울러 터치펜, 음성 등으로 조작신호를 입력할 수 있는 터치패널;

   키입력부;

   마이크로부터 입력된 아날로그 음성신호를 디지털로 변환하여 음성인식알고리즘을 적용할 수 있게 하고, 문자를 음성으로 출력하는 TTS기능을 제공함과 아울러 디지털 음성데이터를 아날로그신호로 변환한 후 증폭하여 스피커를 통해 출력하는 음성처리부; 및

   상기 키입력부를 통해 전원이 온되면, 미리 내장된 메인화면을 상기 터치패널에 표시하도록 제어하고, 상기 터치패널이나 상기 키입력부를 통해 사용자가 통역기능을 선택하면 상기 컨텐츠 스토리지로부터 통역을 위한 컨텐츠를 읽어와 상기 터치패널을 통해 제공하고, 학습기능을 선택하면 상기 컨텐츠 스토리지로부터 학습을 위한 컨텐츠를 읽어와 상기 터치패널을 통해 제공하며, 통역기능에서 사용자가 자국어 문장을 선택하면 대응하는 상대어 문장을 찾아 상기 터치패널을 통해 제공하는 제어수단으로 구성된 것을 특징으로 하는 음성인식을 이용한 다국어 통역,변역/학습 장치 및 전자사전.
2. 제1항에 있어서, 상기 어학학습장치는

   통신매체에 따라 모뎀(인터넷망)이나 RF칩, 블루투스칩, CDMA칩, RS232C 드라이버 등으로 이루어져 상대방의 단말기와 통신하기 위한 통신인터페이스를 더 구비하여

   통역기능에서 사용자가 자국어 문장을 선택하면, 상기 제어수단이 대응하는 상대어 문장을 찾아 상기 통신인터페이스룰 통해 상대방측으로 전송하는 것을 특징으로 하는 음성인식을 이용한 다국어 통역,변역/학습 장치 및 전자사전.
3. 제1항 또는 제2항에 있어서, 상기 통역,번역/학습장치는

   MP3플레이어, 휴대폰, 일반전화기(인터넷전화기), PDA, 노트북 컴퓨터, 데스크 탑 컴퓨터, 전용단말기중 어느 하나인 것을 특징으로 하는 문자, 음성인식을 이용한 다국어 통역,변역/학습 장치.
4. 통역기능이나 학습기능 혹은 컨텐츠 확장기능을 선택하는 기능 선택 단계;

   통역기능을 선택하면, 자국어와 상대어를 설정하는 설정 단계;

   상황이나 케이스에 맞는 자국어 문장을 다국어 컨텐츠로부터 찾아 표시하는 자국어 표시 단계;

   사용자가 자국어 문장을 선택하면, 상기 다국어 컨텐츠에서 해당 상대어를 찾아 상대어로 출력하는 통역 단계;

   학습기능을 선택하면, 상기 다국어 컨텐츠를 학습에 편리하도록 표시하여 학습하도록 하는 학습단계; 및

   컨텐츠 확장기능을 선택하면, 다운로드방식이나 직접 입력을 통해 상기 다국어 컨텐츠를 추가하는 컨텐츠 확장 단계를 포함하는 것을 특징으로 하는 음성인식을 이용한 다국어 통역/학습 방법.
5. 제4항에 있어서, 상기 다국어 컨텐츠는 컨텐츠 인덱스에 의해 분류 저장된 것을 특징으로 하는 음성인식을 이용한 다국어 통역/학습 방법.
6. 제5항에 있어서, 상기 통역단계는

   상기 상대어에 대한 인덱스를 통신선로를 통해 상대방에게 전달하여 상대 단말기에서 표시하도록 하는 것을 특징으로 음성인식을 이용한 다국어 통역,번역/학습 방법.
7. 제4항에 있어서, 상기 학습단계는

   학습자가 어학학습을 위한 학습 컨텐츠를 선택하는 단계;

   상기 선택된 학습 컨텐츠의 학습종류를 선택하는 단계;

   선택된 학습종류에 따라 학습화면이 표시되고, 상기 학습화면에서 레벨을 설정하는 단계;

   학습자가 상기 학습화면에서 표준음을 재생하여 듣고 발음하거나 듣고 쓰는 단계;

   상기 학습자의 발음을 음성인식하여 디지털 데이터로 변환하거나 입력된 문자를 디지털 데이터로 변환하여 미리 정의된 표준 데이터와 비교하는 단계;

   상기 비교결과 일치정도를 정확도로서 스코어화하여 표시하는 단계; 및

   상기 정확도에 따라 동일한 내용을 반복하여 학습하거나 다른 내용으로 이동하는 단계를 포함하는 것을 특징으로 하는 음성인식을 이용한 다국어 통역,변역/학습 방법.