KR20020033414A - 통역 장치 및 그 방법 - Google Patents

통역 장치 및 그 방법 Download PDF

Info

Publication number
KR20020033414A
KR20020033414A KR1020010063736A KR20010063736A KR20020033414A KR 20020033414 A KR20020033414 A KR 20020033414A KR 1020010063736 A KR1020010063736 A KR 1020010063736A KR 20010063736 A KR20010063736 A KR 20010063736A KR 20020033414 A KR20020033414 A KR 20020033414A
Authority
KR
South Korea
Prior art keywords
voice
module
language
sentence
translation
Prior art date
Application number
KR1020010063736A
Other languages
English (en)
Other versions
KR100372850B1 (ko
Inventor
지창진
Original Assignee
지창진
창신소프트(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지창진, 창신소프트(주) filed Critical 지창진
Priority to KR10-2001-0063736A priority Critical patent/KR100372850B1/ko
Publication of KR20020033414A publication Critical patent/KR20020033414A/ko
Application granted granted Critical
Publication of KR100372850B1 publication Critical patent/KR100372850B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 제1 언어로 입력되는 음성을 인식하여 제2 언어로 재생 출력시키는 통역 장치 및 그 방법에 관한 것이다. 이를 위하여 본 발명은 외부에서 제1 언어의 음성신호가 입력되면, 음성신호에 따른 음성을 인식하여 해당하는 유사 문장을 결정하는 음성인식 모듈, 음성인식 모듈에서 결정한 유사 문장을 사용자가 지정한 제2 언어로 변환하는 번역모듈, 번역 모듈에서 변환한 제2 언어에 해당하는 문장을 음성으로 재생하여 외부 출력하는 음성재생 모듈, 음성신호와 유사성을 판단하는 기준이 되는 문장들, 음성이나 문장에서 특징 부분을 추출하여 생성되는 음성인식용 신호, 유사 문장을 사용자가 지정한 언어로 변환하는 번역사전을 저장하는 저장모듈, 및 각 모듈들의 동작을 결정하고 시스템의 제반 제어 동작을 수행하는 제어모듈을 포함한다. 따라서, 본 발명은 사용자가 상황에 따라 여러 문장들을 각 도메인에 등록 가능하고, 사용자가 입력한 제1 언어의 음성을 신호 파형이나 문장으로 인식하여 해당 문장을 검출한 후 제2 언어로 번역, 음성 재생할 수 있으며, 개인 휴대통신 단말기 내에 음성 인식, 번역, 음성 재생 기술이 합성되어 내장되어 있으므로 휴대 가능한 통역기로서 기능을 갖도록 하는 효과를 제공하여 준다.

Description

통역 장치 및 그 방법{Apparatus for interpreting and method thereof}
본 발명은 통역 장치 및 그 방법에 관한 것으로, 보다 상세하게는 제1 언어로 입력되는 음성을 인식하여 제2 언어로 재생 출력시키는 통역 장치 및 그 방법에 관한 것이다.
최근 국제화 시대에 적응하기 위해 외국어 교육이 국내외에서 활성화되고 있다. 그러나, 모국어를 제외하고 회화 가능한 수준의 외국어를 배우는 데는 2~3개 정도의 언어로 한계가 있다.
따라서, 외국어 사용이 잦은 사람들을 위해 통역기가 개발되고 있으나, 통역기에 번역이나 음성 재생 기술을 내장하기 위해서는 용량이나 크기에 제한이 발생한다.
이러한 용량이나 크기의 제한성 때문에 휴대 가능한 통역기는 단순히 개인 휴대 통신 단말기(Personal Digital Assistant, PDA)에 사용자가 입력한 문장을 번역하는 수준에 머무르고 있다.
위의 PDA는 한 손으로 휴대할 수 있는 크기에 정보 처리 기능과 무선 통신 기능을 통합한 휴대 단말기이다. PDA는 정보 수집, 저장, 작성, 검색 및 통신기능을 수행할 수 있는 휴대형 기기로서, 작고 가벼운 장치를 이용하여 개인 및 기업 정보를 액세스하기에 가장 적합한 도구이며 다양한 응용들을 펜을 통하여 간편하게 인터페이스 할 수 있다.
PDA는 개인 정보 처리기라도 하며 여러 기능을 갖고 있다. PDA는 개인의 일정 계획 등을 관리하는 비서와 같은 기능, 전자 펜이나 필기 인식 기술을 이용하여 개인 정보를 관리하는 기능, 사전이나 매뉴얼 등을 내장하여 언제나 검색할 수 있는 참고 자료 소스로서의 기능, 전자 우편, 팩스, 무선 호출 및 휴대 전화 메시지를 주고받을 수 있는 통신 기능 등 다양한 기능들을 갖고 있다.
그런데, 종래 PDA는 150M 정도의 번역엔진을 내장해야 하므로 PDA 내의 사용 가능한 메모리의 상당 부분을 차지하므로 PDA의 다른 기능 구동이나 메모리 사용에 한계가 발생한다는 문제점이 있다.
또한, 종래 PDA는 음성 인식 기능이나 음성 재생 기능을 갖추지 못하므로 사용자가 입력하는 문장을 번역하는 정도의 수준을 갖추고 있어 통역기로서의 기능을 제대로 수행하지 못한다는 문제점이 있다.
PDA 외에도 디지털 신호 처리기(Digital Signal Processing, DSP)나 주문형집적회로(application-specific integrated circuit, ASIC)를 이용한 통역기는 용량에 한계가 발생하고, 실제로 구현된 제품이 없다.
또한, 전화나 휴대전화기를 통해 통역사와 연결한 후에 제3자가 통역하는 경우에는 통역사에게 지불되는 비용이나 통화 비용이 소요되므로 거의 활성화되지 않고 있는 실정이다.
본 발명은 위의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 사용자가 입력한 제1 언어의 음성을 인식하여 제2 언어로 번역, 음성 재생할 수 있는 통역 장치 및 그 방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 개인 휴대통신 단말기가 음성 인식, 번역, 음성 재생 기술을 합성하여 휴대 가능한 통역기로서 기능을 갖도록 하는 통역 장치 및 그 방법을 제공하는 것이다.
도 1은 본 발명의 실시예에 따른 통역 장치의 구성이 도시된 구성도이다.
도 2는 본 발명의 실시예에 따른 개인 휴대통신 단말기에 적용되는 통역장치의 구성이 도시된 구성도이다.
도 3은 본 발명의 실시예에 따른 통역 방법의 순서도가 도시된 도면이다.
상기한 바와 같은 목적을 실현하기 위한 본 발명에 따른 통역 장치의 특징은, 외부에서 제1 언어의 음성신호가 입력되면, 상기 음성신호에 따른 음성을 인식하여 해당하는 유사 문장을 결정하는 음성인식 모듈; 상기 음성인식 모듈에서 결정한 유사 문장을 사용자가 지정한 제2 언어로 변환하는 번역모듈; 상기 번역 모듈에서 변환한 제2 언어에 해당하는 문장을 음성으로 재생하여 외부 출력하는 음성재생 모듈; 상기 음성신호와 유사성을 판단하는 기준이 되는 문장들, 음성이나 문장에서 특징 부분을 추출하여 생성되는 음성인식용 신호, 상기 유사 문장을 사용자가 지정한 언어로 변환하는 번역사전을 저장하는 저장모듈; 및 상기 각 모듈들의 동작을 결정하고 시스템의 제반 제어 동작을 수행하는 제어모듈을 포함한다.
또한, 본 발명에 따른 통역 장치의 특징은 사용자가 음성신호를 입력하거나 상황에 따라 도메인을 구분하여 상기 음성인식용 신호와 유사성을 판단하는 기준이 되는 문장들을 추가, 삭제, 수정하는 입력모듈; 및 사용자가 입력한 제1 언어의 문장이나 음성을 제1 언어, 번역된 제2 언어 형태로 화면 출력하는 출력 모듈을 포함
상기 음성인식 모듈은,
외부에서 입력한 음성신호의 파형을 검출하는 음성검출부; 상기 저장모듈 내에 저장되어 있는 문장들을 읽어들여 각 문장에 해당되는 음성인식용 신호 파형을 생성하는 음성인식용 신호 생성부; 및 상기 음성검출부에서 검출한 파형과 음성인식용 신호 생성부에서 생성한 신호 파형을 서로 비교하여 유사 문장을 검출하는 비교부를 포함한다.
상기 음성인식 모듈은,
외부에서 입력한 음성신호를 인식하여 특징 문장을 검출하는 음성검출부; 및 상기 음성검출부에서 검출한 특징 문장과 유사한 문장을 상기 저장모듈 내에서 추출하는 문장비교부를 포함한다.
상기 음성인식용 신호 생성부 또는 문장 비교부는 저장모듈 내에서 사용자가 상황에 맞게 도메인을 지정하고, 상기 도메인 내에 등록되어 있는 문장들만을 읽어들이는 것을 특징으로 한다.
상기 음성인식 모듈은, 제1 언어를 인식하는 기능에 튜닝 동작을 통해 유사발음을 포함하는 제2 언어도 인식할 수 있도록 발음변환부를 포함한다.
상기 번역모듈이 독립적인 서버(Server)로 구현되고, 상기 통역 장치와 서버간에 통신모듈을 설치하여 상호 연동되도록 하는 것을 특징으로 한다.
상기 통역 장치는,
상기 번역모듈의 입력단에 문자열 처리를 위해 유니코드(Unicode)를 멀티 바이트(Multibyte)로 변환하는 제1 코드변환부; 및 상기 번역모듈의 출력단에 멀티 바이트를 유니코드로 변환하는 제2 코드변환부를 설치하여 개인 휴대 통신 단말기에 적용되는 것을 특징으로 한다.
상기 제어모듈은, 번역이 요구되는 시점에서 상기 번역모듈을 호출하고, 번역이 완료되는 시점에서 상기 번역모듈의 종료를 지시하는 것을 특징으로 한다.
상기 번역모듈은 트라이 인덱싱(Trie indexing)을 통해 데이터를 압축하는 것을 특징으로 한다.
한편, 본 발명에 따른 통역 방법의 특징은, 외부에서 제1 언어의 음성신호가 입력되면, 시스템에 기등록된 문장들을 읽어들이는 제1 단계; 상기 음성신호에 따른 음성을 인식하고, 그 인식 결과에 의한 음성을 상기 제1 단계에서 읽어들인 문장들과 비교하여 유사 문장을 검출하는 제2 단계; 상기 제2 단계에서 검출된 제1 언어의 유사 문장을 사용자가 지정한 제2 언어로 번역하는 제3 단계; 및 상기 제3 단계에서 번역된 제2 언어의 문장을 음성 재생하여 외부 출력하는 제4 단계를 포함한다.
또한, 상기 제3 단계는,
상기 제2 단계에서 검출된 문장을 개인 휴대통신 단말기에서 문자열 처리에 적합하도록 유니코드를 멀티 바이트로 변환하는 제1 코드변환 단계; 및 상기 제3 단계에서 변환된 멀티 바이트로 변환된 문자열을 사용자가 지정한 제2 언어로 번역하고 유니코드로 다시 변환하는 제2 코드변환 단계를 포함한다.
상기 제4 단계는, 네트워크를 통해 번역 엔진을 포함하는 서버에 접속하여 상기 제2 언어로 실시간 번역하는 것을 특징으로 한다. 상기 제1 단계는 사용자가 상황에 맞게 도메인을 지정하고, 상기 도메인 내에 등록되어 있는 문장들만을 읽어들이는 것을 특징으로 한다.
상기 제1 단계는 사용자가 문장을 추가, 삭제, 수정 가능토록 하는 것을 특징으로 한다.
상기 제2 단계는,
사용자가 입력한 음성신호의 특징적인 신호 파형을 추출하여 음성을 인식하는 음성인식 단계; 상기 제1 단계에서 읽어들인 모든 문장들마다 음성인식용 신호 파형을 생성하는 신호생성 단계; 및 상기 음성인식 단계에서 추출한 음성신호의 특징적인 신호 파형과 상기 신호생성 단계에서 생성된 음성인식용 신호 파형을 서로 비교하여 유사한 문장을 추출하는 비교 단계를 포함한다.
상기 제2 단계는,
사용자가 입력한 음성신호의 특징적인 문장을 추출하여 음성을 인식하는 음성인식 단계; 및 상기 음성인식 단계에서 추출한 음성신호의 특징적인 문장과 상기 제1 단계에서 읽어들인 문장들을 서로 비교하여 유사한 문장을 추출하는 문장검출단계를 포함한다.
상기 제 4 단계가 번역 기능을 수행할 경우에, 번역이 요구되는 시점에서 번역에 필요한 프로그램을 호출하고, 번역이 완료되는 시점에서 해당 프로그램을 종료하는 것을 특징으로 한다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명하면 다음과 같다.
도 1은 본 발명의 실시예에 따른 통역 장치의 구성이 도시된 구성도이고, 도 2는 본 발명의 실시예에 따른 개인 휴대통신 단말기에 적용되는 통역장치의 구성이 도시된 구성도이다.
도 1 및 도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 장치는, 사용자가 음성신호를 입력하거나 상황에 따라 도메인을 구분하여 문장들을 추가, 삭제, 수정하는 입력모듈(110, 210), 외부에서 제1 언어의 음성신호가 입력시 음성을 인식하여 해당하는 유사 문장을 검출하는 음성인식 모듈(120, 220), 음성인식 모듈(120, 220)에서 결정한 유사 문장을 사용자가 지정한 제2 언어로 변환하는 번역모듈(130, 230), 번역모듈(130, 230)에서 변환한 제2 언어에 해당하는 문장을 음성 재생하여 외부 출력하는 음성재생 모듈(140, 240), 음성인식용 신호 및 음성신호와 유사성을 판단하는 기준이 되는 문장들, 사용자가 지정한 언어로 변환하는 번역사전을 저장하는 저장모듈(150, 250), 각 모듈들의 동작을 결정하고 시스템의 제반 제어 동작을 수행하는 제어모듈(160, 260), 사용자가 입력한 제1 언어의 문장이나 음성을 제1 언어, 번역된 제2 언어 형태로 화면 출력하는 출력 모듈(170, 270)을 포함한다.
입력모듈(110, 210)은 음성신호 또는 사용자가 키보드나 입력 펜 등의 입력장치들을 이용하여 한글이나 영어, 일본어와 같은 문장을 입력하고, 추가 및 삭제, 수정과 같은 편집 기능을 수행할 수 있도록 한다.
음성인식 모듈(120, 220)은 사용자가 자연스럽게 발음한 음성신호를 자동적으로 문자열이나 문장 따위의 미리 정의된 기호로 인식하는 것으로서 음성신호를 음성 파형으로 비교하는 방식과 문장으로 비교하는 방식으로 크게 구분될 수 있다.
도 1에 나타나 있듯이, 음성신호를 음성 파형으로 비교하는 방식에 따르면 음성인식 모듈(120)은, 사용자가 입력한 음성신호에 음성으로 판단되는 특징 파형 부분만을 검출하는 음성검출부(121), 저장모듈(150)에서 사용자가 지정한 도메인에 해당하는 문장들을 읽어들여 각 문장들에 해당하는 음성인식용 신호 파형을 생성하는 음성인식용 신호 생성부(122), 음성검출부(121)에서 검출한 특징 파형 부분과 음성인식용 신호 생성부(122)에서 생성한 각 신호 파형들간에 유사도를 서로 비교하여 유사 문장을 검출하는 비교부(123)를 포함한다.
한편, 도 2에 나타나 있듯이, 음성신호를 문장으로 비교하는 방식에 따르면 음성인식 모듈(220)은, 사용자가 입력한 음성신호에서 음성 인식을 통해 특징 문장을 검출하는 음성검출부(221), 및 저장모듈(250)에서 사용자가 지정한 도메인에 해당하는 문장들을 읽어들여 음성검출부(221)에서 검출한 특징 문장과 유사한 문장을 검출하는 문장비교부(223)를 포함한다.
여기서, 도 2의 음성인식 모듈(220)의 내부 구성은 개인 휴대통신 단말기에 국한되는 것이 아니고, 도 1 및 도 2의 음성인식 모듈(120, 220)의 내부 구성은 사용의 편의에 따라 작업자가 선택하여 적용할 수 있다.
또한, 음성인식 모듈(120, 220)은 위의 구성 외에도 제1 언어를 인식하는 기능에 튜닝 동작을 통해 유사 발음을 포함하는 제2 언어를 인식할 수 있도록 발음변환부(125, 225)를 포함할 수 있다.
즉, 음성인식 모듈(120, 220)이 한국어 음성 인식기로 기능하는 경우에, 일본어 인식기를 추가 설치하는 대신에 한국어 발음이 일본어 발음을 포함한다는 점을 이용하여 발음변환부(125, 225)에서 일본어를 인식하도록 튜닝한다. 따라서, 음성인식 모듈(120, 220)은 1개의 음성 인식기로 한국어와 일본어를 인식할 수 있으므로 용량이 절반 가량 축소될 수 있다.
번역모듈(130, 230)은 음성인식 모듈(120, 220)에서 검출한 제1 언어의 유사 문장이 입력되면 저장모듈(150, 250)에서 번역사전을 읽어들여 사용자가 지정한 제2 언어로 번역한다. 예를 들어, 번역모듈(130, 230)은 한국어, 일본어, 영어를 상호 번역하는 경우에 한일번역기, 일한번역기, 영한 크로스매칭(crossmatching)부와 같은 구성 요소를 내장하고 있다.
한편, 번역모듈(130, 230)은 대략 100M 정도의 번역 사전을 다루기 때문에 통역 장치 내에서 상당한 용량을 차지한다. 그러므로, 본 발명에 따른 실시예의 장치는 번역모듈(130, 230)을 독립적인 서버로 구현하고, 서버와 장치 내에 통신모듈을 각각 설치하여 각각의 통신모듈을 이용해 네트워크에 접속하여 실시간으로 번역기능을 수행할 수도 있다.
위에서 제안한 독립적인 서버 형태의 번역모듈(130, 230)은 특히 개인 휴대통신 단말기에 적용시 전체 용량에서 번역모듈이 차지하는 용량만큼을 크게 감소시킬 수 있는 장점이 있다.
번역모듈(130, 230)은 100M 규모의 번역 사전을 15M 정도로 경량화시키기 위해 트라이 인덱싱 기술을 이용하는데, 편의상 트라이 아이 삼(Trie Index Scantial Access Method, I SAM)이라고 명칭한다.
여기서, 트라이란 데이터베이스의 키(Key)가 유일하고 키를 이루는 문자가 정해져 있는 경우에 사용하는 자료 구조로서 속도가 빨라 대량의 사건 검색 등에 사용된다. 트라이 방식은 키의 문자 하나하나에 값(value)이 있어서 그 값 만큼씩 건너 뛰어서 검색을 하다가 엔드마크(end mark)가 나타나면 검색이 종료되는 방법을 사용한다.
이러한 트라이 방식은 싱글 어레이 트라이와 더블 어레이 트라이 방식이 있는데, 싱글 어레이 트라이 방식은 노드를 문자의 값(value)씩 전진하여 찾아가는 것이다.
그리고, 더블 어레이 트라이 방식은 두 개의 트라이를 프리픽스(prefix)와 서픽스(suffix)에 넣고 중간에 링크 노드를 만들어서 그 링크 노드에 기록 정보를 두는 방식이다. 이때, 서픽스는 다른 단어와 끝부분이 공통되는 경우에 생기며, 이렇게 단어의 끝부분이 공통되는 단어가 없는 경우에 서픽스에 바로 엔드 마크가 나타난다.
위에서 명칭한 트라이 아이 삼은 더블 어레이 트라이 방식에 간접 인덱싱 기술을 통합한 것으로서 번역모듈(130, 230)의 용량을 대폭적으로 줄일 수 있다.
또한, 번역모듈(230)은 도 2에 도시된 바와 같이 개인 휴대 통신 단말기에 적용시, 모든 문자열의 처리를 위해 번역모듈(230)의 입력단에 유니코드를 멀티 바이트로 변환하는 제1 코드변환부(231), 번역모듈(230)의 출력단에 멀티 바이트를 유니코드로 변환하는 제2 코드변환부(233)를 포함한다.
이때, 번역모듈(230)의 입력단 및 출력단에 제1 코드변환부(231)와 제2 코드변환부(232)를 추가하면서 장치 내의 통역 프로그램 전체도 유니코드 기반에서 구동할 수 있도록 컴파일링 하는 것이 바람직하다.
개인 휴대통신 단말기는 윈도우 씨이에 기반한 프로그램으로 번역 기능을 수행한다. 여기서, 윈도우 씨이(Windows CE)는 마이크로소프트 윈도우 운영체계에 기반을 두고 있지만 이동을 하는 등 장소에 제약을 받는 장치에 내장하기 위한 목적으로 설계된 것이다. 정상적인 윈도우 시스템처럼 윈도우 씨이는 32 비트 멀티태스킹, 멀티스레드 운영체계이다.
따라서, 윈도우 씨이는 내부적으로 모든 문자열의 처리를 유니코드, 즉 와이드 문자(wide char)로 한다. 그런데, 일반적인 개인 컴퓨터는 멀티 바이트 문자 소스(multi byte character source)에 기반한 프로그램으로 사전, 규칙, 코드는 물론이고 모든 프로그램을 동작한다.
이러한 멀티 바이트 문자 소스에 기반한 코드를 윈도우 씨이용 유니코드로 변환하는 것은 상당히 많은 시간과 노력이 소요된다. 그러므로, 도 2에 나타나 있듯이, 번역모듈(230)은 제1 코드변환부(231)와 제2 코드 변환부(233)를 번역모듈(230)의 입력단 및 출력단에 각각 설치함으로써 빠르고 적은 노력으로 개인 컴퓨터용 멀티 바이트 문자 소스 체계를 그대로 이용하면서 윈도우 씨이용 코드 변환이 가능해진다.
음성재생 모듈(140, 240)은 제어모듈(160, 260)의 제어에 의해 번역모듈(130, 230)에서 문자열을 입력받아 해당 문자열을 문장(sentence) 단위로 구분하고, 각 문장에 대해서 발음 기호, 형태소 분석 등을 통해 운율을 결정하며, 이렇게 결정된 운율에 따라 실제 데이터를 합성하여 음성 재생한다.
저장모듈(150, 250)은 사용자가 입력한 음성신호의 음성 파형이나 저장모듈(150, 250)에서 읽어들인 문장들의 각 음성인식용 신호 파형들을 저장하는 음성인식 데이터베이스(Database, DB)(151, 251), 사용자가 등록 또는 편집한 문장들을 도메인에 따라 그룹 형태로 저장하는 인식문장 DB(152, 252), 제1 언어를 제2 언어로, 제2 언어를 제1 언어로 번역하기 위해 번역사전을 저장하는 번역 DB(153, 253), 제1 언어와 제2 언어를 음성 재생하기 위한 각 언어의 음성 재생 특징을 저장하는 음성재생 DB(154, 254), 제1 언어와 제2 언어의 크로스매칭을 위한 매칭 DB(155, 255)를 포함하고 있으나 이에 한정되지는 않는다.
제어모듈(160, 260)은 위의 각 모듈들의 동작 시작 및 종료 시점을 결정하고, 통역을 위한 프로그램이 원활히 진행되도록 장치의 제반 제어 동작을 수행한다.
특히, 제어모듈(160, 260)은 개인 휴대통신 단말기에 적용시 동적 할당에 의해 소비되는 메모리의 계속적 증가를 방지하기 위해 번역 프로그램을 다른 통역 프로그램과 분리하여 실행시키고, 번역시마다 번역모듈(130, 230)이 동작되도록 호출한 후 번역이 완료되는 시점에서 번역모듈(130, 230)의 종료를 지시한다.
일반적으로, 개인 컴퓨터는 가비지 수집(garbage collection)이 능동적으로 이루어지지만 개인 휴대통신 단말기는 가비지 수집이 이루어지지 않고 해당 프로그램이 종료되어야만 메모리 삭제를 통해 기억 공간을 확보한다.
여기서, 가비지 수집은 기억 장치 내의 여기 저기에 버려진 기억 장소들을 끌어모아 다시 데이터의 저장에 사용할 수 있도록 한 것으로서, 기억 공간이 부족하게 되었을 때 운영 체제에 의해 자동으로 이루어진다.
개인 휴대통신 단말기의 메모리는 크게 제1 메모리와 제2 메모리로 구분하면, 제1 메모리는 번역 프로그램과 각종 음성인식, 제어와 같은 통역 프로그램이 상주하면서 실행되고, 제2 메모리는 각 프로그램의 호출에 의해 메모리를 동적 할당한다.
따라서, 개인 휴대통신 단말기는 제1 메모리 내에서 통역 프로그램과 대용량의 번역 프로그램을 동시에 구동하게 되면 제2 메모리의 사용량이 계속적으로 증가하게 되어 메모리 한계가 발생할 수 있다. 그러므로, 제어모듈(160, 260)은 통역 프로그램과 번역 프로그램을 분리하여 사용함으로써 메모리 사용량을 줄이게 된다.
예를 들어, 가비지 수집이 능동적으로 이루어지지 않는 개인 휴대통신 단말기에서 1000개의 문장을 통역할 때, 번역 프로그램과 통역 프로그램을 분리하지 않으면 1000개의 문장이 통역이 완료되면 1000개의 동적 메모리가 누적되어야 한다.그런데, 번역 프로그램과 통역 프로그램을 분리하면, 1000개의 문장이 통역되는 동안 번역 프로그램의 실행과 종료에 따라 단 1개의 동적 메모리가 반복적으로 할당되었다가 삭제된다.
출력모듈(170, 270)은 영어, 한국어, 일본어와 같은 사용자가 입력한 언어, 통역 진행 상황, 통역 과정을 마친 출력 언어 등을 화면 출력한다.
상기와 같이 구성되는 본 발명의 실시예에 따른 통역 장치의 동작을 첨부된 도면을 참조하여 설명하면 다음과 같다.
도 3은 본 발명의 실시예에 따른 통역 방법의 순서도가 도시된 도면이다.
도 3에 나타나 있듯이, 사용자는 상황에 따라 도메인을 설정하고(S1), 입력모듈(110, 210)을 이용해 제1 언어로 자연스럽게 발음하여 특정한 문장의 음성신호를 입력한다.(S2)
도메인은 공항, 호텔, 쇼핑센터 등과 같이 사용자가 장소나 시간에 따라 구분하고, 각 상황에 맞게 자주 사용하는 문장을 입력모듈(110, 210)을 통해 등록한다. 이때, 사용자에 의해 등록 및 편집된 문장들은 저장모듈(150, 250)의 인식문장 DB(152, 252)에 저장된다.
이렇게, 사용자는 입력모듈(110, 210)을 통해 새로운 문장의 추가, 기등록된 문장의 수정이나 삭제가 가능하므로 사용 범위나 용량에 제한을 받지 않는다.
이때, S1 단계는 처리 속도의 향상을 위해 사용자가 도메인을 설정하고 있으나 처리 속도가 일정 속도 이상으로 보장되는 경우에는 사용자가 도메인을 별도로 설정하지 않아도 된다.
위에서 음성신호가 입력되면, 제어모듈(160, 260)은 저장모듈(150, 250)의 인식문장 DB(152, 252)에서 사용자가 설정한 도메인에 해당하는 모든 문장들을 음성인식 모듈(120, 220)로 읽어들인다.(S3) 그리고, 도 1에 도시된 바와 같이 음성인식 모듈(120)은 음성검출부(121) 및 음성인식용 신호 생성부(122)를 통해 사용자가 입력한 음성신호와 인식문장 DB(152)에서 읽어들인 각 문장들에서 특징 부분을 추출하여 해당하는 음성 파형을 검출한다.(S4)
그 후, 음성인식 모듈(120)의 비교부(123)는 인식문장 DB(152)에서 읽어들인 문장들과 음성신호에서 검출한 파형을 서로 비교하여 유사 문장을 추출한다.(S5)
이때, S4 단계에서 음성인식 모듈(220)은 도 2에 도시된 바와 같이 음성검출부(221)에서 사용자가 입력한 음성신호에서 특징 문장을 추출한 후, 이렇게 추출된 특징 문장을 문장비교부(223)가 인식문장 DB(252)에서 읽어들인 각 문장들과 비교하여 유사 문장을 검출할 수도 있다.
위에서, 음성인식 모듈(120, 220)을 통해 사용자가 입력한 음성신호에 해당하는 유사 문장이 검출되면 유사 문장은 번역모듈(130, 230)에 입력되고, 번역모듈(130, 230)은 제1 언어로 입력된 유사 문장을 사용자가 지정한 제2 언어로 번역한다.(S6)
여기서, 개인 휴대통신 단말기의 경우에, 도 2에 나타나 있듯이 음성인식 모듈(220)을 통해 입력되는 유사 문장은 제1 코드변환부(231)를 거치면서 유니코드 형태의 문자열이 멀티 바이트로 변환된 후 번역모듈(230)에 입력된다. 그리고, 번역 모듈(230)이 멀티 바이트 형태의 문자열 번역이 완료되면 이를 제2코드변환부(233)에 전달하고, 제2 코드변환부(233)는 멀티 바이트를 유니코드로 변환한다.
한편, 번역모듈(130, 230)이 독립적인 서버로 구현되는 경우에, 제어모듈(160, 260)은 장치 내의 통신 모듈을 이용해 네트워크에 접속하여 서버와 통신하면서 실시간 번역 기능이 수행되도록 한다.
번역모듈(130, 230)에서 번역이 완료된 제2 언어의 문장들은 음성재생 모듈(140, 240)에 전달되고, 음성재생 모듈(140, 240)은 음성재생 DB(154, 254)와 연동하여 문장들의 발음 기호나 형태소 분석을 통해 운율이 결정되면 실제 데이터 합성을 통해 제2 언어로 음성 재생하여 외부 출력한다.(S7)
이와 같이, 본 발명에 따른 실시예는 음성 인식 및 번역, 음성 재생 기술이 통합되어 사용자가 입력한 제1 언어의 음성을 통역하여 바로 제2 언어로 음성 재생 출력할 수 있다. 특히, 본 발명에 따른 실시예는 PDA나, 휴대전화기, 포켓용 개인 컴퓨터와 같은 개인 휴대통신 단말기에 적용되어 장소나 시간에 구애받지 않고 사용자에게 신속하고 정확한 통역 서비스를 제공할 수 있다.
상기 도면과 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 의한 통역 장치 및 그 방법은 사용자가 상황에 따라 여러 문장들을 각 도메인에 등록 가능하고, 사용자가 입력한 제1 언어의 음성을 신호 파형이나 문장으로 인식하여 해당 문장을 검출한 후 제2 언어로 번역, 음성 재생할 수 있는 효과가 있다.
또한, 본 발명에 의한 통역 장치 및 그 방법은 개인 휴대통신 단말기 내에 음성 인식, 번역, 음성 재생 기술이 합성되어 내장되어 있으므로 휴대 가능한 통역기로서 기능을 갖도록 하는 효과가 있다.

Claims (18)

  1. 외부에서 제1 언어의 음성신호가 입력되면, 상기 음성신호에 따른 음성을 인식하여 해당하는 유사 문장을 결정하는 음성인식 모듈;
    상기 음성인식 모듈에서 결정한 유사 문장을 사용자가 지정한 제2 언어로 변환하는 번역모듈;
    상기 번역 모듈에서 변환한 제2 언어에 해당하는 문장을 음성으로 재생하여 외부 출력하는 음성재생 모듈;
    상기 음성신호와 유사성을 판단하는 기준이 되는 문장들, 음성이나 문장에서 특징 부분을 추출하여 생성되는 음성인식용 신호, 상기 유사 문장을 사용자가 지정한 언어로 변환하는 번역사전을 저장하는 저장모듈; 및
    상기 각 모듈들의 동작을 결정하고 시스템의 제반 제어 동작을 수행하는 제어모듈
    을 포함하는 통역 장치.
  2. 제 1 항에 있어서,
    사용자가 음성신호를 입력하거나 상황에 따라 도메인을 구분하여 상기 음성인식용 신호와 유사성을 판단하는 기준이 되는 문장들을 추가, 삭제, 수정하는 입력모듈; 및
    사용자가 입력한 제1 언어의 문장이나 음성을 제1 언어, 번역된 제2 언어 형태로 화면 출력하는 출력 모듈
    을 포함하는 통역 장치.
  3. 제 1 항에 있어서,
    상기 음성인식 모듈은,
    외부에서 입력한 음성신호의 파형을 검출하는 음성검출부;
    상기 저장모듈 내에 저장되어 있는 문장들을 읽어들여 각 문장에 해당되는 음성인식용 신호 파형을 생성하는 음성인식용 신호 생성부; 및
    상기 음성검출부에서 검출한 파형과 음성인식용 신호 생성부에서 생성한 신호 파형을 서로 비교하여 유사 문장을 검출하는 비교부
    를 포함하는 통역 장치.
  4. 제 1 항에 있어서,
    상기 음성인식 모듈은,
    외부에서 입력한 음성신호를 인식하여 특징 문장을 검출하는 음성검출부; 및
    상기 음성검출부에서 검출한 특징 문장과 유사한 문장을 상기 저장모듈 내에서 추출하는 문장비교부
    를 포함하는 통역 장치.
  5. 제 3 항 또는 제 4 항에 있어서,
    상기 음성인식용 신호 생성부 또는 문장 비교부는 저장모듈 내에서 사용자가 상황에 맞게 도메인을 지정하고, 상기 도메인 내에 등록되어 있는 문장들만을 읽어들이는 것을 특징으로 하는 통역 장치.
  6. 제 1 항에 있어서,
    상기 음성인식 모듈은,
    제1 언어를 인식하는 기능에 튜닝 동작을 통해 유사 발음을 포함하는 제2 언어도 인식할 수 있도록 발음변환부를 포함하는 통역 장치.
  7. 제 1 항에 있어서,
    상기 번역모듈이 독립적인 서버(Server)로 구현되고, 상기 통역 장치와 서버간에 통신모듈을 설치하여 상호 연동되도록 하는 것을 특징으로 하는 통역 장치.
  8. 제 1 항에 있어서,
    상기 통역 장치는,
    상기 번역모듈의 입력단에 문자열 처리를 위해 유니코드(Unicode)를 멀티 바이트(Multibyte)로 변환하는 제1 코드변환부; 및
    상기 번역모듈의 출력단에 멀티 바이트를 유니코드로 변환하는 제2 코드변환부를 설치하여 개인 휴대 통신 단말기에 적용되는 것을 특징으로 하는 통역 장치.
  9. 제 1 항 또는 제 8 항에 있어서,
    상기 제어모듈은,
    번역이 요구되는 시점에서 상기 번역모듈을 호출하고, 번역이 완료되는 시점에서 상기 번역모듈의 종료를 지시하는 것을 특징으로 하는 통역 장치.
  10. 제 1 항에 있어서,
    상기 번역모듈은 트라이 인덱싱(Trie indexing)을 통해 데이터를 압축하는 것을 특징으로 하는 통역 장치.
  11. 외부에서 제1 언어의 음성신호가 입력되면, 시스템에 기등록된 문장들을 읽어들이는 제1 단계;
    상기 음성신호에 따른 음성을 인식하고, 그 인식 결과에 의한 음성을 상기 제1 단계에서 읽어들인 문장들과 비교하여 유사 문장을 검출하는 제2 단계;
    상기 제2 단계에서 검출된 제1 언어의 유사 문장을 사용자가 지정한 제2 언어로 번역하는 제 3 단계; 및
    상기 제3 단계에서 번역된 제2 언어의 문장을 음성 재생하여 외부 출력하는 제4 단계
    를 포함하는 통역 방법.
  12. 제 11 항에 있어서,
    상기 제3 단계는,
    상기 제2 단계에서 검출된 문장을 개인 휴대통신 단말기에서 문자열 처리에 적합하도록 유니코드를 멀티 바이트로 변환하는 제1 코드변환 단계; 및
    상기 단계에서 변환된 멀티 바이트로 변환된 문자열을 사용자가 지정한 제2 언어로 번역하고 유니코드로 다시 변환하는 제2 코드변환 단계;
    를 포함하는 통역 방법.
  13. 제 11 항에 있어서,
    상기 제3 단계는,
    네트워크를 통해 번역 엔진을 포함하는 서버에 접속하여 상기 제2 언어로 실시간 번역하는 것을 특징으로 하는 통역 방법.
  14. 제 11 항에 있어서,
    상기 제1 단계는 사용자에 의해 상황에 맞게 도메인이 지정되고, 상기 도메인 내에 등록되어 있는 문장들만을 읽어들이는 것을 특징으로 하는 통역 방법.
  15. 제 11 항에 있어서,
    상기 제1 단계는 사용자에 의해 문장이 추가, 삭제 수정이 되는 것을 특징으로 하는 통역 방법.
  16. 제 11 항에 있어서,
    상기 제2 단계는,
    사용자로부터 입력받은 음성신호의 특징적인 신호 파형을 추출하여 음성을 인식하는 음성인식 단계;
    상기 제1 단계에서 읽어들인 모든 문장들마다 음성인식용 신호 파형을 생성하는 신호생성 단계; 및
    상기 음성인식 단계에서 추출한 음성신호의 특징적인 신호 파형과 상기 신호생성 단계에서 생성된 음성인식용 신호 파형을 서로 비교하여 유사한 문장을 추출하는 비교 단계
    를 포함하는 통역 방법.
  17. 제 11 항에 있어서,
    상기 제2 단계는,
    사용자로부터 입력받은 음성신호의 특징적인 문장을 추출하여 음성을 인식하는 음성인식 단계; 및
    상기 음성인식 단계에서 추출한 음성신호의 특징적인 문장과 상기 제1 단계에서 읽어들인 문장들을 서로 비교하여 유사한 문장을 추출하는 문장검출 단계
    를 포함하는 통역 방법.
  18. 제 11 항에 있어서,
    상기 제3 단계가 번역 기능을 수행할 경우에, 번역이 요구되는 시점에서 번역에 필요한 프로그램을 호출하고, 번역이 완료되는 시점에서 해당 프로그램을 종료하는 것을 특징으로 하는 통역 방법.
KR10-2001-0063736A 2001-10-16 2001-10-16 통역 장치 및 그 방법 KR100372850B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0063736A KR100372850B1 (ko) 2001-10-16 2001-10-16 통역 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0063736A KR100372850B1 (ko) 2001-10-16 2001-10-16 통역 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20020033414A true KR20020033414A (ko) 2002-05-06
KR100372850B1 KR100372850B1 (ko) 2003-02-19

Family

ID=19715164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0063736A KR100372850B1 (ko) 2001-10-16 2001-10-16 통역 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100372850B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020024045A (ko) * 2002-01-22 2002-03-29 배성윤 셀룰러폰을 이용한 외국어 회화학습과 통역지원 시스템
KR20040015638A (ko) * 2002-08-13 2004-02-19 엘지전자 주식회사 외국어 자동 통역 전화기
KR101373053B1 (ko) * 2010-07-06 2014-03-11 한국전자통신연구원 문장 번역 장치 및 그 방법
WO2015069020A1 (ko) * 2013-11-06 2015-05-14 김경철 코드변환을 이용한 번역 시스템 및 그 방법
KR20160147950A (ko) * 2014-04-29 2016-12-23 구글 인코포레이티드 분산 광학 문자 인식 및 분산 기계 언어번역을 위한 기법들
KR20180028980A (ko) * 2016-09-09 2018-03-19 한국전자통신연구원 실시간 통역단위문 추출에 기반한 동시통역 장치 및 방법
KR101854714B1 (ko) * 2017-12-28 2018-05-08 주식회사 트위그팜 번역 문서 관리 시스템 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101517975B1 (ko) * 2013-11-29 2015-05-06 유한회사 청텍 동시 통/번역 기능을 가지는 이어폰 장치
KR101619133B1 (ko) * 2014-12-22 2016-05-10 해보라 주식회사 통역용 이어셋

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980076309A (ko) * 1997-04-09 1998-11-16 유영욱 음성인식 방법 및 그 장치
KR19990037776A (ko) * 1999-01-19 1999-05-25 고정현 음성인식자동번역및통역장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020024045A (ko) * 2002-01-22 2002-03-29 배성윤 셀룰러폰을 이용한 외국어 회화학습과 통역지원 시스템
KR20040015638A (ko) * 2002-08-13 2004-02-19 엘지전자 주식회사 외국어 자동 통역 전화기
KR101373053B1 (ko) * 2010-07-06 2014-03-11 한국전자통신연구원 문장 번역 장치 및 그 방법
WO2015069020A1 (ko) * 2013-11-06 2015-05-14 김경철 코드변환을 이용한 번역 시스템 및 그 방법
KR20160147950A (ko) * 2014-04-29 2016-12-23 구글 인코포레이티드 분산 광학 문자 인식 및 분산 기계 언어번역을 위한 기법들
KR20180028980A (ko) * 2016-09-09 2018-03-19 한국전자통신연구원 실시간 통역단위문 추출에 기반한 동시통역 장치 및 방법
KR101854714B1 (ko) * 2017-12-28 2018-05-08 주식회사 트위그팜 번역 문서 관리 시스템 및 방법

Also Published As

Publication number Publication date
KR100372850B1 (ko) 2003-02-19

Similar Documents

Publication Publication Date Title
JP4058071B2 (ja) 用例翻訳装置、用例翻訳方法および用例翻訳プログラム
KR101359715B1 (ko) 모바일 음성 웹 제공 방법 및 장치
CN101334774B (zh) 一种字符输入的方法和输入法系统
US8290775B2 (en) Pronunciation correction of text-to-speech systems between different spoken languages
CN102549652B (zh) 信息检索装置
JP3272288B2 (ja) 機械翻訳装置および機械翻訳方法
US7496498B2 (en) Front-end architecture for a multi-lingual text-to-speech system
CN1029170C (zh) 语言翻译系统
US7742922B2 (en) Speech interface for search engines
CN101923858B (zh) 一种实时同步互译语音终端
CN101415259A (zh) 嵌入式设备上基于双语语音查询的信息检索系统及方法
US20080162125A1 (en) Method and apparatus for language independent voice indexing and searching
CN101681365A (zh) 用于分布式语音搜索的方法和装置
KR20080068844A (ko) 텍스트 메타데이터를 갖는 음성문서의 인덱싱 및 검색방법, 컴퓨터 판독가능 매체
JP4740837B2 (ja) 音声認識における統計的言語モデリング方法、システム及び記録媒体
KR20080069990A (ko) 음성 세그먼트 색인 및 검색 방법과 컴퓨터 실행 가능명령어를 갖는 컴퓨터 판독 가능 매체
CN111178076B (zh) 命名实体识别与链接方法、装置、设备及可读存储介质
CN109087645B (zh) 一种解码网络生成方法、装置、设备及可读存储介质
JP3639776B2 (ja) 音声認識用辞書作成装置および音声認識用辞書作成方法、音声認識装置、携帯端末器、並びに、プログラム記録媒体
KR100372850B1 (ko) 통역 장치 및 그 방법
CN1455386A (zh) 一种嵌入式语音合成方法及系统
US7979278B2 (en) Speech recognition system and speech file recording system
KR20060100646A (ko) 영상물의 특정 위치를 검색하는 방법 및 영상 검색 시스템
US7197494B2 (en) Method and architecture for consolidated database search for input recognition systems
JP2012093465A (ja) 抽出装置、抽出方法、プログラム、及びプログラムを配信する情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
G15R Request for early opening
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130129

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20140120

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20150206

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20160211

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20170206

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20180206

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20190129

Year of fee payment: 17

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 18