KR101412657B1 - 두 대 이상의 통역 단말기간 상호 통신을 이용한 통역 방법 및 장치 - Google Patents

Abstract

본 발명은 두 대 이상의 휴대형 자동 통역 단말기간 상호 통신을 이용한 자동 통역 성능 향상 방법 및 그 장치에 관한 것이다. 본 발명은 자동 통역기를 이용해 통역이 이루어지는 상황에서 각 개인이 소지하고 있는 휴대형 자동 통역 단말기 상호간에 통신을 통하여 자동 통역 성능 향상에 도움을 줄 수 있는 정보를 교환함으로써 자동 통역 성능을 높일 수 있도록 하는 것을 특징으로 한다. 이에 따라, 본 발명은 상대방 휴대형 자동 통역 단말기로부터 자동 통역 성능 향상에 도움이 될 수 있는 사용자 언어 정보, 통역 대상 영역 정보, 잡음 신호 정보, 통역 결과 문장 등을 전달받아 이를 자동 통역 단말기의 환경 설정, 음성 인식, 기계 번역, 음성 합성 과정에 활용하여 자동 통역 성능을 높일 수 있도록 한다.

Description

두 대 이상의 통역 단말기간 상호 통신을 이용한 통역 방법 및 장치{METHOD AND APPARATUS FOR IMPROVING AUTOMATIC INTERPRETATION FUNCTION BY USE OF MUTUAL COMMUNICATION BETWEEN PORTABLE INTERPRETATION TERMINALS}

본 발명은 통역 단말기를 이용한 통역 방법에 관한 것으로, 특히 사용자 정보를 전달받아 여기에 포함되어 있는 사용자 언어 정보 및 통역 가능 언어 정보를 인식함으로써 통역 대상 언어를 자동 설정하여 자동 통역을 원활하게 수행할 수 있고, 통역 대상 영역 정보를 전달받아 사용자와 상대방간의 통역 대상 영역을 자동으로 동기화하여 사용자의 설정 없이도 해당 영역에 맞는 자동 통역이 이루어질 수 있도록 하며, 또한 잡음신호 정보 전달을 통한 음성 인식 성능 향상과 번역 결과 문장 전달을 통한 음성 언어 이해 과정을 거쳐 음성 인식 및 번역 성능을 향상시킬 수 있도록 하는 두 대 이상의 통역 단말기간 상호 통신을 이용한 통역 방법 및 그 장치에 관한 것이다.

종래에는 자동 통역이 주로 서버 및 워크스테이션 또는 PC에서 수행되어 왔다. 이는 자동 통역기술이 음성 인식, 기계 번역, 음성 합성의 세 가지 세부 기술로 이루어지는데 이들 기술 모두가 많은 계산량과 저장 장치를 필요로 하였기 때문이다. 그러나 스마트폰, PDA 등의 모바일 기기의 성능 향상이 이루어지고 이들이 자동 통역을 수행하기에 충분한 메모리를 가질 수 있게 되면서 자동 통역 기술을 휴대형 모바일 기기에 탑재하려는 시도가 다양하게 이루어지고 있다. 휴대형 모바일 기기에 자동 통역 기술이 탑재될 경우 사용자가 언제 어디서나 자동 통역 기능을 사용할 수 있게 되어 사용자의 편리성이 매우 높아진다는 장점이 있다.

그런데 종래의 휴대형 자동 통역 단말기를 이용한 자동 통역 기술은 자동 통역 결과를 음성 합성 또는 화면 디스플레이를 통해 통역 상대방에게만 전달할 뿐, 상대방이 소지하고 있는 휴대형 자동 통역 단말기와는 어떠한 정보도 교환하지 않음으로써 자동 통역 성능 향상에 도움을 줄 수 있는 여러 유용한 정보를 활용할 수 없게 된다는 문제를 지니고 있다.

예를 들어 상대방이 어떤 언어를 사용하는 지에 대한 정보가 없는 경우 사용자가 어떠한 언어를 대상으로 자동 통역을 진행해야 할지 알 수 없다는 문제가 있다.

또한 자동 통역기의 성능에 따라서는 한번에 전체 영역을 대상으로 통역하는 것이 아니라 통역 대상 영역(식당, 쇼핑, 의료, 교통 등)을 미리 설정하고 이에 따라 범위를 제한하여 통역해야 하는 경우가 있을 수 있는데 사용자와 상대방 간에 이러한 정보가 일치되지 않은 상황에서는 상대방이 사용자에 맞추어 일일이 이를 수정해야 하는 불편함이 있다.

자동 통역은 사람과 사람간의 대화이므로 자동 통역 과정에서 음성 언어 이해 과정을 통해 대화를 이해하고 이와 관련된 정보를 제공하면 음성 인식 및 번역 과정에 많은 도움을 줄 수 있다. 예를 들어 사용자가 이름을 묻고 있다면 다음 발화에서는 상대방이 이름을 대답할 것이 예상되므로 다음 음성 인식 과정에서 이름에 해당되는 정보에 가중치를 두거나 별도의 인명 사전을 검색하는 등 해당 정보가 제공되지 않는 경우와 비교할 때 효율적으로 대처할 수 있으며 번역 과정에서도 해당 정보는 이름의 경우 음역(Transliteration)을 하거나 또는 중의성이 있을 경우 이를 효율적으로 해소하는 데에 활용할 수 있는 보조 정보가 된다. 그런데 종래의 기술에서는 관련된 정보를 교환하지 않음으로 이러한 정보를 활용할 수 없다는 문제가 있다.

그리고 종래의 음성 인식 기술은 잡음에 매우 취약하여 잡음이 음성 신호와 함께 입력될 경우 음성 인식 성능이 매우 낮아진다는 문제가 있는데 휴대형 모바일 기기에서 자동 통역이 이루어지게 되면 지하철역, 쇼핑센터, 사람이 붐비는 식당 등 다양한 소음원에 노출된 곳에서 자동통역기가 사용될 것이 예상되므로 잡음으로 인한 음성 인식 성능 저하 문제에 필연적으로 노출될 것이 예상되는데 종래의 기술로는 이를 해소하기 어렵다.

또한 조용한 경우와 이에 대비하여 소음이 심한 경우와 같이 상황에 따라 합성음의 크기를 다르게 조절할 필요가 있는데 종래의 기술로는 사용자가 수작업으로 조작하지 않고서는 이에 대처할 수 없다는 문제가 있다.

따라서, 두 대 이상의 휴대형 자동 통역 단말기간 통신을 통하여 자동 통역에 활용할 수 있는 정보를 교환함으로써 자동 통역 성능을 향상시키고자 한다.

또한, 본 발명은 자동 통역 과정에서 사용자 언어 정보를 제공받아 통역 대상 언어를 자동 설정하고, 통역 대상 영역 정보를 전달받아 통역 대상 영역을 동기화 시키며, 전달받은 잡음 신호 정보를 이용해 음성 인식 성능을 향상시키고 합성음의 크기를 자동으로 설정하며 통역 결과 문장을 제공받아 이를 분석하고 이해하는 과정을 거쳐 추출한 대화 정보를 음성 인식 및 번역 과정에 활용하도록 한다.

상술한 본 발명은 두 대 이상의 통역 단말기간 상호 통신을 이용한 통역 장치로서, 통역 단말기간 통역을 위해 필요한 데이터의 송/수신을 수행하는 통신부와, 사용자의 음성 입력을 음성 인식하는 음성인식부와, 상기 음성인식부를 통해 음성 인식된 음성을 통역 요청된 언어로 번역하는 번역부와, 상기 번역부를 통해 번역된 문장을 음성으로 합성하여 출력시키는 음성합성부와, 상기 통역 단말기를 이용한 통역 수행 요청이 있는 경우, 상기 통신부를 통해 상대방 통역 단말기와 통역 대상 언어를 설정하고, 상기 사용자로부터 입력되는 음성을 상기 언어로 번역하여 음성으로 출력시키는 제어부를 포함한다.

또한, 상기 통신부는, 근거리 통신망, 이동통신망 또는 무선 통신망을 통해 상대방 통역 단말기와 통신을 수행하는 것을 특징으로 한다.

또한, 상기 근거리 통신망은, 블루투스 또는 WiFi 인 것을 특징으로 한다.

또한, 상기 제어부는, 상기 통역 요청 시 통역 프로그램을 실행하여 상대방 통역 단말기로 연결을 요청하고, 상기 상대방 통역 단말기의 수락이 있는 경우, 상기 통신부를 통해 상기 상대방 통역 단말기와 통신 채널을 설정하여 상기 통역에 필요되는 정보를 송/수신하는 것을 특징으로 한다.

또한, 상기 제어부는, 상기 상대방 통역 단말기와의 통역 수행이 종료되는 경우, 상기 통신 채널의 연결을 해제하는 것을 특징으로 한다.

또한, 상기 제어부는, 상기 상대방 통역 단말기와 통신 채널이 설정되는 경우, 통역을 수행할 사용자 언어 정보 및 통역 가능 언어 정보를 교환한 후 통역 대상 언어를 설정하는 것을 특징으로 한다.

또한, 상기 제어부는, 상기 상대방 통역 단말기와 통역이 가능한 언어가 존재하지 않는 경우, 통역 불가능 메시지를 사용자에게 표시하는 것을 특징으로 한다.

또한, 상기 제어부는, 상기 상대방 통역 단말기와 통역이 가능한 언어가 존재하지 않는 경우, 상기 통신 채널의 연결을 해제한 후, 통역 프로그램을 종료하는 것을 특징으로 한다.

또한, 상기 제어부는, 상기 상대방 통역 단말기와 통역이 가능한 언어가 존재하는 경우, 상기 상대방 통역 단말기로 통역 대상 영역 정보를 전송하여 통역 대상 영역을 동기화시키는 것을 특징으로 한다.

또한, 상기 통역 대상 영역 정보는, 상기 통역이 수행되는 장소 또는 상황 정보인 것을 특징으로 한다.

또한, 상기 제어부는, 상기 음성 인식 시, 상대방 통역 단말기로부터 잡음 신호를 전달받아 상기 사용자의 통역 단말기의 잡음 신호를 포함한 음성 신호와 동기화 시킨 후, 잡음 신호를 제거하고 음성신호만을 분리시키는 것을 특징으로 한다.

또한, 상기 제어부는, 상기 전달받은 잡음 신호와 상기 사용자의 음성신호로부터 신호대잡음비(SNR)를 계산하고, 상기 신호대잡음비를 참조하여 상기 음성 합성되어 출력되는 음성의 크기를 조절하는 것을 특징으로 한다.

또한, 상기 제어부는, 상기 상대방 통역 단말기로부터 상기 통역 언어로 번역된 문장을 수신받는 경우, 상기 번역된 문장으로부터 음성 언어 이해 과정을 거쳐 대화 정보를 추출하고, 상기 추출된 대화 정보를 이용하여 상기 사용자의 다음 음성 인식을 수행하는 것을 특징으로 한다.

또한, 본 발명은 두 대 이상의 통역 단말기간 통역을 수행하는 방법으로서, 통역 요청에 따라 상기 통역 단말기간 통신 채널을 설정하는 단계와, 상기 통신 채널을 설정하는 경우, 상기 통역 단말기간 통역 대상 언어와 통역 대상 영역 정보를 교환하는 단계와, 상기 정보의 교환을 통해 상기 통역을 수행할 통역 대상 언어를 설정하고, 하나의 통역 단말기에서 사용자의 음성을 입력받는 단계와, 상기 음성을 인식하여 상기 음성을 상기 통역 대상 언어로 번역하는 단계와, 상기 번역된 문장을 음성 합성하여 출력시키는 단계를 포함한다.

또한, 상기 음성 합성하여 출력시키는 단계이후, 상기 통역 대상 언어로 번역된 문장을 상대방 통역 단말기로 전송하는 단계를 더 포함하는 것을 특징으로 한다.

또한, 상기 통신 채널은, 근거리 통신망, 이동통신망 또는 무선 통신망을 통해 상기 통역 단말기간 설정되는 것을 특징으로 한다.

또한, 상기 음성 인식 시, 상대방 통역 단말기로부터 잡음 신호를 전달받아 상기 사용자의 통역 단말기의 잡음 신호를 포함한 음성 신호와 동기화 시킨 후, 잡음 신호를 제거하고 음성신호만을 분리시키는 것을 특징으로 한다.

또한, 상기 음성 합성 시, 상기 전달받은 잡음 신호와 상기 사용자의 음성신호로부터 신호대잡음비(SNR)를 계산하고, 상기 신호대잡음비를 참조하여 상기 음성 합성되어 출력되는 음성의 크기를 조절하는 것을 특징으로 한다.

또한, 상기 통역 단말기간 통역 가능한 언어가 존재하지 않는 경우, 상기 통역의 수행이 불가능함을 알리는 메시지를 표시시키는 단계를 더 포함하는 것을 특징으로 한다.

본 발명에 따르면 사용자 정보를 전달받아 여기에 포함되어 있는 사용자 언어 정보 및 통역 가능 언어 정보를 인식함으로써 통역 대상 언어를 자동 설정하여 자동 통역을 원활하게 수행할 수 있게되고 통역 대상 영역 정보를 전달받아 사용자와 상대방간의 통역 대상 영역을 자동으로 동기화하여 사용자의 설정 없이도 해당 영역에 맞는 자동 통역이 이루어지도록 하여 사용자의 편의성을 높일 수 있는 이점이 있다.

또한, 잡음 신호 정보를 이용해 음성 신호만 효과적으로 추출해 냄으로써 음성 인식 성능을 향상시킬 수 있으며, 잡음 신호 정보를 이용해 상황에 맞게 합성음의 크기를 자동 조절하여 자동 통역과정에서의 편의성을 더욱 높일 수 있는 이점이 있다. 또한, 통역 결과 문장을 제공받아 이를 분석하고 이해하는 과정을 거쳐 추출한 대화 정보를 음성 인식 및 번역 과정에 활용함으로써 자동 통역 성능을 향상시킬 수 있는 이점이 있다.

도 1은 본 발명의 실시 예에 따른 통역을 위한 휴대형 통역 단말기의 구성도,
도 2는 본 발명의 실시 예에 따른 통역 단말기의 상세 블록 구성도,
도 3은 본 발명의 실시 예에 따른 통역 단말기간 통역을 위한 동작 제어 흐름도.

이하, 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 실시 예에 따른 휴대형 자동 통역 단말기간 통신 개념을 도시한 것이다.

언어가 서로 다른 사용자간 통역을 수행하기 위해 제1 통역 단말기(100)와 제2 통역 단말기(102)가 구성된다.

제1 통역 단말기(100)는 통역을 수행하는 경우 제2 통역 단말기(102)와의 통신을 통해 통역을 수행할 언어를 설정하고, 사용자로부터 입력된 음성을 인식한 후, 인식된 문장에 대해 통역할 대상 언어로 번역하고, 번역된 문장을 음성으로 합성하여 출력시킨다.

제2 통역 단말기(102)는 통역을 수행하는 경우 제1 통역 단말기(100)와의 통신을 통해 통역을 수행할 언어를 설정하고, 사용자로부터 입력된 음성을 인식한 후, 인식된 문장에 대해 통역할 대상 언어로 번역하고, 번역된 문장을 음성으로 합성하여 출력시킨다.

도 2는 본 발명의 실시 예에 따른 통역 단말기의 블록 구성을 도시한 것이다.

통신부(200)는 블루투스(bluetooth) 등의 근거리 통신 수단 또는 WiFi 또는 무선 통신망을 통해 서로 다른 휴대형 통역 단말기와 통신을 수행한다.

음성인식부(202)는 사용자로부터 통역 수행을 위해 입력되는 음성을 인식한다. 이때 음성인식부(202)는 주변에서 입력되는 잡음 신호와 상대방의 휴대형 통역 단말기로부터 전달받은 잡음신호를 비교하여 잡음을 제거한 후, 음성 인식을 수행하게 된다.

음성합성부(204)는 음성인식부(202)를 통해 입력된 사용자의 음성을 통역할 대상 언어로 음성 합성한다. 이때 음성합성부(204)는 음성인식부(202)로부터 측정된 주변 잡음 신호의 세기를 참고하여 음성 합성되어 출력되는 음성신호의 세기를 결정하게 된다.

번역부(214)는 음성인식부(202)로부터 입력되는 사용자의 음성에 대해 상대방과의 통역을 위해 지정되는 언어로 기계 번역을 수행한다.

키입력부(208)는 통역 단말기(100)에서 사용되는 다수의 숫자키를 구비하고 있으며, 사용자가 소정의 키를 누를 때 해당하는 키데이터를 발생하여 제어부(206)로 출력한다.

표시부(212)는 제어부(206)의 제어에 따라 통역 단말기(100)의 각종 정보를 표시하며, 키입력부(208)에서 발생되는 키데이터 및 제어부(206)의 각종 정보신호를 입력받아 디스플레이한다.

제어부(206)는 메모리부(210)에 저장된 동작 프로그램에 따라 통역 단말기(100)의 전반적인 동작을 제어한다. 위와 같은 동작 프로그램은 통역 단말기(100)의 동작에 필요한 기본적인 운영 시스템(operating system) 뿐만 아니라, 표시부(212)와 키입력부(208)를 연결하고, 데이터의 입/출력을 관리하거나, 통역 단말기(100)의 내부 애플리케이션(application) 등을 동작시키도록 제조 시 미리 프로그램밍(programing)되는 소프트웨어(software)를 통칭한다.

또한, 제어부(206)는 통역 수행 시 통신부(200)를 이용한 상대방 통역 단말기와 통신을 통해 통역 가능 언어, 통역 대상 영역 정보 등을 설정하고, 사용자로부터 입력되는 음성을 인식하여 통역 대상 언어로 번역한 후, 이를 음성 합성하여 출력시킴으로써 언어가 다른 사용자간 통역이 이루어질 수 있도록 한다.

도 3은 본 발명에 따른 두 대 이상의 휴대형 자동 통역 단말기간 상호 통신을 이용한 자동 통역 동작 제어 흐름을 도시한 것이다. 이하, 도 1 및 도 2를 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.

먼저, 사용자는 통역이 필요한 대상과 만나게 되면 통역 단말기(100, 102)를 준비한다. 이때, 통역 단말기(100, 102)는 자동 통역 전용 단말기일 수도 있고 스마트폰, PDA(Personal Digital Assistant) 등의 자동 통역 프로그램 실행이 가능한 개인용 정보 단말기일수도 있으며 또한 자동 통역 프로그램 실행이 가능한 MID(Mobile Internet Device), 넷북, 노트북 등이 될 수도 있다. 다만 상대방과의 통신이 가능한 단말기여야 한다.

이후, 자동 통역을 원하는 사용자 측에서 자신의 제1 통역 단말기(100)의 자동 통역 프로그램을 실행한다(S300). 자동 통역 프로그램을 실행하게 되면 제1 통역 단말기(100)는 상대방 제2 통역 단말기(102)와 통신 채널을 여는 것을 시도하게 된다(S302). 이때, 통신은 통신부(200)에 구비될 수 있는 블루투스 등의 근거리 통신 수단이나 WiFi, 경우에 따라서는 휴대폰의 통신망 등을 통해 상대방 제2 통역 단말기(102)로 연결하게 되며, 상대방에게 연결을 요청하여 상대방이 수락할 경우(S304), 제1 통역 단말기(100)와 제2 통역 단말기(102) 간에 통신 채널이 연결된다. 경우에 따라서 상대방이 통신 연결을 항상 허용하는 환경 설정을 해놓았을 경우 수락 과정 없이 통신 채널이 연결될 수도 있다.

이와 달리, 상대방이 거절할 경우 자동 통역 거절 메시지를 사용자에게 표시한 후(S306), 통신을 해제하고 자동 통역 프로그램을 종료한다(S346). 통신 채널이 확보되면, 제1 통역 단말기(100)는 먼저 사용자 언어 정보 및 통역 가능 언어 정보를 전달해 자동 통역을 위한 사용자와 상대방간의 사용 언어가 자동으로 설정되도록 한다(S308).

이어, 제1 통역 단말기(100)는 통역 가능 언어인지를 검사하고(S310), 만일 자동 통역이 불가능한 언어 사용자와 만났을 경우에는 제1 통역 단말기(100)는 자동 통역 불가능 메시지를 사용자에게 전달한 후(S314), 통신을 해제하고 자동 통역 프로그램을 종료한다(S346).

그러나, 이때 만일 제2 통역 단말기(102)가 특정 영역을 설정하여 통역을 진행해야 하는 단말기일 경우 제1 통역 단말기(100)는 자동 통역 대상 언어를 설정하고(S316), 자동 통역이 가능한 언어 사용자와 통신이 연결되면 연결을 요청한 측 즉 제1 통역 단말기(100)에 설정되어 있는 자동 통역 대상 영역 정보를 상대방 제2 통역 단말기(102)로 전송해 자동 통역 대상 영역을 자동으로 동기화 한다(S318).

다음으로, 사용자가 음성 인식을 시도할 경우(S320), 상대방 제2 통역 단말기(102)로 음성 인식을 시도한다는 정보가 전달되고, 제1 통역 단말기(100)와 제2 통역 단말기(102)가 동기를 맞추어 음성 및 주변 잡음 신호를 입력받게 된다(S322).

그러면, 상대방 제2 통역 단말기(102)에서는 입력받은 주변 잡음 신호를 디지털 신호로 바꾸어 통신 채널을 통해 음성 인식을 시도하는 사용자의 제1 통역 단말기(100)로 전달하게 되고, 해당 사용자의 제1 통역 단말기(100)는 음성 인식 과정에서 디지털 신호로 입력이 들어온 주변 잡음 신호와 해당 사용자의 제1 통역 단말기(100)에서 입력받은 잡음이 섞여 있는 음성 신호를 비교해 두 신호간에 일치하는 부분을 잡음으로 인식하여 잡음 신호를 제거하고 음성 신호만을 분리해 이를 이용해 음성 인식을 실시하게 된다(S324).

이때, 2채널 신호처리를 통한 잡음제거 방법은 다양한 기술이 알려져 있으므로 이들을 적용할 수 있다. 이렇게 분리된 음성 신호를 이용한 음성 인식이 끝나면, 전달받은 잡음신호를 이용해서 합성음 크기를 설정하고(S326), 이를 기계 번역 모듈인 번역부(214)에 넘겨 번역을 실시한다(S328). 이어 번역된 결과를 상대방 제2 통역 단말기(102)로 전송하게 된다. 동시에 음성 합성 및 화면 디스플레이를 통해 상대방에게도 통역 결과를 전달한다(S330).

이때, 합성음의 크기 설정 단계(S326)에서는 이전에 전달받은 잡음 신호 정보와 사용자 단말기의 음성 신호 정보를 이용하여 SNR(Signal-to-noise ratio)을 계산하여 주변 소음 상황에 맞추어 적절한 크기로 출력한다.

한편, 상대방 제2 통역 단말기(102)에서는 입력받은 문장을 대상으로 음성 언어 이해 모듈을 통해 해당 문장을 분석하고 이 과정에서 사용자 의도를 추출해 이를 기반으로 다음 발화를 예측하고 해당 정보를 이용하여 음성 인식 과정에 활용한다(S332).

해당 정보는 다양하게 추출될 수 있으나 예를 들어 '예약하신 분 이름을 알려 주세요'와 같은 문장이 입력되었다면 해당 문장은 화행(Speech Act)이 '요청'이고 요청 대상은 '이름'이며 그 '이름' 속성으로 '예약자'를 갖는다는 것을 분석해 낼 수 있다. 이를 바탕으로 기구축된 대화 모델을 통하여 다음 발화는 이름이 나올 것이라는 것을 예측할 수 있다.

이 경우 음성 인식 과정에서는 이러한 대화 정보를 활용한 음성 인식을 수행할 수 있다. 여기서 대화 정보를 활용한 음성 인식이라 함은 언어 모델의 탐색 공간을 이름이 포함된 발화로 제약하거나 인명의 경우 일반적으로 음성 인식기의 사전 크기 제약 때문에 인명 전체를 인식 단어에 포함시키지 못하게 되나 해당 발화에서는 '이름'에 해당되는 부분만 별도로 대용량 인명 음성 인식기를 수행하는 등의 음성 인식 성능을 향상시킬 수 있는 방법을 적용할 수 있다.

이어, 제2 통역 단말기(102)의 사용자에 의해 제1 통역 단말기(100)로부터 통역되어 출력된 음성에 응답하기 위한 음성 시도가 있는 경우, 제2 통역 단말기(102)는 음성 인식을 수행한다(S334).

이와 같이, 사용자가 음성 인식을 시도할 경우, 앞서 제1 통역 단말기(100)의 음성 인식 단계(S320)에서와 같이, 제1 통역 단말기(102)로 음성 인식을 시도한다는 정보가 전달되고, 제1 통역 단말기(100)와 제2 통역 단말기(102)가 동기를 맞추어 음성 및 주변 잡음 신호를 입력받게 된다(S336).

그러면, 제1 통역 단말기(100)에서는 입력받은 주변 잡음 신호를 디지털 신호로 바꾸어 통신 채널을 통해 음성 인식을 시도하는 상대방 제2 통역 단말기(102)로 전달하게 되고, 제2 통역 단말기(102)는 음성 인식 과정에서 제1 통역 단말기(100)로부터 디지털 신호로 입력이 들어온 주변 잡음 신호와 제2 통역 단말기(100)에서 입력받은 잡음이 섞여 있는 음성 신호를 비교해 두 신호간에 일치하는 부분을 잡음으로 인식하여 잡음 신호를 제거하고 음성 신호만을 분리해 이를 이용해 음성 인식을 실시하게 된다.

이어, 음성 인식이 끝나면, 전달받은 잡음신호를 이용해서 합성음 크기를 설정하고(S338), 전달받은 잡음 신호를 이용해 잡음을 제거 후, 잡음 제거된 신호와 대화 정보를 이용해 음성 인식 및 번역을 수행한다(S340).

이때, 대화 정보를 이용한 음성 인식은 잡음 제거와 동시에 실시간으로 동작할 수도 있고 경우에 따라서는 잡음 제거된 신호를 대상으로 이후에 적용될 수도 있다. 이 경우에도 또한 잡음 신호를 이용하여 합성음 출력 크기를 결정한다. 그리고 해당 정보는 번역 모듈에도 전달되어 대화 정보를 활용한 번역을 수행할 수 있다.

만일 '예약하신 분 이름을 알려 주세요'의 응답이 '제 이름은 홍길동입니다'라고 발화되었을 경우 해당 문장을 언어 이해 모듈을 거치게 되면 화행(Speech Act)이 '정보 제공'이고 정보 제공 대상은 본인의 '이름'이며 이름은 속성으로 '홍길동'이라는 것을 분석해 낼 수 있다.

번역 모듈에서는 해당 정보를 이용하여 만일 '홍길동'이라는 단어가 중의성이 있어 일반 사전에 등재되어 있더라도 이를 이용해 번역하지 않고 음역을 하게 된다. 이렇게 통역된 결과는 제1 통역 단말기(100)에 전송되어 다음 음성 인식 및 번역 과정에서 다시 활용된다(S342).

또한, 음성 합성 및 화면 디스플레이를 통해 상대방에게도 통역 결과를 전송한다. 이러한 과정을 통하여 음성 인식 및 번역 성능을 향상시켜 자동 통역 성능을 높일 수 있다. 여기서는 한국어로 발성된 예에 대해서만 기술하였으나 실제로는 어떤 언어로 발화가 이루어지더라도 해당 언어의 음성 언어 이해 모듈이 탑재되어 있을 경우 음성 언어 이해를 통한 자동 통역 성능 향상이 가능하다.

이어, 상대방과 자동 통역이 끝났을 경우(S344), 자동 통역 프로그램을 종료하거나 연결을 해제하는 명령을 내림으로써 연결을 끊고 자동 통역 과정을 종료하게 된다(S346). 실시 예에서는 휴대형 자동 통역 단말기 두 대간의 상호 통신을 이용한 자동 통역 성능 향상 방법 및 장치에 관하여 기술하였지만 본 발명은 두 대에 한정되어 적용되지 않고 같은 공간에 있는 여러 대의 휴대형 자동 통역 단말기간에도 동일한 방법으로 적용될 수 있다.

또한 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나 구체적인 실시 예 외에도 통신을 통해 자동 통역 성능 향상에 도움이 되는 다양한 종류의 정보를 교환하여 자동 통역 성능을 향상시킬 수 있다는 것은 자명한 사실이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 특허 청구의 범위 뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

100 : 제1 통역 단말기 102 : 제2 통역 단말기

Claims (19)

1. 통역 단말기간 통역을 위해 필요한 데이터의 송/수신을 수행하는 통신부와,
   사용자의 음성 입력을 음성 인식하는 음성인식부와,
   상기 음성인식부를 통해 음성 인식된 음성을 통역 요청된 언어로 번역하는 번역부와,
   상기 번역부를 통해 번역된 문장을 음성으로 합성하여 출력시키는 음성합성부와,
   상기 통역 단말기를 이용한 통역 수행 요청이 있는 경우, 상기 통신부를 통해 상대방 통역 단말기와 통역 대상 언어를 설정하고, 상기 사용자로부터 입력되는 음성을 상기 언어로 번역하여 음성으로 출력시키는 제어부를 포함하며,
   상기 제어부는,
   상기 음성 인식 시, 상대방 통역 단말기로부터 잡음 신호를 전달받아 상기 사용자의 통역 단말기의 잡음 신호를 포함한 음성 신호와 동기화 시킨 후, 잡음 신호를 제거하고 음성신호만을 분리시키는 통역 장치.
   
2. 제 1 항에 있어서,
   상기 통신부는,
   근거리 통신망, 이동통신망 또는 무선 통신망을 통해 상대방 통역 단말기와 통신을 수행하는 통역 장치.
   
3. 제 2 항에 있어서,
   상기 근거리 통신망은,
   블루투스 또는 WiFi 인 통역 장치.
   
4. 제 1 항에 있어서,
   상기 제어부는,
   상기 통역 요청 시 통역 프로그램을 실행하여 상대방 통역 단말기로 연결을 요청하고, 상기 상대방 통역 단말기의 수락이 있는 경우, 상기 통신부를 통해 상기 상대방 통역 단말기와 통신 채널을 설정하여 상기 통역에 필요되는 정보를 송/수신하는 통역 장치.
   
5. 제 1 항에 있어서,
   상기 제어부는,
   상기 상대방 통역 단말기와의 통역 수행이 종료되는 경우, 상기 통신 채널의 연결을 해제하는 통역 장치.
   
6. 제 4 항에 있어서,
   상기 제어부는,
   상기 상대방 통역 단말기와 통신 채널이 설정되는 경우, 통역을 수행할 사용자 언어 정보 및 통역 가능 언어 정보를 교환한 후 통역 대상 언어를 설정하는 통역 장치.
   
7. 제 6 항에 있어서,
   상기 제어부는,
   상기 상대방 통역 단말기와 통역이 가능한 언어가 존재하지 않는 경우, 통역 불가능 메시지를 사용자에게 표시하는 통역 장치.
   
8. 제 6 항에 있어서,
   상기 제어부는,
   상기 상대방 통역 단말기와 통역이 가능한 언어가 존재하지 않는 경우, 상기 통신 채널의 연결을 해제한 후, 통역 프로그램을 종료하는 통역 장치.
   
9. 제 6 항에 있어서,
   상기 제어부는,
   상기 상대방 통역 단말기와 통역이 가능한 언어가 존재하는 경우, 상기 상대방 통역 단말기로 통역 대상 영역 정보를 전송하여 통역 대상 영역을 동기화시키는 통역 장치.
   
10. 제 9 항에 있어서,
    상기 통역 대상 영역 정보는,
    상기 통역이 수행되는 장소 또는 상황 정보인 통역 장치.
    
11. 삭제
12. 제 1 항에 있어서,
    상기 제어부는,
    상기 전달받은 잡음 신호와 상기 사용자의 음성신호로부터 신호대잡음비(SNR)를 계산하고, 상기 신호대잡음비를 참조하여 상기 음성 합성되어 출력되는 음성의 크기를 조절하는 통역 장치.
    
13. 통역 단말기간 통역을 위해 필요한 데이터의 송/수신을 수행하는 통신부와,
    사용자의 음성 입력을 음성 인식하는 음성인식부와,
    상기 음성인식부를 통해 음성 인식된 음성을 통역 요청된 언어로 번역하는 번역부와,
    상기 번역부를 통해 번역된 문장을 음성으로 합성하여 출력시키는 음성합성부와,
    상기 통역 단말기를 이용한 통역 수행 요청이 있는 경우, 상기 통신부를 통해 상대방 통역 단말기와 통역 대상 언어를 설정하고, 상기 사용자로부터 입력되는 음성을 상기 언어로 번역하여 음성으로 출력시키는 제어부를 포함하며,
    상기 제어부는, 상기 상대방 통역 단말기로부터 상기 통역 언어로 번역된 문장을 수신받는 경우, 상기 번역된 문장으로부터 음성 언어 이해 과정을 거쳐 대화 정보를 추출하고, 상기 추출된 대화 정보를 이용하여 상기 사용자의 다음 음성 인식을 수행하는 통역 장치.
    
14. 두 대 이상의 통역 단말기간 통역을 수행하는 방법으로서,
    통역 요청에 따라 상기 통역 단말기간 통신 채널을 설정하는 단계와,
    상기 통신 채널을 설정하는 경우, 상기 통역 단말기간 통역 대상 언어와 통역 대상 영역 정보를 교환하는 단계와,
    상기 정보의 교환을 통해 상기 통역을 수행할 통역 대상 언어를 설정하고, 하나의 통역 단말기에서 사용자의 음성을 입력받는 단계와,
    상기 음성을 인식하여 상기 음성을 상기 통역 대상 언어로 번역하는 단계와,
    상기 번역된 문장을 음성 합성하여 출력시키는 단계를 포함하며,
    상기 음성 인식 시, 상대방 통역 단말기로부터 잡음 신호를 전달받아 상기 사용자의 통역 단말기의 잡음 신호를 포함한 음성 신호와 동기화 시킨 후, 잡음 신호를 제거하고 음성신호만을 분리시키는 통역방법.
    
15. 제 14 항에 있어서,
    상기 음성 합성하여 출력시키는 단계이후,
    상기 통역 대상 언어로 번역된 문장을 상대방 통역 단말기로 전송하는 단계
    를 더 포함하는 통역방법.
    
16. 제 14 항에 있어서,
    상기 통신 채널은,
    근거리 통신망, 이동통신망 또는 무선 통신망을 통해 상기 통역 단말기간 설정되는 통역방법.
    
17. 삭제
18. 제 14 항에 있어서,
    상기 음성 합성 시,
    상기 전달받은 잡음 신호와 상기 사용자의 음성신호로부터 신호대잡음비(SNR)를 계산하고, 상기 신호대잡음비를 참조하여 상기 음성 합성되어 출력되는 음성의 크기를 조절하는 통역방법.
    
19. 제 14 항에 있어서,
    상기 통역 단말기간 통역 가능한 언어가 존재하지 않는 경우, 상기 통역의 수행이 불가능함을 알리는 메시지를 표시시키는 단계를 더 포함하는 통역방법.

Images