KR20160097406A - 실시간 통번역 통화서비스 시스템 및 그 제공방법 - Google Patents

Abstract

통화가 연결된 복수의 단말기들로부터 전달받은 정보를 이용하여 복수의 통화자의 언어를 파악하는 언어파악부; 수신된 수신음성을 대상언어로 번역하여 전달음성을 합성하는 통번역부; 및 복수의 단말기 중 일측 단말기로부터 받은 수신음성을 타측 단말기로 전달함과 동시에 통번역부에 전달하고, 통번역부로부터 제공받는 번역된 전달음성을 수신음성의 제공이 완료된 후 연이어 타측 단말기에 제공하는 통화제어부;를 포함하는 실시간 통번역 통화서비스 시스템 및 그 제공방법이 소개된다.

Description

실시간 통번역 통화서비스 시스템 및 그 제공방법 {TELEPHONE SERVICE SYSTEM AND METHOD SUPPORTING INTERPRETING AND TRANSLATION}

본 발명은 통화 중 실시간으로 동시통역과 같은 효과를 구현하고, 언어의 선택과 최적의 정확한 통역을 자동으로 구현할 수 있도록 하는 실시간 통번역 통화서비스 시스템 및 그 제공방법에 관한 것이다.

종래의 번역 및 통역서비스는 음성인식, 번역, 기계음을 통한 통역(TTS)의 방식으로 구현되며, 그 구성장치와 방식에 대해서는 각기 동작의 차이점이 있다.

일 예로 단말 자체 또는 단말과 음성처리 서버로 구성하여 서비스를 제공하도록 할 수 있다. 단말 자체에서 제공되는 방식은 발화자 단말 내에 특정 이종언어의 적은 양의 DB를 저장하여 두고, 발화자가 음성을 입력하였을 때, 그 언어를 인식, 번역하는 방식이다. 발화자단말에 설치된 언어통역 Application을 구동한 후, 번역/통역하고 싶은 언어를 선택하고, 발화자가 음성입력(녹음) 버튼을 누른 후 음성을 입력하면, 단말 내 발화자가 선택한 언어의 DB와 비교하여 그 입력단어(Text)에 맞는 번역된 단어의 조합 또는 번역된 단어를 합성한 기계음성으로 재생하게 된다. 그러나 이 경우에는 한정된 DB를 통한 방식으로서 정확한 통번역이 이루어지지 않고 사용자가 말을 할 때마다 녹음버튼을 눌러야 하는 단점이 있어 실시간 통역의 느낌과는 거리가 멀다.

종래의 번역/통역서비스는 실제 통화를 위한 서비스에는 실시간을 보장하거나 제공할 수 없으며, 3자의 개입을 통하여 실시간 제공을 하고자 하지만, 통화중 누군가가 대화에 간섭하거나, 통화내용을 알게 되기 때문에 서비스 이용이 매우 부담이 되고 있다. 즉, 단말 자체 또는 단말을 통하여 번역/통역된 음성을 제공해주는 방식은 특정한 Application이 설치가 되어야 하며, 발화자의 음성입력을 위한 시작-끝 등 조작이 필요로 한다. 이는 실시간 통화를 위한 서비스라기보다는 해외 등 이국단어를 쓰는 현지에서 질문이나 간단한 정보교환을 위해서만 사용되며 발화자와 수신자가 같은 장소에 있을 경우에만 사용하게 되는 문제가 있다.

한편, 화상통화시 자막의 형태로 번역문을 제공하는 서비스의 경우, 발화자(발신자)는 회상통화 및 화상회의가 가능한 PC, 또는 화상통화나 회의통화가 가능한 Application이 설치된 발신자 단말에서 발신하면, 인터넷망 또는 Data망을 통하여 합성(App.)서버에서 음성만을 추출하여 음성인식서버로 전송하고, 이를 번역서버를 통하여 Text로 변환하여 다시 통합서버로 보내면 통합서버에서 화상 위에 Text를 합성하여 착신자 단말에 전송하게 되는 서비스이다. 화상회의의 경우는 화상통화와 달리, 회의를 위한 Room을 만들고 여기에 각 회의자의 언어에 맞도록 번역하여, 제공할 수도 있다. 그러나 이 경우 화상통화의 실시간성에 번역(자막)의 비 실시간적 요소를 결합한 것으로서 일반적으로 자막은 발화자의 발화시점보다 늦어도 서비스에 크게 불편이 없는 서비스라고 볼 수 있다. 단, 자막을 제공하기 위해서는 화상통화, 회의통화 등 화면이 제공되어야 하는 특정한 서비스에 국한될 수밖에 없는 서비스라 볼 수 있다. 그리고 사용자는 통화시 항상 자막을 뒤늦게 읽고 이해해야 하기에 통화시간과 대기시간이 길어지며 대화가 지속적으로 단절되는 문제가 있다.

또한, 발신자가 통역 부가서비스 번호(Prefix)로 호 연결을 시도하면, 교환망에서 이를 인식하여 착신자 연결과 동시에 통역사와 3자 통화 구성을 하게 되는 것이 있다. 이는 발화자의 음성을 통역사가 듣고 수신자에게 그 언어에 맞도록 통역해주는 서비스로 제공되고 있다. 그러나 이 경우 양측에 통역사가 참석하는 3자 통화 형식으로서 통역이 자동화되어 있지 않음으로써, 대화상 불필요한 정보의 공유가 발생하게 되고 이용료가 높은 단점이 있다.

상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.

KR 10-2008-0110476 A

본 발명은 통화 중 실시간으로 동시통역과 같은 효과를 구현하고, 언어의 선택과 최적의 정확한 통역을 자동으로 구현할 수 있도록 하는 실시간 통번역 통화서비스 시스템 및 그 제공방법을 제공하는데 그 목적이 있다.

상기의 목적을 달성하기 위한 본 발명에 따른 실시간 통번역 통화서비스 시스템은, 통화가 연결된 복수의 단말기들로부터 전달받은 정보를 이용하여 복수의 통화자의 언어를 파악하는 언어파악부; 수신된 수신음성을 대상언어로 번역하여 전달음성을 합성하는 통번역부; 및 복수의 단말기 중 일측 단말기로부터 받은 수신음성을 타측 단말기로 전달함과 동시에 통번역부에 전달하고, 통번역부로부터 제공받는 번역된 전달음성을 수신음성의 제공이 완료된 후 연이어 타측 단말기에 제공하는 통화제어부;를 포함한다.

언어파악부는 복수의 단말기들의 전화번호를 이용하여 각각의 단말기에 해당하는 통화자들의 언어를 파악할 수 있다.

언어파악부는 전화번호의 국가번호 또는 대표번호를 이용하여 언어를 파악할 수 있다.

언어파악부는 단말기로부터 전달받는 수신음성의 언어의 종류를 파악하고 이를 이용하여 단말기에 해당하는 통화자의 언어를 파악할 수 있다.

언어파악부는 복수의 단말기들의 전화번호를 이용하여 각각의 단말기에 해당하는 통화자들의 언어와 해당 업무분야를 파악할 수 있다.

언어파악부는 통화중 사용빈도가 높은 단어를 기반으로 업무분야를 재파악하며, 재파악된 업무분야로 해당 전화번호에 매칭되어 있던 업무분야를 갱신할 수 있다.

통번역부는 수신된 수신음성을 대상언어로 번역하여 전달음성을 합성하되, 파악된 업무분야를 반영하여 번역할 수 있다.

통번역부는 업무분야별로 복수의 언어간에 서로 매칭이 되어 있는 번역사전DB가 구비될 수 있다.

통화제어부는 통번역부로부터 제공받는 번역된 전달음성을 수신음성의 제공이 완료된 후 연이어 타측 단말기와 발화자의 단말기에 제공할 수 있다.

통화가 이루어진 전화번호, 수신음성, 번역문, 전달음성으로 구성된 통화내역을 저장하는 통화내역DB;를 더 포함할 수 있다.

통번역부는 수신음성을 문장 단위로 인식하여 문장마다 실시간으로 번역하고 음성으로 합성하며, 일정시간 동안 수신음성이 묵음으로 유지될 경우 수신음성의 끝점으로 인식하고 합성된 하나 이상의 문장을 통합하여 전달음성을 생성할 수 있다.

통번역부는 수신음성을 문장 단위로 인식하여 문장마다 실시간으로 번역하고 음성으로 합성하며, 단말기로부터 끝점임을 알리는 끝점신호가 입력된 경우 수신음성의 끝점으로 인식하고 합성된 하나 이상의 문장을 통합하여 전달음성을 생성할 수 있다.

통화제어부는 일측 단말기로부터 받는 수신음성을 실시간으로 타측 단말기로 전달하고, 수신음성의 끝점이 인식된 경우 하나 이상의 문장으로 구성된 전달음성을 통번역부로부터 전달받아 타측 단말기에 제공할 수 있다.

본 발명에 따른 실시간 통번역 통화서비스 제공방법은, 통화가 연결된 복수의 단말기들로부터 전달받은 정보를 이용하여 복수의 통화자의 언어를 파악하는 언어파악단계; 일측 단말기로부터 수신되는 수신음성을 타측 단말기로 실시간으로 전송하는 원음전송단계; 일측 단말기로부터 수신되는 수신음성을 타측 단말기에 해당하는 언어로 번역하고 전달음성을 합성하는 통번역단계; 및 원음전송단계에서 수신음성을 타측 단말기로 전송한 후 연이어 합성된 전달음성을 타측 단말기로 전송하는 통역음전송단계;를 포함한다.

언어파악단계는 복수의 단말기들의 전화번호를 이용하여 각각의 단말기에 해당하는 통화자들의 언어를 파악할 수 있다.

언어파악단계는 복수의 단말기들의 전화번호를 이용하여 각각의 단말기에 해당하는 통화자들의 언어와 해당 업무분야를 파악할 수 있다.

통화중 사용빈도가 높은 단어를 기반으로 업무분야를 재파악하며, 재파악된 업무분야로 해당 전화번호에 매칭되어 있던 업무분야를 갱신하는 갱신단계;를 더 포함할 수 있다.

통번역단계는 수신된 수신음성을 번역하여 전달음성을 합성하되, 파악된 업무분야를 반영하여 번역할 수 있다.

통역음전송단계는 원음전송단계에서 수신음성을 타측 단말기로 전송한 후 연이어 합성된 전달음성을 타측 단말기와 발화자의 단말기로 전송할 수 있다.

통번역단계는 수신음성을 문장 단위로 인식하여 문장마다 실시간으로 번역하고 음성으로 합성하며, 일정시간 동안 수신음성이 묵음으로 유지될 경우 수신음성의 끝점으로 인식하고 합성된 하나 이상의 문장을 통합하여 전달음성을 생성할 수 있다.

통역음전송단계는 수신음성의 끝점이 인식된 경우 연이어 합성된 전달음성을 타측 단말기로 전송할 수 있다.

본 발명에 따른 실시간 통번역 통화서비스 제공방법은, 통화가 연결된 복수의 단말기들로부터 전달받은 정보를 이용하여 복수의 통화자의 언어를 파악하고, 일측 단말기로부터 수신되는 수신음성을 타측 단말기로 실시간으로 전송함과 동시에 문장 단위로 인식하여 타측 단말기에 해당하는 언어로 번역 및 음성의 합성을 수행하고, 수신음성이 일정시간 동안 묵음으로 유지될 경우 끝점으로 파악하며, 끝점이 파악된 경우 합성된 음성을 통합하여 전달음성을 생성하고 타측 단말기와 발화자의 단말기에 전달음성을 전송하는 것으로 요약될 수 있다.

상술한 바와 같은 본 발명의 실시간 통번역 통화서비스 시스템 및 그 제공방법에 따르면, 통화 중 실시간으로 동시통역과 같은 효과를 구현하고, 언어의 선택과 최적의 정확한 통역을 자동으로 구현할 수 있게 된다.

즉, 마치 통역사가 옆에서 동시통역을 진행하는 것과 같은 효과를 일으켜 서비스 이용자들이 이질감을 갖지 않도록 할 수 있다.

또한, 통화시 자동으로 국가를 선정하고 언어를 선택할 수 있도록 함으로써 편의성을 높이고, 업무분야에 따른 언어 DB를 구체화함으로써 좀 더 정확한 해당 분야에서의 통번역이 가능하도록 한다.

또한, 업무분야 역시 전화번호를 기준으로 자동으로 선택되도록 하는 것도 가능하여 편의성이 높고, 사용 빈도가 높은 단어가 무엇인지 검출하여 업무분야를 좀 더 정확하게 갱신함으로써 오류를 방지할 수 있는 장점이 있다.

아울러, 통화내용은 추후 별도의 수단으로 제공할 수 있도록 함으로써 서비스품질의 개선에 도움을 주고 개인의 정보를 보호할 수 있는 장점이 있다.

도 1은 본 발명의 실시예에 따른 실시간 통번역 통화서비스 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 실시간 통번역 통화서비스 제공방법의 순서도.
도 3은 도 1에 도시된 본 발명의 실시간 통번역 통화서비스 시스템의 DB 구성을 나타낸 도면.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 살펴본다.

도 1은 본 발명의 실시예에 따른 실시간 통번역 통화서비스 시스템의 구성도이고, 도 2는 본 발명의 실시예에 따른 실시간 통번역 통화서비스 제공방법의 순서도이며, 도 3은 도 1에 도시된 본 발명의 실시간 통번역 통화서비스 시스템의 DB 구성을 나타낸 도면이다.

본 발명에 따른 실시간 통번역 통화서비스 시스템은, 통화가 연결된 복수의 단말기(100,200)들로부터 전달받은 정보를 이용하여 복수의 통화자의 언어를 파악하는 언어파악부; 수신된 수신음성을 대상언어로 번역하여 전달음성을 합성하는 통번역부(500); 및 복수의 단말기 중 일측 단말기(100)로부터 받은 수신음성을 타측 단말기(200)로 전달함과 동시에 통번역부(500)에 전달하고, 통번역부(500)로부터 제공받는 번역된 전달음성을 수신음성의 제공이 완료된 후 연이어 타측 단말기(200)에 제공하는 통화제어부(400);를 포함한다.

도 1의 경우에서는 언어파악부가 통화제어부(400)에 포함된 경우이다.

먼저, 발신자가 통번역서비스 요청을 위하여 특정 서비스 프리픽스(prefix)로 발신하면, 발신측 교환장치(310)는 발신 프리픽스를 분석하여 서비스 요청을 인식한 후 통번역 통화제어부(400)로 시도호가 있음을 알리고, 관련된 정보(착신번호 등)를 확인하게 된다.

이때 발신자는 통번역서비스를 위한 특정한 서비스 프리픽스를 사용하거나, 모바일 Application을 설치하여 이용할 수도 있다.

서비스 시도호가 통번역 통화제어부(400)에 전달되면, 언어파악부는 발신자가 선택한 통역언어 또는 착신자 전화번호를 DB 검색을 통하여 착신자 사용언어를 확정하여 통번역부(500)내 특정 언어사전을 선택하여 서비스 시나리오를 선택/제공하게 된다. 또한 통화제어부(400)는 착신번호의 정보를 DB에서 확인하여 착신 단말기(200)측에 최적화된 서비스 시나리오를 선택할 수도 있다.

선택된 최종정보(언어, 착번 등)를 발신자에게 통화제어부(400)가 ARS로 확인하게 되면 통화제어부(400)는 착신측에 호 연결 요청을 하게 되고, 교환장치(310,320)는 발신~착신까지 호 연결을 하게 된다.

호 연결이 완료되면, 통화제어부(400)는 발신자 측에는 발신자 언어로, 착신자 측에는 착신자 언어로 본 서비스에 대한 안내 ARS를 방송하게 된다. 이때 안내 ARS는 서비스설명, 주의사항, 고지사항 등을 안내하고 통화시작을 알려주게 된다.

통화시작을 하게 되면, 통화제어부(400)는 음성인식, 번역, 합성의 동작을 수행하게 되며, 각 단계별로 명확치 않은(통역이 불가능한 등) 음성이 입력되게 되면 재발화를 요청하는 등 중간 중간 통화를 컨트롤 하게 된다. 통화가 완료되면 통화내역(발/착신전화번호, 착신자정보, 음성원음, 번역문, 합성음성 등)을 DB에 저장하게 되며, 통화 종료 ARS(종료안내, 통화내역 저장여부 등)를 발신자와 착신자에게 안내하고 최종적으로 호를 종료하게 된다.

구체적으로, 언어파악부는 통화가 연결된 복수의 단말기(100,200)들로부터 전달받은 정보를 이용하여 복수의 통화자의 언어를 파악하는 것이다. 양자간의 통화라면 양자의 국가를 파악하고 언어를 파악하며, 다자간의 통화라면 통화자 모두의 언어를 각각 파악하도록 한다. 그리고, 언어파악부는 복수의 단말기(100,200)들의 전화번호를 이용하여 각각의 단말기에 해당하는 통화자들의 언어를 파악할 수 있다. 구체적으로, 언어파악부는 전화번호의 국가번호 또는 대표번호를 이용하여 언어를 파악할 수 있다.

일반적으로 국제전화의 경우는 각 번호마다 국가번호가 필수적으로 붙어야 하는바, 이를 이용하여 언어를 파악하거나, 또는 각 국가별로 사용되는 대표번호에 대한 DB를 구비하고 있을 경우 이를 이용하여 자동으로 언어를 파악하는 것이다. 국내의 경우 1577,1588 등의 대표번호를 이용하고 있는바, 이를 이용할 경우 쉽게 한국언어를 탐지할 수 있다. 또한, 기업별로 운영하는 별도의 대표번호가 있을 경우 이를 DB에 저장하여 두고 통화시 탐지함으로써 쉽게 언어를 파악할 수 있다.

물론, 사용자가 매뉴얼로 언어를 선택한 경우에는 그 번호 또는 그 번호의 국번 등을 저장하여둠으로써 추후 사용시 자동으로 언어를 탐지할 수 있도록 한다.

또한, 단말기로부터 전달받는 수신음성의 언어의 종류를 파악하고 이를 이용하여 단말기에 해당하는 통화자의 언어를 파악하는 것도 가능하다. 즉, 발화자가 시작하는 첫 마디 혹은 첫 음절이 국어라면 그 사람의 언어를 한글로 선정하고, 영어라면 언어를 영어로 선정하는 것이다. 물론, 이는 사용자가 단말기 등을 통하여 선택하는 것도 가능하며, 만약 전화번호가 이전의 이력에 있었다면 그 이력에서 사용된 언어를 불러와 바로 해당 언어로 인식하는 것도 가능하다. 그리고 이들 판단을 동시에 수행하고 이 중 어느 하나를 우선하여 적용함으로써 언어를 인식하도록 하는 것도 가능하다.

또한, 언어파악부는 복수의 단말기들의 전화번호를 이용하여 각각의 단말기에 해당하는 통화자들의 언어와 해당 업무분야를 파악할 수 있다. 즉, 언어를 파악하기 위한 DB에는 특정 국번이나 대표번호를 이용하여 미리 업무분야를 정해놓을 수도 있다. 업무분야를 선정하는 이유는, 동일한 단어인 경우에도 분야에 따라 다른 용법과 뜻으로 사용될 수 있기 때문이다.

예를 들어, 영어로 'CLAIM'은 '주장, 불만'을 의미할 수도 있지만 특허분야에서는 '청구항'이라는 의미로 사용되고 있다. 만약 쇼핑분야라면 주로 '불만'이라는 의미로 사용될 것이다. 따라서, 이와 같이 업무분야를 선정하고, 그에 따라 올바른 의미로 통역을 한다면 사용자의 만족도와 이해도가 더욱 높아질 것이기에, 언어사전에도 업무분야별로 서로 다른 뜻으로 매칭되도록 준비할 필요가 있고, 특정 대표번호나 종래 사용된 번호의 경우 그에 맞는 업무분야를 자동으로 선정하고 그에 따라 번역과 통역이 이루어지도록 하는 것이다.

또한, 언어파악부는 통화중 사용빈도가 높은 단어를 기반으로 업무분야를 재파악하며, 재파악된 업무분야로 해당 전화번호에 매칭되어 있던 업무분야를 갱신할 수 있다. 즉, 최초에 업무분야를 선정하지 않은 경우 혹은 업무분야를 자동으로 선정한 경우에는 통화내용을 분석하여 자주 노출되는 단어를 기반으로 업무분야를 재선정하고 갱신함으로써 다음 통화시에는 좀 더 향상된 번역과 통역을 제공하도록 학습의 기능을 부여하는 것이다. 예를들어 최초에 업무분야가 선정되지 않았지만, '배송'이라는 단어 혹은 '결제'라는 단어가 자주 사용될 경우에는 업무분야를 '쇼핑,유통'으로 변경할 수 있는 것이다.

한편, 통번역부(500)는 수신된 수신음성을 대상언어로 번역하여 전달음성을 합성하도록 한다. 통번역부(500)는 일측 단말기(100)로부터 수신된 발화자의 수신음성을 먼저 음성만으로 추출하여 인식하도록 한다. 그리고 추출된 음성을 텍스트의 형태로 인식한 후 수화자의 대상언어로 번역하도록 한다. 그리고 번역된 번역문을 다시 전달음성으로 합성하는 것이다. 다만, 이 경우 파악된 업무분야를 반영하여 뜻이 정확하도록 번역할 수 있다. 이와 같은 음성인식, 번역, 합성 등에 관하여는 종래 다양한 기술이 이미 공지되어 있는바, 그 상세한 설명은 생략한다.

통번역부(500)는 업무분야별로 복수의 언어간에 서로 매칭이 되어 있는 번역사전DB가 구비될 수 있다. 그에 따라 해당 대화의 분야에 맞도록 번역이 이루어짐으로써 사용자의 편의성이 증대된다.

통화제어부(400)는 복수의 단말기 중 일측 단말기(100)로부터 받은 수신음성을 타측 단말기(200)로 전달함과 동시에 통번역부(500)에 전달하고, 통번역부(500)로부터 제공받는 번역된 전달음성을 수신음성의 제공이 완료된 후 연이어 타측 단말기(200)에 제공하도록 함으로써 동시통역의 느낌이 잘 살아나도록 한다.

즉, 통화제어부(400)는 통번역부(500)로부터 제공받는 번역된 전달음성을 수신음성의 제공이 완료된 후 연이어 타측 단말기(200)와 발화자의 단말기(100)에 제공할 수 있다. 발화자가 말한 수신음성은 번역이 이루어지지 않은채 실시간으로 그대로 수화자의 단말기로 전송한다. 그리고 전송하는 동안 통번역부(500)는 수신음성을 동시에 전달받으며 실시간으로 번역을 수행하고 합성을 수행한다.

그리고 나서 발화자의 발화가 끝난 것으로 인식하는 시점에 미리 준비한 전달음성을 발화자와 수화자 모두에게 전송하는 것이다. 따라서, 이와 같이 구성함으로써 발화자와 수화자는 모두 마치 옆에 동시통역사가 있는 것과 같은 착각을 불러일으키게 되고, 동시통역의 느낌이 살아나 어색하거나 이질감을 느끼지 않는 것이고, 실시간으로 상대방의 대화를 이해함으로써 통화시간이 단축되고 루즈한 느낌이 있지 않으며 대화의 맥락이 잘 유지되는 것이다.

또한 발화자는 번역된 전달음성을 동시에 함께 들을 수 있어 자신의 의미가 잘 전달된 것인지 확인도 가능한 것이다.

한편, 본 발명의 경우 통화가 이루어진 전화번호, 수신음성, 번역문, 전달음성으로 구성된 통화내역을 저장하는 통화내역DB(600)를 더 포함할 수 있다. 그리고 통화내역DB(600)에 저장된 내역을 원하는 고객에게 다양한 방법으로 제공하는 것이 가능하며 그 내용을 분석하여 DB(600)를 업데이트함으로써 사용자에 더 적합한 업무분야 등의 선택이 가능하도록 하는 것이다.

통번역부(500)는 수신음성을 문장 단위로 인식하여 문장마다 실시간으로 번역하고 음성으로 합성한다. 그리고 만약 발화자가 이야기를 하는 시점에서 일정시간(0.5~1초 정도) 동안 수신음성이 묵음으로 유지될 경우 이를 수신음성의 끝점으로 인식하고, 비로소 그동안 번역하여 준비해둔 합성된 하나 이상의 문장을 통합하여 전달음성을 생성할 수 있다. 물론, 사용자에 의해 수동으로 끝점의 입력을 받도록 하는 것도 가능할 것이다. 즉, 통번역부(500)는 수신음성을 문장 단위로 인식하여 문장마다 실시간으로 번역하고 음성으로 합성하며, 단말기로부터 끝점임을 알리는 끝점신호가 입력된 경우 수신음성의 끝점으로 인식하고 합성된 하나 이상의 문장을 통합하여 전달음성을 생성할 수 있다. 또한, 묵음을 우선으로 할지 혹은 사용자의 끝점 입력을 우선으로 할지는 사용자가 선택하도록 하는 것도 가능하며, 이러한 사용자의 요청은 단말기를 통해 이루어질 수 있도록 한다.

그리고 통화제어부(400)는 일측 단말기로부터 받는 수신음성을 실시간으로 타측 단말기로 전달하되, 수신음성의 끝점이 인식된 경우에는 그 통합된 전달음성을 통번역부로부터 전달받아 타측 단말기에 제공함으로써 동시통역의 분위기를 만드는 것이다.

구체적으로, 발신자/착신자의 음성발화가 시작되고, 발화된 음성은 입력음성들을 문장 단위로 분절하게 되고, 분절된 음성은 차례로 통번역부의 음성인식서버(510)에 전달하게 된다. 이때, 발화음성의 끝점은 발신자의 전화버튼 조작(끝점 강제입력방식)으로 수동 인식하거나, 자동으로 끝점을 인식하는 방법으로는 통화시 발생하는 묵음(상대의 대답을 기다리는 Holding Time)이 일정시간(0.5~1초 수준)동안 지속될 경우 끝점으로 인식하는 방식, PSTN망(아날로그 음성) 입력 음성인 경우 Decibel값을 측정하여 음성이 없는 Level을 측정하여 판단하거나(ASL: Active Speech Level), IP망(Packet 음성)의 경우 VAD(Voice Activation Detection) 신호의 입력 시 끝점으로 인식하는 방식이 있다. 이 경우, 수동/자동을 함께 사용한다면 끝점 detection 품질이 더 높아질 수 있으므로, 병행사용도 가능하다.

발화자의 음성은 착신측에 전달함으로써 실시간성을 확보하고 동시에 음성인식서버(510)에 전달되고, 전달된 음성은 음성인식이 성공하면 서버에서 동일 음성파일로 복사를 수행하고 DB(600)에 동시 저장하게 된다.

이때, 불명확한 음성(잡음 포함 등)이 포함되어 인식이 실패할 경우는 발화자에게 재시도 요청을 ARS로 안내하게 된다. 재시도 요청은 불명확하여 인식에 실패하거나, 호의 목적에 따라 중요한 키워드의 경우 판단하여 재시도 요청을 할 수 있다. 인식에 성공하게 되면 번역하는 동안 발신/착신측에서 호가 지속되고 있는지에 대한 가청신호를 주게 되는데, 음악이나 '번역중이니 기다려 주십시요' 등의 안내멘트를 제공할 수 있다.

특히, 본 발명에서는 실시간 통역의 체감을 높이기 위하여 끝점이 확인됨과 동시에 원음을 녹음하고 동시에 녹음된 음성은 통번역부(500)로 전송하게 된다. 이때, 원음의 전송은 끝점 확인과 관계없이 착신자에게 전송할 수 있으며, 전송하는 동안 녹음/번역을 동시에 수행하는데 차별화가 있다. 이때 통번역부는 짧은 단위의 버퍼링 기능 수행을 통하여 거의 실시간으로 통역/전송될 수 있다.

발화 원음의 수신측 전송과 동시에 발화 원음은 DB(600)에 저장한다. 녹음된 발화음은 통번역부를 통하여 사전 선택된 시나리오와 최적화된 번역 DB(600)의 언어사전을 이용하여 번역서버(530)에서 번역작업을 수행하며, 번역문은 DB(600)에 저장한다.

번역된 번역문은 합성서버(550)를 통하여 기계음으로 합성되며, 합성된 전달음성은 발화측과 수신측에 동시 전송되어, 발화측은 제대로 통역되는지 확인하고, 수신측은 발화측의 의도를 파악하게 된다. 이때, 합성된 기계음은 발화자의 음성주파수와 최대한 비슷하게 구현될 수 있다. 합성되고 전송된 합성음은 DB(600)에 저장된다. 만약 다자간의 통화인 경우 중 모두 사용언어가 각기 다른 경우에는 발화자에게는 영어 또는 미리 지정된 언어로의 통역된 음성을 들려주는 것도 가능하다.

한편, 통화 종료 후에는 발신자 및 수신자에게 통화 내역에 대한 정보제공 안내 ARS를 방송하며, 이에 대하여 내역의 제공을 원하는 자에게 원하는 정보를 DB(600)에서 추출하여 제공한다.

여기서, 통화내역이라고 하면, 통화자 전화번호정보, 통화원음, 번역문, 합성음원 등을 제공하게 된다. 내역 제공의 ARS에 대하여, 제공이 필요한 자는 내역중 어떤 것을 원하는지 선택하게 하며, 제공방법을 선택하게 한다. 제공방법은 사전 등록된 메일, MMS, 웹 다운로드 등 다양한 방법으로 제공이 가능하다.

확정된 제공방식과 내역에 대하여 재확인을 하고, 송부하며, 송부 후 저장된 내역에 대하여 삭제 여부를 확인하는 절차를 따르게 된다. 이때, 내역제공이 불필요하다고 판단되는 경우, 내역 삭제 절차를 따르게 되며, 삭제를 원하는 경우, ARS에 따라 삭제요청을 하면, 통화이력, 통번역내역 등 모든 data는 DB(600)에서 삭제한다.

삭제 후 삭제되었음을 발신자 및 수신자에게 SMS 등을 통하여 결과를 통보하고 서비스를 종료하게 된다. 단, 내역삭제 없이 호를 종료시키거나, 일정기간 저장을 원하는 경우는 사전 공지된 기준으로 DB(600)에 저장하고, 내역보관 안내 ARS 및 메시지를 통보하고, 서비스를 종료하게 된다.

도 3은 DB(600)의 구조를 나타내는 기능블럭도이다. DB는 각 음성 통번역서버와 연동하여 구성될 수도 있으며, 서버별로 별도 구성할 수도 있다. 본 발명은 서버별로 별도의 DB를 구성하고, 공통 DB는 호처리 및 정보관리를 위한 구성만 표기한다.

DB는 각 서버와 연동하는 인터페이스, 사용자(발/착신자)의 정보관리 및 update를 관장하는 관리부, 이 관리부 하단의 통화이력(착발신 전화번호별) 관리부, 각 이력별 원음/통역음 저장부, 각 이력별 번역문 저장부로 구성되며, 각 '전화번호-통화이력-원음-번역문-통역음'의 순으로 DB를 추출할 수 있도록 한다. 또한 착신번호에 대한 언어 및 국가 등을 관리하는 관리부, 착신번호의 사업군을 관리하는 관리부, 각 서버의 번역사전, 시나리오 등을 Back-up할 수 있는 백업부로 구성하게 된다.

도 2는 본 발명의 실시예에 따른 실시간 통번역 통화서비스 제공방법의 순서도로서, 본 발명에 따른 실시간 통번역 통화서비스 제공방법은, 통화가 연결된 복수의 단말기들로부터 전달받은 정보를 이용하여 복수의 통화자의 언어를 파악하는 언어파악단계(S110); 일측 단말기로부터 수신되는 수신음성을 타측 단말기로 실시간으로 전송하는 원음전송단계(S200); 일측 단말기로부터 수신되는 수신음성을 타측 단말기에 해당하는 언어로 번역하고 전달음성을 합성하는 통번역단계(S230); 및 원음전송단계에서 수신음성을 타측 단말기로 전송한 후 연이어 합성된 전달음성을 타측 단말기로 전송하는 통역음전송단계(S240);를 포함한다.

그리고, 언어파악단계(S110)는 복수의 단말기들의 전화번호를 이용하여 각각의 단말기에 해당하는 통화자들의 언어를 파악할 수 있다. 구체적으로, 언어파악단계(S110)는 복수의 단말기들의 전화번호를 이용하여 각각의 단말기에 해당하는 통화자들의 언어와 해당 업무분야를 파악할 수 있다.

한편, 통화중 사용빈도가 높은 단어를 기반으로 업무분야를 재파악하며, 재파악된 업무분야로 해당 전화번호에 매칭되어 있던 업무분야를 갱신하는 갱신단계(S340);를 더 포함할 수 있다.

또한, 통번역단계(S230)는 수신된 수신음성을 번역하여 전달음성을 합성하되, 파악된 업무분야를 반영하여 번역할 수 있다. 그리고, 통역음전송단계(S240)는 원음전송단계(S200)에서 수신음성을 타측 단말기로 전송한 후 연이어 합성된 전달음성을 타측 단말기와 발화자의 단말기로 전송할 수 있다.

구체적으로, 통번역단계(S230)는 수신음성을 문장 단위로 인식하여 문장마다 실시간으로 번역하고 음성으로 합성하며, 일정시간 동안 수신음성이 묵음으로 유지될 경우 수신음성의 끝점으로 인식하고 합성된 하나 이상의 문장을 통합하여 전달음성을 생성할 수 있다. 즉, 통역음전송단계(S240)는 수신음성의 끝점이 인식된 경우 연이어 합성된 전달음성을 타측 단말기로 전송할 수 있다.

본 발명에 따른 실시간 통번역 통화서비스 제공방법은, 통화가 연결된 복수의 단말기들로부터 전달받은 정보를 이용하여 복수의 통화자의 언어를 파악하고, 일측 단말기로부터 수신되는 수신음성을 타측 단말기로 실시간으로 전송함과 동시에 문장 단위로 인식하여 타측 단말기에 해당하는 언어로 번역 및 음성의 합성을 수행하고, 수신음성이 일정시간 동안 묵음으로 유지될 경우 끝점으로 파악하며, 끝점이 파악된 경우 합성된 음성을 통합하여 전달음성을 생성하고 타측 단말기와 발화자의 단말기에 전달음성을 전송하는 것으로 요약될 수 있다.

이상에서와 같이 본 발명은 종래의 통번역서비스를 실제 통화가 이루어지는 통신망에 적용하여, 통화의 실시간성을 확보함과 동시에 동시 통번역이 이루어져 체감적인 통역 지연을 줄여주게 되며, 자신의 서비스 이력을 관리하고 통화 후 재확인할 수 있도록 구성함으로써, 보다 확실한 통역서비스를 활용할 수 있도록 한다.

더불어 제 3자의 개입이 없이 통역되고, 상대방의 원음과 통역음을 순차적으로 들을 수 있게 됨으로써 이해도 향상을 높이고 동시통역의 분위기를 조성한다.

또한, 착신자 전화정보에 기반하여 최적의 시나리오를 실시간으로 활용함으로써 번역의 정확성을 높이고, 번역 오류를 최소화하게 된다. 특정한 번역/통역 Application뿐만 아니라 일반 통화(특정 Prefix)에 적용할 수 있어 그 편의성을 높일 수도 있다.

본 발명은 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.

100, 200 : 단말기 400 : 통화제어부
500 : 통번역부

Claims (22)

1. 통화가 연결된 복수의 단말기들로부터 전달받은 정보를 이용하여 복수의 통화자의 언어를 파악하는 언어파악부;
   수신된 수신음성을 대상언어로 번역하여 전달음성을 합성하는 통번역부; 및
   복수의 단말기 중 일측 단말기로부터 받은 수신음성을 타측 단말기로 전달함과 동시에 통번역부에 전달하고, 통번역부로부터 제공받는 번역된 전달음성을 수신음성의 제공이 완료된 후 연이어 타측 단말기에 제공하는 통화제어부;를 포함하는 실시간 통번역 통화서비스 시스템.
2. 청구항 1에 있어서,
   언어파악부는 복수의 단말기들의 전화번호를 이용하여 각각의 단말기에 해당하는 통화자들의 언어를 파악하는 것을 특징으로 하는 실시간 통번역 통화서비스 시스템.
3. 청구항 2에 있어서,
   언어파악부는 전화번호의 국가번호 또는 대표번호를 이용하여 언어를 파악하는 것을 특징으로 하는 실시간 통번역 통화서비스 시스템.
4. 청구항 1에 있어서,
   언어파악부는 단말기로부터 전달받는 수신음성의 언어의 종류를 파악하고 이를 이용하여 단말기에 해당하는 통화자의 언어를 파악하는 것을 특징으로 하는 실시간 통번역 통화서비스 시스템.
5. 청구항 1에 있어서,
   언어파악부는 복수의 단말기들의 전화번호를 이용하여 각각의 단말기에 해당하는 통화자들의 언어와 해당 업무분야를 파악하는 것을 특징으로 하는 실시간 통번역 통화서비스 시스템.
6. 청구항 5에 있어서,
   언어파악부는 통화중 사용빈도가 높은 단어를 기반으로 업무분야를 재파악하며, 재파악된 업무분야로 해당 전화번호에 매칭되어 있던 업무분야를 갱신하는 것을 특징으로 하는 실시간 통번역 통화서비스 시스템.
7. 청구항 5에 있어서,
   통번역부는 수신된 수신음성을 대상언어로 번역하여 전달음성을 합성하되, 파악된 업무분야를 반영하여 번역하는 것을 특징으로 하는 실시간 통번역 통화서비스 시스템.
8. 청구항 1에 있어서,
   통번역부는 업무분야별로 복수의 언어간에 서로 매칭이 되어 있는 번역사전DB가 구비된 것을 특징으로 하는 실시간 통번역 통화서비스 시스템.
9. 청구항 1에 있어서,
   통화제어부는 통번역부로부터 제공받는 번역된 전달음성을 수신음성의 제공이 완료된 후 연이어 타측 단말기와 발화자의 단말기에 제공하는 것을 특징으로 하는 실시간 통번역 통화서비스 시스템.
10. 청구항 1에 있어서,
    통화가 이루어진 전화번호, 수신음성, 번역문, 전달음성으로 구성된 통화내역을 저장하는 통화내역DB;를 더 포함하는 것을 특징으로 하는 실시간 통번역 통화서비스 시스템.
11. 청구항 1에 있어서,
    통번역부는 수신음성을 문장 단위로 인식하여 문장마다 실시간으로 번역하고 음성으로 합성하며, 일정시간 동안 수신음성이 묵음으로 유지될 경우 수신음성의 끝점으로 인식하고 합성된 하나 이상의 문장을 통합하여 전달음성을 생성하는 것을 특징으로 하는 실시간 통번역 통화서비스 시스템.
12. 청구항 1에 있어서,
    통번역부는 수신음성을 문장 단위로 인식하여 문장마다 실시간으로 번역하고 음성으로 합성하며, 단말기로부터 끝점임을 알리는 끝점신호가 입력된 경우 수신음성의 끝점으로 인식하고 합성된 하나 이상의 문장을 통합하여 전달음성을 생성하는 것을 특징으로 하는 실시간 통번역 통화서비스 시스템.
13. 청구항 11 또는 12에 있어서,
    통화제어부는 일측 단말기로부터 받는 수신음성을 실시간으로 타측 단말기로 전달하고, 수신음성의 끝점이 인식된 경우 하나 이상의 문장으로 구성된 전달음성을 통번역부로부터 전달받아 타측 단말기에 제공하는 것을 특징으로 하는 실시간 통번역 통화서비스 시스템.
14. 통화가 연결된 복수의 단말기들로부터 전달받은 정보를 이용하여 복수의 통화자의 언어를 파악하는 언어파악단계;
    일측 단말기로부터 수신되는 수신음성을 타측 단말기로 실시간으로 전송하는 원음전송단계;
    일측 단말기로부터 수신되는 수신음성을 타측 단말기에 해당하는 언어로 번역하고 전달음성을 합성하는 통번역단계; 및
    원음전송단계에서 수신음성을 타측 단말기로 전송한 후 연이어 합성된 전달음성을 타측 단말기로 전송하는 통역음전송단계;를 포함하는 실시간 통번역 통화서비스 제공방법.
15. 청구항 14에 있어서,
    언어파악단계는 복수의 단말기들의 전화번호를 이용하여 각각의 단말기에 해당하는 통화자들의 언어를 파악하는 것을 특징으로 하는 실시간 통번역 통화서비스 제공방법.
16. 청구항 14에 있어서,
    언어파악단계는 복수의 단말기들의 전화번호를 이용하여 각각의 단말기에 해당하는 통화자들의 언어와 해당 업무분야를 파악하는 것을 특징으로 하는 실시간 통번역 통화서비스 제공방법.
17. 청구항 16에 있어서,
    통화중 사용빈도가 높은 단어를 기반으로 업무분야를 재파악하며, 재파악된 업무분야로 해당 전화번호에 매칭되어 있던 업무분야를 갱신하는 갱신단계;를 더 포함하는 것을 특징으로 하는 실시간 통번역 통화서비스 제공방법.
18. 청구항 16에 있어서,
    통번역단계는 수신된 수신음성을 번역하여 전달음성을 합성하되, 파악된 업무분야를 반영하여 번역하는 것을 특징으로 하는 실시간 통번역 통화서비스 제공방법.
19. 청구항 14에 있어서,
    통역음전송단계는 원음전송단계에서 수신음성을 타측 단말기로 전송한 후 연이어 합성된 전달음성을 타측 단말기와 발화자의 단말기로 전송하는 것을 특징으로 하는 실시간 통번역 통화서비스 제공방법.
20. 청구항 14에 있어서,
    통번역단계는 수신음성을 문장 단위로 인식하여 문장마다 실시간으로 번역하고 음성으로 합성하며, 일정시간 동안 수신음성이 묵음으로 유지될 경우 수신음성의 끝점으로 인식하고 합성된 하나 이상의 문장을 통합하여 전달음성을 생성하는 것을 특징으로 하는 실시간 통번역 통화서비스 제공방법.
21. 청구항 20에 있어서,
    통역음전송단계는 수신음성의 끝점이 인식된 경우 연이어 합성된 전달음성을 타측 단말기로 전송하는 것을 특징으로 하는 실시간 통번역 통화서비스 제공방법.
22. 통화가 연결된 복수의 단말기들로부터 전달받은 정보를 이용하여 복수의 통화자의 언어를 파악하고, 일측 단말기로부터 수신되는 수신음성을 타측 단말기로 실시간으로 전송함과 동시에 문장 단위로 인식하여 타측 단말기에 해당하는 언어로 번역 및 음성의 합성을 수행하고, 수신음성이 일정시간 동안 묵음으로 유지될 경우 끝점으로 파악하며, 끝점이 파악된 경우 합성된 음성을 통합하여 전달음성을 생성하고 타측 단말기와 발화자의 단말기에 전달음성을 전송하는 실시간 통번역 통화서비스 제공방법.

Images