KR100859532B1 - 대응 문형 패턴 기반 자동통역 방법 및 장치 - Google Patents

Abstract

자동통역을 실현함에 있어서, 간단한 구조로 정확한 통역성능을 얻기 위한 장치 및 방법이 개시된다. 자동통역은 입력되는 문장과 출력되는 문장이 각각 다른 언어이므로, 각 언어를 처리하는 기술이 요구되며, 기능적으로 유사한 작업이라 하더라도 각 언어에 대하여 반복적으로 수행하게 되어 전체 작업이 복잡하게 된다. 그런데, 자동통역에서 입력문장과 출력문장은 서로 다른 언어이지만 그 의미는 같아야 하며, 어휘나 문장 형태에 대응관계가 존재한다. 이 점을 토대로, 본 발명에서는 자동통역 처리과정에서 언어간 대응관계를 단순한 구조로 표현하고 이를 활용함으로써, 처리 과정상에서 일관성을 유지하고, 불필요한 중복작업을 피하며, 오류가능성을 감소시켜 성능을 향상시킨다.

문형패턴, 통역, 문형네트워크, 대응 문형관계, 대역어휘, 문형 운율정보

Description

대응 문형 패턴 기반 자동통역 방법 및 장치{Automatic speech translation method and apparatus based on corresponding sentence pattern}

도 1은 본 발명에 따른 대응 문형패턴 기반 자동통역 장치를 나타내는 블록도.

도 2a 내지 도 2c는 본 발명에 따른 음성인식기의 문형네트워크를 나타내는 예시도.

도 3a 및 도 3b는 본 발명에 따른 음성인식기에서 출력하는 문형패턴 및 부속 어휘 목록의 예시도.

도 4는 본 발명에 따른 언어번역기 처리과정을 나타내는 도면.

도 5는 본 발명에 따른 음성합성기에서 사용하는 문형패턴운율정보 표현의 예시도.

본 발명은 자동 통역 장치에 관한 것으로, 더욱 상세하게는 문형 패턴을 이 용하여 자동 통역을 수행하는 대응 문형패턴 기반의 자동통역 방법 및 장치에 관한 것이다.

일반적으로, 자동통역을 실현하기 위해서는 먼저 한 언어의 음성을 문장으로 변환하는 음성인식 과정와 그 문장을 동일한 의미를 갖는 다른 언어의 문장으로 변환하는 언어번역과정, 그리고, 마지막으로 변환된 문장에 해당하는 음성을 생성하여 출력하는 음성합성과정의 세 가지 단계를 거치며, 통상적으로 각 처리 과정간 입출력으로서 텍스트 문장을 사용한다.

그런데, 통상적인 이러한 세 가지 기술요소는 각각 독립적으로 개발되어 왔으며, 자동통역의 처리과정에서도 독립적으로 수행한다. 이로 인하여 자동통역 전체의 관점에서, 보다 효율적으로 처리할 수 있을지라도 각각 과정에서 같은 종류의 작업을 반복하게 되어 전체 수행의 측면에서 비효율성을 초래한다.

즉, 음성인식과정에서 형태소 분석 정보를 사용한다 하더라도 음성인식 결과를 단순히 텍스트로 산출하기 때문에 언어번역과정에서는 이 텍스트 입력을 대상으로 형태소 분석이나 구문분석 등을 다시 수행하게 된다. 또한, 언어번역과정에서 산출한 출력문장도 텍스트의 형태로 음성합성과정에 전달되며, 음성합성과정에서는 끊어읽기 정보, 운율정보 등을 추출하기 위하여 입력문장을 대상으로 형태소 분석작업을 반복적으로 수행한다.

이러한 과정에서 과정별 처리에서의오류가 발생할 수 있으며, 이러한 오류가 누적되어 전체 자동통역의 성능을 떨어뜨리는 결과를초래하는 문제점이 있었다.

본 발명의 목적은 자동통역의 과정에서 텍스트 대신 문형패턴으로서 결과를 산출하여 다음 과정로 전달함으로써, 기능적으로 불필요한 반복작업을 피하고 한번 처리하여 얻은 정보는 계속 유지, 활용하는 대응 문형패턴 기반 자동통역 방법 및 장치를 제공하는 데 있다.

이를 위하여, 본 발명에 따른 대응 문형패턴 기반 자동통역 장치는, 입력 음성신호에 대해 문형 네트워크를 탐색하여 입력 문형패턴과 상기 입력 문형패턴에 포함된 클래스의 해당 어휘를 출력하는 음성인식기 상기 입력 문형패턴 및 상기 클래스의 어휘를 입력받아 대응관계 문형사전 및 대역어휘 사전을 이용하여 상대 언어의 문형패턴 및 클래스의 어휘를 출력하는 언어번역기 및 상기 상대 언어의 문형패턴에 해당하는 운율정보를 문형 운율정보 사전에서 검색하여 상기 검색결과를 토대로 음성을 합성하여 출력하는 음성합성기를 포함한다.

또한, 본 발명에 따른 대응 문형패턴 기반 자동통역 방법은, (a) 입력 음성신호로부터 음성인식에 사용되는 음성 특성을 추출하여 상기 입력 음성신호와 가장 일치하는 입력 문형패턴을 출력하는 단계 (b) 상기 입력 문형패턴에 대응하는 출력 문형패턴을 검색하고, 상기 입력 문형패턴에 포함된 어휘에 대한 대역어휘를 검색하여 상기 출력 문형패턴과 함께 출력하는 단계 (c) 상기 출력 문형패턴에 대한 운율정보를 추출하는 단계 및 (d) 상기 운율정보를 토대로 음성신호를 합성하는 단계를 포함하는 것을 특징으로 한다.

이하 본 발명의 바람직한 실시예에 대하여 설명하면 다음과 같다. 본 발명은 어느 언어 간 자동통역에도 적용할 수 있으나, 설명의 편의를 위하여 본 명세서에서는 일 예로서 한국어와 영어 간 자동통역을 예로 들어 설명한다.

도 1은 본 발명에 따른 대역 문형패턴 기반 자동통역 장치를 나타내는 블록도이다.

도 1에 도시한 바와 같이, 상기 장치는, 크게 음성 인식기(100)와, 언어 번역기(200)와, 음성 합성기(300)를 포함한다.

먼저, 음성인식기(100)는, 입력 음성신호로부터 음성인식에 사용되는 음성 특성을 추출하는 특징 추출부(110)와, 음성인식 탐색시 사용되는 음향 모델을 저장하는 음향 모델부(120)와, 문장 탐색에 해당하는 음향 모델을 구축할 때 이용되는 발음열 정보를 수록한 발음사전(130)과, 음향 모델부(120) 및 발음사전(130)으로 구축된 탐색 공간에서 음성 신호에 대해 확률적으로 가장 가까운 문장을 선택하는 문형 네트워크(140)와, 상기 특징 추출부(110)에서 추출된 음성 특성을 토대로 문형 네트워크(140)를 탐색하여 입력 음성신호와 가장 잘 일치하는 문장을 인식결과로 출력하는 문장 탐색부(150)를 포함한다.

문형 네트워크(140)는 인식 대상 문장들을 각각 구성 단어의 네트워크로 표기한 문형 패턴의 집합이며, 두 언어 간에 대응관계를 가질 수 있는 문장 구성요소를 설정하여 이 문장 구성요소를 단위로 하여 문형패턴을 구성한다.

예컨대, 인식대상 문장 "인천에서 뉴욕까지 비행기로얼마나 걸립니까?"에 해 당하는 문형패턴을 도 2a에 도시한다.

도 2a 내지 도 2c는 본 발명에 따른 음성인식기의 문형네트워크를 나타내는 예시도로서, 도 2a는 상술한 문장 구성요소를 단위로 하여 이루어진 문형 패턴들의 집합을 나타낸다.

도 2a를 참조하면, 두 언어 간에 대응관계를 가질 수 있는 문장 구성요소로는 <지명 1>, <지명 2>, <교통 수단>을 예로 들 수 있다. 하나의 문형 패턴은 이러한 문장 구성요소들로서 이루어지고, 이 문형 패턴들이 모여 문형 네트워크를 형성한다.

도 2b 및 도 2c는 본 발명에 따른 문형 네트워크에 대한 각 문장 구성요소의 클래스 네트워크를나타내며, 이와 같은 형태의 문형 네트워크에 대한 클래스 네트워크가 후술할 대응관계 문형사전에 저장된다. 즉, 문형패턴이 보다 많은 문장을 수용할 수 있도록 같은 성격의 단어에 대해서는 클래스를 도입하여 하나의 대표 클래스로 나타낸다.

이에 따라, 음성인식기(100)는 그 인식결과를, 도 3a에 도시한 테이블과 같이, 하나 이상의 문장 구성요소로 구성된 문형패턴과, 그 문형패턴에 포함된 클래스에 해당하는 단어로서 출력한다.

특히, 도 3b를 참조하면, 기본 문형에서 생략되는 부분을 표기하기 위하여 생략 가능한 문장 구성요소에 일련번호를 미리 부여하고, 음성인식기(100)의 인식결과에서의각 구성요소의 포함 여부를 나타내는 태그를 함께 출력하여 통역한다. 예컨대, "뉴욕까지 비행기로 얼마나 걸립니까" 라는 입력에 대해서는 구성요소 '<지명1>에서' 부분을 건너뛰게 되며, 이러한 경우 문장구성요소가 포함되지 않음을 나타내는 태그 'X'를 부착한다.

이와 같이, 본 발명에 따른 음성 인식기(100)는 입력 음성신호에 대해 특정 문형패턴 및 그에 포함된 클래스 해당 단어로 출력함으로써, 종래의 언어번역기에서 수행하는 형태소분석, 구문분석, 문장 생성 등과 같은 복잡한 과정을 생략하도록 하며, 또한 단순한 사전 검색 작업으로 대응 문형패턴을 얻을 수 있어, 수행시간을 감축하고, 정확한 번역률을 얻을 수 있다.

언어번역기(200)는 서로 다른 언어 간 대응 문형패턴을 수록한 대응관계 문형사전(210)과, 이 대응관계 문형사전(210)을 이용하여 입력 문형패턴에 대응하는 출력 문형패턴을 검색하는 대응문형 선택부(220)와, 서로 다른 언어 간 대응 어휘를 수록한 대역어휘 사전(230)과, 이 대역어휘 사전(230)을 이용하여 입력 문형패턴에 포함된 어휘에 대한 대역어휘를 검색하는 대역어휘 처리부(240)를 포함한다.

여기서, 대응관계 문형사전(210)을 구축할 때, 문장 구성요소 별로 대응관계를 유지하고 입력된 문형에서의 구성요소별포함 여부를 표기하여 해당 구성요소로 이루어진 상이한 언어의 대응 문형패턴을 산출함으로써, 하나의 기본 문형을 가지고, 적어도 하나 이상의 구성요소가 생략된 다수의 문장들을 수용할 수 있도록 하여 결과적으로 입력 문장의 수용범위를 확장한다.

이와 같이 구성된 언어번역기(200)는 음성인식기(100)의 출력 결과에 나타난 특정 문형패턴에 대응하는 상대 언어 문형패턴을 대응관계 문형사전(210)에서 탐색 하여, 그 문형패턴 내에 포함된 클래스에 해당하는 어휘의 대역 어휘를 대역어휘사전(230)에서 추출하여 번역결과를 산출한다.

예를 들어, "인천에서 뉴욕까지 비행기로 얼마나 걸립니까?"라는 입력 음성신호에 대하여, 도 4의 테이블(410)과 같은 문형패턴과 테이블(420)과 같은 클래스 해당 어휘가 언어번역기에 입력된다.

그러면, 대응문형 선택부(220)는 대응관계 문형사전(210)을 이용하여 한국어 표현 문형패턴의 테이블(410)에 대응하는 영어 문형패턴의 테이블(450)을 선정하고, 대역어휘 처리부(240)는 각 문장 구성요소에 포함된'인천', '뉴욕', '비행기'의 어휘에 대하여, 대역어휘사전(230)을 이용하여 대역어휘'Incheon', 'New York', 'plane'을 찾으면, 테이블(440)과 같다. 이어, 예문 중 '인천에서'는 한국어 문장 구성요소 '<지명1>에서'에 대응되고, 이는 영어 문장 구성요소 'from <지명1>'에 대응되도록 하면, 그 번역 결과 역시 문형패턴과 그 안에 포함된 클래스에 해당하는 단어로 이루어진 테이블(450)을 출력한다.

이와 같이 본 발명에 따른 언어번역기(200)는 단순한 구조로 이루어지며, 문형패턴이나 대역어휘 간에 일대일로 대응관계가 명확하게 처리되므로 문형패턴으로 수용되는 입력에 대해서 정확한 번역을 수행할 수 있다. 이에 따라, 다양한 문장에 대하여 자동통역을 하고자 하는 경우에는, 예상되는 입력 문장을 수용할 수 있도록 대응관계 문형사전(210)을 사전에 구축하여야 하며, 미리 대처하지 못한 문장에 대해서는 대응관계 문형사전(210)에 해당 문형패턴 및 대역 어휘를 추가함으로써 처리할 수 있다.

한편, 음성 합성기(300)는 상기 문형에 해당하는 운율정보를 수록한 문형 운율정보 사전(310)과, 이 문형 운율정보 사전(310)을 이용하여 상기 음성 합성기(300)에 입력되는 대역 문형패턴에 대한 운율정보를 추출하는 문형 운율정보 추출부(320)와, 합성음편이 저장된 합성음편 DB(330)와, 합성음 생성 파라미터 DB(340)와, 이 합성음편 DB(330)를 통한 합성음편 연결방식 또는 음성신호 합성부(350)를 포함한다.

이러한 음성 합성기(300)는, 자연스러운 합성음성을생성하기 위하여 문장을 구성하는 어휘 간 끊어 읽는 정도 및 각 어휘에 대한 강세 등 다양한 운율정보가 필요하며 이러한 정보는 문형에 의하여 결정되므로, 문형패턴에 음성합성기(300)에서 필요한 다양한 운율정보를 담은 문형 운율정보 사전(310)을 미리 구축해 놓고, 언어번역기(200)에서 전달되는 문형패턴에 해당하는 운율정보를 추출하며, 이 운율정보를 이용하여 합성음편 연결방식이나 파라미터에 의한 음성신호 생성 방법 등으로 음성신호를 생성한 후, 최종 합성음성을 출력한다.

상술한 바와 같은 문장에 대하여 강세의 정도와 어휘 간 휴지 구간의 길이 등 문형 운율정보를 표현한 예가 도 5에 예시되어 있으며, 응용에 따라 고유한 형식을 설계하거나, W3C(World Wide Web Consortium)에서 정한 SSML(Speech Synthesis Markup Language) 표준을 따를 수 있다.

따라서, 음성합성기(300)는 입력 문형패턴에 해당하는 운율정보를 문형 운율정보사전(310)을 검색하여 용이하게 얻을 수 있어, 기존 방식에서와 같이 문장으로 부터 여러 분석작업을 통하여 추출해야 하는 부담을 제거하고, 문형에 해당하는 정확한 운율정보를 얻을 수 있다.

이상에서 설명한 바와 같이 본 발명에 따르면, 자동통역의 각 단계에서 텍스트 대신 문형패턴을 중심으로 처리하는 방법을 제시함으로써 구조 및 동작을 단순화시킴과 동시에 고품질의 자동통역 성능을 얻을 수 있는 효과가 있다. 특히, 문장을 매개로 처리하는 경우와 비교할 때 각 단계에서 같은 성격의 작업을 반복적으로 수행하는 부담과 이에 따른 성능 저하를 피할 수 있는 효과가 있다.

또한, 본 발명에 따르면, 문형패턴의 대응관계나운율정보 등에 대하여 사전에 처리 가능한 작업을 미리 수행하여 필요한 정보를 구축해 놓음으로써 실제 동작할 때의 작업량을 크게 감소시키는 효과가 있다.

결과적으로, 본 발명에 따른 자동 통역 장치는 단순한 구조 및 동작으로 고품질의 자동통역을 실현할 수 있으며, 다양한 자동통역 서비스에 본 발명을 응용할 수 있다.

Claims (7)

1. 입력 음성신호에 기반하여 문형 네트워크를 탐색하고, 탐색 결과에 따라 입력 문형패턴 및 상기 입력 문형패턴에 포함된 클래스의 해당 어휘를 출력하는 음성인식기;

   상기 입력 문형패턴 및 상기 클래스의 해당 어휘를 입력받아 대응관계 문형사전 및 대역어휘 사전을 이용하여 대역 언어의 문형패턴 및 클래스의 어휘를 출력하는 언어번역기; 및

   상기 대역 언어의 문형패턴에 해당하는 운율정보를 문형 운율정보 사전에서 검색하여 상기 검색결과를 토대로 음성을 합성하여 출력하는 음성합성기

   를 포함하는 것을 특징으로 하는 대응 문형패턴 기반 자동통역 장치.
2. 제 1 항에 있어서, 상기 음성 인식기는,

   상기 입력 음성신호로부터 음성인식에 사용되는 음성 특성을 추출하는 특징 추출부; 및

   상기 추출된 음성 특성에 따라 음향모델 및 발음사전을 토대로 문형 네트워크를 탐색하고, 탐색 결과에 따라 상기 입력 음성신호에 대해 확률적으로 가장 가까운 문장의 문형패턴을 상기 문형 네트워크로부터 선택하여 출력하는 문장 탐색부

   를 포함하는 것을 특징으로 하는 대응 문형패턴 기반 자동통역 장치.
3. 제 1 항에 있어서, 상기 언어번역기는,

   서로 상이한 언어 간 대응 문형패턴을 수록한 대응관계 문형사전;

   상기 대응관계 문형사전을 이용하여 상기 입력 문형패턴에 대응하는 출력 문형패턴을 검색하는 대응문형 선택부;

   상기 서로 상이한 언어 간 대응 어휘를 수록한 대역어휘 사전; 및

   상기 대역어휘 사전을 이용하여 상기 입력 문형패턴에 포함된 어휘에 대한 대역 어휘를 검색하는 대역어휘 처리부

   를 포함하는 것을 특징으로 하는 대응 문형패턴 기반 자동통역 장치.
4. 제 3 항에 있어서, 상기 대응문형 선택부는,

   상기 입력 문형패턴에서의 문장 구성요소별 포함 여부를 표기하여 해당 구성요소로 이루어진 대역 언어의 출력 문형패턴을 출력하는 것을 특징으로 하는 대응 문형패턴 기반 자동통역 장치.
5. 제 1 항에 있어서, 상기 음성합성기는,

   대역 언어의 문형패턴에 해당하는 운율정보를 수록한 문형 운율정보 사전;

   상기 문형 운율정보 사전을 이용하여 상기 언어번역기가 출력하는 대역 언어의 문형패턴에 대한 운율정보를 추출하는 문형 운율정보 추출부; 및

   상기 운율정보를 토대로 음성신호를 합성하는 음성신호 합성부

   를 포함하는 것을 특징으로 하는 대응 문형패턴 기반 자동통역 장치.
6. (a) 입력 음성신호로부터 음성인식에 사용되는 음성 특성을 추출하여 상기 입력 음성신호와 가장 일치하는 입력 문형패턴 및 상기 입력 문형패턴에 포함된 클래스의 해당 어휘를 출력하는 단계;

   (b) 상기 입력 문형패턴에 대응하는 출력 문형패턴을 검색하고, 상기 클래스의 해당 어휘에 대한 대역어휘를 검색하여 상기 출력 문형패턴과 함께 출력하는 단계;

   (c) 상기 출력 문형패턴에 대한 운율정보를 추출하는 단계; 및

   (d) 상기 운율정보를 토대로 음성신호를 합성하는 단계

   를 포함하는 것을 특징으로 하는 대응 문형패턴 기반 자동통역 방법.
7. 삭제

Images