KR100261273B1 - 다국어 기계번역 장치를 위한 다국어용 숙어 인식 시스템 - Google Patents

Abstract

본 발명은 제 1 언어를 다국어로 동시에 번역하는 시스템에 관한 것으로, 숙어 인식 시스템을 제 1 언어의 문장으로부터 여러 언어의 문장들을 번역하여 출력할 수 있게 하는 다국어용 숙어 사전과; 제 1 언어의 문장으로부터 상기 숙어 사전에 등록된 모든 가능한 숙어들을 발견하는 숙어 검색 수단과; 상기 숙어 사전을 메모리에 올리는 사전 로딩 수단; 메모리 상에서의 숙어 인덱스로 구성하고, 상기 숙어 인식 시스템을 이용한 다국어 기계번역 장치와; 상기 숙어 인식 결과를 이용하여 각각의 여러 대역 언어의 문장들을 위한 변환기 또는 생성기를 수행하여 여러 언어를 동시에 출력하는 다국어 기계번역 장치를 포함하여 구성된다.

Description

다국어 기계번역 장치를 위한 다국어용 숙어 인식 시스템

본 발명은 제 1 언어의 문장을 여러(둘 이상) 언어의 문장으로 번역하는 다국어 기계번역 장치에서, 제 1 언어의 문장 중의 모든 가능한 숙어들을 빠르게 인식하고, 그에 따른 여러 언어로의 번역 문장들을 용이하게 제공하여 다국어 기계번역 장치의 성능 향상에 기여하는 숙어 인식 시스템에 관한 것이다.

최근 제 1 언어의 문장을 제 2 언어의 문장으로 번역하는 기계번역 장치들이 많이 소개되고 있다. 이러한 장치들은 입력 원문에 대하여 형태소 해석, 구문 해석, 변환 및 생성의 일반적인 단계를 거쳐서 다른 언어의 원문으로 번역하는 것을 목적으로 하고 있다. 그런데, 이러한 기계번역 장치들은 하나의 언어 쌍(하나의 입력 언어와 하나의 출력 언어)에 대해서만 작동하는 것들이 주종을 이루고 있는데, 영-한(英-韓) 기계번역 장치, 일-한(日-韓) 기계번역 장치 등이 그 예이다.

그렇지만, 국제 회의나 다국적 기업 등의 경우에는 여러 언어를 동시에 사용하는 경우가 많은데, 이들을 지원할 수 있는 다국어 기계번역 장치가 아직까지 많이 소개되고 있지 못하다. 비록 하나의 입력 언어에 대해 여러 언어의 출력을 제공한다는 일반 개념을 이용한 다국어 기계번역 장치의 방법론이 소개는 되었지만, 어떻게 동시에 여러 언어의 번역을 실현할 수 있을 것인가에 대한 기술은 알려진바 없다.

본 발명에 따른 숙어의 개념은 숙어 인식을 이용한 일반적인 기계번역 장치에서와 같은 개념으로 정의한다. 즉, 본 발명에서는 숙어를 복합 명사, 연어, 복합 술어구들을 포함하는 개념으로 본다.

숙어 인식을 이용한 기계번역 장치가 소개된 적이 있지만, 숙어 인식의 효율성을 살릴 수 있는 인덱스 구조를 제시하고 있지 못하다. 이런 숙어 인식 시스템의 숙어 인식 방법은 사전 내의 모든 숙어 목록에 대해서 순차적인 검색을 한다는 기본적인 개념만을 제시함으로써 사전 목록의 확장에 따른 시간 복잡도의 급격한 증가를 피할 수 없다. 또한, 상기의 숙어 인식 수단은 제 1 언어와 제 2 언어 사이에서의 입력과 출력 관계만으로 한정하여 제 1 언어로부터 여러 언어로의 번역을 수행하는 다국어 기계번역 시스템에 적용시키지 못하는 부적합함을 보여준다.

이에 따라 여러 언어로의 적용이 가능하며, 숙어 인식을 통한 자연스럽고 융통성 있는 번역 문장들을 동시에 제공할 수 있는 다국어 기계번역 장치와 이 장치에 포함된 효율적인 다국어용 숙어 인식 시스템이 필요하다.

따라서, 본 발명은 상기와 같은 결점들을 감안해서 발명된 것으로, 제 1 언어의 문장을 여러 언어의 문장으로 번역할 수 있으며, 효율적인 숙어 인식 시스템을 통하여 빠른 속도로 자연스러운 출력 언어들을 보여주는 다국어 기계번역 장치를 제공함에 그 목적이 있다.

도 1은 본 발명에 의한 다국어 기계번역 장치의 개념을 보인 블록도.

도 2는 본 발명에 따른 다국어용 숙어 인식 시스템을 포함하는 다국어 기계번역 장치의 블록도.

도 3은 본 발명에 따른 다국어용 숙어 인식 시스템의 블록도.

도 4는 본 발명에 따른 메모리 상의 숙어 인덱스의 블록도 및 실시예.

도 5는 본 발명에 따른 다국어용 숙어 인식 시스템의 세부 흐름도.

＜도면의 주요부분에 대한 부호의 설명＞

11 : 입력장치 12 : 문장 입력부

13 : 다국어 기계번역 장치 14 : 인쇄부

15 : 인쇄장치 16 : 표시 제어부

17 : 표시장치 21 : 형태소 분석부

22 : 숙어인식시스템 23 : 구문분석부

24-26 : 변환부 27-29 : 문장생성부

31 : 숙어 검색부 32 : 대표품사 부착부

33 : 다국어용 숙어사전 34 : 사전 로딩부

35 : 숙어인덱스 메모리 41 : 시작 인덱스

42 : 구성 인덱스 43 : 정보 인덱스

상기 목적을 달성하기 위한 본 발명에 따른 다국어 기계번역 장치 내부의 숙어 인식 시스템은 제 1 언어의 문장으로부터 여러 언어의 문장들을 번역하여 출력할 수 있게 하는 다국어용 숙어 사전과; 제 1 언어의 문장으로부터 상기 숙어 사전에 등록된 모든 가능한 숙어들을 발견하는 숙어 검색 수단과; 상기 숙어 사전을 메모리에 올리는 사전 로딩 수단; 메모리 상에서의 숙어 인덱스와; 상기 숙어 인식 시스템을 이용한 다국어 기계번역 장치와; 상기 숙어 인식 결과를 이용하여 각각의 여러 대역 언어의 문장들을 위한 변환기 또는 생성기를 수행하여 여러 언어를 동시에 출력하는 다국어 기계번역 장치를 포함하는 것을 특징으로 한다.

상기한 구성으로 된 본 발명에 의하면, 다국어용 숙어 사전을 메모리에 정해진 형태의 인덱스 구조로 번형 시켜서 올린다. 또한, 제 1 언어의 문장으로부터 하나의 단어씩 이동하면서 다국어용 숙어 사전으로부터 가능한 모든 숙어들을 발견하여 해당 숙어 정보 내의 여러 언어를 위한 대역 정보들을 다국어 기계번역 장치에 제공하고, 상기 다국어 기계번역 장치는 이 대역 정보들을 이용하여 동시에 여러 언어의 문장을 번역하고 출력할 수 있는 각각의 언어를 위한 변환기와 생성기를 제공한다.

이하, 본 발명의 실시예를 첨부된 도면을 참조해서 상세히 설명하면 다음과 같다.

도 1은 본 발명에 의한 다국어 기계번역 장치의 개념을 보인 블록도이다.

다국어 기계번역 장치는, 입력 장치(11)인 키보드나 텍스트 파일로 제 1 언어의 문장을 입력받는 문장 입력부(12)와, 입력 문장을 번역하여 여러 언어의 문장들을 생성하는 다국어 기계번역 장치(13), 출력 문장들을 프린터 등의 인쇄 장치(15)에 내보내는 인쇄부(14), 모니터 등의 표시 장치(17)로 내보내는 표시부(16)로 구성되어 있다.

예를 들어, 상기의 다국어 기계번역 장치가 영어를 한국어, 일본어, 중국어로 번역하는 작업을 수행하는 경우에는 제 1 언어가 영어이며, 출력 언어1이 한국어, 출력 언어2가 일본어, 출력 언어3이 중국어가 된다.

도 2는 본 발명에 따른 숙어 인식 시스템을 포함하는 다국어 기계번역 장치의 블록도이다. 이 다국어 기계번역 장치는 기존의 형태소 분석부(21)를 이용하여 제 1 언어의 문장에 대해 형태소 분석을 수행한다. 숙어 인식 시스템(22)은 다국어용 숙어 사전을 이용하여 입력 문장 내의 모든 가능한 숙어들을 발견하여 다국어 처리를 위한 각 출력 언어의 대역 정보들을 구문 분석부(23)에 제공한다. 구문 분석부(23)는 인식된 숙어 결과를 이용하여 일반적인 구문 분석을 수행하고 그 결과를 동시에 각 출력 언어를 위한 변환부(24, 25, 26)에 넘긴다. 각 변환부들은 자신이 담당하고 있는 언어에 맞게 구문 분석된 입력 문장을 변환하여 각 출력 언어들을 위한 생성부들(27, 28, 29)에 넘긴다. 이들을 통하여 다국어 기계번역 장치의 작업 목적에 맞는 여러 출력 언어들을 생성해 낼 수 있다.

도 3은 다국어 기계번역 장치를 위한 숙어 인식 시스템의 블록도로, 텍스트 파일 형태의 다국어용 숙어 사전(33)을 메모리 상의 숙어 인덱스(35)로 올리기 위하여 사전 로딩부(34)를 사용한다. 사전 로딩부(34)는 순차적인 구성 형태를 갖는 숙어 사전 구조를 효율적인 숙어 검색에 맞도록 이질 노드(고정 단어 노드와 숙어 변수 노드)를 가진 트라이 구조로 변형하여 메모리에 올린다. 기존의 트라이 구조는 한 종류의 노드들에 대해서만 검색이 가능하도록 설계된 구조이나, 본 발명에 따른 숙어 표현 구조는 서로 다른 성질의 두 가지 종류의 노드들에 대해 검색이 가능하도록 개선된 트라이 구조이다. 숙어 검색부(31)는 메모리 상의 숙어 인덱스(35)를 검색하여 입력 문장 내에서 발견할 수 있는 모든 가능한 숙어들을 얻어낸다. 대표 품사 부착부(32)는 구문 분석부가 인식된 숙어들에 대해 구문 문법을 올바르게 적용할 수 있도록 그 숙어에 맞는 대표 품사를 숙어 정보로부터 얻는다.

도 4는 메모리 상의 숙어 인덱스(35)의 세부 구조에 대한 예이다. 숙어 인덱스는 시작(Beginning) 인덱스(41), 구성(Constituent) 인덱스(42), 정보(Information) 인덱스(43)로 구성된다. 시작 인덱스(41)는 각 숙어의 첫 번째 고정 단어의 처음 두 문자로 배열을 만들어 빠른 검색을 가능하도록 하는 역할을 한다. 구성 인덱스(42)는 숙어 표현이 갖는 두 가지의 다른 요소들(예. provide ... from ...에서의 provide, from과 같은 고정 단어들과 ...과 같은 숙어 변수들)을 표현하고, 효율적으로 검색할 수 있도록 개선된 트라이 구조이다. 일반적인 트라이 구조는 어느 한 노드가 형제 노드와 자식 노드를 가질 수 있으며, 그 노드에서 매칭에 성공하는 경우에 자식 노드로 이동하며, 실패하는 경우에 형제 노드로 이동하는 연산을 수행한다. 여기에 숙어 변수 노드들을 위한 연산들을 추가하여, 별도의 부담없이 이질의 노드들 상에서 숙어를 검색할 수 있도록 한다. 본 시스템에서의 형제 노드들의 배열 순서는 고정 단어 노드들이 먼저 오며, 숙어 변수 노드들이 나중에 온다. 정보 인덱스(43)는 각 숙어를 위하여 다국어 대역 정보를 포함한 숙어 정보들을 가지고 있다.

도 5는 구성 인덱스(42) 상에서의 검색 알고리즘을 보여준다. 자식 노드로 이동(go-to-child) 연산은 자식 노드로 이동하고, 입력 문장의 현재 검색 대상이 되는 단어를 다음 단어로 변경하는 연산을 말한다. 형제노드로 이동(go-to-sibling) 연산은 형제 노드로 이동하면서, 입력 문장의 검색 대상 단어를 변경하지 않는 연산을 말한다. 자식노드 통과(skip-to-child) 연산은 자식 노드로 이동하면서, 입력 문장의 검색 대상 단어를 변경하지 않는 연산을 말한다. 다음 단어로 통과(skip-to-next-word) 연산은 노드를 이동하지 않고, 입력 문장의 현재 검색 대상 단어를 다음 단어로 변경하는 연산을 말한다. 자식노드로 이동(go-to-child) 연산과 형제노드로 이동(go-to-sibling) 연산은 고정 단어 노드들을 위한 연산들이며, 자식노드 통과(skip-to-child) 연산과 다음 단어 통과(skip-to-next-word) 연산은 숙어 변수 노드들을 위한 연산들이다. 더 이상 이동할 자식 노드가 없으면서 현재의 노드가 숙어를 의미하는 마지막 노드인 경우(Information 인덱스(43)를 가리키는 노드)에는 현재까지의 경로를 숙어로 보고, 정보 인덱스(43) 내의 해당 숙어 정보를 가져온다. 더 이상 이동할 자식 노드가 없으면서 현재의 노드가 숙어를 의미하는 마지막 노드도 아닌 경우에는 숙어 인식에 실패한 것으로 판단한다. 더 이상 이동할 형제 노드가 없는 경우에도 숙어 인식에 실패한 것으로 판단한다.

도 5는 본 발명에 따른 숙어 인식 시스템의 세부 흐름도이다. 먼저, 입력 문장의 검색 대상 단어가 남아있는지를 검사한다(S501). 만일 단어가 남아있으면 입력 문장 상의 다음 단어를 구하여 검색을 시작한다(S502). 시작 인덱스(41)의 각 엔트리와의 매칭을 위해 단어의 처음 두 문자를 추출하고, 상기 인덱스 내에서의 해당 위치를 찾는다(S503). 비교에 실패한 경우에는 다음 단어로의 이동 여부를 검사하는 단계(S501)로 넘어간다. 성공하는 경우에는 본격적인 매칭을 위해서 구성 인덱스(42)로 이동한다(S504). 현재의 노드가 고정 단어 노드인지를 검사한다(S505). 현재의 노드가 고정 단어 노드인 경우에는 노드와의 비교 단계(S506)로 넘어가고, 그렇지 않은 경우에는 자식 노드 통과(skip-to-child) 연산(S509)을 수행한다. 고정 단어 노드인 경우에서 노드와의 비교에 성공하면 다음 단어와의 계속적인 매칭을 위해 자식 노드의 존재 여부를 검사(S512)하는 단계로 넘어가며, 그렇지 않은 경우에는 형제노드로 이동(go-to-sibling) 연산(S507)으로 넘어가 다른 형제 노드들과의 매칭을 시도한다. 자식 노드가 존재하는 경우에는 자식노드로 이동(go-to-child)(S508) 연산으로 넘어가며, 그렇지 않은 경우에는 현재의 노드가 정보 인덱스(43)를 가리키고 있는지를 검사(S513)하는 단계로 넘어간다. 이 단계에서 현재의 노드가 정보 인덱스(43)를 가리키고 있으면 숙어 인식에 성공한 것으로 판단한다. S505에서 현재의 노드가 숙어 변수 노드(고정 단어 노드와 반대되는 개념)인 경우에, 자식노드 통과(skip-to-child) 연산을 수행하고, 이동된 자식 노드와의 비교를 시도한다(S510). 비교에 성공한 경우에는 S512로 넘어가며, 그렇지 않은 경우에는 다음 단어 통과(skip-to-next-word)(S511) 연산을 수행하여 다음 단어와의 연속적인 매칭을 시도한다.

다음은 도 5의 알고리즘의 실시 예를 보여주기 위한 예제이다.

입력 문장: "I gain the money to ..."

상기 문장과 도 4와의 매칭을 통한 과정은 다음과 같다.

S501 -> S502(현재 단어는 I) -> S503(비교에 실패)-> S501 ->

S502(현재 단어는 gain) -> S503(비교에 성공) -> S504 ->

S505(현재 노드는 gain) -> S506(비교에 성공) -> S512 ->

S508(현재 단어는 the) -> S504 -> S505(현재 노드는 a) -> S506(비교에 실패) ->

S507(현재 노드는 #1, 숙어 변수 노드) -> S505(숙어 변수 노드) ->

S509(현재 노드는 to) -> S510(비교에 실패) -> S511(현재 단어는 money) ->

S510(비교에 실패) -> S511(현재 단어는 to) -> S510(비교에 성공) ->

S512 -> S513(더 이상의 자식 노드가 없으므로 숙어로 인식, 숙어는 gain #1 to)

상기 숙어 인식 시스템의 알고리즘의 시간 복잡도는

Best case인 경우에는

= n = O(n)

Worst case인 경우에는

=

≺ n(n*S) = O(n²),

의 값은 형제 노드의 레벨 n까지의 형제 노드 수의 합으로 O(n) 이하의 시간 복잡도를 가짐.

(n: 입력 문장의 단어 수, d: Constituent 인덱스의 d번째 형제 노드 레벨, Sd는 d번째 형제 노드 레벨에서의 해당 단어를 위한 형제 노드들의 수, S: Sd의 최대값으로 d의 범위는 1부터 n까지)

본 발명에 따른 숙어 인식 시스템은 단순하게 숙어 사전의 각 숙어 엔트리들과 순차적으로 매칭시키는 알고리즘과 비교하여 모든 입력 문장의 단어들에 대해서 한 번의 매칭만을 시도하고, 숙어를 발견해 낼 수 있다는 점에서 장점을 가진다.

다음은 본 발명에 의한 제 1 언어를 위한 여러 언어의 대역 정보를 가지고 있는 숙어 사전을 이용하여 숙어 인식을 수행한 실시 예를 보여준다.

예제문장 1

"An honorable man always abides by his promises."

형태소 해석결과

An(DT) honorable(JJ) man(NN) always(RB) abide(VBZ) by(IN) his(PRP$) promise(NNS) .(.)

숙어인식 결과

An(DT) honorable(JJ) man(NN) always(RB)

abide(VBZ:IS=*1:RPTC=VBZ:TK="#0을 지키다":TJ="を守る":TC="守#0") by(IN) his(PRP$) promise(NNS) .(.)

상기 예에서는 제 1 언어가 영어이며, 대상이 되는 여러 언어는 한국어, 일본어, 중국어이다. TK는 한국어 대역 정보이며, TJ는 일본어 대역 정보이며, TC는 중국어 대역 정보이다.

이상에서 상세히 설명한 바와같이 본 발명은, 제 1 언어의 문장을 여러언어의 문장으로 번역할 수 있으며, 효율적인 숙어 인식 시스템을 통하여 빠른 속도로 자연스러운 출력언어를 보여줄수 있는 효과가 있다.

Claims (3)

1. 입력된 제 1 언어의 문장에 대해 형태소 분석을 수행하는 형태소 분석부(21)와,

   다국어용 숙어 사전을 이용하여 상기 형태소 분석이 이루어진 입력 문장 내의 모든 가능한 숙어들을 검출하여 다국어 처리를 위한 각 출력 언어의 대역 정보들을 제공하는 숙어 인식 시스템(22)과,

   그 숙어 인식 시스템(22)의 숙어 인식 결과에 의거한 각 출력언어의 대역정보를 이용하여 일반적인 구문 분석을 수행하는 구문 분석부(23)와,

   상기 구문분석부(23)에서 구문 분석된 구문들을 자신이 담당하는 언어에 맞게 각각 변환하는 각 언어별 변환부와,

   상기 각 언어별 변환부에서 각각 출력되는 언어들을 해당 언어에 맞게 문장으로 생성하여 출력하는 언어별 문장 생성부로 다국어 기계번역 시스템을 구성하되;

   상기 숙어 인식 시스템은,

   제 1 언어의 문장으로부터 여러 언어의 문장들을 번역하여 출력할 수 있게 하는 다국어용 숙어 사전과;

   상기 숙어 사전을 메모리에 올리는 사전 로딩 수단;

   상기 제 1 언어의 문적이 상기 숙어 사전에 등록된 숙어인지를 검색하기 위해서 등록된 숙어들에 대한 숙어 인덱스를 로딩시켜두기 위한 메모리와,

   상기 형태소 분석부의 형태소 분석정보를 이용하여 제 1 언어의 문장에서 상기 숙어사전에 등록된 숙어가 있는지를 상기 메모리의 숙어인덱스를 활용하여 검색하는 숙어 검색부와,

   인식된 숙어들에 대해 구문 문법을 올바르게 적용할 수 있도록 그 숙어에 맞는 대표 품사를 숙어 정보로부터 얻어서 대표품사를 부착하여 상기 구문 분석부에 제공하는 대표 품사 부착부로 구성된 것을 특징으로 하는 다국어 기계번역 장치를 위한 다국어용 숙어 인식시스템.
2. 제 1 항에 있어서, 상기 사전 로딩부는,

   순차적인 구성 형태를 갖는 숙어 사전 구조를 효율적인 숙어 검색에 맞도록 고정 단어 노드와 숙어 변수 노드로 이루어진 이질노드를 가진 트라이 구조로 변형하여 메모리에 올려 서로 다른 성질의 두 가지 종류의 노드들에 대해 검색이 가능하도록 하는 것을 특징으로 하는 다국어 기계번역 장치를 위한 다국어용 숙어 인식 시스템.
3. 제 1 항에 있어서, 상기 메모리 상의 숙어 인덱스는,

   각 숙어의 첫 번째 고정 단어의 처음 두 문자로 배열을 만들어 빠른 검색을 가능하도록 하는 역할을 하는 시작 인덱스(41)와,

   숙어 표현이 갖는 고정 단어들과 숙어 변수들로 두가지 다른 요소들을 표현하고, 효율적으로 검색할 수 있도록 어느 한 노드가 형제 노드와 자식 노드를 가질 수 있으며, 그 노드에서 매칭에 성공하는 경우에 자식 노드로 이동하며, 실패하는 경우에 형제 노드로 이동하는 연산을 수행하게 함과 동시에 숙어 변수 노드들을 위한 연산들을 추가한 트라이 구조로 이루어지고, 형제 노드들의 배열 순서는 고정 단어 노드들이 먼저 오며, 숙어 변수 노드들이 나중에 오도록 이루어진 구성 인덱스(42)와,

   각 숙어를 위하여 다국어 대역 정보를 포함한 숙어 정보들을 가지는 정보 인덱스(43)로 이루어진 것을 특징으로 하는 다국어 기계번역 장치를 위한 다국어용 숙어 인식시스템.

Images