KR100556607B1

KR100556607B1 - 기계번역 시스템의 성능을 평가하기 위한 핵심어 전달율측정 방법

Info

Publication number: KR100556607B1
Application number: KR1020040057196A
Authority: KR
Inventors: 유초롱; 이영직; 박준
Original assignee: 한국전자통신연구원
Priority date: 2003-12-19
Filing date: 2004-07-22
Publication date: 2006-03-06
Also published as: KR20050062349A

Abstract

본 발명은 기계번역 시스템의 성능평가를 위한 핵심어 전달율 측정 방법에 관한 것이다. 본 발명은 기계번역 시스템에서 번역 대상인 원시 언어 문장의 형태소 분석결과를 이용하여 핵심어를 선정하고, 그 핵심어가 번역 결과인 목적 언어 문장에 전달된 정도를 측정, 핵심어 전달율 값을 얻고, 이를 통해 기계번역 시스템의 성능을 평가하기 위한 목적을 가진다. 본 발명의 핵심어 전달율 측정 방법은, (a) 번역 대상의 원시 언어 문장의 형태소를 분석하는 단계; (b) 소정의 분류 기준에 따라 상기 단계 (a)에서 얻어진 형태소 단위에서 핵심어를 선정하는 단계; (c) 상기 단계 (b)에서 선정된 핵심어에 해당하는 대역 아이템을 미리 준비되어 있는 원시-목적 언어의 대역 사전을 통해 검색하여 얻는 단계; (d) 기계번역 결과인 목적 언어 문장에 상기 단계 (c)에서 추출한 대역 아이템이 전달된 정도를 측정하는 단계; 및, (e) 평가 대상인 모든 코퍼스에 대해 상기 단계 (a) 내지 단계 (d)를 반복적으로 수행하고, 그 평균값을 이용하여 평가 대상인 코퍼스 전체에 대한 핵심어 전달율을 구하는 단계를 포함하는 것을 특징으로 한다.

기계번역 시스템(Machine Translation), 성능평가(Evaluation), 핵심어, 전달율

Description

기계번역 시스템의 성능을 평가하기 위한 핵심어 전달율 측정 방법{METHOD FOR MEASURING TRANSFER RATIO OF KEYWORD FOR EVALUATION OF MACHINE TRANSLATION SYSTEM}

도 1은 본 발명에서 핵심어 전달율을 측정하는 과정을 예시한 도면.

도 2는 본 발명의 실시예에 따른 핵심어 전달율 측정 방법의 처리 흐름을 나타낸 순서도.

본 발명은 기계번역 시스템의 성능을 평가하기 위한 핵심어 전달율 측정 방법에 관한 것으로서, 더욱 상세하게는 기계번역 시스템의 성능평가의 한 방법으로서, 번역 대상인 원시 언어 문장의 형태소 분석결과를 이용하여 핵심어를 선정하고 그 핵심어가 번역 결과인 목적 언어 문장에 전달된 정도를 측정하는 핵심어 전달율 측정 방법에 관한 것이다.

일반적으로, 기계번역 시스템의 성능평가는 객관적인 평가와 주관적인 평가 로 이루어진다. 객관적인 평가는 번역 대상 코퍼스(corpus)의 레퍼런스(reference)를 이용하여 번역 결과와 레퍼런스 사이의 n-gram 유사도를 측정하여 성능을 평가하는 방법이다. 여기서, "n-gram"은 인접한 n개의 음절을 의미한다.

객관적인 평가 방법의 대표적인 것으로는 IBM에서 제안한 BLEU(BiLingual Evaluation Understudy) 스코어링(scoring) 방법과, NIST에서 상기 BLEU 스코어링 방법을 보완하여 제안한 NIST 스코어링 방법이 있다. 기계번역의 객관전 성능평가 방법인 BLEU 스코어링 방법에 대해서, Kishore Papineni 등에 의해 "Bleu : a Method for Automatic Evaluation of Machine Translation"(Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics(ACL), Philadelphia, July 2002, p.311-318)에 논문이 발표된 바 있으며, 그 상세한 내용은 아래에서 설명한다.

BLEU 스코어링 방법의 측정기준의 기본은 정확도(precision) 측정이다. 상기 정확도를 계산하기 위해서는, 레퍼런스 번역 결과와 일치하는 기계번역 결과의 워드(unigram)들의 수를 카운트하고, 이것을 기계번역 결과의 총 워드수로 나눈다. 코퍼스 상의 전체 문서들에 대해서 기계번역 시스템을 평가하지만, 기본적인 평가의 단위는 문장이다.

우선, 문장 단위로 n-gram을 계산하고, 모든 평가 대상 코퍼스 문장들에 대해서 클립된 n-gram들을 카운트하며, 이것을 테스트 코퍼스에 해당하는 모든 번역 결과 문장 n-gram의 총합으로 나누어 변형된 정확도 스코어(modified precision score) Pn을 계산한다. BLEU는 테스트 코퍼스의 변형된 정확도 값의 기하학적 평 균(geometric mean)을 구하고 간결도 페널티(brevity penalty)를 곱하여 그 값을 구한다. 상기 간결도 페널티는 레퍼런스보다 번역 결과 문장 길이가 짧을 경우에 불이익을 주는 인자(factor)이다. 상기 간결도 페널티를 포함했을 때, 높은 점수를 받은 번역 결과 문장은 레퍼런스와 문장길이, 단어, 그리고 단어 순서가 잘 일치해야 한다.

BLEU 스코어의 범위는 0에서 1사이이다. 스코어가 1에 가까울수록 레퍼런스와 일치하는 부분이 많은 번역문이고, 성능평가 결과가 좋은 번역문이 된다. 레퍼런스가 많으면 많을수록 스코어는 좋아진다. 효율적인 성능평가를 위해서는 레퍼런스 셋의 구축이 중요한 요인이 된다. 상기 객관적인 평가 방법은 레퍼런스 셋에 따라 평가 결과가 달라지므로, 신뢰도가 떨어지고 레퍼런스 셋을 구축해야만 하는 제약이 따르는 단점을 가지고 있다.

기계번역 시스템의 주관적인 평가 방법은 기본적으로 타당성(adequacy)과 유창성(fluency)으로 평가할 수 있다. 상기 타당성은 원시 언어가 나타나 있는 정보가 번역 결과에 잘 반영되어 있는지에 대한 정도를 나타낸다. 상기 유창성은 목적 언어의 문법에 따라서 번역 결과가 얼마나 정형화 되었는지에 대한 정도를 나타낸다.

주관적인 평가를 위해서는 평가자가 필요하다. 타당성의 경우에는 수동 번역 결과 중 가장 좋은 결과를 하나 선택하여 번역 문장과 비교하여 평가하고, 유창성의 경우에는 레퍼런스 없이 정형화된 문법을 기준으로 평가한다. 주관적 평가의 경우 평가 결과는 신뢰성이 높지만, 재사용이 불가능하고 시간과 비용이 많이 드는 단점이 있다.

본 발명은 상기 설명한 종래의 기술적 과제를 해결하기 위한 것으로서, 기계번역 시스템의 성능평가를 위해 핵심어 개념을 도입하고, 그 핵심어가 번역결과에 전달된 정도를 측정하여 핵심어 전달율을 얻으며, 이러한 핵심어 전달율을 이용하여 기계번역의 성능을 평가할 수 있는 핵심어 전달율 측정 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명에 따른 기계번역 시스템의 성능을 평가하기 위한 핵심어 전달율 측정 방법은,

(a) 번역 대상의 원시 언어 문장의 형태소를 분석하는 단계;

(b) 소정의 분류 기준에 따라 상기 단계 (a)에서 얻어진 형태소 단위에서 핵심어를 선정하는 단계;

(c) 상기 단계 (b)에서 선정된 핵심어에 해당하는 대역 아이템을 미리 준비되어 있는 원시-목적 언어의 대역 사전을 통해 검색하여 얻는 단계;

(d) 기계번역 결과인 목적 언어 문장에 상기 단계 (c)에서 추출한 대역 아이템이 전달된 정도를 핵심어 전달율로서 측정하는 단계; 및,

(e) 평가 대상인 모든 코퍼스에 대해 상기 단계 (a) 내지 단계 (d)를 반복적 으로 수행하고, 그 평균값을 이용하여 평가 대상인 코퍼스 전체에 대한 핵심어 전달율을 구하는 단계를 포함하는 것을 특징으로 한다.

상기와 같이 구성되는 본 발명의 핵심어 전달율 측정 방법에 따르면, 기계 번역 과정을 거치면서 그 의미가 사라지지 않고 유지되어야만 하는 유의미한 기본 형태소 단위를 핵심어로 정의하고, 언어 문장으로부터 분할된 형태소 단위에서 소정의 미리 마련된 기준에 따라 핵심어를 선정하며, 상기 선정된 핵심어에 해당하는 대역 아이템을 대역사전에서 검색하여 기계번역 결과에 반영된 정도를 평가 대상 코퍼스 전체에 대해 측정함으로써 평가 대상 코퍼스 전체에 대한 핵심어 전달율을 얻을 수 있다.

이러한 본 발명의 핵심어 전달율 측정 방법은 기존의 기계번역 시스템에 대한 평가기준과는 달리 핵심어의 전달 정도를 평가함으로써 번역의도의 전달율 측정을 가능하게 하며, 기존의 객관적 평가 방법에서 요구되었던 레퍼런스의 구축을 불필요하게 만들며, 기존의 주관적 평가 방법에서 요구되었던 평가자, 시간과 비용의 절감을 가능하게 한다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명에서 핵심어 전달율을 측정하는 과정을 예시한 도면이고, 도 2는 본 발명의 실시예에 따른 핵심어 전달율 측정 방법의 처리 흐름을 나타낸 순서도이다.

상기 도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 기계번역 시스템의 성능을 평가하기 위한 핵심어 전달율 측정 방법은, 번역 대상인 원시 언어 문장을 형태소 단위로 분석하는 제1단계(S10); 번역과정에서 유의미한 정보를 포함하고 있을 것으로 추정되는 어휘와 형태소 단위를 선정하여 핵심어로 선정하는 제2단계(S20); 선정된 핵심어에 해당하는 대역 아이템을 원시-목적 언어의 대역 사전을 통해 검색하는 제3단계(S30); 기계번역 결과인 목적 언어 문장에 제3단계에서 추출한 대역 아이템이 전달된 정도인 핵심어 전달율을 측정하는 제4단계(S40); 평가 대상의 코퍼스에 대해 제1단계에서 제4단계까지의 과정을 반복 수행하고, 그 평균값을 이용하여 평가 대상 코퍼스 전체에 해당하는 핵심어 전달율을 구하는 제5단계(S50, S60)로 구성되어 있다.

아래에서는 상기 도 2에 도시된 각 단계에 대해 보다 상세하게 설명한다. 상기 제1단계(S10)에서는 번역 대상인 원시 언어 문장의 형태소 분석 과정이 수행된다. 예를 들어, 한-영 기계번역 시스템의 핵심어 전달율 측정을 가정할 경우, 한국어 형태소 분석기를 이용하여 번역 대상 한국어 문장의 형태소 분석 결과를 도출한다. 즉, 도 1에서 입력문장이 "기다려 주셔서 감사합니다"로 주어질 경우, 이에 대해 형태소 분석이 이루어지며, "기다려/pvg 주/px+셔/ep+서/ecs 감사/ncpa+하/xsv+ㅂ니다/ef"와 같이 형태소 분석 결과가 얻어진다. 상기 형태소 분석의 예에서 알파벳 pvg, px, ep 등으로 표현된 것은 품사태그이며, 그에 관한 구체적인 내용은 아래의 표 1을 통해 도시한다.

품사 태그		설명
pvg		일반동사
px		보조용언
ep		선어말어미
ecs		종속적 연결어미
ncpa		서술형, 동작성 명사
xsv		동사파생접미사
ef		종결어미

제2단계(S20)에서는 제1단계(S10)의 형태소 분석 결과를 이용하여 핵심어를 추출한다. 본 발명에서 사용되는 '핵심어'는 번역과정을 거치면서 그 의미가 사라지지 않고 유지되어야만 하는 유의미한 기본 형태소 단위라고 정의할 수 있다. 기본적으로 핵심어로 선정될 형태소들은 다음과 같이 크게 네 가지로 분류할 수 있다.

1. 관형사군

관형사군에 포함되는 형태소들은 성상 형용사, 수 형용사, 지시 관형사가 있다.

2. 명사군

명사군에 포함되는 형태소들은 비서술성 명사, 서술성/동작성 명사, 서술성/상태성 명사, 양수사, 숫자, 서수사, 지시 대명사, 인칭 대명사, 고유명사 등이다.

3. 동사/형용사군

동사/형용사군에 포함되는 형태소들은 성상 형용사, 지시 형용사, 지시 동사, 일반 동사 등이다.

4. 부사군

부사군에는 일반 부사와 지시 부사가 포함된다.

핵심어 선정을 위한 형태소의 선정은 위와 같이 이루어지며, 이 외에 각 원 시 언어의 고유한 특성과 의미에 기반한 특정 형태소가 핵심어로 추가되거나 누락될 수 있다. 한국어의 경우를 예로 들어보면 "있다", "주다", "보다"와 같은 보조용언들은 동사/형용사군에 포함되지만, 그 의미가 주 용언의 뜻을 보조하는데 그치고 기계번역 과정을 거친 후에는 그 의미가 유명무실해지므로 핵심어에서 제외한다. 이러한 경우가 언어적인 특수성으로 인해 어휘에 따라 핵심어에서 제외되거나추가되는 특별한 경우가 된다. 이는 한국어에 국한된 예를 보인 것이고, 원시 언어가 다양한 경우에는 각 원시 언어의 특성에 맞게 수정되어야 할 것이다. 도 1을 참조하면, "기다려/pvg 주/px+셔/ep+서/ecs 감사/ncpa+하/xsv+ㅂ니다/ef"와 같은 형태소 분석 결과로부터 핵심어로서 "기다려/pvg 감사/ncpa"가 추출된다.

제3단계(S30)는 제2단계(S20)를 거쳐 추출한 핵심어들을 원시-목적 언어의 대역 사전을 이용하여 검색하고, 핵심어에 해당하는 대역 아이템을 도출하는 과정을 수행한다. 즉, 도 1에 도시된 바와 같이, 상기 단계(S20)에서 추출된 핵심어인 "기다려"와 "감사"에 해당하는 "Wait"와 "thank you"가 대역 아이템으로서 도출된다.

예를 들어, 영한 기계번역 시스템의 핵심어 전달율을 측정하는 경우를 가정하면, 영한 대역 사전이 필요하다. 핵심어 추출 과정을 거쳐 얻어낸 핵심어는 'understand/pvg(어휘/형태소태그)'의 형태를 갖는다. 핵심어 어휘에 해당하는 '이해하다'라는 대역 아이템은 영한 대역 사전을 통해 얻어진다.

제4단계(S40)에서는 목적 언어 문장인 기계번역 결과와 제3단계(S30)에서 얻어낸 핵심어의 대역 아이템들을 이용하여 핵심어가 기계번역 결과에 전달된 정도를 측정한다. 핵심어 전달율 측정의 단위는 문장이고, 그 범위는 0에서 1사이의 값을 갖는다. 1에 가까운 값을 갖는 번역 결과 문장은 번역 대상 문장에서 추출한 핵심어가 거의 대부분 번역 결과에 전달되었음을 나타낸다. 핵심어의 전달 비율이 높을수록 번역 대상 문장에서 전달하고자 했던 의도가 전달될 확률도 높아지게 된다. 이는 문장의 정형화된 문법과는 별개로, 평가자나 기계번역 시스템의 사용자가 번역 대상 문장을 이해하는 이해도와 관련된 평가 방법이라 할 수 있다. 한 원시 언어 문장에서 추출해낸 핵심어는 5개이고, 이 5개의 핵심어들에 대한 대역 아이템이 기계번역 결과 문장에 3개 포함되어 있다면 핵심어 전달율은 0.6 (3/5)이 된다. 도 1을 참조하면, 추출된 2개의 핵심어인 "Wait"와 "Thank you"가 기계번역 결과인 "Thank you for waiting"에 모두 포함되어 있으므로, 핵심어 전달율은 2/2=1이 됨을 알 수 있다.

제5단계(S50, S60)에서는 평가 대상 코퍼스 전체에 대한 핵심어 전달율을 측정한다. 핵심어 전달율 측정의 기본 단위는 문장이다. 제1단계(S10)부터 제4단계(S40)까지 각 문장의 핵심어 전달율을 측정하고, 평가 대상 코퍼스 전체에 대해서 핵심어 전달율을 얻어내기 위해서는 코퍼스 전체에 대해서 제1단계(S10)에서 제4단계(S40)까지를 반복하면서 그 값의 평균을 구한다. 핵심어 전달율은 문장단위로 측정할 수 있으므로, 코퍼스 전체 문장 수를 카운트하고 각 문장의 핵심어 전달율 값을 모두 합한 후, 평가 대상 코퍼스의 전체 문장 수로 나누어 그 평균 값을 구하면, 그 값이 평가 대상 코퍼스의 핵심어 전달율이 된다.

상기 본 발명의 실시예에 따른 기계번역 시스템의 성능을 평가하기 위한 핵 심어 전달율 측정 방법은 컴퓨터 프로그램으로 제작되어서 하드디스크, 플로피 디스크, 광자기 디스크, 씨디 롬, 롬, 램 등의 기록매체에 저장될 수 있다.

상기와 같은 본 발명은, 기계번역 성능평가 방법으로써 핵심어를 선정하고 그 핵심어가 번역과정에서 유실되지 않는 유의미한 정보를 포함하고 있다는 가정하에 번역 대상 문장이나 코퍼스가 포함하고 있는 번역에 중요한 핵심 정보가 기계번역 결과에 전달되는 정도를 측정한다. 이러한 핵심어 전달율은 번역에 필요한 유의미한 정보의 전달이라 할 수 있다. 이는 기존에 사용되는 기계번역 시스템의 평가기준과는 다른 번역의도 전달을 측정할 수 있는 새로운 기준이 될 수 있을 것으로 기대하며, 원시-목적 언어의 대역 사전과 형태소 분석 결과만을 이용하여 평가 결과를 도출할 수 있으므로, 객관적 평가 방법에서 필요한 레퍼런스를 구축하는데 드는 시간과 비용을 절감하고, 주관적 평가 방법에서 필요한 평가자, 시간과 비용을 절약할 수 있게 해줄 것이다.

이상으로 설명한 것은 본 발명에 따른 기계번역 시스템의 성능을 평가하기 위한 핵심어 전달율 측정 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구의 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 미친다고 할 것이다.

Claims

기계번역 시스템의 성능평가를 위한 핵심어 전달율 측정 방법에 있어서

(a) 번역 대상의 원시 언어 문장의 형태소를 분석하는 단계;

(b) 소정의 분류 기준에 따라 상기 단계 (a)에서 얻어진 형태소 단위에서 핵심어를 선정하는 단계;

(c) 상기 단계 (b)에서 선정된 핵심어에 해당하는 대역 아이템을 미리 준비되어 있는 원시-목적 언어의 대역 사전을 통해 검색하여 얻는 단계;

(d) 기계번역 결과인 목적 언어 문장에 상기 단계 (c)에서 추출한 대역 아이템이 전달된 정도를 핵심어 전달율로서 측정하는 단계;

(e) 평가 대상인 모든 코퍼스에 대해 상기 단계 (a) 내지 단계 (d)를 반복적으로 수행하고, 그 평균값을 이용하여 평가 대상인 코퍼스 전체에 대한 핵심어 전달율을 구하는 단계를 포함하는 것을 특징으로 하는 기계번역 시스템의 성능을 평가하기 위한 핵심어 전달율 측정 방법.
제1항에 있어서, 상기 단계 (b)의 소정의 분류기준은,

성상 형용사, 수 형용사 및 지시 관형사를 포함하는 관형사군과,

비서술성 명사, 서술성/동작성 명사, 서술성/상태성 명사, 양수사, 숫자, 서수사, 지시 대명사, 인칭 대명사 및 고유 명사를 포함하는 명사군과,

성상 형용사, 지시 형용사, 지시 동사 및 일반 동사를 포함하는 동사/형용사군과,

일반 부사 및 지시 부사를 포함하는 부사군을 핵심어로 선정하도록 하는 분류기준을 가지는 것을 특징으로 하는 기계번역 시스템의 성능을 평가하기 위한 핵심어 전달율 측정 방법.
제1항에 있어서, 상기 단계 (d)에서의 핵심어 전달율은,

상기 단계 (b)에서 선정된 핵심어에 해당하는 대역 아이템이 기계 번역 결과에 포함되는 비율을 측정하여 얻어지는 것을 특징으로 하는 기계번역 시스템의 성능을 평가하기 위한 핵심어 전달율 측정 방법.
제1항에 있어서, 상기 단계 (e)에서 평가 대상인 코퍼스 전체에 대한 핵심어 전달율은,

평가 대상인 코퍼스의 전체 문장 수를 카운트하여 각 문장의 핵심어 전달율 값을 모두 합한 후, 평가 대상 코퍼스의 전체 문장 수로 나누어 그 평균을 구함으로써 얻어지는 것을 특징으로 하는 기계번역 시스템의 성능을 평가하기 위한 핵심어 전달율 측정 방법.
제1항 내지 제4항 중 어느 한 항에 기재된 기계번역 시스템의 성능을 평가하기 위한 핵심어 전달율 측정 방법을 컴퓨터 상에서 실행 가능하도록 된 프로그램을 저장하고 있는 기록매체.