KR20080049764A

KR20080049764A - 주석화된 코퍼스의 분할화 오류를 탐지하는 방법

Info

Publication number: KR20080049764A
Application number: KR1020087007111A
Authority: KR
Inventors: 창-닝 후앙; 지안펭 가오; 무 리
Original assignee: 마이크로소프트 코포레이션
Priority date: 2005-09-30
Filing date: 2006-09-28
Publication date: 2008-06-04
Also published as: US20070078644A1; CN101278284A; WO2007041328A1

Abstract

분할화 오류 후보는 주석화된 코퍼스에서 별견되는 분할화 변동을 이용하여 탐지된다.

분할화, 주석화, 코퍼스, 분할화 변동, 분할화 불일치

Description

주석화된 코퍼스의 분할화 오류를 탐지하는 방법{DETECTING SEGMENTATION ERRORS IN AN ANNOTATED CORPUS}

이하의 논의는 단순히 일반적 배경 정보를 제공함에 그 목적이 있고, 특허 청구 범위의 범위를 정하기 위하여 사용된 것은 아니다.

단어 분할화는(word segmentation) 텍스트와 같은 언어의 표현을 이루는 개별적 단어를 식별하는 처리를 의미한다. 단어 분할화는 철자법 및 문법, 텍스트로부터 음성 합성, 그리고 자연 언어 분석 및 이해의 수행 등 개별적 단어의 식별로서 도움이 되는 모든 분야에서 유용하게 사용된다.

영어 텍스트의 단어 분할화를 수행하는 것은 띄어쓰기 및 구두점이 텍스트의 개별 단어를 구별해주기 때문에 다소 간단하다. 이하의 영어 문장을 고려해보자.

The motion was then tabled -- that is, removed indefinitely from consideration.

연속하는 인접한 띄어쓰기 및/또는 구두점 각각에 대해 연속하는 단어의 끝부분으로써 식별함에 따라, 위의 영어문장은 이하와 같이 쉽게 분할화된다.

The motion was then tabled -- that is, removed indefinitely from consideration.

하지만, 이에 제한되는 것은 아니지만 중국어와 같은 텍스트는, 단어의 경계 는 명시적이라기보다는 함축적이다. "위원회는 이 문제에 대해 어제 저녁 부에노스아이레스에서 논의하였다."는 뜻의 이하의 문장을 살펴보자.

문장의 띄어쓰기 및 구두점이 없음에도 불구하고, 중국어를 읽는 자는 이하와 같이 구분된 단어로서 이루어진 문장으로 인식할 수 있다.

단어 분할화 시스템은 중국어와 같이 띄어쓰기 및 구두점이 없는 언어를 자동으로 분할하도록 발전되었다. 또한, 많은 시스템은 문장의 단어에 대한 정보를 포함시키기 위해 결과의 분할된 텍스트에 주석을 달 수 있다. 텍스트의 객체명(named entities)의 인식 및 이에 따른 주석화는 일반적이며 유용하다. 객체명은 통상적으로, 일부만을 가리키기 위해 이름, 지명, 수량, 일자 또는 시간을 포함하는 문장 또는 어구의 중요한 용어이다. 그러나, 상이한 시스템은 분할화 및 주석화를 수행할 때 상이한 사항 및 규칙을 따를 수 있다. 예를 들어, 일 시스템은 사람의 이름을 단일 객체명으로서 다루고 주석화를 할 수 있는 반면, 다른 시스템은 사람의 성과 이름을 분리된 객체명으로서 다루고 이에 따라 주석화할 수 있다. 각각의 시스템 출력이 타당하다고 여겨질 수 있지만, 시스템 간의 비교는 어렵다.

최근에, 방법론(methodology)은 상이한 시스템간의 비교에 도움이 되는 방향으로 발전해왔다. 통상적으로, 방법론은 알려진 트레이닝 데이터(traning data) 및 테스트 데이터(test data)를 포함한다. 트레이닝 데이터는 각 시스템을 트레이 닝하는데 사용되며, 테스트 데이터에 대하여 실험이 행해질 수 있고, 이것의 출력은 이론적으로 비교될 수 있다. 그러나, 트레이닝 데이터 및 테스트 데이터 사이의 불일치가 존재한다는 점에서 문제가 발견될 수 있다. 이러한 불일치의 관점에서, 시스템간의 정확한 비교가 행해질 수 없고, 불일치가 시스템의 출력에도 영향을 미칠 수 있기 때문에 거짓 오류(false error) 즉, 시스템에 의해서가 아닌 데이터에 의한 오류를 발생시킨다.

본 요약은 이하 실시예에서 보다 구체적으로 기재된 발명의 사상을 선택적이며 간략화된 형식으로 소개시키기 위해 제공되었다. 본 요약은 특허 청구 범위의 대상에 대한 주요 특징 또는 필수적 특징을 식별하기 위한 것이 아니며, 또한 특허청구 범위의 범위를 정하기 위해 사용되지 아니하였다.

분할화 오류 후보는 주석화된 코퍼스에서 발견되는 분할화 변동(segmentation variation)에 의해 탐지될 수 있다. 코퍼스 내의 분할화 오류를 탐지하는 것은 코퍼스가 정확하고 일정한 것을 확실하게 함으로써, 다른 시스템으로 오류가 전파되는 것을 감소시킨다. 주석화된 코퍼스의 분할화 오류를 발견하기위한 한가지 방법은 컴퓨터로서 코퍼스로부터의 복수 문자 단어의 분할화 변동 인스턴스의 세트를 얻는 것이다. 각각의 세트는 코퍼스 내 단어의 하나 이상의 분할화 변동 인스턴스를 포함하고 있다. 각각의 분할화 변동 인스턴스는 분할화 변동 인스턴스가 분할화 오류인지 여부를 식별하기 위해 컴퓨터로서 언어 분석기로 렌더링된다.

다른 태양으로, 주석화된 코퍼스의 분할화 오류율이 계산될 수 있다. 특히, 주석화된 코퍼스는 분할화 변동을 확인하기 위해 컴퓨터로 처리된다. 분할화 변동은 분할화 변동의 분할화 오류를 식별하기 위해 컴퓨터로써 언어제공기로 제공되거나 렌더링된다. 코퍼스에 대한 분할화 오류율은 분할화 오류의 갯수를 기초로 계산된다.

도 1은 컴퓨팅 환경의 예시적인 실시예의 블록도.

도 2는 코퍼스의 분할화 오류를 식별하기 위한 방법의 흐름도.

도 3은 코퍼스 또는 코퍼스들의 분할화 오류를 식별하기 위한 방법의 보다 자세한 흐름도.

도 4는 도 2 또는 도 3의 방법을 수행하는 시스템의 블록도.

이곳에서 기술되는 발명 사상의 일 태양은, 단어 분할화 시스템의 평가(evaluation)와 같은 단어 분할화에서 사용되는 트레이닝 및 테스트 데이터 간의 불일치를 탐지하기 위한 방법을 포함한다. 하지만, 다른 태양을 더 기술하기 이전, 이곳에서 기술된 사상이 구현될 수 있는 적절한 컴퓨팅 시스템 환경(100)의 예시를 기술하는 것은 유용할 것이다. 컴퓨팅 시스템 환경(100)은 적절한 컴퓨팅 환경의 일 예시에 지나지 않으며, 본 발명의 사용 또는 기능의 범위를 한정하기 위한 것이 아니다. 컴퓨팅 환경(100)이 예시적인 동작 환경(100)에서 도시된 임의의 일 컴포넌트 또는 이들의 조합에 관련된 임의의 의존성 내지 요구사항을 갖는다고 해 석되어서는 안된다.

여기에 제공된 예시에 더하여, 다른 공지의 컴퓨팅 시스템, 환경 및/또는 구성이 여기에 기술된 발명의 사상을 실시하기에 적당할 수 있다. 그러한 시스템은 퍼스널 컴퓨터, 서버 컴퓨터, 휴대용 또는 랩톱 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋톱 박스, 프로그램가능한 가전제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 상기 시스템들이나 장치들 중 임의의 것을 포함하는 분산 컴퓨팅 환경, 기타 등등이 있지만 이에 제한되는 것은 아니다.

본 발명의 사상은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터 실행가능 명령어의 일반적 문맥에서 구현될 것이다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 개체, 컴포넌트, 데이터 구조 등을 포함한다. 당업자는 발명의 상세한 설명 및/또는 도면에 대해, 이하에서 논의되는 컴퓨터 판독 가능 매체의 임의 형태에 저장될 수 있는 컴퓨터 판독 가능 명령어로서 구현할 수 있다.

본 발명은 또한 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 태스크가 수행되는 분산 컴퓨팅 환경에서 실시되도록 설계된다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 비롯한 로컬 및 원격 컴퓨터 저장 매체 둘다에 위치할 수 있다.

도 1과 관련하여, 본 발명을 구현하는 예시적인 시스템은 컴퓨터(110) 형태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(110)의 컴포넌트들은 프로세싱 유닛(120), 시스템 메모리(130) 및 시스템 메모리를 비롯한 각종 시스템 컴포넌트들 을 프로세싱 유닛(120)에 연결시키는 시스템 버스(121)를 포함하지만 이에 제한되는 것은 아니다. 시스템 버스(121)는 메모리 버스 또는 메모리 컨트롤러, 주변 장치 버스 및 각종 버스 아키텍처 중 임의의 것을 이용하는 로컬 버스를 비롯한 몇몇 유형의 버스 구조 중 어느 것이라도 될 수 있다. 예로서, 이러한 아키텍처는 ISA(industry standard architecture) 버스, MCA(micro channel architecture) 버스, EISA(Enhanced ISA) 버스, VESA(video electronics standard association) 로컬 버스, 그리고 메자닌 버스(mezzanine bus)로도 알려진 PCI(peripheral component interconnect) 버스 등을 포함하지만 이에 제한되는 것은 아니다.

컴퓨터(110)는 통상적으로 각종 컴퓨터 판독 가능 매체를 포함한다. 컴퓨터(110)에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있고, 이러한 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 착탈식 및 비착탈식 매체를 포함한다. 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함하지만 이에 제한되는 것은 아니다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터(110)에 의해 액세스되고 원하는 정보를 저장할 수 있는 임의의 기타 매체를 포함하지만 이에 제한되는 것은 아니다. 통신 매체는 통상적으로 반 송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등을 구현하고 모든 정보 전달 매체를 포함한다. "피변조 데이터 신호"라는 용어는, 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 예로서, 통신 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함하지만 이에 제한되는 것은 아니다. 상술된 매체들의 모든 조합은 또한 컴퓨터 판독가능 매체의 영역 안에 포함되는 것으로 한다.

시스템 메모리(130)는 판독 전용 메모리(ROM)(131) 및 랜덤 액세스 메모리(RAM)(132)와 같은 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 시동 중과 같은 때에, 컴퓨터(110) 내의 구성요소들 사이의 정보 전송을 돕는 기본 루틴을 포함하는 기본 입/출력 시스템(BIOS)(133)은 통상적으로 ROM(131)에 저장되어 있다. RAM(132)은 통상적으로 처리 장치(120)가 즉시 액세스 할 수 있고 및/또는 현재 동작시키고 있는 데이터 및/또는 프로그램 모듈을 포함한다. 예로서, 도 1은 운영 체제(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136) 및 프로그램 데이터(137)를 도시하고 있지만 이에 제한되는 것은 아니다.

컴퓨터(110)는 또한 기타 착탈식/비착탈식, 휘발성/비휘발성 컴퓨터 저장매체를 포함한다. 단지 예로서, 도 1은 비착탈식·비휘발성 자기 매체에 기록을 하 거나 그로부터 판독을 하는 하드 디스크 드라이브(141), 착탈식·비휘발성 자기 디스크(152)에 기록을 하거나 그로부터 판독을 하는 자기 디스크 드라이브(151), CD-ROM 또는 기타 광 매체 등의 착탈식·비휘발성 광 디스크(156)에 기록을 하거나 그로부터 판독을 하는 광 디스크 드라이브(155)를 포함한다. 예시적인 운영 환경에서 사용될 수 있는 기타 착탈식/비착탈식, 휘발성/비휘발성 컴퓨터 기억 매체로는 자기 테이프 카세트, 플래시 메모리 카드, DVD, 디지털 비디오 테이프, 고상(solid state) RAM, 고상 ROM 등이 있지만 이에 제한되는 것은 아니다. 하드 디스크 드라이브(141)는 통상적으로 인터페이스(140)와 같은 비착탈식 메모리 인터페이스를 통해 시스템 버스(121)에 접속되고, 자기 디스크 드라이브(151) 및 광 디스크 드라이브(155)는 통상적으로 인터페이스(150)와 같은 착탈식 메모리 인터페이스에 의해 시스템 버스(121)에 접속된다.

위에서 설명되고 도 1에 도시된 드라이브들 및 이들과 관련된 컴퓨터 저장 매체는, 컴퓨터(110)에 대한 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터를 저장한다. 도 1에서, 예를 들어, 하드 디스크 드라이브(141)는 운영 체제(144), 애플리케이션 프로그램(145), 기타 프로그램 모듈(146), 및 프로그램 데이터(147)를 저장하는 것으로 도시되어 있다. 여기서 주의할 점은 이들 컴포넌트가 운영 체제(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136), 및 프로그램 데이터(137)와 동일하거나 그와 다를 수 있다는 것이다. 이에 관해, 운영 체제(144), 어플리케이션 프로그램(145), 기타 프로그램 모듈(146) 및 프로그램 데이터(147)에 다른 번호가 부여되어 있다는 것은 적어도 이들이 다른 사 본(copy)이라는 것을 나타내기 위한 것이다.

사용자는 키보드(162), 마이크(163) 및 마우스, 트랙볼(trackball) 또는 터치 패드와 같은 포인팅 장치(161) 등의 입력 장치를 통해 명령 및 정보를 컴퓨터(110)에 입력할 수 있다. 다른 입력 장치(도시 생략)로는 마이크, 조이스틱, 게임 패드, 위성 안테나, 스캐너 등을 포함할 수 있다. 이들 및 기타 입력 장치는 종종 시스템 버스에 결합된 사용자 입력 인터페이스(160)를 통해 처리 장치(120)에 접속되지만, 병렬 포트, 게임 포트 또는 USB(universal serial bus) 등의 다른 인터페이스 및 버스 구조에 의해 접속될 수도 있다. 모니터(191) 또는 다른 유형의 디스플레이 장치도 비디오 인터페이스(190) 등의 인터페이스를 통해 시스템 버스(121)에 접속될 수 있다. 모니터 외에, 컴퓨터는 스피커(197) 및 프린터(196) 등의 기타 주변 출력 장치를 포함할 수 있고, 이들은 출력 주변장치 인터페이스(195)를 통해 접속될 수 있다.

컴퓨터(110)는 원격 컴퓨터(180)와 같은 하나 이상의 원격 컴퓨터로의 논리 접속을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(180)는 또 하나의 퍼스널 컴퓨터, 휴대용 장치, 서버, 라우터, 네트워크 PC, 피어 장치 또는 기타 통상의 네트워크 노드일 수 있고, 통상적으로 컴퓨터(110)와 관련하여 상술된 구성요소들의 대부분 또는 그 전부를 포함한다. 도 1에 도시된 논리적 접속으로는 LAN(171) 및 WAN(173)이 있지만, 기타 네트워크를 포함할 수도 있다. 이러한 네트워킹 환경은 사무실, 전사적 컴퓨터 네트워크(enterprise-wide computer network), 인트라넷, 및 인터넷에서 일반적인 것이다.

LAN 네트워킹 환경에서 사용될 때, 컴퓨터(110)는 네트워크 인터페이스 또는 어댑터(170)를 통해 LAN(171)에 접속된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(110)는 통상적으로 인터넷과 같은 WAN(173)을 통해 통신을 설정하기 위한 모뎀(172) 또는 기타 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(172)은 사용자 입력 인터페이스(160) 또는 기타 적절한 메커니즘을 통해 시스템 버스(121)에 접속된다. 네트워크화된 환경에서, 컴퓨터(110) 또는 그의 일부와 관련하여 기술된 프로그램 모듈은 원격 메모리 저장 장치에 저장될 수 있다. 예로서, 도 1은 원격 애플리케이션 프로그램(185)이 원격 컴퓨터(180)에 있는 것으로 도시하고 있지만 이에 제한되는 것은 아니다. 도시된 네트워크 접속은 예시적인 것이며 이 컴퓨터들 사이에 통신 링크를 설정하는 기타 수단이 사용될 수 있다는 것을 이해할 것이다.

본 발명은 도 1에 대해 기술하고 있는 바와 같은 컴퓨팅 시스템에서 실행될 수 있다. 하지만, 서버, 메시지 관리 전용 컴퓨터 또는 분산 컴퓨팅 시스템의 서로 다른 부분에서 발명의 상이한 부분이 실행되는 분산 시스템 등이 다른 적절한 시스템으로 활용될 수 있다.

이상에서 나타낸 바와 같이, 일 태양은 이에 제한되는 것은 아니지만, 중국어와 같은 주석화된 코퍼스의 분할화 오류를 탐지하여 이 데이터의 품질을 향상시키는 방법을 포함한다. 예로서, 중국어를 사용하여, 코퍼스에서 한번 이상 발생되는 중국 문자의 문자열(string)은 상이한 분할화의 결과를 낳을 수 있다. 이러한 차이는 분할화 불일치로 고려될 수 있다. 하지만, 이 분할화 차이의 명쾌한 설명 을 제공하기 위하여, "분할화 불일치" 대신에 새로운 용어 "분할화 변동(segmentation variation)"이 사용될 것이고, 이는 이후 보다 자세하게 기술될 것이다.

도 2와 관련하여, 오류율을 제공하기 위해 주석화된 코퍼스 내의 분할화 오류를 탐지 또는 분별하는 방법(200)은 이하의 단계를 포함한다: (1)단계(202)에서 분할화 변동을 확인하기 위해 주석화된 코퍼스를 컴퓨터로 자동 처리 (2)단계(204)에서 컴퓨터를 이용하여 분할화 변동을 언어 분석기로 전송하여 이 후보 내에서 분할화 오류를 식별. 이후, 단계(206)에서, 코퍼스에서 확인된 오류의 갯수가 세어지고, 이에 따라 코퍼스의 분할화 오류율(오류의 갯수/코퍼스의 분할화 갯수)이 주어지며 이는 그렇지 아니하면 기록되거나 주목되지 않는 가치있는 정보이다.

그러나, 주석화된 코퍼스에서 발견되는 분할화 불일치의 대부분은 조합 모호 문자열(combination ambiguity string)의 올바른 분할화로 판명되었음이 관찰되었다. 그러므로, 이는 주석화된 코퍼스의 품질에 접목하기 위한 적절한 기술 용어가 아니다. 게다가, "분할화 불일치"라는 개념으로 주석화된 코퍼스 내의 서로 다른 일치하지 않는 구성 요소를 구별하기 어렵고, 따라서 분할화 오류의 갯수를 정확하게 세기 어렵다. 이에 따라, 이하에서 정의할 새로운 용어 "분할화 변동(segmentation variation)"은 "분할화 불일치"를 대신하여 사용될 것이다.

이하의 정의는 "분할화 변동", "분할화 인스턴스" 및 "오류 인스턴스"(즉, "분할화 오류")를 정의한다.

정의 1: 주석화 또는 미리 분할된 코퍼스 C(단어를 분리시키는 코퍼스 C의 경계 주석)에서, f(W, C)의 세트는 f(W, C)={코퍼스 C에서 단어 W가 갖는 모든 가능한 분할화}로 정의된다. 다른 방법으로 말해, 각각의 세트 f는 코퍼스 C에 단어 W의 서로 다른 분할화를 포함한다. 예를 들어, 코퍼스 C에 존재하는 "February 17, 2005"로 이루어진 단어 W에 대하여, 세트 f의 코퍼스 C에서의 다른 분할화는 "February 17," "2005"(즉, 두 개의 표시), 또는 "February", "17," "2005"(즉, 세 개의 표시)일 수 있다.

정의 2는 정의 1을 확립시키며 이하는 제공한다.

정의 2:

인 경우에 한하여, W는 C에 관하여 "분할화 변동 타입"(이하 "분할화 변동"으로 부른다)이다. 다른 방법으로 말하여, 세트 f의 크기가 1보다 클 경우, 세트 f는 "분할화 변동"으로 불린다.

정의 3은 정의 2를 확립시키며 이하를 제공한다.

정의 3: f(W, C)의 단어의 인스턴스는 분할화 변동 인스턴스("변동 인스턴스")로 불린다. 그러므로, "분할화 변동"은 코퍼스 C에 두개 이상의 "분할화 인스턴스"를 포함한다. 더 나아가, 각각의 변동 인스턴스는 하나 이상의 표시(token)를 포함할 수 있다.

정의 4는 정의 3을 확립하고 이하를 제공한다.

정의 4: 만약 변동 인스턴스가 올바르지 못한 분할화인 경우, 이는 "오류 인스턴스"로 불린다.

코퍼스에 분할화 변동이 존재하는 것은 두 가지 이유에 기인한다. 1)모호 성: 변동 타입 W는 서로 다른 적법한 문맥(legitimate context)에서 복수의 가능한 분할화를 갖는다. 2)오류: W는 올바르지 못하게 분할되었고, 이는 주어진 목록(lexicon) 또는 사전에 의해 판단될 수 있다. "분할화 변동", "분할화 인스턴스" 및 "오류 인스턴스"의 정의는 명백히 이러한 불일치 구성요소를 구분시켜서, 분할화 오류의 갯수의 계산은 정확할 수 있다.

모호성에 의해 야기되는 분할화 변동은 "CAS 변동"이라고 불리고, 오류에 의해 야기되는 분할화 변동은 "non-CAS 변동"이라고 불린다. 분할화 변동 각각의 종류는 오류 인스턴스를 포함할 수 있다.

도 3은 분할화 변동을 발견하고 이를 처리하기 위한 방법(300)을 수행하는 흐름도를 나타내고, 도 4는 방법(300)을 수행하기 위한 시스템(400)을 도식적으로 나타낸다. 당업자는 알 수 있듯이, 시스템(300)은 컴퓨팅 환경(100) 또는 이상에서 기술한 바와 같이 다른 컴퓨팅 환경에서 구현될 수 있다. 더 나아가, 시스템(400)의 모듈은 이해를 위해 제공되었고, 개별적인 태스크, 또는 태스크의 조합을 수행하기 위해 다른 모듈이 사용될 수 있음이 이해되어야 한다.

일반적으로, 방법(300) 및 시스템(400)은 분할화 변동의 리스트(412), 두 코퍼스(404, 406) 간의 분할화 에러(418) 및 분할화 인스턴스(414)의 리스트 또는 단일 코퍼스(420)의 그러한 리스트를 출력할 수 있다.

설명된 바와 같이 방법(300)은 단계(302)로서 개시될 수 있고, 이 단계에서, 세트가 하나의 인스턴스를 갖는 경우에도, 위의 정의 1에 따라서 세트 f(W, C)의 참조 코퍼스(406)의 모든 복수의 문자 단어를 추출 모듈(extracting module; 408) 이 식별하거나 발견한다. 이 단계는 참조 코퍼스(reference corpus; 406)에 그들의 상대적인 위치를 저장함으로써 이루어질 수 있다. 이 단계를 수행하기 위해서, 추출 모듈(408)은 사전(410)에 엑세스할 수 있고, 이곳에서 참조 코퍼스(404) 및 사전(410) 모두에서 발견되는 단어가 식별되며, 참조 코퍼스(406)에는 있지만 사전(410)에 발견되지 않는 단어는 단어 외(out of vocabulary; OOV)로 간주되고 더 이상 처리되지 않는다.

이 시점에서, 사전(410)에 대한 상세한 기술이 도움이 될 것이다. 사전(410)은 두 부분을 갖는 것으로 고려될 수 있다. 닫힌 세트(closed set)를 포함하는 제1 부분은, 객체명과 같은 일반적으로 승인된 단어의 리스트로 간주될 수 있다. 하지만, 날짜, 번호 등과 같은 많은 객체명은 닫힌 세트의 일부라기보다 열린 세트이기 때문에, 사전(410)의 제2 부분은 이러한 열린 세트 객체명을 정의하는 설명서(specification) 또는 가이드라인이고, 이를 통하지 않으면 열거(enumerated)되지 않을 수 있다. 사전(410)에 포함된 구체적인 가이드라인은 중요하지 않고 그런 설명서를 사용한 분할화 시스템에 따라서 다양할 수 있다. 예시적 가이드 라인은 ER-99 : 1999 객체명 인식(Named Entity Recognition; ER) 태스크 정의, 버전 1.3 NIST(National Institute of Standard of Technology), 1999; MET-2: Multi Lingual Entity Task(MET) 정의, NIST, 2000; 및 ACE (Automatic Content Extraction) EDT 태스크: EDT(Entity Detection and Tracking) 및 환유(換喩) 주석화 가이드라인(Metonymy Annotation Guidlines), 버전 2.5, 5월 2003을 포함한다.

예시적으로 추출 모듈(408)에 의해 수행되는 단계(304)는 만약 해당 세트 f(W, C)가 1 이상의 인스턴스를 갖는 경우, 이상의 정의 2에서 기술한 바와 같이 분할화 변동을 식별하는 단계를 포함한다. 리스트(412)는, 직접 추출된 것이든 또는 단순히 그들의 위치를 확인함으로써 간접 추출된 것이든 간에 분할화 변동을 컴파일링하는 단계를 나타낸다.

단계(306)에서, 추출 모듈(408)은 리스트(412)를 사용하고 리스트(412)의 분할화 변동 각각에 대해 각각의 변동 인스턴스를 컴파일링 한다. 일 실시예에서, 컴파일링하는 단계는, 일반적으로 각각의 변동 인스턴스 주위의 해당 문맥(context)(또는 적어도 인접한 문맥)과 함께 코퍼스(404 및 406) 각각으로부터 직접 추출하는 단계 또는 단순히 코퍼스 내의 그들의 상대적 위치를 확인함으로써 간접 추출하는 단계를 포함할 수 있다. 리스트(414)는 단계(306)의 출력을 나타낸다.

단계(308)에서, 렌더링 모듈(rendering module; 416)은 리스트(414)에 엑세스하고, 각각의 변동 인스턴스를 언어 분석기로 렌더링한다. 언어 분석기는 변동 인스턴스가 적합한지 부적합한지(즉, 정의 4에서 제공된 분할화 오류) 결정한다. 렌더링 모듈(416)은 분석기의 결정을 수신하고, 도 4의 리스트(418)로서 나타난 코퍼스(404 및 406) 각각에 대한 분할화 오류에 관계된 정보를 컴파일링한다. 만약 필요하다면, 렌더링 모듈(416)은 이하 기술되는 바와 같이 코퍼스에 대한 분할화 오류율을 계산할 수 있다.

이상에서 기술한 방법(300) 및 시스템(400)은 참조 코퍼스(406) 및 제2 코퍼스(408) 간의 불일치를 체크하는데 특히 적합하다. 예를 들어, 위의 배경기술에 기술된 바와 같이, 코퍼스(408)는 분할화 시스템에 대한 테스트 데이터인 반면, 참조 코퍼스(406)는 분할화 시스템에 대한 트레이닝 데이터일 수 있다. 이러한 방법으로, 리스트(418)는 테스트 데이터와 트레이닝 데이터 간의 불일치되게 분할된 문자 문자열(character string)을 식별하며, 이는 테스트 데이터에 따라서 복수의 단어로 분할된 트레이닝 데이터에서 식별된 단어 또는 트레이닝 데이터에 따라서 복수의 단어로 분할된 테스트 데이터에서 식별된 단어로써 더 분류될 수 있다. 만약 그렇지 않다면, 알려지지 않고 탐지되지 아니한 이러한 오류는 전달될 수 있고, 시스템이 평가될 때 거짓 동작 오류로서 인식될 수 있다.

그럼에도 불구하고 필요하면, 방법(300) 및 시스템(400)의 모듈은 또한 단일 코퍼스(420)의 불일치에 대한 체크를 위해 사용될 수 있다. 예를 들어, 방법(300) 및 시스템(400)의 모듈은 분할되었거나 단순히 테스트 데이터 또는 트레이닝 데이터 내에 개별적으로 불일치하게 제시된 문자 문자열을 식별하는데 사용될 수 있다.

비록 대상이 구조적 특징 및/또는 방법론적 동작에 특화된 언어로 기술되었지만, 첨부된 특허 청구 범위에서 정의되는 대상이 이상의 구체적 특징 또는 동작으로 제한되어 해석되어서는 아니된다. 오히려 위에서 기술한 구체적 특징 및 동작은 특허 청구 범위를 구현하는 예시적 형식으로서 제시되었다.

Claims

주석화된 코퍼스(annotated corpus)의 분할화 오류율(segmentation error rate)을 얻기 위한 컴퓨터 구현 방법으로서,

분할화 변동(segmentation variation)을 확인하기 위하여 상기 주석화된 코퍼스를 컴퓨터로 처리하는 단계;

상기 분할화 변동의 분할화 오류를 식별하기 위해 상기 컴퓨터를 사용하여 언어 분석기에 분할화 변동을 제공하는 단계; 및

분할화 오류의 갯수를 세고 상기 코퍼스에 대한 분할화 오류율을 계산하는 단계

를 포함하는 컴퓨터 구현 방법.
제1항에 있어서,

분할화 변동을 제공하는 상기 단계는 몇몇의 인접한 문맥과 함께 분할화 변동을 제공하는 단계를 포함하는, 컴퓨터 구현 방법.
제1항에 있어서,

분할화 오류율을 계산하는 상기 단계는 세어진 오류의 상기 갯수 및 상기 코퍼스 내 분할화의 상기 갯수에 기초한 계산을 포함하는, 컴퓨터 구현 방법.
주석화된 코퍼스의 분할화 오류를 찾기 위한 컴퓨터 구현 방법으로서,

컴퓨터를 사용하여 상기 코퍼스로부터 복수 문자 단어의 분할화 변동 인스턴스의 세트를 얻는 단계 -각각의 세트는 상기 코퍼스 내 단어의 하나 이상의 분할화 변동 인스턴스를 포함함-;

상기 분할화 변동 인스턴스가 분할화 오류인지 여부를 식별하기 위해 상기 컴퓨터를 사용하여 각각의 분할화 변동 인스턴스를 언어 분석기로 렌더링하는 단계; 및

상기 분할화 변동 인스턴스가 분할화 오류인지에 대한 지시를 수신하는 단계

를 포함하는 컴퓨터 구현 방법.
제1항에 있어서,

분할화 변동을 렌더링하는 상기 단계는 몇몇의 인접한 문맥과 함께 분할화 변동을 제공하는 단계를 포함하는, 컴퓨터 구현 방법.
제1항에 있어서,

분할화 변동 인스턴스의 세트를 얻는 상기 단계는 리스트 내의 각각의 세트에 대해 상기 단어의 리스트를 컴파일링하는 단계를 포함하는, 컴퓨터 구현 방법.
제6항에 있어서,

리스트의 상기 분할화 변동 인스턴스 각각을 컴파일링하는 단계를 더 포함하 는 컴퓨터 구현 방법.
제7항에 있어서,

리스트의 상기 분할화 오류 각각을 컴파일링하는 단계를 더 포함하는 컴퓨터 구현 방법.
주석화된 코퍼스의 분할화 오류를 찾기 위한 시스템으로서,

상기 코퍼스로부터 분할화 변동을 추출하고, 주어진 단어에 대해 두개 이상의 분할화 변동을 갖는 분할화 변동 인스턴스의 리스트를 상기 분할화 변동 각각에 대해 컴파일링하도록 구성된 추출 모듈; 및

각각의 분할화 변동 인스턴스를 렌더링하고, 상기 분할화 변동 인스턴스가 분할화 오류인지에 대한 지시를 분석기로부터 수신하도록 구성된 렌더링 모듈

을 포함하는 시스템.
제9항에 있어서,

상기 렌더링 모듈은 인접한 문맥을 사용하여 각각의 분할화 변동 인스턴스를 렌더링하도록 구성된, 시스템.
제10항에 있어서,

상기 렌더링 모듈은 식별된 상기 분할화 오류를 기초로 상기 코퍼스에 대한 분할화 오류율을 계산하도록 구성된, 시스템.