KR20130018205A

KR20130018205A - 언어 변환에 있어서 다중 리딩 모호성 해결을 위한 방법

Info

Publication number: KR20130018205A
Application number: KR1020120088063A
Authority: KR
Inventors: 브렌트 디. 라머쓰; 디뱅 케이. 나이크; 더글라스 알. 데이빗슨; 자네스 지.에이. 돌핑; 지아 푸
Original assignee: 애플 인크.
Priority date: 2011-08-11
Filing date: 2012-08-10
Publication date: 2013-02-20
Also published as: KR101435265B1; CN102982021A; US20130041647A1; JP2013065284A; JP2015038731A; US8706472B2; CN102982021B; JP5997217B2

Abstract

타겟 기호 시스템에서 입력 데이터의 기호 표현을 포함하는 캐릭터 셋트로 변활될 입력 데이터를 수신하는 단계; 및 상기 타겟 기호 시스템의 제1 캐릭터의 제1 리딩과 제2 리딩을 구별하는 언어 모델을 이용하여 동철이음이의 캐릭터가 입력 데이터의 대응하는 부분을 나타내는데 사용될 확률을 결정하는 단계를 포함하는 언어 변환에 있어서 다중 리딩 모호성을 해결하기 위한 방법이 개시된다.

Description

언어 변환에 있어서 다중 리딩 모호성 해결을 위한 방법{METHOD FOR DISAMBIGUATING MULTIPLE READINGS IN LANGUAGE CONVERSION}

N-gram 모델들과 같은 통계적 언어 모델들은 통상적으로 확률, Pr(W)을 확률 분포를 이용하여 단어들 W의 시퀀스에 할당함으로써 한 언어를 다른 언어로 변환 또는 번역하는데 이용된다. 그러한 언어 모델들은 통상적으로 많은 양의 텍스트의 본문(코퍼스(corpus)로서 지칭됨)으로부터 트레이닝되고, 일반적으로 코퍼스 내에서 각각의 단어 및/또는 2개 이상의 단어의 각각의 시퀀스의 발생 빈도를 캡처링한다. 종래에는, 코퍼스에서 특정 단어의 발생은 각각의 특정 컨텍스트(context)에서의 그의 사용 및/또는 리딩에 상관없이 언어 모델의 트레이닝에 의해 설명된다. 코퍼스 내의 대부분의 단어들 및 일반적인 단어들은 각각 하나의 의미와 연관되며, 가능하게는 하나보다 많은 정확한 발음과 연관되므로, 특정 단어들은 동일하게 기입되지만, 상이한 의미들 및 발음들/리딩들(즉, 동철이음이의어(heteronym))를 가진다. 예를 들어, 영어에서의 동철이음이의어의 예로 "desert"는 하나의 컨텍스트에서는 사용/발음이 "포기하다(to abandon)"를 의미하며, 다른 컨텍스트에서는 사용/발음이 "육지의 건조하고, 황량한 영역"을 의미한다. 따라서, 코퍼스에서의 그의 사용의 컨텍스트에 무관하게 단어 "desert의 빈도를 계수(account for)함으로써, 제1 의미("포기하다")와 제2 의미("육지의 건조하고 황량한 영역")의 단어의 사용의 빈도들의 구별이 종래 언어 모델에 의해 간과되기 쉽다.

병음(pinyin)은 로마자(Roman alphabet)를 이용하여 표준 중국어(Mandarin Chinese)를 필사(transcribe)하기 위한 표준 방법이다. 병음 음역(transliteration)에서, 한자들의 음성의 발음/리딩들은 로마자 글자들로 구성되는 음절에 맵핑된다. 병음은 한자들을 변환 시스템을 통해 컴퓨터에 입력하는데 통상적으로 이용된다. 그러한 시스템은 종종 변환 정밀도를 개선하기 위해 통계적 언어 모델을 포함한다. 특정 한자들은 다중 발음들/리딩들 (즉, 동철이음이의 한자들)을 가진다. 그러나, 동철이음이의어들의 상이한 발음들/리딩들을 구별하지 않는 종래의 언어 모델은 동철이음이의 한자들과 연관된 병음에 대해 때때로 바람직하지 않은 한자 변환 후보들을 생성할 수 있다.

본 발명의 다양한 실시예들이 이하의 상세한 설명 및 첨부하는 도면들에 개시된다.
도 1은 언어 변환을 위한 시스템의 실시예의 도면이다.
도 2는 입력 데이터를 타겟 기호 표현의 출력으로 변환하도록 구성된 디바이스의 실시예를 도시하는 도면이다.
도 3은 언어 변환을 수행하는 프로세스의 실시예를 도시하는 흐름도이다.
도 4a는 코퍼스에서 발견되는 텍스트의 시퀀스의 예를 도시한다.
도 4b는, 도 4a의 텍스트가 발견된 코퍼스로부터 트레이닝된 언어 모델에 저장된 일부 데이터의 예를 도시한다.
도 5는 언어 변환에 이용되는 언어 모델을 트레이닝하는데 이용되는 주석이 달린된 코퍼스를 생성하는 시스템의 실시예를 도시한다.
도 6은 주석 달기 및 언어 모델의 이용을 위한 프로세스의 실시예를 도시하는 흐름도이다.
도 7a는 코퍼스에 나타나는, 동철이음이의 캐릭터들에 대한 주석을 포함하지 않는 문장(702) 및 코퍼스에 나타나는, 동철이음이의 캐릭터들에 대한 주석을 포함하는 문장(704)을 도시하는 예이다.
도 7b는 동철이음이의 캐릭터들에 대한 주석을 포함하지 않는 코퍼스에서 나타나는 문장(710) 및 동철이음이의 캐릭터들에 대한 주석을 포함하는 코퍼스에서 나타나는 문장(712)을 도시하는 예이다.
도 8a는 동철이음이의 캐릭터들에 대하여 주석이 달리지 않은 한자 코퍼스("주석이 없는 코퍼스")를 사용하는 예를 도시한다.
도 8b는 동철이음이의 캐릭터들에 대하여 주석이 달린 한자 코퍼스("주석을 가진 코퍼스")를 사용하는 예를 도시한다.
도 9는 언어 변환의 프로세스의 실시예를 도시하는 흐름도이다.
도 10은 병음을 한자로 변환하는 프로세스의 실시예를 도시하는 흐름도이다.

본 발명은 프로세스; 장치; 시스템; 물질의 구성(composition of matter); 컴퓨터 판독 가능한 저장 매체에 구현된 컴퓨터 프로그램 제품; 및/또는 프로세서에 결합된 메모리에 저장되고/되거나 메모리에 의해 제공되는 명령어들을 실행하도록 구성된 프로세서와 같은 프로세서를 포함하여, 다수의 방식으로 구현될 수 있다. 본 명세서에서, 이러한 구현들, 또는 본 발명이 취할 수 있는 임의의 다른 형태가 기술로서 지칭될 수 있다. 일반적으로, 개시된 프로세스들의 단계들의 순서는 본 발명의 범위 내에서 변경될 수 있다. 다르게 서술되지 않는다면, 작업을 수행하도록 구성된 것으로 기술된 프로세서 또는 메모리와 같은 컴포넌트들은 주어진 시간에 작업을 수행하도록 일시적으로 구성된 일반 컴포넌트 또는 작업을 수행하도록 제조되는 특정 컴포넌트로서 구현될 수 있다. 본 명세서에서 사용되는 바와 같이, '프로세서'라는 용어는 컴퓨터 프로그램 명령어들과 같은 데이터를 처리하도록 구성된 하나 이상의 디바이스들, 회로들, 및/또는 프로세싱 코어들을 지칭한다.

본 발명의 하나 이상의 실시예들의 상세한 설명이 본 발명의 원리를 도시하는 첨부 도면들과 함께 이하에 제공된다. 본 발명은 그러한 실시예들과 연관하여 설명되지만, 본 발명은 어떠한 실시예에도 제한되지 않는다. 본 발명의 범위는 청구항들에 의해서만 제한되며, 본 발명은 다수의 대체물들, 변형물들 및 균등물들을 망라한다. 다수의 특정한 상세들이 본 발명의 철저한 이해를 제공하기 위하여 다음 설명에서 제시된다. 이러한 상세들은 예시의 목적으로 제공되며 본 발명은 이러한 특정한 상세들의 일부 또는 전부가 없이도 청구항들에 따라서 실시될 수 있다. 명확함의 목적을 위하여, 본 발명에 관련된 기술 분야에서 알려진 기술적 재료는 본 발명이 불필요하게 불명확해지지 않도록 하기 위하여 상세하게 설명되지 않았다.

특정의 캐릭터들과 연관된 상이한 리딩들을 구별하도록 주석이 달린 코퍼스 상에서 트레이닝된 언어 모델을 사용하는 것이 개시된다. 일부 실시예들에서, 하나보다 많은 리딩/발음/사용/의미와 연관된 코퍼스에 나타나는 캐릭터의 인스턴스는 캐릭터의 인스턴스에 적절한 리딩/발음/사용/의미로 주석이 달린다. 일부 실시예에서, 주석이 달린 그러한 코퍼스 상에서 트레이닝된 언어 모델이 병음을 한자로 변환하기 위해 사용된다.

도 1은 언어 변환을 위한 시스템의 실시예의 도면이다. 이 예에서, 시스템(100)은 디바이스(102), 네트워크(104), 및 변환 서버(106)를 포함한다. 네트워크(104)는 다양한 고속 데이터 및/또는 텔레커뮤니케이션 네트워크들을 포함할 수 있다.

디바이스(102)는 입력 데이터를 수신하도록 구성된다. 일부 실시예들에서, 입력 데이터는 입력 텍스트(예를 들면, 로마자)를 포함할 수 있다. 예를 들면, 입력 데이터는 병음을 포함할 수 있다. 비록 디바이스(102)가 iPhone

인 것으로 도시되어 있지만, 디바이스(102)의 다른 예들은 데스크탑 컴퓨터, 랩탑 컴퓨터(예를 들면, 맥북

), 스마트폰, 모바일 디바이스, 태블릿 디바이스(예를 들면, 아이패드

또는 아이패드2

), 및 임의의 다른 타입의 컴퓨팅 디바이스일 수 있다. 디바이스(102)는 타이핑되고/되거나 수기의 캐릭터들이 디바이스(102)에 의해 캡처/수신될 수 있는 입력 영역을 포함하도록 구성된다. 이러한 입력 영역의 예시들은 (예를 들어, 태블릿 및/또는 휴대 전화 디바이스의) 터치 스크린 키보드, 물리 키보드, 트랙패드(예를 들어, Apple의 매직 트랙패드, 또는 맥북 프로(MacBook Pro)의 내장(built-in) 트랙패드), 전자 기입 표면, 및 터치패드를 포함한다. 다양한 실시예들에서, 사용자는 디바이스(102)의 입력 영역과 상호작용함으로써(예를 들어, 물리 키보드 및/또는 터치 스크린 키보드로 타이핑함으로써) 디바이스(102)에서의 입력을 선택할 수 있다. 일부의 실시예들에서, 디바이스(102)는 변환 서버(106)로부터 수신된 출력들이 표시될 수 있는 표시 영역을 포함한다.

일부의 실시예들에서, 디바이스(102)는 수신된 입력을 네트워크(104)를 통해 변환 서버(106)로 전송하여 변환 서버(106)가 수신된 입력을 타겟 기호 표현의 출력(예를 들어, 캐릭터의 집합)으로 변환하도록 구성된다. 일부의 실시예에서, 디바이스(102)는 로직, 코드 및/또는 유사한 변환들을 수행하는 것과 연관된 저장 데이터를 포함하고, 이에 따라 네트워크(104)를 통해 원격 변환 서버(106)로 데이터를 송신할 필요 없이 입력 데이터를 타겟 기호 표현의 출력들로 변환할 수 있다.

변환 서버(106)는 데이터를 수신하고 데이터를 다른 형태(예를 들어, 타겟 기호 표현의 캐릭터들)로 변환하도록 구성될 수 있다. 예를 들어, 타겟 기호 표현은 한자일 수 있다. 일부의 실시예들에서, 변환 서버(106)는 (예를 들어, 한자의 코퍼스로부터 트레이닝된) 언어 모델 및/또는 입력 데이터의 텍스트와 타겟 기호 표현(예를 들어, 타겟 기호 표현 사전에 대한 입력 데이터)의 캐릭터들의 세트들 사이의 연관성들을 저장하는데 사용된 데이터베이스를 포함할 수 있다. 일부의 실시예들에서 변환 서버(106)의 출력들은 입력으로부터의 변환 후보들을 포함할 수 있다. 예를 들어, 출력을 위한 변환 후보들은 언어 모델 및 입력 병음으로부터 결정되는 특정한 수의 가장 통계적으로 일어나는(즉, 가능한) 한자일 수 있다. 일부의 실시예들에서, 변환 서버(106)의 출력들은 다시 전송되고 (예를 들어, 사용자가 보고 및/또는 표시된 정보에 관하여 추가의 선택을 하도록) 디바이스(102)에 표시된다.

도 2는 입력 데이터를 타겟 기호 표현의 출력으로 변환하도록 구성된 디바이스의 실시예를 도시하는 도면이다. 일부의 실시예들에서, 시스템(100)의 디바이스(102)는 도 2의 예를 사용하여 구현될 수 있다. 일부의 실시예들에서, 도 2에 도시된 디바이스는, 디바이스가 네트워크를 통해 원격 서버로 데이터를 송신할 필요 없이 변환들을 수행할 수 있도록 변환 서버(106)의 하나 이상의 기능들을 국부적으로 포함한다. 예시에서 디바이스의 도시된 컴포넌트들(예를 들어, 디스플레이(202), 변환 엔진(206), 사전(204), 언어 모델(208) 및 입력 영역(210))은 하드웨어와 소프트웨어 중 하나 또는 모두를 사용하여 구현될 수 있다. 일부의 실시예들에서, 디바이스는 예시에 도시된 컴포넌트들보다 많거나 또는 적은 컴포넌트들을 가질 수 있다.

입력 영역(210)은 제1 기호 표현의 캐릭터들의 세트를 캡처/수신하도록 구성된다. 전술된 바와 같이, 입력 영역(210)의 예시들은 터치 스크린 키보드(예를 들어, 태블릿 및/또는 휴대 전화 디바이스), 물리 키보드, 트랙패드(예를 들어, Apple의 매직 트랙패드, 또는 맥북 프로의 내장 트랙패드), 음성 인식/변환/표기 기능과 연관된 수신기(예를 들어, 마이크로폰), 전자 기입 표면 및 터치 패드를 포함할 수 있다. 일부의 실시예들에서, 입력 영역(210)은 로마자(예를 들어, a, b, c, ... 등)로 부터 하나 이상의 텍스트 캐릭터들을 수신하도록 구성된다. 예를 들어, 입력 영역(210)은 로마자에서 표준 중국어를 음역(transliterating)하기 위한 시스템인 병음을 수신할 수 있다. 예를 들어, 사용자는 디바이스의 입력 영역(210)으로 병음을 입력하여 디바이스 상의 중국어의 "유형" 중에서 사용자가 선택할 수 있는 중국어 변환 후보들을 디바이스가 제공하게 할 수 있다. 일부의 실시예들에서, 입력 영역(210)은 그 대응하는 텍스트 인코딩 상대방으로서 입력 문자들을 저장한다. 텍스트 인코딩 방식의 예시들은 ASCII, Big5, UTF-8, UTF-16, HKSCS, GB18030 및 JIS X 0213을 포함한다.

변환 엔진(206)은 입력 영역(210)으로부터 수신된 입력을 사용하고 타겟 기호 표현의 변환 후보들을 결정하도록 구성된다. 일부의 실시예들에서, 타겟 기호 표현은 한자를 포함할 수 있다. 일부의 실시예들에서, 변환 엔진(206)은 입력이 변환되기 전에 입력에 대한 전처리를 수행하도록 구성된다. 예를 들어, 그 입력이 병음이었다면, 전형적으로 각각의 한자는 단음절로서 리딩/발음되기 때문에, 변환 엔진(206)은 각각의 단음절을 중국어 변환 후보에 맵핑할 준비를 하기 위해 그 병음을 단음절들에 대응하는 하나 이상의 캐릭터 그룹으로 분해할 수 있다. 변환 엔진(206)은 사전(204) 및 언어 모델(208)에 액세스하도록 구성된다. 사전(204)은 입력 데이터의 캐릭터들의 세트와 목표 기호 표현의 캐릭터들의 세트 간의 맵핑들/연관성들을 저장하기 위해 이용되는 하나 이상의 데이터베이스들을 포함할 수 있다. 언어 모델(208)은 목표 기호 표현의 텍스트의 코퍼스에 대하여 트레이닝된 N-그램 모델일 수 있다. 일부 실시예들에서는, 목표 기호 표현의 동철이음이의 캐릭터의 상이한 리딩들 간을 구별하기 위해, 언어 모델(208)을 트레이닝하기 위해 이용되는 코퍼스에 주석을 달았다. 예를 들어, 변환 엔진(206)은 먼저, 입력 데이터의 분해된 병음을 사전(204)을 이용하여 하나 이상의 가능한 한자 변환들로 맵핑할 수 있으며, 그 후 그 가능한 한자 변환들에 대응하는 언어 모델(208)로부터 통계 정보를 검색하여, 후보 조합들 중 어떤 조합들이 가장 유력한 지를 판정한다. 그 후, 캐릭터들의 가장 유력한 조합들은 (예컨대, 이용자로 하여금 보고/보거나 상호작용하도록) 디스플레이(202)에서 표시될 수 있다. 디스플레이(202)의 예들은, 이용자로부터 상호작용들을 캡처할 수 있는 터치 스크린 또는 이용자 상호작용들을 캡처할 수 없는 다른 종류의 디스플레이를 포함할 수 있다.

예를 들어, 입력이 병음 "니하오"였다면, 변환 엔진(206)은 먼저 그 입력을 "니" 및 "하오"의 두 개의 단음절 그룹의 캐릭터들로 분해할 수 있다. 한자에는 많은 동음이의어들(즉, 같게 발음되지만 상이한 뜻을 갖는 단어들)이 존재하므로, 입력 병음 내의 각각의 단음절 그룹은 사전(204)에 의해 몇 개의 가능한 한자들로 잠재적으로 맵핑될 수 있다 (각각의 그러한 캐릭터는 대응하는 단음절 병음 그룹의 음성학적 발음을 이용하여 리딩될 수 있음). 그 후, 변환 엔진(206)은 한자들 각각 및/또는 그 조합들에 연관되는 통계적 정보를 검색하여, 이용자에 의해 의도되었던 캐릭터가 될 가장 높은 확률을 갖는 캐릭터들의 조합을 결정할 수 있다.

도 3은 언어 변환을 수행하는 프로세스의 실시예를 도시하는 흐름도이다. 일부 실시예들에서, 프로세스(300)는 언어 모델을 구축하는 시스템에서 구현될 수 있으며, 또한 구축된 언어 모델을 이용하여 언어 변환들을 수행한다.

302에서, 텍스트의 코퍼스가 수신된다. 텍스트의 코퍼스는 (예컨대, 다양한 소스들로부터 수집된) 텍스트들의 크고 구조화된 세트를 포함할 수 있다. 텍스트의 코퍼스는 디지털적으로 저장되고 처리될 수 있다. 전형적으로, 코퍼스는 단일 언어의 텍스트를 포함하고/하거나, 코퍼스 상에서 트레이닝될 언어 모델의 입력과 유사한 형태이다. 예를 들어, 병음에서 한자로의 변환을 위한 언어 모델을 트레이닝하기 위해, 코퍼스는 한자의 형태의 텍스트를 포함할 수 있다.

304에서, 언어 모델을 트레이닝하기 위해 코퍼스가 이용된다. 일부 실시예들에서, 코퍼스로부터 언어 모델을 트레이닝하고 구축하기 위해 언어 모델링 툴(예컨대, IRST 언어 모델 툴킷)이 이용될 수 있다. 예를 들어, 언어 모델링 툴은 코퍼스 내에서 발견되는 캐릭터들 각각 및/또는 캐릭터들의 각각의 시퀀스에 대한 N-그램 확률들을 생성할 수 있다. 예를 들어, 코퍼스 내에서 발견되는 캐릭터들(예컨대, 2 또는 3개 또는 그보다 많은 캐릭터들의 길이의)의 각각의 시퀀스에 발생 확률이 할당될 수 있다. 시퀀스 내의 캐릭터에 대한 컨텍스트가 인접한/주위의 캐릭터들에 의해 제공되는 컨텍스트를 이용하여 나중에 (예컨대, 언어 변환 단계 동안) 인식될 수 있도록, 캐릭터들의 시퀀스들이 분석된다. 따라서, (예컨대, 인쇄 상의 오류들 때문에 또는 의미가 없기 때문에) 코퍼스 내에 전혀 나타나지 않거나 매우 드물게 나타나는 캐릭터들의 시퀀스에 대해, 그 시퀀스들에 대해 생성된 확률들은 (그것들이 입력 데이터에 대한 이용자의 원하는 의도를 나타낼 수 없다는 것을 나타내기 위해) 0이거나 또는 지극히 낮다. 결과로서의 언어 모델은, 적어도 모델이 트레이닝된 코퍼스 내에서 발견되는 하나 이상의 캐릭터들(예컨대, 또는 그 캐릭터들을 나타내는 기본적인 기호)의 시퀀스들에 대한 확률들의 할당들의 세트를 포함한다. 한자의 코퍼스의 예들로 되돌아가면, 결과로서의 언어 모델은 코퍼스 내에서 발견되는 하나 이상의 한자들의 시퀀스들에 할당되는 확률들을 포함할 것이다.

306에서, 언어 모델이 언어 변환들을 수행하는 데에 이용된다. 예를 들면, 언어 모델은 변환 엔진(예를 들면, 변환 엔진(206)) 또는 변환 서버(예를 들면, 변환 서버(106))에 의해 하나의 폼의 입력(예를 들면, 음성 또는 텍스트)을 제2 폼의 하나 이상의 출력들(예를 들면, 타겟 기호 표현)로 변환하는데 이용될 수 있다. 일부 실시예들에서, 입력 데이터는 (예를 들면, 입력을 입력했던 사용자가 원하는) 하나의 수정 출력으로 맵핑된다. 더욱 정확한 언어 모델은, 주어진 입력 데이터, 및 사용자가 원하는 하나의 출력을 포함할 가능성이 더 있는 입력 데이터로부터 변환될 잠재적인 출력들에 대해 검색할 수 있다. 예를 들면, 입력 데이터(예를 들면, 정확하게 스펠링된 병음)는 (예를 들면, 사전을 이용하여) 하나 이상의 캐릭터들(예를 들면, 한자들)로 맵핑될 수 있고, 이를 위해, 통계적 정보(예를 들면, 확률들)가 언어 모델에 의해 유지된다. 검색된 확률들은 그 후 입력에 잠재적으로 맵핑되는 캐릭터들 중 어느 것이 정확히 맵핑될 가능성이 더 높은지를 판정하는 데에 이용된다. 일부 실시예에서, 언어 모델은 입력을, 입력 데이터로부터 타겟 기호 표현으로의 출력, 그러한 문자-레벨 및/또는 단어-레벨 및/또는 문장(예를 들면, 문장의 시작 및 문장의 끝) 및/또는 단락 레벨 해상도들에 매칭하기 위한 그외의 통계 도구들을 포함한다.

도 4a 및 도 4b는 언어 모델의 생성 및 사용 시의 일부 단계들을 예시하는 예이다.

도 4a는 코퍼스에서 발견되는 텍스트의 시퀀스의 예이다. 예에서 이용된 바와 같이, 각각의 캐릭터들(예를 들면, A, F, S...등)이 임의의 언어의 캐릭터 또는 단어를 표현하기 위해 이용될 수 있고, 대문자 로마자들은 단지 예시적인 목적들을 위해서 선택되었다. 예를 들면, 도 4a에 도시된 각각의 캐릭터들은 한자 코퍼스에 나타나는 한자를 표현할 수 있다. 코퍼스의 텍스트는 언어 모델의 트레이닝 동안 N-그램들(N-grams)(예를 들면, N 캐릭터 길이의 캐릭터들의 시퀀스들)로 쪼개질 수 있다. 서브시퀀스들 또는 N-그램들 402("A F"를 포함함), 404("F S D"를 포함함), 및 406("W G S J"를 포함함))은 N-그램 확률 생성 및/또는 언어 모델 구축의 트레이닝 단계에서 이용될 수 있는 코퍼스에서 발견되는 시퀀스들의 일부 예들이다. N-그램 확률들이 특정 언어 모델을 위해 생성될 시퀀스들의 캐릭터 길이는, 예를 들면, 언어 모델링 도구 및/또는 언어 모델의 설계자에 의해 선택될 수 있다.

도 4b는 도 4a의 텍스트가 발견되었던 코퍼스로부터 트레이닝되었던 언어 모델에 저장된 일부 데이터의 예를 도시한다. 예에 도시된 바와 같이, 코퍼스에서 발견되는 (다양한 길이의) 다양한 시퀀스들의 확률들(그것의 각각의 캐릭터 시퀀스에 대응함)이 계산되고 (예를 들면, 테이블 엔트리에) 저장된다. 예를 들면, 408은 코퍼스 내의 "A F"의 시퀀스의 출현에 대해 언어 모델에 의해 할당된 N-그램 확률(0.0324)을 나타내는 예시적인 테이블의 엔트리를 나타낸다. 일부 실시예들에서, 언어 모델은 도 4b에 도시된 예시적인 데이터 외의 유형들의 정보(예를 들면, 타겟 기호 표현 사전에의 입력 데이터, 단어들, 몇몇 캐릭터들의 유닛들, 및 이름들 및 장소들과 같은 정보의 클래스들(CLASSES))를 포함할 수 있다.

일부 실시예들에서, 입력 데이터(예를 들면, 제1 기호 또는 그외의 표현에 관한 캐릭터들의 세트)는 출력 데이터(예를 들면, 타겟 기호 표현에 관한 하나 이상의 변환 후보들을 형성하는 캐릭터들의 세트)를 산출하도록 언어 모델을 이용하여 변환될 수 있다. 예를 들면, 언어 모델은 입력 디바이스를 통해 입력된 병음 텍스트를 대응하는 한자들로 변환하는 데에 이용될 수 있다. 입력된 병음 캐릭터 시퀀스들은, (예를 들면, 언어 모델 또는 일부의 그외의 기법에 의해) 하나 이상의 잠재적 한자들로 맵핑될 수 있는 음절들을 결정하도록 파싱되고, 그러한 한자들의 각각의 확률들을 입력된 병음으로부터의 원하는 맵핑으로서 기능하는 더 유망한 한자 변환들을 결정하는 데에 이용될 수 있다.

일반적으로, 캐릭터들의 종래의 코퍼스는 특정 주석(예를 들면, 스피치 태깅의 일부)을 포함할 수 있지만, 그것은 전형적으로 캐릭터들의 리딩/발음/어법/의미(때때로 본원에서 단지 "리딩"으로서 칭해짐) 또는 (캐릭터와 연관된 하나보다 많은 가능한 리딩들/발음들/어법들/의미들이 존재하는 경우) 캐릭터가 사용되는 컨텍스트에 대한 특정 리딩/발음/어법/의미의 주석을 포함하지 않는다. 예를 들면, 한자의 통상적인 코퍼스는 리딩/발음/의미/병음 상대의 주석을 통상적으로 포함하지 않는다. 다른 방식에서는, 종래의 한자 코퍼스는 각각의 리딩이 상이한 컨텍스트에 대하여 적절한, 동철이음이의 한자의 복수의 리딩 간을 구별하지 않는다. 예를 들면, 코퍼스의 일부의 컨텍스트는 제1 의미(리딩/발음/병음 상대)로 동철이음이의 캐릭터를 사용할 수 있고, 동일한 코퍼스의 다른 부분의 컨텍스트는 제1 의미와는 상이한 제2 의미(리딩/발음/병음 상대)로 동철이음이의 캐릭터를 사용할 수 있다. 그러나, 동철이음이의 캐릭터의 2개(보다 많은) 의미를 구별하기 위한 코퍼스의 주석 없이, 개별의 의미-특정 확률이 코퍼스에 나타나는 동철이음이의 캐릭터의 특정 리딩 각각의 시간에 기초하여 동철이음이의 캐릭터의 각각의 리딩을 위해 결정되기보다는, N-그램 확률 생성이 캐릭터가 코퍼스에 나타나는 임의의 시간에 기초하여 (복수의 리딩을 포함하는) 동철이음이의 캐릭터만을 위해 수행될 것이다. 통상적인 코퍼스 내의 특정 캐릭터들의 가능한 복수의 리딩 간을 구별하는 데 실패한 결과로서, 그러한 코퍼스를 사용하여 트레이닝된 언어 모델이 데이터 입력을 동철이음이의 캐릭터를 포함하는 출력으로 변환하기에 덜 정교할 수 있다. 언어 모델의 캐릭터의 상이한 리딩들 간을 명확(disambiguating)하게 하는 것이 하기와 같이 논의된다.

도 5는 언어 변환을 위해 사용되는 언어 모델을 트레이닝하는 데에 사용되는 주석달린 코퍼스를 생성하기 위한 시스템의 실시예를 도시하는 도이다. 다양한 실시예에서, 코퍼스의 주석은 코퍼스의 제1 리딩/발음/병음/의미를 나타내는 동철이음이의어의 하나의 사용과 코퍼스의 제2 리딩/발음/병음/의미를 나타내는 동일한 동철이음이의어의 다른 사용 간을 구별하는 것을 용이하게 한다. 네트워크(508)는 다양한 고속 데이터 및/또는 통신 네트워크를 포함할 수 있다. 일부 실시예들에서, 언어 모델 트레이닝 엔진(510), 코퍼스(512), 및 언어 모델(514)은 변환 서버(예를 들면, 변환 서버(106))의 일부로서 구현될 수 있다.

일부 실시예들에서, 언어 모델 트레이닝 엔진(510)은, 예를 들면, 제3자에 의해 호스팅된 서버들로부터, 네트워크(508)를 거쳐 텍스트 소스들(502, 504, 506)를 검색한다. 일부 실시예들에서, 언어 모델 트레이닝 엔진(510)은 네트워크(508)의 사용 없이 (예를 들면, 로컬 저장소 또는 소스를 통해 텍스트를 획득함으로써) 텍스트를 수신한다. 일부 실시예들에서, 언어 모델 트레이닝 엔진(510)은 코퍼스(512)에서 검색된 및/또는 수신한 텍스트를 저장하도록 구성된다. 코퍼스(512)는 텍스트 소스(502), 텍스트 소스(504), 및 텍스트 소스(506)와 같은 다양한 소스들로부터 추출된 텍스트로 형성될 수 있다. 일부 실시예들에서, 코퍼스(512)에 모여진 텍스트는 대부분 하나의 언어의 텍스트를 포함한다. 예를 들면, 코퍼스(512)의 텍스트는 대부분 한자일 수 있다. 텍스트 소스들(502, 504, 506)의 예시들은 신문, 웹사이트, 도서, 정기간행물, 소셜 미디어(예를 들면, 페이스북?, 트위터?), 및 잡지를 포함한다. 예를 들면, 텍스트 소스(502, 504, 506)로부터 수집된 텍스트는 총 약 8억 개의 한자일 수 있다. 또한 예를 들면, 한자의 코퍼스는 그들 중 약 50개가 동철이음이의 캐릭터인, 8000개의 상이한 캐릭터를 포함할 수 있다. 일부 실시예들에서, 코퍼스(512)의 주석 없이, 텍스트 소스로부터 추출된 각각의 상이한 캐릭터는 코퍼스(512)에 하나의 개별적 기호로 표시되고 텍스트 소스들로부터 수회 추출된 동일한 캐릭터는 그 캐릭터에 대응하는 기호의 다수의 인스턴스로 저장된다.

일부 실시예들에서, 언어 모델 트레이닝 엔진(510)은 코퍼스(512)의 캐릭터들로 수동 주석들을 수신하도록 구성된다. 일부 실시예들에서, 언어 모델(514)의 시스템 관리자 및/또는 설계자(예를 들면, 인간 사용자)는 동철이음이의 캐릭터를 찾기 위해 코퍼스(512)의 텍스트를 스캐닝하고, 동철이음이의 캐릭터가 사용된 컨텍스트의 사용자의 컨텍스트 이해에 기초하여(예를 들면, 캐릭터가 사용된 문장 및/또는 주변 텍스트에 기초하여), 그것의 적절한 리딩/발음/병음/의미를 가리키도록 동철이음이의 캐릭터의 인스턴스에 주석을 단다. 예를 들어, 그러한 주석 달기를 수행하기 위해, (둘 이상의 가능한 리딩 중) 특정 리딩의 동철이음이의 캐릭터의 인스턴스는, 코퍼스(512) 내에 있는 다른 캐릭터들 전부를 나타내는 기호들과 구별될 수 있으며 또한 그 동일한 동철이음이의 캐릭터의 다른 리딩과 연관된 다른 기호와 구별될 수 있는, 코퍼스(512) 내의 새로운 기호(예컨대, 텍스트 인코딩)로 대체될 수 있다. 달리 말하면, 코퍼스(512) 내의 하나의 리딩을 갖는 동철이음이의 캐릭터는 코퍼스(512) 내의 제1 기호와 연관되며, 제2 리딩의 동일한 동철이음이의 캐릭터는 코퍼스(512) 내의 제2 기호와 연관될 것이다. 따라서, 동철이음이의 캐릭터가 제1 리딩과 연관된 컨텍스트 내에서 사용되는 경우, 그 캐릭터의 인스턴스는 코퍼스(512) 내에 제1 기호로서 저장될 것이며, 동철이음이의 캐릭터가 제2 리딩과 연관된 컨텍스트 내에서 사용되는 경우, 그 캐릭터의 인스턴스는 제2 기호로서 저장될 것이다. 주석의 결과, 동철이음이의 캐릭터는 더 이상 코퍼스(512) 전체에서 동일한 기호의 다양한 인스턴스들로서 나타나지 않을 것이지만, 동철이음이의 캐릭터의 각각의 상이한 리딩은 코퍼스 내의 별개의 기호로 대체될 수 있을 것이다. 따라서, 예를 들어, 3개의 가능한 리딩과 연관된 동철이음이의 캐릭터는 코퍼스(512) 전체에서 주석이 달린 코퍼스 내의 3개의 상이한 기호들의 다양한 인스턴스로서 나타날 수 있을 것이다. 일부 실시예에서, 둘 이상의 기호가 코퍼스 내의 동철이음이의 캐릭터를 나타낼 수 있지만, 이 기호들 각각은 여전히 동일한 동철이음이의 캐릭터와 연관된다.

예를 들어, 영어 단어에 대한 그러한 주석이 달린 코퍼스 내에서, "desert"는 2가지 가능한 리딩을 갖는 동철이음이의 단어/캐릭터로서, 하나는 동사로서, 하나의 의미와 연관되는 "포기하는 것"을 의미하며, 하나는 명사로서, 다른 하나의 의미와 연관되는 "육지의 건조하고 황량한 영역"을 의미한다. 코퍼스의 주석에 앞서, 코퍼스의 텍스트 내의 "desert"의 외형은 "desert"를 위한 기호와 연관될 것이다. 그러나, 주석 후, 코퍼스 내의 "desert"의 외형은, 그러한 "desert"의 인스턴스가 텍스트에 나타나는 컨텍스트에 "desert"의 두 의미 중 어느 것이 적합한지에 따라, 동사 또는 명사를 위한 기호와 연관될 것이다.

일부 실시예에서, 단어 또는 기호 또는 기호들의 시퀀스의 가능한 리딩들 중 하나가 모든 발생에 대한 기호를 인코딩하는데 사용되는 원래의 기호에 의해 표시되며, 하나 이상의 다른 가능한 리딩과 연관된 인스턴스들만이 주석이 달린다. 이전의 예에서, 가령, desert_v(동사, "포기하는 것"을 의미함)와 연관된 방식으로 사용되는 "desert"는 주석이 달리지 않지만, desert_n(명사, "육지의 건조하고 황량한 영역"을 의미함)의 의미로 사용된 "desert"의 인스턴스들에 대해서는 "desert"를 인코딩하는데 사용된 기호가 desert_n("육지의 건조하고 황량한 영역"을 의미함)에 대응하는 새롭게 정의된 기호로 대체될 것이다. 후속하여, 언어 모델을 트레이닝할 때, 주석이 달리지 않은 "desert"의 발생들은 desert_v("포기하는 것"을 의미함)와 연관된 것으로 이해되는 반면, desert_n("육지의 건조하고 황량한 영역"을 의미함)의 발생들은 제2 리딩을 지칭하는 것으로 이해될 것이다.

일부 실시예에서, 사용자는 코퍼스(512)의 텍스트의 서브셋에 수동으로 주석을 달며, 코퍼스(512)의 나머지는, 예를 들어 수동 주석들에 의해 생성된 주석들의 패턴에 기초하여 (가령, 소프트웨어 및/또는 하드웨어의 형태의 머신 학습 기술을 이용하여), 유사한 방식으로 자동으로 주석이 달린다. 예를 들어, 자동 프로세스는, 수동 주석들로부터 학습된 패턴들을 이용하여, 동철이음이의 캐릭터에 대한 제1 컨텍스트와 그 컨텍스트 내의 그 캐릭터의 대응하는 적절한 리딩을 식별하며, (가령, 코퍼스 내의 동철이음이의 캐릭터와 연관된 기호를, 그 캐릭터의 다른 리딩을 나타내는 기호와 구별되며 코퍼스(512) 내의 다른 캐릭터를 나타내는 기호와 구별되는 기호가 되도록 대체함으로써) 그 캐릭터의 특정 리딩과 연관될 코퍼스 내의 캐릭터의 그 인스턴스에 주석을 단다.

코퍼스(512)를, 그것에 주석이 달린 후, 고려하는 하나의 방법은 기호 세트가 확장되는 것이다. 반면, 개시된 주석 이전에, 동철이음이의 캐릭터는, 머신 지능 방식으로 캐릭터를 나타내는데 사용되는, 유니코드 코드포인트(Unicode codepoint) 또는 다른 값과 같은, 하나의 머신 판독가능한 값에 맵핑되며, 개시된 주석에 후속해서는, 동철이음이의 캐릭터는 주석이 달린 코퍼스(512) 내에 사용된 둘 이상의 머신 판독가능한 값에 맵핑하며, 여기서, 동철이음이의 캐릭터와 연관된 각각의 머신 판독가능한 값은 동철이음이의 캐릭터의 특정 리딩을 나타낸다.

일부 실시예에서, 언어 모델(514)은, 예를 들어, 언어 모델링 툴(가령, IRST 언어 모델 툴킷)을 이용하여 주석이 달린 코퍼스(512) 상에 트레이닝된다. 예를 들어, 언어 모델링 툴은, 주석이 달린 코퍼스(512)의 동철이음이의 캐릭터들의 다중 리딩들에 대해 부가되는 새로운 기호들을 포함하는 캐릭터들(또는 그들의 기호들) 및 캐릭터들의 시퀀스에 대한 N-그램 확률들(N-gram probabilities)을 생성할 수 있다.

일부 실시예에서, 도 2의 변환 엔진(206)과 같은 변환 엔진은 입력 데이터를 수신하여, 언어 모델(514)과 같은 리딩 주석이 달린 코퍼스 상에서 트레이닝된 언어 모델을 이용하여, 타겟 기호 표현으로 하나 이상의 변환 후보들을 생성하도록 구성된다. 예를 들어, 입력 데이터가 병음과 연관되며 언어 모델(514)이 한자들과 연관된다고 가정하자. 그러면, 언어 모델(514) 내의 그 캐릭터들/기호들 및 그 시퀀스들에 대해 생성되는 확률들을 이용하여, 변환 엔진(206)은 출력으로서, 주어진 병음 입력과 상대적으로 더 많이 매칭하며, 특히 동철이음이의 캐릭터의 특정 리딩에 특정되는 확률들을 제공하는 모델을 이용함으로써 특정 동철이음이의 캐릭터가 의도되었을 가능성을 과대평가하는 것을 회피할 것 같은 하나 이상의 한자를 생성할 수 있다.

도 6은 주석을 달기 위한 프로세스의 실시예를 나타내고 언어 모델을 이용하는 흐름도이다. 일부 실시예에서, 프로세스(600)는 적어도 부분적으로 시스템(500)을 이용하여 구현될 수 있다.

602에서, 코퍼스에 연관된 텍스트의 서브셋에 대한 주석들의 하나 이상의 수동 입력이 수신되며, 여기서 주석의 수동 입력은 2 이상의 리딩에 연관된 캐릭터의 인스턴스에 대하여 이 인스턴스에 연관된 컨텍스트에 적어도 일부 기초한 적절한 캐릭터 리딩을 나타낸다.

예를 들어, 사용자는 코퍼스의 텍스트의 서브셋을 통해 리딩하여 동철이음이의 캐릭터/단어의 인스턴스를 위치시킬 수 있다. 동철이음이의 캐릭터/단어의 인스턴스를 발견하는 경우, 사용자는, 캐릭터의 인스턴스가 나타난 컨텍스트(예를 들어, 캐릭터가 나타나는 문장, 그 캐릭터를 둘러싸는 캐릭터들) 및 그 컨텍스트에서 캐릭터의 사용에 대한 사용자의 지식에 기초하여 캐릭터의 인스턴스에 대한 적절한 리딩을 결정하고 주석을 달 수 있다. 동철이음이의 캐릭터의 2 이상의 리딩은, 설사 있다고 하더라도, 코퍼스에서의 캐릭터의 인스턴스에 대해 적절하지 않다. 이처럼, 코퍼스에서 동철이음이의 캐릭터의 각각의 인스턴스에 대한 하나의 결정된 리딩만이 있을 필요가 있다. 동철이음이의 캐릭터의 인스턴스에 대한 이러한 결정된 적절한 리딩은 주석으로서 변환 엔진에 입력될 수 있고 또한 코퍼스에 저장될 수 있다. 일부 일시예들에서, 동철이음이의어(heteronym)의 특정 리딩을 나타내기 위한 동철이음이의어의 인스턴스와 연관된 주석이 그 캐릭터의 오리지날 인스턴스를 나타냈던 코퍼스에서의 기호(예를 들어, 텍스트 인코딩)를 교체하는 코퍼스에서의 새로운 기호(예를 들어, 그 코퍼스에서 임의의 다른 캐릭터를 나타내기 위해 사용된 기호와 다르고, 이전에 할당되지 않은 유니코드(Unicode) 값 또는 개인용 사용 영역(private Use Area) 캐릭터와 같이, 동일한 동철이음이의 캐릭터의 다른 리딩을 나타내기 위해 사용된 기호와도 또한 다른 것)로서 저장될 수 있다. 일부 실시예들에서, 동철이음이의어의 특정 리딩을 나타내기 위한 동철이음이의어의 인스턴스와 연관된 주석은 코퍼스에서 캐릭터의 그 인스턴스를 나타내는 기호에 추가된 태그일 수 있다. 일부 실시예들에서, 코퍼스는 다양한 소스들로부터 획득한 텍스트들(대부분 하나의 언어임)을 포함할 수 있다.

전체 코퍼스(수억 개의 텍스트를 포함할 수 있음)를 수동으로 주석을 다는 것은 비효율적이기 때문에, 수동 주석은 작은 서브셋의 코퍼스에 대해 수행될 수 있고, 코퍼스의 나머지는, 아래에서 설명되는 것처럼, 자동 프로세스를 이용하여 주석이 달릴 수 있다.

604에서, 수동으로 주석을 달지 않은 코퍼스와 연관된 텍스트의 적어도 일부가, 수신된 주석들의 하나 이상의 수동 입력에 적어도 일부 기초하여 자동으로 주석이 달린다.

일부 실시예들에서, 아직 수동으로 주석이 달리지 않은 코퍼스의 나머지 전체에 대해 동철이음이의 캐릭터들의 인스턴스들의 다양한 상이한 리딩들에 주석들을 추가하기 위해 자동 프로세스가 사용될 수 있다. 예를 들어, 602에서 입력된 수동 주석들 및 기계 학습 기술들을 이용하는 소프트웨어를 사용하여 자동 프로세스가 생성될 수 있다.

606에서, 주석이 달린 코퍼스를 이용하여 언어 모델이 트레이닝된다.

일부 실시예들에서, 주석이 달린 코퍼스는, 주석이 달리기 전에 코퍼스에서 발생했던 동철이음이의 캐릭터의 각각의 인스턴스의 상이한 리딩들을 나타내기 위한 별개의 기호들을 포함한다. 일부 실시예들에서, 주석이 달린 코퍼스에서 발견된 캐릭터들/기호들 및 그것들의 시퀀스들 상의 N-그램(N-gram) 확률 생성(probability generation)을 수행함으로써 주석이 달린 코퍼스 상에서 언어 모델이 생성되고 트레이닝된다. 일부 실시예들에서, 언어 모델은 또한 코퍼스 내에서 발견된 문장들의 시작과 끝에 대해 트레이닝될 수 있다. 그 결과에 따른 언어 모델은 동철이음이의 캐릭터의 각각의 리딩과 연관된 확률들을 포함할 것이다.

예를 들어, 주석이 달린 코퍼스에서, 텍스트를 통해 동철이음이의어 "word"의 출현이 "word_reading1" 또는 "word_reading2" 중 어느 하나의 기호에 의해 표현된다고 가정한다. 이처럼 주석이 달린 코퍼스 상에서 트레이닝된 언어 모델은 "word_reading1" 또는 "word_reading2"의 캐릭터/기호들을 포함하는 확률들을 포함할 것이다(예를 들어, Pr(word_reading1)은 "word_reading1"의 유니그램(unigram)과 연관된 확률을 나타내기 위해 사용될 수 있고, Pr(word_reading2)는 "word_reading2"의 유니그램과 연관된 확률을 나타내기 위해 사용될 수 있다; Pr(wordN, wordN-1,..., word_reading1) 및 Pr(wordN, wordN-1,...,word_reading2)와 같은 N-그램들과 연관된 확률들이 또한 생성될 수 있다).

예를 들어, 두 개의 리딩들을 갖는 동철이음이의 단어 "desert"에 대해, 별개의 확률들이 각각의 리딩에 대해 결정될 수 있다. 예를 들어, "desert_v"에 대해 유니그램, 바이그램(bigram),..., N-그램과 연관된 확률들이 결정될 수 있고(예를 들어, Pr(desert_v), Pr(he, would, desert_v), Pr(soldier, said, he, would, desert_v)), "desert_n"에 대해 유니그램, 바이그램,..., N-그램과 연관된 확률들이 결정될 수 있다(예를 들어, Pr(desert_n), Pr(crossed, through, a, desert_n), Pr(camel, crossed, through, a, desert_n)). 시퀀스들(길이에서 하나의 캐릭터보다 긺)의 확률들을 선택함으로써, 캐릭터는 그러한 확률들을 사용하여 차이가 명확해져 그 캐릭터가 나타날 수 있는 적절한 컨텍스트를 결정할 수 있다.

도 7a 및 도 7b는 동철이음이의 한자의 상이한 리딩들을 구별하기 위해 주석이 달린 중국어 코퍼스에서의 텍스트의 예시이다. 한자들의 코퍼스들이 이러한 예시들에서 보이지만, 그 코퍼스는 대신에 다른 언어(예를 들어, 일본어)의 캐릭터들을 포함할 수 있다.

도 7a는 동철이음이의 캐릭터들에 대하여 어떠한 주석들도 포함하지 않는 코퍼스에서 나타나는 문장(702) 및 동철이음이의 캐릭터들에 대해 주석들을 포함하는 코퍼스에서 나타나는 문장(704)을 보여주는 예시이다. 문장(702)에서, 동철이음이의 캐릭터(706)("

")는 "zhang(장)" 및 "chang(창)"의 적어도 두 개의 상이한 리딩들/발음들/병음/의미들과 연관되는 동철이음이의 캐릭터이다. "zhang"으로 읽을 때 "

"의 의미는, 예를 들어, "상관(chief) 또는 지도자(leader)"를 의미한다. "chang"으로 읽을 때 "

"의 의미는, 예를 들어, "긴(long)"을 의미한다. 문장(702)의 (동철이음이의 캐릭터들에 대한 주석들을 포함하지 않는 코퍼스에서의) 영문 번역은 "he is one of the candidates running for mayor(그는 시장에 출마하는 후보들 중 하나이다)"이다. 이처럼, 문장(702)에서, 캐릭터(706)("

")는 "zhang"의 리딩/병음과 연관된 의미로 사용된다. 동철이음이의 캐릭터들에 대한 주석들을 포함하지 않는 코퍼스에서, 문장(702)에서의 캐릭터(706)("

")의 외형은 코퍼스에서 하나의 기호에 맵핑할 것이다(예를 들어, "

"의 텍스트 인코딩의 일부 방식을 사용함). 그러나, 주석 달기를 수행한 후에, 문장(702)은 문장(704)이 되고, 이는 동철이음이의 캐릭터들에 대해 주석들을 포함하는 코퍼스에서 나타날 것이다. 문장(704)에서, 캐릭터("

")는 리딩(708)("

_zhang")을 나타내는 코퍼스에서의 기호로 교체된다(예를 들어, "

_zhang"에 대해 새롭게 생성된 텍스트 인코딩 또는 코퍼스에 나타난 임의의 다른 캐릭터에 대해 이전에 사용되지 않았던 텍스트 인코딩의 일부 방식을 사용함).

도 7b는 동철이음이의 캐릭터들에 대한 주석들을 포함하지 않는 코퍼스에 나타나는 문장(710) 및 동철이음이의 캐릭터들에 대한 주석들을 포함하는 코퍼스에 나타나는 문장(712)을 도시하는 예이다. 동철이음이의 캐릭터들에 대한 주석들을 포함하지 않는 코퍼스 내의 문장(710)의 영문 번역은 "I have been here for a long time already (나는 오래전부터 여기에 와 있었다)"이다. 따라서, 문장(710)에서, 캐릭터(706)("

")는 "chang"의 리딩/병음과 연관된 의미로 사용된다. 동철이음이의 캐릭터들에 대한 주석들을 포함하지 않는 코퍼스에서, 문장(710) 내의 동철이음이의 캐릭터(706)("

")의 외형은 (예를 들면, "

"의 텍스트 인코딩의 몇몇 형태를 사용하여) 코퍼스 내의 하나의 기호에 맵핑할 것이다. 그러나, 주석 달기를 수행한 후, 문장(710)은 동철이음이의 캐릭터들에 대한 주석들을 포함하는 코퍼스에 나타나는 문장(712)이 된다. 문장(712)에서, 캐릭터("

")는 이제 (예를 들면, "

_chang"에 대해 새롭게 생성되는 텍스트 인코딩 또는 코퍼스 내에 나타나는 임의의 다른 캐릭터에 대해 이전에 사용되지 않은 텍스트 인코딩의 몇몇 형태를 사용하여) 리딩(716)("

_chang")을 나타내는 코퍼스 내의 기호로 대체된다.

도 8a 및 도 8b는 동철이음이의 캐릭터들에 대해 주석을 달지 않은 코퍼스 및 병음 입력을 몇몇 형태의 한자 출력으로 변환하는 동철이음이의 캐릭터들에 대해 주석이 달린 코퍼스를 이용한 예를 도시한다. 이들 예에서 한자들의 코퍼스들이 도시되어 있지만, 코퍼스는 그 대신 상이한 언어(예를 들면, 일본어)의 캐릭터들을 포함할 수 있다. 도 7a 및 도 7b의 예에서, 디바이스(예를 들면, 디바이스(102))의 입력 영역에서 병음 입력이 수신될 수 있다.

예에서, 동철이음이의 캐릭터 "

"는 두 개의 잠재적인 리딩/병음인 "chang" 및 "zhang"과 연관된다.

도 8a는 동철이음이의 캐릭터들에 대해 주석을 달지 않은 한자 코퍼스("주석없는 코퍼스")를 사용하는 예를 도시한다. 이 예에서, 병음 "chang" 또는 "zhang"이 입력되는지 여부에 관계없이, 주석없는 코퍼스에 대해 트레이닝된 언어 모델은 (예를 들면, 그 병음이 "

"의 잠재적인 중국어 변환 후보에 맵핑된 후), 예를 들면, 유니그램(unigram) "

"(Pr(

))의 확률과 같은 "

"과 연관된 확률을 검색할 것이다. "

"을 포함하는 캐릭터들의 시퀀스(예를 들면, N-그램, 여기서 N>1)(예를 들면,

)와 연관된 확률이 검색될 수 있다. 그 결과, 언어 모델은 "zhang"("상관(chief)"의 의미)의 리딩/의미에서 그리고 "chang"("긴"이란 의미)의 리딩/의미에서 "

"을 사용하는 어구들 및/또는 문장들 간을 구별하기 위해 통계 정보를 제공할 때 덜 정확할 수 있다.

예를 들면, "zhang"의 리딩/의미에서의 "

"는 "zhang"의 병음(예를 들면,

)과 또한 연관된 다른 한자보다 코퍼스 내에서 훨씬 더 적은 빈도로 사용된다고 가정하자. 그러나, 코퍼스에 대해 트레이닝된 결과적인 언어 모델은 그 코퍼스 내에 얼마나 많은 의미가 사용되었는지에 관계없이 (예컨대, "

"을 포함하는 N-그램에 대응하는) "

"에 동일한 확률에 속한다고 할 것이다. "

"에 할당된 확률이 코퍼스 내의 "chang"의 리딩/의미에서 적어도 몇 개의 "

"의 사용을 포함하기 때문에, 언어 모델에서의 "

"의 확률은 "zhang"의 병음에 맵핑하는 다른 중국어 변환 후보와 연관된 확률에 비해 부정확하게 더 높게 될 수 있고, 이것은 언어 변환에서 전체적으로 낮은 정확도를 초래할 수 있다.

도 8b는 동철이음이의 캐릭터에 대해 주석이 달린 한자 코퍼스("주석달린 코퍼스")를 사용하는 예를 도시한다. 이 예에서, (예를 들면, 병음이 "

"의 잠재적인 중국어 변환 후보에 맵핑된 후) "chang"의 병음 입력에 대해, 언어 모델은, 예를 들면, 유니그램 "

_chang)"(Pr(

_chang))의 확률과 같은 캐릭터의 리딩과 연관된 확률을 검색할 것이다. "

_chang"을 포함하는 캐릭터들의 시퀀스(예를 들면, N-그램, 여기서 N>1)(예를 들면,

)와 연관된 확률이 검색될 수 있다. 유사하게, "zhang"의 병음 입력에 대해, 언어 모델은, 예를 들면, "

_zhang"의 유니그램의 확률(예를 들면,

)과 같은, 캐릭터의 리딩과 연관된 확률을 검색할 것이다. 언어 모델이 트레이닝되는 코퍼스에 주석 달기의 결과로서, 동일한 동철이음이의어 각각의 상이한 리딩에 기여할 수 있고, 이것은 보다 정확한 변환을 가능하게 할 수 있다.

"zhang"의 리딩/의미에서의 "

"이 "zhang"(예를 들면, 章, 掌)의 병음과도 연관된 다른 한자들보다 코퍼스에서 훨씬 덜 자주 이용된다고 가정하는 이전 예를 보면, 주석이 달린 코퍼스에 대해 언어 모델을 트레이닝한 후에는, "

"의 상이한 리딩들("chang" 및 "zhang"에 속하는 별개의 확률들이 존재한다. 이제, "

"에 할당된 확률은 코퍼스 내의 "chang" 의미에서 "

"의 어떠한 이용들도 포함하지 않을 것이며, 마찬가지로

에 할당된 확률은 코퍼스 내의 "zhang" 의미에서 "

"의 어떠한 이용도 포함하지 않을 것이다. 이와 같이, 언어 모델에서의 "

"의 확률들은 "zhang" 또는 "chang"의 병음으로 맵핑하는 다른 중국어 변환 후보들과 연관된 확률들에 비해 더 정확할 것이며, 언어 변환에서 전반적으로 더 높은 정확성에 이르게 할 수 있다.

도 9는 언어 변환의 프로세스의 실시예를 보여주는 순서도이다. 몇몇 실시예들에서, 프로세스(900)는 시스템(100) 상에서 적어도 부분적으로 구현될 수 있다. 몇몇 실시예들에서, 프로세스(900)는 디바이스(102)에서 적어도 부분적으로 구현될 수 있다.

902에서, 타겟 기호 시스템에서의 입력 데이터의 기호 표현을 포함하는 캐릭터 세트로 변환될 입력 데이터가 수신된다. 몇몇 실시예들에서, 입력 데이터는 변환이 일어날 디바이스(예를 들면, 디바이스(102))에서 수신된다. 몇몇 실시예들에서, 입력 데이터는 변환을 수행할 원격 서버(예를 들면, 변환 서버(106))에 보내진다. 몇몇 실시예들에서, 입력 데이터는 (예를 들면, 로마자의) 입력 텍스트를 포함한다. 예컨대, 입력 데이터는 병음 세트일 수 있다.

904에서, 입력 데이터가 변환될 타겟 기호 표현에서 하나 이상의 변환 후보가 생성된다. 몇몇 실시예들에서, 타겟 기호 표현은 한자를 포함한다. 몇몇 실시예들에서, 입력 데이터 또는 그 서브세트는 타겟 기호 표현의 하나 이상의 가능한 캐릭터(예를 들면, 변환 후보들)에 맵핑한다. 예컨대, 입력 데이터가 음성 리딩들과 연관된다고 가정하면, 타겟 기호 표현의 다중 캐릭터들은 입력 데이터의 캐릭터들의 그룹과 연관된 하나의 리딩에 맵핑될 수 있다. 몇몇 실시예들에서, 타겟 기호 표현의 캐릭터들(또는 그 세트들)로의 입력 데이터 형태의 캐릭터들(또는 그 세트들)의 사전은 수신된 입력 데이터에 기반하여 변환 후보들을 결정하는데 이용된다. 몇몇 실시예들에서, 입력 데이터는 예를 들어 입력 데이터 또는 그 일부가 캐릭터와 연관된 리딩들 중 하나를 형성하기 때문에 타겟 기호 표현의 동철이음이의 캐릭터인 변환 후보에 맵핑할 수 있다.

906에서, 타겟 기호 시스템의 캐릭터의 제1 리딩과 제2 리딩 간을 구별하는 언어 모델은 동철이음이의 캐릭터가 입력 데이터의 대응하는 부분을 나타내는 데에 이용되었을 확률을 결정하는데 이용된다. 다양한 실시예들에서, 이용된 언어 모델은 (예를 들면, 프로세스(600)의 적어도 일부를 이용하여) 동철이음이의 캐릭터들에 주석된 코퍼스에 대해 트레이닝된다. 그 결과, 언어 모델은 주석이 달린 코퍼스에서 발견된 동철이음이의 캐릭터의 상이한 리딩들 간을 구별하도록 트레이닝된다. 몇몇 실시예들에서, 언어 모델은 동철이음이의 캐릭터의 각각의 리딩을 (예를 들면, 그 리딩을 포함하는 유니그램, 바이그램, 트리그램 등과 연관된) 하나 이상의 확률의 세트와 연관시킨다. 예컨대, 변환 후보들의 평가시에, (유니그램들, 바이그램들, 트리그램들 등의) 연관된 확률들은 변환 후보들 중 어느 변환 후보가 (주어진 컨텍스트에 대해/인접한 또는 주변 캐릭터들에 기반하여) 최대 상대 확률들을 갖는지를 결정하기 위해 그 언어에 의해 이용된다. 상대적으로 더 높은 확률들을 갖는 변환 후보들이 원하는 변환 출력이 될 가능성이 더 높다. 예를 들어, 변환 후보들 중 하나가 (예를 들어, 입력 데이터의 적어도 일부가 그 캐릭터와 연관된 리딩들 중 하나를 형성하기 때문에) 동철이음이의 캐릭터였다면, 변환 후보의 평가시에, 동철이음이의 캐릭터의 (예를 들어, 그 특정한 리딩을 포함하는 유니그램들, 바이그램들, 트리그램들 등의) 특정한 리딩과 연관된 확률들은 다른 변환 후보들과 연관된 확률들에 대해 비교하기 위해 검색 및 이용된다.

도 10은 병음을 한자들로 변환하기 위한 프로세스의 실시예를 보여주는 순서도이다. 몇몇 실시예들에서, 프로세스(1000)는 시스템(100)을 이용하여 구현될 수 있다. 몇몇 실시예들에서, 프로세스(900)의 적어도 일부(예를 들면, 904 및 906)는 프로세스(1000)를 이용하여 구현될 수 있다.

1002에서, 병음과 연관된 캐릭터들의 입력 세트는 캐릭터들의 하나 이상의 그룹으로 분해되는데, 캐릭터들의 각각의 그룹은 하나의 한자로 변환되어야 한다. 몇몇 실시예들에서, 병음과 연관된 캐릭터들의 세트는 디바이스(예를 들면, 디바이스(102))의 입력 영역에서 수신된다. 몇몇 실시예들에서, 입력 병음은 하나의 한자 또는 그보다 많은 한자들로 변환된다. 몇몇 실시예들에서, 입력 병음(예를 들면, 글자들의 적어도 일부 간에 하나 이상의 공간을 갖거나 또는 공간을 갖지 않는 로마자들의 스트링)은 정확히 스펠링된다. 보통, 각각의 한자는 대개 단음절로 되어 있으며, 단음절어로서 읽혀지는 병음 입력에서 인접 글자들의 그룹에 맵핑한다. 그러므로, 입력 병음이 중국어 변환 후보들에 맵핑될 수 있기 전에, 몇몇 실시예들에서는, 단음절어들로서 리딩되는 글자들의 그룹들로 분해되어야 한다.

예를 들어, 입력 병음이 "shizhang"이라고 가정하자. 이 입력은 두 개의 음절("shi" 및 "zhang")을 포함하고, 두 개의 단음절의 글자들의 그룹들: "shi" 및 "zhang"으로 분해된다.

단계 1004에서, 하나 이상의 병음 그룹 각각에 대응하는 하나 이상의 중국어 변환 후보가 결정된다. 중국어에는, 몇 개의 동음 한자가 있는데, 이들은 동일하게 읽히고 발음되지만 의미에 있어서 차이가 있다. 동음 캐릭터들은 동일한 병음과 연관될 것이다. 병음을 한자들로 변환하는 과정에서, (예를 들어 동일한 또는 다른 톤들을 가진) 몇 개의 동음 캐릭터는 각각의 단음절 병음 그룹에 대해 확인될 수 있다. 그러나, 단지 하나의 캐릭터만이 병음 그룹에 대해 바람직한 변환이다. 이 바람직한 캐릭터는, 어떤 하나 이상의 변환 후보가 가장 높은 확률과 연관되는지를 판정하기 위한, 각각의 중국어 변환 후보와 연관된 하나 이상의 확률과 연관된 언어 모델을 이용함으로써 획득될 수 있다.

이전의 예에 계속하여, "shi"에 대한 중국어 변환 후보들은, 예를 들어 "是", "市", 및 "十"를 포함한다. "zhang"에 대한 중국어 변환 후보들은, 예를 들어 "章", "掌", 및 "

"을 포함한다.

단계 1006에서, 하나의 병음 캐릭터 그룹이 하나의 동철이음이의 한자의 리딩과 연관되는지가 판정된다; 병음 그룹이 동철이음이의 캐릭터와 연관된 제1 리딩과 연관된다고 판정되는 경우, 그 제1 리딩과 연관된 정보가 검색된다. 몇몇 실시예에서, 하나 이상의 분해된 단음절 병음 그룹이 동철이음이의 캐릭터의 하나의 리딩과 연관된다. 만약 이런 그룹이 판정되면, 동철이음이의 캐릭터의 리딩과 연관된 확률이 대응하는 중국어 변환 후보들을 평가하기 위해 (예를 들어, 동철이음이의 한자들의 상이한 리딩들을 구별하기 위해 주석이 달린 코퍼스에서 트레이닝된 언어 모델에 의해) 검색되고 이용된다.

이전의 예에 계속하여, 병음 "zhang"은 동철이음이의 캐릭터 "

"의 하나의 리딩과 연관된다고 판정될 수 있고, "shi" 및 "zhang"에 대해 중국어 변환 후보들을 평가하는 데에 있어서도, "

_zhang"과 연관된 확률들 (예를 들어, Pr(

_zhang))이 검색될 수 있다. 더욱이, 입력 "shizhang"이 (두 개의 한자를 포함하는) 하나의 구를 형성하는 데에 이용된다고 가정하면, "shi" 및 "zhang"의 중국어 변환 후보들의 여러 조합과 관련된 확률들 (예를 들어, Pr(是, 章); Pr(是, 掌); Pr(是,

_zhang); Pr(市, 章); Pr(市, 掌); Pr(市,

_zhang); Pr(十, 章); Pr(十, 掌); Pr(十,

_zhang))이 가장 높은 확률을 갖는 조합을 판정하기 위해 평가된다. 코퍼스가 적절하게 주석이 달려있고, 언어 모델이 적절하게 트레이닝되었다고 가정하면, 중국어 변환 후보들의 가능한 조합들과 연관된 확률들에 대하여, (한자들의 남아있는 조합들이 무의미하고 및/또는 주석이 달린 코퍼스에서 빈번히 등장하지 않기 때문에) Pr(市,

_zhang)의 값이 가장 클 것이다. 그러한 이유로, 이 예시에서, (영어로 "mayor(시장)"을 뜻하는) "市

"이 "shizhang"의 입력에 대한 출력 중국어 변환이다. 코퍼스가 상이한 동철이음이의 한자들의 리딩들을 구별하기 위해 주석이 달려있지 않았다면, (주석이 달리지 않은 코퍼스로부터 결정된)Pr(市,

)의 값은 Pr(市,

_zhang)의 값만큼 높지 않을 수 있는데(즉, "市

"은 출력 중국어 변환으로서 선택되지 않을 수 있는데), 왜냐하면, 예를 들어, 이것의 리딩들("chang" 및 "zhang") 전부에서 이용된 "

"이 주석이 달려있지 않은 코퍼스에서의 "市"가 아닌 다른 한자 옆에 더 일반적으로 등장하기 때문이다.

비록 앞선 실시예들이 명확한 이해를 목적으로 어느 정도 상세하게 기술되었지만, 본 발명은 제공된 상세한 설명에 제한되지 않는다. 본 발명을 구현하는 많은 대안적인 방식들이 있다. 개시된 실시예들은 설명적인 것이고 제한적인 것이 아니다.

Claims

메모리 및 하나 이상의 프로세서를 포함하는 디바이스에서,
타겟 기호 시스템(target symbolic system)에서 입력 데이터의 기호 표현을포함하는 캐릭터들의 셋트로 변환될 입력 데이터를 수신하는 단계; 및
상기 타겟 기호 시스템의 동철이음이의 캐릭터(heteronymous character)의 제1 리딩(reading) 및 제2 리딩을 구별하는 언어 모델을 이용하여, 동철이음이의 캐릭터가 입력 데이터의 대응 부분을 나타낼 각각의 확률을 결정하는 단계
를 포함하는 방법.
제1항에 있어서,
상기 입력 데이터가 변환될 상기 타겟 기호 시스템에서 하나 이상의 변환 후보를 생성하는 단계를 더 포함하는 방법.
제1항 또는 제2항에 있어서, 상기 입력 데이터는 병음(pinyin)으로 기입된 입력 텍스트를 포함하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 입력 데이터는 로마자(Roman alphabet) 캐릭터로 기입된 입력 텍스트를 포함하는 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 입력 데이터는 하나 이상의 단음절(monosyllabic) 캐릭터 그룹으로 분해되는 방법.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 타겟 기호 시스템은 한자(chinese character)를 포함하는 방법.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 언어 모델은 상기 동철이음이의 캐릭터의 제1 리딩과 동철이음이의 캐릭터의 제2 리딩을 구별하도록 주석이 달린 코퍼스를 이용하여 트레이닝되고, 상기 동철이음이의 캐릭터의 제1 리딩과 제2 리딩 중 적어도 하나에 대하여, 대응하는 새로운 기호 또는 그 인코딩된 표현이 생성되어 주석이 달린 코퍼스에 부가되는 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
코퍼스와 연관된 텍스트의 서브셋에 대한 하나 이상의 수동 주석 입력을 수신하는 단계 -상기 수동 주석 입력은, 각각의 동철이음이의 캐릭터의 인스턴스에 대하여, 인스턴스와 연관된 컨텍스트에 적어도 부분적으로 기초하여, 각각의 동철이음이의 캐릭터의 각각의 적절한 리딩을 표시하고, 각각의 상기 주석은 각각의 동철이음이의 캐릭터와 연관된 각자의 기호와 연관됨- ; 및
수신된 상기 하나 이상의 수동 주석 입력에 적어도 부분적으로 기초하여 수동으로 주석이 달리지 않은 코퍼스와 연관된 텍스트의 적어도 일부에 자동으로 주석을 다는 단계
를 더 포함하는 방법.
제1항 내지 제8항 중 어느 한 항에 있어서, 언어 모델은 동철이음이의 캐릭터의 제1 리딩에 대응하는 제1 확률과 상기 동철이음이의 캐릭터의 제2 리딩에 대응하는 제2 확률을 연관시키도록 트레이닝되는 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 언어 모델은, 상기 동철이음이의 캐릭터의 제1 리딩을 포함하는 제1 캐릭터 시퀀스에 대응하는 제1 확률과 상기 동철이음이의 캐릭터의 제2 리딩을 포함하는 제2 캐릭터 시퀀스에 대응하는 제2 확률을 연관시키도록 트레이닝되며, 상기 제1 및 제2 시퀀스 각각은 2개 이상의 캐릭터를 포함하는 방법.
전자 디바이스에 있어서,
하나 이상의 프로세서; 및
하나 이상의 프로세서에 의해 실행되는 경우, 상기 프로세서들로 하여금,
타겟 기호 시스템에서 입력 데이터의 기호 표현을 포함하는 캐릭터 셋트로 변환될 입력 데이터를 수신하는 단계; 및
상기 타겟 기호 시스템의 동철이음이의 캐릭터의 제1 리딩과 제2 리딩을 구별하는 언어 모델을 이용하여, 상기 동철이음이의 캐릭터가 상기 입력 데이터의 대응하는 부분을 나타낼 각각의 확률을 결정하는 단계
를 포함하는 동작들을 수행하게 하는 명령어들이 기억되어 있는 메모리
를 포함하는 전자 디바이스.
제11항에 있어서, 상기 동작들은 입력 데이터가 변환될 타겟 기호 시스템에서 하나 이상의 변환 후보를 생성하는 단계를 더 포함하는 전자 디바이스.
제11항 또는 제12항에 있어서, 상기 입력 데이터는 병음으로 기입된 입력 텍스트를 포함하는 전자 디바이스.
제11항 내지 제13항 중 어느 한 항에 있어서, 상기 입력 데이터는 로마자 캐릭터로 기입된 입력 텍스트를 포함하는 전자 디바이스.
제11항 내지 제14항 중 어느 한 항에 있어서, 상기 타겟 기호 시스템은 한자를 포함하는 전자 디바이스.
제11항 내지 제15항 중 어느 한 항에 있어서, 상기 언어 모델은 동철이음이의 캐릭터의 제1 리딩과 동철이음이의 캐릭터의 제2 리딩을 구별하도록 주석이 달려진 코퍼스를 이용하여 트레이닝되고, 상기 동철이음이의 캐릭터의 제1 리딩과 제2 리딩 중 적어도 하나에 대하여, 대응하는 새로운 기호 또는 그 인코딩된 표현이 생성되어 주석이 달린 코퍼스에 부가되는 전자 디바이스.
제11항 내지 제16항 중 어느 한 항에 있어서, 상기 동작들은,
코퍼스와 연관된 텍스트의 서브셋에 하나 이상의 수동 주석 입력을 수신하는 단계 -각각의 상기 수동 주석 입력은 각각의 동철이음이의 캐릭터의 인스턴스에 대하여, 상기 인스턴스와 연관된 컨텍스트에 적어도 부분적으로 기초하여 각각의 동철이음이의 캐릭터의 각각의 적당한 리딩을 표시하고, 각각의 상기 주석은 각각의 동철이음이의 캐릭터와 연관된 각각의 기호와 연관됨-; 및
수신된 상기 하나 이상의 수동 주석 입력에 적어도 부분적으로 기초하여 수동으로 주석이 달리지 않은 코퍼스와 연관된 텍스트의 적어도 일부에 자동으로 주석을 다는 단계
를 더 포함하는 전자 디바이스.
제11항 내지 제17항 중 어느 한 항에 있어서, 상기 언어 모델은 상기 동철이음이의 캐릭터의 제1 리딩에 대응하는 제1 확률과 상기 동철이음이의 캐릭터의 제2 리딩에 대응하는 제2 확률을 연관시키도록 트레이닝되는 전자 디바이스.
제11항 내지 제18항 중 어느 한 항에 있어서, 상기 언어 모델은 상기 동철이음이의 캐릭터의 제1 리딩을 포함하는 제1 캐릭터 시퀀스에 대응하는 제1 확률과 상기 동철이음이의 캐릭터의 제2 리딩을 포함하는 제2 캐릭터 시퀀스에 대응하는 제2 확률을 연관시키도록 트레이닝되며, 상기 제1 및 제2 시퀀스 각각은 2개 이상의 캐릭터를 포함하는 전자 디바이스.
명령어들이 저장되어 있는 컴퓨터 판독가능 저장 매체로서,
상기 명령어들은, 전자 디바이스의 하나 이상의 프로세서에 의해 실행되는 경우, 상기 전자 디바이스로 하여금,
타겟 기호 시스템에서 입력 데이터의 기호 표현을 포함하는 캐릭터 셋트로 변환될 입력 데이터를 수신하는 단계; 및
상기 타겟 기호 시스템의 동철이음이의 캐릭터의 제1 리딩과 제2 리딩을 구별하는 언어 모델을 사용하여, 상기 동철이음이의 캐릭터가 상기 입력 데이터의 대응하는 부분을 나타낼 각각의 확률을 결정하는 단계
를 수행하게 하는, 컴퓨터 판독가능 저장 매체.