KR100630886B1

KR100630886B1 - 문자 스트링 식별

Info

Publication number: KR100630886B1
Application number: KR1020047005516A
Authority: KR
Inventors: 조나손 레이 네퍼
Original assignee: 실버브룩 리서치 피티와이 리미티드
Priority date: 2001-10-15
Filing date: 2002-10-15
Publication date: 2006-10-02
Also published as: JP4568774B2; EP1446763B1; KR20050036857A; CA2463127A1; US7756336B2; US20050226512A1; IL161379A; WO2003034326A1; CN1571980A; US20110091110A1; IL161379A0; US7532758B2; EP1446763A4; JP2005505869A; US8000531B2; US8285048B2; AUPR824601A0; US20090022399A1; EP1446763A1; US20100278430A1

Abstract

본 발명은 손으로 기록된 단어들과 같은, 다수의 손으로 기록된 문자들로부터 형성된 스트링을 식별하는 방법을 제공한다. 이를 이루기 위하여, 방법은 미리 결정된 형태의 템플릿에 대응하는 스트링의 확률을 결정할 뿐만 아니라, 스트링의 각 문자에서 문자 확률들을 결정하도록 동작한다. 이에 관하여, 각 템플릿은 문자 유형들의 개별적인 조합을 나타낸다. 그 후, 템플릿과 문자 확률들은 결정된 스트링 확률들에 대응하여 식별되는 문자 스트링으로, 스트링 확률들을 결정하도록 조합된다.

템플릿, 스트링, 문자 확률, 스트링 확률, 프로세서, 저장소, 핸드라이팅 인식.

Description

문자 스트링 식별{CHARACTER STRING IDENTIFICATION}

본 발명은 다수의 손으로 기록한(hand-written) 문자들로 형성된 스트링을 식별하기 위한 방법 및 장치에 관한 것이고, 특히 손으로 기록한 텍스트를 식별하는 것에 관한 것이다.

이 명세서에서 어떤 종래 기술의 참조도, 그 종래기술이 통상의 일반적인 지식의 일부를 형성한다는 인정이나 어떤 형태의 제시가 아니며, 그렇게 받아들여져도 안된다.

고정밀 핸드라이팅(handwriting) 인식 시스템들의 개발에서 직면된 주된 이슈들 중 하나는 핸드라이팅의 고유한 모호성이다. 사람들은 손으로 기록한 텍스트를 정확하게 디코드하기 위해 문맥상의 지식에 의존한다. 결과적으로, 많은 양의 연구가 구문의 그리고 말의 제한들을 손으로 기록한 텍스트 인식에 적응하는데로 향해졌다. 유사한 작업이 음성 인식, 자연 언어 처리 및 기계 번역의 분야에서 수행되어 왔다.

핸드라이팅 인식 시스템에서, 기초적인 언어 프리미티브(primitive)가 문자이다. 몇몇의 인식 시스템들이 전적으로 문자 인식을 무시(전체 단어 인식(holistic word recognition)으로 알려짐)하는 반면에, 대부분의 인식 시스템 들은 입력 신호에서 개별적인 문자들을 식별하는 시도를 행한다. 이것을 하지 않는 시스템들은 인식하는 동안 사전들에 지나치게 의존하고, 어휘가 아닌 단어들(즉, 사전에 없는 단어들)의 인식에 대한 지원은 일반적으로 이용할 수 없다.

문자 인식을 이용하는 시스템에서, 문자 분류기의 원 출력(raw output)은 필연적으로 핸드라이팅의 고유한 모호성에 기인하여 인식 에러들을 포함한다. 결과적으로, 몇몇 종류의 언어 기반의 사후 처리(post-processing)가 일반적으로 입력의 실제 의미를 결정하는데 요구된다.

많은 시스템들은 손으로 기록된 텍스트를 위한 언어 규칙들의 세트를 정의하는 간단한 발견적 교수법(heuristics)을 포함한다. 따라서, 예를 들어, 대문자들은 단어들의 시작에서 대부분 발견되고(반대예로, "MacDonald"), 대부분의 스트링들은 모두 글자들이거나 모두 숫자들이고(반대예로, "2nd"), 단어 내에서 구두점 문자들의 가능성있는 위치를 정의하는 규칙들이 있다. 그러나, 이 발견적 교수법은 시간을 소비하고 정의하기 힘들고, 변하기 쉽고, 보통 불완전하다.

상기 발견적 교수법에 부가하여, 몇몇의 인식 시스템들은 문자 N-그램 모델(N-gram model)을 포함한다. 이것의 예는 H.Beigi와 T.Fujisaki가 쓴, 1992년 9월 13-16일, 캐나다 토론토의 Proceedings of the Canadian Conference on Electrical and Computer Engineering의 Vol.Ⅰ의 pp. WA1.27.1-4, "A Character Level Predictive Language Model and its Application to Handwriting Recognition" 에서 설명된다.

특히, 이 시스템들은 이전 문자들의 시퀀스를 주어 특정 문자를 관측하는 확 률을 정의하는 언어 모델들을 이용한다. 예를 들어, 글자 'e'는 글자 'q'보다 'th'후에 더 많이 온다. 즉, P(e｜th)는 P(q｜th)보다 크다. 문자 N-그램들은 텍스트 언어자료로부터 쉽게 유도될 수 있고 기록자를 단어들의 특정한 리스트로 제한하지 않고 문자 인식을 향상시키는 강력한 기법이다.

비록 그렇다 하더라도, 주어진 언어에서 제공되는 다수의 글자 결합들에 있어서, 이러한 시스템들의 사용이 제한되고, 매우 데이터 집중적인 처리를 요구함에 의해, 기법의 응용들의 범위를 제한한다.

더욱이, 몇몇의 상황에서, 인식 시스템은 그 입력에 대하여 특정 유형(예를 들어, 미국 우편번호들, 전화 번호들, 거리 주소들 등)을 예상하고 있다. 이 경우들에서, 정규 표현들, 간단한 언어 템플릿들(templates), 및 제한된 문자세트들의 사용은 인식 정확도를 증가시키는데 사용될 수 있다. 그러나, 이 기법들의 사용은, 제한된 유형으로의 엄격한 고수(adherence)가 이루어지는 환경들에 제한된다. 따라서, 예를 들어, 시스템이 훈련되고 일반적인 손으로 기록된 텍스트에 적응되지 않기 때문에, 그 기법은 우편 번호들 등에만 적응될 것이며, 그에 대하여 그 시스템이 훈련되고, 일반적인 손으로 기록된 텍스트에는 적응되지 않을 것이다.

또한, 손으로 기록된 텍스트는 문자 수준뿐만 아니라, 단어 수준, 특히 필기체에서 모호성을 나타낸다. 인식 시스템들은 단어기반의 언어 모델들을 포함함으로써 이러한 이슈를 해결하며, 그 중 가장 통상적인 것은 미리 정의된 사전을 사용하는 것이다.

단어 N-그램들은, 문자 N-그램들과 비슷하지만 문자들보다 오히려 단어들의 시퀀스들 사이의 변이 확률이 정의되고, 기록된 텍스트의 사후-처리에 사용될 수 있다. 많은-어휘 단어 N-그램들을 필요로 하는 처리조건들과 조합 메모리를 회피하기 위해, 몇몇 시스템들은, 변이 확률들이 개별적인 단어들보다 단어(즉, 명사 또는 동사)의 일부 스피치 태그(part-of-speech tag)에 대해 정의되는, 단어-클래스 N-그램들을 사용한다.

다른 시스템들은 단어 명확화를 위한 구문론의 마코브(Markov) 모델들을 사용한다. 이 예는 D. Tugwell이 쓴, 1998년에 영국 선더랜드 대학에서, 제 1 CLUK 세미나에서 나타난 논문, "A Markov Model of Syntax"에서 설명된다.

단어 모델링의 또 다른 접근법은 1999년, 미국 메사츄세츠의 캠브리지 MIT 출판사에서, C. Manning과 H. Schutze가 쓴, "Foundations of Statistical Natural Language Processing"에서 예로 설명된 것처럼, 구문적 또는 의미적 유닛의 문자들을 가진 2개 이상의 단어들의 시퀀스들 및 단어 병치들(word collocations)의 식별이다.

그러나, 언어 사후 처리의 사용은 데이터 집중적이며, 그에 의해 그 기법이 적응될 수 있는 응용들이 제한된다.

위에서 설명된 몇 가지 기법들의 예들이 보다 자세히 설명된다.

H.Beigi와 T.Fujisaki는 1992년 9월 13-16일, 캐나다 토론토의 Proceedings of the Canadian Conference on Electrical and Computer Engineering의 Vol.Ⅰ의 pp. WA1.27.1-4의 "A Flexible Template Language Model and its Application to Handwriting Recognition"에서, "유형 또는 그 어휘에서 제한되는" 상황들에 사용 하는 일반적인 템플릿 언어 모델을 설명한다. 이 경우에서, 템플릿들은 조사(search) 발견적 교수법을 사용하여 모델 확률과 신축적-매칭(elastic-matching) 문자-분류 스코어(score)를 통합함에 의해 적응된다.

이전의 N-1 문자들을 기반으로 문자의 확률을 측정하는데 사용된 N-그램 문자 모델의 사용이 또한 설명된다.

이 시스템에서, H.Beigi와 T.Fujisaki가 쓴, 1992년 9월 13-16일, 캐나다 토론토의 Proceedings of the Canadian Conference on Electrical and Computer Engineering의 Vol.Ⅰ의 pp. WA1.27.1-4의, "A Character Level Predictive Language Model and its Application to Handwriting Recognition"에서, 보다 자세히 설명된 것처럼, "N-그램 문자 예측기에서 지원되는 문자들의 세트는 a-z와 스페이스(space)이다."

더욱이, 1992년 9월, 캐나다 토론토 IEEE의 Canadian Conference on Electrical and Computer Engineering의 "Character Prediction for On-Line Handwriting Recognition"에서, "N=4는 실제적인 온-라인 핸드라이팅 인식에 대해 최적인 것으로 보인다"는 것이 설명된다.

비슷하게도, J. Pitrelli와 E. Ratzlaff가 쓴, 2000년 9월 11-13일, 암스테르담의 Proceedings of the Seventh International Workshop on Frontiers in Handwriting Recognition의, "Quantifying the Contribution of Language Modeling to Writer-Independent On-line Handwriting Recognition"에서, 히든 마코브 모델(Hidden Markov Model, HMM) 필기체 핸드라이팅 인식 시스템에서의 단어 N-그 램들과 문자 N-그램들의 사용을 설명한다.

손으로 기록된 텍스트의 전체 단어 인식을 수행하기 위해 언어자료로부터 유도된 단어 유니그램(unigram)과 바이그램(bigram) 언어 모델은 U.Marti와 H. Bunke가 쓴, 2000년에 스페인 바르셀로사의 Proceedings of the 15th International Conference on Pattern Recognition의 Vol.3 페이지 467-470, "Handwritten Sentence Recognition" 에서 설명된다. 이 경우에서, 비터비(Viterbi) 알고리즘은 입력 텍스트 문장들을 디코드하기 위해 분류기 스코어들과 단어 확률들을 사용한다.

Bouchaffa 일행은 1999년 10월, 21(10), IEEE Transactions Pattern Analysis and Machine Intelligence의 pp.990-999, "Post processing of Recognized Strings Using Non-stationary Markovian Models"에서 미국 우편번호들의 인식의 사후-처리 단계로써 고정되지 않은 마코브 모델들의 사용을 설명한다. 이 경우에서, 우편 번호들이 고정된 길이를 가진다는 영역-특성(domain-specific) 지식, 및 특정한 물리적인 의미를 가지는 우편번호 내의 각 디지트(digit)가 인식을 돕기 위해 사용된다. 특히, 미국 우정공사에 의해 제공된 우편번호들의 트레이닝 세트를 사용하여, 디지트 스트링 내의 각 지점에서 각 디지트에 대한 변이 확률들이 계산되었고, 이 지식은 인식 성능을 향상시키기 위해 적응되었다.

L. Yaeger, B. Webb과 R. Lyon이 쓴, AAAI 1998년, AI Magazine Volume 19, No.1, p.73-89 "Combining Neural Networks and Context-Driven Search for On-Line, Printed Handwriting Recognition in the Newton"는 상업적 수기(hand- printed) 문자 인식 시스템을 위해 사전적 문맥을 정의하기 위한 다양하게 적응된 언어 모델링 기법들을 수행하는 것을 설명한다. 이 계획은 "규칙적인 표현 문법으로부터 유도된" 몇몇을 포함하여, "단어 리스트들, 접두사와 접미사 리스트들, 및 구두점 모델들"의 조합과 정의를 행한다. 사전들과 어휘 템플릿들은 병렬로 조사될 수 있고, 각 표현을 위한 이전의 확률을 포함한다. 구문 템플릿들은 손으로 코드되고 확률들은 경험적 분석으로부터 유도된다.

R. Srihari가 쓴, 1994년 3월, NJ 프린스턴의 ARPA Workshop on Human Language Technology에서 출판된, "Use of Lexical and Syntactic Techniques in Recognizing Handwritten Text"은 핸드라이팅 인식 시스템의 결과들을 명확하게 하기 위해 어휘 및 구문 기법들의 조합을 이용하여 설명한다. 특히, 그 기법은 문맥을 기반으로 단어들을 진행시키거나 명시하기 위해 단어 병치 확률들을 적응하고, 태깅(tagging)을 기반으로 단어 구문의 마코브 모델을 사용한다.

미국 특허 6,137,908은 문자 분절(segmentation)과 인식의 정확도를 향상시키기 위해 다른 발견적 교수법과 조합한 트라이그램(trigram) 언어 모델을 사용하여 설명한다.

미국 특허 6,111,985에서, 인식하는 동안 문자 문법, 및 전통적인 최대 가능성 시퀀스 추정 알고리즘(즉, 비터비(Viterbi) 디코딩)이 N-그램 문자 모델을 사용하여 숫자 스트링들과 단어들을 명확히 구분하는 데 사용된다.

비슷하게, 미국 특허 5,392,363에서 설명된 손으로 기록된 단어 인식 시스템은 프레임-기반 확률 분류기에서 명확화를 위한 문자- 및 단어-문법 모델들을 사용 한다.

미국 특허 5,787,197은 온라인 핸드라이팅 인식을 위해 사전 기반의 사후-처리 기법을 사용한다. 사전 조사는 입력 단어로부터 모든 구두점을 없애고, 그 후 사전에 대응하여 매칭된다. 조사가 실패하면, "자획 매치(stroke match) 함수와 스펠-도움(spell-aid) 사전이, 가능한 단어들의 리스트를 구성하는 데 사용된다".

비슷하게, 미국 특허 5,151,950은 문맥상의 정보로 분류기 결과들을 병합하기 위해 결정성 유한 오토머턴(deterministic finite automaton)으로써 나무-구조의 사전을 사용하여 설명한다. 이 시스템은 "최상의 매칭 인식 스트링을 예시 스트링으로부터 히든 마코브 처리를 통해" 선택한다.

미국 특허 5,680,511은 "단어들의 구절 내에서 발생하는 인식되지 않거나 모호한 단어를 인식하기 위해" 단어-기반 언어 모델을 사용한다. 이 방법은 음성 또는 손으로 기록된 텍스트 인식의 관계에 있어서 설명된다.

미국 특허 5,377,281는 사후-처리 문자 인식 스트링들로의 지식-기반 접근법을 사용한다. 사용되는 지식 소스는 특정 문자 접두사들과 단어들의 가능성을 관련시키는 통계들, 단어-확률들, 단어 디-그램(di-gram) 확률들을 포함하고, 제안들과 그 비용들을 재기록하고, 텍스트 언어 자료로부터 유도된다.

미국 특허 5,987,170은 원래의 스크립트의 인식을 위해 단어와 문법적인 사전들의 조합을 사용한다. 미국 특허 6,005,973은 인식하는 동안 가장 가능성있는 디지트 스트링과 사전 스트링들 둘 다를 유도하고, 이것은 선택을 위해 기록자들에게 제공된다.

미국-6,084,985는 히든 마코브 모델을 기반으로 온-라인 핸드라이팅 인식의 방법을 설명하고, 각각 핸드라이팅 특성 벡터와 연합된 세그먼트들의 시간-합치된 스트링을 핸드라이팅으로부터 유도하여, 적어도 핸드라이팅의 순간적 기록 위치의 실시간 센싱을 이용한다. 그 후, 그 방법은 시간 합치된 스트링을 핸드라이팅과 관련한 데이터베이스로부터의 다양한 예시 스트링들에 매칭하고, 최상의 매칭 인식 스트링을 히든 마코브 처리를 통해 예시 스트링들로부터 선택한다.

따라서, 상기 방법들 각각은 다양한 단점들로 인해 문제를 겪는 것을 알 수 있다. 특히, 그 기법들의 대부분은 많은 양의 데이터 처리를 요구하는 경향이 있다. 이는 특히 강력한 프로세서들이 인식을 수행하는데 요구되기 때문에, 그 기법들이 실행될 수 있는 환경들을 제한할 수 있다.

본 발명의 제 1 넓은 형태에서는 다수의 손으로 기록된 문자들로 형성된 스트링을 식별하는 방법을 제공하고, 그 방법은:

a) 스트링에서 각 문자에 대한 문자 확률들을 결정하는 단계로서, 각 문자 확률은 다수의 미리 결정된 문자들 중 개별적인 하나인 개별적인 문자의 가능성을 나타내는, 문자확률 결정 단계;

b) 상기 스트링을 위한 템플릿 확률들을 결정하는 단계로서, 각 템플릿 확률은 다수의 템플릿들 중 개별적인 하나에 대응하는 스트링의 가능성을 나타내고, 각 템플릿은 문자 유형들의 개별적인 조합을 나타내는 템플릿 확률 결정 단계;

c) 상기 결정된 문자 및 템플릿 확률들에 따라 스트링 확률들을 결정하는 단 계; 및

d) 상기 결정된 스트링 확률들에 따라 상기 문자 스트링을 식별하는 단계

를 포함한다.의

일반적으로 각각의 미리 결정된 문자는 개별적인 문자 유형을 갖는다.

문자 유형들은 일반적으로 적어도:

a) 디지트들;

b) 글자들; 및

c) 구두점 마크들

중 하나를 포함한다.

문자 확률들을 결정하는 방법은 일반적으로 문자 분류기를 사용하는 것을 포함한다.

템플릿 확률들을 결정하는 방법은:

a) 스트링에서 문자들의 수를 결정하는 단계;

b) 동일한 갯수의 문자들을 가지는 템플릿들을 선택하는 단계; 및

c) 각 선택된 템플릿을 위한 템플릿 확률을 얻는 단계

를 포함할 수 있다.

템플릿 확률은 텍스트 언어자료의 통계적인 분류에 의해 미리 결정될 수 있다.

일반적으로 그 방법은 다음 단계들에 의해 각 템플릿에 대응하는 잠재적 문자 스트링을 결정하는 단계를 포함한다:

상기 템플릿으로부터

a) 상기 스트링의 각 문자의 문자 유형을 결정하는 단계; 및

b) 상기 템플릿에서 각 문자에 대하여 미리 결정된 문자들 중 하나를 선택하는 단계로서, 그 미리 결정된 문자는 상기 결정된 문자 유형과 문자 확률에 따라 선택하는 단계.

바람직하게, 상기 선택된 미리 결정된 문자는 최고 문자 확률을 가지는 미리 결정된 문자이다.

일반적으로 문자 스트링을 식별하는 방법은:

a) 스트링 확률을 각각의 잠재적 스트링으로 결정하고, 그 스트링 확률은 각 선택된 문자의 문자 확률들과 개별적인 템플릿 확률을 연관시킴에 의해 결정되고;

b) 최고 스트링 확률을 가지는 잠재적 스트링이 될 문자 스트링을 결정하는 단계를 포함한다.

그 방법은:

a) 저장소로서:

i) 미리 결정된 문자들;

ii) 템플릿 데이터로서:

(1) 템플릿들; 및

(2) 템플릿 확률들;

중 적어도 하나를 나타내는 템플릿데이터

중 적어도 하나를 저장하는 저장소와,

b) 프로세서로서:

i) 문자 스트링을 수신하고;

ii) 스트링 내의 각 문자에 대한 문자 확률들을 결정하고,

iii) 템플릿 확률들을 결정하고,

iv) 결정된 문자와 템플릿 확률들에 따라 스트링 확률들을 결정하고,

v) 결정된 스트링 확률들에 따라 문자 스트링을 식별하도록

적응된 프로세서를

가지는 처리 시스템을 사용하여 수행될 수 있다.

본 발명의 제 2 넓은 형태에서는 다수의 손으로 기록된 문자들로 형성된 스트링을 식별하기 위한 장치를 제공하고, 그 장치는:

a) 저장소로서:

i) 다수의 미리 결정된 문자들;

ii) 다수의 템플릿을 나타내는 템플릿 데이터

중 적어도 하나를 저장하는 저장소와,

b) 프로세서로서:

i) 스트링에서 각 문자에 대한 문자 확률들을 결정하고, 각 문자 확률은 다수의 미리 결정된 문자들 중 개별적인 하나인 개별적인 문자의 가능성을 나타내고,

ii) 스트링을 위한 템플릿 확률들을 결정하고, 각 템플릿 확률은 다수의 템플릿들 중 개별적인 하나에 대응하는 스트링의 가능성을 나타내고, 각 템플릿은 문자 유형들의 개별적인 조합을 나타내고,

iii) 결정된 문자 및 템플릿 확률들에 따라 스트링 확률들을 결정하고,

iv) 결정된 스트링 확률들에 따라 문자 스트링을 식별하도록,

적응되는 프로세서를

포함한다.

프로세서는 일반적으로 입력과 연결되고, 그 프로세서는 손으로 기록된 문자들의 스트링을 입력을 거쳐 수신하도록 적응된다.

장치는, 특히 프로세서가 본 발명의 제 1 넓은 형태의 방법을 수행하도록 적응될 수 있다.

이 경우에서, 프로세서가 템플릿 확률을 템플릿 데이터로부터 얻도록 적응되면, 템플릿 데이터는 각 템플릿을 위한 템플릿 확률을 더 포함할 수 있다.

본 발명의 제 3 넓은 형태는 핸드라이팅 인식에서 사용하기 위한 템플릿을 생성하는 방법을 제공하고, 그 방법은:

a) 텍스트를 얻는 단계;

b) 상기 텍스트 내의 문자 스트링들을 식별하는 단계로서, 각 문자 스트링은 하나 이상의 문자들의 시퀀스로부터 형성되어지고, 각 문자는 개별적인 유형을 가지는 식별단계;

c) 각 문자 스트링에 대해 문자 유형들의 시퀀스를 결정하는 단계; 및

d) 각 문자 유형 시퀀스에 대해 템플릿을 정의하는 단계를

포함한다.

전형적으로 그 방법은:

a) 결정된 템플릿들을 통계적으로 분석하는 단계; 및

b) 통계적인 분석에 따라 템플릿 확률을 결정하는 단계로서, 그 템플릿 확률은 텍스트에서 발생하는 개별적인 문자 유형 시퀀스의 확률을 나타내는 템플릿 확률 결정 단계를 포함한다.

일반적으로 그 방법은:

a) 텍스트 내의 각 문자 유형 시퀀스의 발생의 주파수를 결정하는 단계; 및

b) 각 문자 유형 시퀀스의 결정된 주파수에 따라 템플릿 확률들을 결정하는 단계를 포함한다.

일반적으로 그 방법은 제한된 갯수의 문자 유형 시퀀스들에 대해 설명하기 위해 결정된 템플릿 확률들을 변형하는 단계를 더 포함한다. 이는 리드스톤(Lidstone)의 법칙에 따라 이루어질 것이다.

바람직하게, 그 방법은 텍스트를 많은 텍스트 언어자료로부터 얻는 단계를 포함한다. 텍스트는 전형적으로 다수의 다른 소스들로부터 얻어질 것이다.

그 방법은:

a) 텍스트를 저장하기 위한 저장소; 및

b) 프로세서로서:

i) 상기 텍스트 내의 문자 스트링들을 식별하고;

ii) 문자 유형 시퀀스들을 결정하고;

iii) 템플릿들을 정의하도록

적응된 프로세서

를 가지는 처리 시스템을 사용하여 바람직하게 수행된다.

본 발명의 제 4 넓은 형태는 핸드라이팅 인식에서 사용하기 위한 템플릿을 생성하는 장치를 제공하고, 그 장치는:

a) 텍스트를 얻고;

b) 상기 텍스트 내의 문자 스트링들을 식별하고, 각 문자 스트링은 하나 이상의 문자들의 시퀀스로 형성되고, 각 문자는 개별적인 유형을 가지고;

c) 각 문자 스트링에 대해 문자 유형 시퀀스를 결정하고; 및

d) 각 문자 유형 시퀀스에 대해 템플릿을 정의

하도록 적응되는 프로세서를 포함한다.

전형적으로 장치는 텍스트를 저장하기 위한 저장소를 포함하고, 그 프로세서는 텍스트를 저장소로부터 얻도록 적응된다.

일반적으로 프로세서는 본 발명의 제 3 넓은 형태의 방법을 수행하도록 적응된다.

본 발명은 예와 바람직한 제한되지 않는 실시예들이 첨부된 도면으로 설명되고, 다음의 설명으로부터 명백해진다.

도 1은 본 발명을 수행하는 데에 적합한 처리 시스템의 예이다.

다음의 모드들은 본 발명의 대상 보다 정확한 이해를 제공하기 위해 설명과 청구항들에 적응되어 설명된다.

본 발명을 실행하는 데 적합한 장치의 예는 도 1을 참조하여 설명되고, 핸드라이팅 인식을 수행하도록 적응되는 처리 시스템(10)을 나타낸다.

특히, 처리 시스템(10)은 일반적으로 적어도, 도시된 바와 같이 버스(24)를 통해 연결된, 프로세서(20), 메모리(21), 그래픽스 타블렛 및/또는 키보드와 같은 입력 디바이스(22), 디스플레이와 같은 출력 디바이스(23)를 포함한다. 외부 인터페이스는 처리 시스템을 데이터베이스와 같은 저장소(11)에 연결하기 위해, 25에서 보여지는 것처럼 제공된다.

사용에 있어서, 처리 시스템은 2개의 메인(main) 함수들을 수행하도록 적응될 수 있다. 특히, 처리 시스템은 텍스트 언어자료로부터 통계적인 템플릿들을 생성 및/또는 손으로 기록된 텍스트의 디코딩에서 통계적인 템플릿을 사용하도록 적응될 수 있다. 이로부터, 처리 시스템(10)은 컴퓨터, 랩탑, 서버, 전문적인 하드웨어 등과 같은 어떤 형태의 처리 시스템일 수도 있으며, 전형적으로 메모리(21)에 저장된 적절한 응용 소프트웨어를 실행함에 의해 이 기법들을 수행하도록 적응하게 된다.

템플릿 생성의 경우에서, 처리 시스템은 텍스트를 분석하도록 적응되고, 그 텍스트는 전형적으로 데이터베이스(11)에 저장된다. 이에 관하여, 프로세서(20)는 텍스트의 각 단어 또는 스트링을 식별하도록 동작하고, 그 후 그들을 문자들의 시퀀스로써 평가한다. 프로세서는 문자들이 글자들, 숫자들 또는 구두점인지와 같은, 각 단어 또는 스트링의 문자들의 유형들을 결정한다.

그 후 프로세서는 스트링을 나타내는 템플릿을 결정한다. 이에 관하여, 템플릿은 개별적인 문자 유형들을 나타내는 토큰들(tokens)로부터 형성된다. 따라서 예를 들어, 단어 "the"의 템플릿은 "a"가 글자를 나타내는 경우, 형태 "aaa"일 수 있다.

동일한 템플릿들이 다른 스트링들로 생성될 수 있다는 것이 인식될 것이다. 따라서, 예로써, 단어 "cat"은 단어 "the"와 동일한 템플릿을 초래할 것이다.

프로세서(20)는 각 템플릿이 데이터베이스(11)에서 결정되는 횟수를 기록한다.

텍스트의 모든 단어들이 분석될 때에, 이것은 결정되어질 텍스트 샘플 내에서 발생하는 임의의 주어진 템플릿의 확률을 허용한다. 이는 손으로 기록된 텍스트의 인식에서 사용될 수 있다.

특히, 프로세서(20)가 예를 들어 입력 디바이스(22), 또는 데이터베이스(11)로부터, 손으로 기록된 텍스트를 얻는 경우, 프로세서는 최초 평가를 문자 스트링들을 식별하기 위해 초기 평가를 수행하고, 그 후 스트링의 각 문자들의 식별을 결정하도록 수행될 것이다.

일반적으로 프로세서(20)는 각각의 아이덴티티에 대한 관련 확률과 함께, 다수의 가능한 문자 아이덴티티들을 결정하는 문자 분류기를 실행할 것이다.

이는 다른 잠재적인 스트링들에 대응하여, 다수의 잠재적인 문자 아이덴티티 조합들이 존재하도록, 전체 스트링에 대해 반복된다.

위에서 설명된 템플릿들은 그 후에 프로세서(20)에 의해 액세스되고, 그 프 로세스는 동일한 갯수의 문자들을 가지는 템플릿들을 개별적인 스트링들로써 선택한다. 그 후, 프로세서(20)는 결정되어질 대부분의 스트링들을 받아들이기 위해, 문자 아이덴티티들과 템플릿들의 특정 조합에 대한 전체의 확률을 결정한다.

이 기법들이 아래에서 보다 자세히 설명될 것이다.

통계적인 템플릿 생성

이 부분은 텍스트 언어자료로부터의 통계적인 템플릿들의 생성을 설명하고, 통계적으로 유도되어지는 템플릿들의 예들을 제공한다.

개요

글자들은 손으로 기록된 텍스트 인식 시스템을 위해 분류의 기초 프리미티브들을 나타낸다. 영어에서, 글자들은 알파벳('a'-'z', 'A'-'Z'), 숫자('0'-'9'), 또는 구두점(그 밖의 것)으로 분류될 수 있다. 알파벳 문자들의 일반적인 인식을 돕기 위해, 사전들과 문자 문법들이 종종 모호성을 해결하기 위해 사용된다. 일반적으로, 사전들과 문자 문법들은 단지 알파벳 문자들만을 포함한다(비록 아포스트로피들(apostrophes)이 "they're" 및 "he'll"과 같은 복합 단어들을 모델링하기 위해 포함되더라도).

대부분의 언어 모델들이 숫자 및 구두점 글자들에 관한 이전의 정보를 포함하지 않기 때문에, 인식 시스템들은 그 후 언어 모델을 사용하여 처리되는, 인식 스트링으로부터 알파벳 또는 숫자 문자들의 스트링들을 추출하기 위해 발견적 교수법들을 사용한다. 그러나, 일반적으로 이 발견적 접근법들은:

·숫자들로써 인식되는 알파벳 스트링들,

·알파벳으로써 인식되는 숫자 스트링들,

·알파벳 또는 숫자 스트링들로 잘못 인식되는 텍스트 및 숫자들(즉, 2nd, V8, B2)을 포함하는 단어들,

·구두점을 알파벳 또는 숫자들로 잘못 인식, 및

·구두점을 알파벳 또는 숫자들을 구두점으로 잘못 인식

하는 것과 같은 잘못 인식되는 문제들이 있어서, 강력하지는 않다.

그러나, 텍스트 시퀀스에서 특정 구두점 문자들의 존재가 실제로 시퀀스의 다른 문자들의 디코딩에서 도움을 줄 수 있다. 예를 들어, 아포스트로피들은 텍스트 스트링을 나타낼 수 있고, 반면에 콤마들, 통화(currency) 심볼들, 및 기간들은 숫자 스트링들을 나타낼 수 있다. 대쉬들을 포함하는 단어들은 숫자 및 알파벳 스트링들의 혼합을 종종 포함한다(즉, "30-year-old" 또는 "20-pound"). 이에 덧붙여, 몇몇의 구두점 문자들은 보통 스트링 내의 특정 위치들에서 찾을 수 있다(즉, '?', '!' 또는 ':'와 같은 접미사 구두점).

통계적인 언어 템플릿 처리는 확률적인 모델을 사용하는 알파벳, 숫자 및 구두점 문자들 사이의 상호작용을 모델하는 기록된 텍스트의 구조에 관한 이전의 정보를 인코딩하는 방법이다. 모델은 위치 정보를 고려하고, (문자 N-그램들에서의 고정된 갯수의 국부적 선행 상태들보다 오히려) 전반적으로 전체 입력 단어를 고려함에 의해 글자 의존도를 모델할 수 있다.

글자 토크니세이션(Letter Tokenisation)

통계적인 템플릿 생성은 기록된-텍스트 언어자료(다수의 소스들로부터 수집 된 텍스트 파일들의 큰 세트)를 사용하여 수행된다. 템플릿 통계를 생성하기 위해, 언어자료의 각 파일은 흰 스페이스에 의해 한계가 정해지는 글자들의 순차적인 세트(즉, 단어, 문장 및 문단 마커들)로서 처리된다. 이러한 글자들의 시퀀스는 스트링을 형성한다.

템플릿들의 생성동안에, 개별적인 글자들은 글자가 속한 클래스(또는 문자 유형)를 나타내는 토큰들로 변환된다.

글자 클래스들의 정의는 영역-특정적이고 해결되어질 필요가 있는 모호성을 기반으로 선택된다. 아래의 토의는 다음의 분류 계획을 기반으로 한다: 대문자 미 소문자의 경우, 알파벳 문자들은 토큰 'a'로 변환되고, 모든 디지트들은 토큰 'd'로 변환되고, 나머지 문자들 모두(즉, 구두점)는 변환되지 않고, 그 원래 값들로 남아 있다.

단어 또는 문자 스트링을 나타내는 토큰들의 시퀀스는 템플릿을 정의한다.

예로써, 스트링 "15-years?"는 템플릿 "dd-aaaaa?"로 변환된다. 대안적인 토크니세이션 체계들은 대문자 및 소문자 구별(즉, "MacDonald"가 대문자는 'u', 소문자는 'l'인 "ullulllll"로)와 같은, 다른 언어 형식들을 모델링하는 데 사용될 수 있다.

처리

통계적인 언어 템플릿들을 생성하는 목적은 기록된-텍스트 이디엄(idiom)들을 식별하고, 기록된 텍스트에서 마주치게 될 이디엄의 확률을 계산하는 것이다. 모델 훈련은 각 흰-공간으로 분리된 단어의 글자들을 토크니싱(tokenising)함으로 써, 테이블에, 일반적으로 데이터베이스(11)에 결과 템플릿을 저장함에 의해 생성한다. 특정 템플릿이 입력 스트림에서 보여지는 회수들을 나타내는 카운트(count)이고, 각 템플릿과 연관된다.

언어자료의 모든 텍스트가 처리된 후, 테이블은 텍스트에서 마주친 모든 템플릿의 리스트, 각 템플릿이 보여진 회수의 카운트를 포함한다. 명백하게는, 공통으로 일어난 템플릿들(즉, "the", "but" 또는 "cat"을 나타내는 템플릿 "aaa")은 가능성없는 템플릿들(즉, "x1y" 또는 "b2b"을 나타내는 템플릿 "ada")보다 더 높은 카운트들을 포함할 것이다.

템플릿을 위한 이전 확률들을 계산하기 위해, 템플릿 카운트는 간단하게 모든 템플릿 카운트들의 합에 의해 나뉜다. 이 값들은 인식하는 동안 숫자의 언더플로우(underflow)를 피하고 처리를 수월하게 하기 위해 로그들로서 저장될 수 있다. 템플릿 t_i의 로그-확률은:

c _i 는 템플릿 i가 훈련 텍스트에서 마주친 회수이고, n은 다른 템플릿들의 총 갯수이다.

모든 마주친 템플릿들의 이전 확률들을 계산하는 것은 글자들의 수가 변화하는 템플릿들이 비교되어지도록 한다. 이는 언어 모델이, 글자 또는 단어 분절이 알려지지 않거나, 다수의 대안적인 분절 경로들이 가능한 입력을 디코딩하는데 도움 을 줄 수 있다는 것을 의미한다.

그러나, 입력 스트링의 글자들의 수가 인식 시간에 알려져 있는 경우, 템플릿 모델은 템플릿들이 글자 카운트에 의해 그룹지어지도록 분할될 수 있다. 이전 확률들은 모든 그룹들의 모든 카운트들의 합보다, 템플릿 그룹의 템플릿 카운트들의 수를 기반으로 계산될 수 있다.

평활화

위의 과정은 텍스트 언어자료를 기반으로 템플릿 확률들의 최대-가능성 추정(MLE)을 생성한다. 즉, 계산된 확률들은, 훈련 언어자료에 적응하는 경우, 최고 확률을 제공하는 것들이다. 확률 분포는 훈련 텍스트에서 마주치지 않았던 템플릿들에 할당되지 않으며, 따라서 이 템플릿들은 0-확률이 할당된다.

텍스트 언어자료가 단지 잠재적인 입력의 서브셋(subset)을 언어 모델로 나타낼 수 있기 때문에, 관측된 사건들의 확률을 소량 감소시키고 나머지 확률 매스(mass)를 보여지지 않은 사건들로 할당하기 위해 평활화 모델이 적용되어야 한다. 이 과정은 C. Manning과 H. Schutze가 쓴, 1999년 미국 메사츄세츠 캠브리지의 The MIT Press에서 출판된, "Foundations of Statistical Natural Language Processing"에서 예로써 설명된 것처럼, 문자와 단어 N-그램들에 통상적으로 사용된다. 그러므로 동일한 기법들이 쉽게 이 상황에 적응될 수 있다.

이 예에서, 위에서 설명된 "Foundations of Statistical Natural Language Processing"에서 설명된 것과 같은, 리드스톤(Lidstone)의 법칙은 생성된 확률들을 평활화하는 데 사용되었다:

B는 언어자료로부터 유도된 단일 템플릿들의 갯수;

λ는 평활화 요소(경험적으로 .5로 설정)이다.

결과는 논-제로(non-zero) 확률이 훈련 언어자료에서 보여지지 않은 단어 구조들로 할당될 수 있으며, 드물고 특이한 단어 구조들이 인식될 수 있도록 한다.

또한, 더 정확한 확률들이 얻어질수록 더 많은 텍스트 언어자료들이 확률들을 결정하는데 사용되는 것으로 인식될 것이다.

샘플 결과들

훈련 과정은, 통계적인 언어 템플릿들의 세트를 생성하는, D. Harman과 M. Liberman이 쓴 1993년 Complete TIPSTER Corpus를 예시로 하여, 많은 텍스트 언어자료를 검색한다. 결정된 템플릿들의 예들은 아래에서 설정된다.

특히, 표 1은 기록된 텍스트 언어자료에서 발생하는 최고 주파수를 가진 20개의 템플릿들을 포함한다(따라서, 최고의 이전의 확률을 가진다).

표는 짧은 단어들이 일반적으로 긴 단어들보다 보편적인 것과 같이, 기록된 텍스트의 다수의 명백한 특성들을 나타내고, 콤마들과 기간들은 가장 가능성있는 구두점 문자들이고 단어 접미사들로 나타난다. 이 규칙들은 함축적으로 템플릿들과 그에 대응하는 이전 로그-확률에 의해 정의되고, 입력의 강력하며 통계적으로 잘 갖추어진 디코딩을 허용한다.

표의 템플릿들은 다수의 간단한 발견적 교수법들에 의해 설명될 수 있는 다수의 보다 명백한 언어 규칙들이 위에서 상세히 제공된다(비록 이 규칙들의 이전 확률들이 쉽고 정확하게 추정될 수 있는 가능성이 없더라도).

표 1

그러나, 결과들의 조사는 표 2에서 설명된 것처럼, 발견적 접근법을 사용하여 정확하게 모델하는 것이 어려운 다수의 언어 이디엄들을 나타낸다. 이 템플릿들은 알파벳들, 디지트들, 및 구두점들 사이의 상호작용을 모델링하고 기록된 텍스트의 구조에 대하여 일련의 규칙들을 함축적으로 정의한다.

표 2

이 기법의 강도가 다수의 템플릿들의 생성, 템플릿들의 대응하는 상대적 확률들에 있다는 것이 주목된다. 전형적으로, 기록된 텍스트의 구조에 관한 통계적으로 잘 갖추어진 일련의 규칙들을 정의하는 수천의 템플릿들이 생성된다.

통계적인 템플릿 처리

이 부분은 손으로 기록된 텍스트의 디코딩에서 통계적인 템플릿들의 사용을 설명한다. 일반적인 과정은 몇몇의 예시 처리와 함께 제공된다. 이 기법을 다른 언어 모델들과 조합하는 방법의 설명 또한 제공된다.

개요

손으로 기록된 문자 인식의 목적은 기록자에 의해 생성된 펜 자획들(strokes)을 정확하게 변환하는 것이다. 그러나, 손으로 기록된 텍스트는 고유의 모호성이 있고, 따라서 문맥상의 정보의 사용이 입력을 디코드하는 것을 요구한다. 위에서 설명된 것처럼 생성된 통계적인 템플릿들은 입력의 일반적인 구조의 인식에 도움을 주고, 인식하는 동안에 사전들과 문자 문법들과 같은 다른 언어 모델들과 조합될 수 있다.

대부분의 문자 분류 시스템들은 가능한 글자 매치들의 세트와 입력 글자들을 위한 관련된 신뢰 스코어들을 생성한다. 예를 들어, 글자 'a'를 분류하는 경우, 분류기 글자 가정은 아래의 표 3에서 설정된 것과 같다.

표 3

이는 분류기는 'a'라는 글자가 60% 신뢰되고, 글자 'd'는 30% 신뢰되는 등을 나타낸다(비공식으로). 통계적인 처리에서, 스코어들은 확률의 규칙들에 따라야 한 다는 것을 주의하자. 즉:

모든 i에서, 0≤P(x _i )≤1이고,

확률들을 생성하지 않는 분류기들(예를 들어, 거리값들을 보고하는 분류기들)에서, 출력 스코어 벡터는 위의 규칙 보유를 보증하도록 정규화(nomalize)된다. 신경 네트워크 분류기들을 위해, 정규화된 변환 함수(1990년 J. Briddle이 쓴, Springer-Verlag, 뉴욕, 신경-계산: 알고리즘들, 아키텍쳐들 및 응용 pp.227-236의 "Probabilistic Interpretation of Feedforward Classification Network Outputs, with Relationships to Statistical Pattern Recognition"와 같은)가 출력값들을 정규화하는 데 사용될 수 있다.

디코딩

디코딩은 입력 단어 또는 일련의 단어들을 나타내는 문자 분류기에 의해 생성되는 글자 가정의 세트 상에서 수행된다. 템플릿들과 연관된 확률들은 단어 길이들 및 구두점 문자의 위치와 같은 특징들이 통계적인 단어 분절에서 사용될 수 있다는 것을 의미한다. 통계적인 템플릿들이 특정 단어 구조의 확률을 추정할 수 있기 때문에, 그들은 요구된다면 단어 분절과 함께 돕는데 사용될 수 있다.

그러나, 아래에서 제공된 설명은, 단어 분절이 수행되었고, 디코딩 과정이 문자 분류기의 출력이 제공된 가장 가능성있는 글자 시퀀스를 찾는 데에만 요구된다는 것을 가정한다. 이는 템플릿 가능성의 이전 확률과 조합된 분류기에 의해 생 성된 문자 확률들이 제공된 최대 스코어를 제공하는 템플릿을 찾음에 의해 완료된다:

n = 입력 스트링의 글자들의 갯수

P(w _i ) = 글자 시퀀스 확률

P(x _ij ) = 템플릿 t _i 의 위치 j에서 토큰을 위한 분류기 스코어(아래에서 보여짐)

P(t _i ) = 템플릿 t _i 의 이전 확률이다.

P(x _ij )의 값을 계산하는 경우, 토큰 클래스의 최고 스코어링 멤버(글자 위치 j에서 분류기 가정을 사용하여)가 사용된다. 예를 들어, 템플릿이 'a'를 포함하는 경우, 최고 랭크된 알파벳 문자의 스코어가 사용된다. 비슷하게, 템플릿이 'd'를 포함하는 경우, 최고 랭크된 디지트의 스코어가 사용된다. 구두점에서, 특정 구두점 문자의 스코어가 사용된다.

로그-확률들이 템플릿들에 사용된다면, 분류기 출력은 로그-확률들로 변환되어지고, 디코딩 과정은:

의 최대값을 발견한다.

예로써, 분류기가 나타내어진 문자들을 위해, 입력 스트링 "30-day"로부터 표 4에 나타내어지는 스코어들을 생성했다고 가정해보자.

표 4

이 예에서, 정확한 디코딩 통로는 굵은 글씨로 나타내어진다.

이 스코어들이 로그-확률들로 변환되고 매칭 길이의 모든 템플릿들에 적응하는 경우, 그 후 최대 스코어링 템플릿들은 표 5에서 설정된 것과 같다.

표 5

여기서, P(t _i )는 통계적으로 텍스트 언어자료로부터 유도된 것으로써 템플릿의 이전 확률이다.

템플릿 "dd-aaa"에 대한 P(w _i )를 계산하면, 프로세서(20)에 의해 수행되는 계산은 다음과 같다:

P(w _i ) = -3.782-0.060-0.319-0.013-0.276-0.237-0.276 = -4.963

템플릿 "aaaaa"에 대한 P(w _i )를 계산하면, 계산은:

P(w _i ) = -1.171-1.097-0.301-1.699-0.276-0.237-0.276 = -5.056

템플릿 "ddddd"에 대한 P(w _i )를 계산하면, 계산은:

P(w _i ) = -4.549-0.060-0.319-2.000-1.155-1.699-1.699 = -6.932

최고 스코어링 템플릿("dd-aaa")이 발견되고, 대응하는 텍스트가 보정 스트링("30-day")으로 선택된다.

최대-가능성 디코딩(즉, 각 위치에서 가장 가능성있는 문자를 취함)이 보정 텍스트("3o-day"가 최대 가능성 시퀀스이기때문에)를 발견할 수 없는 것을 주의한다.

언어 모델 조합

위에서 제공된 예에서, 최상의 매칭 템플릿의 스트링이 디코드된 스트링으로 선택되었다. 그러나, 보통, 매칭된 템플릿은 추가적인 처리를 위해 다른 언어 모델들과 조합될 것이다.

예를 들어, 오히려 스트링(즉, "day")의 알파벳 부분으로부터 최대-가능성의 글자들이 주어지고, 이 세그먼트로부터의 분류기 스코어들은 추가적인 디코딩을 위해 사전 또는 문자 문법에 넘겨질 수 있다.

대안적으로, 다수의 탑 스코어링(top scoring) 템플릿들로부터의 텍스트 세그먼트들은 추가적인 언어 모델을 사용하여 처리될 수 있고 그 결과적인 스코어는 최종 단어 확률을 생성하도록 조합된다.

따라서, 위에서 설명된 처리는 손으로 기록된 문자 인식을 위한 통계적인 언어 템플릿들을 사용하는 문맥상의 처리를 위한 방법을 제공하게 된다. 이는 템플릿 들을 사용하여 문자 분류기 출력을 디코드하는데 요구되는 기법들과 함께, 텍스트 언어자료로부터 템플릿들을 생성하는데 요구되는 과정들을 포함한다.

특히, 이 기법들은 일반적으로 더 작은 처리 전력을 사용하여, 종래 기술 방법들에서 보다 수행되어질 핸드라이팅 인식을 더 빠르고 정확하게 행한다.

본 발명은 또한 본원 명세서에서 참조되거나 나타내어진 부분들, 요소들 및 특징들로, 개별적으로 또는 집합적으로, 상기 부분들, 요소들 및 특징들 중 2개 이상의 임의의 또는 모든 조합들로 넓은 범위에서 구성되고, 여기에서 본 발명이 관련된 기술에서 공지된 등가물들을 가진 특정 정수들이 언급되었고 그러한 공지된 등가물들은 개별적으로 제시된 것처럼, 여기에 통합되어질 것으로 나타내어진다.

비록 바람직한 실시예가 상세히 설명되더라도, 다양한 변화들, 대용품들 및 변형들이 여기에서 설명되고 청구되어질 본 발명의 범위에서 벗어나지 않고 원래의 취지에서 행해질 수 있다는 것이 이해되어져야 한다.

Claims

1개 이상의 수기문자들로부터 형성된 입력 스트링을 나타내기 위해 1개 이상의 소정의 문자들을 선택하는 방법으로서:

a) 상기 입력 스트링에서의 각 문자를 위한 문자 확률 표시들을 생성하는 단계로서, 상기 각 문자 확률 표시는 상기 다수의 소정의 문자들 중 개별적인 하나인 상기 개별적인 문자의 가능성을 나타내는 문자 확률 표시들의 생성 단계와;

b) 상기 입력 스트링에 대한 템플릿 확률 표시들을 생성하는 단계로서, 각 템플릿 확률 표시는 다수의 템플릿들 중 개별적인 하나에 대응하는 상기 입력 스트링의 가능성을 나타내고, 상기 각 템플릿은 문자 유형들의 조합을 나타내는 템플릿 확률 표시들의 생성 단계와;

c) 상기 문자 확률 및 상기 템플릿 확률 표시들에 근거하여, 상기 1개 이상의 템플릿들에 대한 스트링 확률 표시들을 생성하는 단계로서, 각 스트링 확률 표시는 템플릿에 대한 해당 문자 유형들에 대해 문자 확률 표시들을 포함하는 스트링 확률 표시들의 생성 단계와;

d) 상기 스트링 확률 표시들에 근거하여, 상기 입력 스트링을 나타내기 위해 상기 1개 이상의 소정의 문자들을 선택하는 단계를 포함하는, 문자의 선택방법.

제 1 항에 있어서,

상기 각 소정의 문자는 개별적인 문자 유형을 가지는, 문자의 선택방법.

제 1 항 또는 제 2 항에 있어서,

상기 문자 유형들은:

a) 디지트들;

b) 글자들; 및

c) 구두점 마크들

중 적어도 하나를 포함하는, 문자의 선택방법.

제 1 항에 있어서,

상기 문자 확률 표시들은 문자 분류기를 사용하여 생성되는, 문자의 선택방법.

제 1 항에 있어서,

상기 템플릿 확률 표시들을 생성하는 단계는:

a) 상기 입력 스트링에서의 문자들의 수를 결정하는 단계와;

b) 동일한 갯수의 문자들을 가지는 상기 템플릿들을 선택하는 단계와;

c) 각 선택된 템플릿에 대한 템플릿 확률 표시를 액세스하는 단계를

포함하는, 문자의 선택방법.

제 5 항에 있어서,

상기 템플릿 확률 표시들은 텍스트 언어자료(text corpus)의 통계적인 분석에 근거하여 생성되는, 문자의 선택방법.

제 5 항에 있어서,

a) 상기 템플릿으로부터 상기 입력 스트링에서의 각 문자의 상기 문자 유형을 결정하는 단계;

b) 상기 템플릿에서의 각 문자에 대한 소정의 문자들 중 하나를 선택하는 단계로서, 상기 소정의 문자는 상기 결정된 문자 유형과 상기 문자 확률 표시에 근거하여 선택되어지는 단계에 의해,

각 템플릿에 대응하는 잠재적인 문자 스트링을 생성하는 단계를 포함하는, 문자의 선택방법.

제 7 항에 있어서,

상기 선택된 소정의 문자는 최고 문자 확률 표시를 가지는 상기 소정의 문자인, 문자의 선택방법.

제 7 항에 있어서,

a) 각각의 선택된 문자의 상기 문자 확률 표시들과 상기 개별적인 템플릿 확률 표시를 연관시킴에 의해 상기 각각의 잠재적인 문자 스트링에 대한, 스트링 확률 표시를 생성하는 단계와;

b) 상기 문자 스트링이 최고 스트링 확률 표시를 가지는 상기 잠재적인 문자 스트링에 해당하는 상기 소정의 문자들을 선택하는 단계를 포함하는, 문자의 선택 방법.

제 1 항에 있어서,

a) 저장소로서:

i) 상기 소정의 문자들;

ii) 템플릿 데이터로서:

(1) 상기 템플릿들; 및

(2) 상기 템플릿 확률 표시들;

중 적어도 하나를 나타내는 템플릿 데이터;

중 적어도 하나를 저장하는 저장소와;

b) 프로세서로서:

i) 상기 입력 스트링을 수신하고;

ii) 상기 입력 스트링 내의 각 문자에 대한 문자 확률 표시들을 생성하고;

iii) 템플릿 확률 표시들을 생성하고;

iv) 상기 문자 확률 및 템플릿 확률 표시들에 근거하여 스트링 확률 표시들을 생성하고;

v) 상기 스트링 확률 표시들에 근거하여, 상기 입력 스트링을 나타내기 위해 상기 1개 이상의 소정의 문자들을 선택,

하도록 사용되는 프로세서;

를 가지는 처리 시스템을 사용하여 수행되는, 문자의 선택방법.

1개 이상의 수기문자들로부터 형성된 입력 스트링을 나타내기 위해 1개 이상의 소정의 문자들을 선택하는 장치에 있어서:

a) 저장소로서:

i) 상기 1개 이상의 소정의 문자들; 및

ii) 1개 이상의 템플릿들을 나타내는 템플릿 데이터;

중 적어도 하나를 저장하는 저장소와;

b) 프로세서로서:

i) 상기 입력 스트링에서의 각 문자를 위한 문자 확률 표시들을 생성하고, 각 문자 확률 표시는 상기 다수의 소정의 문자들 중 개별적인 하나인 개별적인 문자의 가능성을 나타내며;

ii) 상기 입력 스트링에 대한 템플릿 확률 표시들을 생성하고, 각 템플릿 확률 표시는 상기 다수의 템플릿들 중 개별적인 하나에 대응하는 상기 스트링의 가능성을 나타내고, 상기 각 템플릿은 문자 유형들의 조합을 나타내며;

iii) 상기 문자 확률 및 상기 템플릿 확률 표시들에 근거하여, 상기 1개 이상의 템플릿들에 대한 스트링 확률 표시들을 생성하고, 각 스트링 확률 표시는 템플릿에 대한 해당 문자 유형들에 대한 문자 확률 표시들을 포함하고;

iv) 상기 스트링 확률 표시들에 근거하여, 상기 입력 스트링을 나타내기 위해 상기 1개 이상의 소정의 문자들을 선택하도록

사용되는 프로세서;

를 포함하는, 문자의 선택장치.

제 11 항에 있어서,

상기 프로세서는 입력과 연결되고, 상기 프로세서는 손으로 기록된 문자들의 상기 스트링을 상기 입력을 거쳐 수신하도록 추가로 사용되는, 문자의 선택장치.

제 11 항에 있어서,

상기 프로세서는 제 1 항 내지 제 9 항 중 어느 한 항의 상기 단계를 수행하도록 사용되는, 문자의 선택장치.

핸드라이팅 인식에 사용하기 위한 1개 이상의 템플릿들을 생성하는 방법에 있어서,

a) 1개 이상의 문자들을 포함하는 텍스트를 얻는 단계와;

b) 상기 텍스트에서의 1개 이상의 문자 스트링들을 선택하고, 각 문자 스트링은 상기 텍스트로부터의 하나 이상의 문자들의 시퀀스로부터 형성되어지고, 각 문자는 개별적인 유형을 가지는 단계와;

c) 상기 각 문자 스트링에 대한 문자 유형들의 시퀀스를 생성하는 단계와;

d) 각 문자 유형 시퀀스를 나타내기 위해 다른 템플릿을 생성하는 단계를 포함하는, 템플릿의 생성방법.

제 14 항에 있어서,

a) 상기 결정된 템플릿들을 통계적으로 분석하는 단계와;

b) 통계적인 분석에 근거하여 템플릿 확률 표시를 생성하고, 상기 템플릿 확률은 상기 텍스트에서 발생하는 상기 개별적인 문자 유형 시퀀스의 상기 확률을 나타내는, 템플릿의 생성방법.

제 14 항 또는 제 15 항에 있어서,

a) 상기 텍스트에서의 각 문자 유형 시퀀스의 발생 주파수를 생성하는 단계; 및

b) 각 문자 유형 시퀀스의 상기 결정된 주파수에 근거하여 템플릿 확률 표시들을 생성하는 단계를 포함하는, 템플릿의 생성방법.

제 16 항에 있어서,

상기 방법은 제한된 갯수의 문자 유형 시퀀스들을 평가하기 위해 상기 결정된 템플릿 확률 표시들을 변형하는 단계를 더 포함하는, 템플릿의 생성방법.

제 17 항에 있어서,

상기 방법은 리드스톤(Lidstone)의 법칙에 근거하여 상기 템플릿 확률 표시들을 변형하는 단계를 포함하는, 템플릿의 생성방법.

제 14 항에 있어서,

상기 방법은 많은 텍스트 언어자료로부터 상기 텍스트를 얻는 단계를 포함하는, 템플릿의 생성방법.

제 14 항에 있어서,

상기 방법은 다수의 다른 소스들로부터 상기 텍스트를 얻는 단계를 포함하는, 템플릿의 생성방법.

제 14 항에 있어서,

상기 방법은

a) 상기 텍스트를 저장하기 위한 저장소; 및

b) 프로세서로서:

i) 상기 텍스트에서의 상기 1개 이상의 문자 스트링들을 선택하고;

ii) 상기 문자 유형 시퀀스들을 생성하고;

iii) 상기 템플릿들을 생성하도록

사용되는 프로세서;

를 가지는 처리 시스템을 사용하여 수행되는, 템플릿의 생성방법.

핸드라이팅 인식에서 사용하기 위해 템플릿을 생성하는 장치에 있어서:

a) 1개 이상의 문자들을 포함하는 텍스트를 얻고;

b) 상기 텍스트에서의 1개 이상의 문자 스트링들을 선택하고, 각 문자 스트링은 상기 텍스트로부터의 하나 이상의 문자들의 시퀀스로부터 형성되고, 각 문자는 개별적인 유형을 가지고;

c) 상기 각 문자 스트링에 대한 문자 유형들의 시퀀스를 생성하고;

d) 각 문자 유형 시퀀스를 나타내기 위하여 다른 템플릿을 생성하도록;

사용되는 프로세서를 포함하는, 템플릿의 생성장치.

제 22 항에 있어서,

상기 장치는 상기 텍스트를 저장하기 위한 저장소를 포함하고, 상기 프로세서는 상기 저장소로부터 상기 텍스트를 얻도록 사용되는, 템플릿의 생성장치.

제 22 항 또는 제 23 항에 있어서,

상기 장치는 제 14 항 내지 제 21 항 중 어느 한 항의 방법의 단계들을 수행하도록 사용되는, 템플릿의 생성장치.