KR20050036863A

KR20050036863A - 수기 특징 합성을 사용한 디지털 잉크 데이터베이스 탐색

Info

Publication number: KR20050036863A
Application number: KR1020047005557A
Authority: KR
Inventors: 조나손 레이 네퍼; 폴 랍스턴
Original assignee: 실버브룩 리서치 피티와이 리미티드
Priority date: 2001-10-15
Filing date: 2002-10-15
Publication date: 2005-04-20
Also published as: DE60219342D1; US20120239397A1; AUPR824301A0; US20050222848A1; KR100717637B1; CN1701323A; CN1701323B; EP1444614B1; EP1444614A1; CA2463236C; JP2008293519A; ATE358851T1; WO2003034276A1; JP2005505861A; IL161381A0; ZA200402928B; US8219908B2; CA2463236A1; EP1444614A4

Abstract

디지털 잉크 데이터베이스가 텍스트 기반 의문을 사용하여 탐색되게 하는 수기 특징 합성을 사용하여 잉크 데이터베이스를 탐색하기 위한 시스템과 방법이 공개된다. 수기 인식 시스템 또는 적당한 훈련 과정으로부터 유도된 작성자-특정 수기 모델을 사용하여, 텍스트 의문은 손으로 텍스트 의문을 작성한 디지털 잉크 데이터베이스의 작성자로부터 추출한 특징 벡터들과 유사한 특징 벡터들로 전환된다. 특징 벡터들은 데이터베이스를 탐색하기 위해 사용된다. 이것은 유일한 입력 메카니즘이 텍스트 입력일 때 디지털 잉크 데이터베이스의 탐색을 쓸모있게 하고, 디지털 잉크 데이터베이스의 작성자가 아닌 사람이 디지털 잉크 데이터베이스를 탐색하도록 할 수 있도록 한다.

Description

수기 특징 합성을 사용한 디지털 잉크 데이터베이스 탐색{Digital Ink Database Searching Using Handwriting Feature Synthesis}

본 발명은 널리 수기 탐색(handwriting search)이 실행되는 디지털 처리기 또는 인식 시스템에 관한 것이며, 특히 텍스트 형태로의 탐색 문의(search query)으로부터 수기 특징 합성을 사용한 디지털 잉크 데이터 베이스의 탐색을 위한 방법 또는 장치에 관한 것이다.

여기서 사용되는 "디지털 잉크 데이터 베이스"는 예를 들면 수기 글자(handwritten letter)를 형성하는 수기 문자(handwritten character)들의 스트링과 같은 수기 문자를 저장하는 데이터베이스를 나타낸다.

펜 기반의 컴퓨팅 시스템은 사람과 컴퓨터의 상호 작용하는 편리하고 유연한 수단을 제공한다. 대부분의 사람들은 펜과 종이를 사용하는 것에 매우 친숙하다. 이 친숙성은 이러한 매체에 의해 매우 자연스럽게 지원되는 텍스트, 도면 또는 계산을 위한 저장 메커니즘과 데이터 입력으로서의 펜-형 장치를 사용하는 공지된 시스템들에 의해 이용된다. 게다가, 쓰여진 잉크는 디지탈 텍스트보다 훨씬 표현이 풍부한 형식이며, 잉크-기반 시스템은 언어-독립적일 수 있다.

펜 컴퓨팅 사용의 증가와 네트워크화된 컴퓨팅 자원들(예를 들면, P.Lapstun가 쓴, 실버브룩 리서치의 2000년 6월 6일 발행된 "Netpage System Overview"; 및 Anoto가 쓴 2000년 4월 6일자로 발행된 "Anoto, Ericsson, and Time Manager Take Pen and Paper into the Digital Age with the Anoto Technoloy"를 보라) 에 대한 페이퍼-기반 인터페이스의 출연은 (가공하지 않은) 디지털 잉크를 저장하고, 색인을 달고, 탐색할 수 있는 기술에 대한 필요를 강조하여 왔다. 펜-기반 컴퓨팅은 사용자들이 원고와 주석의 형태로 데이터를 저장할 수 있고, 후에 손으로 그린 문의들(queries)에 기초하여 이 데이터를 찾을 수 있게 한다. 그러나 수기 텍스트의 탐색은 필체의 비일관성과 필자들 사이에서 서체의 다양성 때문에 전통적인 텍스트(예를 들면 ASCⅡ텍스트)탐색보다 어렵다.

디지털 잉크 데이터베이스에서 수기 데이터를 탐색하는 전통적인 방법은 첫번째로 디지털 잉크 데이터 베이스 및 대응되는 탐색 문의를 패턴 인식 기술들을 사용하는 표준 텍스트로 전환하여, 그 후 데이터 베이스내의 변환된 표준 텍스트를 문의 텍스트와 매치시키는 것이다. 퍼지 텍스트 탐색 방법은 P. Hall 과 G. Dowling 의 "Approximate String Matching"( 컴퓨팅 서베이, 12(4), 페이지 381-203, 1980) 을 보면 수기 인식 시스템들에 의해 만들어진 것과 유사하게 문자 에러들의 존재 안에서 텍스트 매칭을 수행하는 것으로 기술되고 있다.

그러나, 수기 인식의 정확성은 낮게 머물며, 데이터베이스 입력과 손으로 쓴 문의을 위한 수기 인식에 의해 도입된 에러의 수는 이 기술이 잘 작동하지 않음을 의미한다. 수기 정보를 텍스트로 전환하는 과정은 필체의 일반적인 형태와 다이내믹한 특징에 관한 많은 양의 정보의 손실을 유발한다. 예를 들면, 몇개의 글자들(예를 들면 'u'와 'v' 그리고 'v'와 'r' 과 'f'와 't' 등)은 형태가 매우 유사하게 손으로 쓰여진다. 덧붙여, 많은 수기 스타일(특히, 필기체 글씨)에서, 개별적인 문자의 식별은 매우 모호하다.

직접 디지털 잉크 데이터베이스를 탐색하고 색인을 달기 위한 다양한 기술들이 종래 기술로 알려져있다. 예를 들면, A. Poon, K. Weber 와 T.Cass의 "Scribbler: A Tool for Searching Digital Ink" (ACM 컴퓨터-휴먼 인터랙션의 프로시딩, 페이지 58-64, 1994); I. Kamel의 "Fast Retrieval of Cursive Handwriting"( 정보와 지식 경영에 관한 제 5차 국제 컨퍼런스의 프로시딩, 록빌, MD USA, November12-16,1996); W. Aref, D.Barbera, P.Vallavhaneni의 "The Handwritten Trie: Indexing Electronic Ink",( 데이터 경영에 관한 1995년도 ACM SIGMOD 국제 컨퍼런스, San Jose, 캘리포니아, May 1995); W. Aref, D.Barbera, D.Lopresti와 A. Tomkins의 "Ink as a First-Class Datatype in Multimedia Database"(Database System-Issues and Research Direction, 페이지. 113-163,1996); R.Manmtha, C.Han, E.Riseman과 W.Croft의 "Indexing Handwriting Using Word Matching'(디지털 라이브러리에 관한 제 1차 ACM 국제 회의의 프로시딩,페이지 151-159,1996)에서 볼 수 있다.

이 시스템들은 한 세트의 문의펜 자획들로부터 유도된 특징 벡터를 디지털 잉크 데이터베이스로부터 유도된 특징 벡터의 데이터베이스와 비교하는 데 유사성 측정을 사용한다. 문의과 가장 높은 유사도를 나타내는 데이터베이스의 입력들은 매치들로서 반환된다. 덧붓여, 몇가지의 접근법은 데이터베이스내의 모든 입력의 연속적인 탐색을 피하기 위해 인덱스를 형성하거나 분할 체계를 사용한다. 예를 들면 D.Barbara, W. Aref, I.Kamel과 P.Vallavhaneni의 미국특허 5,649,023 "Method and Apparatus for Indexing a Plurality of Handwritten Objects"; D.Brbara 와 I.Kamel의 미국 특허 5,710,916 "Method and Apparatus for Similarity Matching of Handwritten Dta Objects"; D.Barbara와 H.Korth의 미국 특허 5,524,240 "Method for Indexing and Searching Handwritten Documents in a Database"; D.Barbara와 W. Aref의 미국 특허 5,553,284 " Method for Indexing and Searching Handwritten Documents in a Database"; R.Hull, D.Reynolds와 D.Gupter의 미국 특허 6.018,591의 "Scribble Matching"; A.Poon, K.Weber, T.Caass의 미국 특허 6,018,591 의 "Searching and Matching Unrecognized Handwriting"; W.Aref와 D.Barbara의 미국 특허 5,768,423 "Trie Structure Based Method and Apparatus for Indexing and Searching Handwritten Databases with Dynamic Search Sequencing" 가 있다.

다른 연구들, J.Hollerbach의 "An Oscillation Theory of Handwritting "(바이올로지컬 사이버네틱스, 페이지 139-156, 1981)고 Y.Singer와 N.Tishby의 "Dynamical Encoding of Cursive Handwritting" (컴퓨터 비젼과 패턴 인식에 관한 IEEE 회의, 1993)은 수기 합성(handwriting synthesis)을 위한 수기의 물리적 특징을 모델링하기 위한 노력을 설명한다.

이전에 기술된 디지털 잉크 데이터베이스 탐색 기술들은 디지털 잉크 데이터베이스를 작성한 작성자에 의해 발새된 잉크 문의에 의존한다. 그러나 그것은 만약 디지털 잉크 데이터 베이스가 다른 입력 메카니즘을 사용하여, 예를 들면, 컴퓨터 키보드로 입력되거나 음성 인식시스템에 의해 인식된 텍스트 문의을 사용하여 찾을 수 있었다면 유용할 것이다. 대안적으로 제 3자는 그 또는 그녀 자신의 필체를 사용하거나 텍스트 기반 문의을 사용하여 디지털 잉크 데이터 베이스를 탐색하기를 원할 수도 있다.

본 발명을 다음과 같이 첨부된 도면들과 관련하여 기술되는 발명의 바람직한 실시예에 의해 주어지는 설명으로부터 보다 명백해 질 것이나, 이에 한정되는 것은 아니다.

도 1은 처리 시스템을 도시한다.

도 2는 수기 인식 방법의 개략도를 도시한다.

도 3은 특징 합성을 사용하는 디지털 잉크 데이터베이스 탐색을 도시한다.

도 4는 제 3자 잉크 데이터베이스 탐색 방법을 도시한다.

도 5는 훈련과 인식/ 탐색 단계를 도시한다.

도 6은 수기 인식을 위한 방법을 도시한다.

도 7은 텍스트 인식에 대한 일례를 도시한다.

수기 특징합성을 사용한 잉크 데이터베이스 탐색은 디지털 잉크 데이터베이스가 텍스트 기반 문의를 사용하여 탐색될 수 있도록 한다. 수기 인식 시스템 또는 적합한 훈련 과정으로부터 유도된 작성자-특정 수기 모델을 사용하여, 텍스트 문의는 추출되었을 특징 벡터들과 유사하고, 손으로 텍스트 문의를 쓴 디지털 잉크 데이터베이스의 작성자가 갖는 특징 벡터로 전환된다. 그 후 특징 벡터들은, 예를 들면 전통적인 기술들을 사용하여 데이터 베이스를 찾는데 사용된다. 이것은 오직 이용할 수 있는 입력 메카니즘이 텍스트 입력인 경우, 디지털 잉크 데이터베이스의 탐색을 허용하며, 디지털 잉크 데이터베이스의 작성자가 아닌 사람이 디지털 잉크 데이터베이스를 탐색하도록 허용할 수 있다.

본 발명의 광범위한 형태에 따르면, 텍스트 문의를 사용하여 디지털 잉크 데이터베이스를 탐색하는 방법이 제공되며 그 방법은 :

글자들의 시퀀스 및 연관된 특징 벡터들의 표를 구성하는 어휘의 탐색을 수행하고, 텍스트 문의를 생성하기 위해 결합될 수 있는 글자 시퀀스들을 포함하는 어휘 입력들의 시퀀스를 결정하는 단계;

어휘 입력들의 시퀀스에 대응하는 특징 벡터들의 세트를 얻는 단계;

디지털 잉크 데이터베이스를 탐색하기 위해 특징 벡터들의 세트를 사용하는 단계

을 포함한다.

본 발명의 특정 실시예에 의하면, 어휘는 수기 인식 결과를 사용하여 디지털 잉크 데이터베이스의 작성자로부터 얻은 수기 모델의 일부분이다.

본 발명의 실시예에서, 수기 모델은 특징 벡터들에 대한 글자 시퀀스들의 맵핑를 저장한다. 바람직하게는, 어휘는 각 글자 시퀀스에 대해 복수의 특징 벡터들을 포함한다. 또한 바람직하게는, 만약 한 개 이상의 어휘 입력 시퀀스가 결정된다면, 최소한의 입력수를 가지는 어휘 입력들의 시퀀스가 사용된다.

또다른 실시예에서, 텍스트 문의는 수기 입력을 수기 인식 시스템을 사용하여 텍스트로 변환하고/거나 음성 입력을 음성 인식 시스템을 사용하여 텍스트로 변환함으로써 얻어진다.

본 발명의 특정 형태에서, 수기 인식 결과는 :

수기를 샘플링하고;

필터를 사용하여 수기를 평활하게 하고;

경사 보정을 수행하고;

높이 정규화를 수행하기 위해 영역 추정 알고리즘을 사용하고;

서브 자획들로의 분할과 특징 벡터들의 생성을 수행하기 위해 특징추출을 사용하고;

특징 벡터 세트의 특징 감소 사용하고;

특징 벡터들을 클러스터하고 코드 단어 벡터를 생성하기 위해 벡터 양자화를 수행하고;

발생된 텍스트 글자들로부터 가장 가능할 것 같은 단어에 대해 사전을 검색하는 것에 의해 얻어진다.

본 발명의 보다 넓은 형태에 따르면, 문의를 사용하ㅕㅇ 디지털 잉크 데이터베이스를 탐색하기 위한 장치를 제공한다. 장치는 다음 사항을 포함한다.:

사용자가 문의를 입력하기 위한 입력 장치;

디지털 잉크 데이터베이스와 통신을 하거나 문의를 받을 수 있는 처리기;

만약 문의가 이미 텍스트 문의가 아니라면, 문의를 텍스트 문의로 변환하는 수단;

어휘의 탐색을 수행하고, 텍스트 문의를 생성하기 위해 결합될 수 있는 글자 시퀀스들을 포함하는 어휘 입력 시퀀스를 결정하기 위한 수단;

어휘 입력의 시퀀스에 대응하는 특징 벡터의 세트를 얻기 위한 수단;

특징 벡터 세트를 사용하여 디지털 잉크 데이터베이스를 탐색하기 위한 수단;

사용자에게 탐색 결과를 표시하는 출력 장치.

본 발명의 실시예의 다른 면에 의하면, 텍스트 문의, 탐색을 위해 특징 백터를 발생시키는데 사용되는 수기 모델보다 다른 수기 모델을 사용하여 수기으로부터 발생된다.

본 발명의 훨씬 넓은 형태에 따르면, 문의을 사용하는 디지털 잉크 데이터베이스를 탐색하기 위한 장치가 제공되며, 이 장치는:

디지털 잉크 데이터베이스를 저장하기 위한 저장소;

처리기로서 :

어휘의 탐색을 수행하며 텍스트 문의를 생성하기 위해 결합될 수 있는 글자시퀀스 포함하는 어휘 입력 시퀀스를 결정하고;

어휘 입력 시퀀스에 대응하는 특징 벡터들의 한 세트를 얻고;

디지털 잉크 데이터베이스를 탐색하기 위해 특징 벡터들의 세트를 사용하도록 채택되는 처리기를 포함한다.

여기서, 어휘는 수기 인식 결과를 사용하여 디지털 잉크 데이터베이스의 작성자로부터 얻은 수기 모델의 일부분이다.

다음의 방식들은 본 발명의 대상의 보다 정밀한 이해를 제공하기 위하여 첨부된 청구항과 설명에 적용되는 바와 같이 기술된다.

본 발명은 텍스트 문의를 사용하여 디지털 잉크 데이터베이스를 탐색하기 위한 방법과 장치를 제공한다. 도면에서, 본 발명의 특징을 도시하는 것에 통합하여, 차조 번호들이 도면들의 유사 부분들을 식별하는데 사용된다.

본 발명의 실시예들은 도 1에 도시된 예의 프로세싱 시스템을 사용하여 실현될 수 있다. 특히, 처리 시스템(10)은 일반적으로 적어도 처리기(20), 메모리(21), 그래픽 타블렛 및 키보드와 같은 입력 장치(22), 도시된 바와 같이 버스(24)를 통해 함께 결합된 디스플레이와 같은 출력 장치(23)를 포함한다. 외부 인터페이스는 또한 (25)에서 보이는 것처럼 디지털 잉크 데이터베이스(11)과 프로세싱 시스템을 결합하기 위해 제공된다.

사용에서, 프로세싱 시스템(10)은 데이터가 디지털 데이터베이스(11)에 저장되거나 및/ 또는 그로부터 검색될 수 있도록 적응된다. 처리기(20)는 텍스트 문의 등 수기 데이터를 입력(22)를 통해 받는다. 이것으로부터, 처리 시스템(10)은 컴퓨터, 랩탑, 서버, 특수한 하드웨어 등과 같은 어떠한 처리 시스템의 형태도 될 수 있음을 알 수 있을 것이다.

수기 모델링

작성자-특정 수기 모델은 특정한 사용자의 필체를 설명한다. 대부분의 사용자 -적응 수기 인식 시스템은 개별적인 사용자들 사이에서 스타일에서의 변화를 설명하기 위해 몇 가지 종류의 모델을 생성한다. 일반적으로, 이러한 수기 모델의 목적은 입력 펜 자획들의 세트로부터 추출된 특징 벡터들을, 인식된 텍스트를 나타내는 글자들의 세트로 맵핑(map)하는 것이다.

그러나, 디지털 잉크 탐색에 대한 특징 합성 접근법은 역맴핑을 수행하기 위해 작성자-특정 수기 모델을 사용한다. 다시 말해, 그 모델은 문의텍스트를, 작성자가 손으로 그 문의 텍스트를 쓴, 특징 벡터들의 세트로 변환시키는데 사용된다. 도 2는 수기 텍스트 인식 시스템에서 일반적인 단계를 상술한다. 수기는 샘플화되고(26), 미가공 잉크(27)은 정규화 단계(28)로 통과된다. 정규화 잉크(29)는 분할 단계(30)을 거치며, 그 결과적인 자획들(31)은 특징 벡터들(33)을 추출하는 특징 추출 단계(32)로 통과된다. 그 후 분류 단계(34)는 수기 모델(35)를 사용하여 프리키티브들(primitives)(36)를 생성하도록 수행된다. 텍스트 인식 단계(37)은 프리미티브들(36)을 받아 미가공 잉크(27)에 대응하는 텍스트(29)를 생성하기 위해 언어 모델(38) 및 수기 모델(35)을 사용한다.

잉크 데이터베이스 탐색을 위해 특징 합성을 사용하기 위해, 부가적인 단계가 요구된다. 사용자-특정 수기 모델(35)은, 텍스트가 잉크 특징들로 맵핑되도록 허용하는 정보를 저장하기 위해 수정되도록 요구된다. 이 맵핑을 실행하기 위해, 개별적인 글자들과 글자 그룹들(예를 들면 글자들의 시퀀스들)을 특징들로 변환하는 테이블(어휘(lexicon)라 불림)이 수기 모델에 포함된다. 인식이 수행된 이후, 출력 텍스트안의 글자들과 인식을 위해 사용된 대응 특징 벡터들이 어휘에 부가될 수 있다.

일반적으로 함께 발생하는 글자들과 그들에 대응하는 특징 벡터들의 그룹들은 연결되어 어휘에 부가된다. 이것은 수기와 함께 동시-발음(co-articulation) 효과들(글자들의 기록은 주변 글자들의 형태에 의해 영향을 받음)을 나타내고 보통 쓰여지는 글자들(예를 들면 "qu", "ed" 및 "ing")은 동시-발음을 나타낼 가능성이 높기 때문이다. 글자 그룹들의 특징 벡터들을 저장함으로써, 문의 잉크의 보다 정확한 표현이 자획 시퀀스의 문맥상 효과를 고려하여 생성될 수 있다.

어휘는 각각의 글자 시퀀스에 대해 복수의 특징 벡터들을 저장할 수 있어야만 한다. 같은 글자들은 자주 인식될 수 있기 때문에, 어휘는 그 글자들을 가장 잘 나타내는 특징 벡터들을 선택할 수 있어야만 한다. 이것은, 그 글자 시퀀스에 대해 특징 벡터시퀀스가 보여지는 횟수의 카운트와 함께, 각각의 글자 시퀀스에 대해 그 인식자에 의해 모든 특징 벡터 시퀀스들을 저장함으로써 할 수 있다. 그후 그 글자 시퀀스에 대해 가장 높은 카운트(즉, 가장 자주 보이고 따라서 가장 가능성있는)를 가지는 특징 벡터 시퀀스가 특징 합성동안 사용된다.

어느 글자 그룹이 저장되어야만 하는지의 선택은 높은 발생 확률을 가진 문자시퀀스들이 저장되는 (예를 들면 "ing"의 확률은 "inx"보다 훨씬 크다) 글자 변이 통계학(예를 들면 텍스트 언어자료로부터 유도된 것처럼)에 기초할 수 있다. 대안적으로, 모든 가능한 글자그룹들은 테이블이 너무 클때 (예를 들면 적어도-최근에 사용된)실행되는 어떤 종류의 선별 과정을 가지고 인식 후에 저장될 수 있다.

더 많은 개선은 어휘에서 단어의 끝부분들을 명백하게 모델링함으로써 이루어질 수 있다. 많은 서체는 단어의 끝부분에서 형편없게 쓰여진 글자를 나타낸다. 이것은 특히 "ing", "er" 과 "ed" 와 같은 수기 단어의 접미사들에서 명백하다. 이 거동을 모델링하기 위해, 단어문자의 끝이, 이 글자 시퀀스가 글자 끝부분을 모델링한 것을 나타내기 위해 그 글자 시퀀스에 첨부된다.(예를 들면 "ing#")

특징합성

디지털 잉크 데이터베이스를 탐색하기 위해, 텍스트 문의는 특징 합성 과정에 의해 사용자-특정 수기 모델을 사용하는 특징 벡터 세트로 변환된다. 이러한 특징 벡터들은 디지털 잉크 데이터베이스를 탐색하기 위해 문의 용어로 사용된다. 잉크 데이터베이스 탐색은 전통적인 잉크 매칭기술을 사용하여 수행될 수 있다. 도 3은 이 과정을 나타낸다. 단계(40)에서 텍스트가 입력되어, 텍스트(41)은 특징들(43)을 생성하기 위해 수기 모델(35)을 사용하는 특징 합성 단계(42)에 제공된다. 특징들(43)은 디지털 잉크 데이터베이스(11)의 잉크 탐색 단계(44)에서 사용된다. 이것은 잉크 매치(45)를 생성한다.

특징 합성을 수행하기 위해, 어휘의 탐색은 문의 텍스트를 생성하기 위해 결합될 수 있는 글자 시퀀스들을 포함하는 어휘 입력의 시퀀스를 찾기 위해 수행된다. 저장된 특징 벡터들은 문의 특징 벡터를 생성하기 위해 연결된다. 그러나, 문의 텍스트를 생성하기 위해 사용될 수 있는 어휘 입력들의 다른 결합들이 많이 있을수 있다. 텍스트를 생성하는 것이 가능한 입력의 최소 수를 사용하는 것은 가장 정확하게 문맥상의 효과를 모델링할 것이라고 생각된다. 예를 들면 다음의 입력이 어휘 안에 존재한다고 가정해보라:

b	bo
bor	borr
ed	ow
rr	rowed

표 1. 예시 어휘

단어"borrowed"는 (bo)(rr)(ow)(ed),(borr)(ow)(ed) 또는 (bor)(rowed)와 같이 생성될 수 있으며, 마지막 구성이 가장 적은 요소로 구성되기 때문에 가장 바람직할 수 있다.

A* 어휘 탐색

정확한 결과를 위해, 어휘는 매우 클 것으로 예상되고, 한 단어에 대한 잠정적인 어휘 입력 조합의 수는 기하급수적일 수 있다. 긴 단어들을 포함하는 문의에 대해, 모든 변경의 완벽한 열거는 실제적이지 않다. 수정된 A* 탐색 알고리즘, (S.Russel 과 P.Norvig의 Artificial Intelligence A Modern Approach, Prentice Hall, 1995를 보라)은 글자 시퀀스 s를 탐색하는데 사용될 수 있다. 여기서 경로 코스트 함수 g(s)는 텍스트를 형성하기 위해 지금까지 사용된 어휘 입력의 수이고, 목적에 대해 추정된 코스트는

h(s) =1, 길이(s)<길이(문의)의 경우

=0, 그 이외의 경우

이 발견적 방법(heuristic)은 만약 시퀀스가 문의 단어보다 적은 글자를 가진다면 글자 시퀀스를 완성하기 위해 적어도 하나의 부가적인 어휘 입력이 필요하다는 것을 나타낸다. 탐색 트리에서 노드들은 g(s)+ h(s) (보다 작은 스코어가 더 우수함)에 의해 분류되고, 같은 스코어를 가진 노드들은 시퀀스내의 글자 수에 의해 순서가 매겨진다.(보다 높은 스코어가 더 우수함)

h(s)는 모노토닉이고 인정될수 있는 발견적 방법이고(즉, 그것은 결과 목적지에 도달하는 코스트를 과대평가하지 않는다) 그래서 탐색은 최적의 해결책을 찾도록 보장되고 최적으로 효율적이다.(즉, 최적의 해결책을 찾을 수 있는 가장 적은 마디를 확장함) 이 결과의 증거는 R.Dechter과 J.Pearl의 "일반화된 최고-첫번째의 탐색 전략과 A* 의 최적성(Journal of the Association for Computing Machinery, 32(3), 페이지 505-536, 1985)에서 주어진다.

상기 과정의 예로서, 단어 "borrowed"의 탐색이 아래에 나와있다. 표안의 각 열은 탐색 마디를 나타내며 높은 스코어 노드들이 표의 최상부에 위치한다.

s	g(s)	h(s)	g(s)+h(s)	글자수
(borr)	1	1	2	4
(bor)	1	1	2	3
(bo)	1	1	2	2

표의 최상부에서 가장 유력한 노드는 다음과 같이 확장된다.

s	g(s)	h(s)	g(s)+h(s)	글자수
(bor)	1	1	2	3
(bo)	1	1	2	2
(borr)(ow)	2	1	3	6

다시, 가장 유력한 노드는 확장된다.

s	g(s)	h(s)	g(s)+h(s)	글자수
(bor)(rowed)	2	0	2	8
(bo)	1	1	2	2
(borr)(ow)	2	1	3	6

최고 노드는 이제 완료된 시퀀스이고, 탐색에서의 다른 노드는 보다 나은 스코어를 생성할 수 없으으로, 이 노드는 검색 결과로서 선택된다.

Ⅱ . 다양한 실시예

ⅡA. 수기 인식없이 특징 합성

특징 합성을 사용하는 잉크탐색은 수기 인식 시스템을 사용하지 않고 실행될 수 있다. 그 기술은 디지털 잉크 데이터베이스를 작성한 작성자의 수기를 모델링하기 위해 단지 글자 시퀀스들의 어휘 및 관련 특징 벡터들을 만드는 능력을 요구한다.

만약 수기인식결과가 모델링에 유효하지 않다면, 훈련과정이 사용자-특정 어휘를 생성하기 위해 사용된다. 이것을 하기 위해, 사용자는 지정된 훈련 텍스트를 복사함으로써 그들의 수기 샘플을 제공하고, 이는 어휘를 생성하기 위해 사용된다. 훈련 과정,은 수기에 의해 나타나는 텍스트가 이미 알려져 있기 때문에, 완전한 수기 인식을 수행하는데 요구되지 않는다. 그보다 그것은 단순히 입력을 문자들과 자획들로 분절시키고, 자획들을 특징들로 변환시키며, 그 어휘내의 적합한 글자 그룹과 관련 특징 벡터를 저장하기 위해 필요하다.

어휘를 만들기 위해 사용되는 훈련 텍스트는 개별적인 글자들과 글자그룹의 균형있는 예시 세트를 제공하기 위해 최적화되어야 한다. 다시 말해, 가장 가능성 있는 문자 유니그램, 바이그램, 트리그램의 적용범위를 최대로 해야 한다. J.Pitrelli, J.Subrahmonia, M.Perrone, K.Nathan의 "작성자-의존 수기 인식용 훈련 텍스트의 최적화"(Advances in Handwriting Recognition, World Scientific Publishing, 1999)를 보면 가장 만날 가능성이 있는 글자들과 글자 시퀀스를 강조한다.

ⅡB. 인식과 잉크 매칭을 위한 다른 특징들

수기 인식 시스템과 잉크 매칭 알고리즘 모두는, 디지털 잉크 데이터베이스를 탐색하는데 사용되는 특징들이 수기 인식의 결과로부터 유도되기 때문에, 동일한 특징 표현들을 사용하는 것이 바람직하다.

그러나 인식을 위해 다른 인식 특징을 사용하는 것을 가능하고 , 인식 특징이 제공되는 탐색은 탐색 특징들로 변형될 수 있다. 어떤 특징 세트들은, 인식 특징들로부터, 훈련 데이터 세트로부터 습득된 탐색 특징으로 변환되도록 허용한다.

대안적으로, 많은 특징 세트들은 제 2 특징 세트가 추출될 수 있는 인식 특징으로부터, 디지털 잉크의 근사값이 재발생하는 것을 허용할 수 있다. 다시 말해, 텍스트 문의은 특징 합성을 사용하는 특징 벡터 세트로 변환되고, 특징-추출 과정의 역변형은, 탐색 특징이 추출되는 디지털 잉크로 그것들을 변환시키기 위해 그 특징들에 적용된다. 이 과정은 탐색 특징 추출에 영향을 미칠 수 있는 디지털 잉크안에 인공물을 끼워넣지 않는것을 확실히 하기 위해 주의가 요구된다.

ⅡC. 3-자간 잉크 탐색

한 사람은 그들의 잉크 입력을 텍스트로 변환하는 수기 인식과 잉크 탐색을 위해 인식된 텍스트를 특징들로 변환하는 특징 합성을 사용함으로써 다른 사람의 디지털 잉크 데이터베이스를 탐색할 수 있다.

도 4는 작성자 B는 작성자 A가 작성한 디지털 잉크 데이터베이스를 탐색하는 이 상황을 묘사한다. 단계(46)에서 잉크는 작성자 B로부터 받아들여지고 자획들(47)은 특징 추출 단계(48)에 전달된다. 특징들(49)은 추출되고, 인식 단계(50)는 대응되는 텍스트(53)를 생성하기 위해 언어 모델(51)과 작성자 B 모델(52)을 사용한다. 이것은 어휘 작성 단계(54)에서 작성자 B를 위한 어휘를 작성하기 위해 사용된다. 글자 그룹들과 특징들은 모델을 향상/업데이트 하기 위해 작성자 B모델(52)에 반환된다. 텍스트(53)는 특징 합성 단계(42)를 거치며, 도 3을 참조하여 기술된 유사한 과정이 작성자 A가 작성한 잉크 매치들(45)를 검색하기 위해 뒤따라진다.

Ⅲ. 다른 실시예

다음의 예는 본 발명의 하나의 실시예의 보다 상세한 개요를 제공한다. 이 보기는 단순히 예시적이며 본 발명의 범위를 제한하는 것은 아니다.

이 부분은 특징 합성을 사용한 잉크 데이터베이스 탐색의 실행을 상세하게 기술한다. 단어와 문자 분할 및, 기준선 배향 정규화를 포함하여, 많은 선처리 단계들이 수행되었다고 가정한다. 이것은 그 기술을 실행하는 단 하나의 가능한 방법임에 주의하라; 과정의 각 단계에 대해 유효한 대체적인 방법들이 있다. 예를 들면, 많은 다른 분할 체계, 특징 세트들과 수기 모델들과 인식 과정이 또한 사용될 수 있다.

특징 합성을 사용한, 수기 인식과 잉크 탐색을 위한 과정은 훈련 단계와 인식 또는 탐색 단계를 요구한다. 훈련 단계동안, 훈련 데이터 세트는, 자획 프리미티브들로 클러스터되고 수기 모델을 형성하기 위해 사용되는 자획 특징들로 변환된다. 인식과 잉크 탐색을 위해, 이 모델은 입력 잉크를 디코드하거나 잉크 탐색을 위해 특징들을 합성하는데 사용된다. 이 과정은 도 5에서 묘사된다. 동일한 선처리, 정규화, 분할 및 특징 추출 과정이 훈련, 인식 및 탐색을 위해 사용되었음에 주의하라.

수기 인식 시스템은 입력 잉크를 단어를 매칭시키기 위한 사전을 찾기 위 사용되는 자획 코드 단어 세트로 맵핑한다. 도 6은 이 과정의 개략도를 제시하며 각 단계들은 이하에서 보다 상세하게 기술된다.

평활화(smoothing)

잉크는 100 Hz의 일정한 속도로 샘플이 된다. H.Teulings 와 F.Maarse의 "수기 움직임의 디지털 레코딩과 처리", Human Movement Science, 3, pp. 193-217, 1984의 연구는 수기가 대략 5 Hz 주변에서 최고 스펙트럼 밀도를 가지고 대략 10 Hz에서 노이즈 레벨로 감소하는 것을 보여준다. 따라서 컷 오프가 10Hz인 저주파수 통과 필터는 수기 신호의 관련된 스펙트럼 성분들에 영향을 미치지 않고 고-주파수 노이즈를 제거할 것이다.

상기 명세서에 따른 저주파수 통과 필터는 포인트 좌표들을 원형으로 만들어,고주파수 성분을 제거하기 위해 FFT를 수행하고, 역-FFT를 사용하여 그 신호를 재생성함으로써 생성될 수 있다. 그러나, 단순한 가중- 평균 필터는 효과적으로 작동한다. 포인트들{p_l...p_n}의 시퀀스를 평활화 하기 위해:

여기서

필터의 폭 k와 평활화 계수들 α는 실험적으로 결정된다.

경사 보정

많은 수기 특징유형은 그려진 글자의 수직의 중요한 축을 가지고 있지 않다. (즉 글자들은 일정한 경사로 그려진다.) 수기의 경사를 제거하는 것은 수기 글자의 인식을 향상시킬수 있는 정규화이다. 수기에서, 아래-자획은 가장 안정되고 일치하는 자획으로 평가되므로 수기 경사를 탐지(detect)하는데 유용하다.

수기 특징 경사를 탐지하기 위해, 포인트들{p_l...p_n}안에서 아래 자획의 가중-평균 방향은 다음과 같이 추정된다.

여기서 α_i= 각 (p_i , p_i-1)

d_i= ∥p_i - p_i-1∥ (α₁<α _i<α₂인 경우)

= 0 ( 그 외의 경우)

각도 α₁과 α₂는 어느 자획 세그먼트들이 아래 자획의 일부분으로 파악되는지 정의하고 실험적으로 각각 40°와 140°(수직 선을 나타내는 90°와 함께)에서 설정된다. 만약 추정된 경사가 수직으로부터 어떤 문턱값 이상으로 비켜난다면, 경사는 전단 변형(shear transformation)을 사용하여 제거된다.

여기서 y_min과 y_max는 잉크의 경계직사각형의 위와 아래를 나타낸다.

영역 추정

영역 추정은 입력 잉크의 높이를 정규화하는데 사용된다. 영어 글자들은 세가지 영역을 나타낸다.-중간부('a','c','e'등과 같은 글자의 높이에 대응하는)와 'b','d','g'와 'j'와 같이 글자안에서 위로 나오는 부분과 아래로 나오는 부분을 포함하는 상부와 하부가 있다.

영역 평가는 잉크 밀도의 수평 막대그래프를 사용하여 수행된다. 다시 말해, 잉크 교차들(ink crossings)의 수는 잉크의 경계 직사각형을 통해 통과하는 일정한 간격으로 떨어져있는 수평선들에 대해 결정된다. 히스토그램의 중앙 피크치는, 마치 잉크 밀도 방울이 중앙 피크 높이의 어떤 파편 아래로 떨어지는 막대그래프의 양가장자리에서 두 점이 있을 때처럼, 발견된다. 이 두 점들은 중앙 영역의 위와 아래 경계로서 선택된다. 위와 아래 영역들은 중앙 영역과 경계 사각형의 수직 극한값 사이에서의 공간처럼 정의된다.

특징 추출

잉크는 수직 방향내의 극한치에서 서브-자획으로 분절된다.(예를 들면, Y 좌표들의 국부적인 최대치와 최소치에서) 세그먼트가 발생하기 위해, 선택된 세그먼트 지점에서 자획을 분할하여 형성된 두 개의 서브-자획의 길이는, 미리 계산된 최소 거리를 초과해야만 한다.(추정된 중간 영역의 높이의 절반에서 설정된)

분절된 서브-자획들은 자획 궤도를 따라 등거리에 위치한 점들의 일정한 n 수를 포함하기 위해 다시 샘플된다. 특성벡터는 좌표를 정규화함으로써 서브-자획을 위해 형성된다.

여기서,

x_min= 서브-자획 둘레 사각형의 최소값 X

y_middle= 중간 영역의 최상부의 y축

h = 중간 영역의 높이(즉, y_base-y_middle)

특성 벡터는 f _i={x'₁,y'₁,...,x'_n, y'_n }으로 정규화된 좌표로부터 형성된다.

특징 감소

결과적인 벡터는 많은 수의 상당히 관련된 특징들(분명하게, 점 p_i의 좌표는 점 p_i-l기타 등등에 의존한다.) 을 사용하여 서브-자획을 설명한다. 벡터의 차원을 m( m< 2n)으로 낮추기 위해, Karhunen-Loeve 변형(주요 성분 분석을 보면- R.Duda, P.Hart, D.Stork, 패턴 분류, 2판, John Wiley & Sons, Inc., pp 569-570, 2001)이 사용된다. 이 과정은 최소 좌승 감지(a least-squares sense) 인식에서 최적화된 선형 매핑을 사용하여 보다 높은 차원 특징들을 낮은 차원 특징으로 투영한다.

이것을 하기 위해, 모든 훈련 특징 벡터들 세트 X = {f ₁ ,...,f _n } 에 대한 공분산(covariance) 행렬이 다음을 사용하여 계산된다.

이 행렬에 대한 고유벡터들과 고유값이 발견되며(전통적인 QL 묵시 알고리즘, W.Press, B. Flannery, S.Teukolsky,와 W. Vetterling, W. T., C에서의 Numerical Recipes: Cambridge University Press, 1988), 가장 큰 n 고유값에 대응하는 고유벡터들은 PCA 행렬 Z를 형성하기 위해 사용된다. 특징 벡터들은 그 후 그 특징들을 직교 비상관 축 축을 가지는 새로운 특징 공간으로 변형하기 위해 이 행렬에 의해 곱해진다.:

벡터 양자화

변형된 특징 벡터들은 그 후 Kohenen Self-Organizing Feature Map(SOFM)을 사용하여 클러스터된다. T. Kohonen의"Self-Organized Formation of Topologically Correct Feature Maps", (Biological Cybernetics , 43, pp. 59-69, 1982)를 보라. 이 기술은 벡터사이의 거리 및 근접성 관계가 가능한 멀리 유지되도록 하기 위하여 입력 벡터들을 클러스터하기 위해 고안되지 않은 학습 과정을 사용한다. SOFM 은 각각 근처에 위치한 외관상 유사한 코드 단어로 2차원 구조를 사용한다. 결과적으로, 두 코드 단어들 사이의 거리는 코드 단어 값 사이에서 몇가지 거리 측정(예를 들면 유클리디안 거리)을 사용하여 쉽게 계산할 수 있다.

SPFM 훈련은 임의적인 가중치로 초기화된 단순한 2층 신경 네트워크를 사용하여 반복적으로 수행된다. 정규화된 입력 훈련 벡터 x 에 대해 최고의 어울리는 출력 뉴런은 최소 유클리디안 거리를 사용하여 발견된다.

여기서, w_i 는 출력 노드 i의 무게 벡터로 나타낸다. 가장 활성화된 값을 가진 노드의 무게와 그것을 에워싸는 노드( 근접 함수 Λ에 의해 결정되는 것처럼)들은 다음을 사용하여 업데이트된다.

여기서 η는 학습 비율 함수이고 η와 Λ는 일반적으로 시간이 경과함에 따라 변화한다. 훈련은 훈련 세트가 반복되는 동안 뉴런 무게에 인지될수 있는 변화가 없을 때까지 계속된다.

서브-자획들의 시퀀스를 코드 단어 벡터로 전환하기 위해서, 각각의 서브-자획 특징 벡터는 훈련된 SOFM을 사용하여 양자화되고, 코드 단어 벡터에 첨부된다. 특징 벡터는 SOFM 코드북의 출력 뉴런에 대해 가장 큰 활성값을 선택함으로서 코드 단어로 양자화된다.

수기 모델

수기 모델은 자획 코드 단어벡터들의 글자들로의 맵핑을 (텍스트 인식을 위해) 저장하고, 코드 단어 벡터들로의 글자그룹의 역 맴핑을 (특징 합성을 위해) 저장한다. 수기 모델을 생성하기 위하여, 훈련데이터안의 각각의 글자는, 대응되는 글자를 따라, 표에 저장되는 코드 단어 벡터로 변환된다.

특정 코드 단어 시퀀스는 다수의 글자들에 맵핑할 수 있고(예를 들면 불완전하게 그린 'u'는 'v'와 같은 동일한 특징 벡터에 맵핑될 수 있다.), 각 글자들은 다수의 코드 단어 벡터에 의해 맵핑될 수 있다는 것에 주의하라. 코드 단어 벡터가 특정 글자들에 나타네었던 횟수의 카운터를 유지함으로써, 그 벡터가 글자 x_i 를 나타낼 수 있는 확률이 글자 x_i 에 대한 주어진 n 개의 어휘 입력이 주어져 계산될 수 있다. :

여기서 c_i 는 코드 단어 벡터가 글자 x_i 를 나타내면서 마주치는 시간수의 총합이다. 다음은 가상의 코드 단어 벡터 {3,4 }를 나타내는 표로부터의 예제 입력이다.:

x_i	c_l	P(x_i)
'u'	120	0.54
'v'	91	0.41
'r'	12	0.05

표 2. 예시 코드 단어 벡터 입력

이 표는 만약 코드 입력 시퀀스 {3,4}가 입력안에서 마주친다면, 그것이 글자 'u'를 타나내는 확률이 0.54 이고, 글자 'v'를 나타내는 확률이 0.41이며, 'r'을 나타내는 확률이 0.05 임을 나타낸다.

역맵핑표는 유사한 방법으로 생성되고, 글자와 글자 그룹들과 관련되는 코드 단어 벡터들을 저장한다.

인식

수기 인식을 수행하기 위해서는, 입력 잉크는 위에서 설명한 바와 같이 처리되고, 결과가 되는 코드 단어 벡터들은 글자 가설을 생성하기 위해 수기 모델을 탐색하는데 사용된다. 최고의 제 1차 탐색전략은 유도된 글자 확률로 주어진 가장 가능성 있는 단어를 위해 사전을 탐색하는데 사용된다. 과정은 도 7의 하부에 도시된다.

잉크 탐색

잉크 탐색은 입력 문의 텍스트를 코드 단어들의 시퀀스로 맵핑하기 위해 수기 인식동안 발생된 수기 모델을 사용함으로써 실행된다. 이 코드 단어 벡터는 신축성있는 매칭 기술을 사용하여 디지털 잉크 데이터베이스를 탐색하는데 사용된다. 유사한 잉크-매칭 기술의 전체 기술은 D.Lopresti 와 A. Tomkins의 " Temporal- Domain Matching of Hand-Drawn Pictorial Queries"(Handwriting and Drawing Research: Basic and Applied Issues, IOS Press, pp. 387-401, 1996)에서 주어진다. 발생된 문의들은 유사함에 따라 배열되어 사용자에게 나타난다.

요컨대, 본 발명에 따르면, 장점들을 만족하는 텍스트 문의를 사용하여 디지털 잉크 데이터베이스 탐색을 위한 방법과 장치가 상기와 같이 제시된다.

본 발명은 또한, 본 출원의 명세서에 언급되거나 나타내어진 부분들, 구성요소들, 및 특징들로, 개별적으로 또는 집합적으로 상기 부분들, 구성요소들 또는 특징들 중 두개 이상의 임의의 또는 모든 조합들로 폭넓게 구성된다고 할 수 있으며, 공지된 등가물들이 마치 개별적으로 제시된 것처럼 여기에 결합되는 것으로 보이도록, 본 발명이 관련된 기술에서 공지된 등가물들을 갖는 특정 정수들이 여기에 언급된다.

비록 바람직한 실시예가 상세히 서술되었지만, 다양한 변화들, 치환들 및 변경들이 이전에 서술된 바와 같이 그리고 이후에 청구된 바와 같이 본 발명의 범위를 이탈하지 않으면서 본 발명의 숙련된 자에 의해 이루어 질 수 있음이 이해될 것이다.

Claims

텍스트 문의(text query)를 사용하여 디지털 잉크 데이터베이스를 탐색하는 방법에 있어서:

글자 시퀀스들 및 관련된 특징 벡터들의 표로 구성되는 어휘 탐색을 수행하며, 텍스트 문의을 생성하기 위해 결합될 수 있는 문자 시퀀스들을 포함하는 어휘입력의 시퀀스를 결정하는 단계와;

상기 어휘 입력들의 시퀀스에 대응되는 특징 벡터의 세트를 얻는 단계와;

상기 디지털 잉크 데이터베이스를 탐색하기 위해 상기 특징 벡터 세트의 세트를 사용하는 단계를 포함하는, 디지털 잉크 데이터베이스 탐색 방법.
제 1 항에 있어서,

상기 어휘는 수기 인식 결과(handwriting recognition)를 사용하여 다지털 잉크 데이터베이스의 작성자로부터 획득한 수기 모델의 일부분인, 디지털 잉크 데이터베이스 탐색 방법.
제 1 항 또는 제 2 항에 있어서,

수기 모델은 특징 벡터들로의 글자 시퀀스를 맵핑한 것을 저장하는, 디지털 잉크 데이터베이스 탐색 방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

상기 어휘는 각각의 글자 시퀀스에 대한 다수의 특징 벡터들을 포함하는, 디지털 잉크 데이터베이스 탐색 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

상기 어휘는 단어의 끝부분들을 지시하기 위해 단어 문자의 끝부분을 포함하는, 디지털 잉크 데이터베이스 탐색 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,

어휘를 발생시키기 위해 사용되는 상기 수기 인식 결과들은 훈련 텍스트로부터 유도되는 디지털 잉크 데이터베이스 탐색 방법.
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,

어휘 입력 시퀀스가 하나 이상 결정되면, 최소 입력수를 가지는 상기 어휘 입력 시퀀스가 사용되는 디지털 잉크 데이터베이스 탐색 방법.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,

탐색 알고리즘은 글자 시퀀스 s를 탐색하기 위해 사용되는 디지털 잉크 데이터베이스 탐색 방법.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서,

상기 텍스트 문의는 수기 인식 시스템을 사용하여 수기 입력을 텍스트로 변환함으로서 얻어지는, 디지털 잉크 데이터베이스 탐색 방법.
제 1 내지 제 8 항 중 어느 한 항에 있어서,

상기 텍스트 문의는 음성 인식 시스템을 사용하여 음성 입력을 텍스트로 변환함으로서 얻어지는, 디지털 잉크 데이터베이스 탐색 방법.
상기 수기 인식 결과는 :

제 1 항 내지 제 10 항 중 어느 한 항에 있어서,

상기 수기 인식 결과들은:

상기 수기를 샘플링하고;

필터를 사용하여 상기 수기를 평활화(smoothing)하고;

경사 보정을 수행하고;

높이 정규화를 실행하기 위해 영역 평가 알고리즘을 사용하고;

서브-자획의 분할과 상기 특징 벡터의 발생을 수행하기 위해 특징 추출을 사용하고;

상기 특징 벡터들의 세트의 특징 감소를 사용하고;

상기 특징 벡터를 클러스터(cluster)하고 코드 단어 벡터를 발생시키기 위해, 벡터 양자화를 수행하며;

상기 발생된 텍스트 글자들로부터 가장 가능성 있는 단어에 대하여 사전을 탐색하여 얻어지는 디지털 잉크 데이터베이스 탐색 방법.
문의를 사용한 디지털 잉크 데이터베이스 탐색용 장치에 있어서:

사용자가 문의를 입력하기 위한 입력 장치;

상기 문의를 받고 상기 디지털 잉크 데이터베이스와 통신할 수 있는 처리기;

만약 상기 문의가 이미 텍스트 입력이 아니라면 상기 문의를 텍스트 문의로 변환하는 수단;

어휘 탐색을 수행하고, 상기 텍스트 문의를 생성하기 위해 결합될 수 있는 문자 시퀀스들을 포함하는 어휘 입력 시퀀스를 결정하기 위한 수단;

어휘 입력들의 시퀀스에 대응하는 특징 벡터 세트를 얻기 위한 수단;

특징 벡터 세트를 사용하여 디지털 잉크 데이터베이스를 탐색하기 위한 수단;

사용자에게 탐색 결과를 표시하는 출력 수단;

을 포함하는, 디지털 잉크 데이터베이스 탐색용 장치.
제 12 항에 있어서,

상기 어휘는 수기 인식 결과들을 사용하여 상기 디지털 잉크 데이터베이스의 작성자로부터 얻은 수기모델의 일부분인, 디지털 잉크 데이터베이스 탐색용 장치.
제 12 항 또는 제 13 항에 있어서,

상기 텍스트 문의는 탐색을 위해 상기 특징 벡터를 발생시키기 위해 사용된 상기 수기모델보다 다른 수기 모델을 사용하여 수기로부터 발생되는, 디지털 잉크 데이터베이스 탐색용 장치.
제 12 항 내지 제 14 항 중 어느 한 항에 있어서,

상기 어휘는 훈련 텍스트를 사용하여 생성되는 디지털 잉크 데이터베이스 탐색용 장치.
제 12 항 내지 제 15 항 중 어느 한 항에 있어서,

상기 텍스트 문의는 음성 인식 시스템에 의해 음성 문의로부터 생성되는 디지털 잉크 데이터베이스 탐색용 장치.
문의를 사용하는 디지털 잉크 데이터베이스 탐색용 장치에 있어서,

상기 디지털 잉크 데이터베이스를 저장하기 위한 저장소;

처리기가 어휘 탐색을 수행하고, 상기 텍스트 문의를 생성하기 위해 결합될 수 있는 글자 시퀀스들을 포함하는 어휘 입력 시퀀스를 결정하고;

상기 어휘 입력들의 시퀀스에 대응하는 특징 벡터세트를 얻으며;

상기 디지털 잉크 데이터베이스를 탐색하기 위해 상기 특징 벡터 세트를 사용하도록 처리기를 포함하며,

상기 어휘는 수기 인식 결과들을 사용하여 디지털 잉크 데이터베이스의 작성자로부터 얻은 수기 모델의 일부분인, 디지털 잉크 데이터베이스 탐색용 장치.