KR101002486B1 - 수기 인식 개인화 시스템 및 방법 - Google Patents

수기 인식 개인화 시스템 및 방법 Download PDF

Info

Publication number
KR101002486B1
KR101002486B1 KR1020057012361A KR20057012361A KR101002486B1 KR 101002486 B1 KR101002486 B1 KR 101002486B1 KR 1020057012361 A KR1020057012361 A KR 1020057012361A KR 20057012361 A KR20057012361 A KR 20057012361A KR 101002486 B1 KR101002486 B1 KR 101002486B1
Authority
KR
South Korea
Prior art keywords
ink
user
text
data
database
Prior art date
Application number
KR1020057012361A
Other languages
English (en)
Other versions
KR20060114286A (ko
Inventor
패트릭 할룹토크
로스 나타니엘 루엔젠
베노이트 제이. 주리온
마이클 레보우
리차드 케인 세일로
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20060114286A publication Critical patent/KR20060114286A/ko
Application granted granted Critical
Publication of KR101002486B1 publication Critical patent/KR101002486B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

입력 방법의 인식을 개인화하는 개선된 시스템 및 방법이 제공된다. 훈련가능한 수기 인식기는 사용자에 의해 기입된 잉크와 사용자에 의해 작성된 텍스트를 사용하여 개인화될 수 있다. 이 시스템은 인식기를 훈련하기 위해 사용자 잉크와 작성된 정보를 수집, 저장, 및 액세스하는 인터페이스를 구비한 프레임워크와 개인화 서비스 엔진을 포함한다. 시스템의 훈련기는, 텍스트 컨텐츠를 사용하여 인식기의 사전을 증대하는 텍스트 훈련기와 사용자에 의해 제공된 잉크 데이터를 사용하여 일반 인식기 컴포넌트를 조정하는 형상 훈련기를 포함할 수 있다. 훈련기는 다수의 훈련기 클라이언트를 로딩할 수 있으며, 각각은 하나 이상의 특정 인식기를 훈련할 수 있다. 또한, 플러그가능 훈련기를 지원하는 프레임워크가 제공된다. 임의의 훈련가능 인식기는 사용자에 의해 작성된 하비스트 정보와 사용자에 의해 기입된 잉크를 사용하여 동적 개인화될 수 있다.
Figure R1020057012361
개인화, 텍스트 훈련기, 인식기, 하비스트 정보, 잉크

Description

수기 인식 개인화 시스템 및 방법{SYSTEM AND METHOD FOR PERSONALIZATION OF HANDWRITING RECOGNITION}
본 발명은 컴퓨터 시스템에 관한 것으로서, 특히 수기(handwriting) 인식의 개인화를 위한 개선된 시스템 및 방법에 관한 것이다.
수기, 음성, 및 IME(Input Method Editor)와 같은 개선된 입력 방법은 이들의 인식기(recognizer)를 훈련시키는 일반 입력 샘플을 사용할 수 있다. 예를 들면, 수기 인식기는 랜덤하게 선택된 그룹에 의해 부여된 기입 샘플을 수집함으로써 훈련될 수 있다. 이러한 인식기 훈련 방법은 인식기가 가능한 한 많은 사람에 대하여 동작하도록 조정되는 이점이 있다. 인식기를 훈련시키는데 사용되는 서로 다른 사람들로부터 수집된 샘플이 보다 많을수록, 인식기는 일반 용도에 있어서 보다 강인해질 수 있다.
그러나 이러한 인식기 훈련 방법은 여러 단점을 갖는다. 인식기는 일반 기입 샘플에 의해 훈련되기 때문에, 개별 사용자는, 특히 사용자가 일반 샘플로부터 획득한 다른 문자와 유사한 문자를 기입한 경우에는, 인식 오류를 경험할 수 있다. 예를 들면, 사용자는 일반 샘플로부터 문자 "n"으로서 문자 "u"를 기입할 수 있다. 사용자가 일반 샘플에 의해 훈련된 인식기에 적합하도록 수기를 변형할 수 없는 경 우에는, 사용자는 이러한 인식 오류를 교정할 능력을 갖지 않을 수 있다. 사용자는, "yon"으로부터의 텍스트 번역을 "you"로 정정하는 것과 같이, 오류를 포함하는 개별 단어의 텍스트 번역을 정정함으로써 이러한 오류를 정정할 수 있는 능력을 제공받을 수 있다. 그러나 이는 특정 입력 문자를 잘못 인식하는 기본 인식 오류를 교정할 수 없다. 각각의 잘못 인식된 단어를 정정하는 것은 동일 오류가 반복되고 인식기가 이들 정정으로부터 개인의 기입에서 형상의 미묘한 차이를 습득하지 않는 것으로 나타나는 경우에는 특히 사용자에 고통스러울 수 있다.
개선된 입력 방법은 또한 이들 인식기를 훈련하는데 사용되는 일반 언어 모델을 제공할 수 있다. 이 언어 모델은 사용자에게 고유한 어휘를 사용하지 않을 수 있다. 더욱이, 사용자가 작성한 이메일, 문서, 및 URL과 같은 사용자 어휘의 일부 키 소스는 일반 언어 모델로 표현될 수 없다. 예를 들면, 이메일 주소는 특정 언어의 언어 규칙 또는 어휘에 부합하지 않는다. 예를 들면, 단어 간의 공간을 요구하는 영어 언어 규칙은 이메일 주소에 적용되지 않는다. 유사하게, URL은 특정 언어의 일반 규칙 또는 어휘에 부합하지 않는다. 그 결과, 일반 언어 모델은 이들 입력 유형을 정확하게 인식하게 하는 능력이 제한된다. 사용자는 결과적으로 이들 입력 유형에 대한 인식 정확성이 열악하게 되는 일반 언어 모델을 사용하는 경우 불만족스러운 경험을 가질 수 있다.
개별 사용자가 기입하는 방식과 개별 사용자가 기입하는 대상을 인식하게 하여 입력 인식의 보다 높은 정확도를 달성할 수 있는 개선된 입력 방법이 필요하다. 또한, 이러한 시스템은 사용자가 시스템에 기입하고 텍스트를 작성함에 따라 인식 기의 동적 적응을 지원하여야 한다.
<발명의 개요>
간략하게, 본 발명은 수기 입력의 개인화를 위한 개선된 시스템 및 방법을 제공한다. 이 시스템 및 방법은 사용자에 의해 기입된 잉크(ink)와 사용자에 의해 작성된 텍스트를 사용함으로써 훈련가능한 인식기를 개인화할 수 있다. 이를 위해, 본 발명은 인식기를 훈련시키는 사용자 잉크 및 작성 정보를 수집, 저장, 및 액세스하는 인터페이스를 구비한 컴포넌트와 프레임워크를 제공한다. 컴포넌트 중에는, 다양한 애플리케이션, 데이터베이스 및 스토리지 설비, 인식기, 및 인식기를 위한 훈련기(trainer)에 동작가능하게 결합된 개인화 서비스 엔진(personalization service engine)이 제공될 수 있다.
개인화 서비스 엔진은 개인화 서비스 인터페이스, 잉크 서비스 엔진, 하비스팅 서비스 엔진(harvesting service engine), 및 훈련 데이터 엔진을 포함할 수 있다. 잉크 서비스 엔진은 수집기(collector)로부터 잉크를 수신하여 잉크 데이터베이스에 수집된 잉크를 저장할 수 있다. 하비스팅 서비스 엔진은 사용자에 의해 작성된 텍스트를 수집하고 하비스팅 서비스 데이터베이스에 수집된 텍스트를 저장할 수 있다. 또한, 본 발명에 의해 제공되는 프레임워크는 임의의 애플리케이션 또는 실행가능 코드가 사용자의 잉크 또는 작성된 텍스트를 제공하여 인식 정확성을 개선할 수 있게 한다. 이러한 애플리케이션은 개인화 마법사(personalization wizard), 잉크 뷰어, 및 다른 애플리케이션을 포함할 수 있다. 사용자의 잉크를 저장하는 잉크 데이터베이스, 인식기에 의해 사용되는 훈련 데이터를 저장하는 훈 련 데이터 데이터베이스, 운영 체계와 프로그램 설정을 저장하는 레지스트리, 언어 정보를 저장하는 하비스팅 서비스 데이터베이스, 및 컴퓨터 시스템에 의해 통상 사용되는 디스크 스토리지는 데이터베이스와 스토리지 설비에 포함될 수 있다.
훈련기(trainer)는 텍스트 컨텐츠를 사용하여 인식기의 사전을 증대시키는 텍스트 훈련기, 및 사용자에 의해 제공되는 잉크 데이터를 사용하여 일반 인식기 컴포넌트를 조정하는 형상 훈련기를 포함할 수 있다. 훈련기는 다수의 훈련기 클라이언트를 로딩할 수 있으며, 각각의 훈련기 클라이언트는 하나 이상의 특정 인식기를 훈련시킨다. 또한, 플러그가능한 훈련기를 지원하는 프레임워크를 제공함으로써, 임의의 훈련가능한 인식기가 사용자에 의해 작성된 하비스트 정보와 사용자에 의해 기입된 잉크를 사용하여 동적으로 개인화될 수 있다.
본 발명의 아키텍처는 개인화 서비스 엔진이 사용자의 잉크와 작성된 텍스트를 자동 수집하여 인식을 개인화하기 위한 사용자 데이터의 저장소를 생성하게 할 수 있다. 또한, 이 아키텍처는 사용자가 시스템에 기입하고 텍스트를 작성함에 따라 훈련가능한 인식기의 동적 적응을 지원한다. 다른 이점은 도면과 함께 후술하는 상세한 설명으로부터 명백해질 것이다.
도 1은 본 발명이 포함될 수 있는 일반적인 컴퓨터 시스템을 나타내는 블록도.
도 2는 본 발명의 일 양태에 따라 수기 입력의 개인화를 위한 시스템 컴포넌트의 예시적인 아키텍처를 일반적으로 나타내는 블록도.
도 3은 본 발명의 일 양태에 따라 수기 입력의 개인화를 위해 잉크를 수집하는 시스템 컴포넌트의 예시적인 아키텍처를 일반적으로 나타내는 블록도.
도 4는 본 발명의 일 양태에 따라 수기 입력의 개인화를 위해 텍스트를 하비스팅하는 시스템 컴포넌트의 예시적인 아키텍처를 일반적으로 나타내는 블록도.
도 5는 본 발명의 일 양태에 따라 수기 입력의 개인화를 위해 시스템이 취하는 단계의 예를 일반적으로 나타내는 흐름도.
예시적인 운영 환경
도 1은 본 발명이 구현될 수 있는 적절한 컴퓨팅 시스템 환경(100)의 일 예를 나타낸다. 컴퓨팅 시스템 환경(100)은 적절한 컴퓨팅 환경의 단지 일 예로서, 본 발명의 용도 또는 기능의 범위에 대한 임의의 제한을 암시하려는 것은 아니다. 또한, 컴퓨팅 환경(100)은 예시적인 환경(100)에 나타낸 컴포넌트 중 임의의 하나 또는 조합에 관한 임의의 의존성 또는 요건을 갖는 것으로서 해석되어서는 안된다.
본 발명은 수많은 다른 범용 또는 특정 목적 컴퓨팅 시스템 환경 또는 구성으로 동작한다. 본 발명에 사용하기 적합할 수 있는 공지된 컴퓨팅 시스템, 환경, 및/또는 구성의 예는, 개인용 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 장치, 태블릿 장치, 헤드리스 서버(headless server), 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋탑 박스, 프로그래밍가능 소비자 전자제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 및 상기 시스템 또는 장치의 임의의 것을 포함하는 분산 컴퓨팅 환경 등을 포함하지만 이에 한정되는 것은 아니다.
본 발명은, 컴퓨터에 의해 실행되는, 프로그램 모듈과 같은 컴퓨터 실행가능 명령의 일반적인 경우에 대하여 설명할 수 있다. 통상, 프로그램 모듈은 특정 작업을 수행하거나 특정 추상 데이터형을 수행하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 본 발명은 또한 작업이 통신 네트워클 통해 결합되는 원격 처리 장치에 의해 수행되는 분산 컴퓨팅 환경으로 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 포함하는 로컬 및/또는 원격 저장 매체에 배치될 수 있다.
도 1을 참조하면, 본 발명을 구현하는 예시적인 시스템은 컴퓨터(110)의 형태로 범용 컴퓨팅 장치를 포함한다. 컴퓨터(110)의 컴포넌트는, 처리부(120), 시스템 메모리(130), 및 시스템 메모리를 포함하는 다양한 시스템 컴포넌트를 처리부(120)에 결합하는 시스템 버스(121)를 포함하지만 이에 한정되지 않을 수 있다. 시스템 버스(121)는 메모리 버스 또는 메모리 컨트롤러, 주변 버스, 및 다양한 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스를 포함하는 여러 유형의 버스 구조 중 임의의 것일 수 있다. 예를 들면, - 한정이 아님 -, 이러한 아키텍처는 산업 표준 아키텍처(ISA) 버스, 마이크로 채널 아키텍처(MCA) 버스, 개선된 ISA(EISA) 버스, 비디오 전자 표준 협회(VESA) 로컬 버스, 및 메자닌 버스(Mezzanine bus)로도 알려진 주변 컴포넌트 직접접속(PCI)을 포함한다.
컴퓨터(110)는 통상 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(110)에 의해 액세스가능한 임의의 입수가능 매체일 수 있으며, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 포함한다. 예를 들면, - 한 정이 아님 -, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체와 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보의 임의의 방법 또는 스토리지 기술로 구현되는 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 포함한다. 컴퓨터 저장 매체는, RAM, ROM, EEPROM, 플래시 메모리, 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD), 또는 다른 광 디스크 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 저장 장치, 또는 원하는 정보를 저장하는데 사용될 수 있고 컴퓨터(110)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만 이에 한정되지는 않는다. 통신 매체는 통상 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호로 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈 또는 다른 데이터를 구체화하고, 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"라는 용어는 신호 내의 정보를 인코딩하는 방식으로 하나 이상의 특성이 설정 또는 변경되는 신호를 의미한다. 예를 들면, - 한정이 아님 -, 통신 매체는 유선 네트워크, 다이렉트 와이어드 접속과 같은 유선 매체, 및 어쿠스틱, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함한다. 또한, 상기의 것 중 임의의 조합은 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
시스템 메모리(130)는 ROM(131) 및 RAM(132)과 같은 휘발성 메모리 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 시동 동안과 같이 컴퓨터(110) 내의 요소들 간의 정보 전송을 지원하는 기본 루틴을 포함하는 기본 입출력 시스템(BIOS; 133)이 ROM(131)에 저장된다. RAM(132)은 통상 처리부(120)에 즉시 액세스가능하고 및/또는 이에 의해 현재 동작되는 데이터 및/또는 프로그램 모듈을 포함한다. 예를 들면, - 한정이 아님 -, 도 1은 운영 체계(134), 애플리케이션 프로그램(135), 다른 프로그램 모듈(136) 및 프로그램 데이터(137)를 나타낸다.
또한, 컴퓨터(110)는 다른 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 단지 예를 들면, 도 1은 비분리형, 비휘발성 자기 매체로부터 판독하거나 이에 기입하기 위한 하드 디스크 드라이브(141), 분리형, 비휘발성 자기 디스크(152)로부터 판독하거나 이에 기입하기 위한 자기 디스크 드라이브(151), 및 CD-ROM 또는 다른 광 매체와 같은 분리형, 비휘발성 광 디스크(156)로부터 판독하거나 이에 기입하기 위한 광 디스크 드라이브(155)를 나타낸다. 예시적인 운영 환경에서 사용될 수 있는 다른 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래시 메모리 카드, 디지털 다기능 디스크, 디지털 비디오 테이프, 고체 상태 RAM, 고체 상태 ROM 등을 포함하지만 이에 한정되지 않는다. 하드 디스크 드라이브(141)는 통상 인터페이스(140)와 같은 비분리형 메모리 인터페이스를 통해 시스템 버스(121)에 접속되고, 자기 디스크 드라이브(151)와 광 디스크 드라이브(155)는 통상 인터페이스(150)와 같은 분리형 메모리 인터페이스에 의해 시스템 버스(121)에 접속된다.
상술한 도 1에 도시한 드라이브와 이들의 관련 컴퓨터 저장 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈 및 컴퓨터(110)에 대한 다른 데이터의 스토리지를 제공한다. 도 1에서, 예를 들면, 하드 디스크 드라이브(141)는 운영 체계(144), 애플리케이션 프로그램(145), 다른 프로그램 모듈(146), 및 프로그램 데이터(147)를 저장하는 것으로서 도시되어 있다. 이들 컴포넌트는 운영 체계(134), 애플리케이션 프로그램(135), 다른 프로그램 모듈(136), 및 프로그램 데이터(137)와 동일하거나 상이할 수 있다. 운영 체계(144), 애플리케이션 프로그램(145), 다른 프로그램 모듈(146), 및 프로그램 데이터(147)는 최소한 이들이 상이한 복사본임을 나타내기 위해서 여기서 상이한 번호가 부여된다. 사용자는 태블릿, 또는 전자 디지타이저(164), 마이크로폰(163), 키보드(162), 통상 마우스, 트랙볼 또는 터치 패드로 불리는 포인팅 장치(161)와 같은 입력 장치를 통해 컴퓨터(110)에 명령과 정보를 입력한다. 도 1에 도시되지 않은 다른 입력 장치는 조이스틱, 게임 패드, 위성 접시, 스캐너 또는 생체인식 센서, 환경 센서, 위치 센서 또는 다른 유형의 센서를 포함하는 장치 등의 다른 장치를 포함할 수 있다. 이들 및 다른 입력 장치는 종종 시스템 버스에 결합된 사용자 입력 인터페이스(160)를 통해 처리부(120)에 접속되지만, 병렬 포트, 게임 포트, 또는 범용 직렬 버스(USB)와 같은 다른 인터페이스 및 버스 구조에 의해 접속될 수 있다. 모니터(191) 또는 다른 유형의 디스플레이 장치는 또한 비디오 인터페이스(190)와 같은 인터페이스를 통해 시스템 버스(121)에 접속된다. 모니터(191)는 또한 터치 스크린 패널 등과 통합될 수 있다. 모니터 및/또는 터치 스크린 패널은 컴퓨팅 장치(110)가 태블릿형 개인용 컴퓨터에서와 같이 포함되는 하우징에 물리적으로 결합된다. 또한, 컴퓨팅 장치(110)와 같은 컴퓨터는 또한 스피커(195)와 프린터(196)와 같은 다른 주변 출력 장치를 포함할 수 있으며, 이들은 출력 주변 인터페이스(194) 등을 통해 접속될 수 있다.
컴퓨터(110)는 원격 컴퓨팅 장치(180)와 같은 하나 이상의 원격 컴퓨터에 대한 논리적 접속을 사용하여 네트워크 환경에서 동작할 수 있다. 원격 컴퓨팅 장치(180)는 개인용 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 다른 공통 네트워크 노드 등일 수 있으며, 단지 메모리 저장 장치(181)가 도 1에서 도시되어 있지만, 컴퓨터(302)에 대하여 상술하는 다수의 또는 모든 요소를 포함한다. 도 1에 도시한 논리적 접속은 LAN(171)과 WAN(173)을 포함한다. 이러한 네트워킹 환경은 사무실, 범사내망, 컴퓨터 네트워크, 인트라넷, 및 인터넷에 흔한 것이다. LAN 네트워킹 환경에서 사용되는 경우, 컴퓨터(110)는 네트워크 인터페이스 또는 어댑터(170)를 통해 LAN(171)에 접속된다. WAN 네트워킹 환경으로 사용되는 경우, 컴퓨터(110)는 통상 모뎀(172) 또는 WAN(173)을 통해 통신을 설정하는 다른 수단을 포함한다. 모뎀(172)은 내장형 또는 외장형일 수 있으며, 사용자 입력 인터페이스(160) 또는 다른 적절한 메커니즘을 통해 시스템 버스(121)에 접속될 수 있다. 네트워크 환경에서, 컴퓨터(110) 또는 그 일부에 대하여 도시한 프로그램 모듈은 원격 메모리 저장 장치에 저장될 수 있다. 예를 들면, - 한정이 아님 -, 도 1은 메모리 장치(181)에 상주하는 것으로서 원격 애플리케이션 프로그램(185)을 나타낸다. 도시한 네트워크 접속은 예시적이며 컴퓨터 간의 통신 링크를 설정하는 다른 수단이 사용될 수 있음이 이해될 것이다.0
수기 인식의 개인화
본 발명은 수기 인식의 개인화를 위한 시스템 및 방법에 관한 것이다. 이 시스템 및 방법은 사용자에 의해 기입된 잉크와 사용자에 의해 작성된 텍스트를 사 용하여 훈련가능한 인식기를 개인화할 수 있다. 사용자가 기입하는 방식과 사용자가 기입하는 대상에 대하여 인식기를 조절함으로써, 인식기는 사용자의 수기를 인식할 때 보다 정확해질 수 있다. 이를 위해, 본 발명은 인식기를 훈련시키는 사용자 잉크와 작성된 정보를 수집, 저장 및 액세스하는 인터페이스를 구비한 컴포넌트와 프레임워크를 제공한다. 여기서 사용되는 바와 같이, 잉크는 통상 기입된 문자 형상 또는 단어를 의미한다. 훈련가능한 인식기는 명시적으로 또는 묵시적으로 개인화될 수 있다. 여기서 사용되는 바와 같이, 묵시적 개인화는 사용자 제공 텍스트없이 수집된 사용자의 잉크를 사용하여 또는 사용자의 머신으로부터 자동 수집된 텍스트를 사용하여 인식기를 훈련하는 것을 의미한다. 명시적 개인화는 텍스트가 사용자에 의해 공급되어 수집된 사용자의 잉크를 사용하여 인식기를 훈련하는 것을 의미한다.
알 수 있는 바와 같이, 본 발명의 아키텍처는 개인화 서비스 엔진이 사용자의 잉크와 작성된 텍스트를 자동 수집하여 인식을 개인화하기 위한 사용자 데이터의 저장소를 생성할 수 있게 한다. 통상, 여기서 사용된 바와 같은 사용자 데이터는, 사용자에 의해 작성된 텍스트, 사용자의 잉크 및 관련 텍스트, 또는 사용자에 의해 통상 작성된 텍스트를 포함하는, 사용자에 의해 작성된 데이터를 의미하며, 또한 잉크를 캡처한 소스 애플리케이션, 정정 문맥, 문서명 등과 같은 사용자에 의해 작성된 데이터에 대한 문맥 정보를 포함할 수 있다. 또한, 본 발명은 임의의 애플리케이션 또는 실행가능 코드에 대한 인터페이스를 프레임워크에 제공하여 사용자 잉크 또는 작성된 텍스트를 제공하여 인식 정확성을 개선한다. 더욱이, 대응 하는 플러그가능한 훈련기를 제공함으로써, 임의의 훈련가능 인식기는 사용자에 의해 작성된 하비스트 정보와 사용자에 의해 기입된 잉크를 사용하여 동적으로 개인화될 수 있다. 이해될 수 있는 바와 같이, 여기서 설명되는 다양한 블록도, 흐름도, 및 시나리오는 단지 예로서, 본 발명이 적용될 수 있는 많은 다른 시나리오가 있다.
도 2를 참조하면, 수기 인식의 개인화를 위한 시스템 컴포넌트의 예시적인 아키텍처를 일반적으로 나타내는 블록도가 도시되어 있다. 당업자는 도면으로 나타낸 블록 내에서 구현되는 기능이 개별 컴포넌트로서 구현될 수 있으며, 다수 또는 모든 블록의 기능은 단일 컴포넌트 내에 구현될 수 있음을 이해할 것이다. 예를 들면, 개인화 서비스 엔진(210) 내의 하비스팅 서비스 엔진(216)의 기능은 개별 컴포넌트로 구현될 수 있다. 또는, 잉크 뷰어(206)의 기능은 개인화 제어판(294)에 포함될 수 있으며, 또는, 개인화 제어판(204)의 기능은 개인화 마법사(202)에 포함될 수 있다.
도 2에 도시한 개인화 서비스 엔진(210)은 개인화 서비스 인터페이스(212), 잉크 서비스 엔진(214), 하비스팅 서비스 엔진(216), 훈련기 클라이언트로부터 훈련된 데이터를 저장하는 훈련 데이터 엔진(217)을 포함할 수 있다. 개인화 서비스 엔진(210)은 커널 컴포넌트, 애플리케이션 컴포넌트, 연결 라이브러리의 컴포넌트, 객체 등을 포함하는 임의의 실행가능 소프트웨어 코드일 수 있다. 개인화 서비스 인터페이스(212)는 애플리케이션 프로그래밍 인터페이스(API), 객체, 제어 또는 다른 실행가능 코드일 수 있다. 개인화 서비스 인터페이스(212)는 QueryInk 및 EnumerateInk와 같은 호출가능 인터페이스를 포함하여 잉크 데이터베이스(226)로부터 사용자의 잉크를 검색하고 AddInk를 검색하여 잉크 데이터베이스(226)에 사용자의 잉크를 추가함으로써, 사용자의 잉크와 관련 데이터의 추가, 삭제 또는 질의하는 액세스를 제공할 수 있다. 개인화 서비스 인터페이스(212)는 Set 및 Get과 같은 호출가능 인터페이스를 포함하여 레지스트리(230)에/로부터 개인화 설정을 설정하여 획득하는 액세스를 제공할 수 있다. 또한, 개인화 서비스 인터페이스(212)는 데이터를 훈련하는 Train과 같은 호출가능한 인터페이스와 훈련 데이터 데이터베이스로부터 훈련된 데이터를 로딩하는 GetTrainData를 포함함으로써 데이터를 훈련시키고 훈련된 데이터를 로딩하는 액세스를 제공할 수 있다. 잉크 서비스 엔진(214)은 커널 컴포넌트, 애플리케이션 컴포넌트, 연결 라이브러리의 컴포넌트, 객체 등을 포함하는 임의의 실행가능 소프트웨어 코드일 수 있다. 잉크 서비스 엔진(214)은 수집기로부터 잉크를 수신하여 잉크 데이터베이스(226)에서 수집된 잉크를 저장할 수 있다. 하비스팅 서비스 엔진(216)은 커널 컴포넌트, 애플리케이션 컴포넌트, 연결 라이브러리의 컴포넌트, 객체 등을 포함하는 임의의 실행가능 소프트웨어 코드일 수 있다. 하비스팅 서비스 엔진(216)은 사용자에 의해 작성된 텍스트를 수집하고 서비스 데이터베이스(232)에 수집된 텍스트를 저장할 수 있다.
개인화 서비스 엔진(210)은 다양한 애플리케이션, 데이터베이스 및 스토리지 설비, 인식기, 인식기를 위한 훈련기에 동작가능하게 결합될 수 있다. 사용자의 잉크를 저장하는 잉크 데이터베이스(226), 인식기에 의해 사용되는 훈련된 데이터를 저장하는 훈련 데이터 데이터베이스(228), 운영 체계와 프로그램 설정을 저장하 는 레지스트리(230), 언어 정보를 저장하는 하비스팅 서비스 데이터베이스(232), 및 컴퓨터 시스템에 의해 통상 사용되는 디스크 스토리지(236)는 데이터베이스 및 스토리지 설비에 포함될 수 있다.
훈련기는 텍스트 컨텐츠를 사용하여 인식기의 사전을 증대하는 텍스트 훈련기(218)와 사용자에 의해 제공되는 잉크 데이터를 사용하여 일반 인식기 컴포넌트를 조정하는 형상 훈련기(220)를 포함할 수 있다. 또한, 하나 이상의 훈련가능한 인식기(234)가 있을 수 있다. 인식기는 잉크 및 사용자에 의해 작성된 텍스트와 같은 사용자 데이터에 대하여 훈련될 수 있는 능력을 갖는 경우 훈련가능한 인식기일 수 있다. 인식기가 훈련가능한 인식기이고 개인화가 동작하는 경우, 개인화된 인식기는 사용자의 잉크 입력의 인식을 위하여 사용된다. 개인화가 동작하지 않은 경우, 개인화되지 않은 인식기가 사용된다.
다양한 애플리케이션 중에는, 개인화 마법사(202), 개인화 제어판(204), 잉크 뷰어(206), 및 다른 애플리케이션(208)일 수 있다. 개인화 마법사(202)는 사용자로부터 데이터를 명시적으로 수집하고 사용자가 인식기를 훈련할 수 있게 하는 그래픽 사용자 인터페이스를 제공할 수 있는 애플리케이션, 컴포넌트 또는 다른 실행가능 코드일 수 있다. 수집된 데이터는 사용자의 잉크와 함께 번역된 텍스트일 수 있다. 또한, 수집된 데이터는 사용자에 의해 작성된 텍스트로부터의 사용자의 단어일 수 있다. 개인화 마법사(202)는 수집된 데이터를 스토리지를 위한 개인화 서비스 엔진(210)에 제공할 수 있다. 사용자가 개인화 마법사(202)를 떠나는 경우, 이 애플리케이션은 인식기의 훈련을 위해 개인화 서비스 엔진(210)을 요청할 수 있다. 개인화 서비스 엔진(210)은 각 훈련가능 인식기의 훈련기를 차례로 호출하여 수집된 데이터의 언어를 지원할 수 있다.
또한, 사용자는 개인화 제어판(204)에서 인식기의 훈련을 명시적으로 요청할 수 있다. 개인화 제어판(204)은 개인화 서비스 엔진(210)에 의해 제공되는 개별 설정 또는 서비스를 사용자가 온 또는 오프할 수 있게 하는 그래픽 사용자 인터페이스를 제공할 수 있는 애플리케이션, 컴포넌트, 또는 다른 실행가능 코드일 수 있다. 예를 들면, 개인화 제어판(204)은 사용자에 의해 작성된 하비스트 텍스트, 묵시적 개인화, 인식기의 훈련, 및 개인화된 인식을 온 또는 오프할 수 있다. 일 실시예에서, 인식기의 훈련을 오프하면 인식기의 모든 현재 및 추후 훈련을 정지할 수 있지만 잉크 또는 텍스트의 모든 수집이 계속 진행시킬 수 있다. 이는 명시적으로 요청될 때가지 인식기의 훈련의 지연을 허용하는 이점이 있다. 본 실시예에서, 사용자는 훈련이 오프되기 전에 이용가능하게 된 개인화된 인식을 계속 경험할 수 있다. 훈련을 다시 온시킴으로써, 본 실시예는 훈련이 오프될 때까지 이 지점으로부터 훈련을 계속 진행할 수 있게 한다.
사용자는 개인화 제어판(204)을 사용하여 개인화를 오프함으로써 개인화된 인식기의 사용을 선택하지 않을 수 있다. 개인화된 인식을 오프함으로써, 시스템은 개인화 이전에 기본 인식기로 되돌릴 수 있다. 일 실시예에서, 잉크 또는 텍스트의 수집은 개인화된 인식이 오프되는 동안 계속될 수 있다. 본 실시예는 사용자가 개인화를 리셋하거나 정지하지 않고 특정 인식 작업에 대하여 개인화되지 않은 인식기를 일시적으로 사용할 수 있게 한다. 본 실시예에서 개인화된 인식을 다시 온하면, 개인화가 오프된 동안 수집된 모든 데이터로 훈련된 개인화된 인식기를 사용하여 사용자가 개인화된 인식을 경험할 수 있게 한다. 또 다른 실시예에서, 개인화를 오프하면 텍스트 하비스트, 묵시적 개인화, 인식기의 훈련, 및 개인화된 인식기의 사용을 완전히 오프할 수 있다. 본 실시예에서, 시스템은 개인화 이전의 기본 인식기로 되돌릴 수 있다. 또한, 수집되고 훈련된 사용자 데이터는 본 실시예에서 폐기될 수 있다. 개인화를 다시 온하면, 사용자가 기본 인식기의 상태로부터 개인화를 개시할 수 있게 한다.
또한, 잉크 뷰어(206)는 개인화 서비스 엔진(210)에 결합된 다양한 애플리케이션 중에서 포함될 수 있다. 잉크 뷰어(206)는 개인화 제어판(204)의 개별 애플리케이션 또는 컴포넌트일 수 있다. 잉크 뷰어(206)는 사용자가 잉크를 제어, 보기, 검색, 삭제 및 편집하는 그래픽 사용자 인터페이스와 개인화를 위해 저장된 이의 관련 번역 텍스트를 제공한다. 잉크 뷰어(206)는 개인화 서비스 인터페이스(212)를 호출하여 잉크 데이터베이스(226)에 저장된 사용자 잉크와 관련 데이터를 질의, 추가 또는 삭제할 수 있다. 잉크 뷰어는 이에 따라 명시적 개인화를 제공할 수 있다. 개인화 서비스 엔진(210)에 결합된 다른 애플리케이션(208)은 사용자 잉크가 인식될 때마다 사용자의 잉크를 묵시적으로 수집할 수 있다. 태블릿 입력 패널(TIP)은 이러한 애플리케이션의 일 예이다. 사용자는 TIP에 수기를 입력할 수 있으며, 이에 따라, TIP은 인식기(234)에 수기를 전송하고 또한 개인화 서비스 엔진(210)에도 전송할 수 있다. 추가 정보가 또한 개인화 서비스 엔진(210)에 전송되어 사용자 잉크에 대한 추가 정보를 제공할 수 있다. 예를 들면, 추가 정보는, 수집 타임 스탬프, 인식된 텍스트, 정정된 텍스트, 언어, 다른 것이 선택되었는지, 타깃 필드가 텍스트 필드인지, 사용자가 인식된 텍스트를 보고 이를 전송하기 전에 잉크에 대한 텍스트를 정정할 옵션을 갖는지, 잉크가 저장된 경우의 타임 스탬프 등을 포함할 수 있다. 당업자는 사용자의 잉크가 이러한 다른 추가 정보를 포함할 수 있으며 입력으로서 수기를 허용하는 다른 이러한 애플리케이션에 의해 묵시적으로 수집될 수 있음을 이해할 것이다.
도 3은 수기 인식의 개인화를 위해 잉크를 수집하는 시스템 컴포넌트의 예시적인 아키텍처를 일반적으로 나타내는 블록도를 제공한다. 당업자는 도면에 나타낸 블록 내에서 구현된 기능이 개별 컴포넌트로서 구현될 수 있거나 여러 또는 모든 블록의 기능이 단일 컴포넌트 내에서 구현될 수 있음을 이해할 것이다. 예를 들면, 잉크 뷰어(206)의 기능은 개인화 마법사(202)에 포함될 수 있다.
잉크 서비스 엔진(214)은 커널 컴포넌트, 애플리케이션 컴포넌트, 연결 라이브러리의 컴포넌트, 객체 등을 포함하는 임의의 실행가능 소프트웨어 코드일 수 있다. 통상, 잉크 서비스 엔진(214)은 다양한 수집기로부터 잉크를 수신하여 수집된 잉크를 잉크 데이터베이스에 저장할 수 있다. 잉크 서비스 엔진(214)은 잉크 및 관련 데이터를 잉크 데이터베이스(226)에 추가하는 AddInk와 같은 개인화 서비스 인터페이스(212)를 액세스할 수 있다. 잉크 서비스 엔진(214)은 스케줄러(302)를 포함할 수 있다. 잉크 서비스 엔진의 스케줄러(302)는 수집된 잉크에 대한 인식기의 훈련을 스케줄링한다. 이 스케줄러는, 새로운 잉크의 소정 양이 수집될 때마다, 소정 개수의 정정이 발생할 때마다, 또는 임의의 다른 방식으로 타이머를 사용 하여 주기적으로 훈련을 스케줄링할 수 있다. 타이머를 사용하는 경우, 타이머에 대한 설정은 훈련기의 설정 시간에서 레지스트리에 생성되어 얼마나 자주 훈련이 발생하여야 하는지를 나타낼 수 있다.
잉크는, 개인화 마법사(202)에 의해 명시적으로 또는 수기를 입력으로 허용하는 애플리케이션(208)에 의해 묵시적으로 다양한 애플리케이션으로부터 수집될 수 있다. 잉크 뷰어(206)는 잉크 데이터베이스(226)에 저장된 잉크와 이의 관련 텍스트를 편집하여 명시적 개인화를 추가적으로 제공할 수 있다. 개인화 마법사(202)는 사용자에게 소정 문자 분포를 충족하는 텍스트 라인(스크립트)을 잉크할 수 있게 촉구함으로써 사용자 문자 형상 또는 잉크를 수집할 수 있다. 사용자가 종종 사용하는 단어에 대한 잉크와 공통어 단어가 아닌 단어에 대한 잉크(즉, 인명, 상품명, 회사명, 약어 및 축어)는 또한 개인화 마법사(202)에 의해 사용자로부터 명시적으로 수집될 수 있다. 잉크 데이터베이스는 인식된 원래로 리턴되는 텍스트, 정정된 텍스트(이용가능한 경우), 필드 입력 유형(텍스트 필드, 그리기 필드), 가이드, 애플리케이션 유형, 수집된 날짜 및 시간, 언어 유형, 정정할 옵션이 있는지, 사용자가 검증하였는지 등과 같이, 잉크를 구비한 추가 정보를 저장할 수 있다. 이러한 추가 정보는, 번역 텍스트없이 수집되는 잉크에 대하여 특히, 인식기를 훈련하는데 유용할 수 있다.
인식기의 개인화는 사용자로부터 수집된 잉크를 사용하는 훈련 프로세스에 의해 수행될 수 있다. 인식기를 개인화하는 훈련 프로세스는 통상 개별 인식기에 고유하며, 훈련 프로세스는 상이한 인식기에 대하여 동일하거나 동일하지 않을 수 있다. 예를 들면, 하나의 인식기는 상이한 문자 세트를 가지거나 다른 인식기와는 상이한 훈련 코드를 가질 수 있다. 통상, 특정 훈련기는 각 인식기에 대하여 플러그가능한 훈련기 클라이언트(306)로서 제공될 수 있다. 레지스트리(230)는 이의 훈련기 클라이언트(306)를 사용하여 인식기를 매핑하는 개인화 설정을 가질 수 있다.
형상 훈련기(220)는 인식기 내의 일반 인식기 컴포넌트를 조정하여 사용자에 의해 제공되는 데이터를 잉킹(inking)한다. 이는 사용자가 기입하는 방식을 인식할 때 인식기를 보다 정확하게 할 수 있다. 형상 훈련기(220)는 훈련기 관리자(304)와 하나 이상의 플러그가능 훈련기 클라이언트(306)를 포함할 수 있다. 형상 훈련기(220)는 인식기의 훈련을 요청하도록 호출될 수 있는 훈련 인터페이스를 노출할 수 있다. 훈련 인터페이스는 현재 입력 언어에 대한 사용자의 머신에서 이용가능한 모든 훈련가능한 인식기를 열거할 수 있으며, 각 훈련가능 인식기가 이 언어를 지원하는 훈련기 클라이언트(306)를 호출할 수 있다.
단지 하나의 훈련기 관리자(304)만이 있을 수 있다. 훈련기 관리자(304)는 각 인식기의 훈련기 클라이언트와 잉크 서비스 엔진(214) 사이의 얇은 인터페이스 레이어를 제공할 수 있다. 훈련기 관리자(304)는 훈련기 클라이언트(306)가 잉크 및 저장 결과를 열거하기 위해서 잉크 서비스 엔진(214)(또는 개인화 서비스 엔진(210))에 대화할 수 있다.
시스템 상에 설치된 각 인식기는 동적 연결 라이브러리 또는 다른 실행가능 코드일 수 있는 플러그가능 훈련기 클라이언트(306)를 제공할 수 있다. 훈련가능 인식기의 설정 동안, 훈련기 클라이언트는 시스템을 사용하여 등록할 수 있고 이 훈련기 클라이언트(306)를 사용하여 인식기를 매핑하는 훈련기는 레지스트리(230) 내에 저장될 수 있다. 훈련기 관리자(304)는 훈련기 클라이언트(306)가 말할 수 있는 접속 채널을 설정한 후에, 훈련기 클라이언트(306)는 잉크 데이터베이스(226)와 직접 통신할 수 있으며, 모든 이용가능한 잉크를 통해 열거하고, 잉크의 조작을 수행하며, 훈련된 데이터 데이터베이스(228)의 결과를 저장할 수 있다. 결과의 내부 구조는 통상 훈련기 클라이언트와 이의 대응 인식기에 전용이다. 일 실시예에서, 훈련기 클라이언트(306)는 임의의 가능한 열악한 행동이 격리될 수 있고 소거가 용이하게 제어될 수 있도록 그 자신의 프로세스 공간을 실행한다.
호출된 경우, 훈련기 클라이언트(306)는 이용가능한 데이터에 기초하여 이를 훈련할 지를 결정할 수 있다. 훈련기 클라이언트(306)는 충분하지 않은 데이터가 이용가능한 경우 또는 이용가능한 데이터가 훈련이 필요한 특정 기준의 충족을 실패한 경우 훈련시키지 않도록 결정할 수 있다. 훈련이 수행된 경우, 훈련 클라이언트(306)는 훈련된 데이터 데이터베이스(228)에서 훈련 결과를 저장할 수 있다.
사용자가 시스템을 셧 다운하거나 훈련 동안 로그 오프하는 경우, 개인화 서비스 엔진(210)은 훈련이 발생함을 나타내는 통지를 사용자에게 전송할 수 있고 사용자에게 훈련을 지속 또는 중단하도록 제공할 수 있다. 사용자가 훈련을 중단한 경우, 일시 훈련된 데이터가 삭제될 수 있다. 사용자가 로그 온 후에는, 사용자가 개인화 제어판으로부터 훈련을 재개시함을 암시하는 훈련 통지는 사용자에게 디스플레이될 수 있다.
도 4는 수기 인식의 개인화를 위해 텍스트를 하비스팅하는 시스템 컴포넌트의 예시적인 아키텍처를 일반적으로 나타내는 블록도를 제공한다. 당업자는 도면에 나타낸 블록 내에서 구현되는 기능이 개별 컴포넌트로서 구현될 수 있거나 여러 또는 모든 블록의 기능이 단일 컴포넌트 내에서 구현될 수 있음을 이해할 것이다. 일 예로서, 레지스트리 워처(registry watcher; 402)의 기능과 디스크 스캐너(404)의 기능은 동일 컴포넌트로 구현될 수 있다. 통상, 하비스팅 서비스 엔진(216)은 사용자가 기입하여 사용자 머신에서 이용가능한 단어를 수집하고 이들 단어를 사용하여 인식기의 단어를 증가시킨다. 사용자에 대한 언어 모델을 이렇게 조정함으로써, 인식기는 사용자가 무엇을 기입하는지를 인식할 때 보다 정확해질 수 있다. 따라서, 하비스트 문서는 사용자에 의해 작성되는 것이 중요하다.
하비스팅 서비스 엔진(216)은 커널 컴포넌트, 애플리케이션 컴포넌트, 연결 라이브러리 컴포넌트, 및 객체 등을 포함하는 임의의 실행가능 소프트웨어 코드일 수 있다. 하비스팅 서비스 엔진(216)은 애플리케이션 또는 컴포넌트에 의해 하비스트 텍스트에 대한 갱신 메시지의 갱신 메시지 큐를 관리할 수 있으며, 이 갱신으로 하비스팅 서비스 데이터베이스(232)를 갱신할 수 있고, 그 후, 하비스팅 클라이언트(418)에 변화를 통지할 수 있다. 하비스팅 서비스 엔진(216)은 레지스트리 워처(402), 디스크 스캐너(404), 애플리케이션 하비스터(406), 및 클라이언트 핸들러(408)를 포함할 수 있다. 클라이언트 핸들러(408)는 동적 연결 라이브러리 또는 다른 실행가능 코드로서 구현될 수 있고 하비스팅 서비스 데이터베이스(232)에 대한 가장 최근의 변화와 액세스를 모두 등록된 하비스팅 클라이언트에 전송하는데 사용될 수 있다. 레지스트리 워처(402)는 객체로서 구현될 수 있으며 레지스트리(230) 내에서 다양한 리스트에 대한 변화를 감시하는 것을 담당한다. 예를 들면, 레지스트리(230)에 저장된 운영 체계 쉘(shell)과 인터넷 브라우저에 의해 사용되는, URL 리스트 또는 이메일 주소 리스트와 같은 리스트가 있을 수 있다. 일 실시예에서, 개별 컴포넌트는 인터넷 브라우저로부터 직접 URL을 하비스팅할 수 있다. 레지스트리 워처(402)는 이러한 리스트에 대한 임의의 변화를 검출할 수 있고 하비스팅 서비스 데이터베이스(232)를 갱신하는 하비스팅 서비스 엔진(216)에 대한 변화를 제공할 수 있다. 디스크 스캐너(404)는 객체로서 구현될 수 있으며 디스크(236) 상에 저장된 문서의 하비스트를 담당한다. 일 실시예에서, 디스크 스캐너(404)는 ReadDirectoryChangesW와 같은 파일 시스템 API와 같은 인터페이스를 사용하여 디스크 상의 문서 갱신을 경청할 수 있다. 본 실시예에서, 시스템 상의 고정 디스크 드라이브당 하나의 스레드가 있을 수 있으며, 경청 스레드는 각 고정 드라이브가 디스크 상의 파일내 변화를 통지받도록 루트 디렉토리의 ReadDirectoryChangesW를 호출할 수 있다. 디스크 상의 파일내 변화를 통지받은 경우, 경청 스레드는 갱신 메시지를 갱신 메시지 큐에 추가시킨 후 경청 상태로 복귀할 수 있다. 애플리케이션 하비스터(406)는 객체, 동적 연결 라이브러리 또는 다른 실행가능 코드로서 구현될 수 있으며, 애플리케이션 하비스터(406)에 갱신 정보를 전송하는 IHarvest 인터페이스와 같은 인터페이스를 호출하는 애플리케이션으로부터 전송된 텍스트 갱신에 대한 갱신 메시지를 수신할 수 있다. IHarvest 인터페이스는 애플리케이션 프로그래밍 인터페이스(API), 객체, 애플리케이션 하비스터 (406)에 의해 이용가능한 제어 또는 다른 실행가능 코드일 수 있다. 일 예로서, TIP 애플리케이션은 IHarvest 인터페이스를 호출함으로써 인식된 텍스트에 대한 정정과 같은 텍스트 갱신 정보를 애플리케이션 하비스터(406)에 직접 전송할 수 있다. 이러한 구현예는 이러한 정보를 국부적으로 저장할 수 없는 이메일과 같은 애플리케이션에 특히 유용하다.
문서의 하비스트는 사용자 특정되거나 자동적일 수 있는 이점이 있다. 자동 하비스트는 주기적으로 발생할 수 있으며 전체 디스크(236)가 스캔될 때까지 계속할 수 있다. 사용자 특정된 하비스트는 하비스팅할 디렉토리 어레이를 입력으로서 취하는 API와 같은 인터페이스를 사용하여 구현될 수 있다. 인터페이스는 사용자에 의해 특정된 디렉토리의 하비스트를 개시할 수 있는 스레드를 생성할 수 있다. 인터페이스는 스레드가 성공적으로 생성되자마자 호출자에게 리턴될 수 있고 하비스트는 요청에 비동기적으로 발생할 수 있다.
하비스팅 서비스 데이터베이스(232)는 텍스트 데이터베이스(410), 비 텍스트 데이터베이스(412), 및 디스크 문서 데이터베이스(414)를 포함할 수 있다. 디스크 문서 데이터베이스(414)는 최근에 하비스트 문서와, 문서명, 이의 저장 위치 경로, 문서를 하비스팅한 애플리케이션, 문서의 언어, 문서가 하비스팅된 날짜, 문서가 하비스팅된 시간, 문서 접근 횟수, 문서 텍스트의 열거 등과 같이, 여기서 입력 범위(input scope)로 불리는 이 문서에 대한 정보를 저장할 수 있다. 문서 텍스트의 열거는 가변 길이 데이터일 수 있고 가능하게는 매우 클 수 있는 개별 파일에 저장될 수 있다. 일 실시예에서, 소정 개수의 가장 최근에 사용된 하비스팅된 문서가 저장된다. 문서 개수가 소정수를 초과하게 하는 새 문서가 이 실시예에 하비스팅된 경우, 가장 오래된 문서는 텍스트 데이터베이스(410)에 이동될 수 있고 새 문서는 디스크 문서 데이터베이스(414)에 입력될 수 있다. 텍스트 데이터베이스(410)는 모든 하비스팅된 문서와 그 열거된 텍스트를 포함하는 각 문서에 대한 입력 범위 정보를 저장하는 모든 텍스트 정보의 저장소일 수 있다. 일 실시예에서, 텍스트 데이터베이스(410)는 텍스트 데이터의 길이, 텍스트가 하비스팅된 날짜 및 이 항목에 대한 텍스트를 포함하는 일련의 레코드일 수 있다. 비 텍스트 데이터베이스(412)는 텍스트가 아닌 모든 데이터에 대한 저장소일 수 있다. 예를 들면, 비 텍스트 항목은 URL 또는 이메일 주소일 수 있다. 일 실시예에서, 비 텍스트 데이터베이스(412)는 하비스팅된 비 텍스트 항목, 마지막 발생 날짜 및 발생 횟수를 포함하는 일련의 레코드일 수 있다. 이러한 실시예에서, 가장 최근의 갱신 레코드와 하비스팅된 비 텍스트 항목의 모든 레코드에 대한 저장소 파일을 포함하는 소정 크기의 소형 파일일 수 있다. 소형 파일이 채워지는 경우, 저장소는 갱신이 주기적으로만 발생할 수 있도록 소형 파일의 레코드로 갱신될 수 있다.
하비스팅 서비스 엔진(216)은 텍스트 훈련기(218)와 하비스팅 클라이언트 관리자(416)와 통신할 수 있다. 텍스트 훈련기(218)는 객체, 애플리케이션, 동적 연결 라이브러리 또는 다른 실행가능 코드로서 구현될 수 있으며, 하비스팅되어 하비스팅 서비스 데이터베이스(232)에 저장된 텍스트 컨텐츠를 사용하여 인식기의 사전을 증대할 수 있다. 하비스팅 클라이언트 관리자(416)는 객체, 애플리케이션, 동적 연결 라이브러리, 또는 다른 실행가능 코드로서 구현될 수 있으며, 하비스팅 서 비스 엔진(216)과 하비스팅 클라이언트(418) 사이에 인터페이스를 제공할 수 있다. 일 실시예에서, 하비스팅 클라이언트 관리자(416)는 동적 연결 라이브러리로서 구현되는 하비스팅 클라이언트를 로딩할 수 있고, 하비스팅 클라이언트(418)가 하비스트 정보를 열거하고 훈련된 데이터 데이터베이스(228)에 단어 카운트와 같은 결과를 저장하기 위해서 하비스팅 서비스 엔진(216; 또는 클라이언트 핸들러(408))와 통신할 수 있는 접속 채널을 설정할 수 있다. 통상, 하비스팅 클라이언트(418)는 인식기에 이용가능한 하비스팅 서비스 데이터베이스(232)로부터 하비스트 정보를 작성하여 이의 언어 모델을 증대함으로써 인식기를 지원하는 코드일 수 있다. 그러나 당업자는 하비스팅 클라이언트가 음성, 자연어 등과 같은 다른 애플리케이션의 언어 모델을 증대하는데 사용될 수 있다. 하비스팅 클라이언트(418)는 IHarvesterDatabase 인터페이스와 같은 인터페이스를 사용하여 하비스팅 클라이언트(418)가 원할 수 있는 하비스팅된 정보를 열거할 수 있다. 하비스팅 클라이언트(418)는 또한 ILanguageEnum 인터페이스와 같은 인터페이스를 사용하여 특정 언어 유형에 대한 하비스팅된 정보를 얻을 수 있다.
도 5는 수기 인식의 개인화를 위해 시스템이 취하는 예시적인 단계를 일반적으로 나타내는 흐름도이다. 단계 502에서, 사용자의 기입 방식과 사용자의 기입 대상에 대한 데이터가 수집된다. 개인화 서비스 엔진(210)은 사용자 잉크 및 번역 텍스트뿐만 아니라 사용자의 작성된 텍스트와 비 텍스트 항목을 수집할 수 있다. 특히, 잉크 서비스 엔진은 개인화 마법사 또는 다른 애플리케이션으로부터 사용자의 잉크 및 텍스트 번역을 수집할 수 있다. 잉크 서비스 엔진은 또한 수기를 허용 하는 애플리케이션으로부터 사용자 잉크를 수집할 수 있다. 하비스팅 서비스 엔진은 시스템 레지스트리, 디스크 스토리지 또는 애플리케이션으로부터 하비스팅된 텍스트 정보를 수집할 수 있다. 단계 504에서, 수집된 데이터가 저장된다. 개인화 서비스 엔진(210)은 잉크 데이터베이스(226)에 사용자의 잉크를 저장하고 하비스트 텍스트를 하비스팅 서비스 데이터베이스(232)에 저장할 수 있다. 특히, 잉크 서비스 엔진은 잉크 데이터베이스(226)에 수집된 잉크를 저장할 수 있으며, 하비스팅 서비스 엔진(216)은 하비스팅 서비스 데이터베이스(232)에서 하비스팅된 정보를 저장할 수 있다.
단계 506에서, 인식기가 훈련된다. 개인화 서비스 엔진(210)은 수집된 데이터의 언어를 지원하는 각각의 훈련가능 인식기의 훈련기를 호출하여 훈련을 수행할 수 있다. 인식기는 텍스트 번역없이 수집된 사용자의 잉크를 사용함으로써 훈련될 수 있다. 또는, 인식기는 텍스트 번역으로 수집된 사용자의 잉크를 사용함으로써 훈련될 수 있다. 또한, 인식기는 수집되어 저장된 하비스트 정보를 사용하여 훈련될 수 있다. 특히, 형상 훈련기는 수집되고 저장된 잉크를 사용하여 인식기를 훈련하기 위해 호출될 수 있으며, 텍스트 훈련기는 수집되고 저장된 하비스트 정보를 사용하여 인식기의 언어 모델을 훈련하기 위해 호출될 수 있다. 단계 508에서, 훈련기로부터의 데이터는 저장될 수 있으며 인식기에 대하여 이용가능하게 될 수 있다. 단계 510에서, 사용자의 데이터를 사용하여 훈련된 개인화된 인식기는 개인화 설정이 온일 때마다 수기에 사용될 수 있다.
바람직하게는, 이 시스템 및 방법은 사용자에 의해 기입된 잉크와 사용자에 의해 작성된 텍스트를 사용하여 훈련가능한 인식기를 개인화할 수 있다. 사용자의 기입 방식과 사용자의 기입 대상에 대하여 인식기를 조정함으로써, 인식기는 사용자 수기를 인식할 때 보다 정확해질 수 있다. 이 시스템 및 방법은 대응하는 플러그가능 훈련기를 구비한 임의의 훈련가능한 인식기에 대하여 확장가능하다. 더욱이, 이 아키텍처는 사용자가 시스템에 기입하고 텍스트를 작성함에 따라 훈련가능한 인식기의 동적 적응을 지원한다. 이러한 아키텍처는 수기 인식기의 실시예에 대하여 설명하였지만, 형상 및 움직임 인식기와 같이 다른 유형의 인식기에 의해 사용될 수도 있다.
상기 상세한 설명으로부터 알 수 있는 바와 같이, 본 발명은 수기 인식의 개인화를 제공하는 개선된 시스템 및 방법을 제공한다. 본 발명의 아키텍처는 인식기를 훈련하기 위해 사용자 잉크와 작성된 정보를 수집, 저장 및 액세스하는 인터페이스를 구비한 컴포넌트 및 프레임워크를 제공한다. 이 시스템 및 프레임워크는 확장가능하다. 이는 사용자에 의해 생성된 외부 소스를 포함하는 임의의 소스로부터 사용자 데이터를 허용할 수 있다. 또한, 플러그가능한 훈련기를 제공하는 임의의 훈련가능한 인식기로 사용될 수 있다. 이해될 수 있는 바와 같이, 이 시스템 및 방법은 현재의 컴퓨터에 필요한 상당한 이점 및 혜택을 제공한다.
특정 실시예를 도면에 도시하여 상세히 설명하였지만, 본 발명은 다양한 변형 및 다른 구성이 가능하다. 그러나, 이는 개시된 특정 형태에 본 발명을 한정하려는 것은 아니며, 본 발명은 본 발명의 취지 및 범위 내에 해당하는 모든 변형, 다른 구성, 및 균등물을 포함하려는 것임이 이해되어야 한다.

Claims (40)

  1. 수기(handwriting) 인식을 개인화하기 위한 컴퓨터 시스템으로서,
    사용자에 의해 수기된(handwritten) 잉크를 수신하고, 상기 잉크를 잉크 데이터베이스에 저장하는 잉크 서비스 엔진;
    상기 사용자에 의해 작성된 텍스트를 수집하고, 수집된 상기 텍스트를 하비스팅(harvesting) 서비스 데이터베이스에 저장하는 하비스팅 서비스 엔진 - 상기 하비스팅 서비스 데이터베이스는 텍스트 데이터베이스, 비 텍스트 데이터베이스 및 문서 데이터베이스를 포함함 -;
    훈련된 데이터를 훈련된 데이터 데이터베이스에 저장하기 위한 훈련된 데이터 엔진;
    상기 사용자에 의해 작성된 데이터를 사용하여 수기 인식기를 개인화하기 위한 인터페이스들을 갖는 컴포넌트; 및
    상기 컴포넌트에 결합되어, 상기 사용자에 의해 작성된 데이터 및 수집된 잉크를 사용하여 상기 수기 인식기를 훈련하기 위한 훈련기
    를 포함하는 컴퓨터 시스템.
  2. 제1항에 있어서,
    상기 컴포넌트에 결합되어, 상기 사용자에 의해 작성된 데이터를 수신하기 위한 애플리케이션을 더 포함하는 컴퓨터 시스템.
  3. 제2항에 있어서,
    상기 애플리케이션은 개인화 마법사를 포함하는 컴퓨터 시스템.
  4. 제2항에 있어서,
    상기 애플리케이션은 잉크 뷰어를 포함하는 컴퓨터 시스템.
  5. 제2항에 있어서,
    상기 애플리케이션은 텍스트 뷰어를 포함하는 컴퓨터 시스템.
  6. 제1항에 있어서,
    상기 인터페이스들은 잉크 데이터베이스로부터 잉크를 검색(retrieving)하기 위한 인터페이스를 포함하는 컴퓨터 시스템.
  7. 제1항에 있어서,
    상기 인터페이스들은 상기 수집된 잉크를 잉크 데이터베이스에 저장하기 위한 인터페이스를 포함하는 컴퓨터 시스템.
  8. 제1항에 있어서,
    상기 인터페이스들은 하비스팅 서비스 데이터베이스로부터 텍스트를 검색하기 위한 인터페이스를 포함하는 컴퓨터 시스템.
  9. 제1항에 있어서,
    상기 인터페이스들은 하비스팅 서비스 데이터베이스에 텍스트를 저장하기 위한 인터페이스를 포함하는 컴퓨터 시스템.
  10. 제1항에 있어서,
    상기 인터페이스들은 잉크 데이터베이스에 저장된 잉크를 열거하기 위한 인터페이스를 포함하는 컴퓨터 시스템.
  11. 제1항에 있어서,
    상기 인터페이스들은 하비스팅 서비스 데이터베이스에 저장된 텍스트를 열거하기 위한 인터페이스를 포함하는 컴퓨터 시스템.
  12. 제1항에 있어서,
    상기 인터페이스들은 훈련된 데이터를 훈련된 데이터 데이터베이스로부터 로딩하기 위한 인터페이스를 포함하는 컴퓨터 시스템.
  13. 제1항에 있어서,
    상기 인터페이스들은 상기 수기 인식기의 훈련을 요청하기 위한 인터페이스를 포함하는 컴퓨터 시스템.
  14. 제1항에 있어서,
    상기 인터페이스들은 데이터를 상기 컴포넌트에 전송하기 위한 인터페이스를 포함하는 컴퓨터 시스템.
  15. 제1항에 있어서,
    상기 사용자에 의해 작성된 데이터는 텍스트를 포함하는 컴퓨터 시스템.
  16. 제1항에 있어서,
    상기 컴포넌트는 상기 하비스팅 서비스 엔진을 위한 인터페이스를 포함하는 컴퓨터 시스템.
  17. 제1항에 있어서,
    상기 훈련기는 형상 훈련기를 포함하는 컴퓨터 시스템.
  18. 제1항에 있어서,
    상기 훈련기는 텍스트 훈련기를 포함하는 컴퓨터 시스템.
  19. 수기 인식을 개인화하기 위한 방법으로서,
    수기 인식을 개인화하기 위해 사용자에 의해 작성된 데이터를 수집하는 단계 - 상기 데이터는 상기 사용자에 의해 작성된 텍스트 및 컨텍스트 정보를 포함함 -;
    수집된 상기 데이터를 데이터베이스에 저장하는 단계 - 상기 데이터베이스는 텍스트 데이터베이스, 비 텍스트 데이터베이스 및 문서 데이터베이스를 포함함 -;
    상기 사용자에 의해 수기된 잉크를 수집하고, 수집된 상기 잉크를 잉크 데이터베이스에 저장하는 단계;
    저장된 상기 데이터 및 수집된 잉크를 사용하여 수기 인식기를 훈련하는 단계; 및
    훈련된 데이터 데이터베이스에 상기 훈련된 데이터를 저장하는 단계 - 상기 훈련된 데이터는 훈련의 결과들이고, 상기 훈련된 데이터는 상기 수기 인식기에 의해 사용됨 -
    를 포함하는 수기 인식 개인화 방법.
  20. 제19항에 있어서,
    상기 훈련된 데이터를 사용하여 수기를 인식하기 위한 단계를 더 포함하는 수기 인식 개인화 방법.
  21. 제19항에 있어서,
    상기 데이터를 수집하는 단계는 잉크 및 번역 텍스트를 수집하는 단계를 포함하는 수기 인식 개인화 방법.
  22. 제19항에 있어서,
    상기 데이터를 저장하는 단계는 텍스트 및 입력 범위를 저장하는 단계를 포함하는 수기 인식 개인화 방법.
  23. 제19항에 있어서,
    상기 데이터를 저장하는 단계는 이메일 주소를 저장하는 단계를 포함하는 수기 인식 개인화 방법.
  24. 제19항에 있어서,
    상기 데이터를 저장하는 단계는 URL을 저장하는 단계를 포함하는 수기 인식 개인화 방법.
  25. 제19항에 있어서,
    상기 훈련하는 단계는 저장된 상기 데이터를 사용한 훈련을 수행하기 위하여 상기 수집된 데이터의 언어를 지원하는 각각의 훈련가능 수기 인식기에 대하여 훈련기를 호출하는 단계를 포함하는 수기 인식 개인화 방법.
  26. 제25항에 있어서,
    상기 훈련기를 호출하는 단계는 상기 훈련기를 로딩하는 단계를 더 포함하는 수기 인식 개인화 방법.
  27. 제19항에 있어서,
    상기 훈련하는 단계는 인식 동안 상기 수기 인식기의 언어 모델을 갱신하는 단계를 포함하는 수기 인식 개인화 방법.
  28. 제19항에 있어서,
    상기 저장된 데이터를 사용하여 수기 인식기를 훈련하는 단계는 상기 저장된 데이터를 사용하여 복수의 수기 인식기를 훈련하는 단계를 포함하는 수기 인식 개인화 방법.
  29. 제19항의 방법을 수행하는 컴퓨터 실행가능 명령어들이 저장되어 있는 컴퓨터 판독가능 저장 매체.
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
KR1020057012361A 2003-10-24 2004-07-28 수기 인식 개인화 시스템 및 방법 KR101002486B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/693,259 2003-10-24
US10/693,259 US7379596B2 (en) 2003-10-24 2003-10-24 System and method for personalization of handwriting recognition

Publications (2)

Publication Number Publication Date
KR20060114286A KR20060114286A (ko) 2006-11-06
KR101002486B1 true KR101002486B1 (ko) 2010-12-17

Family

ID=34522344

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057012361A KR101002486B1 (ko) 2003-10-24 2004-07-28 수기 인식 개인화 시스템 및 방법

Country Status (6)

Country Link
US (1) US7379596B2 (ko)
EP (1) EP1676186A4 (ko)
JP (1) JP2007509418A (ko)
KR (1) KR101002486B1 (ko)
CN (1) CN100472560C (ko)
WO (1) WO2005045578A2 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7886266B2 (en) * 2006-04-06 2011-02-08 Microsoft Corporation Robust personalization through biased regularization
CN100461205C (zh) * 2007-01-08 2009-02-11 中国民航大学 基于高维空间凸锥构造的手写体文字识别方法
CN101286154B (zh) * 2007-04-09 2016-08-10 谷歌股份有限公司 输入法编辑器用户档案
US20080294652A1 (en) * 2007-05-21 2008-11-27 Microsoft Corporation Personalized Identification Of System Resources
CN100595780C (zh) * 2007-12-13 2010-03-24 中国科学院合肥物质科学研究院 一种基于模块神经网络的手写体数字自动识别方法
US8266078B2 (en) 2009-02-06 2012-09-11 Microsoft Corporation Platform for learning based recognition research
CN101882228A (zh) * 2010-06-25 2010-11-10 宇龙计算机通信科技(深圳)有限公司 一种识别手写轨迹的方法、系统及移动终端
US10235358B2 (en) 2013-02-21 2019-03-19 Microsoft Technology Licensing, Llc Exploiting structured content for unsupervised natural language semantic parsing
WO2015030461A1 (en) 2013-08-26 2015-03-05 Samsung Electronics Co., Ltd. User device and method for creating handwriting content
KR102221223B1 (ko) * 2013-08-26 2021-03-03 삼성전자주식회사 필기 컨텐츠를 작성하는 사용자 기기 및 방법
US10073840B2 (en) 2013-12-20 2018-09-11 Microsoft Technology Licensing, Llc Unsupervised relation detection model training
CN110968246A (zh) * 2018-09-28 2020-04-07 北京搜狗科技发展有限公司 中文智能手写输入识别方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2607457B2 (ja) * 1984-09-17 1997-05-07 株式会社東芝 パターン認識装置
US5550930A (en) * 1991-06-17 1996-08-27 Microsoft Corporation Method and system for training a handwriting recognizer at the time of misrecognition
US5319721A (en) * 1992-04-14 1994-06-07 International Business Machines Corporation Methods and apparatus for evolving a starter set of handwriting prototypes into a user-specific set
US5630168A (en) * 1992-10-27 1997-05-13 Pi Systems Corporation System for utilizing object oriented approach in a portable pen-based data acquisition system by passing digitized data by data type to hierarchically arranged program objects
JPH06223220A (ja) * 1993-01-26 1994-08-12 Hitachi Ltd 手書き文字入力装置
JPH0757040A (ja) * 1993-08-16 1995-03-03 Fujitsu Ltd Ocr付きファイリング装置
US6556712B1 (en) * 1996-05-23 2003-04-29 Apple Computer, Inc. Methods and apparatus for handwriting recognition
JP4267081B2 (ja) * 1997-10-20 2009-05-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 分散システムにおけるパターン認識登録
US6256410B1 (en) * 1998-07-30 2001-07-03 International Business Machines Corp. Methods and apparatus for customizing handwriting models to individual writers
US6484136B1 (en) * 1999-10-21 2002-11-19 International Business Machines Corporation Language model adaptation via network of similar users
JP2001256436A (ja) * 2000-03-08 2001-09-21 Ricoh Co Ltd 文字認識装置、方法、及び記録媒体

Also Published As

Publication number Publication date
US20050089227A1 (en) 2005-04-28
US7379596B2 (en) 2008-05-27
JP2007509418A (ja) 2007-04-12
EP1676186A4 (en) 2011-11-23
CN100472560C (zh) 2009-03-25
KR20060114286A (ko) 2006-11-06
WO2005045578A3 (en) 2006-03-30
CN1802648A (zh) 2006-07-12
WO2005045578A2 (en) 2005-05-19
EP1676186A2 (en) 2006-07-05

Similar Documents

Publication Publication Date Title
CN107111516B (zh) 数字个人助理内的无头任务完成
US8056070B2 (en) System and method for modifying and updating a speech recognition program
CN101373468B (zh) 一种加载词库的方法、字符输入的方法和输入法系统
US20130144618A1 (en) Methods and electronic devices for speech recognition
US11775254B2 (en) Analyzing graphical user interfaces to facilitate automatic interaction
KR101002486B1 (ko) 수기 인식 개인화 시스템 및 방법
CN104485105A (zh) 一种电子病历生成方法和电子病历系统
US11216292B2 (en) Adapting client application of feature phone based on experiment parameters
US20060095266A1 (en) Roaming user profiles for speech recognition
US10713288B2 (en) Natural language content generator
US20220050966A1 (en) Entity resolution for chatbot conversations
US11545144B2 (en) System and method supporting context-specific language model
US5946499A (en) Method and apparatus for processing text inputs from multiple input devices in a plurality of applications
CN110741365A (zh) 用于管理多媒体内容中的加载时间的数据结构查询
US20230169405A1 (en) Updating training examples for artificial intelligence
US7814092B2 (en) Distributed named entity recognition architecture
EP3552114A1 (en) Natural language content generator
US11017073B2 (en) Information processing apparatus, information processing system, and method of processing information
US11468227B1 (en) Inferred event detection and text processing using transparent windows
US7624099B2 (en) Client-server word-breaking framework
CN114556353A (zh) 数据处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131115

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141117

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171117

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181115

Year of fee payment: 9