KR20080030573A

KR20080030573A - 정규화 및 미화/잉크 미화를 위한 잉크 와핑

Info

Publication number: KR20080030573A
Application number: KR1020077030267A
Authority: KR
Inventors: 패트리스 와이. 시마르드; 마니쉬 아그라왈라; 데이비드 더블유. 스테인크라우스
Original assignee: 마이크로소프트 코포레이션
Priority date: 2005-07-01
Filing date: 2006-06-29
Publication date: 2008-04-04
Also published as: WO2007005775A3; WO2007005775A2; RU2007149055A; CN101536012A; AU2006265665A2; BRPI0613132A2; EP1899895A2; NO20080005L; US20070003142A1; JP2009500748A; CA2613715A1; AU2006265665A1; MX2007016570A; US7593574B2

Abstract

태블릿 PC 상에서 또는 필기 문서를 스캔하는 것을 통해 발생될 수 있는 것 등의 디지털적으로 발생된 필기를 정규화(normalize) 및 미화(beautify)하는 것을 용이하게 해주는 시스템 및 방법이 기술되어 있다. 분류기는 디지털 필기(digital handwriting)에서의 극값(extremum)을 식별하고 미리 정의된 카테고리(예를 들어, 아랫선(bottom), 기준선(baseline), 중간선(midline), 윗선(top), 기타,...)에 따라 이러한 극값에 라벨 표시(label)를 할 수 있다. 라벨로 표시된 각자의 대응하는 원하는 점에 맞춰 라벨 표시된 극값을 정렬하기 위해 다중 선형 회귀(multi-linear regression), 다항 회귀(polynomial regression), 기타 등등이 수행될 수 있다. 그에 부가하여, 보는 사람(human viewer)에 의한 판독 및/또는 필기 인식 애플리케이션에 의한 문자 인식을 위한 가독성(legibility)을 최적화하기 위해 회귀된 필기에 변위(displacement) 기술이 적용될 수 있다. 변위 기술은 "고무 막대(rubber rod)" 변위 알고리즘과 함께 "고무 종이(rubber sheet)" 변위 알고리즘을 포함할 수 있으며, 이들 모두는 그의 와핑 동안에 필기의 공간적 특징을 보존할 수 있다.

디지털 필기, 잉크 와핑, 잉크 미화, 정규화, 극값, 다항 회귀

Description

정규화 및 미화/잉크 미화를 위한 잉크 와핑{INK WARPING FOR NORMALIZATION AND BEAUTIFICATION/INK BEAUTIFICATION}

컴퓨터 및 컴퓨터 기반 장치가 전 세계적으로 많은 응용 분야에 필요한 도구가 되었다. 고도의 수학 기능/능력을 포함하는 정교한 워드-프로세싱 애플리케이션 및 계산기와 결합된 키보드로 인해 타이프라이터(typewriter) 및 슬라이드자(slide rule)가 쓸모없게 되었다. 게다가, 한때 데이터를 분석하는 데만 사용되었던 컴퓨터가, 시간의 경과에 따라, 비지니스 응용 분야에서 멀티미디어 엔터테인먼트에 이르는 여러 상황에서 이용되는 다기능, 다목적 기계로 변화되었다. 또한, 이러한 컴퓨팅 메카니즘의 가격이 떨어져, 세계의 많은 부분에 걸쳐 퍼스널 컴퓨터가 없는 곳이 없게 되었다.

컴퓨팅 장치가 계속하여 발달되고 이들의 사용이 더욱 널리 보급됨에 따라, 이러한 장치와 연관된 주변 장치도 역시 흔한 것이 되었다. 예를 들어, 일반적인 컴퓨팅 장치는 복수의 포트(예를 들어, 유선 및 무선)를 포함하며, 주변 장치가 이들 포트에 연결(attach)되어 상기 컴퓨팅 장치와 관련하여 이용될 수 있다. 보다 상세하게는, 연결가능한 주변 장치(attachable peripheral)로는 프린터, 키보드, 휴대용 음악/비디오 플레이어 및 레코더, 카메라, 비디오 카드, 스피커 시스템, PDA(personal digital assistant), 휴대 전화, 스마트 폰, 또는 임의의 다른 적당 한 컴퓨터 주변 장치가 있을 수 있다. 이들 장치는 포트(예를 들어, USB 포트, 프린터 포트,...)를 통해 컴퓨팅 장치에 물리적으로 연결될 수 있거나, 무선 링크를 통해 통신 연결될 수 있다. 주변 장치와 컴퓨팅 장치의 이러한 상호 작용은 사용자 효율성(user efficiency) 측면에서 이러한 컴퓨팅 장치를 더욱 더 가치있게 만들어 주었다. 그에 부가하여, 메모리(상주(resident) 메모리 또는 주변 장치(peripheral) 메모리)의 경우에, 메모리 자원을 할당할 때 유한한 저장 한계가 고려되어야만 한다.

게다가, 컴퓨팅 기술의 최근의 진보는 디지털적으로 필기된 이미지를 발생하는 일을 용이하게 해주는 태블릿 PC 아키텍처를 가능하게 만들어주었다. 그렇지만, 이러한 필기를 문자 인식 컴포넌트 및/또는 사람 판독자로 해석하는 일은 필기의 높은 변동성(variability)에 의해 또 인식 절차 동안에 일어나는 분할 에러(segmentation error)에 의해 방해를 받을 수 있다. 그에 따라, 상기한 결점들을 극복하는 시스템 및/또는 방법에 대한 충족되지 않는 요구가 있다.

이하는 본 발명의 몇몇 측면의 기본적인 이해를 제공하기 위해 본 발명의 간략화된 요약을 제공한다. 이 요약은 본 발명의 전반적인 개요가 아니다. 이 요약은 본 발명의 주요한/중요한 구성요소를 확인하거나 본 발명의 범위를 기술하기 위한 것이 아니다. 그의 유일한 목적은 나중에 제공되는 보다 상세한 설명에 대한 서문으로서 간략화된 형태로 본 발명의 몇몇 개념들을 제공하는 것이다.

본 명세서에 기술되고 청구되는 본 발명은, 그의 한 측면에서, 태블릿 PC 상에서 또는 필기 문서를 스캐닝함으로써 발생될 수 있는 것과 같이, 디지털적으로 발생된 필기 잉크의 특징을 자동적으로 라벨을 추가하는(예를 들어, 분류하는) 시스템을 포함한다. 태블릿 PC로부터의 필기인 경우에, 극값의 초기 식별(initial identification)은 적어도 부분적으로, 예를 들어, 필기의 발생과 연관된 시간 궤적(time trajectory)에 기초할 수 있다. 보다 구체적으로는, 분류자(classifier)는 디지털 잉크에서의 극값(extrema)(예를 들어, 극대(maxima) 및 극소(minima))이 아랫선(bottom line), 기준선(base line), 중간선(midline), 윗선(top line), 또는 어떤 다른 정렬 마커(alignment marker)에 맞춰 정렬되도록 되어 있는지에 따라 이러한 극값에 라벨 표시를 할 수 있다. 그에 부가하여, 라벨은 (예를 들어, 별도의 분류자를 통해) 글자(letter)를 포함할 수 있고, 전체적인 잉크 분류를 개선하기 위해 여러 분류가 결합될 수 있다. 라벨 표시된 극값은 다른 형태의 디지털적으로 발생된 이미지에 대조하여 쓰기(writing)를 확인하는 데, 필기 인식 절차 이전에 사전-처리 동작으로서 필기 잉크 스트로크를 정규화하는 데, 필기 인식 애플리케이션을 작성하는 데, 사람 해석에 대한 가독성(legibility)을 향상시키는 데, 기타 등등에 이용될 수 있다.

관련 측면에 따르면, 가독성 및/또는 인식을 향상시키기 위해 필기를 대응하는 목표 위치로 와핑(warp)하는 데 분류된 극값이 이용될 수 있다. 예를 들어, 판독성(readability)에 중요한 잉크 스트로크 특징들(예를 들어, 상대적 배치, 각도, 곡률,...)을 보존하고 바람직하지 않은 특징들(예를 들어, 꼬임(kink), 곡률 반전(curvature inversion), 원하지 않는 잉크 스트로크의 교차,...)의 유입을 저감시키면서 가독성을 향상시키기 위해 고무 종이 변위 프로토콜(rubber sheet displacement protocol)이 수행되고, 뒤이어서 고무 막대 변위 프로토콜(rubber rod displacement protocol)이 수행될 수 있다.

다른 측면에 따르면, 시스템은 디지털적으로 필기된 문서에 관련된 데이터를 입력으로서 수신하고 디지털적으로 필기된 단어들에서의 극값에 라벨 표시를 하는 분류자 컴포넌트(classifier component), 및 상기 필기된 단어들에서의 극값들(extrema) 간의 오프셋을 평가하여 각자의 극값에 대한 새로운 위치를 결정하고 또 가독성(legibility)을 향상시키기 위해 상기 분류자 라벨에 의해 표시되는 상기 새로운 위치에 맞춰 극값 점들을 정렬하는 다중-선형 회귀를 수행하는 회귀 컴포넌트(regression component)를 포함할 수 있다. 그에 부가하여, 이 시스템은 상기 라벨 표시된 필기를 2차원 격자로 보간하고 또 상기 필기에 대해 고무 종이 변위 기법(rubber sheet displacement technique)을 수행하는 보간 컴포넌트(interpolation component), 및 상기 디지털 필기를 와핑하여 필기 인식 애플리케이션 및/또는 보는 사람에 대한 가독성을 향상시키기 위해 1차원 고무 막대 변위 기법(rubber rod displacement technique)을 수행하는 변위 컴포넌트(displacement component)를 포함할 수 있다.

또다른 측면에서, 가독성을 향상시키고 분할 오류를 감소시키는 방법은, 필기된 단어들의 디지털 잉크 표현에서 극소 및 극대를 분류하는 단계, 극대 및 극소의 원래의 위치와 극대 및 극소 분류와 연관된 원하는 위치 간의 오프셋을 구하는 단계, 및 가독성을 향상시키기 위해 상기 필기된 단어들을 와핑하는 단계를 포함할 수 있다. 상기 필기된 단어들을 와핑하는 단계는 고무 종이 변위 프로토콜 및 그에 뒤이어 오는 고무 막대 변위 프로토콜을 포함할 수 있다.

또다른 측면에서, 디지털 잉크 정규화 시스템은, 필기에서 극값을 식별하는 수단, 식별된 극값을 분류하는 수단, 상기 분류된 극값을 원하는 위치로 와핑하는 수단, 및 상기 필기에서의 개개의 잉크 스트로크와 연관된 곡률, 종횡비 및 각도를 유지하는 수단을 포함할 수 있다. 이와 같이, 가독성을 방해하는 특징들의 유입이 회피될 수 있으면서 가독성을 보존하는 것과 관련된 잉크 특징들이 유지 및 개선될 수 있다.

상기한 목적 및 관련 목적을 달성하기 위해, 본 발명의 어떤 예시적인 측면들이 이하의 설명 및 첨부 도면과 관련하여 본 명세서에 기술되어 있다. 그렇지만, 이들 측면은 본 발명의 원리들이 이용될 수 있는 여러가지 방법들 중 단지 몇개만을 나타낸 것이며, 본 발명은 이러한 측면들 및 그의 등가물 전부를 포함하고자 한다. 본 발명의 다른 이점들 및 신규의 특징들이 도면과 관련하여 살펴볼 때 본 발명의 이하의 상세한 설명으로부터 명백하게 될 것이다.

도 1은 여러가지 측면들에 따른, 분할 에러를 저감시키면서, 태블릿 PC, 기타 등등에서 생성될 수 있는 것과 같은, 디지털적으로 발생된 필기의 잉크 와핑을 용이하게 해주는 시스템을 나타낸 도면.

도 2는 여러가지 측면들에 따른, 디지털 잉크 필기에서 극값을 분류하는 컨볼루션 분류자(convolution classifier)를 나타낸 도면.

도 3은 여러가지 측면들에 따른, 디지털 잉크 필기를 정규화할 때 공액 경사 강하 프로토콜(conjugate gradient descent protocol)을 이용하는 다중-해상도 기법(multi-resolution technique) 이후의 디지털 필기 샘플을 나타낸 도면.

도 4는 원래의 필기 샘플 및 여러가지 정규화 단계들에서의 그 샘플의 복수의 버전을 포함하는 일련의 필기 샘플을 나타낸 도면.

도 5는 미화/정규화(beautification/normalization) 절차에서의 여러가지 단계들에서의 일련의 2-라인 단락 필기 샘플(태블릿 PC 등에서 작성된 것일 수 있음)을 나타낸 도면.

도 6은 필기된 단어의 와핑이 분할 없이 필기 변동성을 최소화할 수 있게 해주기 위해 디지털적으로 잉크된 필기(digitally inked handwriting)에서의 극값을 분류하는 일을 용이하게 해주는 시스템을 나타낸 도면.

도 7은 필기된 단어의 와핑이 분할(segmentation) 없이도 필기 변동성을 최소화할 수 있게 해주기 위해 디지털적으로 잉크된 필기(digitally inked handwriting)에서의 극값을 분류하는 일을 용이하게 해주는 시스템을 나타낸 도면.

도 8은 태블릿 PC 상에서, 스캔된 필기 문서, 기타 등등의 디지털적으로 발생된 필기를 정규화 및 미화하는 방법을 나타낸 도면.

도 9는 본 명세서에 기재된 여러가지 측면들에 따른, 가독성을 향상시키기 위해 디지털 필기를 미화 및 정규화하는 방법을 나타낸 도면.

도 10은 본 명세서에 기술된 여러가지 측면들에 따른, 특수화된 분류자 및 결합 변위 프로토콜(combination displacement protocol)을 이용함으로써 디지털 필기 가독성을 향상시키는 방법을 나타낸 도면.

도 11은 개시된 아키텍처를 실행하는 동작을 하는 컴퓨터의 블록도.

도 12는 본 발명에 따른 예시적인 컴퓨팅 환경의 개략 블록도.

이제부터, 도면 전체에 걸쳐 유사한 구성요소를 참조하는 데 유사한 참조 번호가 사용되고 있는 도면을 참조하여 본 발명에 대해 기술한다. 이하의 설명에서, 설명의 목적상, 본 발명의 완전한 이해를 제공하기 위해 수많은 구체적인 상세가 기재되어 있다. 그렇지만, 이들 구체적인 상세 없이도 본 발명이 실시될 수 있다는 것이 명백할 수 있다. 다른 경우에, 본 발명을 기술하는 일을 용이하게 해주기 위해 공지의 구조 및 장치가 블록도 형태로 도시되어 있다.

본 출원에서 사용되는 바와 같이, "컴포넌트" 및 "시스템"이라는 용어들은 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어 또는 실행 중인 소프트웨어 등의 컴퓨터-관련 개체를 말하기 위한 것이다. 예를 들어, 컴포넌트는 프로세서 상에서 실행 중인 프로세스, 프로세서, 객체, 실행 파일, 실행 쓰레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이에 한정되는 것은 아니다. 예시로서, 서버 상에서 실행 중인 애플리케이션 및 그 서버 둘다는 컴포넌트일 수 있다. 하나 이상의 컴포넌트가 프로세스 및/또는 실행 쓰레드 내에 존재할 수 있고, 컴포넌트가 하나의 컴퓨터 상에 로컬화(localize)되어 있고 및/또는 2개 이상의 컴퓨터 간에 분산되어 있을 수 있다.

본 명세서에 기술된 여러가지 측면들에 따르면, 종래의 필기 인식 방법 및 시스템을 사용하여 달성가능하지 않은 방식으로 분할 에러 및 필기 변동과 관련된 어려움을 최소화하는 일을 용이하게 해주는 시스템 및 방법이 기술되어 있다. 예를 들어, 글자 분할(letter segmentation)을 필요로 하지 않고 잉크 및 필기 변동을 정규화하기 위해 디지털 잉크 필기에서의 극대 및 극소에 라벨 표시를 하는 데 극값 분류자가 발생 및 이용될 수 있다. 종래의 시스템은 종종 히스토그램 투영(histogram projection), 엔트로피 발견적 학습법(entropy heuristics), (예를 들어, 오프-라인 인식 동안) 기타 등등의 경사(slant) 및 기울기(slope)를 제거하는 전처리 단계(preprocessing step)를 포함한다. 다른 시스템들은 큐빅 스플라인(cubic spline), 기타 등등을 사용하여 기준선 및/또는 중간선을 추적한다. 온라인 인식 동안에는, 오프라인 특징을 계산하는 데 기준선 및/또는 중간선 추적도 유용할 수 있으며, 각도 지도(angle map)를 추출하기 위해 라인들을 추적하는 데 평행 2차 곡선(parallel quadratic curve)이 이용될 수 있다. 그렇지만, 종래의 필기 인식 시스템 및/또는 방법은, 높은 정확도에서는 말할 것도 없이, 잉크 필기에서의 극값을 라인(예를 들어, 기준선, 중간선, 기타)에 속하는 것으로 또는 속하지 않는 것으로 식별하지 않는다. 따라서, 이하에 제공되는 여러가지 측면들에 따르면, 글자 분할 없이도 필기 극값이 정확하게 분류될 수 있으며, 분할 및/또는 글자 인식을 필요로 하지 않고 디지털 필기가 정규화 및/또는 미화될 수 있다.

이제 도 1을 참조하면, 여러가지 측면들에 따른, 분할 에러를 저감시키면서 태블릿 PC, 기타 등등에서 생성될 수 있는 것 등의 디지털적으로 발생된 필기의 잉크 와핑을 용이하게 해주는 시스템(100)이 도시되어 있다. 시스템(100)은 디지털 적으로 발생된 잉크 필기(ink writing) 등의 입력을 수신하고 잉크 글자의 국소 극소(local minima)(예를 들어, 아랫선, 기준선, 기타) 및 국소 극대(local maxima)(예를 들어, 중간선, 윗선, 기타)에 라벨 표시를 하는 분류자 컴포넌트(102)를 포함한다. 분류자 컴포넌트(102)에 의해 발생된 정보는, 예를 들어, "고무 막대" 와핑 기법과 관련하여 "고무 종이" 와핑 기법을 적용함으로써 잉크를 정규화하는 데 이용될 수 있다. 기술 분야에 공지된 바와 같이, 공액 경사 알고리즘(conjugate gradient algorithm)을 이용하여 이러한 와핑 기법이 수행될 수 있다. 이와 같이, 종래의 기법으로 인해 종종 일어나는 분할 에러를 저감시키기 위해 글자 인식과 관련하여 잉크 정규화가 수행될 수 있다.

분류자 컴포넌트(102)는 라벨 표시된 디지털 잉크에 관련된 정보(예를 들어, 디지털 필기 데이터에서의 라벨 표시된 극대 및/또는 극소)를 수신할 수 있고 또 필기 환경 내에서 점들을 묘사하기 위해 이용될 수 있는 아랫선(예를 들어, 디센더 라인(descender line)), 기준선, 중간선, 윗선 및/또는 임의의 다른 적당한 마커 라인 간의 상대적 오프셋(relative offset)을 평가하기 위해 다중-라인 회귀 기법(multi-line regression technique)(예를 들어, 다중-선형 회귀, 다항 회귀 또는 기타 비선형 회귀,...)을 수행할 수 있는 회귀 컴포넌트(regression component)(104)에 연결되어 동작한다. 각각의 극대 및 극소에 대한 새로운 원하는 위치를 묘사하기 위해 상대적 오프셋이 이용될 수 있다. 극대 및 극소에 대한 새로운 원하는 위치는 주어진 장소에서의 선택적인 제약들이다. 그렇지만, 잉크가 계속적으로 변형될 수 있고 잉크의 극대와 극소 사이의 장소(들)에 대해 제약들이 보간될 수 있다. 보간 컴포넌트(106)는 회귀 컴포넌트(104)로부터 이러한 정보를 수신할 수 있고 여러가지 보간 기법들 및/또는 제약들을 이용함으로써 2차원(2D) 격자에 대해 오프셋 및/또는 점 변위(point displacement)를 보간할 수 있으며, 이는 제약되지 않은 변위 값들을 제공하는 일을 용이하게 해준다. 예를 들어, 보간 컴포넌트(106)는 "고무 종이"(이하에서 기술함) 또는 "후판(thick-place)" 와핑 제약조건들을 이용할 수 있다. 보간으로 인해 발생되는 디지털 잉크에서의 꼬임 및/또는 곡률이 보간 컴포넌트(106)로부터 보간된 필기 입력을 수신하고 원래의 잉크와 보간된 잉크 간에 곡률 및/또는 압축 제약조건들을 시행하는 변위 컴포넌트(108)를 이용하여 저감될 수 있다. 예를 들어, 변위 컴포넌트는 이러한 제약 조건들을 시행하기 위해 이하에서 기술되는 "고무 막대" 기법을 이용할 수 있다.

분류자 컴포넌트(102)는, 예를 들어, 태블릿 PC, 랩톱, 기타 등등의 펜-지원(pen-enabled) 또는 스타일러스-지원(stylus-enabled) 캡처 장치로부터 획득된 시간 궤적 정보로부터 국소 수직(local vertical) 극소 및 극대를 구할 수 있다. 각각의 극값은 필기 정렬의 최적화를 용이하게 해주기 위해 그의 목표 위치에 대응하는 라벨에 따라 분류될 수 있다. 예를 들어, 극소는 아랫선, 기준선 및 기타 등의 3개의 카테고리로 그룹화될 수 있으며, 여기서 "기타"는 아랫선 또는 기준선 카테고리에 속하지 않는 임의의 극소를 포함하며 정렬 제약 조건에 구속될 필요가 없다. 이와 유사하게, 극대는 중간선, 윗선 및 "기타" 그룹으로 카테고리화될 수 있으며, 여기서 "기타" 그룹도 마찬가지로 정렬 제약 조건을 면제받을 수 있고 중간선 또는 윗선 그룹에 속하지 않는 잉크 극대를 포함할 수 있다. 본 명세서에 제공 된 측면들에 따라 임의의 수의 극소 및/또는 극대 카테고리가 정의될 수 있고 이들 관련 극소 및 극대 카테고리가 각각 3개의 그룹으로 한정되지 않는다는 것을 잘 알 것이다.

극값에 자동적으로 라벨 표시를 하는 일은 아주 다양한 문자 및/또는 필기 스타일을 고려하는 것을 포함한다. 분류에 앞서 데이터에 사전 라벨 표시(pre-label)를 하기 위해, 분류자 컴포넌트(102)에 의해, 예를 들어, 디지털 잉크를 수평으로 투영하고 기준선 및 중간선을 식별하기 위해 히스토그램을 분석함으로써 최초의 라벨 표시가 수행될 수 있다. 시스템(100)의 정확성을 향상시키기 위해, 분류자 컴포넌트(102)는 도 2와 관련하여 보다 상세히 기술되는 문자 분류(character classification)에 이용되는 분류자와 유사한 컨볼루션 분류자를 포함할 수 있다.

여전히 도 1을 참조하면, 분류자 컴포넌트(102)에 의해 카테고리화된 M개의 라벨 표시된 라인(예를 들어, 기준선,...)에 속하는 일련의 점이 주어진 경우, 각각의 점을 그 각자의 목표 라인에 맞춰 정렬하는 최적의 변위를 계산하는 일을 용이하게 해주기 위해 각각의 라인에 대한 오프셋이 회귀 컴포넌트(104)에 의해 평가될 수 있다. 이하에서, 일반성을 잃지 않고 기준선, 중간선, 기타 등등이 직선이고 평행하다고 가정할 수 있지만, 더 복잡한 모델을 가정하고 더 복잡한 대응하는 회귀(예를 들어, 2차(quadratic), 다항(polynomial),...)를 수행하는 것이 가능하다. 이 예에 따르면, 라인(예를 들어, 기준선, 중간선, 기타)은 평행한 것으로 제약되어 있으며, 라인 j에 속하는 각각의 점 (x,y)가 수학식 1을 따르는 경우,

N_j개 점

으로 된 M개 집합체가 주어질 때 a 및 b_j를 구하는 일이 수학식 2를 최소화하는 것에 의해 수행될 수 있도록,

회귀 컴포넌트(104)에 의해 선형 회귀가 수행될 수 있다.

에 대해

의 도함수(derivative)를 설정하면, M+1개 방정식 및 M+1개 변수의 이하의 선형 시스템이 얻어진다.

....

여기서,

및

이고, 그 결과

이 얻어진다.

M개 라인의 수가 변할 수 있다(예를 들어, 하나 이상의 필기 샘플이 어센더(ascender) 및/또는 디센더(descender)를 보이지 않고, ...인 경우). 그에 부가하여, 회귀 컴포넌트(104)는 디지털 필기의 다수의 라인(예를 들어, 단락, 페이지,...)에 대해 동시에 선형 회귀 기법을 수행할 수 있으며, 여기서 텍스트는 다수의 기준선, 중간선, 기타 등등을 갖는다. 게다가, M개 라인의 텍스트 중 어느 것도 2개 이상의 점을 갖지 않는 경우, a = 0이라고 가정할 수 있다. 회귀 컴포넌트가 동작할 수 있는 방식에 관한 이해를 용이하게 해주기 위해 라인 회귀(line regression)의 예시적인 설명이 도 3 및 도 4와 관련하여 이하에 제공된다.

디지털 잉크 필기를 와핑할 때, 단어들 간의 정렬을 복원하기 위해 병진(translation) 및/또는 회전(rotation) 등의 필기된 텍스트의 등거리 변환(isometric transformation)이 처리될 수 있다. 그렇지만, 이러한 변환은 일반적으로 단어 내의 글자들 간의 정렬을 복원하지 않는다. 필기된 단어 내에서 정렬을 복원하기 위해, 글자들이 서로에 대해 이동될 수 있으며, 이로 인해 차례로 디지털 잉크의 모습의 직접적인 변경이 일어날 수 있다. 따라서, 매력적인 시각적 모습을 유지하기 위해, 시스템(100)과 관련하여 3가지 제약 조건, 즉 정렬(alignment) 제약 조건, 공간 특징 보존(spatial feature preservation) 제약 조건, 및 국소 잉크 보존(local ink preservation) 제약 조건이 이용될 수 있다.

정렬 제약 조건은 임의의 변위가 극값을 이 극값이 속하는 라인으로 이동시켜야만 하도록 하고, 그 자체로서 (예를 들어, 극값 위치에 있는) 비교적 적은 점들에 영향을 주며 수직 변위 성분만을 제약한다. 공간 특징 보존 제약 조건은 잉크들 간의 교차 및 거리가 보존되어야만 하도록 한다. 예를 들어, "u"는 "o" 및 "a"와 비슷하도록 닫혀져서는 안된다. 이와 유사하게, 다중-스트로크 문자(예를 들어, "t" 및 악센트가 있는 "e")의 모든 스트로크가 고아 스트로크(orphan stroke)의 발생을 방지하기 위해 함께 이동되어야만 한다. 따라서, 필기된 디지털 잉크는 서로 다른 때에 드로잉되어 연결될 필요가 없는 잉크들을 조절(govern)하는 2D 이미지 제약 조건에 구속받을 수 있다.

국소 잉크 보존 제약 조건은 필기된 텍스트 내의 글자들 및/또는 단어들의 곡률, 각도, 종횡비, 기타 등등을 조절하는 데 이용될 수 있다. 변위 컴포넌 트(108)는 필기의 이러한 측면들을 보존하기 위해 곡률 보존 제약 조건을 이용할 수 있으며, 곡률이 반전되지 않도록 및/또는 와핑 동안에 글자들에 꼬임(kink)이 유입되지 않도록 할 수 있다. 종횡비의 보존은 "d"의 상부 부분의 수직 압축(vertical compression)에 의해 "d"가 "a"로 변환되지 않도록 하는 일종의 압축성 제약 조건(compressibility constraint)이다. 마지막으로, 각도 보존 제약 조건은 "t" 교차점(crossing), 악센트 표시, 기타 등등의 분리된 스트로크의 경사 및 각도가 보존되도록 할 수 있다. 각도 제약 조건은 악센트, 글자, 기타 등등의 전체적인 각도 및/또는 경사에 영향을 주도록 국소적으로 시행될 수 있다. 일반적으로, 국소 잉크 보존 제약 조건은 원래의 잉크 필기와 변환된 잉크 필기 간의 와핑 동안에 버퍼를 제공하는 일을 용잉하게 해줄 수 있다.

전술한 바와 같이, 보간 컴포넌트(106)는 와핑을 위해 디지털 잉크 점들을 2D 격자로 보간하기 위해 고무 종이 최적화 기법을 이용할 수 있다. 이러한 기법을 이용할 때, 정렬 제약 조건 및 공간 특징 보존 제약 조건은 동시에 최적화될 수 있다. 변위는 각각의 점 (i,j)에서의 u 성분 및 v 성분을 나타내는

로 기술될 수 있으며, 따라서 v 성분은 J 내의 잉크 극값 위치에서의 고정된 값으로 제약된다.

이는 소프트 제약 조건(soft constraint)으로 고쳐쓸 수 있으며, 따라서 수 학식 9로 된다.

수평 성분 u은 제약되지 않을 수 있으며, 따라서

이다. 공간 특징 보존 제약 조건은 변위장(displacement field)의 1차 및 2차 도함수를 최소화하는 것에 의해 시행될 때 매끄러운 변위(smooth displacement)를 필요로 할 수 있다. 예를 들어, 1차 도함수의 최소화는 수학식 10으로 표현될 수 있다.

2차 도함수의 최소화는 수학식 11로 표현될 수 있다.

2차 도함수 제약 조건은 변위장의 u 성분 및 v 성분 둘다에 적용될 수 있으며, 따라서

이다. 박막 모델(membrane model)이

및

을 최소화할 수 있는 반면, 박판 모델(thid plate model)은

및

를 최소화할 수 있다. 그에 부가하여, 제약 조건

,

및

, 그리고

,

및

가 독립적인 제약 조건이라는 것을 잘 알 것이다. 따라서, u = 0일 때,

,

및

가 최소화되고, 그 다음 최소화는 수학식 12에 대해 수행될 수 있다.

여기서,

,

, 및

는 최소화되는 에러에 대한 가중 인자이다. 하드 제약 조건(hard constraint)이 이용될 때,

이고

이다. 수학식 12이 v에 대해 선형적이기 때문에, 이는 다중-해상도 접근 방법으로 공액 경사 강하(conjugate gradient descent)를 사용하여 풀 수 있다. 이러한 프로토콜을 이용한 결과가 도 3과 관련하여 설명된다.

각도, 종횡비, 및 곡률에 관한 제3 제약 조건(들)을 시행할 때, 새로운 잉크 궤적과 원래의 잉크 사이에 국소 제약 조건이 적용될 수 있다. 예를 들어, x(t) 및 y(t)가 고무 종이 보간이 행해진 필기의 잉크 궤적을 따라 있는 점들의 좌표라고 하자. 그에 부가하여,

및

가 목표점(target point)(J 상의 점들의 부분 집합에 대해 잉크가 이 목표점을 통과하도록 요망됨)이라고 하자. 그러면, 목표 제약 조건은 수학식 13으로 쓰여질 수 있다.

전술한 바와 같이, 고무 종이 보간은 필기 디지털 잉크에 꼬임 및/또는 곡률 변경을 야기할 수 있다. 그에 따라, 와핑 동안에 필기의 이러한 원하지 않는 변형을 방지하는 제약 조건이 선택 및/또는 도입될 수 있으며, 이 제약 조건은 변위된 곡선의 곡률 x(t),y(t)을 원래의 곡선의 곡률 X(t),Y(t)에 연계시킨다. 이 제약 조건은 경사 강하 기법을 사용하여 최적화될 수 있고, 최적화의 파라미터 공간에 불필요하게 큰 고유값을 야기할 수 있는 임의적으로 큰 경사를 발생하지 않도록 설계될 수 있다. 예를 들어, 곡률 x(t),y(t)에 대한 종래의 곡률 정의는 수학식 14로 표현될 수 있다.

상기한 곡률 정의는 직선에 대한 0부터 급격한 방향 반전에 대한 임의적으로 큰 값까지 변할 수 있다. 게다가, 이러한 정의는 경사 강하 기법을 사용하여 최적화될 때 불안정하다. 따라서, 필기 곡률의 정의 및 최적화를 용이하게 해주기 위해 본 명세서에 기술되는 여러가지 측면들에 따라 이하의 제약 조건이 설계 및 최적화된다.

여기서,

는 곡선 x(t),y(t) 상의 3개의 연속적인 점들 간의 각도로서 정의되고,

는 곡선 X(t),Y(t) 상의 3개의 연속적인 점들 간의 각도로서 정의된다. 그에 부가하여, 상기 정의의 최적화를 용이하게 해주기 위해 중복된 연속적인 점들이 배제될 수 있다. x(t) 및 y(t)에 대한

의 도함수는 최적화를 용이하게 해주기 위해 모든 곳에서 제한될 수 있다.

연속적인 점들 간의 바람직하지 않게 큰 거리 편차를 감소시키기 위해, 수학식 16이 되도록 잉크 궤적을 따라 부가적인 제약 조건이 시행될 수 있다.

여기서,

및

는 각각 곡선 x(t),y(t) 및 X(t),Y(t) 상의 2개의 연속적인 점들 간의 거리로서 정의된다. 양 제약 조건(예를 들어, 수학식 15 및 16)이 완전히 만족될 때, 잉크 부분 및/또는 세그먼트가 여전히 회전될 수 있다.

나머지 제약 조건들이 시행되는 방식과 비교할 때 비교적 완화되어 있는 방식으로 필기 내의 곡선들의 절대 각도에 대해 "각도" 제약 조건이 시행될 수 있다. 각도 제약 조건은 t-교차점, 악센트 표시, 기타 등등의 그렇지 않았으면 제어되지 않는 잉크들을 다음과 같이 조절한다.

여기서,

는 곡선 x(t),y(t) 상의 2개의 연속적인 점들 간의 각도로서 정의되고,

는 곡선 X(t),Y(t) 상의 2개의 연속적인 점들 간의 각도로서 정의된다. 마지막으로, 수학식 18이 되도록 최적화가 수행될 수 있다.

고무 종이 최적화와는 반대로, E_R은 x 및 y에 대해 아주 비선형적이고 다수의 국소 극소를 보여줄 수 있다. 고무 막대 기법은, 극점을 그의 원하는 위치로 대응하는 라인을 따라 와핑하기 위해, 사전-형성된 "고무 막대"(예를 들어, 조정가능한 선형 크기)를 따라 있는 잉크의 극점을 변위시킨다. 이하에서 도 3 및 도 4와 관련하여 알 수 있는 바와 같이, 필기된 디지털 잉크의 원하는 정규화 및 미화를 달성하는 일을 용이하게 해주기 위해 보간 컴포넌트(106) 및 변위 컴포넌트(108)에 의해 고무 종이 변위 기법과 고무 막대 변위 기법의 조합이 수행될 수 있으면서 각각의 기법이 상대방의 바람직하지 않은 부작용을 완화시킨다.

이제 도 2를 참조하면, 여러가지 측면들에 따라 디지털 잉크 필기에서의 극값을 분류하는 컨볼루션 분류자(200)가 도시되어 있다. 이 분류자(200)는, 태블릿 PC, 기타 등등과 관련하여 발생될 수 있는 것 등의, 디지털 필기를 포함하는 픽셀 이미지(202)의 입력을 수신할 수 있다. 예를 들어, 이러한 이미지(202)는 분류될 극값에 중심이 있는 45x85 픽셀 이미지일 수 있다. 이 경우에, 분류될 극값은 이미지(202)에서 단어 "test" 내의 글자 "s"의 꼭대기에 있는 중간선 지점이다. 이미지(202) 내에 제공된 십자선는 입력의 일부가 아니라 분류되는 극점을 더 명확히 가리키기 위해 이미지(202) 내에 제공된 것이다. 실선 화살표로 나타낸 바와 같이, 2개의 가중치 계층(204, 206)이 5x5 서브샘플링된 컨볼루션 커널로 나타내어져 있다. 이 예에 따르면, 제1 컨볼루션 계층(212)이 50개 특징을 갖는 반면, 제2 컨볼루션 계층(214)은 5개 특징을 포함한다. 제3 계층(216)은 100개의 단위를 포함하고, 완전히 연결(fully connected)되어 있다. 분류자(200)는 5개의 단위(예를 들어, 아랫선, 기준선, 기타, 중간선, 및 윗선의 각각의 라벨에 대해 하나씩)를 출력할 수 있으며, 당업자라면 잘 알고 있는 바와 같이, 예를 들어, 교차-엔트로피 기법(cross-entropy technique)으로 훈련될 수 있다.

종래의 컨볼루션 분류자는, 단독으로 이용될 때, 에러가 발생하기 쉬울 수 있으며, 라벨러(labeler)가 모호한 극값에 동의하지 않을 수 있다. 예를 들어, 일례에 따르면, 디지털 잉크로 필기된 대략 10,000개 단어의 데이터베이스가 컨볼루션 분류자에 의해 라벨 표시될 수 있다. 데이터베이스 내의 단어들은 5 글자의 평균 길이 및 단어당 평균 4개의 극값을 가질 수 있다. 글자 "f"의 아랫선은 필기에 따라 기준선 극값, 아랫선 극값(예를 들어, 디센더,...), 2개의 극값 사이, 기타일 수 있다는 점에서 모호하기 쉬운 극값(ambiguity-prone extrema)의 일례를 나타낸 다. 이와 유사하게, 필기체 "e"는 아마도 기준선 또는 "기타"일 수 있다. 이하의 표 1은 대략 10,000 단어에 대해 훈련되고 500 이상의 단어로 된 서로 다른 부분 집합에 대해 테스트된 분류자에 기초한 에러 데이터를 나타낸 것이다.

컨볼루션 신경망 및 히스토그램 투영에 대한 MinMax 에러율

라벨	일례	신경망	신경망(harm.)
기타	3466	19%	19%
어센더	843	29%	14%
중간선	2276	17%	4%
기준선	3198	7%	0%
디센더	175	15%	10%
총계:	9958	16%	9%

컨볼루션 신경망 분류자 및 히스토그램 투영에 대한 극대 및 극소 에러율이 표 1에 제공되어 있다. 각각의 라인에서, 에러 퍼센트는 주어진 카테고리에 대한 에러의 수를 나타낸다. "신경망(harm.)" 열은 가장 해로운 에러를 나타낸다. "기타" 분류가 정규화/미화 알고리즘에 의해 영향받을 필요가 없기 때문에 극값을 "기타"로 오분류(misclassification)하는 것이 다른 유형의 에러보다 덜 해롭지만, "기타" 극값을 그 밖의 어떤 것으로 오분류하는 것은 해로울 수 있다. 그렇지만, 애매모호한 극값의 발생에도 불구하고, 본 시스템 및 방법은 84%를 넘는 정확도로 극값을 분류할 수 있다.

도 3은, 여러가지 측면들에 따라, 디지털 잉크 필기를 정규화할 때, 다중-해상도 기법이 공액 경사 강하 프로토콜을 이용하여 수학식 12를 푼 후의 디지털 필기 샘플(300)을 나타낸 것이다. 다양한 필기 스타일 및/또는 변동을 보상하기 위해 필요에 따라 정규화를 수행하기 위한 임계값 파라미터가 조정될 수 있다. 샘플(300)은 상기한 시스템(100)에 입력될 수 있는 것 등의 원래의 필기를 나타낸 첫번째 라인(302)을 포함한다. 두번째 라인(304)은 고무 종이 변위/보간 기법이 수행된 후의 필기 샘플을 나타낸 것이며, 여기서

,

, 및

이다. 도시된 바와 같이, 목표 제약 조건(예를 들어, 정렬 제약 조건 및 공간 특징 보존 제약 조건)을 만족시키는 데 2D 고무 종이 변위가 효과적이며, "architect" 내의 "t"에서의 교차점 등의 필기 잉크의 여러가지 부분들 간의 특수 관계를 보존한다. 그렇지만, 유의할 점은 첫번째 "c"가 납작하게 되어 있고 "s"가 꼬여져 있으며, t-교차점의 경사가 해로울 정도로 영향을 받고 있다는 것이다.

샘플(300)의 세번째 라인(306)은, 도 1과 관련하여 상기한 바와 같은 1차원(1D) 고무 막대 변위 기법이 적용된 필기 입력(예를 들어, 라인(302) 등)을 나타낸 것이다. 이 특정의 예에서,

및

이다. 고무 막대 기법은 필기된 라인(306)에서의 잉크 부분들 간의 2D 공간적 관계를 보존하지 않는다. 예를 들어, 첫번째 "a"는 자신과 교차하고, 이러한 일이 원래의 필기 라인(302)에는 존재하지 않는다. 그에 부가하여, t-교차점이 포기되고 더 이상 그 각자의 "t"와 교차하지 않는다. 따라서, 2D 고무 종이 보간 기법 및 1D 고무 막대 변위 기법이 개별적인 단점을 갖는다는 것을 알 수 있다. 그렇지만, 네번째 필기 라인(308)으로 나타낸 바와 같이, 단일의 디지털 잉크 필기 입력에 대해 원하는 제약 조건 전부를 시행하기 위해 2가지 기법을 동시에 이용(예를 들어, 상기한 동일한 파라미터를 사용)함으로써 각자의 단점이 완화될 수 있다.

도 4는 원래의 필기 샘플과 여러가지 정규화 단계들에서의 그 샘플의 복수의 버전을 포함하는 일련의 필기 샘플(400)을 나타낸 것이다. 원래의 필기 샘플(402)은 정규화를 필요로 하는 복수의 잉크 부분을 갖는 단어 "areas"를 포함하고 회귀 라인(regression line)(예를 들어, 실선으로 된 기본선 및 점선으로 된 중간선)을 나타내고 있다. 샘플(404)은 단지 고무 종이 보간 기법만이 행해진 이후의 필기 샘플의 일례이며, 여기서

및

이다. 유의할 점은 두번째 "a" 상의 및/또는 그 근방의 2개의 점이 바람직하지 않게도 기준선 상에 압축되어, 해로울 정도로 부자연스러운 효과를 야기한다는 것이다. 이와 유사하게, 샘플(406)은 단지 고무 막대 변위 기법만을 적용한 필기의 일례이며, 여기서

및

이다. 잘 알 것인 바와 같이, 첫번째 "a"는 그 자신과 교차하고 있는 반면, 두번째 "a"는 과장된 첫번째 루프를 보여주고 있으며, "s"는 원하는 바에 따라 기준선으로 변위되어 있지 않다. 이러한 변형은 심미적으로 바람직하지 않을 뿐만 아니라 필기된 단어를 적절히 해석하지 못하게 문자 인식 시스템을 방해할 수 있다.

샘플(404)로 나타낸 바와 같은 고무 종이 보간의 바람직하지 않은 효과를 저감시키기 위해, 그 샘플에 후속하여 고무 막대 변위 기법을 적용함으로써 강성(rigidity)이 시행될 수 있다. 예를 들어, 고무 종이 변형이 계산될 수 있고 새로운 X(t),Y(t) 목표 궤적을 계산하기 위해 대응하는 변위가 적용될 수 있다. 목표 궤적은 고무 막대 제약 조건의

의 목표일 수 있고(단, J가 모든 점들을 포함함), 이어서

가 최적화될 수 있다. 샘플(408)은 고무 종이 보간에 뒤이어서 고무 막대 변위 기법이 적용된 디지털 필기의 일례를 나타낸 것이다.

도 5는 미화/정규화 절차의 여러가지 단계들에서, 태블릿 PC 상에서 작성될 수 있는 것 등의, 일련의 2-라인 단락 필기 샘플(500)을 나타낸 것이다. 첫번째 샘플(502)은 비교를 위해 어떤 조작도 하기 이전의 원래의 잉크를 나타낸 것이다. 두번째 샘플(504)은 기준선 및 중간선의 와핑 이후의 원래의 잉크를 나타낸 것이다. 극소 및 극대에는 도 2와 관련하여 기술된 분류자로 라벨 표시되어 있다. "기타", "아랫선" 및 "윗선"으로 라벨 표시된 극소 및 극대는 와핑을 제약하지 않는다. "His"의 "i" 상의 점(dot)이 분류자에 의해 중간선으로 잘못 라벨 표시되어, 바람직하지 않은 와핑을 야기하였다. 샘플(506)은 수동 라벨 표시(manual labeling)에 있어서 잉크에 대한 어파인 변환(affine transform)의 효과(예를 들어, 와핑 없음)를 나타낸 것이다. 수동 라벨 표시와 관련한 와핑의 효과는 샘플(508)에서 볼 수 있으며, 이 샘플(508)은 본 명세서에 기술된 분류자를 사용하여 획득될 수 있는 결과를 나타낸 것이다. 샘플(506, 508)은 회전 및 병진 변위를 제외하고는 잉크를 그대로 놔두는 어파인 변환과 와핑 간의 차이를 나타내기 위해 제공된 것이다.

도 6은 필기된 단어의 와핑이 분할(segmentation) 없이도 필기 변동성(handwriting variability)을 최소화할 수 있게 해주기 위해 디지털적으로 잉크된 필기(digitally inked handwriting)에서의 극값을 분류하는 일을 용이하게 해주는 시스템(600)을 나타낸 것이다. 시스템(600)은 태블릿 PC, 기타 등등에서 발생될 수 있는 디지털적으로 발생된 잉크 필기 등의 입력을 수신하고 잉크 글자들의 국소 극소(예를 들어, 아랫선, 기준선, 기타) 및 국소 극대(예를 들어, 중간선, 윗선, 기타)에 라벨 표시를 할 수 있는 분류자 컴포넌트(602)를 포함한다. 분류자 컴포넌트(602)에 의해 발생된 정보는, 이상에서 상세히 기술한 바와 같이, 예를 들어, "고무 막대" 와핑 기법과 관련하여 "고무 종이" 와핑 기법을 적용함으로써 잉크를 정규화하는 데 이용될 수 있다.

분류자 컴포넌트(602)는 라벨 표시된 디지털 잉크에 관련된 정보(예를 들어, 디지털 필기 데이터에서의 라벨 표시된 극대 및/또는 극소)를 수신할 수 있고 또 아랫선(예를 들어, 디센더 라인), 기준선, 중간선, 윗선, 및/또는 필기 샘플이나 입력 내의 점들을 묘사하는 데 이용될 수 있는 임의의 다른 적당한 마커 라인 간의 상대적 오프셋을 평가하기 위해 다중-라인 회귀 기법을 수행할 수 있는 회귀 컴포넌트(604)에 연결되어 동작한다. 각각의 극대 및 극소에 대한 새로운 원하는 위치를 묘사하기 위해 상대적 오프셋이 이용될 수 있다. 보간 컴포넌트(606)는 회귀 컴포넌트(604)로부터 오프셋 정보를 수신할 수 있고, 여러가지 보간 기법들 및/또는 제약 조건들을 이용함으로써 오프셋 및/또는 점 변위를 2차원(2D) 격자로 보간할 수 있다.

예를 들어, 한 측면에 따르면, 보간 컴포넌트(606)는 "고무 종이"(도 1과 관련하여 앞서 기술됨) 와핑 제약 조건들을 이용할 수 있다. 변위 컴포넌트(608)는 보간의 결과 생기는 디지털 잉크에서의 바람직하지 않은 잉크 및/또는 곡률을 저감할 수 있으며, 이 변위 컴포넌트(608)는 보간 컴포넌트(606)로부터 보간된 필기 데이터를 수신하고 원래의 잉크와 보간된 잉크 간에 곡률 및/또는 압축 제약 조건을 시행한다. 예를 들어, 변위 컴포넌트(608)는 이러한 제약 조건들을 시행하기 위해 도 1과 관련하여 전술한 "고무 막대" 기법을 이용할 수 있다.

시스템(600)은 그에 부가하여 분류자 컴포넌트(602), 회귀 컴포넌트(604), 보간 컴포넌트(606) 및/또는 변위 컴포넌트(608) 중 하나 이상에 연결되어 동작하고 또 극값 라벨 표시에 관련된 정보, 보간 및/또는 변위 알고리즘, 극값 분류 알고리즘, 및 디지털 필기 환경에서 잉크 정규화/미화를 제공하는 것과 관련된 임의의 다른 적당한 정보를 저장하는 메모리(610)를 포함할 수 있다. 프로세서(612)는 잉크 정규화, 미화, 극값 분류, 회귀, 보간, 변위, 기타 등등에 관련된 정보의 분석을 용이하게 해주기 위해 시스템(600)의 하나 이상의 컴포넌트(602, 604, 606 및/또는 608)(및/또는 메모리(610))에 연결되어 동작할 수 있다. 프로세서(612)가 분류자 컴포넌트(602)(및/또는 시스템(600)의 다른 컴포넌트들)에 의해 수신되는 정보를 분석 및/또는 발생하는 일에 전용되어 있는 프로세서, 시스템(600)의 하나 이상의 컴포넌트를 제어하는 프로세서, 및/또는 분류 컴포넌트(602)(및/또는 시스템(600)의 다른 컴포넌트들)에 의해 수신되는 정보의 분석 및 발생 둘다를 행하고 시스템(600)의 하나 이상의 컴포넌트를 제어하는 프로세서일 수 있다는 것을 잘 알 것이다.

메모리(610)는 그에 부가하여 극값 분류(extrema classification)를 발생하는 것, 보간 및/또는 변위 기법(예를 들어, 고무 종이, 고무 막대,...), 기타 등등과 연관되어 있는 프로토콜을 저장할 수 있으며, 그에 따라 시스템(600)은, 본 명세서에 기술한 바와 같이, 디지털 필기에서의 변동을 완화시키는 것을 용이하게 해주어 텍스트 인식, 기타 등등을 향상시키기 위해, 저장된 프로토콜 및/또는 알고리즘을 이용하여 잉크 정규화 및 미화를 달성할 수 있다. 본 명세서에 기술된 데이터 저장소(예를 들어, 메모리) 컴포넌트가 휘발성 메모리 또는 비휘발성 메모리일 수 있거나 휘발성 메모리 및 비휘발성 메모리 둘다를 포함할 수 있다는 것을 잘 알 것이다. 제한이 아닌 예시로서, 비휘발성 메모리는 판독 전용 메모리(ROM), 프로그램가능 ROM(PROM), 전기적 프로그램가능 ROM(EPROM), 전기적 소거가능 ROM(EEPROM), 또는 플래쉬 메모리를 포함할 수 있다. 휘발성 메모리는 외부 캐쉬 메모리로서 동작하는 랜덤 액세스 메모리(RAM)을 포함할 수 있다. 제한이 아닌 예시로서, RAM은 동기 RAM(SRAM), 동적 RAM(DRAM), 동기 DRAM(SDRAM), 더블 데이터 레이트 SDRAM(DDR SDRAM), ESDRAM(enhanced SDRAM), SLDRAM(Synchlink DRAM) 및 DRRAM(direct Rambus RAM) 등의 많은 형태로 이용가능하다. 본 시스템 및 방법의 메모리(610)는 이들 및 임의의 다른 적당한 유형의 메모리를 포함하기 위한 것이며, 그에 한정되지 않는다.

도 7은 필기된 단어의 와핑이 분할 없이도 필기 변동성을 최소화할 수 있게 하기 위해 디지털적으로 잉크된 필기에서의 극값을 분류하는 일을 용이하게 해주는 시스템(700)을 나타낸 것이다. 시스템(700)은 디지털적으로 잉크된 필기 등의 입력을 수신하고 그 안의 극값에 라벨 표시(예를 들어, 아랫선, 기준선, 중간선, 윗선, 기타, 등등)를 하는 분류자 컴포넌트(702), 및 분류자 컴포넌트(702)로부터 정보를 수신하고 이러한 정보를 분석하여 다중-라인 회귀 기법을 통해 필기에서의 상대적 오프셋을 구하는 회귀 컴포넌트(704)를 포함한다. 보간 컴포넌트(706)는 도 1과 관련하여 기술된 고무 종이 기법 등의 보간 기법을 필기에 대해 수행하기 위해 회귀 컴포넌트(704)와 연관되어 동작한다. 고무 종이 기법의 완료 시에, 변위 컴포넌트(708)는 고무 종이 기법에 의해 야기되는 바람직하지 않은 변형을 감소시키고 강성 제약 조건을 시행하기 위해 고무 막대 기법을 이용할 수 있으며, 이들도 역시 도 1과 관련하여 기술되었다.

시스템(700)은 그에 부가하여 도 6과 관련하여 이상에서 상세히 기술한 바와 같은 메모리(710) 및 프로세서(712)를 포함할 수 있다. 게다가, AI 컴포넌트(714)는 분류자 컴포넌트(702), 회귀 컴포넌트(704), 보간 컴포넌트(706) 및/또는 변위 컴포넌트(708)와 연관되어 동작할 수 있으며, 극값 분류 및/또는 라벨 표시, 필기 모호성(handwriting ambiguity), 기타 등등에 관하여 추론을 할 수 있다. 본 명세서에서 사용되는 바와 같이, "추론하다" 또는 "추론"이라는 용어는 일반적으로 이벤트 및/또는 데이터를 통해 포착된 일련의 관찰으로부터 시스템, 환경 및/또는 사용자의 상태에 관하여 추리(reason) 또는 추론(infer)하는 프로세스를 말한다. 추론은 특정의 상황 또는 동작을 식별하는 데 이용될 수 있거나, 예를 들어, 상태들에 걸친 확률 분포를 발생할 수 있다. 추론은 확률적, 즉 데이터 및 이벤트의 고려에 기초하여 관심의 상태들에 걸친 확률 분포의 계산일 수 있다. 추론은 또한 일련의 이벤트 및/또는 데이터로부터 상위 레벨의 이벤트를 작성하는 데 이용되는 기법을 말할 수 있다. 이러한 추론의 결과, 이벤트들이 시간적으로 아주 근접하여 상관(correlate)되어 있는지에 관계없이 또 이벤트 및 데이터가 하나 또는 몇가지 이벤트 및 데이터 소스로부터 온 것인지에 관계없이, 일련의 관찰된 이벤트 및/또는 저장된 이벤트 데이터로부터 새로운 이벤트 또는 동작이 작성된다.

일례에 따르면, AI 컴포넌트(714)는 미리 정의된 극값 카테고리(예를 들어, 기준선, 아랫선, 중간선, 윗선, 기타 등등)에 속하지 않아 모호한 잉크 부분에 대한 적절한 분류를 추론할 수 있으며, 그 자체로서 "기타"로 카테고리화된다. 이 예에 따르면, 고아 라인(orphan line), 점(dot) 등의 잉크 부분이 분류를 필요로 하는 것으로 판정될 수 있다. AI 컴포넌트(714)는, 프로세서(712) 및/또는 메모리(710)와 관련하여, 잉크 부분이 잘못된 마크 또는 우발적인 스트로크가 아닌 것으로 판정할 수 있다. AI 컴포넌트(714)는 잉크 부분이 실제로는 고아 스트로크(orphaned stroke)(예를 들어, t-교차점, "i"에서의 점(dot), 기타 등등)라고 추론할 수 있다. 이러한 경우에, AI 컴포넌트(714)는 모호성을 감소시키고 디지털 필기의 가독성을 향상시킬 수 있는 가장 효율적인 방식으로 스트로크를 그의 부모 문자(parent character)로 복원하는 것을 용이하게 해줄 수 있다. 상기 예가 성질상 예시적인 것이며 AI 컴포넌트(714)에 의해 행해질 수 있는 추론의 범위 또는 AI 컴포넌트(714)가 이러한 추론을 하는 방법을 제한하기 위한 것이 아니라는 것을 잘 알 것이다.

(예를 들어, 극값 분류, 필기 변위, 와핑, 가독성 향상, 기타 등등과 관련하여) 여러가지 측면들에 따르면, AI 컴포넌트(714) 및/또는 분류자 컴포넌트(702)는 여러가지 인공 지능 기반 방식을 이용할 수 있다. 예를 들어, 어느 라벨을 식별된 극값에 적용할지를 결정하는 프로세스는 자동 분류자 시스템 및 프로세스를 통해 용이하게 될 수 있다. 게다가, 극값이 모호한 경우, 어느 극값 라벨이 가장 적합한 것인지를 결정하기 위해 분류자가 이용될 수 있다.

분류자는 입력 속성 벡터, x=(x1, x2, x3, x4, xn)를 입력이 부류(class)에 속하는 확신도(confidence)에 매핑하는 함수, 즉 f(x) = confidence(class)이다. 이러한 분류는 사용자가 자동적으로 수행되기를 원하는 동작을 예측 또는 추론하기 위해 확률적 및/또는 통계적-기반의 분석(예를 들어, 분석 효용성 및 비용을 고려함)을 이용할 수 있다. 디지털적으로 발생된 필기의 경우에, 예를 들어, 속성이 필기 문자의 종점(endpoint), 문자 발생과 연관된 시간 궤적, 또는 시간 궤적, 필기, 기타 등등으로부터 도출되는 기타 데이터 관련 속성일 수 있으며, 부류는 문자에 적용될 수 있는 극대 및 극소 라벨 등의 카테고리 또는 관심 영역이다.

SVM(support vector machine, 지원 벡터 기계)는 이용될 수 있는 분류자의 일례이다. SVM은 가능한 입력의 공간에서 초곡면(hypersurface)을 발견하는 동작을 하며, 이러한 초곡면은 트리거 기준(triggering criteria)을 비트리거 이벤트(non-triggering event)로부터 분리하려고 시도한다. 직관적으로, 이것은 분류를 훈련 데이터(training data)에 가깝지만 그와 동일하지는 않는 테스트 데이터(testing data)에 맞도록 만들어준다. 기타의 지도(directed) 및 무지도(undirected) 모델 분류 접근방법으로는, 예를 들어, 나이브 베이즈(naive Bayes), 베이지안 네트워크(Bayesian network), 결정 트리(decision tree)가 있고, 서로 다른 패턴의 독립성을 제공하는 확률적 분류 모델이 이용될 수 있다. 본 명세서에서 사용되는 분류는 또한 우선순위의 모델들을 개발하는 데 이용되는 통계적 회귀를 포함한다.

본 명세서로부터 잘 알게 될 것인 바와 같이, 본 발명은 (예를 들어, 일반 훈련 데이터를 통해) 명시적으로 훈련되는 것은 물론 (예를 들어, 사용자 거동을 관찰하는 것, 외부 정보를 수신하는 것을 통해) 묵시적으로도 훈련되는 분류자를 이용할 수 있다. 예를 들어, SVM은 분류자 구성기(classifier constructor) 및 특징 선택 모듈(feature selection module) 내에서 학습 또는 훈련 단계를 통해 구성된다. 따라서, 분류자(들)는, 미리 정해진 기준에 따라, 주어진 극대 또는 극소에 어느 라벨을 할당할지, 디지털 필기를 와핑할 때 어느 특징이 엄격히 보존되어야 하는지, 기타 등등을 결정하는 것(이에 한정되지 않음)을 비롯하여, 다수의 함수를 자동적으로 수행하는 데 사용될 수 있다. 이 기준은 극대 또는 극소의 초기 위치, 극대 또는 극소의 원하는 위치, 기타 등등을 포함할 수 있지만, 이에 한정되는 것은 아니다.

도 8 내지 도 10을 참조하면, 본 발명의 측면들에 따른 플로우차트가 도시되어 있다. 설명의 간략함을 위해, 본 명세서에, 예를 들어, 플로우차트의 형태로 도시된 하나 이상의 방법들이 일련의 동작들로서 도시되고 기술되어 있지만, 본 발명이 동작들의 순서에 의해 제한되지 않는다는 것을 잘 알 것인데, 그 이유는 어떤 동작들이, 본 발명에 따르면, 다른 순서로 및/또는 본 명세서에 도시되고 기술된 것 중의 다른 동작들과 동시에 행해질 수 있기 때문이다. 예를 들어, 당업자라면 방법이 다른 대안으로서, 상태도에서와 같이, 일련의 상호 관련된 상태 또는 이벤트로 표현될 수 있다는 것을 잘 알 것이다. 게다가, 도시된 동작들 전부가 본 발명에 따른 방법을 구현하는 데 필요한 것은 아닐 수 있다.

도 8은 태블릿 PC 상에서, 스캔된 필기 문서, 기타 등등의 디지털적으로 발생된 필기를 정규화 및 미화하는 방법(800)을 나타낸 것이다. 단계(802)에서, 입력 이미지가 수신될 수 있다. 이 이미지는, 예를 들어, 태블릿 PC 상에서 발생된 문서, 스캔된 이미지, 기타 등등일 수 있으며, 디지털화된 필기의 하나 이상의 부분들을 포함할 수 있다. 단계(804)에서, 사람 및/또는 컴퓨터-실행가능 문자 인식 애플리케이션에 대한 가독성을 향상시키기 위해, 본 명세서에 기술된 측면들에 따라 정규화 및/또는 미화가 수행될 수 있다는 것을 나타내는 일을 용이하게 해주기 위해 이러한 부분들이 식별될 수 있다.

단계(806)에서, 필기에서의 극값이 식별 및 분류될 수 있다. 예를 들어, 다양한 극값 카테고리가 아랫선 극값, 기준선 극값, 중간선 극값, 윗선 극값, 선행하는 카테고리에 적합하지 않는 극값에 관한 "기타" 극값을 포함할 수 있지만, 그에 한정되는 것은 아니다. 당업자라면 잘 알 것인 바와 같이, 본 명세서에 제공된 방법 및 시스템과 관련하여 입도(granularity) 및/또는 확장성(scalability)을 증가시키는 일을 용이하게 해주기 위해 임의의 수의 극값 라벨 및/또는 카테고리가 이용될 수 있다. 예를 들어, 태블릿 PC 상에서 발생된 필기 이미지의 경우에, 태블릿 펜 또는 스타일러스와 연관된 타임 스탬프(time stamp)가 태블릿 PC로부터 수집되고, 원하는 경우, 필기의 1D 와핑을 용이하게 해주기 위해 이용될 수 있다. 필기 이미지가 스캔된 문서 또는 시간 궤적이 이용가능하지 않은 기타 이미지인 경우, 이 이미지는 1D 궤적 격자로 보간될 수 있고, 링크되어 있는(예를 들어, 잉크 스트로크에 의해 연결되어 있는) 격자 상의 점들이 도 1과 관련하여 전술한 여러가지 강성 제약 조건을 받을 수 있다.

단계(808)에서, 필기 내의 디지털 잉크를 정규화하고 가독성을 향상시키기 위해 복수의 제약 조건에 따라 필기가 와핑될 수 있다. 예를 들어, 도 1 및 수학식 8 내지 수학식 12와 관련하여 기술된 바와 같이, 복수의 곡률 및 압축 제약 조건을 시행하는 일을 용이하게 해주기 위해 고무 종이 기법 등의 2D 변위 프로토콜이 이용될 수 있다. 이어서, 예를 들어, 도 1, 수학식 13, 수학식 15 내지 수학식 18과 관련하여 기술된 바와 같이, 고무 막대 변위 기법을 통해 강성 제약 조건이 시행될 수 있다. 이와 같이, 고무 종이 기법 또는 고무 막대 기법을 단독으로 시행하는 결과로서 생길 수 있는 바람직하지 않은 변형을 유입시키지 않고 필기 이미지가 미화될 수 있다(예를 들어, 가독성이 더 좋게 될 수 있다).

도 9는 본 명세서에 기술된 여러가지 측면들에 따라 가독성을 향상시키기 위해 디지털 필기를 미화 및 정규화하는 방법(900)을 나타낸 것이다. 단계(902)에서, 필기된 텍스트를 포함하는 디지털 이미지에서의 극값이 평가 및 분류될 수 있다. 예를 들어, 이러한 극값이 복수의 극값 라인 중 어느 것(예를 들어, 윗선, 중간선, 기준선, 아랫선, 기타, ...)에 정렬되도록 의도되었는지를 나타내기 위해 필기 잉크 극값에 라벨이 자동적으로 추가될 수 있다. 예를 들어, 태블릿 PC 상에서의 필기의 발생과 연관되어 있는 시간 궤적을 사용함으로써 이러한 극값 식별이 용이하게 될 수 있다. 필기된 이미지에서의 각각의 극값에 대한 분류를 출력하기 위해 커스터마이즈된 분류자가 발생 및/또는 이용될 수 있다. 도 1 및 도 2와 관련하여 기술된 컨볼루션 신경망 등과 같이 분류자가 특수화될 수 있고 또 라벨이 상기한 극값 라인 및/또는 글자(예를 들어, "a", "b",...)를 포함할 수 있다는 것을 잘 알 것이다. 다른 유형의 이미지(예를 들어, 드로잉, 인쇄된 텍스트,...)에 대해 필기를 검출하는 것, 자동적인 필기 인식을 위해 전처리를 용이하게 해주기 위해 와핑 없이 또는 와핑과 함께 잉크를 정규화하는 것, 자동화된 필기 인식 애플리케이션의 작성, 보는 사람에 대한 가독성 향상, 기타 등등(이에 한정되지 않음)을 비롯하여 몇가지 목적을 위해 라벨 및/또는 분류가 이용될 수 있다.

단계(904)에서, 극값 점들은 각자의 점들이 분류되는 원하는 극값 라인에 맞춰 정렬될 수 있다(예를 들어, "e" 등의 소문자의 상부 극값(upper extrema)이 중간선에 맞춰 정렬될 수 있고,...). 가독성을 더욱 향상시키기 위해, 단계(906)에서, 정렬, 특수한 특징(예를 들어, 잉크 스트로크들 간의 교차점, 잉크의 일부분들 간의 거리,...), 기타 등등을 보존하기 위해 복수의 제약 조건이 시행될 수 있다. 단계(906)에서 이러한 제약 조건을 시행하는 것은, 예를 들어, 도 1 및 수학식 8 내지 수학식 12와 관련하여 기술된 것 등의, 고무 종이 변위 알고리즘을 이용함으로써 달성될 수 있다. 곡률, 종횡비, 잉크 스트로크의 각도, 기타 등등에 대한 원하지 않는 꼬임 및/또는 효과를 저감시키기 위해, 단계(908)에서 국소 잉크 특징 보존 제약 조건이 도입되어 시행될 수 있다. 예를 들어, 도 1, 수학식 13 및 수학식 15 내지 수학식 18과 관련하여 상세히 기술한 바와 같이, 원래의 잉크 궤적과 새로운 잉크 궤적 간에 제약 조건을 유지하기 위해 1D 고무 막대 변위 기법이 이용될 수 있다. 이와 같이, 잉크를 정규화 및 미화하는 일(예를 들어, 가독성 향상)을 용이하게 해주어 필기의 변동을 최소화하고 사람 판독자 및/또는 필기 인식 애플리케이션에 의한 더욱 용이한 식별을 가능하게 해주기 위해, 2D 고무 종이 변위 기법에 뒤이어서 1D 고무 막대 변위 기법이 올 수 있다.

도 10은 본 명세서에 기술된 여러가지 측면들에 따른, 특수화된 분류자 및 결합 변위 프로토콜(combination displacement protocol)을 이용함으로써 디지털 필기 가독성을 향상시키는 방법(1000)을 나타낸 것이다. 단계(1002)에서, 태블릿 PC 상에서 필기된 이미지, 스캔된 필기 문서, 기타 등등의, 디지털 필기 입력이 수신될 수 있고, 디지털 필기를 포함하는 이미지의 부분들이 식별되고 비필기 텍스트, 이미지, 기타 등등과 구별될 수 있다. 단계(1004)에서, 도 8과 관련하여 기술된 것과 유사한 방식으로 및/또는 도 1의 분류자 프로토콜과 관련하여 기술된 바와 같이 극값이 식별되고 라벨 표시될 수 있다.

단계(1006)에서, 예를 들어, 상기 수학식 1 내지 수학식 7과 관련하여 기술된 것 등의 다중-선형 회귀 기법을 사용하여 극값 라벨들 간의 오프셋이 결정 및/또는 평가될 수 있다. 단계(1006)에서의 오프셋 정보 및 관계의 결정은, 필기를 와핑하여 가독성을 향상시키기 위해, 보간/변위 프로토콜 동안에 각각의 점을 그 각자의 라인에 맞춰 정렬할 수 있는 최적의 변위의 계산을 용이하게 해준다. 단계(1008)에서, 필기된 이미지가 2D 격자로 보간될 수 있다. 이러한 것은 정렬 및 공간 특징 보존 제약 조건(spatial feature preservation constraint)을 시행하는 고무 종이 기법을 이용하여 수행될 수 있다.

단계(1010)에서, 필기 잉크를 정규화하기 위해 곡률 및 압축 제약 조건이 시행될 수 있다. 예를 들어, 고무 종이 보간과 연관된 정렬 제약 조건은 글자 "d"가 글자 "a" 안으로 수직으로 압축되지 않도록, 기타 등등을 하기 위해 수직 변위를 제약할 수 있다. 이와 유사하게, 잉크들 간의 교차점 및 거리를 보존하기 위해 공간 특징 보존 제약 조건이 시행될 수 있다. 이러한 제약 조건은, 예를 들어, 글자 "u"가 그의 상부 부분에서 조여져 글자 "a"와 비슷하게 되는 것, 기타 등등을 방지할 수 있다. 그에 부가하여, 곡률의 반전, 꼬임, 기타 등등을 방지하기 위해 곡률 제약 조건이 시행될 수 있다. 단계(1012)에서, 정규화된 필기 이미지가, 변동이 감소되고 가독성이 향상되어, 보는 사람 및/또는 컴퓨터 실행가능 필기 인식 애플리케이션으로 출력될 수 있다.

이제 도 11을 참조하면, 개시된 아키텍처를 실행하는 동작을 하는 컴퓨터의 블록도가 도시되어 있다. 본 발명의 여러가지 측면들에 대한 부가적인 상황을 제공하기 위해, 도 11 및 이하의 기술은 본 발명의 여러가지 측면들이 구현될 수 있는 적합한 컴퓨팅 환경(1100)에 대한 간략하고 일반적인 설명을 제공하기 위한 것이다. 본 발명이 일반적으로 하나 이상의 컴퓨터 상에서 실행될 수 있는 컴퓨터 실행가능 명령어와 관련하여 전술되었지만, 당업자라면 본 발명이 또한 기타 프로그램 모듈들과 결합되어 및/또는 하드웨어와 소프트웨어의 조합으로서 구현될 수 있다는 것을 잘 알 것이다.

일반적으로, 프로그램 모듈은 특정의 태스크를 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조, 기타 등등을 포함한다. 게다가, 당업자라면 본 발명의 방법이 단일-프로세서 또는 멀티프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터는 물론 퍼스널 컴퓨터, 핸드헬드 컴퓨팅 장치, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 기타 등등(이들 각각은 하나 이상의 연관된 장치와 연결되어 동작할 수 있음)을 비롯한 다른 컴퓨터 시스템 구성으로 실시될 수 있다는 것을 잘 알 것이다.

본 발명의 예시된 측면들은 또한 어떤 태스크들이 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 둘다에 위치할 수 있다.

컴퓨터는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있고, 이러한 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체 둘다를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체 둘다를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital video disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.

통신 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등을 구현하고 모든 정보 전달 매체를 포함한다. "피변조 데이터 신호"라는 용어는 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 제한이 아닌 예로서, 통신 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한다. 상술된 매체들 중 임의의 것의 조합도 역시 컴퓨터 판독가능 매체의 범위 안에 포함되는 것으로 한다.

다시 도 11을 참조하면, 컴퓨터(1102)를 포함하는 본 발명의 여러가지 측면들을 구현하는 예시적인 환경(1100)이 나타내어져 있으며, 컴퓨터(1102)는 처리 장치(1104), 시스템 메모리(1106) 및 시스템 버스(1108)를 포함한다. 시스템 버스(1108)는 시스템 메모리(1106)(이에 한정되지 않음)를 비롯한 시스템 컴포넌트들을 처리 장치(1104)에 연결시킨다. 처리 장치(1104)는 다양한 상용 프로세서들 중 임의의 프로세서일 수 있다. 듀얼 프로세서 및 기타 멀티프로세서 아키텍처도 역시 처리 장치(1104)로서 이용될 수 있다.

시스템 버스(1108)는 메모리 버스(메모리 컨트롤러를 갖거나 갖지 않음), 주변장치 버스, 및 다양한 상용 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스에 추가적으로 상호 연결될 수 있는 몇가지 유형의 버스 구조 중 임의의 것일 수 있다. 시스템 메모리(1106)는 판독 전용 메모리(ROM)(1110) 및 랜덤 액세스 메모리(RAM)(1112)를 포함한다. 기본 입/출력 시스템(BIOS)은 ROM, EPROM, EEPROM 등의 비휘발성 메모리(1110)에 저장되며, 이 BIOS는 시동 중과 같은 때에 컴퓨터(1102) 내의 구성요소들 간에 정보를 전송하는 일을 돕는 기본적인 루틴을 포함한다. RAM(1112)은 또한 데이터를 캐싱하기 위한 정적 RAM 등의 고속 RAM을 포함할 수 있다.

컴퓨터(1102)는 또한 내장형 하드 디스크 드라이브(HDD)(1114)(예를 들어, EIDE, SATA) - 이 내장형 하드 디스크 드라이브(1114)는 또한 적당한 섀시(도시 생략) 내에서 외장형 용도로 구성될 수 있음 -, 자기 플로피 디스크 드라이브(FDD)(1116)(예를 들어, 이동식 디스켓(1118)으로부터 판독을 하거나 그에 기록을 하기 위한 것임), 및 광 디스크 드라이브(1120)(예를 들어, CD-ROM 디스크(1122)를 판독하거나 DVD 등의 기타 고용량 광 매체로부터 판독을 하거나 그에 기록을 하기 위한 것임)를 포함한다. 하드 디스크 드라이브(1114), 자기 디스크 드라이브(1116) 및 광 디스크 드라이브(1120)는 각각 하드 디스크 드라이브 인터페이스(1124), 자기 디스크 드라이브 인터페이스(1126) 및 광 드라이브 인터페이스(1128)에 의해 시스템 버스(1108)에 연결될 수 있다. 외장형 드라이브 구현을 위한 인터페이스(1124)는 USB(Universal Serial Bus) 및 IEEE 1394 인터페이스 기술 중 적어도 하나 또는 그 둘다를 포함한다.

이들 드라이브 및 그와 연관된 컴퓨터 판독가능 매체는 데이터, 데이터 구조, 컴퓨터 실행가능 명령어, 기타 등등의 비휘발성 저장을 제공한다. 컴퓨터(1102)의 경우, 드라이브 및 매체는 임의의 데이터를 적당한 디지털 형식으로 저장하는 것에 대응한다. 상기에서의 컴퓨터 판독가능 매체에 대한 설명이 HDD, 이동식 자기 디스크, 및 CD 또는 DVD 등의 이동식 광 매체를 언급하고 있지만, 당업자라면 집 드라이브(zip drive), 자기 카세트, 플래쉬 메모리 카드, 카트리지, 기타 등등의 컴퓨터에 의해 판독가능한 다른 유형의 매체도 역시 예시적인 운영 환경에서 사용될 수 있으며 또 임의의 이러한 매체가 본 발명의 방법들을 수행하기 위한 컴퓨터 실행가능 명령어를 포함할 수 있다는 것을 잘 알 것이다.

운영 체제(1130), 하나 이상의 애플리케이션 프로그램(1132), 기타 프로그램 모듈(1134) 및 프로그램 데이터(1136)을 비롯한 다수의 프로그램 모듈이 드라이브 및 RAM(1112)에 저장될 수 있다. 운영 체제, 애플리케이션, 모듈 및/또는 데이터의 전부 또는 그 일부분이 또한 RAM(1112)에 캐싱될 수 있다. 본 발명이 여러가지 상업적으로 이용가능한 운영 체제 또는 운영 체제들의 조합에서 구현될 수 있다는 것을 잘 알 것이다.

사용자는 하나 이상의 유선/무선 입력 장치, 예를 들어, 키보드(1138) 및 마우스(1140) 등의 포인팅 장치를 통해 컴퓨터(1102)에 명령 및 정보를 입력할 수 있다. 기타 입력 장치(도시 생략)로는 마이크, IR 리모콘, 조이스틱, 게임 패드, 스타일러스 펜, 터치 스크린, 기타 등등이 있을 수 있다. 이들 및 기타 입력 장치가 종종 시스템 버스(1108)에 연결되어 있는 입력 장치 인터페이스(1142)를 통해 처리 장치(1104)에 연결되지만, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스, 기타 등등의 기타 인터페이스에 의해 연결될 수 있다.

모니터(1144) 또는 다른 유형의 디스플레이 장치도 역시 비디오 어댑터(1146) 등의 인터페이스를 통해 시스템 버스(1108)에 연결된다. 모니터(1144)에 부가하여, 컴퓨터는 일반적으로 스피커, 프린터, 기타 등등의 기타 주변 출력 장치(도시 생략)를 포함한다.

컴퓨터(1102)는 유선 및/또는 무선 통신을 통한 원격 컴퓨터(들)(1148) 등의 하나 이상의 원격 컴퓨터로의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(들)(1148)는 워크스테이션, 서버 컴퓨터, 라우터, 퍼스널 컴퓨터, 휴대용 컴퓨터, 마이크로프로세서-기반 오락 기기, 피어 장치 또는 기타 통상의 네트워크 노드일 수 있으며, 일반적으로 컴퓨터(1102)에 대해 기술된 구성요소들 중 다수 또는 그 전부를 포함하지만, 간략함을 위해, 메모리 저장 장치(1150)만이 도시되어 있다. 도시되어 있는 논리적 연결은 근거리 통신망(LAN)(1152) 및/또는 더 큰 네트워크, 예를 들어, 원거리 통신망(WAN)(1154)에의 유선/무선 연결을 포함한다. 이러한 LAN 및 WAN 네트워킹 환경은 사무실 및 회사에서 일반적인 것이며, 인트라넷 등의 전사적 컴퓨터 네트워크(enterprise-wide computer network)를 용이하게 해주며, 이들 모두는 전세계 컴퓨터 네트워크, 예를 들어, 인터넷에 연결될 수 있다.

LAN 네트워킹 환경에서 사용될 때, 컴퓨터(1102)는 유선 및/또는 무선 통신 네트워크 인터페이스 또는 어댑터(1156)를 통해 로컬 네트워크(1152)에 연결된다. 어댑터(1156)는 LAN(1152)에의 유선 또는 무선 통신을 용이하게 해줄 수 있으며, 이 LAN(1152)은 또한 무선 어댑터(1156)와 통신하기 위해 그에 설치되어 있는 무선 액세스 포인트를 포함하고 있다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(1102)는 모뎀(1158)을 포함할 수 있거나, WAN(1154) 상의 통신 서버에 연결되거나, 또는 인터넷을 통하는 등, WAN(1154)을 통해 통신을 설정하는 기타 수단을 갖는다. 내장형 또는 외장형 및 유선 또는 무선 장치일 수 있는 모뎀(1158)은 직렬 포트 인터페이스(1142)를 통해 시스템 버스(1108)에 연결된다. 네트워크화된 환경에서, 컴퓨터(1102)에 대해 설명된 프로그램 모듈들 또는 그의 일부분이 원격 메모리/저장 장치(1150)에 저장될 수 있다. 도시된 네트워크 연결이 예시적인 것이며 컴퓨터들 사이에 통신 링크를 설정하는 기타 수단이 사용될 수 있다는 것을 잘 알 것이다.

컴퓨터(1102)는 무선 통신으로 배치되어 동작하는 임의의 무선 장치 또는 개체, 예를 들어, 프린터, 스캐너, 데스크톱 및/또는 휴대용 컴퓨터, PDA(portable data assistant), 통신 위성, 무선 검출가능 태그와 연관된 임의의 장비 또는 장소(예를 들어, 키오스크, 신문 가판대, 화장실), 및 전화와 통신을 하는 동작을 한다. 이것은 적어도 Wi-Fi 및 블루투스™ 무선 기술을 포함한다. 따라서, 통신은 종래의 네트워크에서와 같이 미리 정의된 구조이거나 단순하게 적어도 2개의 장치 사이의 애드혹 통신(ad hoc communication)일 수 있다.

Wi-Fi(Wireless Fidelity)는 유선 없이도 가정의 소파, 호텔방의 침대, 또는 직장의 회의실로부터의 인터넷에의 연결을 가능하게 해준다. Wi-Fi는 이러한 장치, 예를 들어, 컴퓨터가 실내에서 및 실외에서, 즉 기지국의 통화권 내의 아무 곳에서나 데이터를 전송 및 수신할 수 있게 해주는 셀 전화와 같은 무선 기술이다. Wi-Fi 네트워크는 안전하고 신뢰성있으며 고속인 무선 연결을 제공하기 위해 IEEE 802.11(a,b,g, 기타)이라고 하는 무선 기술을 사용한다. 컴퓨터를 서로에, 인터넷에 및 유선 네트워크(IEEE 802.3 또는 이더넷을 사용함)에 연결시키기 위해 Wi-Fi가 사용될 수 있다. Wi-Fi 네트워크는 비인가 2.4 및 5 GHz 무선 대역에서, 예를 들어, 11Mbps(802.11a) 또는 54 Mbps(802.11b) 데이터 레이트로 동작하거나, 양 대역(듀얼 대역)을 포함하는 제품에서 동작하며, 따라서 이 네트워크는 많은 사무실에서 사용되는 기본적인 10BaseT 유선 이더넷 네트워크와 유사한 실세계 성능을 제공할 수 있다.

이제 도 12를 참조하면, 본 발명에 따른 예시적인 컴퓨팅 환경(1200)의 개략 블록도가 도시되어 있다. 시스템(1200)은 하나 이상의 클라이언트(들)(1202)를 포함한다. 클라이언트(들)(1202)는 하드웨어 및/또는 소프트웨어(예를 들어, 쓰레드, 프로세스, 컴퓨팅 장치)일 수 있다. 클라이언트(들)(1202)는, 예를 들어, 본 발명을 이용함으로써 쿠키(들) 및/또는 연관된 상황 정보를 보관할 수 있다. 시스템(1200)은 또한 하나 이상의 서버(들)(1204)를 포함한다. 서버(들)(1204)도 역시 하드웨어 및/또는 소프트웨어(예를 들어, 쓰레드, 프로세스, 컴퓨팅 장치)일 수 있다. 서버(1204)는, 예를 들어, 본 발명을 이용함으로써 변환을 수행하는 쓰레드를 보관할 수 있다. 클라이언트(1202)와 서버(1204) 사이의 한가지 가능한 통신은 2개 이상의 컴퓨터 프로세스 사이에서 전송되도록 구성되어 있는 데이터 패킷의 형태일 수 있다. 데이터 패킷은, 예를 들어, 쿠키 및/또는 연관된 상황 정보를 포함할 수 있다. 시스템(1200)은 클라이언트(들)(1202)와 서버(들)(1204) 사이의 통신을 용이하게 해주기 위해 이용될 수 있는 통신 프레임워크(1206)(예를 들어, 인터넷 등의 전세계 통신 네트워크)를 포함한다.

유선(광 섬유를 포함함) 및/또는 무선 기술을 통해 통신이 용이하게 될 수 있다. 클라이언트(들)(1202)는 클라이언트(들)(1202)에 로컬인 정보(예를 들어, 쿠키(들) 및/또는 연관된 상황 정보)를 저장하는 데 이용될 수 있는 하나 이상의 클라이언트 데이터 저장소(들)(1208)에 연결되어 동작한다. 이와 유사하게, 서버(들)(1204)는 서버들(1204)에 로컬인 정보를 저장하는 데 이용될 수 있는 하나 이상의 서버 데이터 저장소(들)(1210)에 연결되어 동작한다.

이상에 기술되어 있는 것은 본 발명의 예들을 포함한다. 물론, 본 발명을 기술할 목적으로 컴포넌트들 또는 방법들의 모든 생각할 수 있는 조합을 기술하는 것이 가능하지는 않지만, 당업자라면 본 발명의 많은 추가의 조합 및 치환이 가능하다는 것을 잘 알 것이다. 따라서, 본 발명은 첨부된 청구항의 정신 및 범위 내에 속하는 이러한 변경, 수정 및 변형 전부를 포괄하기 위한 것이다. 게다가, "포함한다(include)"라는 용어가 상세한 설명 또는 청구항 중 어느 하나에서 사용되는 정도까지, 이러한 용어는 청구항에서 전이구(transitional word)로서 이용될 때 "포함하는(comprising)"이 해석되는 것처럼 용어 "포함하는(comprising)"과 유사한 방식으로 포함적인 것이 되도록 하기 위한 것이다.

Claims

필기 인식 및 정규화를 용이하게 해주는 컴퓨터 구현 시스템으로서,

디지털적으로 필기된 문서에 관련된 데이터를 입력으로서 수신하고 디지털적으로 필기된 단어들에서의 극값에 라벨 표시를 하는 분류자 컴포넌트(classifier component), 및

상기 필기된 단어들에서의 극값들(extrema) 간의 오프셋을 평가하여 각자의 극값에 대한 새로운 위치를 결정하고 또 가독성(legibility)을 향상시키기 위해 상기 분류자 라벨에 의해 표시되는 상기 새로운 위치에 맞춰 극값 점들을 정렬하는 비선형 와핑 기법을 수행하는 회귀 컴포넌트(regression component)를 포함하는, 필기 인식 및 정규화를 용이하게 해주는 컴퓨터 구현 시스템.
제1항에 있어서,

상기 극값 라벨은 아랫선(bottom line), 기준선(baseline), 중간선(middleline) 및 윗선(top line) 중 적어도 하나를 포함하는 것인, 필기 인식 및 정규화를 용이하게 해주는 컴퓨터 구현 시스템.
제2항에 있어서,

상기 아랫선, 기준선, 중간선 및 윗선 분류 중 적어도 하나에 적합하지 않은 극값 점들에 적용되는 "기타" 극값 라벨을 더 포함하는, 필기 인식 및 정규화를 용 이하게 해주는 컴퓨터 구현 시스템.
제1항에 있어서,

상기 분류된 필기를 2차원 격자로 보간하고 또 상기 필기를 와핑하기 위해 "고무 종이" 변위 기법(rubber sheet displacement technique)을 수행하는 보간 컴포넌트(interpolation component)를 더 포함하는, 필기 인식 및 정규화를 용이하게 해주는 컴퓨터 구현 시스템.
제4항에 있어서,

상기 분류된 필기에 대해, 상기 고무 종이 변위 기법의 적용 이후에 상기 필기에 대해 강성 제약 조건(rigidity constraint)을 시행하는 "고무 막대" 변위 기법(rubber rod displacement technique)을 수행하는 변위 컴포넌트(displacement component)를 더 포함하는, 필기 인식 및 정규화를 용이하게 해주는 컴퓨터 구현 시스템.
제5항에 있어서,

상기 정규화된 필기를 수신하여 상기 정규화된 필기를 텍스트로 변환하는 컴퓨터 실행가능 필기 인식 애플리케이션을 더 포함하는, 필기 인식 및 정규화를 용이하게 해주는 컴퓨터 구현 시스템.
제1항에 있어서,

사용자가 자동적으로 수행되기를 원하는 동작을 예측 또는 추론하기 위해 확률적 및/또는 통계적-기반의 분석을 이용하는 지능 컴포넌트(intelligence component)를 더 포함하는, 필기 인식 및 정규화를 용이하게 해주는 컴퓨터 구현 시스템.
제1항에 있어서,

상기 회귀 컴포넌트는 동일한 부류의 극값의 목표 위치를 계산하기 위해 다항 회귀(polynomial regression)를 이용하는 것인, 필기 인식 및 정규화를 용이하게 해주는 컴퓨터 구현 시스템.
가독성을 향상시키기 위해 디지털 필기를 와핑하는 방법으로서,

필기된 단어들의 디지털 잉크 표현에서 극소 및 극대를 분류하는 단계,

극대 및 극소의 원래의 위치와 극대 및 극소 분류와 연관된 원하는 위치 간의 오프셋을 구하는 단계, 및

가독성을 향상시키기 위해 상기 필기된 단어들을 와핑하는 단계를 포함하는, 가독성을 향상시키기 위해 디지털 필기를 와핑하는 방법.
제9항에 있어서,

상기 오프셋을 2차원 격자로 보간하고 잉크 스트로크들의 정렬, 잉크 스트로 크들의 교차점, 및 상기 필기된 단어들에서의 잉크 스트로크들 간의 거리를 보존하는 고무 종이 변위 알고리즘을 적용하는 단계를 더 포함하는, 가독성을 향상시키기 위해 디지털 필기를 와핑하는 방법.
제10항에 있어서,

국소 잉크 스트로크 특징들을 보존하는 고무 막대 변위 알고리즘을 적용하는 단계를 더 포함하는, 가독성을 향상시키기 위해 디지털 필기를 와핑하는 방법.
제11항에 있어서,

상기 국소 잉크 스트로크 특징은 상기 필기된 단어들에서의 하나 이상의 잉크 스트로크와 연관된 곡률, 종횡비, 및 각도 중 적어도 하나인 것인, 가독성을 향상시키기 위해 디지털 필기를 와핑하는 방법.
제9항에 있어서,

필기 인식 프로그램에 대한 전처리 애플리케이션으로서 구현되는 것인, 가독성을 향상시키기 위해 디지털 필기를 와핑하는 방법.
제9항에 있어서,

상기 필기된 단어들은 태블릿 PC를 사용하여 발생되는 것인, 가독성을 향상시키기 위해 디지털 필기를 와핑하는 방법.
제14항에 있어서,

극소 및 극대를 분류하는 단계는 상기 태블릿 PC 상에서의 개개의 잉크 스트로크들의 발생과 관련된 시간 궤적 정보를 수신하고 상기 잉크 스트로크의 종점을 결정하기 위해 상기 시간 궤적 정보를 분석하는 단계를 포함하는 것인, 가독성을 향상시키기 위해 디지털 필기를 와핑하는 방법.
제9항에 있어서,

상기 디지털 잉크 표현은 필기된 단어들을 포함하는 문서를 스캐닝함으로써 발생되는 것인, 가독성을 향상시키기 위해 디지털 필기를 와핑하는 방법.
제16항에 있어서,

상기 필기된 단어들을 1차원 격자로 보간하고 잉크 스트로크에 의해 연결되는 상기 격자 상의 점들 간에 강성 제약 조건을 부과하는 단계를 더 포함하는, 가독성을 향상시키기 위해 디지털 필기를 와핑하는 방법.
제9항의 방법을 수행하는 컴퓨터 실행가능 명령어가 그 위에 저장되어 있는 컴퓨터 판독가능 매체.
필기 변동을 저감시켜 디지털적으로 발생된 필기의 가독성을 향상시키는 일 을 용이하게 해주는 시스템으로서,

상기 필기에서 극값을 식별하는 수단,

식별된 극값을 분류하는 수단,

상기 분류된 극값을 원하는 위치로 와핑하는 수단, 및

상기 필기에서의 개개의 잉크 스트로크와 연관된 곡률, 종횡비 및 각도를 유지하는 수단을 포함하는, 필기 변동을 저감시켜 디지털적으로 발생된 필기의 가독성을 향상시키는 일을 용이하게 해주는 시스템.
제19항에 있어서,

상기 와핑하는 수단은,

필기된 문자들의 전역적 공간 특징 및 정렬을 보존하면서 가독성을 향상시키기 위해 상기 필기에 고무 종이 최적화 기법을 수행하는 수단, 및

상기 필기된 문자들의 국소적 공간 특징을 보존하면서 가독성을 향상시키기 위해 상기 필기에 고무 막대 최적화 기법을 수행하는 수단을 포함하는 것인, 필기 변동을 저감시켜 디지털적으로 발생된 필기의 가독성을 향상시키는 일을 용이하게 해주는 시스템.