KR101203321B1 - 단어 또는 문자 경계에 기초하는 지움-표시 제스처 인식 - Google Patents

단어 또는 문자 경계에 기초하는 지움-표시 제스처 인식 Download PDF

Info

Publication number
KR101203321B1
KR101203321B1 KR1020060017166A KR20060017166A KR101203321B1 KR 101203321 B1 KR101203321 B1 KR 101203321B1 KR 1020060017166 A KR1020060017166 A KR 1020060017166A KR 20060017166 A KR20060017166 A KR 20060017166A KR 101203321 B1 KR101203321 B1 KR 101203321B1
Authority
KR
South Korea
Prior art keywords
erase
gesture
word
mark
stroke
Prior art date
Application number
KR1020060017166A
Other languages
English (en)
Other versions
KR20060101239A (ko
Inventor
아드리안 제이. 가르사이드
다프네 구에리케
어네스트 엘. 페닝톤
쇼우-칭 쉴링
다까노부 무라야마
트레이시 슐츠
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20060101239A publication Critical patent/KR20060101239A/ko
Application granted granted Critical
Publication of KR101203321B1 publication Critical patent/KR101203321B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Character Discrimination (AREA)

Abstract

예를 들면, 펜을 통해 입력된 다른 전자 잉크로부터 지움-표시 제스처들을 탐지하고 구별하는 컴퓨터로 구현된 시스템 및 방법이 기술된다. 시스템 및 방법은 구별을 위한 경계-기반 기준을 비교하며, 특정된 형태의 지움-표시 패턴을 가져야 할 필요 없이, 매우 다양한 지움-표시 스타일들이 탐지될 수 있게 한다. 기준은 잠재적인 지움-표시 제스처가 이전에 인식된 단어들 또는 문자들과 교차하는지 여부, 지움-표시 제스처가 적어도 단어 또는 문자 경계 박스의 너비의 임계율인 너비를 가지는지 여부, 전자 잉크가 경계 박스의 중점 밖으로 연장하는지 여부, 및 지움-표시 제스처의 적어도 몇몇의 일부가 단어 또는 문자의 기준선 위에 있는지 여부와 같은 경계-기반 평가를 포함한다. 자유형 입력 기입 영역 및 박스 형태의 입력 기입 영역에 입력된 지움-표시 제스처가 지원된다.
Figure R1020060017166
지움-표시 제스처, 잉크 스트로크

Description

단어 또는 문자 경계에 기초하는 지움-표시 제스처 인식{WORD OR CHARACTER BOUNDARY-BASED SCRATCH-OUT GESTURE RECOGNITION}
도 1은 본 발명이 포함될 수 있는 예시적인 컴퓨터 시스템을 도시하는 블록도.
도 2는 본 발명의 다양한 양태에 따른 펜 입력을 포함하는 사용자 입력을 처리하고 지움-표시 제스처들을 탐지하기 위한 컴포넌트들을 일반적으로 도시하는 블록도.
도 3은 본 발명의 다양한 양태에 따른 지움-표시 제스처들이 입력될 수 있는 예시적인 자유형(선으로 된) 기입 영역의 표현을 도시하는 도면.
도 4는 본 발명의 다양한 양태에 따른 지움-표시 제스처들이 입력될 수 있는 예시적인 박스 형태로 된 기입 영역의 표현을 도시하는 도면.
도 5a 내지 9는 본 발명의 다양한 양태에 따른 다양한 기준에 기초하여 판정된 지움-표시 제스처 및 비-지움-표시 제스처의 예시적인 표현을 도시하는 도면.
도 10 내지 14는, 본 발명의 다양한 양태에 따라, 지움-표시 제스처가 탐지될 때, 지움-표시 제스처들을 다른 잉크와 구별하고 삭제될 하나 이상의 단어들 또는 박스들의 리스트를 구축하는 예시적인 단계를 일반적으로 도시하는 흐름도.
<도면의 주요 부분에 대한 부호의 설명>
202: 펜 디지타이저
204: 터치 디지타이저
210: 태블릿 입력 패널
212: 수기 표면
222: 인식되지 않은 스트로크
224: 지움-표시된 제스처 탐지기
216: 인식기
226: 경계 탐지기
본 발명은 일반적으로 컴퓨팅 장치에 관한 것으로, 보다 상세히는 컴퓨팅 장치와의 사용자 대화에 관한 것이다.
현존하는 컴퓨팅 장치는 사용자가 키보드, 보다 다양한 유형의 포인팅 장치, (통상적으로 휴대용 장치에서) 전용 하드웨어 버튼 등을 포함하는 여러 방식으로 정보를 입력하게 한다. 포인팅 장치의 경우, 컴퓨터 시스템은 마우스 및/또는 터치패드(touchpad)로부터 및, 디지타이저로 구성되어 있다면, 예를 들어, 스타일러스(펜) 또는 손가락을 통해 입력된 터치 데이터 및 펜을 감지함으로써 사용자 입력을 수신할 수 있다.
태블릿-기반 퍼스널 컴퓨터와 같은 몇몇의 퍼스널 컴퓨터는 디스플레이 스크린에 디지타이저가 내장되어 있다. 이러한 컴퓨팅 장치는 키보드로 동작할 수 있거나 키보드 없이 동작할 수 있기 때문에 다수의 사용자에게 매우 이롭다. 태블릿-기반 퍼스널 컴퓨터 및 유사한 수기 감응형(handwriting-receptive) 컴퓨팅 장치는 사용자가 활자체로 된 문자 및 흘림체로 된 단어와 같은 수기 데이터를 입력할 수 있게 한다. 컴퓨팅 장치에 수기로 입력할 수 있는 하나의 유용한 양태는 기입된 단어를 텍스트로서 인식할 수 있으며, 그 이후에 이 텍스트가 검색되고, 텍스트-편집 프로그램에 의해 표시되고 편집되는 등을 할 수 있다는 것이다.
사용자에게 제공되는 몇몇의 장치의 한 특징은 입력된 문자들 및 단어들에 지움-표시(scratch out)가 될 수 있다는 점이다. 종이 위의 잉크와는 다르게, 잉크 입력 시스템은 자동으로 사용자가 제거되어야 한다고 생각하는 지움-표시된 문자들 및 단어들을 제거한다. 이를 위하여, 현존하는 장치들은, 기본적으로 지움-표시된 단어 또는 문자를 "거쳐(through)" 태블릿 스크린 상에 그려진 특정 심볼, 또는 태블릿 펜으로 기입된 특정 이동인, 잉크를 지우려는 지움 표시 제스처를 탐지하도록 구성된다.
기존의 지움-표시 제스처 인식 시스템들은 신경망(neural networks)에 기초하며, 몇 가지 중요한 유용성 문제로 인하여 장애가 있다. 이러한 문제의 주요인은 일반적으로(그리고 통상적으로 가로방향으로 가늘고 길게 연장되는) Z-형 제스처를 요구하는 것에서 발생한다. 신경망 인식기는 비교적 높은 비율의 오탐율(false negative)을 초래하는 (예를 들면, 사용자가 몇몇의 잉크에 지움 표시를 하 기를 원하지만, 이 제스처가 그렇게 되지 않고 잉크 스트로크로서 인식된다), 지움-표시 제스처를 구성하는 것에 대하여 엄격한 요구사항들을 가진다. 제스처 요건들은 또한 요구되는 지움-표시 제스처가 사용자가 본래부터 알아챌 수 있는 것이 아닌 부자연스럽게 사용자를 제한하는데; 즉, 통상적인 사용자는 몇 가지 형태의 지움-표시 제스처를 시도할 수 있지만, Z-형 제스처는 대부분의 사용자에게 직관적인 것도 아니고 자연스럽지도 않다.
대부분의 사용자의 개인용 스타일러스를 이용하여 텍스트에 크로스 아웃(cross out)을 하는 작업을 하는 보다 자연스러운 지움-표시 제스처(또는 제스처들의 세트)가 필요하다. 임의의 이러한 지움-표시 제스처는 사용자에게 직관적이어야 하고 본래부터 알아챌 수 있어야 하고, 일반적으로 수작업으로-입력된 삭제 동작에 있어서의 사용자 만족도를 향상시켜야 한다. 동시에, 지움-표시 제스처들을 다른 잉크 입력과 올바르게 구별할 비율이 높아져야 한다.
요약하자면, 본 발명은 잠재적인 지움-표시 제스처의 위치 및 가로 너비를 지움 표시될 수 있는 단어들 또는 문자들의 경계들에 대하여 평가함으로써, 지움-표시 제스처의 형태로 된 특정 전자 잉크를 다른 잉크와 구별하는 시스템 및 방법을 제공한다. 제스처가 지움 표시인지 다른 잉크인지를 판정하기 위하여 임계량 및 임계율이 이용된다.
사용자가 스트로크들에 대응하는 전자 잉크 데이터를 입력할 때, 지움-표시 제스처 탐지기는 다양한 임계치-기반 규칙을 적용하여 지움-표시 제스처와 다른 잉 크 입력을 구별한다. 지움 표시들은 기존의 잉크를 지우기 위해 이용되는 한편, 넌-지움-표시는 잉크 스트로크들을 문자들 또는 단어들을 나타내는 다른 스트로크에 추가한다. 지움-표시 제스처 탐지기가 지움-표시 제스처인지를 판정(decision making)하기 위하여 단어 및 문자 경계들을 사용하기 때문에, 지움-표시는 임의의 소정의 지움-표시 제스처에 제한되지 않는다. 그러므로, 가로선(strikethrough) 제스처, Z-형 제스처, 세로방향의 지움-표시 제스처, 원형 지움-표시 제스처, 각이진 지움-표시 제스처, 및 X-형 제스처 또는 2중 가로선 제스처를 포함하는 크로스 아웃을 포함하는 임의의 다양한 지움-표시 스타일이 이용될 수 있다.
일반적으로, 임의의 단일 스트로크가 지움-표시 제스처로서 인식될 수 있다. 지움-표시 스트로크를 잉킹 스트로크와 구별하는 예시적인 기준은 지움-표시가 (그 경계 박스와 교차하는) 이전에 인식된 단어 또는 문자의 최상부에 있어야 한다는 것 및/또는 지움-표시 스트로크가 이전에 인식된 단어 또는 문자의 너비에 대한 특정 비율의 (가로방향의) 너비를 가져야 한다는 것을 포함할 수 있다. 단어에 크로스 아웃을 하는 것(X-표 또는 2중 가로선 접근법)과 같은 지움-표시 스타일들을 허용하기 위하여, 이전의 지움-표시 제스처에 대한 스트로크 부합 타이밍 및/또는 근접도 기준은 동일한 지움-표시 제스처의 일부로서 고려된다.
일 구현에서, 자유형 선으로 된 기입 영역(free-formed lined writing area)에서, 지움-표시 제스처 스트로크가 하나 이상의 이전에 인식된 단어와 교차하고, 이 스트로크가 교차하는 이전에 인식된 단어 또는 단어들의 경계 박스의 너비의 임계율에 적어도 도달하는 경계 박스 너비를 가진다면, 이 스트로크를 단어 또는 단 어들에 대한 지움-표시 제스처로서 결정된다. 스트로크는 단어의 경계 박스와 또한 그 단어의 경계 박스의 너비의 소정의 양(예를 들면, 1/2) 이상만큼 교차되어야 하거나 지움-표시 스트로크의 일부가 단어 또는 단어들이 위치한 선의 기준선(baseline) 위에 있어야 한다. 실제로 측정된 단어 길이에 기초하여 서로 다른 임계치들이 (픽셀들과 같은 상대적인 거리를 포함할 수 있는) 거리에 이용될 수 있다.
다른 유형의 기입 입력 표면은 사용자가 박스당 한 문자를 입력하는 박스형태의 기입 영역을 포함한다. 일 구현에서, 지움-표시 제스처의 기준은 스트로크가 하나 이상의 이전의 인식된 문자들과 교차하여야 하며, 이 스트로크와 교차하는 이전에 인식된 문자 또는 문자들의 박스의 너비의 적어도 소정 임계율인 경계 박스 너비를 가진다는 것을 포함한다. 또한, 스트로크는 이 스트로크와 교차하는 문자 또는 문자들에 대한 박스 또는 박스들의 세로축의 중심(너비의 1/2)과 같은 점을 지나야 한다. 또한, 지움-표시 스트로크의 일부는 문자 또는 문자들이 위치한 선의 기준선 위에 위치해야 한다.
자유형 선으로 된 영역 및 박스 형태의 기입 영역에서, 단일 스트로크는 복수의 선들과 교차하는 박스들을 포함하는 복수의 박스들에 지움-표시할 수 있다. 단일 스트로크를 사용하여 한 선 상의 복수의 단어 또는 문자에 지움-표시를 행할 때, 지움 표시된 첫 단어 또는 문자와 마지막 단어 또는 문자 사이에 있는 단어들 또는 문자들은, 그 스트로크가 하나 이상의 이들 단어 또는 문자의 경계 박스와 교차하지 않거나 이들 단어 또는 문자 중 하나 이상에 대해 지움-표시로 결정되지 않 은 경우에도 삭제된다. 마찬가지로, 단일 스트로크를 사용하여 복수의 선 상의 단어들 또는 문자들에 지움 표시를 행할 때, 지움 표시된 첫 단어 또는 문자와 마지막 단어 또는 문자 사이에 있는 단어들 또는 문자들은, 이 스트로크가 이들 단어 또는 문자 중 하나 이상과 교차하지 않거나, 그렇지 않고 교차한다면 이들 단어 또는 문자들 중 하나 이상에 대해 지움-표시로서 결정되지 않는 경우에도 삭제된다.
단어에 지움 표시가 되고 이 단어가 마지막 단어가 아니라면, 다음 단어는 이 단어와 이전의 단어 간에 공간이 없고, 이 단어가 하나의 문자 길이인 경우 또한 지움 표시된다. 그러므로, 지움 표시 제스처가 이전의 단어를 삭제하지만 다음 단어와 반드시 교차하지 않는 경우에도 마침표와 같은 구두점은 문장의 끝까지 지움 표시된다.
다른 이점들은 도면과 관련하여 이루어진 이하의 상세한 설명으로부터 명백해질 것이다.
예시적인 운영 환경
도 1은 본 발명이 구현될 수 있는 적절한 컴퓨팅 시스템 환경(100)의 예를 나타낸다. 컴퓨팅 시스템 환경(100)은 단지 적절한 컴퓨팅 환경의 일 예이며 본 발명의 사용 또는 기능의 범위에 제한을 가하도록 의도된 것은 아니다. 컴퓨팅 환경(100)은 예시적인 운영 환경(100)에 도시된 컴포넌트들 중의 임의의 하나 또는 조합에 관하여 임의의 종속성(dependency) 또는 요구사항(requirement)을 갖는 것으로 해석되어서는 안된다.
본 발명은 많은 다른 범용 또는 특수목적 컴퓨팅 시스템 환경들 또는 구성들과 함께 동작될 수 있다. 본 발명과 함께 사용하기에 적합할 수 있는 잘 알려진 컴퓨팅 시스템, 환경, 및/또는 구성의 예로는, 퍼스널 컴퓨터, 서버 컴퓨터, 핸드헬드(hand-held) 또는 랩탑 장치, 태블릿 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 시스템, 셋탑 박스(set top box), 프로그램가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 상기의 시스템 또는 장치 중의 임의의 것을 포함하는 분산형 컴퓨팅 환경 등이 포함되지만, 이에 한정되지 않는다.
본 발명은 컴퓨터에 의해 실행되는, 프로그램 모듈과 같은 컴퓨터 실행가능 명령어의 일반적인 관점에서 기술될 수 있다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포함한다. 본 발명은 또한 통신 네트워크를 통해 링크된 원격 프로세싱 장치에 의해 태스크를 수행하는 분산형 컴퓨팅 환경에서 실행될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 장치를 포함하는 국부 및 원격 컴퓨터 저장 매체 내에 위치할 수 있다.
도 1을 참조하면, 본 발명을 구현하기 위한 예시적인 시스템은 컴퓨터(110)의 형태의 범용 컴퓨팅 장치를 포함한다. 컴퓨터(110)의 컴포넌트들로는, 프로세싱 유닛(120), 시스템 메모리(130), 및 시스템 메모리를 포함하는 다양한 시스템 컴포넌트를 프로세싱 유닛(120)에 연결시키는 시스템 버스(121)가 포함될 수 있지만, 이에 한정되는 것은 아니다. 시스템 버스(121)는 다양한 버스 아키텍처 중의 임의의 것을 사용하는 로컬 버스, 주변 버스, 및 메모리 버스 또는 메모리 컨트롤러를 포함하는 몇 가지 유형의 버스 구조 중의 임의의 것일 수 있다. 예로서, 이러한 아키텍처는 산업 표준 아키텍처(ISA) 버스, 마이크로 채널 아키텍처(MCA) 버스, 인핸스드 ISA(Enhanced ISA; EISA) 버스, 비디오 일렉트로닉스 표준 어소시에이션(VESA) 로컬 버스, 및 메자닌(Mezzanine) 버스로도 알려진 주변 컴포넌트 상호접속(PCI) 버스를 포함하지만, 이에 한정되는 것은 아니다.
컴퓨터(110)는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(110)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체, 분리형(removable) 및 비분리형(non-removable) 매체를 둘다 포함한다. 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있지만, 이에 한정되는 것은 아니다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래쉬 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 디스크 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터(110)에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다. 통신 매체는 통상적으로 반송파 또는 기타 전송 메카니즘 등의 변조된 데이터 신호에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 다른 데이터를 구 현하며, 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"라는 용어는 신호 내의 정보를 인코딩하도록 하나 또는 그 이상의 특성을 설정 또는 변경시킨 신호를 의미한다. 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속 등의 유선 매체와, 음향, RF, 적외선 및 기타 무선 매체 등의 무선 매체를 포함하지만, 이에 한정되지 않는다. 상술한 것들 중의의 임의의 조합이 또한 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
시스템 메모리(130)는 ROM(131) 및 RAM(132) 등의 휘발성 및/또는 비휘발성 메모리의 형태의 컴퓨터 저장 매체를 포함한다. 시동중과 같은 때에 컴퓨터(110) 내의 구성요소들 간에 정보를 전송하는 것을 돕는 기본 루틴을 포함하는 기본 입출력 시스템(133; BIOS)은 일반적으로 ROM(131)에 저장된다. RAM(132)은 일반적으로 프로세싱 유닛(120)에 즉시 액세스할 수 있고 및/또는 프로세싱 유닛(120)에 의해 현재 작동되는 프로그램 모듈 및/또는 데이터를 포함한다. 예로서, (한정하고자 하는 것은 아님) 도 1은 운영 체제(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136), 및 프로그램 데이터(137)를 도시한다.
컴퓨터(110)는 또한 다른 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 단지 예로서, 도 1에는 비분리형 비휘발성 자기 매체로부터 판독하거나 그 자기 매체에 기록하는 하드 디스크 드라이브(141), 분리형 비휘발성 자기 디스크(152)로부터 판독하거나 그 자기 디스크에 기록하는 자기 디스크 드라이브(151), 및 CD-ROM 또는 기타 광 매체 등의 분리형 비휘발성 광 디스크(156)로부터 판독하거나 그 광 디스크에 기록하는 광 디스크 드라이브(155)가 도시되어 있 다. 예시적인 운영 환경에서 사용될 수 있는 다른 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 매체는 자기 테이프 카세트, 플래쉬 메모리 카드, DVD(Digital versatile disk), 디지털 비디오 테이프, 고체 RAM, 고체 ROM 등을 포함하지만 이에 한정되지 않는다. 하드 디스크 드라이브(141)는 일반적으로 인터페이스(140)와 같은 비분리형 메모리 인터페이스를 통해 시스템 버스(121)에 접속되고, 자기 디스크 드라이브(151) 및 광 디스크 드라이브(155)는 일반적으로 인터페이스(150)와 같은 분리형 메모리 인터페이스에 의해 시스템 버스(121)에 접속된다.
앞서 기술되고 도 1에 도시된 드라이브 및 그 관련 컴퓨터 저장 매체는 컴퓨터(110)를 위한 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 기타 데이터의 저장을 제공한다. 도 1에서, 예를 들어, 하드 디스크 드라이브(141)는 운영 체제(144), 애플리케이션 프로그램(145), 기타 프로그램 모듈(146), 및 프로그램 데이터(147)를 저장하는 것으로 도시된다. 이들 컴포넌트는 운영 체제(134), 애플리케이션 프로그램(135), 기타 프로그램 모듈(136), 및 프로그램 데이터(137)와 동일할 수도 있고 다를 수도 있다. 운영 체제(144), 애플리케이션 프로그램(145), 다른 프로그램 모듈(146), 및 프로그램 데이터(147)는 최소한 다른 복사본(different copies)임을 나타내기 위하여 다른 번호를 부여하였다. 사용자는 일반적으로 마우스, 트랙볼, 또는 터치 패드라 불리우는 포인팅 장치(161), 키보드(162), 마이크로폰(163), 태블릿(전자 디지타이저)(164)과 같은 입력 장치를 통해 컴퓨터(110)에 명령 및 정보를 입력할 수 있다. (도시되지 않은) 기타 입력 장치는 조이스틱, 게임 패드, 위성 안테나, 스캐너 등을 포함할 수 있다. 이들 입력 장치 및 그외의 입력 장치는 시스템 버스에 연결된 사용자 입력 인터페이스(160)를 통해 종종 프로세싱 유닛(120)에 접속되지만, 병렬 포트, 게임 포트 또는 유니버설 시리얼 포트(USB)와 같은 기타 인터페이스 및 버스 구조에 의해 접속될 수 있다. 모니터(191) 또는 다른 유형의 디스플레이 장치는 또한 비디오 인터페이스(190) 등의 인터페이스를 통해 시스템 버스(121)에 접속된다. 모니터(191)는 또한 터치-스크린 인터페이스(192)와 같은 인터페이스를 통해 컴퓨터 시스템(110)으로 수기와 같은 디지털화된 입력을 입력할 수 있는 터치-스크린 패널(193) 등과 통합될 수 있다. 모니터 및/또는 터치 스크린 패널이 태블릿-유형 퍼스널 컴퓨터에서와 같이 컴퓨팅 장치(110)가 포함될 수 있는 하우징에 물리적으로 연결될 수 있음을 유의하며, 여기에서 터치 스크린 패널(193)은 본질적으로 태블릿(164)으로 작용한다. 그 외에도, 컴퓨팅 장치(110)와 같은 컴퓨터는 또한 출력 주변 인터페이스(194) 등을 통해 접속될 수 있는 스피커(195) 및 프린터(196) 등의 기타 주변 출력 장치를 포함할 수 있다.
컴퓨터(110)는 원격 컴퓨터(180)와 같은 하나 이상의 원격 컴퓨터로의 논리적 접속을 이용한 네트워크 환경에서 동작할 수 있다. 원격 컴퓨터(180)는 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어(peer) 장치, 또는 기타 공통 네트워크 노드일 수 있으며, 비록 도 1 에는 메모리 저장 장치(181)만이 도시되어 있지만, 컴퓨터(110)에 관하여 상술한 구성요소 중 다수 또는 모든 구성요소를 일반적으로 포함한다. 도 1에 도시된 논리적 접속은 근거리 통신망(LAN; 171) 및 원거리 통신망(WAN; 173)을 포함하지만, 그 외의 네트워크를 포함할 수도 있다. 이러한 네트 워크 환경은 사무실, 기업 광역 컴퓨터 네트워크(enterprise-wide computer network), 인트라넷, 및 인터넷에서 일반적인 것이다.
LAN 네트워크 환경에서 사용되는 경우, 컴퓨터(110)는 네트워크 인터페이스 또는 어댑터(170)를 통해 LAN(171)에 접속된다. WAN 네트워크 환경에서 사용되는 경우, 컴퓨터(110)는 일반적으로 인터넷 등의 WAN(173)을 통해 통신을 구축하기 위한 모뎀(172) 또는 기타 수단을 포함한다. 내장형 또는 외장형일 수 있는 모뎀(172)은 사용자 입력 인터페이스(160) 또는 기타 적절한 메카니즘을 통해 시스템 버스(121)에 접속될 수 있다. 네트워크 환경에서, 컴퓨터(110)에 관하여 도시된 프로그램 모듈 또는 그 일부분은 원격 메모리 저장 장치에 저장될 수 있다. 예로서 (한정하고자 하는 것은 아님), 도 1은 메모리 장치(181)에 상주하는 원격 애플리케이션 프로그램(185)을 도시한다. 도시된 네트워크 접속은 예시적인 것이며, 컴퓨터들간의 통신 링크를 구축하는 그 외의 수단이 사용될 수 있다고 인식될 것이다.
지움-표시 탐지
본 발명은 주로 전자 잉킹을 통하여 입력된 사용자 입력 데이터, 일반적으로 펜 디지타이저에서 전자 잉크로서 수신된 컴퓨터 펜(스타일러스) 입력에 관한 것이다. 일반적으로, 잉크는 자유형(freeform) 입력 영역에서 수신될 수 있는데, 여기에서 잉크는 단어들로 인식되며, 본 명세서에서 사용된 "단어"는 실제 단어는 아니지만, 몇 가지 방식으로 다른 단어들과 논리적으로 구분될 수 있는 하나 이상의 문자, 심볼 등의 임의의 조합 및 변경물일 수 있다. 잉크는 (통상적으로) 하나의 박 스 당 하나의 문자가 입력되는 박스 형태의 기입 영역에서 수신될 수도 있다. 단어 및 문자 기입 외에도, 본 발명은, 사용자가 이전에 입력된 단어 또는 문자들을 지우려고 할 때, 하나 이상의 이전에 입력된 단어들 또는 문자들의 세트들을 관통하는 선 또는 지워져야할 타이핑된(또는 인식된) 텍스트를 관통하는 것 등을 그림으로써, 입력하는 지움-표시 제스처 형태로 된 특정 전자 잉크를 탐지하고 구별한다. 이 구별은 제스처가 지움 표시인지 또는 다른 잉크인지를 판정하는 임계량 또는 임계율을 이용하여, 지움 표시될 수 있는 단어들 또는 문자들의 경계에 대하여 제스처의 위치 및 가로방향의 너비를 평가한다.
본 발명을 구현하는 다양한 방법은 유연성 있으며, 오직 몇 가지 대안만이 본 명세서에 기술된다고 이해될 것이다. 예를 들면, 몇몇의 구현에서, 단어 경계들은 텍스트로의 수기(handwriting-to-text) 인식기에 의해 결정된다. 그러나, 인식기가 이용가능하지 않거나, 사용자의 입력율에 뒤떨어지는 경우와 같은, 기입된 입력 간의 빈 공간(white space)을 평가하는 것과 같은, 단어 경계들을 묘사하는 다른 방식들이 채용될 수 있다. 예를 들면, 사용자가 시스템이 인식기를 가지고 있는지에 관계없이, 수기 입력에 지움 표시를 한 후 이 수기를 삭제할 수 있는 것과 같이, 실제로 본 발명에는 인식기도 필요하지 않다. 또한, 이 예에서는 영어 단어들이 사용되었지만, 본 발명은 언어에 독립적이다. 이와 같이, 본 발명은 본원에 사용된 임의의 특정 예들에 제한되는 것이 아니라, 오히려 일반적으로 컴퓨팅에 있어서의 이점과 장점을 제공하는 다양한 방식이 이용될 수 있다.
도 2를 참조해 보면, 펜 디지타이저(202) 및 터치 디지타이저(204)가 태블릿 입력 패널(210)이라 칭하는, 운영 체제 계층 컴포넌트에 적절한 드라이버(206 및 208)를 통해 연결되는 예시적인 아키텍처가 도시된다. 예시를 위하여, 각각의 입력 장치는 이 장치만의 드라이버를 가지는 것으로 도시되지만, 하나의 드라이버가 하나 이상의 장치의 입력을 처리할 수 있음을 유의한다.
도 2에 도시된 바와 같이, 태블릿 입력 패널(210)은 사용자가 스트로크에 대응하는 전자 잉크 데이터를 입력하는 수기 표면(212)을 포함하는 객체 등을 포함할 수 있다. 인식하는 바와 같이, 이러한 스트로크들은 인식기(216)로 전송될 수 있고, 이 인식기는, 예를 들면, 하나 이상의 단어와 같은 스트로크들에 기초하는 텍스트를 반환한다. 하나 이상의 단어가 반환되면, 이 단어들은 통상적으로 몇몇의 확률 데이터 또는 순위화(ranking)에 관련되며, 자동적으로 가장 확률이 높은 단어가 디폴트로 사용자에게 선택된다. 인식은 순간적이지 않기 때문에, 임의의 소정 시점에서 인식된 스트로크 데이터(텍스트)(220) 및 인식되지 않은 스트로크 데이터(222)가 있을 수 있다.
태블릿 입력 패널(210)은 서로 다른 유형의 수기 표면들을 지원한다. 표면들은 문자 입력, 소프트(예를 들면, QWERTY) 키보드, 및 박스 형태의 입력 영역(도 4의 430)에 대한 편집 기능을 가지는 (예를 들면, 선으로 된) 자유형 텍스트 인식 패널로서 설정될 수 있는 자유형 기입 영역(도 3의 320)을 포함하는데, 이 영역에서 수기는 포맷팅된 필드를 완료 등을 하기 위하여 분리된 문자들로서 입력된다. 잉크는 자유형 잉킹 영역에서 수신될 수 있지만, 일 구현 예에서는 사용자가 한번에 한 줄의 잉크를 입력하는 선으로 된 입력 영역들에서의 자유형 기입으로 사용자 를 제한함에 유의한다. 이는 그렇지 않을 경우에 사용자가 임의의 방향 및/또는 임의의 구성으로 작성할 수 있을 때에 보다 어려워지는 단어들 간의 경계를 결정하는 것을 쉽게 한다.
본 발명의 다양한 양태에 따르면, 지움-표시 탐지기(224)는 다양한 임계치-기반 규칙을 적용하여, 지움-표시 제스처들과 다른 잉크 입력을 구별하고, 또한 임계치-기반 규칙을 적용하여 지움-표시 제스처가 어떤 단어 또는 박스에 관한 것인지를 결정한다. 이를 위하여, 표면(212)은 지움-표시 제스처 탐지기(224)에 인식되지 않은 스트로크 데이터를 제공하고, 그 다음 이 탐지기(224)는 이 스트로크 데이터를 인식된 스트로크 데이터(텍스트 단어 또는 단어들 또는 박스 형태의 문자 또는 문자들)(220)와 비교하여 스트로크가 지움-표시 제스처를 포함하는지 여부를 판정한다. 지움-표시 제스처 탐지기(224)는 표면(212)에 결과들을 반환하고, 지움-표시 제스처인 경우, 이 결과는 지워야할 단어들 및 스트로크 또는 스트로크들을 포함한다. 비-지움-표시 제스처인 경우, 스트로크가 인식기(216)에 전달되는 잉크 데이터의 일부로서 제공되는 결과가 일어난다. 이는 단지 스트로크를 처리하는 한 예시적인 메카니즘일 뿐임을 유의한다.
예를 들면, 대안적인 메카니즘에서는 인식기가 사용자에게 편의를 도모하여 사용자가 스트로크들을 다시 보고 이들에게 지움 표시를 하는 것보다 느리게 인식하도록 스트로크들을 처리하는 경우도 다룰 수 있다. 예를 들면, 인식보다는 간격에 기초하여 단어 경계들을 추정할 수 있는 (도 2의 점선으로 된 박스들 및 선들로 도시된 바와 같이) 선택사항인 경계 탐지기(226)가 다른 제스처들과 지움-표시를 구별하기 위한 지움-표시 제스처 인식 탐지기(224)에 의해 이용될 수 있다. 이러한 경계 탐지기(226)는 인식 결과 등과 함께 다른 시점들에 이용될 수 있음을 유의한다. 어떠한 경우라도, 몇 가지 사전-인식 경계 정의가 존재하는 한, 인식되지 않은 스트로크들에 대한 지움-표시 탐지를 대안으로 구현하는 것은 간단한 것이다.
상술한 바와 같이, 다른 시스템(예를 들면, 신경망-기반 시스템)과는 다르게, 본 발명의 지움-표시 제스처 탐지기(224)는 단어 및 문자 경계들을 이용하여 지움-표시 판정을 함으로써, 이로 인해 지움-표시는 임의의 소정의 지움-표시 제스처에 한정되지 않는다. 예를 들면, 스트로크들의 방향, 스트로크들의 순서, 또는 지그재그형으로 된 선의 개수에 대하여 어떠한 제약사항도 존재하지 않는다. 대신에, 지움-표시 탐지기(224)는 본질적으로, 선으로 된 기입 영역(320)인 경우, 사용자는 지움-표시 제스처들을 단어들 또는 박스 형태의 문자들과 구별하기 위하여 (그림 또는 도안을 그리는 것과 대조적으로) 텍스트만을 기입한다고 가정한다. 그러므로, 임의의 다양한 지움-표시 스타일이 이용될 수 있다. 지움-표시 제스처들로 인식될 몇몇의 스타일은 가로선 제스처, Z-형 제스처, (예를 들면, M 또는 W의 일반적인 패턴으로 된) 세로방향의 지움-표시 제스처, 원형 지움-표시 제스처, 각이진 지움-표시 제스처, 및 X-형 제스처 또는 2중 가로선 제스처를 포함하는 크로스 아웃 하기를 포함한다. 사용자의 개인적인 지움-표시 스타일이 또한 지움-표시 제스처로서 작용하거나, 작용하도록 구성될 것이다.
일반적으로, 임의의 단일 스트로크는 미리 정해지거나 시스템을 훈련시키는 사용자에 기초하는 등으로써, 확립된 기준에 기초하는 지움-표시 제스처로서 인식 될 수 있다. 일 구현에서, 크로스 아웃(예를 들면, X-형 또는 2중 가로선) 제스처는 지움-표시를 위해 분석되고 있는 제1 스트로크가 될 것이고, 제1 스트로크가 지움-표시라 판정되면, 상술한 바와 같이, 제2 스트로크가 지움-표시 스트로크에 대한 제2 스트로크의 타이밍 및 근접도에 기초하여, 지워지거나 이후의 잉크 스트로크로서 고려된다. 그러므로, 2개의 (및 가능하면 그 이상의) 시간 간격이 짧고 거리가 가까운 지움-표시 스크로크들은 단일 지움-표시로 고려될 것인 한편, 하나의 지움-표시 스트로크의 뒤에 또 다른 스트로크가 상당한 시차를 두고/거나 지움-표시 스트로크로부터 멀리 떨어지면 새로운 잉크라고 고려할 것이다. 이와 같이 하여, 사용자는 다른 잉크에 지움 표시를 한 후 어느 정도 후에 잉크를 입력할 수 있지만, 여전히 복수의 시간 간격이 짧은 지움 표시된 스트로크들을 이용한다.
지움-표시 스트로크를 잉킹 스트로크와 구별하는 예시적인 기준은 지움-표시가 이전에 인식된 단어 또는 문자의 최상부에 있어야 한다는 것, 및/또는 지움-표시 스트로크가 이전에 인식된 단어 또는 문자의 너비에 대한 특정 비율의(가로방향의) 너비를 가져야 한다는 것을 포함할 수 있다. 비교를 위하여 경계 박스들을 계산할 수 있다.
일 구현에서, 도 3에 도시된 영역(320)과 같이 자유-형 선으로 된 기입 영역에서, 스트로크는 복수의 기준을 만족시킬 때 단어 또는 단어들에 대한 지움 표시 제스처로서 결정된다. 자유-형 단어 기입에 대한 기준은 지움-표시 제스처 스트로크가 (적어도 하나의 문자를 포함하는) 하나 이상의 이전에 인식된 단어와 교차하고, 적어도 스트로크와 교차하는 이전에 인식된 단어 또는 단어들의 경계 박스의 너비의 임계율(예를 들면, 80%)에 도달하는 경계 박스 너비를 가지는 것을 포함한다. 이는 일반적으로 도 5a에 도시되며, 이 도면에서는 수기 단어 "cream" 위에 상당량 위치된 긴 스트로크가 지움 표시 제스처로서 고려되고, 이에 비하여 도 5b에서의 스트로크는 충분히 길지 않다.
또한, 이 구현에서, 스트로크는, 예를 들면, 밑줄 및/또는 문자의 아래로 향하는 부분과 지움-표시 제스처를 혼동하지 않기 위하여, 단어의 경계 박스가 소정 양(예를 들면, 1/2) 이상의 단어의 경계 박스의 너비만큼 교차해야 하며, 지움-표시 스트로크의 일부가 단어 또는 단어들이 위치한 선에 대한 기준선의 위에 위치해야 한다. 그러므로, 도 6a 및 7a의 제스처들은 지움-표시 제스처인 반면, 도 6b 및 7b의 제스처들은 지움-표시 제스처가 아니며, 여기에서 6a 및 6b의 점선은 너비-기준 중심을 나타내고, 도 7a 및 7b의 점선은 기준선을 나타낸다.
예를 들면, "it" 등의 1개나 2개의 문자 단어와 같이, 인치 또는 픽셀과 같은 소정의 임계 거리 단위에 대하여 측정된, 너비가 짧은 단어들에 대하여, 스트로크는 임계율의 경계 박스 너비가 전술한 것보다 큰, 통상적으로 단어 너비의 100%보다 큰 너비가 되어야 한다. 예를 들면, 한 구현은 (적절한-사이즈의 태블릿 상의) 1/2-인치와 같이 소정 임계 길이에 도달하지 않은 임의의 단어에 대하여, 지움-표시 제스처로서 결정하기 위하여, 스트로크 너비가, 소정의 다른 % 값, 예를 들면, 스트로크가 교차하는 이전에 인식된 단어 또는 단어들의 박스의 너비의 적어도 (상기 예의 80% 값과는 다르게) 120%가 되어야 하는 것을 요구할 수 있다. 그러므로, 도 8a의 예에서, 스트로크는 이러한 기준을 만족한 것인 한편, 도 8b에서는 그 렇지 않다. 도 8b에서, 잘못된 인식 이후의 사용자의 "교정(fix-up)" 동작 등으로 소문자 "l" 문자를 "T" 또는 "t" 문자로 바꾸려는 시도가 짧은 스트로크에서는 어느 정도 나타남을 유의한다. 다른 사이트 기준은 다른 % 값을 가질 수 있다고 쉽게 인식될 수 있다. 예를 들면, 너비가 1/2 인치보다 크며 2/3 인치 이하인 단어에 지움 표시를 하기 위하여, 지움-표시 제스처로서 결정하려면 스트로크는 (도 6a 및 6b의 80% 임계치 예 또는 도 8a 및 8b의 120% 임계치 예와는 다르게,) 스트로크가 교차하는 이전에 인식된 단어의 박스의 너비의 100% 이상인 경계 박스 너비를 가져야 한다. 너비가 1/2 인치보다 작은 단어들에 대하여 지움-표시 스트로크는 일반적으로 단어의 세로방향 액세스의 중심에 위치해야 한다는 것과 같은 다른 기준이 채용될 수 있다.
상술한 바와 같이, 다른 유형의 기입 엔트리 표면은 도 4에 도시된 것과 같은 박스 형태의 기입 영역을 포함한다. 박스 형태의 기입 영역에서, 스트로크가 특정 다른 기준을 만족시킬 경우 이 스트로크는 박스 또는 박스들에 관련된 지움-표시 제스처로서 정의된다. 일 구현에서, 이러한 기준은 스트로크가 하나 이상의 이전에 인식된 문자들과 교차하여야 하며, 이 스트로크와 교차하는 이전에 인식된 문자 또는 문자들의 박스의 너비의 적어도 소정 임계율(예를 들면, 120%)인 경계 박스 너비를 가지는 것을 포함한다. 또한, 스트로크는 이 스트로크와 교차하는 문자 또는 문자들에 대한 박스 또는 박스들의 세로축의 중심(너비의 1/2)을 지나야 한다. 지움-표시 스트로크의 일부는 문자 또는 문자들이 위치한 선의 기준선 위에 위치해야 한다.
지움-표시는 박스의 전체 내용을 삭제함을 유의한다. 그러므로, 박스 형태의 입력 영역의 박스가 복수의 문자를 포함할 때, 지움-표시 제스처는 박스 내의 모든 문자를 삭제한다. 단일 스트로크가 복수의 선들과 교차하는 박스들을 포함하는 복수의 박스에 지움 표시를 하는 것이 가능하다.
자유형 선으로 된 영역 및 박스 형태의 기입 영역에 특정 규칙들을 적용할 수 있다. 예를 들면, 단어에 크로스 아웃을 하는 것(X-표 또는 2중-가로선 접근법)과 같은 지움-표시 스타일들을 허용하기 위하여, 특정 기준을 만족하는 스트로크는 다른 잉크 스트로크와 교차하지 않는 경우에도 지움-표시 제스처로서 결정된다. 그러므로, 이전의 스트로크가 지움-표시 제스처였을 때 이 이전의 스트로크에서 펜을 떼어낸 이후에 짧은 시간(예를 들면, 1초) 이내에 스트로크가 추가된다면, 스트로크는 동일한 지움-표시 제스처의 일부로서 고려될 수 있다. 평가될 수 있는 다른 기준은 스트로크가 이전에 지움 표시된 경계 박스의 합집합과 합집합이 된 경계 박스의 너비의 소정 확률(80%)보다 큰 만큼 교차하고 이 스트로크는, 교차하는 잉크 스트로크 대신 이전에 삭제된 잉크의 경계 박스를 이용하여, 지움-표시 제스처가 되기 위한 다른 기준을 만족하는 것이다.
단어에 지움 표시가 되고, 이 단어가 마지막 단어가 아니라면, 이 단어와 이전의 단어 간이 공백이 없을 때와 마찬가지로 다음 단어가 삭제되고, 단어는 하나의 문자 길이이다. 그러므로, 지움-표시 제스처가 이전의 단어를 삭제하는 경우에도 문장의 끝에서 마침표에 지움 표시가 되지만, 이 마침표는 반드시 교차될 필요가 없다.
선 상의 복수의 단어 또는 문자에 지움 표시를 하는 데에 단일 스트로크가 이용되면, 지움 표시된 첫 단어 또는 문자와 마지막 단어 또는 문자 사이의 단어들 또는 문자들은, 스트로크가 이들의 경계 박스 중 하나 이상과 교차하지 않거나, 이들 중 하나 이상에 관련된 지움-표시로서 결정되지 않는 경우에도 삭제된다. 그러므로, 예를 들면, 도 9에서, 가운데 단어 "Ice"는, 단일 제스처로 지움-표시되는 2개의 단어들 간에 있기 때문에 스트로크가 이 단어의 기준선 아래에 있을 때에도, 이 단어는 스트로크가 경계 박스와 그다지 많이 교차하지 않는 경우에도 역시 지움 표시가 될 것이다. 마찬가지로, 복수의 선들 상의 단어들 또는 문자들에 지움 표시를 하는 데에 단일 스트로크가 이용될 때, 지움 표시된 첫 단어 또는 문자와 마지막 단어 또는 문자 간의 단어들 또는 문자들은, 스트로크가 이들 중 하나 이상과 교차하지 않거나, 그렇지 않고 교차하는 경우에도, 이들 중 하나 이상에 관련되는 지움-표시로 결정되지 않을 경우에도 삭제된다.
지움 표시 탐지 메카니즘의 동작의 설명으로 돌아가면, 도 10은, 단계(1002)에 나타난 바와 같이, 새로운 스트로크가 수신될 경우의 예시적인 프로세스를 도시한다. 단계(1004)는 스트로크가 이전의 지움-표시 제스처의 제2 스트로크인지 여부를 검사하며, 이 검사는 상술한 바와 같이, 사용자가 제1 지움 표시 제스처를 작성하고, 펜을 놓은 다음, 제2 제스처를 작성할 때 일어난다. 상술한 바와 같이, 단계(1004)에서는 포함하는 고려사항들이 사용자가 복수의-스트로크 제스처를 의도하는지 지움-표시 제스처 뒤에 오는 새로운 스트로크를 의도하는지를 구별하는 데에 이용된다. 스트로크가 지움-표시 제스처의 제2 스트로크였던 경우, 제1 스트로 크는 지움-표시 제스처였다고 이미 판정되었고, 지움 표시될 단어 또는 단어들(또는 박스 또는 박스들)이 알려지며, 따라서 단계(1006)에서 새로운 스트로크가 자동적으로 지워질 수 있다. 그 다음 프로세스는 다른 새로운 스트로크가 탐지될 때까지 종료된다.
단계(1004)로 돌아가서, 지움-표시의 제2 스트로크가 아닌 경우, 가능한 지움-표시 제스처가 적용되는 단어들 또는 박스들, 즉 스트로크와 교차하는 것들의 리스트의 생성을 본질적으로 나타내는 단계(1008)가 대신 실행된다. 자유형(예를 들면, 선으로 된 표면) 입력에 대한 도 11a 및 도 11b, 및 박스 형태의 입력에 대한 도 13에 관련하여 상술한 바와 같이, 스트로크가 지움-표시 제스처인지, 그렇다면, 어떤 단어(들) 또는 박스(들)에 이 스트로크가 적용되는지를 판정하는 데에 다양한 평가들이 수행된다. 본질적으로 사용자가 자유형 입력 표면에 기입하고 있는지 또는 박스 형태의 입력 표면에 기입하고 있는지 여부를 판정하는 것을 포함하여 단계(1008)를 통해 인보크(invoke)될 때, 도 11a 및 11b는 0개 이상의 단어의 리스트를 생성하고 반환한다. 대안으로 단계(1008)를 통해 인보크될 때, 도 13은 0개 이상의 박스의 리스트를 생성하고 반환한다.
바람직하게는, 도 11a 및 11b 또는 도 13이 인보크된 이후에, 단계(1010)는 단어들 또는 박스들의 리스트가 비었는지 여부를 평가한다. 비었다면, 단계(1010)는 스트로크를 잉크 스트로크로서 처리하는 단계(1012)로 진행하고, 그렇지 않다면 스트로크 및 리스트 내의 단어들 또는 박스를 지우는 단계(1014)가 실행된다. 그 다음 프로세스는 종료된다.
상술한 바와 같이, 도 11a 및 11b는 사용자가 자유형 표면에 새로운 스트로크를 입력할 때 인보크되어, 스트로크가 지움-표시 제스처인지 여부를 판정하고, 그렇다면, 삭제될 단어들의 리스트를 생성하는 프로세스의 일부를 나타낸다. 이를 위하여, 도 11a 및 11b는 일반적으로 도 12a 및 12b를 참조하여 후술될 임계치 평가들에 기초하는 단어 규칙들을 포함하는 다양한 규칙에 대하여 스트로크를 평가한다.
도 11a는 단계(1102)에서 스트로크가 하나 이상의 선과 교차하는지 여부를 판정함으로써 이 평가를 시작한다. 교차한다면, 단계(1104)에서 선 경계는 본질적으로 모든 단어에 대한 가상 잉크 경계 박스를 스트로크와 교차하는 가장 위의 선의 최상부 및 가장 아래 선의 최하부로 연장함으로서, 하나의 선으로부터 복수의 선으로 변경된다. 하나 이상의 선이 교차하지 않는다면, 단계(1104)를 건너뛴다.
그 다음 단계(1106)는 적어도 현재에는, 정규 임계치 만큼 스트로크와 교차하는 경계 박스를 가지는 선 내의 모든 단어들을 리스트에 추가한다. 스트로크와 단어의 교차는 경계 박스가 상수 임계치 양 만큼 스트로크와 교차할 것을 요구한다.
단계(1108)는 리스트가 오직 하나의 단어를 포함하는지 여부를 검사한다. 그렇지 않다면, 프로세스는 후술될 도 11b로 계속된다. 오직 하나의 단어를 포함한다면, 리스트 내에는 오직 하나의 단어가 존재하고, 이하, 도 12a 및 12b를 참조하여 후술될 바와 같이 스트로크 길이를 검사하고 이 단어가 적어도 경계 박스의 중심으로 연장되는지 여부를 검사하는 단계(1110)가 실행된다. 중심으로 연장되지 않는다면, 지움 표시될 단어는 존재하지 않고, 프로세스는 도 10으로 복귀하여 종료한다. 그렇지 않다면, 프로세스는 도 11b로 계속된다.
도 11b는 예외, 즉 리스트 내의 마지막 단어가 이후의 공간 없이 하나의 문자 단어 앞에 있는지를 검사한다. 마찬가지로, 첫 번째 단어가 이전의 문자에 대하여 평가된다. 상술한 바와 같이, 이는 마침표, 물음표, 느낌표, 작은 따옴표, 쉼표, 따옴표 및 기타 문자 등과 같은 (단어들의 앞이나 뒤에 오는) 구두점을 처리한다. 이전의 하나의 문자 단어 및 이후의 하나의 문자 단어를 처리하는 것은 또한 언어-의존성을 돕는다는 것, 예를 들면, 스페인어의 물음표 문자는 물음표 문자("?")가 문장의 마지막에 오는 방식과는 반대로 문장의 앞에 오는 것으로 나타냄을 유의한다. 이는 또한, 아랍 기초어 또는 히브리어과 같이 우에서 좌 방향(RTL) 언어로 지움-표시 동작들을 처리한다. 단일 문자 단어는 단어의 일부일 가능성이 있기 때문에, 단계(1120)는 이러한 경우를 검색하고, 찾아내면, 단계(1122)에서 이전의 및/또는 이후의 하나의 문자 단어(또는 단어들)를 리스트에 추가한다.
단계(1124)는 복수의 선 지움 표시를 검색하고(그러나 하나의 선에서의 처음단어와 마지막 단어 사이에 임의의 단어들이 존재하는지 여부 또한 탐색한다), 그렇다면, 지움 표시된 처음 단어와 마지막 단어 사이의 임의의 단어들을 리스트에 추가한다. 동시에, 지워질 단어들의 리스트가 알려지고, 프로세스는 도 10의 단계(1010)로 복귀한다.
도 12a 및 12b는 선으로 된, 단일 단어 지움-표시 평가의 예를 보다 상세히 도시한다. 도 12에는 다음의 약어들이 사용된다.
Min 단어 너비 = 단어의 잉크 경계 박스의 최소 너비

Min SC 너비 = 지움-표시 스트로크의 최소 너비

단어 T1 = 단어의 잉크 경계 박스의 임계값

SC T1 = (% 단위) 단어 너비 T1에 대한 지움 표시 스트로크 너비의 임계값

단어 T2 = (단어 T1 < 단어 T2) 단어의 잉크 경계 박스의 임계값

SC T2 = 단어 너비 T2에 대한 지움 표시 스트로크 너비의 임계값(% 단위, SC T1 > SC T2)

WBBox = 단어의 잉크 경계 박스.

SC 너비 = 지움-표시 스트로크의 너비

SC T0 =(% 단위, SC T2 > SC T0) T2 보다 큰 단어 너비에 대한 지움 표시 스트로크 너비의 임계값
도 12a에서, 단계(1202)는 상술한 바와 같이, 단어의 잉크 경계 박스를 최소값, 예를 들면, 1/2 인치에 대하여 평가한다. 최소값보다 작다면, 단계(1202)는 지움-표시 스크로크 너비가 지움 표시 스트로크 너비의 임계값과, 단어 너비에 대하여(예를 들면, %로), 비교되는 단계(1204)로 진행한다. 최소값보다 크다면, 프로세스는 후술될 도 12b로 계속된다. 그렇지 않으면 단계(1204)는 단어가 리스트에 포함되지 않는 단계(1210)로 진행한다.
단계(1202)로 돌아가서, 최소값에 도달한다면, 단어의 잉크 경계 박스의 임계값에 대하여 단어의 잉크 경계 박스를 평가하는 단계(1206)가 실행된다. 임계값보다 작다면, 단계(1206)는 지움-표시 스트로크의 너비가 다른 기준에 대하여 평가되는 단계(1208)로 진행한다. 단계(1208)에 나타난 바와 같이, 스트로크 너비는 최소 지움 표시 스트로크 너비 이상이고, 또한 지움 표시 스트로크의 너비의 단어 너비에 대한 % 임계값과 단어의 잉크 경계 박스의 곱보다 커야 하는데, 그렇지 않다면 단어는 단계(1210)에 의해 포함되지 않는다. 단계(1208)에서 2개의 기준을 다 만족한다면, 프로세스는 후술될 도 12b에 의한 평가로 계속된다.
단계(1206)으로 돌아가면, 잉크 경계 박스가 임계값을 초과할 때, (단어 T1< 단어 T2인) 단어의 경계 박스의 임계값에 대하여 경계 박스를 비교하는 단계(1212)가 실행된다. 경계 박스가 단어 임계값 보다 작다면, 프로세스는 단계(1214)로 계속되고, 그렇지 않다면, 프로세스는 정규 임계값에 대한 핸들러인 단계(1216)로 계속된다. 단계(1216)에서, 지움-표시 스트로크의 너비가 (%로 된) 단어의 잉크 경계 박스의 임계값과 단어 너비 T2에 대한 지움 표시 스트로크의 임계값의 곱에 대하여 평가되고, (%로 된) T2보다 큰 단어 너비에 대한 지움 표시 스트로크 너비의 임계 값과 단어의 잉크 경계 박스의 곱에 대하여 평가된다. 스트로크 너비가 이 둘 이하라면, 단어는 단계(1218)에 의하여 포함되지 않고, 그렇지 않다면, 프로세스는 스트로크 데이터의 다른 프로세싱을 위하여 도 12b로 계속된다.
그렇지 않으면 단계(1212)의 "예" 분기가 지움-표시 스트로크의 너비를 분석하는 단계(1214)로 진행한다. 상세히는, 단계(1214)에서 지움-표시 스트로크는 최소한 단어의 잉크 경계 박스의 임계값과 단어 너비에 대한 지움 표시 스트로크 너비의 % 임계값과의 곱과 같은 너비어야 하며, 최소한 경계 박스와 단어 너비에 대한 지움 표시 스트로크 너비의 % 임계값의 곱과 같은 너비어야 한다. 이를 만족시키지 못할 경우, 단어는 단계(1218)에 의하여 포함되지 않으며, 만족시킨다면 프로세스는 도 12b로 계속된다.
도 12b에서, 단계(1220)는 스트로크를 복수의-선 지움 표시에 대한 것인지 평가한다. 복수의-선 지움 표시에 대한 것이라면, 단어는 단계(1226)에 의하여 지움 표시 리스트에 추가되고, 프로세스는 본래의 도 11의 단계(1110)로 복귀한다. 그렇지 않다면, 단계(1224)는 지움-표시 스트로크가 단어의 경계 박스에 대하여 중앙에 위치되었는지(예를 들면, 스트로크의 소정의 일부가 가로축을 교차했는지)를 판정한다. 교차했다면, 단어는 단계(1226)에 의해 지움 표시 리스트에 추가되고, 그렇지 않다면, 단어는 단계(1228)에 의해 포함되지 않는다. 그러므로 도시된 바와 같이, 자유-형 입력된 단어들은 경계 박스 및 가능한 지움-표시 스트로크 또는 스트로크들에 대한 다양한 임계 규칙에 기초하여 처리되므로 스트로크들의 다양한 스타일이 지움-표시 스트로크로서 인식될 수 있다.
도 10의 단계(1008)로 돌아가면, 도 11a을 통한 프로세싱 대신에, 도 13을 통한 박스 형태의 입력 영역에 대한 리스트가 생성된다. 단계(1302)는 일반적으로 도 14에 의해 결정되는 바와 같이 정규 임계치 만큼 스트로크와 교차하는 텍스트를 가지는 박스들을 리스트에 추가하는 단계를 나타낸다. 도 14에서, 다음의 약어들이 사용된다.
박스 T1 = 와이드 박스의 임계값

SC T0 = (% 단위) 정규 박스에 대한 지움 표시 스트로크 너비의 임계값

SC T1 = (% 단위) 와이드 박스에 대한 지움 표시 스트로크 너비의 임계값

BBox = 박스의 너비

SC 너비 = 지움 표시 스트로크의 너비
단계(1402)에서 시작하면, 프로세스는 박스의 너비가 와이드 박스의 임계값 을 초과하는지 여부를 평가한다. 초과한다면, 단계(1404)는 스트로크 너비를 박스 너비와 정규 박스에 대한 지움-표시 스트로크 너비의 % 임계값의 곱과 비교한다. 단계(1404)에서 스트로크 너비가 충분히 길다면, 단계(1404)는 박스가 리스트에 추가되는 단계(1410)로 진행한다. 그렇지 않다면, 박스는 리스트에 포함되지 않는다.
그렇지 않고 단계(1402)에서 박스의 너비가 와이드 박스의 임계값을 초과하지 않는다면, 단계(1402)는 스트로크 너비가 박스의 너비와 와이드 박스에 대한 지움-표시 스트로크 너비의 % 임계값의 곱과 비교된다. 스트로크 너비가 이 임계값에 도달하면, 단계(1410)에서 박스가 리스트에 추가되고, 그렇지 않다면 이 박스는 단계(1408)에 의해 포함되지 않는다.
도 13을 참조해보면, 단계(1304)는 스트로크가 하나 이상의 선과 교차하는지 여부를 판정한다. 교차한다면, 그 사이의 박스들을 리스트에 포함시키는 단계(1306) 실행된다. 그렇지 않으면, 이 단계를 건너뛴다. 어떠한 경우라도, 단계(1308)에 나타난 바와 같이 삭제될 (0 이상의) 박스들의 리스트는 이때 완료되며 프로세스는 상술한 바와 같이 리스트가 이용되는 프로세스가 도 10으로 복귀한다. 마찬가지로, 박스 형태의 기입 영역 내의 지움-표시 제스처들은 다양한 지움 표시 제스처들이 삭제될 수 있게 하는 경계/임계치-기반 방식으로 유사하게 처리된다.
전술한 상세한 설명으로부터 알 수 있는 바와 같이, 지움-표시 제스처에 대한 사용자의 의도를 평가하는 데에 경계 박스 및 임계치를 이용하는 시스템 및 방법이 제공된다. 지움-표시 제스처들의 스타일은 거의 제한되지 않으며, 사용자는 지움-표시 제스처를 다른 잉크 입력과 구별하도록 작성하는 데에 펜을 보다 잘 조작할 수 있다.
본 발명은 다양한 수정물 및 대안적인 구성물들을 포함할 수 있지만, 도면에는 본원의 특정 예시된 실시예가 도시되고 앞서 상세히 기술하였다. 그러나, 본 발명을 개시된 특정 형태 또는 형태들로 제한하려는 의도는 없으며, 오히려, 본 발명의 사상 및 범위 내에 포함되는 모든 수정물, 대안적인 구조, 및 동등물들을 수용하려고 의도한다고 이해되여야 한다.
예를 들면, 펜을 통해 입력된 다른 전자 잉크로부터 지움-표시 제스처들을 탐지하고 구별하는 컴퓨터로 구현된 시스템 및 방법이 기술된다. 시스템 및 방법은 구별을 위한 경계-기반 기준을 비교하며, 특정된 형태의 지움-표시 패턴을 가져야 할 필요 없이, 매우 다양한 지움-표시 스타일들이 탐지될 수 있게 한다. 기준은 잠재적인 지움-표시 제스처가 이전에 인식된 단어들 또는 문자들과 교차하는지 여부, 지움-표시 제스처가 적어도 단어 또는 문자 경계 박스의 너비의 임계율인 너비를 가지는지 여부, 전자 잉크가 경계 박스의 중점 밖으로 연장하는지 여부, 및 지움-표시 제스처의 적어도 몇몇의 일부가 단어 또는 문자의 기준선 위에 있는지 여부와 같은 경계-기반 평가를 포함한다. 자유형 입력 기입 영역 및 박스 형태의 입력 기입 영역에 입력된 지움-표시 제스처가 지원된다.

Claims (21)

  1. 디지타이저로부터 전자 잉크를 수신하는 수기 표면 컴포넌트, 단어들 또는 문자들의 경계에 대응하는 경계 정보를 제공하는 컴포넌트 및 상기 수기 표면 컴포넌트와 상기 경계 정보를 제공하는 컴포넌트에 연결된 지움-표시(scratch-out) 제스처 탐지기를 포함하는 컴퓨팅 장치에서, 지움-표시 제스처를 직관적으로 적용하기 위한 컴퓨터로-구현된 방법으로서,
    상기 지움-표시 제스처 탐지기는 또한 상기 수기 표면 컴포넌트에서 수신된 전자 잉크를 상기 경계 정보에 기초하는 기준에 대하여 평가하여 상기 전자 잉크가 복수의 서로 다른 수용가능한(acceptable) 지움-표시 제스처 유형 중 어느 유형에 대응하는지 여부를 판정하고,
    상기 방법은
    상기 지움-표시 제스처 탐지기가 복수의 서로 다른 수용가능한 지움-표시 제스처 유형을 이전에 입력된 잉크를 삭제하는 지움-표시 제스처 프로세스와 연관시키는 단계;
    상기 컴퓨팅 장치가 상기 컴퓨팅 장치의 수기 표면 컴포넌트에서 디지타이저를 통해 입력된 잉킹 데이터에 대응하는 사용자 입력을 수신하는 단계;
    상기 지움-표시 제스처 탐지기가, 상기 사용자 입력이 상기 복수의 서로 다른 수용가능한 지움-표시 제스처 유형 중 적어도 하나에 대응하는 지움-표시 제스처인지와 상기 지움-표시 제스처 프로세스로 하여금 이전에 입력된 잉크를 삭제하게 할지 여부를 판정하기 위하여, 상기 컴퓨팅 장치에 의해 디스플레이된 적어도 하나의 대응하는 단어 또는 문자의 경계 임계치 데이터에 기초하여 상기 잉킹 데이터를 평가하는 단계를 포함하고,
    a) 상기 잉킹 데이터가 지움-표시 제스처라면, 상기 지움-표시 제스처에 대응하는 이전에 입력된 잉크 뿐만 아니라, 상기 지움-표시 제스처에 대응하는 잉킹 데이터를 삭제하고,
    b) 상기 잉킹 데이터가 지움-표시 제스처가 아니라면, 상기 잉킹 데이터를 단어 또는 문자 중 적어도 일부의 잉크 스트로크 데이터로서 처리하는 방법.
  2. 제1항에 있어서,
    상기 디지타이저를 통해 입력된 잉킹 데이터에 대응하는 사용자 입력을 수신하는 단계는 컴퓨터 펜으로 입력된 데이터를 수신하는 단계에 대응하는 방법.
  3. 제1항에 있어서,
    상기 잉킹 데이터는 가능한 지움-표시 제스처로서 자유형 기입 영역(freeform writing area)에서 수신되고, 상기 경계 임계치 데이터는 이전에 입력된 단어 또는 문자의 경계 박스(bounding box)에 기초하고, 상기 잉킹 데이터를 평가하는 단계는 상기 제스처의 너비를 상기 경계 박스의 너비에 비교하는 단계를 포함하는 방법.
  4. 제1항에 있어서,
    상기 경계 임계치 데이터에 기초하여 상기 잉킹 데이터를 평가하는 단계는 상기 제스처가 특정 지점을 지나 이전에 입력된 단어 또는 문자의 경계 박스로 연장되는지 여부를 판정하는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    상기 잉킹 데이터는 가능한 지움-표시 제스처로서 자유형 기입 영역에서 수신되고, 상기 경계 임계치 데이터는 이전에 입력된 단어 또는 문자의 경계 박스에 기초하고, 상기 잉킹 데이터를 평가하는 단계는 상기 경계 박스의 너비를 최소 사이즈와 비교하는 단계, 상기 경계 박스의 너비가 상기 최소 사이즈보다 작다면, 상기 제스처의 너비와의 비교를 위한 제1 임계치를 선택하는 단계, 및 상기 경계 박스의 너비가 상기 최소 사이즈보다 크다면, 상기 제스처의 너비와의 비교를 위한 다른 임계치를 선택하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 잉킹 데이터를 평가하는 단계는 상기 제스처의 적어도 일부가 이전에 입력된 단어 또는 문자의 기준선보다 위에 있는지 여부를 판정하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    상기 잉킹 데이터는 적어도 2개의 분리된 단어 또는 문자에 적용되는 지움-표시 제스처인 것으로 판정되고, 상기 분리된 단어 또는 문자에 대응하는 이전에 입력된 잉크를 삭제하는 단계, 및 상기 분리된 단어 또는 문자 사이에 있는(intervening) 임의의 단어 또는 문자를 삭제하는 단계를 더 포함하는 방법.
  8. 제1항에 있어서,
    상기 제스처는 적어도 하나의 추가적인 분리된 제스처 스트로크를 포함하고, 상기 잉킹 데이터를 평가하는 단계는 상기 제스처의 첫 번째 스트로크를 평가하여 상기 잉킹 데이터가 지움-표시 제스처인지 여부를 판정하는 단계, 및 상기 잉킹 데이터가 지움-표시 제스처라면, 각 추가적인 스트로크를 삭제하는 단계를 포함하여, 상기 제스처의 각각의 추가적인 스트로크를 상기 제스처의 첫 번째 스트로크의 일부로서 처리하는 단계를 포함하는 방법.
  9. 제1항에 있어서,
    상기 잉킹 데이터를 잉크 스트로크 데이터로서 처리하는 것은 상기 잉킹 데이터를 인식기에 송신하는 것을 포함하는 방법.
  10. 제1항에 있어서,
    상기 잉킹 데이터는 가능한 지움-표시 제스처로서 박스 형태의(boxed) 기입 영역에서 수신되고, 상기 경계 임계치 데이터는 상기 스트로크와 교차하는 이전에 인식된 문자의 박스의 너비에 기초하는 방법.
  11. 제1항에 있어서,
    상기 경계 임계치 데이터에 기초하여 상기 잉킹 데이터를 평가하는 단계는 상기 제스처가 임계치 거리를 이전에 입력된 단어 또는 문자의 경계 박스로 확장하는지 여부를 판정하는 단계를 포함하는 방법.
  12. 실행될 때, 제1항의 방법을 수행하는 컴퓨터-실행가능 명령어를 가지는 컴퓨터-판독가능 기억 매체.
  13. 제12항에 있어서,
    상기 잉킹 데이터를 평가하는 단계는 상기 경계 컨테이너의 가로방향 너비에 대한 상기 잉킹 데이터의 가로방향의 스트로크 너비의 비율에 기초하여 상기 기준이 만족하는지 여부를 판정하는 컴퓨터 판독가능 기억 매체.
  14. 제13항에 있어서,
    상기 경계 컨테이너는 자유형 기입 영역에서 잉킹을 통해 입력된 단어 주변에 논리적으로 위치한 경계 박스를 포함하고, 상기 잉킹 데이터를 평가하는 단계는 소정 거리에 대응하는 고정된 값에 대한 상기 경계 박스의 가로방향 너비에 기초하는 임계율을 선택하는 단계를 포함하는 컴퓨터 판독가능 기억 매체.
  15. 제12항에 있어서,
    상기 잉킹 데이터를 평가하는 단계는 상기 잉킹 데이터의 가로방향의 스트로크가 특정 가로 범위를 넘어서 상기 경계 컨테이너로 확장되는지 여부에 기초하여 상기 기준이 만족되는지 여부를 판정하는 단계를 포함하는 컴퓨터 판독가능 기억 매체.
  16. 제12항에 있어서,
    상기 잉킹 데이터를 평가하는 단계는 지움-표시 제스처에 대한 기준이 만족된다고 판정하고, 이전에 입력된 잉크를 삭제하는 것은 역시 삭제된 2개의 다른 단어 또는 문자 사이의 적어도 하나의 단어 또는 문자를 삭제하는 것 및/또는 역시 삭제된 단어 바로 앞에 오거나(precedes) 뒤에 오는(trails) 단일 문자 단어(single character word)를 삭제하는 것을 포함하는 컴퓨터 판독가능 기억 매체.
  17. 컴퓨팅 장치에서의 시스템으로서,
    디지타이저로부터 전자 잉크를 수신하는 수기 표면 컴포넌트;
    단어들 또는 문자들의 경계들에 대응하는 경계 정보를 제공하는 컴포넌트; 및
    상기 수기 표면 컴포넌트 및 상기 경계 정보를 제공하는 컴포넌트에 연결된 지움-표시 제스처 탐지기 - 상기 지움-표시 제스처 탐지기는 복수의 서로 다른 지움-표시 유형을 지움-표시 프로세스에 의해 식별되는 이전에 입력된 잉크를 삭제하고 지움-표시 제스처를 포함하는 전자 잉크 또한 삭제하는 상기 지움-표시 프로세스와 연관시키고,
    상기 지움-표시 제스처 탐지기는 또한 상기 경계 정보에 기초하는 기준에 대하여 상기 수기 표면에서 수신된 전자 잉크를 평가하여 상기 전자 잉크가 상기 지움-표시 프로세스와 연관된 복수의 서로 다른 수용가능한 지움-표시 유형 중 어느 하나와 대응하는지 여부를 판정함 -
    를 포함하는 시스템.
  18. 제17항에 있어서,
    경계 정보를 제공하는 상기 컴포넌트는 수기 인식기를 포함하는 시스템.
  19. 제17항에 있어서,
    상기 기준은 적어도 하나의 기준 세트를 포함하고, 상기 세트는, 상기 전자 잉크가 하나 이상의 이전에 인식된 단어들 또는 문자들과 교차하는지 여부, 상기 전자 잉크가 적어도 상기 전자 잉크와 교차하는 적어도 하나의 이전에 인식된 단어 또는 문자의 경계 박스의 너비의 임계율인 경계 박스 너비를 가지는지 여부, 상기 전자 잉크와 임계 범위를 넘어서 교차하는 적어도 하나의 이전에 인식된 단어 또는 문자의 경계 박스로 상기 전자 잉크가 연장되는지 여부, 및 상기 전자 잉크의 적어도 일부가 상기 전자 잉크와 교차하는 적어도 하나의 이전에 인식된 단어 또는 문자의 기준선 위에 있는지 여부를 포함하는 시스템.
  20. 제17항에 있어서,
    상기 수기 표면 컴포넌트는 자유형 기입 영역 또는 박스 형태의 기입 영역에 대응하는 시스템.
  21. 삭제
KR1020060017166A 2005-03-17 2006-02-22 단어 또는 문자 경계에 기초하는 지움-표시 제스처 인식 KR101203321B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/083,773 2005-03-17
US11/083,773 US7551779B2 (en) 2005-03-17 2005-03-17 Word or character boundary-based scratch-out gesture recognition

Publications (2)

Publication Number Publication Date
KR20060101239A KR20060101239A (ko) 2006-09-22
KR101203321B1 true KR101203321B1 (ko) 2012-11-20

Family

ID=36204759

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060017166A KR101203321B1 (ko) 2005-03-17 2006-02-22 단어 또는 문자 경계에 기초하는 지움-표시 제스처 인식

Country Status (5)

Country Link
US (1) US7551779B2 (ko)
EP (1) EP1703364B1 (ko)
JP (1) JP4936753B2 (ko)
KR (1) KR101203321B1 (ko)
CN (1) CN1834872B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706219B2 (en) 2016-07-11 2020-07-07 Samsung Electronics Co., Ltd. Electronic device and control method thereof

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970210B2 (en) * 2005-10-17 2011-06-28 Is2Be Method of and apparatus for capturing, recording, displaying and correcting information entered on a printed form
KR100771626B1 (ko) * 2006-04-25 2007-10-31 엘지전자 주식회사 단말기 및 이를 위한 명령 입력 방법
JP5034398B2 (ja) * 2006-09-14 2012-09-26 富士通株式会社 文字認識プログラム、文字認識方法および文字認識装置
US7895518B2 (en) * 2007-04-27 2011-02-22 Shapewriter Inc. System and method for preview and selection of words
WO2008133619A2 (en) * 2007-04-27 2008-11-06 Shapewriter Inc. System and method for preview and selection of words
US8661340B2 (en) * 2007-09-13 2014-02-25 Apple Inc. Input methods for device having multi-language environment
US8232973B2 (en) 2008-01-09 2012-07-31 Apple Inc. Method, device, and graphical user interface providing word recommendations for text input
US8700984B2 (en) * 2009-04-15 2014-04-15 Gary Siegel Computerized method and computer program for displaying and printing markup
KR101678549B1 (ko) * 2010-02-02 2016-11-23 삼성전자주식회사 표면 음향 신호를 이용한 유저 인터페이스 제공 장치 및 방법, 유저 인터페이스를 구비한 디바이스
US8749531B2 (en) * 2010-03-31 2014-06-10 Blackberry Limited Method for receiving input on an electronic device and outputting characters based on sound stroke patterns
US20110307840A1 (en) * 2010-06-10 2011-12-15 Microsoft Corporation Erase, circle, prioritize and application tray gestures
US20120092268A1 (en) * 2010-10-15 2012-04-19 Hon Hai Precision Industry Co., Ltd. Computer-implemented method for manipulating onscreen data
CN102467297A (zh) * 2010-11-11 2012-05-23 富泰华工业（深圳）有限公司 具文本输入功能的电子装置及方法
KR101858531B1 (ko) 2011-01-06 2018-05-17 삼성전자주식회사 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR101795574B1 (ko) 2011-01-06 2017-11-13 삼성전자주식회사 모션에 의해 제어되는 전자기기 및 그 제어 방법
US20120216113A1 (en) * 2011-02-18 2012-08-23 Google Inc. Touch gestures for text-entry operations
CN102455869B (zh) * 2011-09-29 2014-10-22 北京壹人壹本信息科技有限公司 一种利用手势编辑文字的方法及装置
KR101457116B1 (ko) * 2011-11-07 2014-11-04 삼성전자주식회사 음성 인식 및 모션 인식을 이용한 전자 장치 및 그의 제어 방법
JP5822677B2 (ja) * 2011-11-24 2015-11-24 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ デジタルペンを用いて手書き可能な物理的媒体上の情報を修正することによって、記憶手段内に格納された情報を修正する方法、並びに、その装置及びコンピュータ・プログラム
US9075519B2 (en) 2012-10-11 2015-07-07 Apple Inc. System and method for interacting with a displayed work space
US20140223382A1 (en) * 2013-02-01 2014-08-07 Barnesandnoble.Com Llc Z-shaped gesture for touch sensitive ui undo, delete, and clear functions
JP5735126B2 (ja) * 2013-04-26 2015-06-17 株式会社東芝 システムおよび筆跡検索方法
KR20140139247A (ko) * 2013-05-27 2014-12-05 삼성전자주식회사 오브젝트 운용 방법 및 그 전자 장치
JP6201488B2 (ja) * 2013-07-29 2017-09-27 富士通株式会社 選択文字特定プログラム、選択文字特定方法、及び、選択文字特定装置
CN104346066A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种信息处理方法和电子设备
JP6268888B2 (ja) * 2013-10-03 2018-01-31 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US20160154555A1 (en) * 2014-12-02 2016-06-02 Lenovo (Singapore) Pte. Ltd. Initiating application and performing function based on input
US10614300B2 (en) * 2014-12-23 2020-04-07 Lenovo (Singapore) Pte. Ltd. Formatting handwritten content
JPWO2016170691A1 (ja) * 2015-04-24 2018-02-01 富士通株式会社 入力処理プログラム、入力処理装置、入力処理方法、文字特定プログラム、文字特定装置、及び文字特定方法
CN108830269B (zh) * 2015-09-29 2021-09-07 大连民族大学 确定满文单词中轴线宽度的方法
US9940513B2 (en) * 2016-03-11 2018-04-10 Microsoft Technology Licensing, Llc Intuitive selection of a digital stroke grouping
KR102548083B1 (ko) * 2016-03-14 2023-06-27 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2017215807A (ja) * 2016-05-31 2017-12-07 富士ゼロックス株式会社 プログラムおよび情報処理装置
CN108132725A (zh) * 2016-12-01 2018-06-08 珠海金山办公软件有限公司 一种识别触碰轨迹的方法及装置
US10402642B2 (en) * 2017-05-22 2019-09-03 Microsoft Technology Licensing, Llc Automatically converting ink strokes into graphical objects
US10429954B2 (en) * 2017-05-31 2019-10-01 Microsoft Technology Licensing, Llc Multi-stroke smart ink gesture language
US11543888B2 (en) 2019-06-27 2023-01-03 Google Llc Intent detection with a computing device
EP4130966A1 (en) * 2019-11-29 2023-02-08 MyScript Gesture stroke recognition in touch-based user interface input
US11531454B2 (en) 2020-12-10 2022-12-20 Microsoft Technology Licensing, Llc Selecting content in ink documents using a hierarchical data structure
US11587346B2 (en) * 2020-12-10 2023-02-21 Microsoft Technology Licensing, Llc Detecting ink gestures based on spatial and image data processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283109A (ja) 1997-04-01 1998-10-23 Casio Comput Co Ltd 筆記データ入力装置およびそのプログラム記録媒体
JP2004062891A (ja) 2002-06-28 2004-02-26 Microsoft Corp フリーフォーム文書エディタ用のライティングガイドを表示するための方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848187A (en) * 1991-11-18 1998-12-08 Compaq Computer Corporation Method and apparatus for entering and manipulating spreadsheet cell data
US5666139A (en) * 1992-10-15 1997-09-09 Advanced Pen Technologies, Inc. Pen-based computer copy editing apparatus and method for manuscripts
US5500937A (en) * 1993-09-08 1996-03-19 Apple Computer, Inc. Method and apparatus for editing an inked object while simultaneously displaying its recognized object
JPH07160827A (ja) * 1993-12-09 1995-06-23 Matsushita Electric Ind Co Ltd 手書きストローク編集装置及び方法
US5991441A (en) * 1995-06-07 1999-11-23 Wang Laboratories, Inc. Real time handwriting recognition system
JP2001014096A (ja) * 1999-06-25 2001-01-19 Toshiba Corp ペン入力装置、及び同装置に於ける文字入力方法
JP2003115032A (ja) * 2001-10-05 2003-04-18 Fujitsu Ltd 手書き文字入力装置及びそれを実現するプログラム
US7036077B2 (en) * 2002-03-22 2006-04-25 Xerox Corporation Method for gestural interpretation in a system for selecting and arranging visible material in document images
US7256773B2 (en) * 2003-06-09 2007-08-14 Microsoft Corporation Detection of a dwell gesture by examining parameters associated with pen motion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283109A (ja) 1997-04-01 1998-10-23 Casio Comput Co Ltd 筆記データ入力装置およびそのプログラム記録媒体
JP2004062891A (ja) 2002-06-28 2004-02-26 Microsoft Corp フリーフォーム文書エディタ用のライティングガイドを表示するための方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706219B2 (en) 2016-07-11 2020-07-07 Samsung Electronics Co., Ltd. Electronic device and control method thereof

Also Published As

Publication number Publication date
JP4936753B2 (ja) 2012-05-23
JP2006260573A (ja) 2006-09-28
EP1703364B1 (en) 2018-02-28
EP1703364A3 (en) 2012-07-25
CN1834872A (zh) 2006-09-20
KR20060101239A (ko) 2006-09-22
EP1703364A2 (en) 2006-09-20
US20060210163A1 (en) 2006-09-21
US7551779B2 (en) 2009-06-23
CN1834872B (zh) 2010-06-16

Similar Documents

Publication Publication Date Title
KR101203321B1 (ko) 단어 또는 문자 경계에 기초하는 지움-표시 제스처 인식
KR102413461B1 (ko) 제스쳐들에 의한 노트 필기를 위한 장치 및 방법
US7458038B2 (en) Selection indication fields
KR102381801B1 (ko) 핸드라이팅 입력을 가이드하는 시스템 및 방법
US6587587B2 (en) System and methods for spacing, storing and recognizing electronic representations of handwriting, printing and drawings
CA2429507C (en) Writing guide for a free-form document editor
US6952803B1 (en) Method and system for transcribing and editing using a structured freeform editor
US8600164B2 (en) Method and tool for recognizing a hand-drawn table
US5517578A (en) Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings
RU2412470C2 (ru) Списки автоматического заполнения и рукописный ввод
US7499047B2 (en) Ink editing architecture
RU2371753C2 (ru) Автоматическая регулировка высоты для электронных перьев и координатно-указательных устройств типа &#34;мышь&#34;, служащих для выделения информации на экране дисплея
US7028256B2 (en) Adding white space to a document generating adjusted page sizing
US9996522B2 (en) Dictionary device for determining a search method based on a type of a detected touch operation
US20140189482A1 (en) Method for manipulating tables on an interactive input system and interactive input system executing the method
US7751623B1 (en) Writing guide for a free-form document editor
US11112965B2 (en) Advanced methods and systems for text input error correction
JP4963633B2 (ja) 情報処理装置及び情報処理方法
JPH02113386A (ja) 手書き文字入力方式

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151016

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161019

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181018

Year of fee payment: 7