KR20050053498A - 잉크의 스케일링된 텍스트로의 대체 - Google Patents

잉크의 스케일링된 텍스트로의 대체 Download PDF

Info

Publication number
KR20050053498A
KR20050053498A KR1020040099735A KR20040099735A KR20050053498A KR 20050053498 A KR20050053498 A KR 20050053498A KR 1020040099735 A KR1020040099735 A KR 1020040099735A KR 20040099735 A KR20040099735 A KR 20040099735A KR 20050053498 A KR20050053498 A KR 20050053498A
Authority
KR
South Korea
Prior art keywords
input
text
machine generated
electronic ink
objects
Prior art date
Application number
KR1020040099735A
Other languages
English (en)
Other versions
KR101120850B1 (ko
Inventor
웨커데이비드비.
브래스리차드아이.
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20050053498A publication Critical patent/KR20050053498A/ko
Application granted granted Critical
Publication of KR101120850B1 publication Critical patent/KR101120850B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)

Abstract

본 발명은 (a) 전자 잉크 입력을 수신하고, (b) 이러한 입력을 머신 생성 객체로 변환하고, (c) 이들 객체들의 크기가 실질적으로 입력의 원래 크기에 상응하도록 객체들을 렌더링하는 전자 잉크를 처리하는 시스템, 방법 및 컴퓨터 판독가능 매체에 관한 것이다. 입력 잉크는 텍스트를 구성할 것이며, 머신 생성 객체들은 단어, 라인 및/또는 수기 인식기에 의해서 발생된 텍스트의 다른 그룹에 상응할 수 있을 것이다. 인식기 오류의 신속하고 용이한 식별이 가능하도록 하기 위해서, 적어도 몇몇 시스템 및 방법에서 사용자는 하나 이상의 방법을 선택할 수 있을 것이며, 이는 시스템이 선택된 단어(들)에 상응하는 원래 잉크를 디스플레이하도록 할 것이다. 이러한 시스템은 선택된 원래의 잉크에 상응하는 인식기에 의해서 발생된 다른 단어 또한 디스플레이하고, 사용자가 대안들 중 하나를 선택하여 (철자 검사 또는 수기 인식 프로그램을 이용하는 것과 유사하게)인식된 텍스트에서 수정하는 것을 가능하게 할 것이다.

Description

잉크의 스케일링된 텍스트로의 대체{SCALED TEXT REPLACEMENT OF INK}
본 발명은 전반적으로 펜기반 컴퓨터 시스템 및/또는 다른 컴퓨터 시스템에서 전자 잉크를 처리하는 시스템, 방법 및 컴퓨터 판독가능 매체에 관한 것이다.
전형적인 컴퓨터 시스템, 특히,GUI(Graphical User Interface)를 이용하는 컴퓨터 시스템은 텍스트 입력을 위한 키보드와 같은 하나 이상의 이산 입력 장치 및 사용자 인터페이스를 위한 하나 이상의 버튼을 가진 마우스와 같은 위치 지정 장치로부터 사용자 입력을 받아들이는 데에 최적화되어 있다. 이러한 GUI의 예는 Window?? 컴퓨터 오퍼레이팅 시스템(워싱턴주 레드먼드의 마이크로소프트사에서 이용가능함)을 위한 사용자 인터페이스이다. 유비쿼터스 키보드 및 마우스 인터페이스는 문서, 스프레드시트, 데이터베이스 필드, 그림, 사진 등의 빠른 생성 및 변경을 제공한다.
그러나, 최근에는 타블릿 PC 등과 같은 펜기반 컴퓨터 시스템이 많은 인기를 얻게 되었다. 펜기반 컴퓨터 시스템에서는 사용자 입력이 전자 "펜" 또는 스타일러스(예컨대, 종이위에 펜 또는 연필로 기록하는 것과 유사함)를 이용하여 이루어지는 장점이 있다. 사실, 적어도 몇몇 펜기반 컴퓨터 시스템에서는 모든 사용자 입력은 전자 펜 입력 장치를 이용하여 입력되고 처리될 수 있으며, 사용자 인터페이스는 전자펜만을 이용하여 전적으로 제어가능하다.
펜기반 컴퓨터 시스템이 점점 더 인기가 높아짐에 따라 사용자들이 보다 많은 데이터를 전자 잉크의 형태로 입력하는 일이 늘어가고 있다. 그런나, 많은 경우에 사용자들은 원래의 전자 잉크 데이터를 머신 생성 텍스트로 변환하기를 원하며, 이러한 텍스트는 통상적인 워드 프로세싱 프로그램 및 다른 애플리케이션 프로그램에 의해서 이용되고 처리되기에 적합한 것이다. 통상적으로 이용가능한 시스템에서는, 잉크가 텍스트로 변환되는 경우에는 블럭단위로서 텍스트로 변환된며, 이러한 새로운 텍스트 블럭은 전형적으로 원래의 잉크를 대체하거나, 또는 텍스트 블럭으로서 별도로 존재한다. 이러한 시스템에서, 원래의 잉크 배열 및 방향에 관련된 원래의 공간 정보는 실질적으로 유지되지 않으며(아마도 최종 라인의 경우는 제외될 것임), 원래 사용자의 의도(예컨대, 보다 큰 기록 크기 대 보다 작은 기록 크기)의 많은 부분이 무시된다. 몇몇 경우에 있어서, 원래 잉크가 변환된 이후에는 호출되어 검사되기가 어렵기 때문에, 그리고/또는 잉크와 텍스트가 2개의 상이한 위치에 위치되었기 때문에 변환된 텍스트의 수정이 매우 어려울 수 있다.
따라서, 본 기술분야에서는 잉트의 원래 위치 배열 및 방향을 유지하고, 수기 인식 및 텍스트 수정 동안에 원래 잉크의 용이한 검사를 고려하는 개선된 전자 잉크 프로세스 시스템 및 방법에 대한 필요성이 존재한다. 이러한 시스템 및 방법은 펜기반 컴퓨터 시스템 및 전자 잉크의 형태로 입력을 받아들이는, 그리고/또는 전자펜 또는 스타일러스로부터 입력을 받아들이는 다른 장치 및/또는 전자 잉크 데이터를 디스플레이하거나 그렇지 않은 경우에는 처리하는 시스템 또는 장치에서 특히 유용할 것이다.
본 발명의 특징은 전자 잉크를 처리하는 시스템 및 방법에 관한 것이다. 이러한 시스템 및 방법은 (a) (예컨대, 디지타이저와 같은 입력 장치를 통한)전자 잉크 입력을 수신, (b) (예컨대, 수기 인식 기능을 가지는 컴퓨터 프로세서를 이용한)전자 잉크 입력을 하나 이상의 머신 생성 객체로 변환 및 (c) (예컨대, 모니터, 디스플레이, 프린터 등을 구동하는 컴퓨터 프로세서를 이용한)머신 생성 객체(들)의 크기가 실질적으로 전자 잉크 입력의 원래 크기에 상응하도록 하나 이상의 머신 생성 객체를 렌더링하는 것을 포함한다. 이러한 전자 잉크 입력은 전자 잉크 텍스트 입력을 구성할 수 있을 것이며, 머신 생성 객체는 단어, 라인 및/또는 다른 머신 생성 텍스트의 그룹들에 상응할 수 있을 것이다. 본 발명의 몇몇 실시예에서, 사용자는 렌더링된 머신 생성 객체(들)(예컨대, 하나 또는 그 이상의 단어)로부터 적어도 하나의 객체를 선택할 수 있을 것이며, 그 후에 본 발명의 시스템 및 방법은 선택된 머신 생성 객체(들)에 상응하는 원래의 전자 잉크 입력을 (적어도 일시적이나마)디스플레이할 것이다. 본 발명의 몇몇 실시예에 따른 시스템 및 방법은 (예컨대, 하나 이상의 다른 단어와 같은)선택된 원래 잉크 입력에 상응하는 다른 머신 생성 객체들 또한 디스플레이하여, 사용자가 다른 객체들 중 하나를 선택하여 (철자 검사 프로그램 또는 통상적인 수기 인식 프로그램과 유사하게)인식된 정보내에서 수정할 수 있도록 할 수 있을 것이다. 본 발명의 추가적인 특징은 상기된 시스템 및 방법을 포함하는 다양한 방법을 수행하며/수행하거나 다양한 시스템을 운영하는 자체에 저장된 컴퓨터 실행 명령을 가지는 컴퓨터 판독가능 매체에 관련된 것이다.
상기된 바와 같이, 본 발명의 특징은 전자 잉크 데이터를 처리하는 시스템, 방법 및 컴퓨터 판독가능 매체에 관한 것이다. 아래의 설명은 독자를 돕도록 몇몇 부분으로 나누어진다. 이러한 부분들은 용어, 본 발명의 다양한 특징의 전반적인 설명, 예시적인 하드웨어, 예시적인 시스템, 방법 및 컴퓨터 판독가능 매체 및 결론을 포함한다.
Ⅰ. 용어
아래의 용어들은 본 명세서에서 이용되며, 내용에서 별다르게 특정되거나 명확화되지 않은 경우에는 그 용어들은 아래와 같은 의미를 가진다.
"펜" - 잉크를 입력하며/입력하거나 그렇지 않은 경우에 전자 문서를 처리하거나 제어하는 데에 유용한 사용자 입력 장치를 말한다. "펜" 및 "스타일러스"라는 용어는 본 명세서에서는 교환가능하게 사용된다.
"펜 다운 이벤트(Pen-Down Event)" - 펜이 디지타이저에 접촉하는 순간에 개시되는 이벤트를 말한다. 전형적으로, 펜 다운 이벤트는 펜이 디지타이저 표면을 떠나는 때에 종료할 것이다(이를 본 명세서에서는 "펜 업 이벤트"로 지칭함).
"호버(Hover)" - 디지타이저 표면에 접촉하지는 않고서 디지타이저 표면 근방 또는 인접하도록 펜을 위치시키는 것을 말한다. "호버" 동작을 구성하는 데에 특정한 시간 또는 특정 위치에서의 움직임의 중단이 필요하지는 않는다. 예컨대, "호버"는 사용자가 디지타이저 표면으로 펜을 연속적으로 움직여 접촉하는 시간 동안에 발생할 수 있다.
"렌더링" - 정보가 스크린상에 디스플레이될 것인지, 또는 프린트될 것인지, 또는 다른 방식으로 출력되어 디스플레이될 것인지를 결정하는 것을 말한다.
"컴퓨터 판독가능 매체"는 컴퓨터 시스템 상의 사용자에 의해서 액세스될 수 있는 이용가능한 매체를 의미한다. 예컨대, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있을 것이며, 이에 한정되지는 않는다. "컴퓨터 저장 매체"는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보 저장을 위한 소정의 방법 또는 기술에 의해서 구현되는 휘발성 및 비휘발성 매체, 탈착가능 및 탈착불가능 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래쉬 메모리 또는 다른 메모리 기술과, CD-ROM, DVD(digital versatile disk) 또는 다른 광학 저장 장치와, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치와, 또는 원하는 정보를 저장하는 데에 이용될 수 있거나, 컴퓨터에 의해서 액세스될 수 있는 다른 매체를 포함한다. "통신 매체"는 전형적으로 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈 또는 반송파 또는 다른 전송 메카니즘과 같은 변조된 데이터 신호에서의 다른 데이터를 구현하며, 소정의 정보 전달 매체를 포함한다. "변조된 데이터 신호"는 하나 이상의 특성 세트를 가지거나, 그러한 방식으로 변경되어 신호내의 정보를 부호화하는 신호를 의미한다. 예컨대, 통신 매체는 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체 및 어코스틱, RF, 자외선 및 다른 무선 매체와 같은 무선 매체를 포함하며, 이에 한정되지는 않는다. 상기된 바의 조합 또한 "컴퓨터 판독가능 매체"의 범위에 포함될어야 할 것이다.
Ⅱ. 본 발명의 다양한 특징의 전반적인 설명
본 발명의 특징들은 펜기반 컴퓨터 시스템 및/또는 전자 잉크 데이터를 처리, 디스플레이 및/또는 조작하는 다른 컴퓨터 시스템에서 전자 잉크를 처리하는 시스템 및 방법에 관한 것이다. 본 발명의 한 특징은 (a) (예컨대, 디지타이저와 같은 입력 장치를 통해서)전자 잉크 입력을 수신하고, (b) (수기 인식 기능을 가지는 컴퓨터 프로세서를 이용하여)전자 잉크 입력을 하나 이상의 머신 생성 객체로 변환하고, (c) (예컨대, 모니터, 디스플레이, 프린터 또는 다른 렌더링 장치를 구동하는 컴퓨터 프로세서를 이용한)머신 생성 객체(들)의 크기가 실질적으로 전자 잉크 입력의 원래 크기에 상응하도록 하나 이상의 머신 생성 객체를 렌더링하는 시스템 및 방법에 관한 것이다. 본 발명의 적어도 몇몇 예에서는, 전자 잉크 입력은 전자 잉크 텍스트 입력을 구성할 것이며, 머신 생성 객체들은 단어, 라인 및/또는 머신 생성 텍스트의 다른 그룹에 상응할 것이다.
본 발명의 추가적인 특징은 전자 잉크 입력의 원래 크기를 결정하는 것과, 이렇게 결정된 원래 크기에 상응하는 크기로 머신 생성 객체(들)를 렌더링하는 것에 관한 것이다. 이것은 본 발명의 범위를 벗어나지 않고서 소정의 적절한 방식에서 수반될 수 있을 것이다. 예컨대, 전자 잉크 입력의 원래 크기는 전자 잉크 입력의 적어도 일부의 평균 크기(예컨대, 전자 잉크 입력의 평균 높이)에 근거하여 결정될 수 있을 것이며, 그 후에 전자 잉크 텍스트의 일부(들)의 평균 크기에 근거하여 적절한 크기(들)에서 렌더링될 수 있을 것이다. 보다 구체적인 예로서, 전자 잉크 텍스트의 원래 크기는 단어 단위로 결정될 수 있을 것이며, 그 후에 이에 상응하는 머신 생성 텍스트는 결정된 잉크 텍스트 크기에 상응하는 폰트 크기로 단어 단위로 렌더링될 수 있을 것이다. 다른 예로서, 전자 잉크 텍스트의 원래 크기는 전자 잉크 텍스트의 라인의 평균 크기에 근거하여 라인 단위로 결정될 수 있을 것이며, 그 후에 이에 상응하는 머신 생성 텍스트가 라인 단위로 전자 잉크 텍스트 라인의 평균 크기에 근거하는 폰트 크기로 렌더링될 수 있을 것이다.
또한, 본 발명의 특징들은 본 발명의 실시예에 따른 시스템 및 방법에서 머신 생성 객체들이 렌더링된 후에 머신 생성 객체들과의 사용자 상호 작용에 관한 것이다. 본 발명의 몇몇 실시예에서, 사용자는 렌더링된 머신 생성 객체(들)(예컨대, 하나 이상의 단어)로부터 적어도 하나의 객체를 선택할 수 있을 것이며, 그 후에 본 시스템 및 방법은 선택된 머신 생성 객체(들)에 상응하는 원래의 전자 잉크 입력을 (적어도 일시적이나마)디스플레이할 것이다. 몇몇 실시예에서, 선택 절차가 계속되는 동안에 원래 잉크는 실제로 머신 생성 객체(들)를 대체할 것이다. 이러한 동작은 사용자들이 수기 인식기가 인식 오류를 범하였는지 여부를 신속하고 용이하게 판정하는 것을 도울 수 있을 것이다. 본 발명의 적어도 몇몇 예에 따르는 이러한 시스템 및 방법은 선택된 원래의 잉크 입력(예컨대, 통상적인 철자 검사 목록 또는 가능한 대안들의 수기 인식기 목록과 유사한 목록에서의 하나 이상의 다른 단어)에 상응하는 다른 머신 생성 객체들 또한 디스플레이할 수 있을 것이다. 그 후에, 사용자는 디스플레이된 다른 머신 생성 객체들 중 하나를 선택할 수 있을 것이며, 본 발명의 실시예에 따르는 시스템 및 방법은 원래 렌더링된 머신 생성 객체를 새롭게 선택된 머신 생성 텍스트 대안 객체로 대체할 것이다(예컨대, 철자 검사 또는 수기 인식 엔진을 사용하는 것과 유사하여 원래의 (틀린)머신 생성 단어를 가능한 대안들의 머신 생성 목록으로부터 다른 단어로 대체함).
본 발명의 적어도 몇몇 실시예에서, 인식 및 렌더링은 렌더링된 머신 생성 객체들(예컨대, 단어, 라인, 단락 등)이 적어도 실질적으로 전자 잉크 입력의 원래 배열에 상응하도록 배열되게 할 것이다. 이러한 방식으로, 잉크 데이터의 배열 또는 방향으로부터의 정보는 인식 프로세스에서 소실되지 않는다. 본 발명의 추가적인 특징은 상기된 시스템들 및 방법들을 포함하는 다양한 방법을 수행하며/수행하거나 다양한 시스템을 운영하는 내부에 저장된 컴퓨터 수행 명령을 포함하는 컴퓨터 판독가능 매체에 관한 것이다.
Ⅲ. 예시적인 하드웨어
도 1은 본 발명의 다양한 특징들을 구현하는 데에 이용될 수 있는 범용 디지털 컴퓨터 환경의 개략도를 도시한다. 도 1에서, 컴퓨터(100)는 프로세싱 유닛(110), 시스템 메모리(120) 및 시스템 메모리(120)를 포함하는 다양한 시스템 구성요소를 프로세싱 유닛(110)에 결합하는 시스템 버스를 포함한다. 시스템 버스(130)는 메모리 버스 또는 메모리 제어기, 주변장치 버스 및 다양한 버스 구조중 하나를 이용하는 로컬 버스를 포함하는 몇몇 타입의 버스 구조들 중 하나일 수 있을 것이다. 시스템 메모리(120)는 ROM(140) 및 RAM(150)을 포함할 수 있을 것이다.
시동 동안에 컴퓨터(100)내의 요소들 사이의 정보의 전달을 돕는 기본적인 루틴을 포함하는 BIOS(160)는 ROM(140)내에 저장된다. 컴퓨터(100)는 하드 디스크(도시되지 않음)로부터 판독하고, 하드 디스크에 기록하는 하드 디스크 드라이브(170), 탈착가능 자기 디스크(190)로부터 판독하거나 탈착가능 자기 디스크(190)에 기록하는 자기 디스크 드라이스(180) 및 CD ROM 또는 다른 광학 매체와 같은 탈착가능 광학 디스크(192)로부터 판독하거나 탈착가능 광학 디스크(192)에 기록하는 광학 디스크 드라이브(191) 또한 포함할 수 있을 것이다. 하드 디스크 드라이브(170), 자기 디스크 드라이브(180) 및 광학 디스크 드라이브(191)는 하드 디스크 드라이브 인터페이스(192), 자기 디스크 드라이브 인터페이스(193) 및 광학 디스크 드라이브 인터페이스(194)에 의해서 각기 시스템 버스(130)에 접속된다. 이들 드라이브 및 관련 컴퓨터 판독가능 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈 및 퍼스널 컴퓨터(100)의 다른 데이터에 대한 비휘발성 저장 공간을 제공한다. 본 기술분야의 당업자는 자기 카세트, 플래쉬 메모리 카드, 디지털 비디오 디스크, 베르누이 카트리지(Bernoulli cartridge), RAM, ROM 등과 같은 컴퓨터에 의해서 액세스될 수 있는 데이터를 저장할 수 있는 다른 타입의 컴퓨터 판독가능 매체 또한 예시적인 오퍼레이팅 환경에서 이용될 수 있음을 이해할 것이다.
오퍼레이팅 시스템(195), 하나 이상의 애플리케이션 프로그램(196), 다른 프로그램 모듈(197) 및 프로그램 데이터(198)를 포함하는 많은 프로그램 모듈이 하드 디스크 드라이브(170), 자기 디스크(190), 광학 디스크(192), ROM(140) 또는 RAM(150) 상에 저장될 수 있다. 사용자는 키보드(101) 및 (마우스 같은)위치 지정 장치(102)와 같은 입력 장치를 통해서 커맨드 및 정보를 컴퓨터(100)에 입력할 수 있다. 다른 입력 장치(도시되지 않음)는 마이크로폰, 조이스틱, 게임 패드, 위성 안테나, 스캐너 등을 포함할 수 있을 것이다. 이들 및 다른 입력 장치는 종종 시스템 버스(130)에 결합된 직렬 포트 인터페이스(106)를 통해서 프로세싱 유닛(110)에 접속되지만, 이들은 병렬 포트, 게임 포트 또는 USB(범용 직렬 버스) 등과 같은 다른 인터페이스에 의해서 접속될 수도 있을 것이다. 또한, 이들 장치들은 적절한 인터페이스(도시되지 않음)를 통해서 시스템 버스(130)에 직접 결합될 수도 있을 것이다.
모니터(107) 또는 다른 타입의 디스플레이 장치 또한 비디오 어댑터(108)와 같은 인터페이스를 통해서 시스템 버스(130)에 접속될 수 있을 것이다. 모니터(107)에 추가하여, 퍼스널 컴퓨터는 스피커 및 프린터와 같은 다른 주변 출력 장치(도시되지 않음)를 전형적으로 포함한다. 일 실시예에서, 수기 입력을 디지털 방식으로 캡쳐하기 위하여 펜 디지타이저(165)와 이에 수반하는 펜 또는 스타일러스(166)가 제공된다. 펜 디지타이저(165)와 직렬 포트 인터페이스(106)간의 접속이 도 1에 도시되어 있지만, 실제로는 본 기술분야에 공지된 바와 같이 펜 디지타이저(165)가 프로세싱 유닛(110)에 직접 결합되거나, 병렬 포트 또는 다른 인터페이스 및 시스템 버스(130)를 통하는 방식과 같은 소정의 적절한 방식으로 프로세싱 유닛에 결합될 수도 있다. 더우기, 도 1에서 디지타이저(165)는 모니터(107)와는 떨어져 위치한 것으로 도시되어 있지만, 디지타이저(165)의 이용가능한 입력 영역은 모니터(107)의 디스플레이 영역과 같은 넓이를 가질 수 있을 것이다. 또한, 디지타이저(165)는 모니터(107)내에서 일체화되거나, 또는 모니터(107)에 위에 놓이거나 첨부되는 별도의 장치로서 존재할 수도 있을 것이다.
컴퓨터(100)는 원격 컴퓨터(109)와 같은 하나 이상의 원격 컴퓨터에의 논리 접속을 이용하는 네트워크 환경에서 동작할 수 있다. 원격 컴퓨터(109)는 서버, 라우터, 네트워크 PC, 피어 장치 또는 다른 공통 네트워크 노드일 수 있으며, 간단히 하기 위하여 메모리 저장 장치(111)만이 도 1에 도시되어 있지만 이는 전형적으로 컴퓨터(100)와 관련하여 상기된 요소의 많은 부분 또는 모두를 포함한다. 도 1에 도시된 논리적 접속은 LAN(112) 및 WAN(113)을 포함한다. 이러한 네트워크 환경은 유무선 접속 모두를 이용하는 사무실, 기업 컴퓨터 네트워크, 인트라넷 및 인터넷에서 통상적인 것이다.
LAN 네트워크 환경에서 이용되는 경우에, 컴퓨터(100)는 네트워크 인터페이스 또는 어댑터(114)를 통해서 LAN(112)에 접속된다. WAN 네트워크 환경에서 이용되는 경우에, 퍼스널 컴퓨터(100)는 전형적으로 모뎀 또는 인터라넷과 같은 WAN상에 통신 접속을 확립하는 다른 수단을 포함한다. 컴퓨터(100)의 내부 또는 외부에 존재할 수 있을 모뎀(115)은 직렬 포트(130)를 통해서 시스템 버스에 접속될 수 있을 것이다. 네트워크 환경에서, 퍼스널 컴퓨터(100)와 관련하여 도시된 프로그램 모듈 또는 그 일부는 원격 메모리 저장 장치내에 저장될 수 있을 것이다.
도시된 네트워크 접속은 예시적이며, 컴퓨터들 사이에 통신 연결을 확립하기 위한 다른 기술들이 이용될 수 있음을 이해할 수 있을 것이다. TCP/IP, 이더넷, FTP, HTTP, UDP 등과 같은 다양한 공지된 프로토콜의 존재가 가정된다면, 시스템은 사용자 서버 구성에서 운영되어 사용자가 웹기반 서버로부터 웹 페이지를 검색하는 것을 허용할 수 있다. 다양한 통상적인 웹 브라우저 중 어떠한 웹 브라우저라도 웹 페이지상의 데이터를 디스플레이하고 처리하는 데에 이용될 수 있다.
비록 도 1의 환경이 하나의 예시적인 환경을 나타내고 있지만, 다른 컴퓨터 환경 또한 이용될 수 있음을 이해할 수 있을 것이다. 예컨대, 본 발명의 하나 이상의 실시예는 도 1에 나타나고 상기된 다양한 특징 모두를 가지지는 않는 환경을 이용할 수 있을 것이며, 이들 특징은 본 기술분야의 당업자에게 명백할 다양한 조합들 및 부조합들에서 나타날 수 있을 것이다.
도 2는 본 발명의 다양한 특징에 따라 이용될 수 있는 펜기반 PC(100)를 도시한다. 도 1의 시스템의 특징, 서브시스템 및 기능 모두 또는 이 중 일부는 도 2의 컴퓨터(100)에 포함될 수 있다. 펜기반 퍼스널 컴퓨터 시스템(100)은 LCD 스크린과 같은 대형 디스플레이 표면(107/165)(예컨대, 디지타이징 평면 패널 디스플레이)을 포함하며, 그 위에 다수의 윈도우(203)가 디스플레이된다. 스타일러스(166)를 이용하여, 사용자는 디지타이징 디스플레이 영역상에서 선택하고, 강조하고, 기록할 수 있으며, 이것에 의하여 전자 잉크 데이터를 시스템에 입력할 수 있다. 펜 디지타이저와 같은 전자기 펜 디지타이저를 포함하는 디스플레이 패널의 적절한 예는 Mutoh Co.(현재는 FinePoint Innovations Co.) 또는 Wacom Technology Co.로부터 얻을 수 있다. 예컨대, 광학 디지타이저와 같은 다른 타입의 펜 디지타이저 또한 이용될 수 있을 것이다. 펜기반 컴퓨터 시스템(100)은 스타일러스(166)를 이용하여 이루어진 제스쳐를 해석하여 데이터를 처리하고, 전자 잉크로서 텍스트를 입력하고, 스프레드시트의 생성과 편집 및 변경, 워드 프로세싱 프로그램 등과 같은 통상적인 컴퓨터 애플리케이션 업무를 수행한다.
스타일러스(166)는 그 기능을 증대시키는 버튼 또는 다른 특징부를 구비할 수 있을 것이다. 일 실시예에서, 스타일러스(166)는 "연필" 또는 "펜"으로 구현될 수 있으며, 이는 한쪽 단부가 기록부를 구성하고, 다른 단부는 "지우개" 단부를 구성하며 디스플레이를 가로질러 이동하는 경우에 지워져야할 디스플레이상의 전자 잉크 부분을 나타낸다. 마우스, 트랙볼, 키보드 등과 같은 다른 타입의 입력 장치가 이용될 수도 있다. 추가적으로, 사용자 자신의 손가락이, 예컨대 접촉식 디스플레이상에 디스플레이된 영상의 일부를 선택하거나 지시하는 입력 장치로서 이용될 수 있다. 결과적으로, 본 명세서에서 사용되는 "사용자 입력 장치"라는 용어는 넓은 의미를 가지며 공지된 입력 장치상의 많은 변형들을 포함하는 것으로 의도된다.
다양한 실시예에서, 본 시스템은 COM(component object model) 서비스의 세트로서 잉크 플랫폼을 제공하여 오퍼레이팅 시스템 및/또는 애플리케이션 프로그램이 잉크 및/또는 펜 동작 또는 이벤트를 캡쳐하고, 처리하고, 저장하는 데에 이용할 수 있다. 잉크 플랫폼은 XML과 같은 언어를 포함하는 마크업 언어를 포함할 수도 있을 것이다. 또한, 이러한 시스템은 다른 실시예로서 DCOM을 이용할 수 있을 것이다. Microsoft Corporation으로부터의 Win32 프로그래밍 모델 및 .Net 프로그래밍 모델을 포함하는 또 다른 실시예가 이용될 수 있을 것이다. 이들 플랫폼은 상업적으로 이용가능하며, 본 기술분야에 공지되어 있다.
고성능의 펜기반 컴퓨터 시스템 또는 "타블릿 PC"(예컨대, 컨버터블 랩톱 또는 "슬레이트(slate)" 타입의 타블릿 PC)의 사용에 추가하여, 본 발명의 특징은 전자 잉크로서 데이터를 수용 및/또는 전자 펜 또는 스타일러스 입력의 처리 또는 디스플레이를 수용하는 다른 타입의 펜기반 컴퓨터 시스템 및/또는 다른 장치와 관련하여 이용될 수 있을 것이며, 그 예로는 핸드핼드 또는 팜탑 컴퓨터 시스템, PDA, 포켓 퍼스널 컴퓨터, 이동 전화, 페이저 및 다른 통신 장치들, 시계, 기구 및 모니터 또는 다른 디스플레이 장치를 포함하는 다른 장치 또는 시스템 및/또는 프린트된 정보 또는 그래픽 정보를 사용자에게 제공하고/제공하거나 전자 펜 또는 스타일러스를 이용하는, 또는 다른 장치(예컨대, 타블릿 PC에 의해서 수집된 전자 잉크를 처리할 수 있는 통상적인 데스크탑 컴퓨터)에 의해서 수집된 전자 잉크를 처리할 수 있는 입력을 허용하는 디지타이저가 있다.
이제 본 발명은 본 발명을 설명하는 것을 돕는, 본 발명의 다양한 실시예 및 정보를 도시하는 첨부된 도면을 참조하여 설명될 것이다. 본 명세서의 상세한 설명에 포함된 도면 및 정보는 본 발명을 제한하기 위한 것으로 해석되어서는 안된다.
Ⅳ. 본 발명에 따른 예시적인 시스템, 방법 및 컴퓨터 판독가능 매체
상기된 바와 같이, 본 발명의 특징은 전반적으로 펜기반 컴퓨터 시스템 및 다른 컴퓨터 시스템에서 전자 잉크를 처리하는 시스템 및 방법에 관한 것이다. 도 3a 및 3b는 본 발명의 적어도 몇몇 실시예에 따른 시스템 및 방법에서의 전자 잉크 데이터 입력 및 개시 프로세싱을 전반적으로 도시하고 있다. 통상적으로 공지된 바와 같이, 타블릿 PC와 같은 펜기반 컴퓨터 시스템의 사용자는 전자 잉크 포맷으로 데이터를 입력할 수 있다. 도 3a의 예에서, 사용자는 펜기반 컴퓨터 시스템의 디스플레이 스크린/디지타이저(107/165)상에 전자 잉크로 "This line is 'sample text'"(참조부호 302)라는 문장을 기록하였다. 시스템은 사용자가 이 문장을 입력하는 때에 이러한 데이터를 수집할 것이며, 그 후에 시스템은 사용자의 수기된 부분에서의 이 문장을 디스플레이 스크린(107/165)상에 전자 잉크로 디스플레이할 것이다. 잉크 데이터는 본 발명으로부터 벗어나지 않고서 ISF(ink serialized format)와 같은 본 발명의 기술분야에서 공지된 통상적인 포맷의 사용을 포함하는 소정의 적절한 방식으로 수집되고 소정의 적절한 포맷으로 저장될 수 있다.
전자 잉크 데이터가 수집되는 동안 또는 수집된 후의 적절한 시간에, 본 발명의 적어도 몇몇 실시예에 따르는 시스템 및 방법은 이러한 데이터를 수기 인식 엔진에 전송할 것이며, 이 수기 인식 엔진은 수기된 데이터에 상응하는 텍스트를 인식하려고 시도할 것이다. 본 발명에 따른 시스템 및 방법은, 선택에 따라, 수집되는 때에, 사용자가 사전결정된 기간동안 잉크를 입력하는 것을 멈춘 후에, 또는 다른 적절한 또는 원하는 시간에 또는 시간 간격으로 데이터를 수기 인식 엔진에 자동으로 전송할 수 있다. 다른 대안으로서, 사용자는, 예컨대 선택에 따라 수기 입력 중 몇몇 또는 그 모두를 선택한 후에 아이콘 및/또는 메뉴 항목을 클릭함으로써 이러한 데이터를 수기 인식 엔진에 전송하는 적절한 동작을 취할 수 있다.
일단 수기 인식기가 수기 입력 데이터를 처리하고나면, 수기 인식기는 인식된 텍스트를 애플리케이션 프로그램으로 리턴한다(그리고/또는 그렇지 않고서 애플리케이션 프로그램에서 이용가능하도록 한다). 도 3b에 도시된 바와 같이, 본 발명의 이러한 실시예에 따른 시스템 및 방법은 원래의 수기된 잉크 입력(302)을 수기 인식 엔진에 의해서 생성된대로 그 입력(참조부호 304)에 상응하는 머신 생성 텍스트로 자동으로 대체한다. 그 후에, 이러한 머신 생성 텍스트(304)는 워드 프로세싱 프로그램, 스프레드시트, 이메일 애플리케이션, 웹 브리우저 등과 같은 컴퓨터 시스템에 의해서 통상적인 방식으로 이용될 수 있을 것이다.
특히, 이러한 실시예에서, 머신 생성 텍스트(304)는 원래의 수기 텍스트(302)의 크기에 실질적으로 상응하는 폰트 크기로 스케일링된다. 추가적으로, 머신 생성 텍스트(304)는 원래의 수기 텍스트 입력(302)과 본질적으로 동일한 방향 및 배열을 유지한다. 예컨대, 머신 생성 텍스트(304)내의 단어간 공백 및 단어 위치는 원래의 수기 텍스트(302)에서의 단어간 공백 및 단어 위치와 동일하거나 실질적으로 동일하다.
도 4a 및 4b는 본 발명의 적어도 몇몇 실시예에서 이용가능한 추가적인 특징을 도시한다. 도 4a에 도시되고 상세한 설명에서 기술된 바와 같이, 입력 잉크 데이터가 수신되고 인식된 후에, 상기딘 바와 같이, 본 발명의 본 실시예에 따른 시스템 및 방법은 머신 생성 텍스트(304)를 디스플레이할 것이다(도 3b 및 이에 상응하는 상기 설명 또한 참조하라). 본 실시예에서, 사용자는 전자펜 또는 스타일러스(166)를 화살표(402)에 의해서 나타난 바와 같이 디스플레이 스크린(107/165)을 향하여 가져간다. 이러한 동작은 궁극적으로 "line"이라는 단어의 선택을 야기한다.
본 발명의 범위를 벗어나지 않고서 어떤 적절한 또는 원하는 방식으로, 혹은 어떤 적절한 또는 원하는 동작의 결과로서 선택할 수 있다. 예컨대, 본 발명에 따른 시스템 및 방법의 몇몇 실시예에서, 스타일러스(166)를 디스플레이 스크린(107/165)상에 접촉시키면("펜 다운 이벤트") 접촉 위치의 특정한 단어가 선택된다(예컨대, 스타일러스(166)가 단어에 의해서 점유된 "경계 박스"내의 디지타이저 스크린(107/165)을 접촉한다면, 이러한 동작에 의해서 그 단어가 선택될 것이다). 본 발명에 따른 시스템 및 방법의 다른 실시예에서, 스타일러스(166)는 디지타이저의 표면(107/165)에 근접하여 움직이는 동안 디지타이저에 의해서 검출될 수 있을 것이다. 이것은 본 발명의 기술분야의 당업자에게 알려진 통상적인 방식을 포함하여, 본 발명의 범위를 벗어나지 않고서 어떤 적절한 방식으로 수행될 수 있을 것이다. 예컨대, 몇몇 스타일러스들은 "활성화" 상태에 있으며, 본 명세서에서 이는 스타일러스(166)가 디지타이저 표면(107/165) 근처에 위치하는 경우에 디지타이저에 의해서 전송되고/전송되거나 검출가능한 에너지, 데이터 또는 다른 정보를 스타일러스들이 전송, 반사, 변형 또는 그렇지 않은 경우에 변경하고 있음을 의미한다. 스타일러스(166)는 디지타이저에 의해서 방출된 에너지를 수신하며/수신하거나, 디지타이저에 의해서 전송되고/전송되거나 검출된 자기장 또는 전기장을 변경시키는 회로 또는 다른 구조를 포함하여, 검출된 전기장 또는 자기장의 변화에 기인하여 디지타이저 표면(107/165) 근처에서의 스타일러스(166)의 존재가 디지타이저에 의해서 검출될 수 있을 것이다. 다른 예로써, 적어도 디지타이저 표면(107/165) 근처에 위치한 경우에, 스타일러스(166)는 디지타이저에 의해서 검출될 수 있는 데이터, 전기장 또는 자기장 또는 다른 에너지 또는 정보를 전송하거나 반사할 수 있다. 스타일러스(166)가 디지타이저 표면(107/165) 근처에 위치하는 경우에 스타일러스(166)의 존재를 감지하거나 검출하는 어떠한 적절한 또는 원하는 방법도 본 발명의 범위를 벗어나지 않고서 이용될 수 있을 것이다. 비록 스타일러스와 디지타이저의 조합이 사실상 디지타이저 표면(107/165)에 대한 어떠한 정당한 위치에서도 스타일러스(166)의 검출을 허용하도록 설계될 수 있지만, 활성 펜을 가지는 적어도 몇몇 통상적인 펜기반 시스템에서는 스타일러스가 디지타이저 표면(107/165)으로부터 약 0.5 내지 2 인치 정도 떨어져 있는 경우에, 몇몇 예에서는 디지타이저 표면(107/165)으로부터 대략 0.5 인치 내지 1 인치 떨어진 경우에 스타일러스(166)는 처음에 검출가능하다. 이러한 시스템에서, 원한다면, 스타일러스(166)가 디스플레이 스크린(107/165)의 표면위에서 움직이는 경우에 단어의 선택이 이루어질 것이며, 스타일러스(166)의 끝부분 바로 아래의, 또는 인접한 단어가 선택된 단어가 될 것이다(예컨대, 호버 동작이 단어의 경계 박스 위에서 이루어진다면, 그 단어가 선택될 것이다).
도 4b에 도시된 바와 같이, 선택이 이루어지는 경우에(예컨대, 스타일러스(166)가 단어의 경계 박스의 위치에서 디지타이저 표면(107/165)위에서 접촉하거나 근접하여 움직이는 경우에), 선택된 단어에 상응하는 머신 생성 텍스트(본 예에서는 "line"이라는 단어)가 원래의 전자 잉크 입력으로 대체된다. 머신 생성 텍스트의 폰트 크기가 원래의 잉크 입력에 상응하도록 스케일링되었기 때문에, 선택된 머신 생성 단어(본 예에서는 "line"이라는 단어)에 상응하는 원래의 잉크는 머신 생성 텍스트의 라인내의 이용가능한 공간에서 용이하게 적합하게 된다. 따라서, 선택을 함으로써, 사용자는 수기 인식기가 올바는 머신 생성 텍스트를 원래의 수기 잉크 텍스트로 대체하였는지 여부를 용이하게 판정할 수 있게 된다.
사용자에 의한 추가적인 동작없이 선택이 종료하는 경우에(예컨대, "펜 업 이벤트", 호버 동작, 펜의 움직임, 다른 기능의 활성화 또는 몇몇 다른 적절한 방식에 의함), 대체된 수기 잉크 텍스트는 머신 생성 텍스트에 의해서 다시 대체될 것이며, 본 예에서 텍스트의 라인은 도 3b 및 4a에 도시된 형태로 돌아갈 것이다. 원한다면, 본 발명의 몇몇 경우에서 머신 생성 텍스트로의 복귀는 사전결정된 지연 시간 기간이후에 발생할 것이다.
몇몇 경우에서, 수기 인식 기술은 원래 잉크 단어를 정확하게 식별하지 못할 것이며, 따라서 수기 잉크 텍스트에 올바르게 대응하지 않는 머신 생성 텍스트를 생성할 것이다. 사용자는 이들 오류들을 바로잡기를 원할 것이다. 도 5는 인식기가 머신 생성 텍스트에 수정을 가하는 기회를 제공할뿐만 아니라, 머신 생성 텍스트에 대한 잠재적인 대안을 제시하는 선택 동작의 예를 도시한다. 가벼운 접촉, 호버 또는 다른 선택 동작 동안에, 예컨대 도 4a 및 4b와 관련하여 상기된 바와 같이, 머신 생성 텍스트는 원래의 수기 잉크 텍스트에 의해 대체된다. 예컨대, 도 5의 디지타이저/디스플레이 스크린(107/165)에 나타난 바와 같이, 스타일러스(166)는 머신 생성 단어 "line"에 접촉하며, 이는 단어 "line" 에 대한 원래의 전자 잉크 텍스트가 나타나도록 한다. 다른 실시예에서, 스타일러스(166)는 머신 생성 단어 "line" 위를 호버하여 원래의 잉크 텍스트가 나타나도록 할 것이다. 본 발명의 적어도 몇몇 예에서, 단어 위에서의 접촉 또는 호버 동작은 선택된 단어에 대한 잠재적인 대안들(504)이 나타나도록 한다(통상적인 철자 검사 프로그램, 통상적인 수기 인식 프로그램 등을 이용하는 경우의 잠재적인 대안들의 목록과 유사함). 사용자가 애플리케이션 프로그램에 의해서 공급된 원래의 머신 생성 텍스트가 원래의 잉크 텍스트에 올바르게 대응하지 않는다고 판정한 경우에는, 사용자는 이러한 절차를 이용하여 머신 생성 텍스트를 올바른 단어(들)로 수정하고 대체할 수 있다. 예컨대, 목록(504)이 나타나는 경우에, 사용자는 이용가능한 대안들 중 하나를 접촉하여 대안을 선택할 수 있으며, 이는 선택된 대안에 상응하는 머신 생성 텍스트가 원래 존재하는 머신 생성 텍스트를 대체하도록 할 것이며, 선택사항으로써, 이는 대체를 위하여 시스템을 승인하는 키 또는 아이콘을 접촉한 후에 이루어질 것이다. 이러한 프로세스에서 원래의 잉크는 변경되지 않은 상태로 남을 것이며, 예컨대, 장래의 선택 동작 또는 다른 적절하거나 원하는 목적으로 이용가능한 상태로 남을 것이다.
원한다면, 잠재적인 대안들(504)의 목록은 사용자가 하나 이상의 잉크 단어로 기록할 수 있는 잉크 영역(506)을 포함할 수 있을 것이다(원하는 단어가 잠재적인 대안들의 목록(504)에 나타나지 않거나, 사용자에 의해서 인지되지 않는 경우). 이와 달리, 잉크 영역(506)을 제공하는 대신에(혹은 잉크 영역을 제공하는 것에 추가하여), 사용자는 원래의 잉크 단어(들)를 원래의 위치에서 소거할 수 있으며, 그런 다음 본 발명의 범위를 벗어나지 않고서 원래의 단어를 재기록한다(또는 새로운 단어를 기록함). 그런 다음, 수기 인식 엔진은 새롭게 기록된 잉크 단어(잉크 영역(506)에 존재하든, 혹은 원래의 잉크 위치에 존재하든)를 인식하려고 시도할 것이며, 원래의 머신 생성 텍스트를 새로운 수기 잉크 단어로부터 생생된 새로운 머신 생성 텍스트로 대체할 것이다.
본 발명에 따른 시스템 및 방법의 적어도 몇몇 예에서, 예컨대 상기된 바와 같은 (선택사항으로써 사전결정된 수의 반복된 수정 또는 대체 후의)텍스트의 수정 및/또는 대체는 규칙 또는 프레퍼런스를 확립하는 데에 이용되어, 수기 인식 엔진이 연속적으로 동일한 실수(들)를 하지 않도록 할 수 있을 것이다. 이러한 방식의 수기 인식 엔진의 자동 커스텀화 또는 개인화는, 예컨대 개별적인 문자 단위로 발생하거나(예컨대, 인식기는 어떤 개별적인 문자가 오판독되었는지를 판정할 것이며, 이러한 방식으로 개별적인 사용자의 기록 특성 또는 스타일에 익숙해질 것이다), 단어 단위로 발생할 수 있을 것이다(예컨대, 인식기가 문자 또는 한 획의 특정 조합을 인지할 때 마다 인식기는 특정 단어를 선택할 수 있음). 본 발명의 범위를 벗어나지 않고서, 상기된 바와 같은 자동 커스텀화 또는 개인화를 포함하는 다른 커스텀화 또는 개인화 옵션 또한 가능할 것이다.
수기 인식 엔진은 본 발명의 범위를 벗어나지 않고서 본 기술분야에 공지된 통상적인 방식을 포함하는 소정의 적절한 방식으로 잠재적인 대안들(504)의 목록을 생성할 수 있을 것이다. 소정의 적절하거나 원하는 동작은 본 발명의 범위를 벗어나지 않고서 잠재적인 대안들(504)의 목록의 출현을 개시할 것이다. 예컨대, 사용자가 스타일러스(166)를 사전결정된 시간동안 단어가 선택된 위치에 유지하게 된다면, 이는 잠재적인 대안들(504)의 목록이 나타나도록 할 것이다(예컨대, "프레스-앤드-홀드(press-and-hold)" 또는 "호버-앤드-홀드" 동작). 다른 예로써, 선택 전후에 메뉴 항목이 활성화되어 잠재적인 대안들(504)의 목록의 디스플레이를 개시할 수 있다. 또 다른 가능한 대안으로써, 선택 동작이 개시되는 때마다 가능한 대안들(504)의 목록이 즉각적으로 나타날 수 있다. 본 발명의 범위를 벗어나지 않고서 이러한 프로세스를 개시하는 다른 가능한 방식이 가능하다.
다른 선택사항 또는 대안으로, 도 4a, 4b 및 5에 도시된 방식의 단어 선택은 본 발명의 적어도 몇몇 예에 따른 시스템 및 방법을 활성화하여 다른 동작 모드를 통해서 입력을 받아들일 것이다. 예컨대, 하나 이상의 단어가 선택되는 경우에(예컨대, 도 4b 및 5에서 선택된 "line"이라는 단어처럼), 이것은 본 발명의 몇몇 예에 따르는 시스템 및 방법을 활성화하여, 적어도 선택사항으로써, 음성, 하드 또는 소프트 키보드 또는 몇몇 다른 양상을 통해서 인식된 텍스트의 변화를 수용할 수 있을 것이다. 보다 구체적인 예로서, 도 4b 및 5에 도시된 바와 같이 "line" 이라는 단어가 선택된 경우에 사용자가 하나 이상의 단어를 본 발명의 이러한 예에 따른 컴퓨터에서 이용가능한 음성 입력 시스템에 소리내어 말한다면, 본 발명의 이들 예에 따른 시스템 및 방법은 말해진 단어(들)를 인식하고(예컨대, 통상적인 음성 인식 소프트웨어를 이용하여), 인식된 말해진 단어(들)를 선택된 단어(들)(즉, 본 예에 있어서는 "line"이라는 단어)로 디스플레이 상에서 대체할 수 있을 것이다. 또 다른 가능한 선택사항으로써, 본 발명의 적어도 몇몇 예에 따르는 시스템 및 방법은 수기 인식 엔진과 음성 인식 엔진 모두로부터의 결과를 이용하여 이들 두 인식 엔진으로부터의 결과의 최선의 매칭(matching)에 근거하여 원래의 선택된 텍스트에 대하여 최선의 대안으로 대체할 수 있을 것이다. 본 발명의 범위를 벗어나지 않고서 다양한 인식 엔진들로부터의 결과를 비교하고 이용하는 소정의 적절한 알고리듬이 대체될 최선의 대안을 결정하는 데에 이용될 수 있을 것이다. 또한, 이들 다른 동작 모드는 본 발명의 범위를 벗어나지 않고서 소정의 적절한 방식으로, 예컨대 텍스트의 선택시에 자동적으로 사용자 입력을 통해서(예컨대, 메뉴 항목을 선택함으로써, 아이콘을 접촉함으로써, 말하기 시작함으로써 등), 혹은 다른 원하는 또는 적절한 방식으로 활성화될 수 있을 것이다.
그러나, 도 4a, 4b 및 5에 도시된 바와 같이, 단어 선택은 단일의 단어 선택에 한정되지 않는다. 오히려, 본 발명의 적어도 몇몇 예에서, 도 6a 내지 6c의 예에서 나타난 바와 같이 소정의 수의 단어가 선택될 수 있다. 도 6a에 나타난 바와 같이, 이 예에서 선택은 도 4a 및 4b에 나타난 것과 동일한 방식으로 단어 "line"의 선택으로 시작된다. 선택 모드인 동안에(예컨대, 스타일러스(166)가 선택의 제 1 단어 위에서 접촉하거나 호버하고 있으며 원래의 잉크가 디스플레이되는 동안에), 스타일러스(166)는 이동하여(화살표(602)에 의해서 표시됨) 추가적인 단어들을 선택한다. 도 6a 및 6b에 도시된 바와 같이, 추가적인 단어 "is" 및 "sample"이 선택된다. 일단 선택이 완료되면, 도 6c에 도시된 바와 같이, 선택 동작이 지속되는 동안에(예컨대, 펜 다운 이벤트 또는 호버 이벤트가 지속되는 동안에) 추가적으로 선택된 머신 생성 워드들이 그들에 상응하는 원래의 잉크 단어들에 의해서 대체된다. 스타일러스(166)를 들어올리거나, 또는 그렇지 않고서 다른 방식으로 선택 이벤트를 종료하게 되면, 본 예에서 잉크 텍스트를 머신 생성 텍스트로 변경시킬 것이다. 추가적으로, 본 발명의 시스템 및 방법의 적어도 몇몇 예에서, 하나 이상의 선택된 머신 생성 워드로의 변경은, 예컨대 도 5와 관련하여 상기된 통상적인 방식으로, 예컨대 수기 인식 결과, 음성 인식 결과, 이들의 조합 및/또는 다른 적절한 또는 원하는 방식을 이용하여 이루어질 것이다.
도 7a 및 7b는 본 발명의 적어도 몇몇 예에서 존재하거나 이용가능한 추가적인 특징을 도시한다. 도시된 바와 같이, 본 예에서는 수기 텍스트가 인식되어 머신 생성 텍스트로 변환되며, 머신 생성 텍스트의 폰트는 통상적으로 원래의 수기 잉크 텍스트의 크기와 매칭되도록 스케일링된다. 본 발명의 몇몇 예에서, 머신 생성 텍스트는 라인이 채워지고 다음에 연속하는 단어가 라인상에서 맞지 않을 때까지 단어가 텍스트의 라인을 연속적으로 채우는 표준 워드 프로세싱 텍스트처럼 기능할 것이다. 그 후에, 다음의 연속하는 단어는 텍스트의 다른 라인을 개시할 것이다. 이러한 상황에서, 도 7a 및 7b에 제공된 예에서, 단어 "the"에 대한 라인상에 충분한 공간이 존재하기 때문에, 인식기는 단어 "the"를 단어 "maintain"과 동일한 라인상에 위치시킬 것이다.
그러나, 본 발명의 다른 예에서, 도 7a 및 7b에 도시된 바와 같이 원래의 잉크 단어 배열 및 간격이 머신 생성 텍스트내에서 유지된다. 이러한 장치는, 예컨대 텍스트의 방향 또는 배열 또한 독자에게 정보를 전달하는 경우에, 예컨대 텍스트가 목록, 행, 열, 차트, 수학식, 공식 등을 포함하는 경우에 특히 장점이 있다. 원하는 경우에, 본 발명의 적어도 몇몇 예에 따르는 시스템 및 방법에는 "정규화" 기능이 제공될 수 있는데, 이는 사용자에 의해서 활성화되는 경우에 머신 생성 텍스트를 보다 전형적인 워드 프로세싱 포맷으로 "정규화"할 것이다. 예컨대, 도 7b에 도시된 바와 같이, "정규화" 기능이 선택되는 경우에(아이콘(700)으로 표시됨)는 도 7c에 도시된 바와 같이, 단어간 공백을 일정한 공백으로 변경시키며, 단어를 감싸서 라인을 채우고, 라인내의 모든 단어에 대해서 일정한 기준선을 제공하고, 공통의 마진(들)을 제공하며, 워드 프로세싱 애플리케이션에 의해서 생성되고/생성되거나 워드 프로세싱 애플리케이션에 의해서 이용되기 적절한 방식으로 통상적으로 단어를 구성한다.
도 7a 내지 7c와 결합하여 기술된 바와 같이, "정규화" 기능은 본 발명의 범위를 벗어나지 않고서 소정의 적절한, 또는 원하는 방식으로 활성화될 수 있다. 예컨대, 디스플레이 스크린은 도 7b에 나타난 바와 같이 "정규화" 아이콘(700)을 포함할 수 있을 것이다. 다른 예로서, 정규화 기능은 애플리케이션 프로그램 및/또는 오퍼레이팅 시스템으로부터 이용가능한 툴바로부터 활성화될 수 있을 것이다. 또 다른 예로서, 정규화 기능은, 예컨대 스타일러스 또는 몇몇 다른 적절한 또는 원하는 사용자 입력 디바이스 동작을 이용하는 프레스 앤드 홀드 동작의 결과로서 디스플레이된 메뉴로부터 활성화될 수 있을 것이다. 추가적으로, 정규화 기능은 본 발명의 범위를 벗어나지 않고서 텍스트 전체를 포함한 머신 생성 텍스트의 어떤 부분에서도 (예컨대, 선택 동작을 이용하여)수행될 수 있다.
물론, 원래의 잉크 및 머신 생성 텍스트는 소정의 적절한 방식 또는 원하는 방식으로 더 이용되고 처리될 수 있도록 하는 모두 형태 및 포맷일 수 있으며, 이는 본 기술분야에서 공지된 통상적인 방식을 포함한다. 예컨대, 잉크 및 머신 생성 텍스트는 본 발명의 범위를 벗어나지 않고서 복사, 붙이기, 이동, 축소, 확대, 편집, 폰트의 변화 및 다른 처리가 가능하다.
도 8은 본 발명의 적어도 몇몇 예에서 머신 생성 텍스트를 제공하고 스케일링하는 데에 이용되는 프로세스를 기술하는 예시적인 흐름도를 도시한다. 절차가 개시되는 경우에(S800), 전자 잉크 데이터가 수집된다(S802). 상기된 바와 같이, 잉크 데이터는 본 발명의 범위를 벗어나지 않고서 (ISF 포맷과 같은)본 발명의 기술분야의 당업자들에게 통상적이며 공지된 방식 및 포맷을 포함하는 소정의 적절한 방식의 소정의 적절한 포맷으로 수집될 수 있다. 일단 원래 잉크 데이터가 수집되고나면(선택사항으로써, 잉크 데이터가 입력되는 다양한 시간에), 이것은 수기 인식 엔진에 전송되어 머신 생성 텍스트로 변환될 것이다(S804).
그 후에, 머신 생성 텍스트를 렌더링하기 위한 적절한 폰트 크기를 결정하기 위하여, 다양한 잉크 문자의 평균 높이(또는 다른 크기 특성)가 결정될 수 있으며, 결정된 잉크 크기 특성에 근거하여 머신 생성 텍스트를 위한 상응하는 폰트 크기 또한 결정될 것이다(S808). 머신 생성 텍스트의 폰트 크기는 본 발명의 범위를 벗어나지 않고서 문자 단위, 단어 단위, 라인 단위, 단락 단위 또는 다른 적절하거나 원하는 단위로 결정될 수 있을 것이다. 일관되지 않은 크기로 기록된 문자들에 기인한 단일 단어, 라인 또는 단락의 진행에서의 폰트의 빈번하고 변덕스러운 변화를 회피하기 위하여, 본 발명의 적어도 몇몇 예에서 렌더링될 때에 머신 생성 텍스트는 단어, 라인, 단락 또는 그 이상에 대하여(예컨대, 한 라인 또는 다른 부분 등에서의 잉크 한 획, 문자 또는 단어의 평균 높이에 근거하여) 일관되게 크기가 형성될 것이다.
일단 머신 생성 텍스트의 폰트 크기가 결정되고나면(예컨대, 문자, 워드, 라인, 단락 또는 다른 단위로), 수기 잉크는 머신 생성 텍스트와 마찬가지로 상기된 방식으로 컴퓨터 디스플레이(또는 다른 렌더링 디바이스)상에서 대체되거나 렌더링된다(S810). 그런 다음, 절차가 종료되고 새로운 추가적인 입력 또는 사용자 명령(예컨대, 선택, 텍스트 대체 등)을 기다린다.
물론, 도 8은 단순히 본 발명의 적어도 몇몇 예에 따라 이루어질 수 있는 예시적인 단계를 구성하고 있다. 본 발명의 기술분야의 당업자는 본 발명의 범위를 벗어나지 않고서 특정 단계에서 내용이 변경될 수 있으며, 위 단계들이 상이한 순서로 수행될 수 있으며, 추가적인 단계들이 추가될 수 있으며 그리고/또는 존재하는 단계가 생략되거나 결합될 수 있음을 인식할 것이다.
추가적으로, 상기된 본 발명의 예들이 통상적인 영어 및 다른 라틴 기반 단어 및 텍스트의 형태의 전자 잉크 데이터 및 머신 생성 객체들을 처리하는 데에 최적화되어 있지만, 본 발명은 이러한 타입의 언어 및 이러한 타입의 전자 잉크 데이터 및 머신 생성 객체들의 사용에 한정되지 않는다. 본 발명의 기술분야의 당업자들은 본 발명의 범위를 벗어나지 않고서 본 발명이 어떠한 언어로 수기된 텍스트도 포함하며, 어떠한 방향으로 기록되거나 읽혀지는지에 상관없이 어떠한 타입의 전자 잉크 데이터 및 머신 생성 객체들도 이용될 수 있다는 측면을 인식할 것이다. 추가적으로, 본 발명의 특징들은 본 발명의 범위를 벗어나지 않고서 챠트, 다이어그램, 그래프, 흐름도 등에서의 데이터 및 요소, 음악 데이터 또는 심볼들, 수학적 또는 과학적 데이터 또는 심볼들, 그림들와 같은 다른 타입의 데이터 및 머신 생성 객체들의 인식 및 처리에도 이용될 수 있다.
추가적으로, 본 발명의 모든 예에서 원래의 잉크 텍스트가 실제로 머신 생성 텍스트를 대체할 것이, 예컨대, 선택 동작동안 요구되지는 않는다. 예컨대, 대안으로서 본 발명의 범위를 벗어나지 않고서 원래 잉크 및 머신 생성 텍스트가 중첩되거나(예컨대, 한 가지는 배경으로써 나타나거나, 다른 색으로 나타나는 등), 이들이 서로 인접하여 나타나거나(예컨대, 위 또는 아래, 나란히 등), 별도의 팝업 윈도우로 나타나는 등의 형태로 나타날 수 있다.
또한, 마지막으로, 본 발명은 다양한 방법을 수행하기 위하여 그리고/또는 상기된 시스템 및 방법을 포함하는 다양한 시스템에서 이용하기 위하여 내부에 저장된 컴퓨터 수행 인스트럭션을 포함하는 컴퓨터 판독가능 매체에 관한 것이다. 컴퓨터 판독가능 매체는 상기된 컴퓨터 판독가능 매체의 다양한 특정 예에 저장된 컴퓨터 수행 명령을 구성할 것이다.
Ⅴ. 결론
지금까지 본 발명의 다양한 실시예들이 기술되었으며, 본 발명의 기술분야의 당업자는 본 발명의 범위내에 이들 실시예들의 모든 조합들과 부조합들을 포함함을 이해할 것이다. 추가적으로, 본 발명의 기술분야의 당업자는 상기된 실시예들은 본 발명의 다양한 특징을 간단히 예시하고 있음을 인식할 것이다. 본 발명의 기술적 사상 및 본 발명의 범위를 벗어나지 않고서 첨부된 특허청구범위에 규정된 바와 같은 다양한 변경 및 수정을 가하는 것이 가능할 것이다.
본 발명은 (a) 전자 잉크 입력을 수신하고, (b) 이러한 입력을 머신 생성 객체로 변환하고, (c) 이들 객체들의 크기가 실질적으로 입력의 원래 크기에 상응하도록 객체들을 렌더링하는 전자 잉크를 처리하는 시스템, 방법 및 컴퓨터 판독가능 매체에 관한 것이다. 입력 잉크는 텍스트를 구성할 것이며, 머신 생성 객체들은 단어, 라인 및/또는 수기 인식기에 의해서 발생된 텍스트의 다른 그룹에 상응할 수 있을 것이다. 인식기 오류의 신속하고 용이한 식별이 가능하도록 하기 위해서, 적어도 몇몇 시스템 및 방법에서 사용자는 하나 이상의 방법을 선택할 수 있을 것이며, 이는 시스템이 선택된 단어(들)에 상응하는 원래 잉크를 디스플레이하도록 할 것이다. 이러한 시스템은 선택된 원래의 잉크에 상응하는 인식기에 의해서 발생된 다른 단어 또한 디스플레이하고, 사용자가 대안들 중 하나를 선택하여 (철자 검사 또는 수기 인식 프로그램을 이용하는 것과 유사하게)인식된 텍스트에서 수정하는 것을 가능하게 할 것이다.
도 1은 본 발명의 소정의 특징이 실시될 수 있는 범용 디지털 컴퓨터 환경의 개략도.
도 2는 본 발명의 소정의 특징이 실시될 수 있는 펜기반 퍼스널 컴퓨터 환경을 도시하는 도면.
도 3a 및 3b는 본 발명의 몇몇 실시예에 따른 잉크 입력의 개시 처리의 예를 도시하는 도면.
도 4a 및 4b는 본 발명의 몇몇 실시예에서 이용가능한 선택 특성의 예를 도시하는 도면.
도 5는 본 발명의 몇몇 실시예에서 이용가능한 머신 생성 텍스트 대체 특성의 예를 도시하는 도면.
도 6a 내지 6c는 본 발명의 몇몇 실시예에서 이용가능한 추가적인 선택 특성의 예를 도시하는 도면.
도 7a 내지 7c는 본 발명의 몇몇 예에서 이용가능한 다양한 디스플레이 특성 또는 옵션의 예를 도시하는 도면.
도 8은 본 발명의 적어도 몇몇 예에서 따르는 절차를 도시하는 예시적인 흐름도.
<도면의 주요부분에 대한 부호의 설명>
120 : 시스템 메모리 140 : ROM
150 : RAM 107 : 모니터
165 : 디지타이저

Claims (20)

  1. 전자 잉크 입력을 수신하는 단계와,
    상기 전자 잉크 입력을 하나 이상의 머신 생성 객체들로 변환하는 단계와,
    상기 하나 이상의 머신 생성 객체들을 렌더링하여 상기 머신 생성 객체 또는 객체들이 상기 전자 잉크 입력의 원래의 크기에 실질적으로 상응하도록 하는 단계
    를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 전자 잉크 입력의 원래의 크기를 결정하는 단계를 포함하는 방법.
  3. 제 2 항에 있어서,
    상기 전자 잉크 입력의 원래의 크기는 상기 전자 잉크 입력의 적어도 일부의 평균 크기에 근거하여 결정되는 방법.
  4. 제 1 항에 있어서,
    상기 렌더링된 머신 생성 객체 또는 객체들로부터 적어도 하나의 객체를 선택하는 입력을 수신하는 단계와,
    상기 선택된 머신 생성 객체 또는 객체들에 상응하는 상기 전자 잉크 입력을 디스플레이하는 단계
    를 포함하는 방법.
  5. 제 4 항에 있어서,
    상기 디스플레이되는 전자 잉크 입력은 상기 렌더링된 머신 생성 객체 또는 객체들을 일시적으로 대체하는 방법.
  6. 제 1 항에 있어서,
    상기 하나 이상의 렌더링된 머신 생성 객체들은 상기 전자 잉크 입력의 원래의 배열에 상응하도록 배열되는 방법.
  7. 제 1 항에 있어서,
    상기 전자 잉크 입력은 전자 잉크 텍스트 입력을 포함하며, 상기 하나 이상의 머신 생성 객체들은 머신 생성 텍스트를 포함하며, 상기 머신 생성 객체들 중 적어도 일부의 크기는 상기 머신 생성 텍스트의 폰트 크기를 구성하는 방법.
  8. 제 7 항에 있어서,
    상기 전자 잉크 텍스트 입력의 원래의 크기를 단어 단위로 결정하는 방법.
  9. 제 8 항에 있어서,
    상기 머신 생성 텍스트는 상기 결정된 전자 잉크 텍스트 입력의 원래의 크기에 근거한 폰트 크기로 단어 단위로 렌더링되는 방법.
  10. 제 7 항에 있어서,
    상기 전자 잉크 텍스트 입력의 원래의 크기를 상기 전자 잉크 텍스트 입력의 라인의 평균 크기로서 라인 단위로 결정하는 단계를 더 포함하는 방법.
  11. 제 10 항에 있어서,
    상기 머신 생성 텍스트는 상기 전자 잉크 텍스트 입력 라인의 상기 평균 크기에 근거한 폰트 크기로 라인 단위로 렌더링되는 방법.
  12. 제 7 항에 있어서,
    상기 렌더링된 머신 생성 텍스트로부터 하나 이상의 단어를 선택하는 입력을 수신하는 단계와,
    상기 선택된 머신 생성 텍스트에 상응하는 전자 잉크 텍스트 입력을 디스플레이하는 단계
    를 더 포함하는 방법.
  13. 제 12 항에 있어서,
    상기 선택된 하나 이상의 단어에 상응하는 머신 생성 텍스트 대안(machine-generated text alternative)을 디스플레이하는 단계를 더 포함하는 방법.
  14. 제 13 항에 있어서,
    디스플레이된 머신 생성 텍스트 대안을 선택하는 입력을 수신하는 단계와,
    상기 선택된 렌더링된 머신 생성 텍스트를 상기 선택된 디스플레이된 머신 생성 텍스트 대안으로 대체하는 단계
    를 더 포함하는 방법.
  15. 전자 잉크 입력을 수신하는 입력과,
    (a) 상기 전자 잉크 입력을 하나 이상의 머신 생성 객체로 변환하고, (b) 상기 하나 이상의 머신 생성 객체를 렌더링하여 상기 머신 생성 객체 또는 객체들의 크기가 상기 전자 잉크 입력의 원래의 크기에 상응하게 하도록 프로그램된 프로세서
    를 포함하는 시스템.
  16. 제 15 항에 있어서,
    상기 전자 잉크 입력은 전자 잉크 텍스트 입력을 포함하고, 상기 하나 이상의 머신 생성 객체들은 머신 생성 텍스트를 포함하고, 상기 머신 생성 객체들의 적어도 몇몇의 크기는 상기 머신 생성 텍스트의 폰트 크기를 구성하는 시스템.
  17. 제 16 항에 있어서,
    상기 입력은 상기 렌더링된 머신 생성 텍스트로부터 하나 이상의 선택을 수신하고, 상기 프로세서는 상기 선택된 머신 생성 텍스트에 상응하는 상기 전자 잉크 텍스트 입력을 디스플레이하고, 상기 선택된 하나 이상의 단어에 상응하는 머신 생성 텍스트 대안을 디스플레이하는 시스템.
  18. 제 17 항에 있어서,
    상기 입력은 디스플레이된 머신 생성 텍스트 대안의 선택을 또한 수신하고, 상기 프로세서는 상기 선택된 렌더링된 머신 생성 텍스트를 상기 선택된 디스플레이된 머신 생성 텍스트 대안으로 대체하도록 또한 프로그램되는 시스템.
  19. 내부에 저장된 컴퓨터 수행가능 명령을 포함하는 컴퓨터 판독가능 매체에 있어서,
    전자 잉크 입력을 수신하는 단계와,
    상기 전자 잉크 입력을 하나 이상의 머신 생성 객체로 변환하는 단계와,
    상기 하나 이상의 머신 생성 객체를 렌더링하여 상기 머신 생성 객체 또는 객체들이 실질적으로 상기 전자 잉크의 원래의 크기에 실질적으로 상응하도록 하는 단계
    를 포함하는 방법을 수행하는 컴퓨터 판독가능 매체.
  20. 제 19 항에 있어서,
    상기 전자 잉크 입력은 전자 잉크 텍스트 입력을 포함하고, 상기 하나 이상의 머신 생성 객체들은 머신 생성 텍스트를 포함하고, 상기 머신 생성 객체들 중 적어도 몇몇의 크기는 상기 머신 생성 텍스트의 폰트 크기를 구성하는 컴퓨터 판독가능 매체.
KR1020040099735A 2003-12-03 2004-12-01 잉크의 스케일링된 텍스트로의 대체 KR101120850B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/725,604 2003-12-03
US10/725,604 US7848573B2 (en) 2003-12-03 2003-12-03 Scaled text replacement of ink

Publications (2)

Publication Number Publication Date
KR20050053498A true KR20050053498A (ko) 2005-06-08
KR101120850B1 KR101120850B1 (ko) 2012-03-15

Family

ID=34465742

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040099735A KR101120850B1 (ko) 2003-12-03 2004-12-01 잉크의 스케일링된 텍스트로의 대체

Country Status (5)

Country Link
US (1) US7848573B2 (ko)
EP (1) EP1538549A1 (ko)
JP (1) JP2005166060A (ko)
KR (1) KR101120850B1 (ko)
CN (1) CN1624643A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140019179A (ko) * 2012-08-06 2014-02-14 삼성전자주식회사 휴대단말기의 키 입력 방법
KR20150027885A (ko) * 2013-08-29 2015-03-13 삼성전자주식회사 전자 필기 운용 방법 및 이를 지원하는 전자 장치
KR20160090244A (ko) * 2015-01-21 2016-07-29 레노보 (싱가포르) 피티이. 엘티디. 디스플레이 상의 핸드라이팅 입력의 표현의 표시
KR20160111245A (ko) * 2015-03-16 2016-09-26 주식회사 인프라웨어 잉크 텍스트 처리 장치 및 방법
KR20180100207A (ko) * 2016-01-07 2018-09-07 마이스크립트 디지털 잉크 상호작용을 위한 시스템 및 방법

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7030863B2 (en) * 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
US7821503B2 (en) 2003-04-09 2010-10-26 Tegic Communications, Inc. Touch screen and graphical user interface
US7286115B2 (en) 2000-05-26 2007-10-23 Tegic Communications, Inc. Directional input system with automatic correction
US7750891B2 (en) * 2003-04-09 2010-07-06 Tegic Communications, Inc. Selective input system based on tracking of motion parameters of an input device
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US6986106B2 (en) 2002-05-13 2006-01-10 Microsoft Corporation Correction widget
US7137076B2 (en) * 2002-07-30 2006-11-14 Microsoft Corporation Correcting recognition results associated with user input
US7506271B2 (en) * 2003-12-15 2009-03-17 Microsoft Corporation Multi-modal handwriting recognition correction
US7831933B2 (en) 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060033725A1 (en) * 2004-06-03 2006-02-16 Leapfrog Enterprises, Inc. User created interactive interface
US20060125805A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and system for conducting a transaction using recognized text
US7853193B2 (en) * 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US7697001B2 (en) * 2005-01-31 2010-04-13 Microsoft Corporation Personalized ink font
US7295206B2 (en) * 2005-01-31 2007-11-13 Microsoft Corporation Ink input region adjustments
US7680332B2 (en) * 2005-05-30 2010-03-16 Microsoft Corporation Grouping lines in freeform handwritten text
US7922099B1 (en) 2005-07-29 2011-04-12 Leapfrog Enterprises, Inc. System and method for associating content with an image bearing surface
JP5220278B2 (ja) * 2006-01-27 2013-06-26 任天堂株式会社 ゲーム装置および手書き入力プログラム
US8599143B1 (en) 2006-02-06 2013-12-03 Leapfrog Enterprises, Inc. Switch configuration for detecting writing pressure in a writing device
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
US8201087B2 (en) 2007-02-01 2012-06-12 Tegic Communications, Inc. Spell-check for a keyboard system with automatic correction
US8225203B2 (en) 2007-02-01 2012-07-17 Nuance Communications, Inc. Spell-check for a keyboard system with automatic correction
GB0706788D0 (en) * 2007-04-05 2007-05-16 Dymo Nv Tape printing apparatus
KR20090046142A (ko) * 2007-11-05 2009-05-11 삼성전자주식회사 입력 필체 자동 변환 시스템 및 방법
US8335381B2 (en) * 2008-09-18 2012-12-18 Xerox Corporation Handwritten word spotter using synthesized typed queries
WO2010099224A1 (en) * 2009-02-24 2010-09-02 Adapx Inc. Systems and methods for reviewing digital pen data
JP4775462B2 (ja) * 2009-03-12 2011-09-21 カシオ計算機株式会社 計算機及びプログラム
US8347221B2 (en) * 2009-10-07 2013-01-01 Research In Motion Limited Touch-sensitive display and method of control
US9183807B2 (en) 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
US9229231B2 (en) 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US20150100875A1 (en) * 2012-02-29 2015-04-09 Qualcomm Incorporated Display of spatially-related annotation for written content
US9165381B2 (en) 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
KR102129374B1 (ko) 2012-08-27 2020-07-02 삼성전자주식회사 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
US9208381B1 (en) * 2012-12-13 2015-12-08 Amazon Technologies, Inc. Processing digital images including character recognition using ontological rules
US9377948B2 (en) * 2013-07-01 2016-06-28 Lenovo (Singapore) Pte. Ltd. Special input for general character inquiries for input to information handling device
CN103473123B (zh) * 2013-08-27 2016-09-07 西安邮电大学 基于gpu的实时毛笔墨水扩散模型并行实现方法
KR20150028627A (ko) * 2013-09-06 2015-03-16 삼성전자주식회사 사용자 필기를 텍스트 정보로 변환하는 방법 및 이를 수행하기 위한 전자 기기
TWI510994B (zh) * 2013-09-13 2015-12-01 Acer Inc 可攜式電子裝置及控制可攜式電子裝置的方法
US20150116283A1 (en) * 2013-10-24 2015-04-30 Livescribe Inc. Paper Strip Presentation Of Grouped Content
CN104917914A (zh) * 2014-03-12 2015-09-16 日本冲信息株式会社 图像形成装置和图像形成方法
JP6270565B2 (ja) * 2014-03-18 2018-01-31 株式会社東芝 電子機器および方法
US10403238B2 (en) * 2014-06-03 2019-09-03 Lenovo (Singapore) Pte. Ltd. Presentation of representations of input with contours having a width based on the size of the input
JPWO2016031016A1 (ja) * 2014-08-28 2017-06-01 株式会社東芝 電子機器、方法及びプログラム
KR20160062566A (ko) * 2014-11-25 2016-06-02 삼성전자주식회사 필기 문자를 보정하는 디바이스 및 방법
US10614300B2 (en) * 2014-12-23 2020-04-07 Lenovo (Singapore) Pte. Ltd. Formatting handwritten content
US10037137B2 (en) * 2014-12-23 2018-07-31 Lenovo (Singapore) Pte. Ltd. Directing input of handwriting strokes
US10032071B2 (en) * 2014-12-23 2018-07-24 Lenovo (Singapore) Pte. Ltd. Candidate handwriting words using optical character recognition and spell check
CN107430486B (zh) 2015-01-28 2020-05-05 摩托罗拉解决方案公司 用于输入手写字符的方法和装置
US9710701B2 (en) * 2015-03-26 2017-07-18 Lenovo (Singapore) Pte. Ltd. Handwriting data search
US10976918B2 (en) 2015-10-19 2021-04-13 Myscript System and method of guiding handwriting diagram input
WO2017118609A1 (en) * 2016-01-07 2017-07-13 Myscript System and method for digital ink interactivity
US10146759B2 (en) * 2016-03-24 2018-12-04 Microsoft Technology Licensing, Llc Controlling digital input
US10664695B2 (en) * 2016-10-26 2020-05-26 Myscript System and method for managing digital ink typesetting
US10788934B2 (en) 2017-05-14 2020-09-29 Microsoft Technology Licensing, Llc Input adjustment
US10871886B2 (en) * 2018-05-31 2020-12-22 Apple Inc. Device, method, and graphical user interface for moving drawing objects
US10776000B2 (en) * 2018-12-19 2020-09-15 Microsoft Technology Licensing, Llc. System and method of receiving and converting digital ink input
US11144192B2 (en) 2018-12-19 2021-10-12 Microsoft Technology Licensing, Llc Customizable user interface for use with digital ink
EP3754537B1 (en) * 2019-06-20 2024-05-22 MyScript Processing text handwriting input in a free handwriting mode
KR20220006237A (ko) * 2020-07-08 2022-01-17 삼성전자주식회사 손글씨를 텍스트로 변환하기 위한 전자 장치 및 그에 관한 방법
JP2022150346A (ja) 2021-03-26 2022-10-07 セイコーエプソン株式会社 表示方法及び表示システム
WO2024110354A1 (en) * 2022-11-25 2024-05-30 Myscript Setting font size in an unconstrained canvas

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4866778A (en) 1986-08-11 1989-09-12 Dragon Systems, Inc. Interactive speech recognition apparatus
JPH0782530B2 (ja) 1986-10-13 1995-09-06 キヤノン株式会社 手書き文字認識装置
US4829576A (en) 1986-10-21 1989-05-09 Dragon Systems, Inc. Voice recognition system
JP2930612B2 (ja) * 1989-10-05 1999-08-03 株式会社リコー 画像形成装置
JP2991779B2 (ja) 1990-06-11 1999-12-20 株式会社リコー 文字認識方法及び装置
US5151950A (en) * 1990-10-31 1992-09-29 Go Corporation Method for recognizing handwritten characters using shape and context analysis
JPH04290184A (ja) 1991-03-19 1992-10-14 Sanyo Electric Co Ltd 手書き文書作成装置
US5220649A (en) 1991-03-20 1993-06-15 Forcier Mitchell D Script/binary-encoded-character processing method and system with moving space insertion mode
EP0505621A3 (en) 1991-03-28 1993-06-02 International Business Machines Corporation Improved message recognition employing integrated speech and handwriting information
US5550930A (en) * 1991-06-17 1996-08-27 Microsoft Corporation Method and system for training a handwriting recognizer at the time of misrecognition
US5848187A (en) 1991-11-18 1998-12-08 Compaq Computer Corporation Method and apparatus for entering and manipulating spreadsheet cell data
JP2640793B2 (ja) 1992-01-17 1997-08-13 松下電器産業株式会社 共起辞書構築装置及びこの共起辞書を用いた文解析装置
JP3131287B2 (ja) 1992-05-27 2001-01-31 株式会社日立製作所 パターン認識装置
US5544295A (en) 1992-05-27 1996-08-06 Apple Computer, Inc. Method and apparatus for indicating a change in status of an object and its disposition using animation
US5502774A (en) 1992-06-09 1996-03-26 International Business Machines Corporation Automatic recognition of a consistent message using multiple complimentary sources of information
US5649027A (en) 1992-07-24 1997-07-15 Microsoft Corporation Recognition of handwritten words
US5331431A (en) * 1992-08-31 1994-07-19 Motorola, Inc. Method and apparatus for transmitting and receiving encoded data
EP0585944B1 (en) 1992-09-04 2002-12-11 Canon Kabushiki Kaisha Method and apparatus for displaying characters
US5666139A (en) 1992-10-15 1997-09-09 Advanced Pen Technologies, Inc. Pen-based computer copy editing apparatus and method for manuscripts
US5583543A (en) 1992-11-05 1996-12-10 Sharp Kabushiki Kaisha Pen input processing apparatus
US5716469A (en) * 1993-03-04 1998-02-10 Higgins; James T. Method and apparatus for labeling documents
US5517578A (en) 1993-05-20 1996-05-14 Aha! Software Corporation Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings
JP3362913B2 (ja) * 1993-05-27 2003-01-07 松下電器産業株式会社 手書き文字入力装置
DE4323241A1 (de) 1993-07-12 1995-02-02 Ibm Verfahren und Computersystem zur Suche fehlerhafter Zeichenketten in einem Text
JPH0736882A (ja) 1993-07-19 1995-02-07 Fujitsu Ltd 辞書検索装置
US5367453A (en) * 1993-08-02 1994-11-22 Apple Computer, Inc. Method and apparatus for correcting words
DK0686291T3 (da) 1993-12-01 2001-12-03 Motorola Inc Kombineret ordbogsbaseret og sandsynlig-karakterstreng-håndskriftsgenkendelse
US5710916A (en) 1994-05-24 1998-01-20 Panasonic Technologies, Inc. Method and apparatus for similarity matching of handwritten data objects
US5812697A (en) 1994-06-10 1998-09-22 Nippon Steel Corporation Method and apparatus for recognizing hand-written characters using a weighting dictionary
JP2734386B2 (ja) 1994-12-20 1998-03-30 日本電気株式会社 文字列読み取り装置
US5802388A (en) 1995-05-04 1998-09-01 Ibm Corporation System and method for correction and confirmation dialog for hand printed character input to a data processing system
US5659771A (en) 1995-05-19 1997-08-19 Mitsubishi Electric Information Technology Center America, Inc. System for spelling correction in which the context of a target word in a sentence is utilized to determine which of several possible words was intended
JP2817776B2 (ja) 1995-05-25 1998-10-30 日本電気株式会社 単語変換装置
US5883986A (en) 1995-06-02 1999-03-16 Xerox Corporation Method and system for automatic transcription correction
US5764799A (en) 1995-06-26 1998-06-09 Research Foundation Of State Of State Of New York OCR method and apparatus using image equivalents
US5682439A (en) 1995-08-07 1997-10-28 Apple Computer, Inc. Boxed input correction system and method for pen based computer systems
US5855000A (en) 1995-09-08 1998-12-29 Carnegie Mellon University Method and apparatus for correcting and repairing machine-transcribed input using independent or cross-modal secondary input
JPH0991380A (ja) * 1995-09-21 1997-04-04 Canon Inc 情報処理装置及び方法及び記憶媒体
US5960447A (en) 1995-11-13 1999-09-28 Holt; Douglas Word tagging and editing system for speech recognition
US6055333A (en) 1995-12-28 2000-04-25 Motorola, Inc. Handwriting recognition method and apparatus having multiple selectable dictionaries
US5787455A (en) 1995-12-28 1998-07-28 Motorola, Inc. Method and apparatus for storing corrected words with previous user-corrected recognition results to improve recognition
JP3744997B2 (ja) 1996-01-12 2006-02-15 キヤノン株式会社 文字認識装置及びその方法
US5850480A (en) 1996-05-30 1998-12-15 Scan-Optics, Inc. OCR error correction methods and apparatus utilizing contextual comparison
US5956739A (en) 1996-06-25 1999-09-21 Mitsubishi Electric Information Technology Center America, Inc. System for text correction adaptive to the text being corrected
US5907839A (en) 1996-07-03 1999-05-25 Yeda Reseach And Development, Co., Ltd. Algorithm for context sensitive spelling correction
JP3829366B2 (ja) 1996-07-16 2006-10-04 カシオ計算機株式会社 入力装置、および入力方法
US6111985A (en) 1997-06-06 2000-08-29 Microsoft Corporation Method and mechanism for providing partial results in full context handwriting recognition
US6154579A (en) 1997-08-11 2000-11-28 At&T Corp. Confusion matrix based method and system for correcting misrecognized words appearing in documents generated by an optical character recognition technique
US6782510B1 (en) 1998-01-27 2004-08-24 John N. Gross Word checking tool for controlling the language content in documents using dictionaries with modifyable status fields
US6205261B1 (en) 1998-02-05 2001-03-20 At&T Corp. Confusion set based method and system for correcting misrecognized words appearing in documents generated by an optical character recognition technique
WO1999056198A2 (en) 1998-04-24 1999-11-04 Natural Input Solutions Inc. Pen based edit correction interface method and apparatus
US6438523B1 (en) 1998-05-20 2002-08-20 John A. Oberteuffer Processing handwritten and hand-drawn input and speech input
US6735341B1 (en) 1998-06-18 2004-05-11 Minolta Co., Ltd. Image processing device and method and recording medium for recording image processing program for same
US6337698B1 (en) 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
US6167376A (en) 1998-12-21 2000-12-26 Ditzik; Richard Joseph Computer system with integrated telephony, handwriting and speech recognition functions
US6618697B1 (en) 1999-05-14 2003-09-09 Justsystem Corporation Method for rule-based correction of spelling and grammar errors
US7330974B1 (en) * 1999-05-25 2008-02-12 Silverbrook Research Pty Ltd Method and system for delivery of a secure document
US6970599B2 (en) * 2002-07-25 2005-11-29 America Online, Inc. Chinese character handwriting recognition system
US6904405B2 (en) 1999-07-17 2005-06-07 Edwin A. Suominen Message recognition using shared language model
CN1207664C (zh) 1999-07-27 2005-06-22 国际商业机器公司 对语音识别结果中的错误进行校正的方法和语音识别系统
US6473517B1 (en) 1999-09-15 2002-10-29 Siemens Corporate Research, Inc. Character segmentation method for vehicle license plate recognition
US6701023B1 (en) 1999-09-28 2004-03-02 Adobe Systems Incorporated Reducing appearance differences between coded and noncoded units of text
US6424743B1 (en) 1999-11-05 2002-07-23 Motorola, Inc. Graphical handwriting recognition user interface
US6847734B2 (en) 2000-01-28 2005-01-25 Kabushiki Kaisha Toshiba Word recognition method and storage medium that stores word recognition program
US6912498B2 (en) 2000-05-02 2005-06-28 Scansoft, Inc. Error correction in speech recognition by correcting text around selected area
US6583798B1 (en) 2000-07-21 2003-06-24 Microsoft Corporation On-object user interface
WO2002033582A2 (en) 2000-10-16 2002-04-25 Text Analysis International, Inc. Method for analyzing text and method for builing text analyzers
US6788815B2 (en) 2000-11-10 2004-09-07 Microsoft Corporation System and method for accepting disparate types of user input
US7162694B2 (en) 2001-02-13 2007-01-09 Microsoft Corporation Method for entering text
JP2002334086A (ja) 2001-05-10 2002-11-22 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びにプログラム
US20030007018A1 (en) 2001-07-09 2003-01-09 Giovanni Seni Handwriting user interface for personal digital assistants and the like
US7039234B2 (en) * 2001-07-19 2006-05-02 Microsoft Corporation Electronic ink as a software object
US7158678B2 (en) 2001-07-19 2007-01-02 Motorola, Inc. Text input method for personal digital assistants and the like
US6787455B2 (en) * 2001-12-21 2004-09-07 Taiwan Semiconductor Manufacturing Co., Ltd Bi-layer photoresist method for forming high resolution semiconductor features
US20030189603A1 (en) 2002-04-09 2003-10-09 Microsoft Corporation Assignment and use of confidence levels for recognized text
US6986106B2 (en) 2002-05-13 2006-01-10 Microsoft Corporation Correction widget
US7925987B2 (en) * 2002-05-14 2011-04-12 Microsoft Corporation Entry and editing of electronic ink
US7380203B2 (en) 2002-05-14 2008-05-27 Microsoft Corporation Natural input recognition tool
US7096432B2 (en) * 2002-05-14 2006-08-22 Microsoft Corporation Write anywhere tool
US7050632B2 (en) 2002-05-14 2006-05-23 Microsoft Corporation Handwriting layout analysis of freeform digital ink input
US20030233237A1 (en) 2002-06-17 2003-12-18 Microsoft Corporation Integration of speech and stylus input to provide an efficient natural input experience
WO2005029393A1 (en) * 2003-08-21 2005-03-31 Microsoft Corporation Electronic ink processing
US7302099B2 (en) * 2003-11-10 2007-11-27 Microsoft Corporation Stroke segmentation for template-based cursive handwriting recognition

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140019179A (ko) * 2012-08-06 2014-02-14 삼성전자주식회사 휴대단말기의 키 입력 방법
KR20150027885A (ko) * 2013-08-29 2015-03-13 삼성전자주식회사 전자 필기 운용 방법 및 이를 지원하는 전자 장치
KR20160090244A (ko) * 2015-01-21 2016-07-29 레노보 (싱가포르) 피티이. 엘티디. 디스플레이 상의 핸드라이팅 입력의 표현의 표시
KR20160111245A (ko) * 2015-03-16 2016-09-26 주식회사 인프라웨어 잉크 텍스트 처리 장치 및 방법
KR20180100207A (ko) * 2016-01-07 2018-09-07 마이스크립트 디지털 잉크 상호작용을 위한 시스템 및 방법

Also Published As

Publication number Publication date
EP1538549A1 (en) 2005-06-08
KR101120850B1 (ko) 2012-03-15
JP2005166060A (ja) 2005-06-23
US7848573B2 (en) 2010-12-07
US20050135678A1 (en) 2005-06-23
CN1624643A (zh) 2005-06-08

Similar Documents

Publication Publication Date Title
KR101120850B1 (ko) 잉크의 스케일링된 텍스트로의 대체
KR101098642B1 (ko) 잉크 정정 패드
US8074184B2 (en) Modifying electronic documents with recognized content or other associated data
KR101015291B1 (ko) 동적으로 확장하는 입력 패널로 사용자 입력을 추가하는방법
US7506271B2 (en) Multi-modal handwriting recognition correction
JP7046806B2 (ja) ジェスチャを用いたノートテイキングのための装置および方法
US7137076B2 (en) Correcting recognition results associated with user input
JP4694606B2 (ja) ジェスチャ判定方法
EP3341827B1 (en) System and method of guiding handwriting input
KR102473543B1 (ko) 디지털 잉크 상호작용을 위한 시스템 및 방법
KR101014075B1 (ko) 박스 및 라인 입력 패널
KR101109191B1 (ko) 문자 연관 및 변환 방법 및 컴퓨터 판독가능 기록 매체
EP4047465A1 (en) Modifying digital content

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150121

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170119

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180118

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190116

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 9