KR20060082405A - 기록 가능한 표면 상의 대화형 요소와 대화할 수 있는사용자 인터페이스 - Google Patents

기록 가능한 표면 상의 대화형 요소와 대화할 수 있는사용자 인터페이스 Download PDF

Info

Publication number
KR20060082405A
KR20060082405A KR1020060002636A KR20060002636A KR20060082405A KR 20060082405 A KR20060082405 A KR 20060082405A KR 1020060002636 A KR1020060002636 A KR 1020060002636A KR 20060002636 A KR20060002636 A KR 20060002636A KR 20060082405 A KR20060082405 A KR 20060082405A
Authority
KR
South Korea
Prior art keywords
user
selectable item
item
selectable
user record
Prior art date
Application number
KR1020060002636A
Other languages
English (en)
Other versions
KR100815534B1 (ko
Inventor
제임스 매그래프
알렉산더 치스호름
트레이시 엘. 에지콤브
Original Assignee
리이프프로그 엔터프라이시스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 리이프프로그 엔터프라이시스, 인코포레이티드 filed Critical 리이프프로그 엔터프라이시스, 인코포레이티드
Publication of KR20060082405A publication Critical patent/KR20060082405A/ko
Application granted granted Critical
Publication of KR100815534B1 publication Critical patent/KR100815534B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/19—Image acquisition by sensing codes defining pattern positions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Image Input (AREA)
  • Facsimiles In General (AREA)

Abstract

사용자가 표면 상에 선택 가능한 아이템을 작성하고 이 선택 가능한 아이템과 대화할 수 있도록 하는 대화형 장치가 개시된다. 본 발명은 전자 디스플레이 장치를 페이퍼와 같은 임의의 표면으로 대체하는 인터페이스를 사용자에게 제공한다. 사용자는 연관된 기능을 실행하는 사용자 기록의 선택 가능한 아이템을 표면 상에 작성할 수 있을 것이다. 사용자 기록의 선택 가능한 아이템은 표면 상에서 지속성을 가지므로, 사용자가 대화형 장치의 조작을 통해 상이한 선택 가능한 아이템에 연관된 기능을 실행할 수 있게 된다. 사용자가 페이퍼와 직접 대화할 수 있도록 함으로써, 본 발명은 사용자가 보다 유연하게 사용자 기록의 선택 가능한 아이템을 작성하고 이들 아이템에 연관된 기능을 실행하도록 하는 대화형 장치와의 고유한 사용자 인터페이스를 제공한다.
문자 인식, 기능 아이콘, 광검출기, 광방출기, 운영 시스템

Description

기록 가능한 표면 상의 대화형 요소와 대화할 수 있는 사용자 인터페이스{PROVIDING A USER INTERFACE HAVING INTERACTIVE ELEMENTS ON A WRITABLE SURFACE}
도 1은 본 발명의 실시예에 따른 대화형 장치를 예시하는 도면.
도 2a 및 도 2b는 본 발명의 실시예에 따른 페이퍼 상의 일례의 사용자 기록의 선택 가능한 아이템(user-written selectable item)을 예시하는 도면.
도 3은 본 발명의 일실시예에 따른 마크의 패턴이 제공된 일례의 페이퍼 시트를 예시하는 도면.
도 4는 본 발명의 일실시예에 따른 일례의 페이퍼 시트 상의 마크의 패턴의 확대도.
도 5는 본 발명의 일실시예에 따른 표면 상의 사용자 작성의 선택 가능한 아이템(user-drawn selectable item)과의 대화를 용이하게 하기 위한 공정의 단계에 대한 흐름도.
도 6은 본 발명의 실시예가 실시될 수 있는 또 다른 장치의 블록도.
도 7은 본 발명의 실시예가 실시될 수 있는 또 다른 장치의 블록도.
도 8은 본 발명의 실시예에 따른 장치 사용자 인터페이스 프로세스의 단계에 대한 흐름도.
도 9는 본 발명의 일실시예에 따른 계층적 장치 사용자 인터페이스 프로세스의 단계에 대한 흐름도.
도 10은 본 발명의 실시예에 따른 메뉴 아이템 트리 디렉토리를 도시하는 도면.
도 11a는 본 발명의 실시예에 따른 메뉴 아이템 음성 프롬프팅 프로세스(menu item audible prompting process)를 도시하는 도면.
도 11b는 본 발명의 일실시예에 따른 메뉴 아이템 선택 프로세스를 도시하는 도면.
도 11c는 본 발명의 일실시예에 따른 서브-메뉴 아이템 선택 프로세스를 도시하는 도면.
도 12는 본 발명의 일실시예에 따른 표면 상의 복수의 상이한 유형의 그래픽 아이템 아이콘을 도시하는 도면.
본 발명은 대화형 장치의 분야에 관한 것으로, 구체적으로는 펜을 기반으로 하는 대화형 장치(pen-based interactive device)에 관한 것이다.
최근 20년 동안, 데스크탑 컴퓨터 시스템, 랩탑 컴퓨터 시스템, 파지형 컴퓨터 시스템 및 타블렛 컴퓨터 시스템 등의 개인용 연산 장치의 사용이 급성장하여 이러한 장치가 일반 사회에서 보편화되고 있다. 이들 개인용 연산 장치는 사용자 에게 믿을 수 없을 정도의 범위의 대화형 어플리케이션을 제공하여, 매우 향상된 사업적 기능, 통신 성능 및 엔터테인먼트 가능성을 제공한다.
현재의 개인용 연산 장치는 사용자 인터페이스를 사용함으로써 이들 대화형 어플리케이션에 대한 액세스를 제공한다. 대표적인 연산 장치는 모니터 또는 디스플레이 스크린 등의 디스플레이 장치를 이용하여 사용자에게 정보를 나타내주는 그래픽 인터페이스를 가지며, 마우스, 키보드, 조이스틱 또는 스타일러스 등의 입력 장치를 이용하여 사용자로부터 정보를 수신한다.
그러나, 문학 분야에서는 펜과 페이퍼를 사용하는 것이 컴퓨터 시스템을 사용하는 것보다 훨씬 더 보편적이다. 현재의 연산 장치의 그래픽 유저 인터페이스(GUI)가 다수의 연산 어플리케이션과의 효율적인 대화를 제공하기는 하지만, 전형적인 그래픽 유저 인터페이스는 펜이나 연필 및 페이퍼의 일반적인 사용을 모방하는데에는 어려움을 갖는다. 예컨대, 데스크탑 및 랩탑 컴퓨터 시스템은 통상적으로 펜과 같은 유형의 인터페이스를 갖지 못한다. 더욱이, 컴퓨터에의 입력은 전자 디스플레이 상에서 보여지게 되므로, 페이퍼에 기록된 정보와 같은 지속성을 갖지 못하는 동시에 언제든 이용 가능하지도 않다. 또한, 팜탑 컴퓨터 시스템 또는 타블렛 컴퓨터 시스템의 스크린 상에 사용된 스타일러스가 기록 기기의 사용을 모방할 수도 있기는 하지만, 입력이 전자적으로 저장되어, 지속성이나 이용 편의성을 갖지 못한다.
본 출원은 James Marggraff 등에 의해 "SCANNING APPARATUS"를 발명의 명칭으로 하여 2004년 3월 17일자로 출원되어 현재 본 출원인과 공동 소유이고 공동 계 류중인 미국 특허 출원 번호 10/803,806호의 일부 계속 출원이며, 이 특허 출원은 그 전체 내용이 본 명세서에 참조되어 있다.
본 출원은 또한 James Marggraff 등에 의해 "USER CREATED INTERACTIVE INTERFACE"를 발명의 명칭으로 하여 2004년 6월 3일자로 출원되어 현재 본 출원인과 공동 소유이고 공동 계류중인 미국 특허 출원 번호 10/861,243호의 일부 계속 출원이며, 이 특허 출원은 그 전체 내용이 본 명세서에 참조되어 있다.
본 출원은 또한 James Marggraff 등에 의해 "A METHOD AND SYSTEM FOR IMPLEMENTING USER INTERFACE FOR A DEVICE EMPLOYING WRITTEN GRAPHICAL ELEMENTS"를 발명의 명칭으로 하여 2005년도에 출원되어 현재 본 출원인과 공동 소유이고 공동 계류중인 미국 특허 출원(미국 현지 대리인 문서 번호 LEAP-P0313)에 관련되며, 이 특허 출원은 그 전체 내용이 본 명세서에 참조되어 있다.
본 출원은 또한 James Marggraff 등에 의해 "A METHOD AND SYSTEM FOR IMPLEMENTING USER INTERFACE FOR A DEVICE THROUGH RECOGNIZED TEXT AND BOUNDED AREAS"를 발명의 명칭으로 하여 2005년도에 출원되어 현재 본 출원인과 공동 소유이고 공동 계류중인 미국 특허 출원(미국 현지 대리인 문서 번호 LEAP-P0316)에 관련되며, 이 특허 출원은 그 전체 내용이 본 명세서에 참조되어 있다.
본 출원은 또한 James Marggraff 등에 의해 "TERMINATION EVENTS"를 발명의 명칭으로 하여 2005년도에 출원되어 현재 본 출원인과 공동 소유이고 공동 계류중인 미국 특허 출원(미국 현지 대리인 문서 번호 LEAP-P0320)에 관련되며, 이 특허 출원은 그 전체 내용이 본 명세서에 참조되어 있다.
따라서, 표면 상의 인쇄된 아이템과 인터페이스하여 인쇄된 아이템에 연관된 기능을 개시하는 대화형 장치에 대한 필요성이 존재한다. 또한, 이러한 요구를 충족하면서 사용자로 하여금 기능에 연관되는 사용자 기록의 선택 가능한 아이템(user-written selectable items)을 표면 상에 작성할 수 있도록 하는 대화형 장치에 대한 필요성도 존재한다. 아울러, 이러한 요구들을 충족하면서 연관된 기능을 실행하기 위한 사용자 기록의 선택 가능한 아이템에 대한 사용자의 선택에 응답하는 대화형 장치에 대한 필요성이 존재한다.
사용자가 표면 상에 기록되는 선택 가능한 아이템을 작성하여 이것과 대화할 수 있도록 하는 대화형 장치에 대한 본 발명의 다양한 실시예가 본 명세서에 개시되어 있다. 본 발명은 전자 디스플레이 장치를 페이퍼와 같은 임의의 표면으로 대체하는 인터페이스를 사용자에게 제공한다. 사용자는 연관된 기능을 실행하는 사용자 기록의 선택 가능한 아이템을 표면 상에 작성할 수 있다. 표면은 또한 연관된 기능을 실행하는 사전 인쇄된 선택 가능한 아이템(pre-printed selectable item)을 포함할 수도 있다. 사용자 기록의 선택 가능한 아이템 및 사전 인쇄된 선택 가능한 아이템은 표면 상에서 지속성을 가져, 사용자가 대화형 장치의 조작을 통해 상이한 선택 가능한 아이템에 연관된 기능을 실행할 수 있도록 한다. 사용자가 페이퍼와 직접 대화할 수 있도록 함으로써, 본 발명은 사용자가 사용자 기록의 선택 가능한 아이템의 작성 및 이들 아이템에 연관된 기능의 실행을 보다 유연하게 행할 수 있도록 하는 대화형 장치와의 고유의 사용자 인터페이스를 제공한다.
일실시예에서, 본 발명은 버스, 프로세서, 메모리 유닛, 오디오 출력 장치, 기록 기기, 및 광검출기를 포함하는 대화형 장치를 제공한다. 일실시예에서, 오디오 출력 장치는 가능한 사용자 기록의 선택 가능한 아이템의 목록을 음성으로 제공하도록 동작할 수 있다. 기록 기기는 사용자가 표면 상에 사용자 기록의 선택 가능한 아이템을 작성하도록 한다. 광검출기는 표면 상의 정보를 검출하기 위한 것이다. 프로세서 상에서 실시된 소프트웨어는 사용자 기록의 선택 가능한 아이템에 대한 사용자의 선택에 응답하고, 그 선택에 응답하여 사용자 기록의 선택 가능한 아이템에 연관된 기능을 실행하도록 동작할 수 있다.
일실시예에서, 프로세서는 기호 인식을 이용한 선택에 응답하여 사용자 기록의 선택 가능한 아이템을 자동으로 식별하도록 동작 가능하다. 일실시예에서, 프로세서는 표면 상의 사용자 기록의 선택 가능한 아이템의 표면 위치를 자동으로 레코드하도록 동작 가능하다. 일실시예에서, 프로세서는 사용자 기록의 선택 가능한 아이템의 검출된 표면 위치에 기초한 선택에 응답하여 사용자 기록의 선택 가능한 아이템을 자동으로 식별하도록 동작 가능하다. 일실시예에서, 소프트웨어 또한 표면 상의 사전 인쇄된 선택 가능한 아이템에 대한 사용자의 선택에 응답하고, 사전 인쇄된 선택 가능한 아이템을 선택하는 사용자에 응답하여 사전 인쇄된 선택 가능한 아이템에 연관된 기능을 실행하도록 동작할 수 있다.
일실시예에서, 본 발명은 컴퓨터 시스템의 운영 체제를 제공하며, 이 운영 체제는 표면 상의 사용자 기록의 선택 가능한 아이템을 검출하고, 그 사용자 기록의 선택 가능한 아이템을 어떠한 기능과 연관시키며, 그 사용자 기록의 선택 가능 한 아이템과의 사용자 대화에 응답하여 그 기능을 실행하도록 동작 가능한다. 일실시예에서, 운영 체제는 기호 인식을 이용하여 사용자 기록의 선택 가능한 아이템을 자동으로 식별하도록 동작 가능하다. 일실시예에서, 운영 체제는 표면 상의 사용자 기록의 선택 가능한 아이템의 표면 위치를 자동으로 레코드하도록 동작 가능하다. 일실시예에서, 운영 체제는 사용자 기록의 선택 가능한 아이템의 표면 위치에 기초한 사용자 대화에 응답하여 사용자 기록의 선택 가능한 아이템을 자동으로 식별하도록 동작 가능하다.
일실시예에서, 본 발명은 표면 상의 사용자 기록의 선택 가능한 아이템과의 대화를 용이하게 하는 방법을 제공한다. 어떠한 기능에 연관된 적어도 하나의 사용자 기록의 선택 가능한 아이템이 검출된다. 사용자 기록의 선택 가능한 아이템과의 대화가 선택된다. 대화에 응답하여, 그 기능이 실행된다.
여러 실시예에서, 사용자 기록의 선택 가능한 아이템은 프로세서에 의해 실행 가능한 어플리케이션 프로그램의 기호 표시, 프로세서에 의해 실행 가능한 어플리케이션 프로그램의 메뉴 아이템, 네비게이션 아이템, 데이터, 어플리케이션 옵션 셀렉터, 또는 기타 선택 가능한 아이템 중의 하나를 포함한다.
전반적으로, 본 발명은 사용자가 표면 상에 기록된 선택 가능한 아이템을 작성하여 대화할 수 있도록 하는 대화형 장치를 개시한다. 본 발명은 사용자에게 전자 디스플레이 장치를 페이퍼와 같은 어떠한 표면으로 대체하는 인터페이스를 제공한다. 사용자는 연관된 기능을 실행하는 사용자 기록의 선택 가능한 아이템을 표면 상에 작성할 수도 있다. 사용자 기록의 선택 가능한 아이템은 표면 상에 지속 성을 가져, 사용자가 대화형 장치의 조작을 통해 상이한 선택 가능한 아이템에 연관된 기능을 실행하도록 할 수 있다. 사용자가 페이퍼와 직접 대화할 수 있게 됨으로써, 본 발명은 사용자가 사용자 기록의 선택 가능한 아이템의 작성 및 이들 아이템에 연관된 기능의 실행을 보다 유연하게 행할 수 있도록 하는 대화형 장치와의 고유한 사용자 인터페이스를 제공한다.
본 명세서의 일부로 통합되어 본 명세서를 구성하는 첨부 도면은 본 발명의 실시예를 예시하며, 상세한 설명과 함께 본 발명의 원리를 설명한다.
사용자가 표면 상에 기록된 선택 가능한 아이템을 작성하여 대화할 수 있도록 하고, 그 예가 첨부 도면에 예시되어 있는 대화형 장치에 대한 본 발명의 여러 실시예가 상세히 설명될 것이다. 본 발명이 이들 실시예와 관련하여 설명될 것이지만, 본 발명을 이러한 실시예로 제한하려는 것은 아님을 이해할 수 있을 것이다. 반대로, 본 발명은 첨부된 청구범위에 의해 한정된 바와 같은 본 발명의 정신 및 사상 내에 포함될 수 있는 변경 실시예, 수정 실시예 및 등가의 실시예를 포함하는 것으로 받아들여져야 한다. 더욱이, 본 발명의 이하의 상세한 설명에서, 다수의 구체적인 세부구성이 본 발명의 완전한 이해를 제공하기 위해 설명되어 있다. 그러나, 본 기술 분야에 익숙한 사람이라면 본 발명을 이러한 구체적인 세부구성이 없이도 구현할 수 있을 것이라는 점을 이해할 것이다. 즉, 널리 공지된 방법, 프로시져, 구성요소 및 회로는 본 발명의 특징을 불필요하게 모호하게 하지 않도록 하기 위해 구체적으로 설명되지 않는다.
이하의 상세한 설명의 일부분은 컴퓨터 메모리 상에서 수행될 수 있는 데이터 비트에 대한 프로시져, 단계, 논리 블록, 처리 및 기타 기호 표시를 통해 제공된다. 이들 설명 및 표시는 데이터 처리 기술분야에 익숙한 사람에 의해 그들의 작업의 본질을 그 기술분야에 익숙한 사람에게 가장 효율적으로 전달하는데 사용될 수 있는 수단이 된다. 프로시져, 컴퓨터에 의해 실행되는 단계, 논리 블록, 프로세스 등은 여기에서는 그리고 일반적으로는 요구된 결과를 산출하는 자체 모순이 없는 시퀀스(a self-consistent sequence)의 단계 또는 명령이 될 것이다. 이 단계는 물리적인 양에 대한 물리적인 조작을 요구하는 단계이다. 통상적으로, 이러한 양은 컴퓨터 시스템에서 저장, 전송, 합성, 비교 및 조작될 수 있는 전기 신호 또는 자기 신호의 형태를 취하기는 하지만, 이것은 필수적인 사항은 아니다. 이와 같이 물리적인 양을 전기 신호 또는 자기 신호의 형태로 표시하는 것은, 주로 공통적인 사용을 이유로, 이들 신호를 비트, 값, 엘레멘트, 기호, 문자, 항(term), 숫자 등으로서 지칭할 때에 편리한 것으로 입증되었다.
그러나, 이들 표현 및 유사 표현의 전부가 적합한 물리적 양에 연관되는 것이고, 이들 양에 적용된 단지 편리한 호칭에 불과하다는 점에 유의하기 바란다. 이하의 설명에서 명백한 바와 같이 이와 다른 것으로 특별하게 언급되지 않는다면, 본 명세서의 전반에 걸쳐, "검출", "실행", "식별", "제공", "선택", "인식", "연관", "레코딩", "명령 발행" 등과 같은 표현을 이용하는 설명은 전자 장치의 레지스터 및 메모리 내의 물리적(전자) 양으로서 표현된 데이터를 처리하여, 이러한 데이터를 전자 장치 메모리, 전자 장치 레지스터, 기타 이러한 정보 저장 장치, 정보 전송 장치, 또는 정보 디스플레이 장치 내의 물리적 양으로서 유사하게 표현된 다른 데이터로 변환하는 전자 시스템(예컨대, 도 1의 대화형 장치(100)) 또는 유사한 전자 연산 장치의 동작 및 프로세스를 지칭하는 것으로 이해하여야 한다.
본 명세서에는 사용자가 표면 상에 기록된 선택 가능한 아이템을 작성하여 대화할 수 있게 하는 대화형 장치에 대한 본 발명의 여러 실시예가 설명되어 있다. 본 발명은 전자 디스플레이를 페이퍼와 같은 어떠한 기록 가능한 표면으로 대체하는 인터페이스를 사용자에게 제공한다. 사용자는 연관된 기능을 수행하고 및/또는 예컨대 단어, 문자, 숫자, 기호 등의 사용자 기록의 데이터를 표시하는 사용자 기록의 선택 가능한 아이템을 표면 상에 작성할 수도 있다. 이 표면은 또한 연관된 기능을 수행하는 사전 인쇄된 선택 가능한 아이템을 포함할 수도 있다. 사용자 기록의 선택 가능한 아이템 및 사전 인쇄된 선택 가능한 아이템은 표면 상에 지속성을 가져, 사용자가 대화형 장치의 조작을 통해 상이한 선택 가능한 아이템에 연관된 기능을 수행할 수 있게 된다. 사용자가 페이퍼와 직접 대화할 수 있게 됨으로써, 본 발명은 사용자가 사용자 기록의 선택 가능한 아이템의 작성 및 이들 아이템에 연관된 기능의 수행을 보다 유연하게 행할 수 있도록 하는 대화형 장치와의 고유의 사용자 인터페이스를 제공한다.
도 1은 본 발명의 실시예에 따른 대화형 장치(100)를 예시하는 도면이다. 대화형 장치(100)는 하우징(130) 내에 프로세서(112), 메모리 유닛(114), 오디오 출력 장치(116), 기록 기기(118) 및 광검출기(120)를 포함한다. 일실시예에서, 프로세서(112), 메모리 유닛(114), 오디오 출력 장치(116) 및 광검출기(1200)는 버스 (122)를 통해 통신 가능하게 접속되어 있다.
일실시예에서, 하우징(130)은 스타일러스 또는 기록 도구(예컨대, 펜 등) 형태의 형상으로 이루어져 있다. 사용자는 스타일러스가 유지되는 것과 유사한 방식으로 대화형 장치(100)를 유지할 것이다. 기록 기기(118)는 사용자가 기록 가능한 표면(도시되지 않음)과 접촉하여 기록 기기(118)를 위치시킬 수 있도록 하우징(130)의 일단에 위치된다. 기록 기기(118)는 펜, 연필, 마커, 크레용 또는 임의의 다른 마킹 재료를 포함할 것이다. 기록 기기(118)는 또한 비마킹 팁(non-marking tip)을 포함할 수도 있다. 사용 도중에 사용자는 대화형 장치(100)를 파지하여 페이퍼 등의 표면 상에 기록하기 위한 기록 도구와 유사한 방식으로 이 대화형 장치(100)를 사용할 수 있다.
기록 기기(118)는 표면 상에 사용자 기록의 선택 가능한 아이템을 작성하기 위해 사용될 수도 있다. "사용자 기록의 선택 가능한 아이템"은 사용자에 의해 작성된 어떠한 마킹을 포함할 수도 있다. 마킹이 표면(예컨대, 페이퍼) 상에 이루어진다면, 사용자 기록의 선택 가능한 아이템은 인쇄 성분이 될 수도 있다. 사용자 기록의 선택 가능한 아이템은 기호, 글자 및/또는 숫자와 같은 표식, 문자, 단어, 도형, 라인 등을 포함하며, 이러한 것으로만 제한되지는 않는다. 이들은 형상 면에 있어서 규칙적인 것일 수도 있고 비규칙적인 것일 수도 있으며, 통상적으로는 스타일러스를 이용하여 작성된다.
대화형 장치(100)는 사용자가 대화형 장치(100)에 의해 제공된 상이한 기능을 나타내는 사용자 기록의 선택 가능한 아이템을 작성할 수 있게 한다. 일실시예 에서, 사용자 기록의 선택 가능한 아이템은 프로세서(112)에 의해 실행 가능한 어플리케이션 프로그램(예컨대, 계산기 어플리케이션 또는 사전 어플리케이션)의 기호 표시를 포함한다. 또 다른 실시예에서, 사용자 기록의 선택 가능한 아이템은 네비게이션 아이템(예컨대, 메뉴), 상기 프로세서에 의해 실행 가능한 어플리케이션 프로그램의 메뉴 아이템, 어플리케이션 옵션 셀렉터, 또는 데이터의 예(예컨대, 워드)를 포함할 것이다.
일부 실시예에서, 사용자 기록의 선택 가능한 아이템은 라인으로 둘러싸인 글자 또는 숫자를 포함할 수 있다. 글자 또는 숫자를 둘러싸는 라인은 원형, 타원형, 정방형, 다각형 등이 될 수 있다. 이러한 사용자 기록의 선택 가능한 아이템은 통상의 글자 및 숫자 대신에 사용자에 의해 선택될 수 있는 "버튼"과 같은 외형을 갖는다. 이러한 종류의 사용자 기록의 선택 가능한 아이템을 작성함으로써, 사용자는 기능 아이콘과 같은 사용자 기록의 선택 가능한 아이템을 통상의 글자 및 숫자와 시각적으로 구분할 수 있다. 또한, 이러한 종류의 사용자 기록의 선택 가능한 아이템을 작성함으로써, 대화형 장치(100)는 또한 기능형 또는 메뉴형 사용자 기록의 선택 가능한 아이템을 비기능형 또는 비메뉴형 사용자 기록의 아이템과 더 용이하게 구별할 수 있을 것이다. 예컨대, 사용자는 대화형 "메뉴" 아이콘을 작성하기 위해 글자 "M"을 둘러싸는 원을 갖는 사용자 기록의 선택 가능한 아이템을 작성할 수 있다. 대화형 장치(100)는 원 또는 정삭각형이 중첩하는 글자 "M"을 단어 내의 글자 "M"과 구별되는 기능적 사용자 기록의 선택 가능한 아이템으로서 식별하도록 프로그래밍될 수도 있다. 이러한 기능적 사용자 기록의 선택 가능한 아이템 을 인식하여 다른 비기능적 사용자 기록의 아이템과 구별하기 위한 컴퓨터 코드가 대화형 장치(100) 내의 메모리 유닛(114)에 상주할 수 있다.
도 2a 및 도 2b는 본 발명의 실시예에 따른, 페이퍼 상의 일례의 사용자 기록의 선택 가능한 아이템을 예시하는 도면이다. 도 2a를 참조하면, 사용자 기록의 선택 가능한 아이템(206)은 글자 "M"(202)의 주위에 원(204)을 갖는 글자 "M"이다. 사용자 기록의 선택 가능한 아이템(206)은 대화형 장치(100)의 기록 기기(예컨대, 도 1의 기록 기기(118))로 페이퍼(200) 상에 그려져 작성된다.
일실시예에서, 사용자 기록의 선택 가능한 아이템(206)은 대화형 장치의 메뉴 기능을 나타낸다. 특정 메뉴 아이템, 디렉토리 또는 서브디렉토리의 선택을 나타내기 위해, 사용자는 또 다른 사용자 기록의 선택 가능한 아이템을 작성하거나, 또는 대화형 장치(100)와 어떠한 의사표시 행위(gesture)를 행할 수도 있다. 예컨대, 사용자가 메뉴의 서브디렉토리 아래로 진행하기를 원한다면, 사용자는 선택이 이루어졌다는 것을 나타내기 위해 페이퍼(200) 상에 체크마크(210)를 그려서 작성한다(drawn). 체크마크를 그린 후, 사용자 기록의 선택 가능한 아이템(206)에 연관된 메뉴 아이템은 각각의 후속 선택 또는 사용자 기록의 선택 가능한 아이템(206)에 인접한 페이퍼(200) 상에서의 대화형 장치(100)의 "다운-터치(down-touch)" 후에 오디오 출력 장치(116)에 의해 음성으로 제공될 수도 있다. 체크마크(210)와의 대화는 음성으로 제공된 마지막 옵션을 선택한다. 예컨대, 사용자는 대화형 장치(100)의 작동 모드를 계산기 기능으로 변경하기 위해 발음된 "계산기"를 청취한 후에 "계산기" 기능을 선택할 수 있다.
도 2b는 사용자가 페이퍼(200)의 여백 부분 상에 페이퍼 계산기를 어떻게 작성할 수 있는지를 보여주는 도면이다. 이 예에서, 사용자가 전술한 바와 같이 "계산기" 기능을 선택한 후, 대화형 장치(100)는 사용자가 "0∼9"의 숫자와 "+, -, ×, ／ 및 =" 등의 연산자를 아래에 기록하도록 음성으로 촉구(prompt)한다. 예컨대, 사용자는 숫자와, 가산, 감산, 승산, 제산 및 결과출력(equal) 등의 연산을 위한 수학적인 연산자를 포함하는 사용자 기록의 선택 가능한 아이템(220)을 작성하도록 촉구될 수도 있다. 이들은 표면 상에 그림으로 작성된다. 대화형 장치(100)는 작성된 그래픽 성분의 위치를 인식하고, 작성된 실제 사용자 기록의 선택 가능한 아이템을 인식한다. 사용자는 그 후 적어도 2개의 사용자 기록의 선택 가능한 아이템을 선택하여 이러한 적어도 2개의 그래픽 성분의 선택에 관련된 오디오 출력을 수신할 수 있다. 예컨대, 사용자는 그래픽 성분 "4", "+", "7", "="의 순서로 선택하여 대화형 장치(100)가 그 결과가 "11"이라고 발음하는 음성(오디오)을 들을 수도 있다.
사용자 기록의 선택 가능한 아이템(206)에 의해 표시된 메뉴와 사용자 기록의 선택 가능한 아이템(220)에 의해 표시된 페이퍼 계산기는 대화형 장치(100)가 사용자 기록의 선택 가능한 아이템의 위치를 메모리 유닛(114)에 저장하기 때문에 추후에 재사용될 수 있다. 또한, 사용자 기록의 선택 가능한 아이템(220)과 펜의 대화는 계산기 기능을 자동으로 호출할 것이다.
도 2b는 또한 데이터(230)를 포함한다. 도 2b에 도시된 예에서, 데이터(230)는 단어 "CAT"이다. 데이터(230)로는 대화형 장치(100) 상에서 동작하는 어 플리케이션에 의해 사용될 수도 있는 어떠한 정보(예컨대, 문자숫자 기호, 이미지, 그림, 마킹 등)도 가능하다는 것을 이해할 수 있을 것이다. 기록 시, 문자열 "CAT"은 'cat'라는 단어로 자동 인식된다. 이 문자열의 표면 상의 위치 또한 레코드된다. 문자열과 대화형 장치(100)의 대화는 식별된 단어 CAT를 자동으로 호출한다.
광검출기(120)는 스타일러스 형상의 대화형 장치(100)의 일단에 위치한다. 광검출기는 표면 상의 정보를 검출하도록 동작할 수 있다. 예컨대, 광검출기(120)는 전하 결합 소자를 포함할 것이다. 일실시예에서, 대화형 장치는 또한 광검출기(120)에 의해 검출되는 표면 상의 부분을 조사하기 위한 광방출기를 포함한다. 광검출기(120)에 의해 검출된 정보는 프로세서(112)에 전송된다.
프로세서(112)는 대화형 장치(100)의 기능을 실시하기 위한 어떠한 적합한 전자장치를 포함할 수도 있다. 프로세서(112)는 사용자 기록의 선택 가능한 아이템을 인식할 수 있고, 대화형 장치(100)가 다양한 조작을 수행할 수 있도록 이들 사용자 기록의 선택 가능한 아이템의 위치를 식별할 수 있다. 이들 실시예에서, 메모리 유닛(114)은 사용자에 의해 생성된 모든 사용자 기록의 선택 가능한 아이템을 그 아이템의 표면 상의 위치와 상호 연관시키기 위한 컴퓨터 코드를 포함할 것이다.
메모리 유닛(114)은 대화형 장치(100)의 기능 중의 임의의 기능을 수행하기 위한 컴퓨터 코드를 포함할 것이다. 일실시예에서, 메모리 유닛(114)에 저장되어 프로세서(112) 상에서 실시된 컴퓨터 코드는 사용자 기록의 선택 가능한 아이템에 대한 사용자의 선택에 응답할 수 있고, 이 선택에 대한 응답으로 사용자 기록의 선택 가능한 아이템에 연관된 기능을 실행하도록 동작할 수 있다. 또 다른 실시예에서, 메모리 유닛(114)에 저장되어 프로세서(112) 상에서 실행된 컴퓨터 코드는 오디오 출력 장치(116)로 하여금 이용 가능한 사용자 기록의 선택 가능한 아이템의 목록을 음성으로 제공하도록 동작 가능하며, 여기서 프로세서(112)는 사용자가 복수의 사용자 기록의 선택 가능한 아이템을 기록하였는지를 검출하도록 동작 가능하며, 복수의 사용자 기록의 선택 가능한 아이템 중의 하나 이상의 사용자 기록의 선택 가능한 아이템에 대한 사용자 선택에 응답할 수 있는 프로세서(112)는 선택된 사용자 기록의 선택 가능한 아이템의 각각에 연관된 상이한 기능을 실행하도록 동작할 수 있다.
일실시예에서, 프로세서(112)는 기호 인식 또는 문자 인식을 이용하여 선택에 대한 응답으로 사용자 기록의 선택 가능한 아이템을 자동으로 식별하도록 동작 가능하다. 또 다른 실시예에서, 프로세서(112)는 사용자 기록의 선택 가능한 아이템이 기록될 때에 표면 상의 사용자 기록의 선택 가능한 아이템의 표면 위치를 자동으로 레코드하도록 동작 가능하다. 프로세서(112)는 사용자 선택에 응답하여 사용자 기록의 선택 가능한 아이템의 검출된 표면 위치를 기초로 사용자 기록의 선택 가능한 아이템을 자동으로 식별하도록 동작 가능하다.
일실시예에서, 본 발명은 대화형 장치(100)의 운영 시스템을 제공한다. 운영 시스템은 표면 상의 사용자 기록의 선택 가능한 아이템을 검출하고 그 사용자 기록의 선택 가능한 아이템을 기능과 연관시키며 그 사용자 기록의 선택 가능한 아 이템과의 사용자 대화에 응답하여 연관된 기능을 실행하도록 동작 가능하다.
다른 실시예에서, 메모리 유닛(114)은 인쇄된 문자를 인식하기 위한 컴퓨터 코드, 사용자의 필기(handwriting)를 인식하고 사용자의 필기를 해석하기 위한 컴퓨터 코드(예컨대, 필기 문자 인식 소프트웨어), 각각의 인쇄된 성분과 물품 상의 위치를 상호 관련시키기 위한 컴퓨터 코드, 텍스트를 스피치로 변환하기 위한 컴퓨터 코드(예컨대, 텍스트-스피치 변환 엔진), 메뉴 아이템을 재호출(recite)하기 위한 컴퓨터 코드, 언어의 번역을 수행하기 위한 컴퓨터 코드(영어-외국어 사전) 등을 포함한다. 텍스트-스피치 변환을 위한 소프트웨어는 여러 공급업체로부터 상업적으로 이용 가능하다.
메모리 유닛(114)은 또한 오디오 출력 및 시각적 출력을 위한 코드를 포함할 수도 있다. 예컨대, 사운드 이펙트를 위한 코드, 단어를 발음하기 위한 코드, 학습 계획 및 지침을 위한 코드, 질문을 위한 코드 등이 메모리 유닛(114)에 저장될 수도 있다. 이들과 같은 오디오 출력을 위한 코드는 장치 자체에 보다는 비휘발성 메모리에 저장될 수도 있다(대화형 장치가 턴오프되는 경우에도 데이터가 유지되도록 영구적 또는 반영구적 방식으로). 본 명세서에 개시된 이러한 기능 및 기타 다른 기능을 위한 컴퓨터 코드가 메모리 유닛(114)에 포함될 수 있고, C, C++ 등을 포함한 모든 적합한 프로그래밍 언어를 이용하여 작성될 수 있다.
메모리 유닛(114)으로는 ROM 또는 플래시 메모리 카트리지 등의 탈착 가능한 메모리 유닛도 가능하다. 다른 실시예에서, 메모리 유닛(114)은 하나 이상의 메모리 유닛(예컨대, RAM, ROM, EEPROM 등)을 포함할 수도 있다. 메모리 유닛(114)은 어떠한 적합한 자기 데이터 저장 소자, 전자 데이터 저장 소자, 전자기 데이터 저장 소자, 광학적 데이터 저장 소자, 또는 전기-광학적 데이터 저장 소자를 포함할 수도 있다. 예컨대, 하나 이상의 반도체 기반의 소자가 메모리 유닛(114)에 존재할 수도 있다.
오디오 출력 장치(116)는 스피커를 포함하거나, 또는 이어폰 또는 헤드셋에 연결하기 위한 오디오 잭(예컨대, 이어폰 또는 헤드폰 잭)을 포함할 수도 있다. 일실시예에서, 오디오 출력 장치(116)는 가능한 사용자 기록의 선택 가능한 아이템의 목록을 음성으로 제공하도록 동작할 수 있다. 오디오 출력 장치(116)는 또한 사용자 기록의 선택 가능한 아이템에 대한 사용자 선택에 응답하여 정보를 음성으로 제공하도록 동작할 수도 있을 것이다.
대화형 장치(100)는 또한 표면 상의 사전 인쇄된 선택 가능한 아이템을 인식하여 이 아이템에 연관된 기능을 실행하도록 동작할 수 있다. 일실시예에서, 표면 상의 사전 인쇄된 선택 가능한 아이템에 대한 사용자 선택에 응답하여, 프로세서(112)는 사전 인쇄된 선택 가능한 아이템을 선택하는 사용자에 대한 응답으로 사전 인쇄된 선택 가능한 아이템에 연관된 기능을 수행하도록 동작할 수 있다. 일실시예에서, 프로세서(112)는 기호 인식을 이용하여 사전 인쇄된 선택 가능한 아이템을 자동으로 식별하도록 동작 가능하다. 또 다른 실시예에서, 프로세서(112)는 사전 인쇄된 선택 가능한 아이템의 검출된 표면 위치를 기초로 사전 인쇄된 선택 가능한 아이템을 자동으로 식별하도록 동작 가능하다. 더욱이, 또 다른 실시예에서, 프로세서(112)는 특정 경계 영역의 표면을 기초로 어플리케이션 프로그램을 식별하여 상이한 경계의 영역이 상이한 어플리케이션 프로그램에 연관되도록 동작할 수 있다.
일부 실시예에서, 표면으로는 사전 인쇄된 선택 가능한 아이템을 갖거나 갖지 않는 페이퍼가 가능하다. 도 3은 본 발명의 일실시예에 따른 마크의 패턴이 제공된 페이퍼(15)를 도시하고 있다. 도 3의 실시예에서, 페이퍼(15)는 마크의 패턴(18)으로 이루어지는 광학적으로 판독 가능한 위치 코드(17)의 형태로 부호화 패턴이 제공된다. 도 3에서의 마크(18)는 도시를 명료하게 하기 위해 전반적으로 확대되어 있으며, 실제로는 인간의 시각 시스템에 의해 용이하게 구분되지 않을 수도 있으며, 페이퍼(15) 상의 그레이스케일로서 보여질 것이다. 일실시예에서, 마크(18)는 도트(dot)로 구현되지만, 본 발명은 이러한 것으로만 제한되지는 않는다.
도 4는 도 3의 위치 코드(17)의 확대된 부분(19)을 도시하고 있다. 대화형 장치 "100"(도 1)과 같은 대화형 장치는 어떠한 영역의 위치 코드(17)의 이미지를 레코드하도록 위치된다. 일실시예에서, 광학 소자는 래스터 포인트(22)에서 교차하는 래스터 라인(21)을 갖는 래스터의 형태로 마크(18)를 레퍼런스 시스템에 맞춘다. 마크(18)의 각각은 래스터 포인트(22)에 연관된다. 예컨대, 마크 "23"은 래스터 포인트 "24"에 연관된다. 이미지/래스터 내의 마크에 대하여, 마크에 연관된 래스터 포인트로부터의 마크의 변위가 결정된다. 이러한 변위를 이용하여, 이미지/래스터 내의 패턴이 레퍼런스 시스템 내의 패턴에 비교된다. 레퍼런스 시스템 내의 각각의 패턴은 표면(70) 상의 특정 위치에 연관된다. 그러므로, 이미지/래스터 내의 패턴을 레퍼런스 시스템에서의 패턴과 매칭시킴으로써, 표면(70) 상의 패턴의 위치 및 그에 따라 표면(70)에 대한 광학 소자의 위치가 결정될 수 있다.
일실시예에서, 페이퍼(15) 상의 마크의 패턴은 실질적으로 볼 수 없는 코드이다. 이 코드는 사용자의 육안으로는 "실질적으로 볼 수 없는" 것이며, 페이지 상의 선택 가능한 아이템의 절대 위치 또는 상대 위치에 대응할 수도 있다. "실질적으로 볼 수 없는"이라는 의미는 사용자의 육안에 전혀 보이지 않거나 또는 다소 보이지 않는 코드 또한 포함한다. 예컨대, 사용자의 육안에 다소 보이지 않는 도트 코드가 페이퍼 위 전체에 인쇄되었다면, 페이퍼는 정상적인 시청 거리에서 봤을 때 약간의 음영(gray shade)을 갖는 것으로 보일 것이다. 일부 경우에, 사용자가 대화형 장치(100)로 코드를 스캔한 후, 대화형 장치(100) 내의 출력 장치(116)는 그 코드에 연관되는 사용자 기록의 선택 가능한 아이템에 대응하는 고유의 오디오 출력(비프음과 같은 비구분적인 오디오 출력에 반대되는)을 발생한다.
일실시예에서, 실질적으로 보이지 않는 코드는 도트 패턴에 의해 구현된다. 가시적인 또는 "비가시적으로" 인쇄된 도트 패턴을 판독하는 기술이 존재하고 상업적으로 이용 가능하다. 이들 인쇄된 도트 패턴은 도트 패턴으로 제공되는 코드가 정상적인 사용시에는 사용자의 육안에 의해 검출될 수 없도록(통상의 바코드와는 달리)사용자의 육안에 실질적으로 보여지지 않는다. 도트 패턴은 예컨대 2진 부호화에서와 같이 1과 0을 표현할 수 있는 예컨대 소형 도트와 대형 도트의 특정의 조합으로 구현될 수 있다. 도트 패턴은 인쇄 요소를 인쇄하기 위해 사용되는 잉크와는 상이한 잉크로 인쇄될 수 있어서, 대화형 장치(100)가 그 도트 패턴을 특별히 판독할 수 있다.
스웨덴에 소재한 기업인 Anoto는 매우 큰 고유의 데이터 공간이 대규모의 문서 세트에 걸쳐 충돌없이 사용될 수 있도록 하는 패턴을 발생하기 위해 알고리듬을 이용하는 기술을 채용한다. 이들 패턴은, 전부 인쇄될 경우, 페이지 상에 2㎠의 고유 인식으로 70조 장의 8.5"×11" 페이지를 커버할 것이다. 특정의 코드 패턴을 포함하고 있는 페이퍼는 Anoto로부터 상업적으로 이용 가능하다. 다음의 특허 및 특허 출원은 Anoto에 양도되어 있고, 이러한 기본적인 기술을 개시하고 있으며, 그 전체 내용이 본 명세서에 참고로 통합되어 있다: 미국 특허 번호 제6,502,756호, 2002년 6월 26일자 출원된 미국 특허 출원 번호 10/179,966, WO 01/95559, WO 01/71473, WO 01/75723, WO 01/26032, WO 01/75780, WO 01/01670, WO 01/75773, WO 01/71475, WO 00/73983 및 WO 01/16691.
일부 실시예에서, 도트 패턴은 데이터 블록, 오디오 데이터 및/또는 에러 검출 데이터에 대한 데이터 표시 마커와 같이 다른 유형의 데이터로 될 수도 있다. 전술한 바와 같이, 대화형 장치(100)에서의 프로세서(112)는 탐색표를 이용하여 스타일러스의 위치를 검출할 수 있고, 위치 정보를 기초로 오디오가 검색되어 재생될 수 있다. 이것은 장점을 갖는다. 예컨대, 마커, 오디오 및 에러 검출을 위해 페이퍼 위에 인쇄된 데이터를 갖는 페이퍼에 비해, 본 발명의 실시예는 마커, 오디오 및 에러 검출을 위한 데이터가 페이퍼 상에 인쇄될 필요가 없기 때문에 도트를 거의 필요로 하지 않는다. 에컨대, 페이퍼에서 오디오 데이터를 생략함으로써, 실제 오디오 데이터는 페이퍼 상의 공간을 점유할 필요가 없기 때문에, 페이퍼 상의 더 많은 공간이 대화에 제공될 수 있다. 또한, 오디오를 위한 컴퓨터 코드가 본 발명 의 실시예에서 대화형 장치(100)에 저장되기 때문에, 발생되는 오디오가 예컨대 페이퍼의 주름 또는 찢어짐에 의해 붕괴되거나 변경될 가능성이 적다.
본 명세서에서는 도트 패턴 코드가 구체적으로 설명되었지만 본 발명의 다른 실시예에서는 다른 유형의 실질적으로 비가시적 코드가 사용될 수도 있음을 이해할 것이다. 예컨대, 바코드가 물품 위에 어레이로 배치된다면 적외선 바코드가 사용될 수도 있다. 예시적으로, 페이퍼는 100×100 어레이의 실질적으로 비가시적인 바코드를 포함할 수도 있으며, 각각의 바코드는 페이퍼 상의 상이한 x-y 위치에 연관된다. 어레이 내의 바코드의 상대 또는 절대 위치는 대화형 장치(100) 내의 메모리 유닛(114)에 저장될 것이다.
전술한 바와 같이, 일부 실시예에서, 실질적으로 볼 수 없는 코드는 복수의 위치 및/또는 페이퍼 상의 임의의 선택 가능한 아이템의 위치 확인에 직접적으로 또는 간접적으로 관련할 수도 있다. 일부 실시예에서, 실질적으로 볼 수 없는 코드는 페이퍼(또는 다른 표면) 상의 복수의 위치의 위치확인에 직접 관련할 수 있다. 이들 실시예에서, 페이퍼 상의 상이한 위치의 지점은 코드 자체에 의해 제공될 것이다. 예컨대, 제1 위치에 있는 제1 코드는 페이퍼 상의 제1 위치에 대한 공간 좌표(예컨대, 특정의 x-y 위치)에 대한 코드를 포함할 수도 있는 한편, 제2 위치에 있는 제2 코드는 페이퍼 상의 제2 위치의 공간 좌표에 대한 코드를 포함할 수도 있다.
용지의 상이한 위치에 상이한 사용자 기록의 선택 가능한 아이템이 존재할 수 있다. 이들 사용자 기록의 선택 가능한 아이템은 코드 위에 형성될 수도 있다. 예컨대, 제1 사용자 기록의 선택 가능한 아이템은 제1 코드를 중첩하는 제1 위치에 형성될 수 있다. 제2 사용자 기록의 선택 가능한 아이템은 제2 코드를 중첩하는 제2 위치에 형성될 수 있다. 사용자가 제1 사용자 기록의 선택 가능한 아이템을 형성할 때, 스캐닝 장치는 형성된 제1 인쇄 요소를 인식하고, 형성된 제1 사용자 기록의 선택 가능한 아이템에 연관되는 제1 코드를 거의 동시에 스캐닝한다. 대화형 장치(100) 내의 프로세서(112)는 제1 위치의 특정한 공간 좌표를 결정할 수 있고, 제1 사용자 기록의 선택 가능한 아이템을 그 공간 좌표와 상관시킬 수 있다.
사용자가 제2 사용자 기록의 선택 가능한 아이템을 형성할 때, 스캐닝 장치는 형성된 제2 사용자 기록의 선택 가능한 아이템을 인식하고, 제2 코드를 거의 동시에 스캐닝한다. 프로세서(112)는 그 후 제2 위치의 공간 좌표를 결정할 수 있고, 제2 사용자 기록의 선택 가능한 아이템을 그 공간 좌표와 상관시킬 수 있다. 사용자는 그 후 대화형 장치(100)를 사용하여 제1 및 제2 사용자 기록의 선택 가능한 아이템을 실질적으로 선택할 수 있으며, 대화형 장치(100)는 추가의 조작을 수행할 수 있다. 예컨대, 이 방법학을 이용하면, 사용자는 공란(blank)의 페이퍼 상에 사용자 정의 인터페이스 또는 기능 소자를 작성할 수 있다.
대화형 장치(100)는 또한 메모리 유닛(114) 내의 형성된 사용자 기록의 선택 가능한 아이템과 상대 또는 절대 위치를 맵핑하거나 상관시키는 메카니즘을 포함할 수도 있다. 이 메카니즘은 물품의 특정 지점에 물품에 관한 특정의 사용자 기록의 선택 가능한 아이템에 관련된 데이터를 상관시키는 탐색표가 될 수도 있다. 이 탐색표는 메모리 유닛(114)에 저장될 수 있다. 프로세서(112)는 프로세서(112)가 후 속의 조작을 수행할 수 있도록 특정의 지점에 있는 사용자 기록의 선택 가능한 아이템을 식별하기 위해 탐색표를 사용할 수 있다.
실질적으로 볼 수 없는 코드를 갖는 표면은 어떠한 적합한 형태로도 될 수 있다. 예컨대, 표면은 단일 페이퍼, 노트 패드, 받침 페이퍼, 포스터, 플랭카드, 메뉴, 스티커, 탭, 제품 패키징, 박스, 트레이딩 카드, 자석(예컨대, 냉장고 자석), 화이트 보드, 테이블 상면 등이 가능하다. 더욱이, 표면은 페이퍼, 목재, 플라스틱 등을 포함한 어떠한 물질로도 이루어질 수 있으며, 이러한 물질로만 제한되지는 않는다. 이들 중의 임의의 것 또는 다른 유형의 표면은 사전 인쇄된 선택 가능한 아이템과 함께 사용될 수도 있고, 사전 인쇄된 선택 가능한 아이템 없이도 사용될 수 있다. 표면이 시트인 경우, 이 시트는 어떠한 적합한 크기로 될 수 있고, 어떠한 적합한 물질로 이루어질 수도 있다. 예컨대, 시트는 페이퍼를 기반으로 하거나, 플라스틱막으로 이루어질 수도 있다. 일부 실시예에서, 표면은 3차원 표면을 갖는 3차원 물품이 될 수도 있다. 3차원 표면은 인체, 동물(예컨대, 디노사우루스), 차량, 캐릭터 등의 주물 형상을 포함할 수도 있다.
일부 실시예에서, 표면은 시트이며, 이 시트는 인쇄된 글자 또는 숫자(예컨대, 사용자가 시트 상에 사용자 기록의 선택 가능한 아이템을 작성하기 전에 이루어진 마킹)와 같은 사전 인쇄된 선택 가능한 요소에 구애받지 않을 것이다. 다른 실시예에서, 사전 인쇄된 선택가능한 아이템은 시트 상에 존재할 수 있다(예컨대, 사용자가 시트 상에 사용자 기록의 선택 가능한 아이템을 작성하기 전에). 사전 인쇄된 인쇄 요소는 번호, 아이콘, 글자, 원, 단어, 기호, 라인 등을 포함할 수 있 다. 예컨대, 본 발명의 실시예는 사전 인쇄된 주문서 또는 투표 페이퍼와 같은 사전 인쇄된 폼을 이용할 수 있다.
대화형 장치(100)는 어떠한 적합한 형태로도 가능하며, 일실시예에서 대화형 장치(100)는 스타일러스와 같은 형상을 갖는 스캐닝 장치이다. 일실시예에서, 대화형 장치(100)는 포켓 사이즈이다. 스타일러스는 플라스틱 또는 금속으로 구성될 수 있는 스타일러스 하우징을 포함한다. 손잡이부가 스타일러스 하우징에 제공될 수도 있다.
도 5는 본 발명의 일실시예에 따른 표면 상의 사용자 작성의 선택 가능한 아이템(user-drawn selectable item)과의 대화를 용이하게 하는 프로세스(500)의 단계에 대한 흐름도를 도시하고 있다. 프로세스(500)는 사용자 입력을 사용자 기록의 선택 가능한 아이템, 그래픽 성분, 필기, 마크 등으로 해석하고 요청된 기능을 사용자에게 제공하는 본 발명의 일실시예에 따른 대화형 장치(예컨대, 대화형 장치 "100")에 의해 실시된 바와 같은 사용자 인터페이스 프로세스의 기본적인 작동 단계를 나타내고 있다.
단계 "510"에서는 대화형 장치(100)의 컴퓨터 구현 기능이 기록 가능한 표면 상의 사용자 기록의 선택 가능한 아이템을 검출한다. 단계 "512"에서는 사용자 기록의 선택 가능한 아이템이 사용자 기록의 선택 가능한 아이템의 기능과 함께 인식된다. 이 기능은 예컨대 사용자에 의해 후속하여 활성화하기 위한 기능의 소정 리스트(예컨대, 메뉴 선택)를 발음할 수 있는 메뉴 기능이 될 수도 있다. 단계 "514"에서는 사용자 기록의 선택 가능한 아이템과의 대화가 검출된다. 이 대화는 사용자 기록의 선택 가능한 아이템을 기록하거나, 대화형 장치를 이용하여 사용자 기록의 선택 가능한 아이템과 대화하거나(예컨대, 사용자 기록의 선택 가능한 아이템을 가볍게 두드림으로써), 또는 관련된 사용자 기록의 선택 가능한 아이템(예컨대, 도 2b의 체크마크(210))과 대화하는 것을 포함한다. 기능이 사용자 기록의 선택 가능한 아이템에 지속적으로 연관되어 있어, 그래픽 성분 아이콘의 후속 대화(예컨대, 가볍게 두드림)에 의해 그 기능의 후속 액세스가 가능하게 된다(예컨대, 어느 정도 시간 경과 후). 예컨대, 메뉴 기능의 경우, 나열된 메뉴 선택은 후속하여 메뉴 그래픽 성분 아이콘을 간단히 작동함으로써(예컨대, 그 아이콘을 가볍게 두드림으로써) 어느 정도 시간 후에 사용자에 의해 액세스될 수 있다.
이러한 방식으로, 본 발명의 실시예는 펜 및 페이퍼형 인터페이스를 이용하여 대화형 장치(도 1의 대화형 장치 "100")의 기능을 네비게이션하기 위한 사용자 인터페이스 수단을 구현한다. 사용자 기록의 선택 가능한 아이템에 의해 구현된 바와 같은 사용자 인터페이스는 대화형 장치(100) 내에서 실행하는 다수의 소프트웨어 어플리케이션과 대화하는 방법을 제공한다. 전술한 바와 같이, 대화형 장치(100)에 대한 입력은 사용자가 사용자 기록의 선택 가능한 아이템을 작성하거나 또는 사용자 기록의 선택 가능한 아이템 혹은 사전 인쇄된 선택 가능한 아이템과 대화하는 등의 사용자 동작을 포함한다. 펜으로부터의 출력은 오디오 출력이며, 그러므로 사용자 인터페이스 수단은 사용자가 펜의 기능 및 어플리케이션과의 "다이알로그(dialog)"를 수행할 수 있도록 한다. 즉, 사용자 인터페이스는 사용자가 사용자와 펜이 서로 대화할 수 있도록 해주는 표면 상의 사용자 기록의 선택 가능한 아이템과 같은 상호 인식된 아이템을 작성할 수 있도록 한다. 전술한 바와 같이, 상호 인식된 아이템은 통상적으로 사용자가 페이퍼 등의 표면 상에 그려서 작성한 기호, 마크 또는 아이콘이다.
본 발명의 추가 실시예
도 6은 본 발명의 다른 실시예가 구현될 수 있는 펜 형태의 장치(150)의 블록도이다. 일반적으로, 펜 형태의 장치(150)는 광학 장치로서 지칭될 수 있으며, 보다 구체적으로는 광판독기, 광학 펜 또는 디지털 펜으로서 지칭될 수도 있다. 펜 형태의 장치는 컴퓨터 시스템과 그 컴퓨터 시스템 상에 상주하는 운영 체제를 포함할 수도 있다. 어플리케이션 프로그램 또한 컴퓨터 시스템 상에 상주할 수도 있다.
도 6의 실시예에서, 펜 형태의 장치(150)는 하우징(62) 내부에 프로세서(32)를 포함한다. 일실시예에서, 하우징(62)은 펜이나 다른 기록 혹은 마킹 기구 또는 도구의 형태를 갖는다. 프로세서(32)는 펜 형태의 장치(150)의 기능을 구현하기 위해 사용된 정보 및 명령을 처리하도록 동작 가능하며, 이에 대해서는 후술될 것이다.
본 실시예에서, 펜 형태의 장치(150)는 프로세서(32)에 접속된 오디오 출력 장치(36) 및 디스플레이 장치(40)를 포함할 것이다. 다른 실시예에서, 오디오 출력 장치 및/또는 디스플레이 장치는 펜 형태의 장치(150)와 물리적으로 분리되지만, 유선 접속 또는 무선 접속 중의 하나를 통해 펜 형태의 장치(150)와 통신한다. 무선 통신을 위해, 펜 형태의 장치(150)는 송수신기 또는 송신기(도 6에 도시되지 않음)를 포함할 수 있다. 오디오 출력 장치(36)는 스피커 또는 오디오 잭(예컨대, 이어폰 또는 헤드폰용의)을 포함할 수도 있다. 디스플레이 장치(40)는 액정 디스플레이(LCD) 또는 일부 다른 적합한 유형의 디스플레이가 될 수도 있다.
도 6의 실시예에서, 펜 형태의 장치(150)는 펜 형태의 장치(150)를 작동시키고 제어하기 위해 프로세서(32)에 접속된 입력 버튼(38)을 포함할 수도 있다. 예컨대, 입력 버튼(38)은 사용자가 펜 형태의 장치(150)에 정보 및 명령을 입력할 수 있도록 하거나, 펜 형태의 장치(150)를 턴온 또는 턴오프하도록 할 수 있다. 펜 형태의 장치(150)는 배터리 등의 파워 소스(34)를 포함한다.
펜 형태의 장치(150)는 또한 프로세서(32)에 접속된 광원 또는 광방출기(44) 및 광센서 또는 광검출기(42)를 포함한다. 광방출기(44)로는 예컨대 발광 다이오드(LED)가 가능하며, 광검출기(42)로는 예컨대 전하 결합 소자(CCD) 또는 상보형 금속 산화물 반도체(CMOS)가 가능하다. 광방출기(44)는 표면(70) 또는 표면의 일부분을 조사한다. 표면(70)에서 반사된 광은 광검출기(42)에서 수신되어 광검출기에 의해 레코딩된다.
표면(70)으로는 페이퍼가 가능하지만, 본 발명은 이러한 것으로 제한되지는 않는다. 예컨대, 표면(70)은 LCD, CRT, 터치스크린, 또는 다른 유사한 유형의 능동 전자 표면(예컨대, 랩탑 또는 타블렛 PC의 디스플레이)이 될 수도 있다. 유사하게, 표면(70)은 전자 잉크를 포함하는 표면이거나, 또는 재구성 가능한 페이퍼를 포함하는 표면이 될 수 있다.
일실시예에서, 어떠한 패턴의 마킹이 표면(70) 상에 인쇄된다. 광방출기 (44) 및 광검출기(42)를 유지하는 펜 형태의 장치(150)의 끝단은 표면(70)을 마주보고 또는 표면에 인접하여 위치된다. 펜 형태의 장치(150)가 표면(70)에 대하여 이동될 때, 그 마킹의 패턴이 광방출기(44) 및 광검출기(42)에 의해 판독되어 레코딩된다. 보다 상세히 전술한 바와 같이, 일실시예에서, 표면(70) 상의 마킹은 표면에 대하여 펜 형태의 장치(150)의 위치를 결정하기 위해 사용된다(도 3 및 도 4를 참조). 또 다른 실시예에서, 표면(70) 상의 마킹은 정보를 부호화하기 위해 사용된다(도 8 및 도 9를 참조). 캡쳐된 표면(70)의 이미지는 마킹을 복호화하여 부호화된 정보를 복원하기 위해 펜 형태의 장치(150)에 의해 분석(처리)될 수 있다.
정보를 부호화하기 위한 표면 마킹 및 전자 장치에 의한 이러한 마킹의 판독/레코딩에 관한 추가의 설명은 Anoto에 양도되어 있는 다음의 특허 및 특허 출원에서 확인할 수 있으며, 이들 특허 및 특허 출원은 본 명세서에 그 전체 내용이 참조되어 있다: 미국 특허 번호 제6,502,756호, 2002년 6월 26일자 출원된 미국 특허 출원 번호 10/179,966, WO 01/95559, WO 01/71473, WO 01/75723, WO 01/26032, WO 01/75780, WO 01/01670, WO 01/75773, WO 01/71475, WO 00/73983 및 WO 01/16691.
도 6의 펜 형태의 장치(150)는 또한 프로세서(32)에 접속된 메모리 유닛(48)을 포함한다. 일실시예에서, 메모리 유닛(48)은 메모리 카트리지 또는 메모리 카드로서 구현된 착탈 가능한 메모리 유닛이다. 또 다른 실시예에서, 메모리 유닛(48)은 프로세서(32)를 위한 정보 및 명령을 저장하기 위한 랜덤 액세스(휘발성) 메모리(RAM) 및 판독 전용(비휘발성) 메모리(ROM)를 포함한다.
도 6의 실시예에서, 펜 형태의 장치(150)는 광검출기(42) 및 광방출기(44)와 동일하게 펜 형태의 장치(150)의 끝단에 위치된 기록 기기(52)를 포함한다. 기록 기기(52)는 예컨대 펜, 연필, 마커 등이 될 수도 있으며, 고정형 또는 전진 돌출형(retractable)이 될 수도 있다. 특정 어플리케이션에서는 기록 기기(52)가 요구되지 않을 수도 있다. 그러나, 다른 어플리케이션에서, 사용자는 글자 등의 문자, 단어, 숫자, 수학 기호 등을 포함한 표면(70) 상에 마크(예컨대, 그래픽 성분 또는 사용자 기록의 선택 가능한 아이템)를 형성하기 위해 기록 기기(52)를 사용할 수 있다. 이들 마크는 펜 형태의 장치(150)에 의해 스캐닝되어(이미지화되어) 표면(70) 상의 자신의 위치에 따라 펜 형태의 장치(150)에 의해 해석된다. 사용자가 발생시킨 마크의 위치는 표면(70) 상에 인쇄되는 마크의 패턴을 이용하여 결정될 수 있으며, 이에 대해서는 전술한 도 3 및 도 4에 대한 설명을 참조하기 바란다. 일실시예에서, 사용자가 발생시킨 마킹은 필기 문자를 인식하는 광학 문자 인식(OCR) 기술을 이용하여 펜 형태의 장치(150)에 의해 해석될 수 있다.
전술한 바와 같이, 표면(70)은 예컨대 페이퍼 등과 같이 그 위에 기록하기에 적합한 어떠한 표면도 가능하지만, 페이퍼 이외에 다른 물질로 이루어진 표면이 사용될 수도 있다. 또한, 표면(70)은 평탄형이거나 평탄형이 아니어도 무방하다. 예컨대, 표면(70)은 장갑의 표면으로서 실시될 수도 있다. 더욱이, 표면(70)은 종래보다 더 작거나 큰 페이지(예컨대, 8.5×11 인치)의 페이퍼일 수도 있다.
도 7은 본 발명의 실시예가 구현될 수 있는 또 다른 장치(250)의 블록도이다. 장치(250)는 전술한 바와 같은 프로세서(32), 파워 소스(34), 오디오 출력 장치(36), 입력 버튼(38), 메모리 유닛(48), 광검출기(42), 광방출기(44) 및 기록 기 기(52)를 포함한다. 그러나, 도 7의 실시예에서, 광검출기(42), 광방출기(44) 및 기록 기기(52)는 하우징(62) 내의 광학 기기(251)로서 구현되며, 프로세서(32), 파워 소스(34), 오디오 출력 장치(36), 입력 버튼(38) 및 메모리 유닛(48)은 하우징(74) 내의 플랫폼(252)으로서 구현된다. 본 실시예에서, 광학 기기(251)는 케이블(102)에 의해 플랫폼(252)에 접속되지만, 무선 접속이 그 대신에 사용될 수 있다. 도 7에 의해 예시된 구성요소는 전술한 것과는 다른 조합으로 광학 기기(251)와 플랫폼(252) 사이에 배치될 수 있다.
다시 도 6을 참조하면, 표면(70) 상의 4개의 위치 또는 영역이 문자 A, B, C 및 D로 나타내어져 있다(이들 문자는 표면(70) 상에 인쇄되어 있지 않고, 본 명세서에서 표면(70) 상의 위치를 나타내기 위해 사용된 것임). 표면(70) 상에 다수의 이러한 영역이 존재할 수도 있다. 고유한 패턴의 마크가 표면(70) 상의 각각의 영역에 연관된다. 표면(70) 상의 영역은 일부 마크가 중첩 영역 사이에 공유되는 경우에도 그 마크의 패턴이 그 영역에 여전히 고유의 것이기 때문에 중첩할 수도 있다.
펜 형태의 장치(150)를 사용하는(구체적으로, 기록 기기(52)를 사용하는) 도 6의 예에서, 사용자는 표면(70) 상의 A 위치에 있는 예컨대 원으로 둘러싸인 글자 "M"으로 이루어진 문자를 작성할 수도 있다(일반적으로, 사용자는 표면(70) 상의 어떠한 위치에서도 문자를 작성할 수 있을 것이다). 사용자는 펜 형태의 장치(150)로부터의 프롬프트(예컨대, 음성 프롬프트)에 응답하여 이러한 문자를 작성할 수도 있을 것이다. 사용자가 문자를 작성할 때, 펜 형태의 장치(150)는 문자가 작 성되는 위치에 고유하게 존재하는 마킹의 패턴을 레코드한다. 펜 형태의 장치(150)는 그 마킹의 패턴을 방금 작성한 문자와 연관시킨다. 그에 후속하여 펜 형태의 장치(150)가 원으로 둘러싸인 "M" 위에 위치될 때, 펜 형태의 장치(150)는 그와 연관된 마크의 패턴을 인식하고, 그 위치를 원으로 둘러싸인 "M"에 연관되고 있는 것으로서 인식한다. 실제로, 펜 형태의 장치(150)는 문자 자체를 인식하기 보다는 문자가 위치되는 위치에서의 그 마킹의 패턴을 이용하여 문자를 인식한다.
일실시예에서, 전술한 문자는 펜 형태의 장치(150)의 하나 이상의 명령에 연관되는 "그래픽 성분"을 포함한다. 이러한 그래픽 성분은 명령을 포함한 펜 형태의 장치(150)에 의해 구현된 기능에 연관되고 이 기능을 액세스하기 위해 사용되는 이러한 그래픽 성분은 펜 형태의 장치(150)의 액세싱 기능 및 어플리케이션에 연관되지 않은 다른 필기 문자, 마크 등과 구별하기 위해 이후 "그래픽 성분 아이콘"으로서 지칭된다. 직전에 설명한 예에서, 사용자는 특별한 명령을 식별하는 그래픽 성분 아이콘을 작성(기록)할 수 있고, 그래픽 성분 아이콘(예컨대, 필기 문자) 위에 단순히 펜 형태의 장치(150)를 위치시킴으로써 그 명령을 반복적으로 호출할 수 있다. 일실시예에서, 기록 기기는 그래픽 문자 위에 위치된다. 즉, 사용자는 그 명령이 펜 형태의 장치(150)에 의해 호출될 때마다 그 명령을 위해 문자를 기록할 필요가 없으며, 그 대신 사용자는 그 명령에 대한 그래픽 성분 아이콘을 1회 기록하고, 동일한 기록된 그래픽 성분 아이콘을 이용하여 그 명령을 반복적으로 호출할 수 있다. 이 속성은 "지속성"으로 지칭되며, 상세히 후술될 것이다. 이러한 과정은 사용자에 의해 기록되지 않고 표면 상에 사전 인쇄되어 그럼에도 불구하고 펜 형태의 장치(150)에 의해 선택 가능한 그래픽 성분 아이콘에 관해서도 필요하다.
일실시예에서, 그래픽 성분 아이콘은 글자 또는 숫자를 둘러싸는 라인을 갖는 글자 또는 숫자를 포함할 수 있다. 글자 또는 숫자를 둘러싸는 라인은 원, 타원형, 정방향, 다각형 등이 될 수도 있다. 이러한 그래픽 성분은 일반적인 글자 및 숫자 대신에 사용자에 의해 선택될 수 있는 "버튼" 등의 모양을 가질 수도 있다. 이러한 종류의 그래픽 성분 아이콘을 작성함으로써, 사용자는 펜 형태의 장치(150)에 의해 데이터로서 처리될 수도 있는 일반적인 글자 및 숫자와 기능 아이콘 등의 그래픽 성분 아이콘을 시각적으로 구별할 수 있다. 또한, 이러한 종류의 그래픽 성분 아이콘을 작성함으로써, 펜 형태의 장치는 또한 비기능 또는 비메뉴 아이템 유형 그래픽 성분과 기능 또는 메뉴 아이템 유형 그래픽 성분을 더 우수하게 구별할 수 있을 것이다. 예컨대, 사용자는 대화형 "메뉴" 그래픽 성분 아이콘을 작성하기 위해 원으로 둘러싸인 글자 "M"인 그래픽 성분 아이콘을 작성할 수도 있다.
펜 형태의 장치(150)는 그 안에 글자 "M"을 갖는 중첩 원 또는 정사각형을 단어에서의 글자 "M"과 구별되는 기능적 그래픽 성분으로서 인식하도록 프로그래밍될 수도 있다. 그래픽 성분 아이콘은 특정 간격(예컨대, 1인치, 1.5인치 등) 내에서 그에 인접한 소형의 "체크 마크" 기호를 포함할 수도 있을 것이다. 체크마크는 그래픽 성분 아이콘에 연관될 것이다. 이러한 기능적 그래픽 성분을 인식하여 이들을 다른 비기능적 그래픽 성분과 구별하기 위한 컴퓨터 코드가 펜 형태의 장치 내의 메모리 유닛에 상주할 수 있다. 프로세서는 이 그래픽 성분 아이콘을 인식할 수 있고, 펜 형태의 장치(150)가 이 그래픽 성분 아이콘에 연관된 다양한 기능, 조작 등을 수행할 수 있도록 이들 그래픽 성분 아이콘을 식별할 수 있다. 이들 실시예에서, 메모리 유닛은 사용자에 의해 생성된 임의의 그래픽 성분을 표면 상의 이들의 위치와 상관시키기 위한 컴퓨터 코드를 포함할 수도 있을 것이다. 펜 형태의 장치(150)는 "다운-터치", "다운-스트로크" 또는 하방으로 이동하여 표면 상에 위치되고 있음(예컨대, 사용자가 기록을 개시할 때)을 인식하고, "업-스트로크" 또는 표면으로부터 상방으로 들어 올려지고 있음(예컨대, 사용자가 기록을 종료할 때)을 인식한다. 이러한 다운-스트로크 및 업-스트로크는 펜 형태의 장치(150)에 의해 예컨대 특정 기능이 언제 호출되는지와 어떠한 특정 기능/어플리케이션이 호출되는지(예컨대, OCR 처리를 트리거링할 때)에 관한 표식자(indicator)로서 해석될 수 있다. 구체적으로, 업-스트로크가 바로 후속되는 다운-스트로크(예컨대, 펜 형태의 장치로 표면을 두드림(tap))는 어플리케이션에 따라서는 특별한 행동에 연관될 수 있다(예컨대, 그래픽 성분 아이콘, 문자열 등을 선택하는 행동).
"그래픽 성분"이라는 일반적인 표현은 사용자에 의해 작성된 어떠한 적합한 마킹(예컨대, 사용자 기록의 선택 가능한 아이템)을 포함할 수도 있으며, 펜 형태의 장치의 하나 이상의 기능을 액세스하기 위해 사용되는 기능적 그래픽 성분을 지칭하는 그래픽 성분 아이콘과는 구별 가능하다는 것을 이해하여야 한다.
전술한 바와 같이, 그래픽 성분 아이콘은 펜 형태의 장치(150)에 의해 작성되거나(예컨대, 사용자에 의해 그려지거나), 또는 사전 존재하는 것(예컨대, 페이퍼 상의 인쇄된 요소)가 될 수 있다. 일례의 그래픽 성분은 기호, 글자 및/또는 숫자와 같은 표식(indicia), 문자, 단어, 형상, 라인 등을 포함하지만, 이러한 것으로만 제한되지는 않는다. 이들은 규칙적인 형상을 가질 수도 있고, 비규칙적인 형상을 가질 수도 있다. 사용자 기록의 그래픽 성분 및 사용자 작성의 그래픽 성분은 통상적으로 펜 형태의 장치(150)를 이용하여 작성된다. 또한, 그래픽 성분 아이콘은 일반적으로 문자(예컨대, 글자 "M")를 둘러싸는 라인(예컨대, 원)을 통합하여 사용자와 펜 형태의 장치(150) 모두에게 이들을 보다 구별이 용이하게 할 수 있다. 예컨대, 일실시예에서, 문자 둘레를 원으로 마무리한 후의 업-스트로크는 특히 사용자가 그래픽 성분 아이콘을 방금 작성하였다는 것을 펜 형태의 장치(150)에게 알려준다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 구현 프로세스(550)의 단계에 대한 흐름도를 도시하고 있다. 이 프로세스(550)는 사용자 입력을 그래픽 성분, 기록, 마크 등의 형태로 해석하고 요청된 기능을 사용자에게 제공할 때에 본 발명의 일실시예에 따른 사용자 인터페이스 프로세스의 기본 작동 단계를 나타낸다.
이 프로세스(550)는 단계 551에서 개시하며, 이 단계에서는 펜 형태의 장치(150)의 컴퓨터 구현 기능이 작성된 그래픽 성분 아이콘(예컨대, 사용자에 의해 작성된)을 인식한다. 이와 달리, 그래픽 성분이 표면 상에 사전 인쇄되어, 그 위치가 펜 형태의 장치(150)에 알려져 있을 수도 있다. 단계 551에서, 사용자가 처음으로 그래픽 성분을 기록하고 있다면, 펜 형태의 장치(150)는 사용자 기록의 그래픽 성분을 식별하기 위해 기록 내용 위에서 OCR(광학 문자 인식)을 수행하기 위해 광센서 및 프로세서를 사용한다. 일실시예에서는 표면 상의 그 고유 위치 또한 레 코드된다. 단계 552에서는 인식 후에 그래픽 성분 아이콘에 관련된 기능이 액세스된다. 이 기능은 예컨대 사용자에 의한 후속의 활성화를 위한 기능의 소정 리스트(예컨대, 메뉴 선택 또는 서브메뉴 옵션)를 발음할 수 있는(예컨대, 음성으로 제공할 수 있는) 메뉴 기능이 될 수 있다. 단계 553에서는 이 기능에 따른 오디오 출력이 제공된다. 이 오디오 출력은 예컨대 사용자가 선택 목록 내에서 어떠한 특정 선택을 행하였는지에 대한 발음이 될 것이다. 단계 554에서는 이 기능이 그래픽 성분 아이콘에 지속적으로 연관되어, 후속 행동(예컨대, 펜 형태의 장치(150)를 가볍게 두드림)에 의해 이 기능의 후속 액세스(예컨대, 어느 정도 시간 경과 후)가 가능하게 된다. 예컨대, 메뉴 기능의 경우, 나열된 메뉴 선택 항목은 메뉴 그래픽 성분 아이콘을 간단히 작동함으로써(예컨대, 가볍게 두드림으로써) 어느 정도의 시간 경과 후에 사용자에 의해 액세스될 수 있다.
복수의 상이한 그래픽 성분이 표면 상에 언제든 존재할 수도 있고, 그 선택은 예컨대 어플리케이션을 호출하거나 서브메뉴 옵션을 호출하는 등과 같은 펜 형태의 장치(150)에 의해 실행될 다양한 기능을 제공할 수도 있음을 이해할 수 있을 것이다.
펜 형태의 장치(150)의 출력은 오디오 출력 외에 시각적 출력(예컨대, 디스플레이, 표시 조명 등을 통해)이 함께 제공되거나, 또는 오디오 출력 대신에 시각적 출력이 제공될 수도 있다. 시각적 출력 및/또는 오디오 출력은 펜 형태의 장치(150)로부터 직접 제공되거나, 또는 펜 형태의 장치(150)에 통신 가능하게 접속된 또 다른 장치(예컨대, 개인용 컴퓨터, 스피커, LCD 디스플레이 등)로부터 제공될 수 있다.
이러한 방식으로, 본 발명의 실시예는 컴퓨터 시스템, 특히 예컨대 펜 형태의 장치(150)와 같이 펜을 기반으로 하는 컴퓨터 시스템의 기능을 네비게이션하기 위한 사용자 인터페이스 수단을 구현한다. 그래픽 성분 아이콘에 의해 구현된 바와 같은 사용자 인터페이스는 펜 형태의 장치(150) 내에서 실행하는 다수의 소프트웨어 어플리케이션과 대화하는 방법을 제공한다. 전술한 바와 같이, 펜 형태의 장치(150)로부터의 출력은 오디오 출력을 포함할 수 있으며, 그러므로 사용자 인터페이스 수단은 사용자가 펜 형태의 장치(150)의 어플리케이션 및 기능과의 "다이알로그"를 수행할 수 있게 된다. 즉, 사용자 인터페이스는 사용자로 하여금 이 사용자와 펜 형태의 장치(150)가 서로 대화할 수 있도록 하는 그래픽 성분 아이콘과 같은 상호 인식된 아이템을 작성할 수 있도록 한다. 전술한 바와 같이, 상호 인식된 아이템은 통상적으로 사용자가 페이퍼 등과 같은 표면 상에 그려서 작성한 기호, 마크 또는 아이콘이다.
상이한 그래픽 성분 아이콘은 상이한 의미와 상이한 방식의 사용자와의 대화를 갖는다. 일반적으로, 소정 그래픽 성분 아이콘의 경우, 대화의 방식은 펜 형태의 장치의 상이한 컴퓨터 구현 기능을 호출할 것이다. 이에 대한 예시로서, 상기 예의 메뉴의 경우, 메뉴 기능은 사용자가 그래픽 성분에 관련되어 있는 기능의 목록을 차례차례로 반복하도록 할 것이다(예컨대, 메뉴 그래픽 성분 아이콘 상의 두드림(tap)의 수는 기능의 목록을 차례차례로 반복시킨다). 펜 형태의 장치로부터의 오디오는 그 두드림이 행해질 때에 기능 또는 모드를 발음할 수 있다. 그리고 나서, 발음된 기능/모드 중의 하나가 일부의 추가의 대화(예컨대, 그 그래픽 성분 아이콘에 연관된 이전에 그려진 체크마크 그래픽 성분을 그리거나 선택함으로써)를 통해 사용자에 의해 선택될 수 있다. 추가의 대화가 선택된 후, 기능, 옵션 및 특정의 선택된 기능의 서브메뉴가 사용자에 의해 액세스될 수 있다. 이와 달리, 음성으로 제공된 서브-옵션 중의 하나가 메뉴 그래픽 아이콘이라면, 메뉴 그래픽 아이콘은 사용자가 표면 상에 그 아이콘의 표시를 그리고 그것을 선택함으로써 선택될 수 있다.
도 9는 본 발명의 일실시예에 따른 프로세스(650)의 컴퓨터 구현 단계의 흐름도를 도시하는 도면이다. 이 프로세스(650)는 본 발명의 일실시예에 따른 대화형 장치(예컨대, 펜 형태의 장치(150))의 다수의 내장된 계층적 기능을 액세스하기 위한 사용자 인터페이스 프로세스(예컨대, 차례차례로 네비게이션하는)의 기본적인 조작 단계를 도시한다. 이 프로세스(650)는 도 11a, 도 11b 및 도 11c를 참조하여 설명된다.
이 프로세스(650)는 단계 651에서 개시하며, 이 단계에서는 펜 형태의 장치(150)의 컴퓨터 구현 기능이 도 11a에 도시된 작성된 그래픽 성분 아이콘을 메뉴 아이콘 "M"으로서 인식한다. 단계 551과 마찬가지로, 그래픽 성분 아이콘은 사용자에 의해 기록되거나 또는 표면 상에 사전 인쇄될 수도 있다. 그 한 경우에, 그래픽 성분 아이콘은 그 아이콘에 연관되어 그 자체가 추가의 선택을 제공할 수도 있는 추가의 그래픽 성분 아이콘의 선택 목록(예컨대, 계층적 배열)을 제공할 수 있다. 단계 652에서는, 도 11a에 도시된 바와 같이, 그 그래픽 성분 아이콘이 인 식된 후, 그 그래픽 성분 아이콘에 관련된 기능의 제1 계층의 메뉴가 액세스된다. 이 예에서, 메뉴 아이콘 "M"이 인식된 후, 단계 651에서의 메뉴 아이콘 "M"은 서브-옵션의 목록(예컨대, system "S", games "G", reference "R" 및 tools "T")이 도 11a에 도시된 바와 같이 한 번에 한 옵션씩 음성으로 제공될 수 있다(예컨대, 프롬프트 오디오를 통해). 이 옵션은 펜 형태의 장치(예컨대, 펜 형태의 장치 "150")에 의해 단계 651의 메뉴 아이콘의 연속적인 선택에 응답하여 제공된다.
단계 653에서는, 도 11b에 예시된 바와 같이, 이 예에서 발음된 기능 중의 하나인 'reference' 그래픽 성분 아이콘 "R"이 메뉴 그래픽 성분 아이콘(예컨대, 두드림)의 적합한 수의 작동 및 연관된 체크마크 아이콘(870)의 활성화를 통해 선택된다. 단계 "654"에서는 작동된 기능이 기능의 제2 계층의 메뉴에 대한 제2 그래픽 성분 아이콘의 작성을 촉구할 수도 있다. 이 예에서는 'reference' 아이콘 "R"인 제2 그래픽 성분 아이콘이 사용자에 의해 표면 상에 그려질 것이다. 도 11c에 도시된 바와 같이 그 아이콘의 선택은 서브메뉴 아이템의 제2 목록이 전술한 방식으로 음성으로(예컨대, 프롬프트 음성을 통해) 제공되도록 할 것이다(예컨대, thesaurus "TH", dictionary "D" 및 help "H"). 이에 후속하여, 단계 655에서는 제2 그래픽 성분 아이콘의 발음된 기능 중의 하나가 제2 계층 레벨 기능 중의 하나를 선택하기 위해 적합한 수의 동작을 통해 활성화된다. 이러한 방식으로, 하나의 메뉴가 추가의 서브-메뉴를 갖는 다수의 서브-메뉴를 호출할 수 있다. 그러므로, 상이한 레벨의 그래픽 성분 아이콘이 계층적으로 배열될 수 있다. 일반적으로, 기능에 대한 메뉴를 제공하는 상위 레벨의 그래픽 성분 아이콘은 그룹 그래픽 성분 아이콘으로 지칭된다. 어플리케이션 그래픽 성분 아이콘은 전반적으로 구성 옵션 또는 소정 어플리케이션에 대한 어플리케이션 설정치에 대한 메뉴를 제공하는 제2 레벨의 그래픽 성분 아이콘이다. 예컨대, 어플리케이션 그래픽 성분 아이콘은 그룹 그래픽 성분 아이콘의 특별한 케이스로서 고려될 수 있다. 일반적으로, 어플리케이션 그래픽 성분 아이콘은 구체적인 어플리케이션 관련 디폴트 동작이 연관되어 있다.
이러한 방식으로, 사용자는 메뉴 아이템의 목록으로부터 메뉴 아이템을 선택할 것이다. 메뉴 아이템은 디렉토리 명칭, 서브디렉토리 명칭, 어플리케이션 명칭, 또는 특정 데이터 세트의 명칭을 포함할 수도 있다. 디렉토리 또는 서브디렉토리 명칭의 예는 "tools"(예컨대, 다수의 상이한 환경 하에서 적용 가능한 대화형의 유용한 기능에 대하여), "reference"(예컨대, 사전과 같은 참고 자료에 대하여), "games"(예컨대, 상이한 게임에 대하여) 등을 포함하며, 이러한 것으로만 제한되지는 않는다. 구체적인 어플리케이션(또는 서브디렉토리)의 예는 "calculator", "spell checker" 및 "translator"를 포함한다. 데이터 세트의 구체적인 예는 외국어 단어와 그들의 의미의 세트, 전화번호 목록, 캘린더, 해야할 목록 등을 포함할 수 있다. 메뉴 아이템의 추가의 예가 도 10의 아래쪽에 도시되어 있다.
다양한 메뉴 아이템에 대하여 특정의 오디오 명령이 제공될 수 있다. 예컨대, 사용자가 "캘린더" 메뉴 아이템을 선택한 후, 펜 형태의 장치는 사용자에게 숫자 0∼9와 연산자 ±, -, ×, /, = 를 페이퍼 상에 그리고 수학 계산을 수행하기 위해 숫자를 선택하도록 명령할 것이다. 또 다른 예에서, 사용자가 "translator" 메뉴 아이템을 선택한 후, 펜 형태의 장치는 사용자에게 제2 언어의 명칭을 기록하고 그것을 원으로 둘러싸도록 명령할 수 있다. 사용자가 이러한 동작을 행한 후, 펜 형태의 장치는 사용자에게 단어를 영어로 쓰고 그리고나서 기록한 단어의 제2 언어로 번역된 단어를 듣기 위해 원으로 둘러싸인 제2 언어를 선택하도록 추가로 명령할 수 있다. 그렇게 한 후에, 펜 형태의 장치의 오디오 출력 장치가 그 단어를 제2 언어로 발음할 것이다.
도 10은 각각의 옵션의 그래픽 성분 아이콘 표시를 포함하는 본 발명의 일실시예에 따른 메뉴 아이템 트리 디렉토리를 도시하는 도면이다. 메뉴 아이템 트리 디렉토리는 메뉴 그래픽 성분 아이콘으로부터 개시하는 오디오 메뉴를 구현할 수 있다. 도 10의 상단으로부터 개시하는 제1 오디오 서브디렉토리로서 T(tools) 서브디렉토리가 도시되어 있다. T(tools) 서브디렉토리 아래에는, TR(translator) 서브디렉토리, C(calculator) 서브디렉토리, SC(spell checker) 서브디렉토리, PA(personal assistant) 서브디렉토리, AL(alarm clock) 서브디렉토리, 및 TU(tutor) 서브디렉토리가 존재할 수 있다. TR(translator) 서브디렉토리 아래에는, SP(Spanish), FR(French), 및 GE(German) translator 기능이 존재할 수 있다. PA(personal assistant) 서브디렉토리 아래에는, C(calendar), PL(phone list), 및 TD(to do list) 기능 또는 서브디렉토리가 존재할 수 있다. R(reference) 서브디렉토리 아래에는, TH(thesaurus) 기능, D(dictionary) 서브디렉토리, 및 H(help) 기능이 존재할 수 있다. D(dictionary) 서브디렉토리 아래에는, E(English) 기능, SP(Spanish) 기능, 및 FR(French) 기능이 존재할 수 있다. G(games) 서브디렉토리 아래에는, WS(word scramble), FP(funky potatoes), 및 DO(doodler) 등의 게임이 존재할 수 있다. 본 발명의 다른 실시예에서는 다른 게임이 존재할 수도 있다. S(system) 서브디렉토리 아래에는, SE(security) 기능 및 P(personalization) 기능이 존재할 수 있다.
이하에서는 상기 디렉토리, 서브디렉토리, 및 기능의 일부에 관한 세부내용을 설명한다. 메뉴 아이템 트리 디렉토리에 의해 예시된 바와 같이, 사용자는 다양한 메뉴 아이템의 발음을 청취하고 그리고나서 요구된 메뉴 아이템을 선택함으로써 어떠한 요구된 경로로 진행하거나 네비게이션할 것이다. 요구된 메뉴 아이템의 후속 선택은 어떠한 적합한 방식으로도 이루어질 것이다. 예컨대, 일부 실시예에서, 사용자는 펜 형태의 장치가 작성된 그래픽 성분을 "다운 터칭(down touching)"(예컨대, 다운-스트로크)하도록 함으로써 오디오 메뉴를 차례 차례로 스크롤할 수 있도록 한다. "다운 터칭"은 펜 형태의 장치 내의 전자 장치에 의해 어떠한 적합한 메카니즘을 이용함으로써 "활성화"로서 인식될 것이다. 예컨대, 펜 형태의 장치는 선택된 그래픽 성분을 향한 하향 이동에 연관된 이미지 변화를 인식하도록 프로그래밍될 수도 있을 것이다.
또 다른 실시예에서, 펜 형태의 장치의 끝단이 페이퍼에 압력을 가할 때 압력 스위치가 작동하도록 펜 형태의 장치 내에 감압성 스위치(pressure sensitive switch)가 제공될 수도 있다. 이 감압성 스위치는 펜 형태의 장치에게 오디오 메뉴를 통해 스크롤하도록 알려준다. 예컨대, 펜 형태의 장치가 원형으로 둘러싸인 글자 "M"을 선택한 후에는(이에 의해 펜 형태의 장치 내의 감압성 스위치가 작동 됨), 펜 형태의 장치 내의 오디오 출력 장치가 "tools"을 발음할 것이다. 사용자는 원형으로 둘러싸인 글자 "M"을 두 번째로 선택하여 오디오 출력 장치가 메뉴 아이템 "reference"를 발음하도록 할 수도 있다. 이것은 오디오 메뉴를 통해 스크롤하도록 요구될 때에는 종종 반복될 수 있다. 특정 메뉴 아이템을 선택하기 위해, 사용자는 페이퍼 상의 구분 마크를 작성하거나, 구체적인 의사표현 행위(gesture)를 스캐닝 장치에게 제공한다. 예컨대, 사용자는 서브디렉토리 "tools"를 선택하기 위한 단어 "tools"을 청취한 후 원형으로 둘러싸인 글자 "M" 다음에 "체크마크"(또는 다른 그래픽 성분)를 그릴 수도 있을 것이다. 이와 같은 방법을 이용하여 사용자는 메뉴 아이템 트리에서 의도된 디렉토리, 서브디렉토리 또는 기능을 향해 네비게이션할 수 있을 것이다. 펜 형태의 장치를 상방향으로 스크롤하도록 하기 위해 상이한 그래픽 성분 또는 상이한 의사표현 행위의 작성이 사용될 수도 있다. 이와 달리, 메뉴를 통해 스크롤하기 위해 펜 형태의 장치 내에 버튼 또는 다른 액츄에이터가 제공될 수도 있다. "tools"가 선택된 후, 이 "tools"는 그 서브디렉토리 메뉴에 관한 것을 제외하고는 전술한 바와 같이 기능할 것이다.
다른 실시예에서, 메뉴 그래픽 성분 아이콘(예컨대, 원을 갖는 글자 "M")을 작성한 후, 사용자는 메뉴 그래픽 성분 아이콘을 선택할 것이다. 스캐닝 장치 내의 소프트웨어는 원으로 둘러싸인 글자를 메뉴 기호인 것으로 인식하고, 사용자의 터치없이도 스캐닝 장치가 메뉴 아이템 "tools", "reference", "game" 및 "system"을 일정 시간 간격을 두고 순차적으로 재열거하도록 한다. 오디오 명령이 사용자에게 제공될 수도 있다. 예컨대, 펜 형태의 장치는 "tools 디렉토리를 선택하고, 글자 'T'를 기록하여 그것을 원으로 둘러싸라"("To select the 'tools' directory, write the letter 'T' and circle it")라고 말할 것이다. 메뉴 아이템을 선택하기 위해, 사용자는 글자 "T"를 작성하고 이것을 원으로 둘러쌀 것이다. 이것은 사용자가 서브디렉토리 "tools"를 선택하였다는 것을 펜 형태의 장치에게 나타내준다. 그리고나서, 펜 형태의 장치는 "tools" 디렉토리 아래의 메뉴 아이템을 사용자에게 재호출할 수 있다. 그러므로, 그 디렉토리, 서브디렉토리 또는 기능을 나타내는 그래픽 성분을 페이퍼 상에 작성하고 이들과 대화함으로써 메뉴 아이템트리 내의 특정 디렉토리, 서브디렉토리 또는 기능으로 직접 진행할 수 있다. 이와 달리, 메뉴 아이템이 이미 표면 상에 존재한다면, 사용자는 그 메뉴 아이템의 기능을 선택하기 위해 언제든 그 메뉴 아이템과 대화할 수 있다.
도 10에 도시된 그래픽 성분 아이콘의 디렉토리, 서브디렉토리, 옵션 메뉴 등 내에서의 아이템의 순서는 사용자에 의해 변경될 수 있다는 것에 유의하기 바란다. 예컨대, 사용자는 특정 어플리케이션을 액세스하고 그 어플리케이션을 이용하여 하나 이상의 디렉토리, 서브디렉토리 등의 아이템이 음성으로 제공되는 순서를 변경할 수 있다. 유사하게, 사용자는 소정 디렉토리/서브디렉토리 등 내의 하나 이상의 아이템에 연관된 특정 오디오 출력을 변경할 수 있다. 예컨대, 사용자는 어느 한 아이템에 대하여 자기 자신의 목소리를 녹음하거나, 사전 녹음된 음악(예컨대, MP3 등)을 사용하거나 등등을 할 수 있으며, 사용자는 아이템의 음성으로 제공된 출력에 따를 수도 있다. 또한, 하나 이상의 디렉토리, 서브디렉토리 등에 대한 추가의 아이템이 예컨대 펜 형태의 장치에 제공된 소프트웨어 또는 펌웨어 업데 이트(예컨대, 신규 소프트웨어 기반 기능을 업로딩)를 통해 추가될 수 있음을 유의하여야 한다.
복수의 예의 그래픽 성분 아이콘(예컨대, 복수의 메뉴 아이콘)의 각각의 상태는 각각의 구체적인 예에 지속적으로 연관될 수 있다. 예컨대, 2개 이상의 그래픽 성분 아이콘이 공통 표면 상에 존재하는 곳의 경우(예컨대, 사용자에 의해 작성되거나, 사전 인쇄되는 등), 여러 가지 옵션의 디렉토리 중의 그 아이콘의 디렉토리 내에서의 그 아이콘의 상태 또는 그 아이콘의 특정 위치가 각각의 아이콘에 대하여 기억될 수 있다. 예컨대, 제1 메뉴 아이콘이 현재 옵션 3(예컨대, "games")에 있고, 제2 메뉴 아이콘이 현재 옵션 1(예컨대, "tools")에 있다면, 사용자는 그 곳에서 벗어나 다른 어플리케이션(예컨대, calculator, dictionary 등)을 이용하여 다른 태스크를 수행할 수 있고, 어느 정도의 시간 경과 후 제1 또는 제2 메뉴 아이콘 중의 하나로 복귀할 수 있으며, 이들 아이콘은 자신의 최종 상태를 정확하게 유지할 것이다(예컨대, 제1 메뉴 아이템에 대해서는 "games", 제2 메뉴 아이템에 대해서는 "tools").
유사하게, 복수의 인스턴스(instance)의 그래픽 성분 아이콘(예컨대, 복수의 메뉴 아이콘)의 각각의 상태는 복수의 인스턴스 중에서 정리될 수 있고, 각각의 구체적인 인스턴스에 지속적으로 연관될 수 있다. 정리된 상태를 이용하여, 2개 이상의 그래픽 성분 아이콘(예컨대, 사용자에 의해 작성되거나, 사전 인쇄되는 등에 의한)이 공통 표면 상에 존재하는 곳에서, 각각의 아이콘에 대하여 이들의 상태가 기억될 수 있지만, 그 상태는 옵션이 각각의 인스턴스에 걸쳐 존재하도록 정리될 수 있다. 예컨대, 제1 메뉴 아이콘이 현재에는 옵션 2(예컨대, "system")에 있다면, 제2 메뉴 아이콘은 그 아이콘이 옵션 3(예컨대, "tools")에 있게 되도록 정리된 상태를 가질 것이다. 사용자는 다른 중간 태스크를 수행하고, 어느 정도의 시간 경과 후에 제1 또는 제2 메뉴 아이콘 중의 하나로 복귀할 수 있으며, 이들 아이콘은 자신의 정리된 상태를 정확하게 유지할 것이다(예컨대, 제1 메뉴 아이콘에 대해서는 "system", 제2 메뉴 아이콘에 대해서는 "tools").
도 12는 본 발명의 일실시예에 따라 다수의 그래픽 성분 아이콘이 기록되어 있는 표면(910)(예컨대, 페이퍼)을 도시하는 도면이다. 도 12는 그룹 그래픽 성분 아이콘(예컨대, 메뉴 아이콘 "M" 및 게임 아이콘 "G") 및 어플리케이션 아이콘(예컨대, calculator 아이콘 "C")의 예를 도시하고 있다. 그래픽 성분 아이콘은 사용자에 의해 페이퍼(910) 상에 기록될 수도 있고, 사전 인쇄될 수도 있다. 전술한 바와 같이, 그룹 그래픽 성분 아이콘은 일반적으로 목록 옵션을 음성으로 제공한다. 예컨대, 펜 형태의 장치(150)를 위치 "901"에서 반복적으로 가볍게 두드림으로써 도 10에 대한 설명에서 언급한 바와 같이 메뉴 디렉토리의 옵션(예컨대, system, games, reference 및 tools)으로 진행된다. 예컨대, 메뉴 아이콘을 2회 가볍게 두드림으로써, 펜 형태의 장치(150)가 "system"을 음성으로 제공하도록 되고, 그리고나서 게임 서브디렉토리의 선택을 나타내는 "games"를 음성으로 제공하도록 될 것이다. 그리고나서, 게임 서브디렉토리는 위치 "902"(예컨대, 체크마크)를 터치함으로써 활성화되며, 이 활성화는 오디오 톤을 통해 사용자에게 확인될 수 있다.
이에 후속하여, 펜 형태의 장치(150)는 사용자에게 도 12에 도시된 바와 같은 게임 그래픽 성분 아이콘을 작성하도록 음성으로 촉구한다. 펜 형태의 장치(150)로 위치 "903"에 있는 게임 아이콘을 반복하여 두드림으로써, 펜 형태의 장치(150)가 도 10에서 설명한 바와 같은 게임 서브디렉토리의 옵션(예컨대, word scramble, funky potatoes 및 doodler)을 진행하도록 된다. 게임 서브디렉토리 아이템 중의 선택된 아이템은 위치 "904"에 있는 탭(예컨대, 게임에 연관된 체크마크)을 통해 선택되거나, 이와 달리 탭이 아직 존재하지 않는 경우에는 체크마크를 그림으로써 선택될 수 있다.
다시 도 12를 참조하면, 계산기 아이콘 "C"를 터치함으로써 계산기 어플리케이션이 개시된다. 이러한 방식으로, 계산기 아이콘은 메뉴 아이템의 리스트 또는 서브디렉토리 옵션을 제공하지 않고, 이 경우에는 계산기 어플리케이션인 어플리케이션 자체를 직접 개시시킨다. 계산기 어플리케이션이 호출된 후, 펜 형태의 장치(150)는 활성화를 확인해주며(예컨대, 오디오 톤을 제공함으로써), 사용자에게 계산기를 사용하도록 준비하기 위한 일련의 행동을 차례차례로 음성으로 촉구한다(예컨대, 사용자에게 숫자 "0∼9"와 연산자 "±, -, ×, / 및 ="를 표면 상에 그리고나서 수학 계산을 수행하기 위한 숫자를 선택하도록 명령함으로써).
상기의 설명에서, 마크, 단일 문자(예컨대, 글자 "M") 또는 문자열(예컨대, 단어)가 사용자에 의해 최초로 기록될 때, 이들에 대하여 OCR(광학 문자 인식) 프로세스가 1회에 한하여 수행될 필요가 있다는 점에 유의하여야 한다. 전술한 바와 같이, 펜 형태의 장치(150)는 표면(910) 상의 그래픽 성분의 위치가 표면(910) 상 에 부호화된 데이터를 판독하는 펜 형태의 장치(150)에 의해 결정될 수 있도록 하는 기능을 포함한다. 이러한 기능에 의하여 펜 형태의 장치(150)는 특정 문자, 특정 기호, 특정 문자열 등의 위치를 기억할 수 있게 된다. 펜 형태의 장치(150)는 표면 상의 그 특정 단어의 동일한 위치를 인식함으로써 특정 단어의 후속 선택을 식별할 수 있다(예컨대, 사용자가 특정 단어 상에서 어느 정도의 시간 경과 후에 펜 형태의 장치(150)를 터치할 때). 사용자에 의한 단어의 후속 선택 시, 앞서서 수행된 OCR 프로세스의 결과가 재호출되며, 이들 결과는 예컨대 활성 어플리케이션(예컨대, dictionary)에 의해 사용된다. 그러므로, OCR 프로세스의 결과(예컨대, 단어, 문자, 숫자 등에 대한)를 저장하고 그 결과를 어느 정도 시간 경과 후에 하나 이상의 어플리케이션과 사용하기 위해 후속하여 재호출하는 성능은 본 발명의 실시예에 의해 구현된 사용자 인터페이스의 응답성 및 성능을 상당히 향상시킨다. 자원을 많이 소모하는 OCR 처리는 펜 형태의 장치(150)의 컴퓨터 시스템 성분에 의해 단지 1회만 수행된다.
도 12는 또한 펜 형태의 장치(150)의 "프롬프트-앤드-빌리브(prompts and believe)" 기능을 이용하여 작성된 사용자 기록의 단어(906)(예컨대, 문자열)를 도시하고 있다. 본 발명의 실시예에 따르면, 일부 단어, 문자열, 마크, 기호 또는 다른 그래픽 성분은 OCR을 이용하여 처리될 필요가 없다는 점에 유의하기 바란다. 예컨대, 특정 단어, 그래픽 성분 등은 펜 형태의 장치(150)로부터의 음성 촉구에 응답하여 사용자에 의해 작성될 수 있으며, 이때 펜 형태의 장치는 사용자에게 특정 단어(예컨대, "president")를 기록하도록 촉구(프롬프트)하고, 그에 후속하여 기록된 단어의 위치를 그 관련사항(예컨대, 프롬프트로부터의 위치)와 함께 저장한다. 작성된 단어의 후속 선택은 전술한 방식으로 위치확인에 의해 인식된다. 예컨대, 펜 형태의 장치(150)는 사용자에게 단어 "president"(906)를 기록하도록 명령할 수 있다. 프롬프트에 응답하여, 사용자는 단어 "president"를 기록하며, 펜 형태의 장치(150)는 프롬프트에 응답하여 사용자가 기록한 것이 실제로 단어 "president"라는 것을 단어의 후속 선택에 응답하여 처리하거나 신뢰할 것이다. 어플리케이션에 따라서는, 사용자는 단어에 밑줄을 치거나, 단어를 박스로 감싸거나, 몇몇 구별하기 위한 마크/그래픽 성분을 추가하도록 촉구될 수 있다.
사용자가 촉구된 단어의 기록을 행할 때, 펜 형태의 장치(150)는 예컨대 비활성화(예컨대, 사용자가 더 이상 기록하지 않음)를 데이터 입력 종료 이벤트로서 인식함으로써 사용자가 완료하였다는 사실을 인식한다. 이러한 방식으로, "타임아웃" 메카니즘은 데이터 입력의 종료를 인식하기 위해 사용될 수 있다. 또 다른 완료 이벤트는 단어가 전술한 바대로 밑줄이 쳐지거나 박스로 감싸지게 되는 경우일 것이다. 완료 이벤트의 추가의 예는 2005년 1월 12일자로 Marggraff 등을 발명자로 하여 출원된 미국 특허 출원 "TERMINATION EVENTS"에 개시되어 있으며, 그 특허 출원의 전체 내용은 본 명세서에 참조되어 있다.
이러한 방식으로, 본 발명의 실시예의 "프롬프트-앤드-빌리브" 특징은 사용자와 펜 형태의 장치(150) 간에 상호 이해되는 의미를 갖는 그래픽 성분의 작성을 가능하게 한다. 단어 "president"에 대해서는 OCR 처리가 행해지지 않는다는 점에 유의하기 바란다. "프롬프트-앤드-빌리브" 기능을 이용하여 작성된 그래픽 성분은 다른 어플리케이션, 옵션, 메뉴, 기능 등에 연관될 수 있으며, 이에 의해 프롬프트-앤드-빌리브 그래픽 성분의 선택(예컨대, 가볍게 두드림으로써)은 상기의 다른 어플리케이션, 옵션, 메뉴, 기능 중의 어떠한 것도 호출할 수 있다. OCR 처리에 대한 필요성을 제거함으로써 펜 형태의 장치(150) 상의 연산 요구량을 감소시킬 수 있고, 그에 따라 사용자 인터페이스의 응답성을 향상시킬 수 있다.
본 발명의 실시예가 펜 형태의 장치의 위치를 결정하기 위해 마킹으로 부호화된 표면을 사용한다는 점에 주안을 두어 설명되었지만, 본 발명의 실시예는 부호화된 표면을 필요로 하지 않는 다른 수단을 이용하여 위치를 결정하는 펜 형태의 장치와 함께 사용하기에도 적합하다는 것에 유의하기 바란다. 예컨대, 일실시예에서, 펜 형태의 장치는 예컨대, 움직임 센서, 자이로스코프 등과 같은 하나 이상의 위치 확인 메카니즘을 통합할 수 있으며, 소정 표면(예컨대, 페이퍼)의 정확한 위치를 정확하게 저장하도록 구성될 수 있다. 표면의 정확한 위치는 예컨대 표면(예컨대, 직사각형 페이퍼)의 반대 코너를 순차적으로 터치함으로써 저장될 수 있다. 펜 형태의 장치는 표면의 저장된 정확한 위치를 펜 형태의 장치의 위치확인 결정 수단의 결과와 비교함으로써 표면 상의 사용자에 의해 작성된 그래픽 성분의 위치를 인식할 것이다.
기록 가능한 표면 상에 대화형 요소를 갖는 사용자 인터페이스를 제공하는 본 발명의 여러 실시예를 설명하였다. 본 발명이 특정 실시예로 설명되었기는 하지만, 본 발명은 이러한 실시예로 제한되지 않으며, 첨부한 청구의 범위에 따라 그 범위가 정해진다.
본 발명에 따른 대화형 장치는 표면 상의 인쇄된 아이템과 인터페이스하여 인쇄된 아이템에 연관된 기능을 개시할 수 있으며, 사용자로 하여금 기능에 연관되는 사용자 기록의 선택 가능한 아이템을 표면 상에 작성할 수 있도록 하며, 사용자 기록의 선택 가능한 아이템에 대한 사용자의 선택에 응답하여 연관된 기능을 실행한다.

Claims (43)

  1. 대화형 장치에 있어서,
    버스;
    상기 버스에 접속된 프로세서;
    상기 버스에 접속된 메모리 유닛;
    상기 버스에 접속된 오디오 출력 장치;
    사용자가 표면 상에 사용자 기록의 선택 가능한 아이템을 작성할 수 있도록 하는 기록 기기; 및
    상기 버스에 접속되고, 상기 표면 상의 정보를 검출하는 광검출기
    를 포함하며,
    상기 프로세서 상에서 실행되는 소프트웨어는, 상기 사용자 기록의 선택 가능한 아이템에 대한 사용자 선택에 응답하고, 상기 선택에 응답하여 상기 사용자 기록의 선택 가능한 아이템에 연관된 기능을 수행하도록 구성된 것을 특징으로 하는 대화형 장치.
  2. 제1항에 있어서,
    상기 프로세서는 상기 선택에 응답하여 상기 사용자 기록의 선택 가능한 아이템을 기호 인식을 이용하여 자동으로 식별하도록 구성된 것을 특징으로 하는 대화형 장치.
  3. 제1항에 있어서,
    상기 프로세서는 상기 표면 상의 상기 사용자 기록의 선택 가능한 아이템의 표면 위치를 자동으로 레코드하도록 구성된 것을 특징으로 하는 대화형 장치.
  4. 제1항 또는 제3항에 있어서,
    상기 프로세서는 상기 선택에 응답하여 상기 사용자 기록의 선택 가능한 아이템을, 상기 사용자 기록의 선택 가능한 아이템의 상기 표면 위치 또는 상기 사용자 기록의 선택 가능한 아이템의 검출된 표면 위치에 기초하여 자동으로 식별하도록 구성된 것을 특징으로 하는 대화형 장치.
  5. 제1항에 있어서,
    상기 오디오 출력 장치는 상기 표면 상의 상기 사용자 기록의 선택 가능한 아이템 중의 한 아이템과의 대화에 응답하여 가능한 사용자 기록의 선택 가능한 아이템의 목록을 음성으로 제공하도록 구성된 것을 특징으로 하는 대화형 장치.
  6. 제5항에 있어서,
    상기 오디오 출력 장치는, 이용 가능한 상기 사용자 기록의 선택 가능한 아이템을 그리는 방법을 설명하는 명령을 음성으로 제공하도록 구성된 것을 특징으로 하는 대화형 장치.
  7. 제1항에 있어서,
    상기 사용자 기록의 선택 가능한 아이템은 상기 프로세서에 의해 실행 가능한 어플리케이션 프로그램의 기호 표시, 상기 프로세서에 의해 실행 가능한 어플리케이션 프로그램의 메뉴 아이템, 및 상기 대화형 장치의 운영 시스템에 연관된 메뉴 아이템의 계층적 관계에 있어서의 한 계층의 메뉴 아이템들의 메뉴 아이템 중의 적어도 하나를 포함하는 것을 특징으로 하는 대화형 장치.
  8. 제1항에 있어서,
    상기 사용자 기록의 선택 가능한 아이템은 네비게이션 아이템, 데이터, 어플리케이션 옵션 셀렉터 중의 적어도 하나를 포함하는 것을 특징으로 하는 대화형 장치.
  9. 제1항에 있어서,
    상기 표면은 부호화된 페이퍼를 포함하며, 상기 부호화된 페이퍼는 이 부호화된 페이퍼 상에 일정한 패턴으로 부호화된 표면 위치 정보를 갖는 것을 특징으로 하는 대화형 장치.
  10. 제1항에 있어서,
    상기 버스, 상기 프로세서, 상기 메모리 유닛, 상기 오디오 출력 장치, 상기 광검출기 및 상기 기록 기기는 단일의 펜 형태의 하우징 내에 포함되는 것을 특징으로 하는 대화형 장치.
  11. 제1항에 있어서,
    상기 소프트웨어는, 상기 오디오 출력 장치로 하여금 상기 사용자 기록의 선택 가능한 아이템의 상기 선택에 응답하여 정보를 음성으로 제공하게 하도록 구성된 것을 특징으로 하는 대화형 장치.
  12. 제1항에 있어서,
    상기 광검출기는 상기 표면 상의 상기 사용자 기록의 선택 가능한 아이템을 검출하는 것을 특징으로 하는 대화형 장치.
  13. 제1항에 있어서,
    상기 소프트웨어는 상기 표면 상의 사전 인쇄된 선택 가능한 아이템에 대한 사용자 선택에 응답하고, 상기 사전 인쇄된 선택 가능한 아이템에 대한 사용자 선택에 응답하여 상기 사전 인쇄된 선택 가능한 아이템에 연관된 기능을 실행하도록 구성된 것을 특징으로 하는 대화형 장치.
  14. 제13항에 있어서,
    상기 사전 인쇄된 선택 가능한 아이템 및 상기 사용자 기록의 선택 가능한 아이템은 상기 사전 인쇄된 선택 가능한 아이템 및 상기 사용자 기록의 선택 가능한 아이템의 옵션이 상기 사전 인쇄된 선택 가능한 아이템과 상기 사용자 기록의 선택 가능한 아이템에 걸쳐 존재하는 상태로 정리되는 것을 특징으로 하는 대화형 장치.
  15. 제13항에 있어서,
    상기 소프트웨어는 상기 사전 인쇄된 선택 가능한 아이템에 대한 사용자 선택에 응답하여 상기 사전 인쇄된 선택 가능한 아이템을 기호 인식을 이용하여 자동으로 식별하도록 구성된 것을 특징으로 하는 대화형 장치.
  16. 제13항에 있어서,
    상기 프로세서는, 상기 사전 인쇄된 선택 가능한 아이템에 대한 사용자 선택에 응답하여, 상기 사전 인쇄된 선택 가능한 아이템을, 상기 사전 인쇄된 선택 가능한 아이템의 표면 위치에 기초하여 자동으로 식별하도록 구성된 것을 특징으로 하는 대화형 장치.
  17. 제1항에 있어서,
    상기 광검출기는 상기 표면 상의 위치에 기초하여 상기 사용자 기록의 선택 가능한 아이템을 인식하기 위한 정보를 상기 프로세서에 제공하도록 구성되고, 또한 상기 프로세서가 상기 위치에 기초하여 상기 사용자 기록의 선택 가능한 아이템 에 대한 선택을 인식할 수 있도록 상기 프로세서에 정보를 제공하도록 구성된 것을 특징으로 하는 대화형 장치.
  18. 제1항에 있어서,
    상기 프로세서는 상기 표면 상에서 경계가 지워진 특정 경계 영역의 선택에 기초하여 어플리케이션 프로그램을 식별하도록 구성되며, 상이한 경계 영역은 상이한 어플리케이션 프로그램에 연관되는 것을 특징으로 하는 대화형 장치.
  19. 컴퓨터 시스템의 운영 시스템에 있어서,
    기록 가능한 표면 상에서 사용자 기록의 선택 가능한 아이템을 검출하고, 상기 사용자 기록의 선택 가능한 아이템을 기능과 연관시키며, 상기 사용자 기록의 선택 가능한 아이템과의 사용자 대화(interaction)에 응답하여 상기 기능을 자동으로 실행하도록 구성된 것을 특징으로 하는 컴퓨터 시스템의 운영 시스템.
  20. 제19항에 있어서,
    상기 사용자 대화는 사용자가 기록 기기를 이용하여 상기 사용자 기록의 선택 가능한 아이템에 접촉하는 것을 특징으로 하는 컴퓨터 시스템의 운영 시스템.
  21. 제19항에 있어서,
    상기 운영 시스템은 또한 상기 사용자 기록의 선택 가능한 아이템을 기호 인 식을 이용하여 자동으로 검출하도록 구성된 것을 특징으로 하는 컴퓨터 시스템의 운영 시스템.
  22. 제19항에 있어서,
    상기 운영 시스템은 또한 상기 표면 상의 상기 사용자 기록의 선택 가능한 아이템의 표면 위치를 자동으로 레코드하도록 구성된 것을 특징으로 하는 컴퓨터 시스템의 운영 시스템.
  23. 제19항에 있어서,
    상기 운영 시스템은 상기 사용자 대화에 응답하여 상기 사용자 기록의 선택 가능한 아이템을 상기 사용자 기록의 선택 가능한 아이템의 표면 위치에 기초하여 자동으로 검출하도록 구성된 것을 특징으로 하는 컴퓨터 시스템의 운영 시스템.
  24. 제23항에 있어서,
    상기 표면은 기록 가능한 표면이며, 상기 사용자 대화는 사용자가 기록 기기를 이용하여 상기 사용자 기록의 선택 가능한 아이템에 접촉하는 것을 특징으로 하는 컴퓨터 시스템의 운영 시스템.
  25. 제19항에 있어서,
    상기 운영 시스템은 또한 상기 사용자 대화에 응답하여 오디오 출력 장치로 하여금 상기 사용자 기록의 선택 가능한 아이템에 연관된 정보를 음성으로 제공하게 하도록 구성된 것을 특징으로 하는 컴퓨터 시스템의 운영 시스템.
  26. 제19항에 있어서,
    상기 사용자 기록의 선택 가능한 아이템은 프로세서에 의해 실행 가능한 어플리케이션 프로그램의 기호 표시, 상기 프로세서에 의해 실행 가능한 어플리케이션 프로그램의 메뉴 아이템, 및 상기 운영 시스템에 연관된 메뉴 아이템의 계층적 관계에 있어서의 한 계층의 메뉴 아이템들의 메뉴 아이템 중의 적어도 하나를 포함하는 것을 특징으로 하는 컴퓨터 시스템의 운영 시스템.
  27. 제19항에 있어서,
    상기 사용자 기록의 선택 가능한 아이템은 네비게이션 아이템, 데이터, 어플리케이션 옵션 셀렉터 중의 적어도 하나를 포함하는 것을 특징으로 하는 컴퓨터 시스템의 운영 시스템.
  28. 제19항에 있어서,
    상기 표면은 부호화된 페이퍼를 포함하며, 상기 부호화된 페이퍼는 이 부호화된 페이퍼 상에서 일정한 패턴으로 부호화된 표면 위치 정보를 갖는 것을 특징으로 하는 컴퓨터 시스템의 운영 시스템.
  29. 제19항에 있어서,
    상기 컴퓨터 시스템은 광검출기, 오디오 출력 장치, 기록 기기, 프로세서 및 메모리 유닛을 포함하는 펜 기반의 장치인 것을 특징으로 하는 컴퓨터 시스템의 운영 시스템.
  30. 기록 가능한 표면 상의 사용자 기록의 선택 가능한 아이템과의 대화를 구현하는 방법에 있어서,
    상기 기록 가능한 표면 상에 존재하고, 기능과 연관된 적어도 하나의 사용자 기록의 선택 가능한 아이템을 검출하는 단계;
    상기 사용자 기록의 선택 가능한 아이템과의 대화를 검출하는 단계로서, 상기 대화가 상기 사용자 기록의 선택 가능한 아이템에 접촉하는 기록 기기를 포함하여 이루어지는, 대화 검출 단계; 및
    상기 대화에 응답하여, 프로세서 및 상기 기록 기기를 포함하는 펜 형태의 장치가 상기 기능을 실행하는 단계
    를 포함하는 대화를 구현하는 방법.
  31. 제30항에 있어서,
    상기 사용자 기록의 선택 가능한 아이템은 상기 프로세서에 의해 실행 가능한 어플리케이션 프로그램의 기호 표시, 상기 프로세서에 의해 실행 가능한 어플리케이션 프로그램의 메뉴 아이템, 및 상기 펜 형태의 장치의 운영 시스템에 연관된 메뉴 아이템의 계층적 관계에 있어서의 한 계층의 메뉴 아이템들의 메뉴 아이템 중의 적어도 하나를 포함하는 것을 특징으로 하는 대화를 구현하는 방법.
  32. 제30항에 있어서,
    상기 사용자 기록의 선택 가능한 아이템은 네비게이션 아이템, 데이터, 어플리케이션 옵션 셀렉터 중의 적어도 하나를 포함하는 것을 특징으로 하는 대화를 구현하는 방법.
  33. 제30항에 있어서,
    상기 기능은 어플리케이션, 및 네비게이션 아이템의 목록을 포함한 메뉴의 음성 제공 중의 적어도 하나인 것을 특징으로 하는 대화를 구현하는 방법.
  34. 제30항에 있어서,
    상기 사용자 기록의 선택 가능한 아이템의 적어도 하나의 식별을 음성으로 제공하는 단계를 더 포함하는 것을 특징으로 하는 대화를 구현하는 방법.
  35. 대화형 장치에 있어서,
    버스,
    상기 버스에 접속된 프로세서;
    상기 버스에 접속된 메모리 유닛;
    상기 버스에 접속된 오디오 출력 장치;
    사용자가 기록 가능한 표면 상에 사용자 기록의 선택 가능한 아이템을 작성할 수 있도록 하는 기록 기기; 및
    상기 버스에 접속되고, 상기 기록 가능한 표면 상의 정보를 검출하는 광검출기
    를 포함하며,
    상기 프로세서 상에서 실행되는 소프트웨어는, 상기 오디오 출력 장치로 하여금 이용 가능한 상기 사용자 기록의 선택 가능한 아이템을 나타내는 목록을 음성으로 제공하도록 구성되며, 상기 프로세서는 사용자가 복수의 사용자 기록의 선택 가능한 아이템을 기록하였다는 것을 검출하도록 구성되고, 상기 프로세서는 상기 복수의 사용자 기록의 선택 가능한 아이템 중의 하나 이상의 사용자 기록의 선택 가능한 아이템의 사용자 선택에 응답하고, 이러한 선택에 응답하여 상기 사용자 기록의 선택 가능한 아이템의 각각에 연관된 상이한 기능을 수행하도록 구성된 것을 특징으로 하는 대화형 장치.
  36. 제35항에 있어서,
    상기 사용자 선택은 상기 기록 기기에 의한 상기 사용자 기록의 선택 가능한 아이템과의 접촉을 포함하는 것을 특징으로 하는 대화형 장치.
  37. 제35항에 있어서,
    상기 프로세서는 상기 사용자 선택에 응답하여 상기 복수의 사용자 기록의 선택 가능한 아이템을 기호 인식을 이용하여 자동으로 식별하도록 구성된 것을 특징으로 하는 대화형 장치.
  38. 제35항에 있어서,
    상기 프로세서는 상기 표면 상의 상기 복수의 사용자 기록의 선택 가능한 아이템의 표면 위치를 자동으로 레코드하도록 구성된 것을 특징으로 하는 대화형 장치.
  39. 제35항에 있어서,
    상기 프로세서는 상기 사용자 선택에 응답하여 하나 이상의 상기 사용자 기록의 선택 가능한 아이템을 상기 사용자 기록의 선택 가능한 아이템의 검출된 표면 위치에 기초하여 자동으로 식별하도록 구성된 것을 특징으로 하는 대화형 장치.
  40. 제35항에 있어서,
    상기 복수의 사용자 기록의 선택 가능한 아이템은 상기 프로세서에 의해 실행 가능한 어플리케이션 프로그램의 기호 표시, 상기 프로세서에 의해 실행 가능한 어플리케이션 프로그램의 메뉴 아이템, 및 상기 대화형 장치의 운영 시스템에 연관된 메뉴 아이템의 계층적 관계에 있어서의 한 계층의 메뉴 아이템들의 메뉴 아이템 중의 적어도 하나를 포함하는 것을 특징으로 하는 대화형 장치.
  41. 제35항에 있어서,
    상기 사용자 기록의 선택 가능한 아이템은 네비게이션 아이템, 데이터, 어플리케이션 옵션 셀렉터 중의 적어도 하나를 포함하는 것을 특징으로 하는 대화형 장치.
  42. 제35항에 있어서,
    상기 표면은 부호화된 페이퍼를 포함하며, 상기 부호화된 페이퍼는 이 부호화된 페이퍼 상의 패턴으로 부호화된 표면 위치 정보를 갖는 것을 특징으로 하는 대화형 장치.
  43. 제35항에 있어서,
    상기 소프트웨어는, 상기 표면 상의 사전 인쇄된 선택 가능한 아이템에 대한 사용자 선택에 응답하고, 상기 사전 인쇄된 선택 가능한 아이템에 대한 사용자 선택에 응답하여 상기 사전 인쇄된 선택 가능한 아이템에 연관된 기능을 수행하도록 구성된 것을 특징으로 하는 대화형 장치.
KR1020060002636A 2005-01-12 2006-01-10 기록 가능한 표면 상의 대화형 요소와 대화할 수 있는사용자 인터페이스 KR100815534B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/034,489 2005-01-12
US11/034,489 US20060067576A1 (en) 2004-03-17 2005-01-12 Providing a user interface having interactive elements on a writable surface

Publications (2)

Publication Number Publication Date
KR20060082405A true KR20060082405A (ko) 2006-07-18
KR100815534B1 KR100815534B1 (ko) 2008-03-20

Family

ID=36676945

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060002636A KR100815534B1 (ko) 2005-01-12 2006-01-10 기록 가능한 표면 상의 대화형 요소와 대화할 수 있는사용자 인터페이스

Country Status (7)

Country Link
US (1) US20060067576A1 (ko)
EP (1) EP1681621A1 (ko)
JP (1) JP2006197596A (ko)
KR (1) KR100815534B1 (ko)
CN (1) CN1862473A (ko)
CA (1) CA2532612A1 (ko)
WO (1) WO2006076076A2 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US7853193B2 (en) * 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US7831933B2 (en) 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060077184A1 (en) * 2004-03-17 2006-04-13 James Marggraff Methods and devices for retrieving and using information stored as a pattern on a surface
US7922099B1 (en) 2005-07-29 2011-04-12 Leapfrog Enterprises, Inc. System and method for associating content with an image bearing surface
US7936339B2 (en) * 2005-11-01 2011-05-03 Leapfrog Enterprises, Inc. Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
AU2008251356A1 (en) * 2007-05-09 2008-11-20 Adapx, Inc. Digital paper-enabled products and methods relating to same
US8265382B2 (en) * 2007-05-29 2012-09-11 Livescribe, Inc. Electronic annotation of documents with preexisting content
US20090021495A1 (en) * 2007-05-29 2009-01-22 Edgecomb Tracy L Communicating audio and writing using a smart pen computing system
US8254605B2 (en) * 2007-05-29 2012-08-28 Livescribe, Inc. Binaural recording for smart pen computing systems
US8284951B2 (en) * 2007-05-29 2012-10-09 Livescribe, Inc. Enhanced audio recording for smart pen computing systems
US8638319B2 (en) 2007-05-29 2014-01-28 Livescribe Inc. Customer authoring tools for creating user-generated content for smart pen applications
US8416218B2 (en) * 2007-05-29 2013-04-09 Livescribe, Inc. Cyclical creation, transfer and enhancement of multi-modal information between paper and digital domains
JP5451599B2 (ja) * 2007-05-29 2014-03-26 ライブスクライブ インコーポレイテッド マルチモーダルスマートペンのコンピューティングシステム
WO2008150924A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Animation of audio ink
US8374992B2 (en) * 2007-05-29 2013-02-12 Livescribe, Inc. Organization of user generated content captured by a smart pen computing system
WO2008150887A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Self-addressing paper
US20090236152A1 (en) * 2008-03-21 2009-09-24 Leapfrog Enterprises, Inc. System and method for data organization by identification
US8446297B2 (en) 2008-04-03 2013-05-21 Livescribe, Inc. Grouping variable media inputs to reflect a user session
US9058067B2 (en) * 2008-04-03 2015-06-16 Livescribe Digital bookclip
US8446298B2 (en) * 2008-04-03 2013-05-21 Livescribe, Inc. Quick record function in a smart pen computing system
US20090251441A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Multi-Modal Controller
US8149227B2 (en) * 2008-04-03 2012-04-03 Livescribe, Inc. Removing click and friction noise in a writing device
US20090251338A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Ink Tags In A Smart Pen Computing System
US8944824B2 (en) * 2008-04-03 2015-02-03 Livescribe, Inc. Multi-modal learning system
US7810730B2 (en) 2008-04-03 2010-10-12 Livescribe, Inc. Decoupled applications for printed materials
US20090251440A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Audio Bookmarking
US8300252B2 (en) * 2008-06-18 2012-10-30 Livescribe, Inc. Managing objects with varying and repeated printed positioning information
WO2010015881A1 (en) * 2008-08-05 2010-02-11 Mehdy Davary Dolat Abady Position encoding using an invisible pattern data matrix
WO2011008862A2 (en) * 2009-07-14 2011-01-20 Zoomii, Inc. Markup language-based authoring and runtime environment for interactive content platform
US20130104039A1 (en) * 2011-10-21 2013-04-25 Sony Ericsson Mobile Communications Ab System and Method for Operating a User Interface on an Electronic Device
US10761719B2 (en) * 2017-11-09 2020-09-01 Microsoft Technology Licensing, Llc User interface code generation based on free-hand input
US11876795B2 (en) 2021-08-27 2024-01-16 Bank Of America Corporation Resource processing terminal device with enhanced secure resource transmissions based on image capture

Family Cites Families (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3782734A (en) * 1971-03-15 1974-01-01 S Krainin Talking book, an educational toy with multi-position sound track and improved stylus transducer
NL7904469A (nl) * 1979-06-07 1980-12-09 Philips Nv Inrichting voor het lezen van een gedrukte kode en het daarvan omzetten in een audio-signaal.
US4686332A (en) * 1986-06-26 1987-08-11 International Business Machines Corporation Combined finger touch and stylus detection system for use on the viewing surface of a visual display device
US4337375A (en) * 1980-06-12 1982-06-29 Texas Instruments Incorporated Manually controllable data reading apparatus for speech synthesizers
US4464118A (en) * 1980-06-19 1984-08-07 Texas Instruments Incorporated Didactic device to improve penmanship and drawing skills
US4604065A (en) * 1982-10-25 1986-08-05 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
US4604058A (en) * 1982-11-01 1986-08-05 Teledyne Industries, Inc. Dental appliance
US4627819A (en) * 1985-01-23 1986-12-09 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
US4972496A (en) * 1986-07-25 1990-11-20 Grid Systems Corporation Handwritten keyboardless entry computer system
US4748318A (en) * 1986-10-22 1988-05-31 Bearden James D Wand for a hand-held combined light pen and bar code reader
US5194852A (en) 1986-12-01 1993-03-16 More Edward S Electro-optic slate for direct entry and display and/or storage of hand-entered textual and graphic information
US4787040A (en) * 1986-12-22 1988-11-22 International Business Machines Corporation Display system for automotive vehicle
GB8702728D0 (en) * 1987-02-06 1987-03-11 Price Stern Sloan Publishers Teaching & amusement apparatus
GB2207027B (en) * 1987-07-15 1992-01-08 Matsushita Electric Works Ltd Voice encoding and composing system
US4841387A (en) * 1987-12-15 1989-06-20 Rindfuss Diane J Arrangement for recording and indexing information
GB2214635B (en) * 1988-01-14 1992-06-10 Kwang Chien Fong Optical input device
US4924387A (en) * 1988-06-20 1990-05-08 Jeppesen John C Computerized court reporting system
US5007085A (en) * 1988-10-28 1991-04-09 International Business Machines Corporation Remotely sensed personal stylus
US5157384A (en) * 1989-04-28 1992-10-20 International Business Machines Corporation Advanced user interface
US5184003A (en) * 1989-12-04 1993-02-02 National Computer Systems, Inc. Scannable form having a control mark column with encoded data marks
US5168147A (en) * 1990-07-31 1992-12-01 Xerox Corporation Binary image processing for decoding self-clocking glyph shape codes
US5128525A (en) * 1990-07-31 1992-07-07 Xerox Corporation Convolution filtering for decoding self-clocking glyph shape codes
JPH04121923A (ja) * 1990-09-12 1992-04-22 Sony Corp 電子機器のスイッチ構造
US5117071A (en) * 1990-10-31 1992-05-26 International Business Machines Corporation Stylus sensing system
US5301243A (en) * 1990-12-21 1994-04-05 Francis Olschafskie Hand-held character-oriented scanner with external view area
US5574804A (en) * 1990-12-21 1996-11-12 Olschafskie; Francis Hand-held scanner
JPH04274510A (ja) * 1991-02-28 1992-09-30 Casio Comput Co Ltd データ入力処理装置
US5220649A (en) * 1991-03-20 1993-06-15 Forcier Mitchell D Script/binary-encoded-character processing method and system with moving space insertion mode
US5848187A (en) * 1991-11-18 1998-12-08 Compaq Computer Corporation Method and apparatus for entering and manipulating spreadsheet cell data
JP3120085B2 (ja) * 1991-11-21 2000-12-25 株式会社セガ 電子装置及び情報担体
US5221833A (en) * 1991-12-27 1993-06-22 Xerox Corporation Methods and means for reducing bit error rates in reading self-clocking glyph codes
US5294792A (en) * 1991-12-31 1994-03-15 Texas Instruments Incorporated Writing tip position sensing and processing apparatus
US5314336A (en) * 1992-02-07 1994-05-24 Mark Diamond Toy and method providing audio output representative of message optically sensed by the toy
US5788508A (en) * 1992-02-11 1998-08-04 John R. Lee Interactive computer aided natural learning method and apparatus
US5852434A (en) * 1992-04-03 1998-12-22 Sekendur; Oral F. Absolute optical position determination
US5438430A (en) * 1992-09-25 1995-08-01 Xerox Corporation Paper user interface for image manipulations such as cut and paste
US5739814A (en) * 1992-09-28 1998-04-14 Sega Enterprises Information storage system and book device for providing information in response to the user specification
WO1994015272A1 (en) * 1992-12-22 1994-07-07 Morgan Michael W Pen-based electronic teaching system
US5510606A (en) * 1993-03-16 1996-04-23 Worthington; Hall V. Data collection system including a portable data collection terminal with voice prompts
US6119944A (en) * 1997-02-03 2000-09-19 Symbol Technologies, Inc. Down-loadable hand-held optical reader
JP3546337B2 (ja) * 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
US5604517A (en) * 1994-01-14 1997-02-18 Binney & Smith Inc. Electronic drawing device
US5561446A (en) * 1994-01-28 1996-10-01 Montlick; Terry F. Method and apparatus for wireless remote information retrieval and pen-based data entry
US5480306A (en) * 1994-03-16 1996-01-02 Liu; Chih-Yuan Language learning apparatus and method utilizing optical code as input medium
US5574519A (en) * 1994-05-03 1996-11-12 Eastman Kodak Company Talking photoalbum
JP2939119B2 (ja) * 1994-05-16 1999-08-25 シャープ株式会社 手書き文字入力表示装置および方法
US5649023A (en) * 1994-05-24 1997-07-15 Panasonic Technologies, Inc. Method and apparatus for indexing a plurality of handwritten objects
US5932863A (en) * 1994-05-25 1999-08-03 Rathus; Spencer A. Method and apparatus for accessing electric data via a familiar printed medium
US5624265A (en) * 1994-07-01 1997-04-29 Tv Interactive Data Corporation Printed publication remote contol for accessing interactive media
US5652412A (en) * 1994-07-11 1997-07-29 Sia Technology Corp. Pen and paper information recording system
EP0693739A3 (en) * 1994-07-13 1997-06-11 Yashima Denki Kk Method and apparatus capable of storing and reproducing handwriting
JPH0863326A (ja) * 1994-08-22 1996-03-08 Hitachi Ltd 画像処理装置及び方法
US5661506A (en) * 1994-11-10 1997-08-26 Sia Technology Corporation Pen and paper information recording system using an imaging pen
NO954684L (no) * 1994-11-21 1996-05-22 Compaq Computer Corp Apparat og fremgangsmåte for interaktiv lek med en datamaskin
FI103837B1 (fi) * 1994-12-22 1999-09-30 Nokia Mobile Phones Ltd Tiedonsiirto- ja käsittelymenetelmä
US5760773A (en) * 1995-01-06 1998-06-02 Microsoft Corporation Methods and apparatus for interacting with data objects using action handles
US5730602A (en) * 1995-04-28 1998-03-24 Penmanship, Inc. Computerized method and apparatus for teaching handwriting
US5978773A (en) * 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
US5635726A (en) * 1995-10-19 1997-06-03 Lucid Technologies Inc. Electro-optical sensor for marks on a sheet
US6081261A (en) * 1995-11-01 2000-06-27 Ricoh Corporation Manual entry interactive paper and electronic document handling and processing system
US5767457A (en) * 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
US5697793A (en) * 1995-12-14 1997-12-16 Motorola, Inc. Electronic book and method of displaying at least one reading metric therefor
US5694102A (en) * 1995-12-21 1997-12-02 Xerox Corporation Vector reconstruction of asynchronously captured tiled embedded data blocks
TW394879B (en) * 1996-02-09 2000-06-21 Sega Enterprises Kk Graphics processing system and its data input device
US5877458A (en) * 1996-02-15 1999-03-02 Kke/Explore Acquisition Corp. Surface position location system and method
US5973420A (en) * 1996-10-03 1999-10-26 Colortronics Technologies L.L.C. Electrical system having a clear conductive composition
US5889506A (en) * 1996-10-25 1999-03-30 Matsushita Electric Industrial Co., Ltd. Video user's environment
SE509327C2 (sv) * 1996-11-01 1999-01-11 C Technologies Ab Sätt och anordning för registrering av tecken med hjälp av en penna
WO1998020411A1 (en) * 1996-11-08 1998-05-14 Neomedia Technologies, Inc. Automatic access of electronic information through machine-readable codes on printed documents
US6215901B1 (en) * 1997-03-07 2001-04-10 Mark H. Schwartz Pen based computer handwriting instruction
US5945656A (en) * 1997-05-27 1999-08-31 Lemelson; Jerome H. Apparatus and method for stand-alone scanning and audio generation from printed material
US6215476B1 (en) * 1997-10-10 2001-04-10 Apple Computer, Inc. Flat panel display with integrated electromagnetic pen digitizer
US6377288B1 (en) * 1998-01-12 2002-04-23 Xerox Corporation Domain objects having computed attribute values for use in a freeform graphics system
US6456749B1 (en) * 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
US6313853B1 (en) * 1998-04-16 2001-11-06 Nortel Networks Limited Multi-service user interface
US6199042B1 (en) * 1998-06-19 2001-03-06 L&H Applications Usa, Inc. Reading system
AUPQ291299A0 (en) * 1999-09-17 1999-10-07 Silverbrook Research Pty Ltd A self mapping surface and related applications
US7106888B1 (en) * 1999-05-25 2006-09-12 Silverbrook Research Pty Ltd Signature capture via interface surface
AUPQ363299A0 (en) * 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
JP4785310B2 (ja) * 1999-05-28 2011-10-05 アノト アクティエボラーク 情報の記録に用いられる製品
US6476834B1 (en) * 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
DE60044458D1 (de) 1999-05-28 2010-07-08 Anoto Ab Positionsbestimmung
KR20020033111A (ko) 1999-06-28 2002-05-04 아노토 아베 정보기록
CA2381980C (en) 1999-08-30 2011-10-11 Anoto Ab Notepad
SE517445C2 (sv) 1999-10-01 2002-06-04 Anoto Ab Positionsbestämning på en yta försedd med ett positionskodningsmönster
US6593908B1 (en) * 2000-02-16 2003-07-15 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for using an electronic reading device on non-paper devices
SE516109C2 (sv) 2000-03-21 2001-11-19 Anoto Ab Förfarande, system och datorprogram för dokumenthantering med hjälp av positionskodningsmönster
SE517984C2 (sv) 2000-03-21 2002-08-13 Anoto Ab Arrangemang för inmatning av information
SE0000949L (sv) * 2000-03-21 2001-09-22 Anoto Ab Positionsinformation
FR2807267B1 (fr) * 2000-03-28 2002-12-06 Schlumberger Systems & Service Reseau de radiotelephonie mobile etendu et publiphone pour la mise en oeuvre d'un tel reseau
SE516310C2 (sv) 2000-04-05 2001-12-17 Anoto Ab Produkt med två kodningsmönster, innefattande rasterpunkter; samt förfarande, datorprogram och anordning för att avläsa kodningsmönstren
SE516281C2 (sv) 2000-04-05 2001-12-10 Anoto Ab Produkt och förfarande för informationshantering, där en löstagbar skrivyta med absolutpositionskodningsmönster skrivs på och avläses
SE517875C2 (sv) 2000-04-05 2002-07-30 Anoto Ab Förfarande och arrangemang för att associera en värdehandling med en delmängd av ett positionskodningsmönster
US6956562B1 (en) * 2000-05-16 2005-10-18 Palmsource, Inc. Method for controlling a handheld computer by entering commands onto a displayed feature of the handheld computer
SE516567C2 (sv) 2000-06-07 2002-01-29 Anoto Ab Förfarande och anordning för säker trådlös överföring av information
US6304667B1 (en) * 2000-06-21 2001-10-16 Carmen T. Reitano System and method for incorporating dyslexia detection in handwriting pattern recognition systems
US20020023957A1 (en) * 2000-08-21 2002-02-28 A. John Michaelis Method and apparatus for providing audio/visual feedback to scanning pen users
US6592039B1 (en) * 2000-08-23 2003-07-15 International Business Machines Corporation Digital pen using interferometry for relative and absolute pen position
US6608618B2 (en) * 2001-06-20 2003-08-19 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US7202861B2 (en) * 2001-06-25 2007-04-10 Anoto Ab Control of a unit provided with a processor
US6966495B2 (en) * 2001-06-26 2005-11-22 Anoto Ab Devices method and computer program for position determination
JP4261145B2 (ja) * 2001-09-19 2009-04-30 株式会社リコー 情報処理装置、情報処理装置の制御方法、その方法をコンピュータに実行させるためのプログラム
DE10148260A1 (de) * 2001-09-30 2003-04-17 Siemens Ag Polarisationsverwürfler und Verfahren für eine Polarisationsverwürfelung
AU2003216231A1 (en) * 2002-02-06 2003-09-02 Leapfrog Enterprises, Inc. Write on interactive apparatus and method
US20040229195A1 (en) 2003-03-18 2004-11-18 Leapfrog Enterprises, Inc. Scanning apparatus
US7555705B2 (en) * 2003-09-10 2009-06-30 Microsoft Corporation Annotation management in a pen-based computing system

Also Published As

Publication number Publication date
WO2006076076A3 (en) 2008-11-13
US20060067576A1 (en) 2006-03-30
JP2006197596A (ja) 2006-07-27
CA2532612A1 (en) 2006-07-12
KR100815534B1 (ko) 2008-03-20
CN1862473A (zh) 2006-11-15
EP1681621A1 (en) 2006-07-19
WO2006076076A2 (en) 2006-07-20

Similar Documents

Publication Publication Date Title
KR100815534B1 (ko) 기록 가능한 표면 상의 대화형 요소와 대화할 수 있는사용자 인터페이스
KR100814052B1 (ko) 사용자 기록을 사용자 기록 가능 요소와 연관시키는 방법및 기기
KR100806241B1 (ko) 기록된 그래픽 장치용의 사용자 인터페이스
KR100847851B1 (ko) 텍스트 및 경계 영역의 인식을 이용하는 장치 사용자인터페이스
US7853193B2 (en) Method and device for audibly instructing a user to interact with a function
KR100806240B1 (ko) 데이터 입력의 종료를 식별하는 시스템 및 방법
US20060033725A1 (en) User created interactive interface
US20080042970A1 (en) Associating a region on a surface with a sound or with another region
WO2007136846A2 (en) Recording and playback of voice messages associated with a surface
KR100805259B1 (ko) 사용자에 의해 생성되는 대화형 인터페이스
EP1681623A1 (en) Device user interface through recognized text and bounded areas
WO2006076118A2 (en) Interactive device and method
CA2535505A1 (en) Computer system and method for audibly instructing a user

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee