KR100763456B1

KR100763456B1 - 컴퓨터로 구현되는 사용자 인터페이스

Info

Publication number: KR100763456B1
Application number: KR1020060023959A
Authority: KR
Inventors: 제임스 마그그라프; 트레이시 엘. 에지콤브; 테레사 카메론; 니콜 루벨; 스티브 발드지코우스키
Original assignee: 리이프프로그 엔터프라이시스, 인코포레이티드
Priority date: 2005-11-01
Filing date: 2006-03-15
Publication date: 2007-10-05
Also published as: EP1780628A1; KR20070047197A; CN1862470A; JP2007128484A; US7936339B2; WO2007055715A3; WO2007055715A2; US20070097100A1; CN100555195C; CA2537164A1

Abstract

컴퓨터로 구현되는, 사용자와의 인터페이싱 방법 및 기기를 개시한다. 표면 상의 기록 기기에 의해 만들어진 마킹에 대해 식별이 이루어진다. 마킹의 위치와 크기를 식별한다. 마킹에 인접한 제1 인터페이스 영역이 계산되며, 컴퓨터 기능은 이 제1 인터페이스 영역과 연관된다.

상호작용, 컴퓨터, 사용자, 인터페이스, 기록 기기, 마킹

Description

컴퓨터로 구현되는 사용자 인터페이스 {COMPUTER IMPLEMENTED USER INTERFACE}

도 1은 펜 컴퓨터 시스템의 사용자 인터페이스를 나타낸 도면이다.

도 2는 본 발명의 다양한 실시예를 구현할 수 있는 전자적인 상호작용 기기의 블록도이다.

도 3은 본 발명의 다양한 실시예를 구현할 수 있는 다른 전자적인 상호작용 기기의 블록도이다.

도 4는 본 발명의 일 실시예에 따른 마크의 패턴이 있는 전형적인 종이 시트를 나타낸 도면이다.

도 5는 본 발명의 일 실시에에 따른 종이 시트 상의 마크 패턴의 확대도이다.

도 6a는 활성 영역을 자동으로 생성하기 위한 본 발명의 일 실시예에 따른 펜 컴퓨터 기기용 사용자 인터페이스를 포함하는, 마킹이 기록되어 있는 기록 표면을 나타낸 도면이다.

도 6b는 본 발명의 일 실시예에 따른 펜 기반 컴퓨터 기기용 사용자 인터페이스를 포함하는, 전형적인 마킹이 기록되어 있는 기록 표면을 나타낸 도면이다.

도 7a는 본 발명의 일 실시에에 따른 활성 영역과 각각 연관이 있는 두 개의 전형적인 마킹이 기록되어 있는 기록 표면을 나타낸 것으로, 활성 영역은 각각의 마킹에 따른 높이 및 폭 양자에 의해 크기가 결정된다.

도 7b는 본 발명의 일 실시에에 따른 활성 영역과 각각 연관이 있는 두 개의 전형적인 마킹이 기록되어 있는 표면을 나타낸 것으로, 활성 영역은 각각의 마킹에 따른 높이에 의해 크기가 결정되고 폭은 고정되어 있다.

도 8은 서로 공간적으로 간섭을 일으키는 두 개의 상이한 마킹의 활성 영역을 나타낸 도면이다.

도 9는 본 발명의 일 실시예에 따른 마킹이 기록되어 있는 기록 표면과, 자동으로 생성된 4 개의 전형적인 활성 영역을 나타낸 도면이다.

도 10a는 본 발명의 일 실시예에 따른, 사용자의 마킹 기록에 응답하여 기록과 연관된 인터페이스 영역을 자동으로 생성하기 위한 컴퓨터로 구현되는 프로세스의 흐름도이다.

도 10b는 본 발명의 일 실시예에 따른, 사용자의 기존 기록 선택에 응답하여 기록과 연관된 인터페이스 영역을 자동으로 생성하기 위한 컴퓨터로 구현되는 프로세스의 흐름도이다.

도 11은 본 발명의 일 실시예에 따른, 인터페이스 영역 간의 공간적인 간섭을 해소하기 위한 컴퓨터로 구현되는 프로세스의 흐름도이다.

도 12는 본 발명의 일 실시예에 따른, 사용자의 행위(user action)에 가장 가까운 경계를 결정한 후, 경계에 "들어오는(on-the-flow)"의 인터페이스 영역을 계산하기 위한 컴퓨터로 구현되는 프로세스의 흐름도이다.

본 명세서의 실시예는 사용자 상호작용 기기 분야에 관한 것이다. 본 명세서는 동적으로 생성된 기록 표면의 인터페이스 영역과 상호작용함으로써 컴퓨터의 기능성(functionality)을 호출하는 방법 및 시스템을 교시한다.

지난 20년 동안, 데스크톱 컴퓨터 시스템, 랩톱 컴퓨터 시스템, 핸드헬드(handheld) 컴퓨터 시스템, 및 타블렛(tablet) 컴퓨터 시스템과 같은 개인용 컴퓨팅 기기의 사용은 엄청나게 증가하였다. 이러한 개인용 컴퓨팅 기기는 사용자에게 광범위한 상호작용 애플리케이션, 비지니스 유틸리티, 통신 기능(communication ability), 및 엔터테인먼트 기능(entertainment possibility)을 제공한다.

현재의 개인용 컴퓨팅 기기는 사용자 인터페이스를 통해 이러한 상호작용 애플리케이션에 대한 액세스를 제공한다. 일반적인 컴퓨팅 기기는 모니터나 디스플레이 스크린과 같은 디스플레이 기기를 사용하는 사용자에게 정보를 제공하고, 마우스, 키보드, 조이스틱 또는 스타일러스와 같은 입력 기기를 사용하여 사용자로부터 정보를 수신하는 온스크린 그래픽 인터페이스(on-screen graphical interface)를 구비한다.

컴퓨팅 시스템이 더 낫다고 해도, 문명 사회(literate society)에서 펜과 종이는 어디에서나 사용되고 있다. 현재의 컴퓨팅 기기의 그래픽 사용자 인터페이스는 많은 컴퓨팅 애플리케이션과의 효과적인 상호작용을 제공하며, 일반적인 온스크 린 그래픽 사용자 인터페이스는 펜이나 연필 및 종이의 일반적인 사용을 흉내내기 어렵다. 예를 들면, 데스크톱 및 랩탑 컴퓨터 시스템은 일반적으로 펜형(pen-like) 인터페이스를 구비하지 않는다. 또한, 컴퓨터의 입력은 전자적인 디스플레이 상에 표시되고, 종이나 물리적인 표면 상에 기록된 정보처럼 만지거나 접근할 수 없다.

끝으로, 종이 표면 상에 펜형 인터페이스로 그린 이미지와 기록물(writing)은 편의성, 영구성, 및 만질 수 있는 실체성(tangibility)이 있지만, 펜형 인터페이스를 사용하여 일단 기록하고 나면 종이 표면 상의 마킹의 재사용은 쉽게 형용되지 않는다. 다시 말해, 몇몇 펜형 컴퓨터 시스템은 종이 상의 일정한 사용자가 기록한 항목의 인식을 제공하고, 일단 인식되면 몇몇 즉각적인 조치가 펜형 컴퓨터 시스템에 의해 취해진다. 하지만, 사용자가 동일한 컴퓨터 기능을 다시 수행하고자 하면, 해당 항목을 다시 종이 위에 기록해야 한다. 구체적으로, 이러한 펜형 컴퓨터 사용자 인터페이스는 사용자에게 원하는 컴퓨터 기능을 자동으로 호출하기 위한 종이 위에 기록한 항목과의 직접적인 상호작용(예를 들어, 마우스 클릭과 유사한 펜 탭(tap)을 통한 선택)을 허용하지 않는다.

따라서, 기록 표면과 연관된 동적으로 생성된 인터페이스 영역과의 사용자 상호작용에 의해 컴퓨터의 기능성이 호출되는 상호작용 기기를 위한 사용자 인터페이스에 대해 기술한다.

컴퓨터 시스템은 기록 표면 상에 기록된 마킹을 식별하거나, 기존의 기록되어 있는 마킹과의 사용자 상호작용을 인식한다. 마킹에 인접하여, 컴퓨터 시스템은 마킹과 연관된 하나 이상의 인터페이스 영역을 자동으로 생성한다. 인터페이스 영역은 기록 표면의 공간 좌표에 대해 컴퓨터 메모리 내에 규정되며 사용자에게는 보이지 않는다. 이들 영역 중 하나와의 사용자 상호작용은 상호작용이 있는 영역과 관련되고 마킹과 관련된 앞서 설명한 컴퓨터 기능성을 호출한다. 각각의 인터페이스 영역에 의해 상이한 컴퓨터 기능이 호출될 수 있다. 컴퓨터 시스템은 동적으로 인터페이스 영역의 위치를 정하고 연관된 마킹의 위치(및 크기)를 근거로 인터페이스 영역의 크기를 동적으로 정할 수 있다. 복수의 마킹은 각각의 마킹과 연관된 상이한 영역들을 갖는 복수의 영역을 생성한다. 일 실시예에서, 영역들은 기록된 단어의 앞 및/또는 뒤에 설정된다. 영역들은 또한 예를 들어 기록된 단어의 위 및/또는 아래에 설정될 수 있다. 다른 실시예에서, 컴퓨터 시스템은 상호작용 펜 기반 컴퓨터 시스템이다.

특정한 일 실시예에서, 상호작용 펜-기판 컴퓨터 시스템은 표면 상의 기록된 단어를 인식하기 위해 사용될 수 있다. 한 애플리케이션에서, 펜 기반 컴퓨터 시스템은 단어에 대해 하나의 언어에서 다른 언어로의 번역을 제공한다.

단어가 기록된 후(또는 단어가 이미 존재한다면 선택된 후), 컴퓨터 시스템은 공간적으로 단어 앞에 표면 상의 제1 인터페이스 영역을 그리고 공간적으로 단어 뒤의 표면 상의 제2 인터페이스 영역을, 메모리에 자동으로 생성한다. 제1 영역과의 사용자 상호작용은 제1 영역 및 해당 단어와 관련된 제1 컴퓨터 기능성을 호출한다(예를 들어, 해당 단어의 번역이 컴퓨터에 이해 음성의 형태로 표현된다). 제2 영역과의 사용자 상호작용은 제2 영역 및 해당 단어와 관련된 제2 컴퓨터 기능성을 호출한다(예를 들어, 해당 단어의 번역된 버전이 음성의 형태로 한 문자씩 스펠을 출력한다). 인터페이스 영역은 기록된 단어에 인접한 임의의 위치에 위치할 수 있으며, 여기에 기술된 특정한 위치는 단지 예라는 것을 알아야 한다. 일 실시예에서, 영역들은 높이가 기록된 단어의 높이와 비슷하도록 크기가 정해지고, 폭은 고정된 크기 또는 기록된 단어의 크기나 형상에 관련된 것일 수 있다.

본 발명의 실시예들은 또한 상이한 마킹의 상호작용 영역간의 간섭을 해소하기 위한 프로세스를 포함한다. 이들 프로세스는 할당 모델(sharing model), 타임아웃 모델(time-out model), 팝업 모델(pop-up model) 및/또는 경고 모델(warn modle)을 포함한다. 본 발명의 실시예들은 또한 필요에 따라 상호작용 영역들을 자동으로 계산하기 위한 효율적인 프로세스들을 포함하여, 모든 상호작용 영역을 언제나 메모리에 지속적으로는 저장하지 않음으로써 컴퓨터 자원을 절약한다.

또한 실시예들은 컴퓨터로 구현된, 사용자와의 인터페이싱 방법을 포함하는데, 이 방법은 기록 표면 상에 위치되어 있는 기록된 마킹이 사용자에 의해 선택되었는지를 식별하는 단계; 상기 기록된 마킹과 연관된 인터페이스 영역을 메모리로부터 액세스하는 단계; 상기 기록된 마킹에 인정하여 위치되는 제1 인터페이스 영역의 위치 및 크기를 자동으로 계산하는 단계; 상기 제1 인터페이스 영역을 제1 컴퓨터 기능과 연관시키는 단계; 및 상기 제1 인터페이스에 대한 사용자 선택에 응답하여, 상기 기록된 마킹과 연관된 데이터에 대해 상기 제1 컴퓨터 기능을 실행하는 단계를 포함한다. 실시예들은 또한 위의 단계들과, 상기 마킹에 인접하여 위치되고 상기 제1 인터페이스 영역과 중첩되지 않는 상기 표면의 제2 인터페이스 영역의 위치 및 크기를 자동으로 계산하는 단계; 상기 제2 인터페이스 영역을 제2 컴퓨터 기능과 연관시키는 단계; 및 상기 제2 인터페이스 영역에 대한 사용자 선택에 응답하여 상기 데이터에 대해 상기 제2 컴퓨터 기능을 실행하는 단계를 더 포함한다. 또한 실시예들은 위의 단계들을 포함하고, 상기 제1 인터페이스 영역은 공간적으로 상기 기록된 마킹의 왼쪽에 위치되고, 또한 상기 제2 인터페이스 영역은 공간적으로 상기 기록된 마킹의 오른쪽에 위치된다.

실시예들은 또한 전술한 내용에 따라 프로그램된 상호작용 기기에 관한 것이다.

본 발명에 따른 다양한 실시예에 대해 상세하게 언급하며, 그 예들이 첨부도면에 도시되어 있다. 본 발명은 이 실시예들에 관하여 설명하지만, 본 발명을 이 실시예들로 한정하고자 하는 것이 아님은 물론이다. 오히려, 본 발명은 첨부된 특허청구범위에 의해 규정된 바와 같이 본 발명의 사상 및 범위 내에 포함되는, 대체물, 변경물 및 등가물도 포함하도록 의도된다. 또한 본 발명에 대해 후술하는 상세한 설명에서는 수많은 구체적인 세부사항을 본 발명에 대한 완전한 이해를 제공하기 위해 설명한다. 하지만, 이 기술분야의 당업자는 이러한 구체적인 세부사항 없이도 본 발명을 실시할 수 있음을 알 것이다. 다른 경우에, 공지의 방법, 절차, 구성요소, 및 회로는 본 발명의 특징을 쓸데없이 불명료하게 하지 않도록 자세하게 설명하지 않는다.

표시법 및 명명법

다음의 상세한 설명의 일부는 절차 단계, 논리 블록, 처리, 및 컴퓨터 메모리에서 실행될 수 있는 데이터 비트에 관한 동작의 다른 심볼 표현에 관해 나타낸다. 예를 들어, 프로세스 500, 500, 600, 및 700이 그것이다. 이들 설명 및 표현은 데이터 처리 기술의 당업자가 다른 기술분야의 당업자에게 자신의 연구 내용을 가장 효과적으로 전달하기 위해 사용하는 수단(means)이다. 절차, 컴퓨터에 의해 수행되는 단계, 논리 블록, 프로세스 등이 있으며, 일반적으로 원하는 결과를 도출하는 자기모순이 없는(self-consistent) 단계나 명령의 시퀀스로 생각된다. 단계들은 물리량의 물리적인 조작을 필요로 하는 것이다. 꼭 그런 것은 아니지만 대개, 이 양은 컴퓨터 시스템에서 저장, 전달, 결합, 비교, 및 조작을 할 수 있는 전기 신호나 자기 신호의 형태를 띤다. 때로는 일반적인 사용의 이유로 이들 신호를 비트(bit), 값(value), 요소(element), 심볼(symbol), 문자(character), 용어(term), 숫자(number) 등으로 나타내는 것이 대체로 편리하다는 것이 입증되었다.

하지만, 이들 모두 및 유사한 용어는 적당한 물리량과 관련될 것이고, 이들 양에 부가된 편의상의 표지(lable)일 뿐이라는 것을 명심하여야 한다. 특별히 언급하지않는 한, 그렇지 않으면 다음의 설명에서 명백한 바와 같이, 본 발명과 설명의 전체 걸쳐, 컴퓨터 시스템의 레지스터와 메모리 내에서 물리(전기)량으로 표현된 데이터를, 컴퓨터 시스템 메모리 또는 레지스터 또는 기타 그러한 정보 저장, 전송 또는 표시 기기 내에서 물리량으로 유사하게 표현되는 다른 데이터로 변환하고 조작하는, 컴퓨터 시스템이나 유사한 전자적인 컴퓨팅 기기의 작용(action) 및 프로세스를 나타내는, "인식하는" 또는 "개시하는" 또는 "전달하는" 또는 "포함하는" 또는 "결합하는" 또는 "액세스하는" 또는 "식별하는" 또는 "수신하는" 또는 "출력하는" 또는 "생성하는" 또는 "결정하는" 또는 "연관시키는" 또는 "저장하는" 등의 용어를 사용하는 것으로 인식된다.

그려진 사용자 인터페이스의 예

도 1은 예를 들어, 기록 가능한 표면 상에 펜 기반 컴퓨터 시스템의 사용자 인터페이스를 구성하는, 사용자가 기록한 전형적인 마킹의 예를 나타낸 것이다. 이 예에서, 컴퓨터 시스템은 예를 들어 하나의 언어(영어)에서 다른 언어(스페인어)로의 언어 번역 애플리케이션 프로그램을 실행하도록 지시를 받았다. 이 애플리케이션은 이 예에서 사용자가 "T" 주위에 원이 그려진 특수한 마킹(2)을 그림으로써 호출될 수 있다. 이 마킹(2) 다음의 선택적인 체크 마크(optional check mark)는 또한 애플리케이션의 파라미터들을 선택하기 위해 사용될 수 있으며; 이들 파라미터는 펜 컴퓨터의 팁(tip)으로 마킹(2) 위를 가볍게 두드리는 사용자의 탭핑(tapping)에 응답하여 스크롤될 수 있다(예를 들어, 순차적인 음성 표현). 원하는 파라미터가 나타난 다음, 사용자는 그것을 선택하기 위해 체크 마크를 그릴 수 있다.

사용자가 기록하는 단어, 예를 들어 "CAT"(4)에 응답하여, 애플리케이션 프로그램은 스페인어 번역 "gato"를 자동으로 나타낸다. 기록된 단어 "DOG"에 대해서도 동일하게 발생된다. 예를 들어 컴퓨터는 "perro"를 나타낸다. 이 애플리케이션에서, 사용자가 번역이 반복되기를 원하면, 사용자가 기록한 인터페이스 항목 (10)을 종이 위에 기록하여야 한다. 사용자가 이 항목(10)을 펜 팁으로 선택하면, 컴퓨터는 가장 최근에 선택된 단어, 예를 들어 CAT(4) 또는 DOG(6)의 번역을 나타낼 것이다. 사용자가 번역된 단어의 철자를 글자로 읽기를 원하면, 기록된 항목(8)의 선택은 이 기능을 수행할 것이다. 다시, 가장 최근에 선택된 단어의 철자를 읽을 것이다.

유감스럽게도, 빈번히 실행되는 기능 또는 핵심 기능인 경우, 이것은 단어를 선택한 다음, 종이의 어떤 다른 부분으로 가서 분리된 그려져 있는 기능 항목, 예를 들어 항목(8) 또는 항목(10)을 선택된 단어에 적용하기 위해 선택하는 것은 사용자를 지겹게 할 수 있다. 이 경우에, 사용자는 종이 위에 일정하게 탭핑하여 번역 및/또는 철자 기능을 시작한다는 것을 스스로 발견할 수 있다. 또한, 사용자가 단지 한 개 또는 두 개의 단어만의 번역을 원하는 경우, 도 1의 예를 실행하는 경우 사용자 인터페이스 오버헤드가 상당히 크게 나타날 수 있다. 예를 들면, 사용자는 번역 애플리케이션을 호출하기 위해 항목(2)를 그려야 하며, 그런 다음 번역(translate) 항목(10)을 그린 후, 선택적으로 철자(spell) 항목(8)을 기록하고, 번역될 단어, 예를 들어 CAT(4)를 쓰고 항목(8) 또는 항목(10) 위를 탭핑한다. 동일한 기능을 달성하지만 사용자가 그린 항목을 적게 요구하는 사용자 인터페이스를 제공하는 것이 유리할 것이다. 끝으로, 컴퓨터 시스템 내에 영속하는 종이 위에 그려진 각 항목은 컴퓨터 자원을 소비할 것이다. 컴퓨터 시스템 메모리를 소비할 필요가 없도록 특수하게 그려질 항목(8) 및 항목 (10)을 요구하지 않는 사용자 인터페이스를 제공하는 것은 유리할 것이다.

이하에서 더 설명하는 바와 같이, 본 발명의 실시예들은 전술한 단점을 없앤 편리한 그려진 항목의 사용자 인터페이스를 제공한다.

본 발명의 실시예를 위한 기기 플랫폼의 예

도 2는 본 발명의 다양한 실시예를 구현할 수 있는 전자적인 상호작용 기기(100)의 블록도이다. 일반적으로, 기기(100)는 펜형상(pen-shaped), 펜기반(pen-base) 또는 펜형(pen-like) 컴퓨터 시스템이나 광학 기기라고 하며, 더욱 구체적으로는 광학 판독기, 광학 펜, 또는 디지털 펜이나 디지털 컴퓨터라고 한다.

도 2의 실시예에서, 기기(100)는 하우징(62) 내부에 프로세서(32)를 포함한다. 일 실시예에서, 하우징(62)은 일반적인 펜 또는 다른 필기 기구(writing utensil) 또는 필기 도구(writing instrument)의 형상 및 형태를 가지고 있다. 프로세서(32)는 기기(100)의 기능을 구현하기 위해 사용되는 정보와 명령어를 처리하도록 동작 가능하며, 이에 대해서는 후술한다. 또한, 프로세서(32)는 기기(100)에 연결되어 있는 임의의 메모리나 카트리지(예: 도면부호 28)와 연관된 기능을 구현하기 위해 사용되는 정보와 명령어를 처리하기 위해 동작 가능하다.

일 실시예에서, 기기(100)는 오디오 출력 기기(36), 디스플레이 기기(40), 또는 프로세서(32)에 연결될 수 있는 오디오 출력 기기와 디스플레이 기기 양자를 모두 포함할 수 있다. 다른 실시예에서, 오디오 출력 기기 및/또는 디스플레이 기기는 선택적이거나 기기(100)로부터 물리적으로 별개이지만, 유선 및/또는 무선 접속을 통해 기기(100)와 통신한다. 무선통신의 경우, 기기(100)는 송신기나 송수신기(33)를 포함할 수 있다. 오디오 출력 기기(36)는 스피커나 오디오 잭(예를 들 어, 이어폰용이나 헤드폰용)을 포함할 수 있다. 디스플레이 기기(40)는 액정 디스플레이(liquid crystal display, LCD) 또는 다른 적당한 타입의 디스플레이일 수 있다.

도 2의 실시예에서, 기기(100)는, 기기(100)를 활성화시키고 제어하기 위해 프로세서(32)에 연결되어 있는 입력 버튼(38)을 포함할 수 있다. 예를 들어, 입력 버튼(38)은 사용자가 기기(100)에 정보 및 커맨드를 입력할 수 있도록 해주거나 기기(100)를 켜거나 끌 수 있도록 해준다. 기기(100)는 또한 배터리와 같은 전원(34)을 포함하지만, 이것으로 한정되지 않는다.

기기(100)는 또한 프로세서(32)에 연결되어 있는 광원이나 광 방출기(44) 및 광 센서나 광 검출기(42)를 포함할 수 있다. 광 방출기(44)는 예를 들어, 발광 다이오드(LED)일 수 있으며, 광 검출기(42)는 예를 들어, 촬상소자(CCD)나 상보형 금속산화물반도체(CMOS) 이미저 어레이(imager array)일 수 있다. 광 방출기(44)는 표면(70) 또는 그 일부분을 조사한다. 표면(70)에서 반사된 광은 광 검출기(42)에 의해 수광되어 기록된다.

일 실시예에서, 마킹의 패턴이 기기(100)와 함께 사용하기 위해 표면(70)에 인쇄되어 있다. 표면(70)은 종이 시트 또는 다른 타입의 표면 등의 마킹의 패턴이 인쇄(형성 또는 배치)될 수 있는, 임의 적당한 표면일 수 있다. 광 방출기(44)와 광 검출기(42)를 보유할 수 있는 기기(100)의 하단(39)은 표면(70)에 대항하거나 가까이에 배치된다. 기기(100)가 표면(70)에 대해 이동될 때, 마킹의 패턴은 광 방출기(44)와 광 검출기(42)에 의해 판독, 기록, 및 식별될 수 있다. 이하에 더욱 자세하게 설명하는 바와 같이, 일 실시예에서, 표면(70) 상의 마킹은 표면(70)에 대한 기기(100)의 위치를 결정하기 위해 사용된다(예: 도 3 및 도 4 참조). 다른 실시예에서, 표면(70) 상의 마킹은 정보를 부호화하기 위해 사용될 수 있으며; 표면(70)의 포착된 이미지는 기기(100)에 의해 분석(처리)되고 마킹을 복호화하여 부호화된 정보를 복원할 수 있다.

도 2의 기기(100)는 또한 프로세서(32)에 연결되어 있는 메모리 유닛(48)을 포함할 수 있다. 일 실시예에서, 메모리 유닛(48)은 메모리 카트리지나 메모리 카드로 구현되는 탈착 가능한 메모리(removable memory) 유닛일 수 있다. 다른 실시예에서, 메모리 유닛(48)은 프로세서(32)를 위해 정보 및 명령어를 저장하는 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 예를 들어, 메모리 유닛(48)은 프로세서(32)를 위한 정보 및 명령어를 저장하는 임의 접근 메모리(ROM) 및/또는 판독 전용 메모리(ROM)일 수 있지만, 이것으로 한정되지는 않는다.

도 2의 실시예에서, 기기(100)는 기록 소자(52)를 포함할 수 있는데, 기록 소자(52)는 광 검출기(42)와 광 방출기(44)가 배치되어 있는 기기(100)의 단부(예: 도면부호 39)와 동일한 단부에 배치될 수 있다. 기록 소자(52)는 예를 들어 펜, 연필, 마커, 스타일러스 등일 수 있으며, 접을 수 있거나(retractable) 접을 수 없다. 일정한 애플리케이션에서, 기록 소자(52)는 불필요하다. 다른 애플리케이션에서, 사용자는 표면(70) 상에 글자, 숫자, 심볼, 도안(design) 등과 같은 문자(character)를 포함하는 마크, 마킹을 만들기 위해 기록 소자(52)를 사용할 수 있다. 이들 사용자에 의해 생성된(user-produced) 마크는 기기(100)에 의해 표면 (70) 상의 위치에 따라 스캐닝(예: 이미지화)되어 해석될 수 있다. 사용자에 의해 생성된 마크(이하, 사용자 생성 마크라 함)의 위치는 표면(70) 상에 인쇄되어 있는 마크 패턴을 사용하여 결정될 수 있다(예를 들어, 도 4 및 도 5에 관한 아래의 설명 참조). 일 실시예에서, 사용자 생성 마크의 위치는 손으로 쓴 문자를 인식하는 광학 문자 인식(OCR) 기술을 사용하여 기기(100)에 의해 해석될 수 있다.

표면(70)은 종이 시트일 수 있지만, 종이 이외의 재료로 이루어지는 표면도 사용될 수 있다. 표면(70)은 평판 디스플레이 스크린(flat panel display screen)(예를 들어, LCD) 또는 전자적인 종이(예를 들어, 전자적인 잉크를 사용하여 재구성 가능한 종이)일 수 있다. 또한 표면(70)은 평평하거나 평평하지 않을 수도 있다. 예를 들어, 표면(70)은 구형의 표면으로 구현될 있다. 또한, 표면(70)은 일반적인 종이의 페이지(예를 들어, 8.5×11 인치)보다 작거나 클 수 있다. 일반적으로, 표면(70)은 마킹(예를 들어, 글자, 숫자, 심볼, 문자 등)이 인쇄되거나 그렇지 않으면 배치될 수 있는 임의의 타입의 표면일 수 있다. 다르게는, 표면(70)은 기기(100)에 의한 표면에 대한 작용에 응답하여 표면의 특성이 변화하여 마킹이 눈에 보이에 나타나는, 그런 타입의 표면일 수 있다.

도 2는 또한 본 발명의 여러 실시예에 따라 기기(100)와 결합하여 사용될 수 있는 전형적인 카트리지(28)를 나타낸다. 구체적으로, 카트리지(28)를 기기(100)에 결합(또는 연결)함으로써, 카트리지(28)는 메모리(30)에서 기기(100)의 메모리 유닛(48)으로, 표면(70)의 특정한 부분과 결합하여 사용될 수 있는 하나 이상의 애플리케이션에 대한 복사본의 다운로드를 가능하게 함으로써, 기기(100)의 기능성을 확장시킬 수 있다. 이렇게 하여, 기기(100)는 하나 이상의 애플리케이션을 카트리지(28)로부터 수신하여 사용할 수 있다.

구체적으로, 본 발명의 일 실시예에 따르면, 카트리지(28)는 메모리(30), 기능 로직(fuctional logic), 선택적인 주변 기기(peripherals)(41)과 함께 인터페이스(35)를 포함하며, 카트리지 하우징(31) 내에 모두 배치될 수 있다. 일 실시예에서, 카트리지 하우징(31)은 펜 캡(pen cap) 또는 필기 도구나 필기 기구[예: 기기(100)]의 캡의 형태일 수 있다. 예를 들어, 일 실시예에서, 카트리지 하우징(31)은 기기(100)의 하우징(62)의 상부(29) 및 하부(39) 위에 확실히 끼워지도록 설계될 수 있다. 이와 같이, 카트리지(28)의 하우징(31)은, 펜 캡이 펜에 확실하게 끼워질 때와 마찬가지의 방식으로 기기(100)에 확실하게 끼워질 수 있는 형상일 수 있다. 특히, 카트리지(28)의 하우징(31)은 기기(100)의 하우징(62)의 상부(29)에 확실히 끼워지도록 설계될 수 있다. 또, 카트리지(28)의 하우징(31)은 기기(100)의 하우징(62)의 하부(39)에도 확실하게 끼워지도록 설계될 수 있으므로, 카트리지(28)가 기록 소자(52), 광 검출기(42) 및/또는 광 방출기(44)를 덮는 및/또는 보호하는 기기(100)의 캡(또는 커버)으로 사용될 있도록 해준다. 기기(100)의 하부(39)에 확실하게 끼워질 때, 카트리지(28)가 수동적으로 보관된다는 것을 알아야 한다.

도 2에서, 기기(100)는, 카트리지(예를 들어, 도면부호 28)가 기기(100)에 연결될 수 있도록 하는 인터페이스(37)를 포함할 수 있다.

카트리지(28)의 하우징(31)이 기기(100)의 하우징(62)의 상부(29)에 확실하 게 끼워질 때, 카트리지(28)의 인터페이스(35)는 기기(100)의 인터페이스(37)와 전기적으로 연결된다는 것을 알 수 있다. 이런 식으로 연결되는 경우, 카트리지(28)는 기기(100)의 프로세서(32), 전원(34) 및 메모리 유닛(48)에 연결될 수 있다. 이처럼, 일 실시예에서, 기기(100)의 프로세서(32)는 카트리지(28)의 메모리(30)로부터 임의의 상주하는 애플리케이션의 복사본을 기기(100)의 메모리 유닛(48)으로 자동으로 다운로드하여 저장할 수 있다. 메모리(30)에 의해 저장된 상기한 정보의 전부(또는 일부)에 대한 복사본이 기기(100)의 메모리 유닛(48)으로 다운로드되어 저장될 수 있음을 알 수 있다. 일 실시예에서, 하나 이상의 애플리케이션이 임의의 다른 정보와 함께 카트리지(28)의 메모리(30)로부터 기기(100)의 메모리 유닛(48)에 다운로드된 후, 카트리지(28)는 기기(100)에서 제거(또는 결합 해제)될 수 있으며, 기기(100)는 카트리지(28)로부터 다운로드된 하나 이상의 애플리케이션을 임의의 다른 정보와 함께 여전히 사용할 수 있다는 것에 유의하여야 한다.

카트리지(28)는 또한 선택적으로 하나 이상의 주변 기기(예를 들어, 도면부호 41)을 포함할 수 있으며, 이 주변 기기는 카트리지(28)에 의해 저장된 하나 이상의 애플리케이션과 연관이 있을 수 있다. 예를 들어, 선택적인 주변 기기(41)는 럼블 팩(rumble pack), 발광 다이오드(LED), 업그레이드형 디스플레이, 업그레이드형 스피커 등으로 구현될 수 있지만, 이것으로 한정되지는 않는다. 주변 기기(41)는 카트리지(28)의 인터페이스(35)을 통해 기기(100)에 연결될 수 있다. 카트리지(28)의 메모리(30)는 폭넓고 다양한 방식으로 구현될 수 있음은 물론이다. 예를 들어, 메모리(30)는 플래시 메모리, 프로그램 가능한 판독전용 메모리(PROM), 소거 및 프로그램 가능한 판독전용 메모리(EPROM), 전기적으로 소거 및 프로그램 가능한 판독전용 메모리(EEPROM), 및/또는 오랜 기간 동안 전기적인 소스와의 연결이 끊어진 후에도 데이터를 저장할 수 있는 기타 비휘발성 메모리로 구현될 수 있지만, 이것으로 한정되지 않는다.

도 3은 본 발명의 다양한 실시예를 구현할 수 있는 다른 전자적인 상호작용 기기(200)의 블록도이다. 기기(200)는, 앞서 설명한 바와 같이, 프로세서(32), 전원(34), 오디오 출력 기기(36), 입력 버튼(38), 메모리 유닛(48), 광 검출기(42), 광 방출기(44), 기록 소자(52) 및 인터페이스(37)를 포함한다. 하지만, 도 2의 실시예에서, 광 검출기(42), 광 방출기(44) 및 기록 소자(52)는 하우징(62) 내에 광학 기기(201)로서 통합되며, 프로세서(32), 전원(34), 오디오 출력 기기(36), 입력 버튼(38), 인터페이스(37) 및 메모리 유닛(48)는 하우징(74)을 포함하는 플랫폼(202)으로 통합된다. 본 실시예에서, 광학 기기(201)는 케이블(102)에 의해 플랫폼(202)에 연결되어 있지만, 무선 접속을 대신 사용할 수 있다. 도 3에 도시된 소자는 전술한 것과는 다른 조합으로 광학 기기(201)와 플랫폼(202) 사이에 분포될 수 있다.

또, 도 3은 앞서 설명한 메모리(30), 인터페이스(35), 및 선택적인 주변 기기(41)를 포함할 수 있는 카트리지(28)를 또한 도시하고 있다. 또한, 카트리지(28)는, 카트리지(28)를 플랫폼(202)의 하우징(74)의 측면(204)에 확실하게 결합시킬 수 있는 형상을 갖는 하우징(31')을 포함할 수 있다. 하우징(31')은 도 1의 하 우징(31)의 상이한 형상임에 유의하여야 한다. 일 실시예에서, 인터페이스(37)가 광학 기기(201)의 일부로서 구현되는 경우, 카트리지(28)의 하우징(31')은, 카트리지(28)를 광학 기기(201)에 확실하게 결합시킬 수 있도록 변형될 수 있다.

도 4는 본 발명의 일 실시예에 따른 마크의 패턴이 있는 종이 시트(15)를 나타낸 도면이다.

도 4의 실시예에서, 종이 시트(15)는 마크(18)의 패턴으로 구성되는 광학적으로 판독 가능한 위치 코드(17) 형태로 코딩 패턴(coding pattern)을 구비하고 있다. 도 4의 마크(18)는 분명하게 나타내기 위해 매우 크게 확대한 것이다. 실제로, 마크(18)는 사람의 시각체계로는 쉽게 인식할 수 없으며, 종이 시트(15) 위에 그레이스케일(grayscale)로 나타날 수 있다. 일 실시예에서, 마크(18)는 점으로 구현되지만, 본 발명은 이것으로 한정되지는 않는다. 마크(18)는 표면(70)에 공간 격자(spatial grid)를 생성한다. 펜을 내려 놓으면, 상호작용 기기(100 또는 200)은 펜의 팁 위치 가까이에 있는 마크(18)의 고유한 패턴을 식별할 수 있다. 이 고유한 패턴은 또한 펜 팁이 머무르고 있는, 표면(70) 상의 위치를 식별할 수 있다.

도 5는 본 발명의 일 실시예에 따른, 도 4의 위치 코드(17)의 확대된 부분(19)을 나타낸 것이다. 상호작용 기기(100 또는 200)(도 2 또는 도 3)와 같이 광학 기기는 위치 코드(17)의 영역의 이미지를 기록하도록 배치되어 있다. 일 실시예에서, 광학 기기는 래스터 포인트(raster point)(22)을 가로지르는 래스터 선(21)과 래스터의 형태로 기준 시스템에 마크(18)를 맞춘다. 각각의 마크(18)는 래스터 점(22)과 연관되어 있다. 예를 들어, 마크(23)는 래스터 포인트(24)와 연관 되어 있다. 이미지/래스터 내의 마크에서, 마크와 연관된 래스터 포인트로부터의 마크의 변위(displacement)가 결정된다. 이 변위를 사용하여, 이미지/래스터 내의 패턴을 기준 시스템 내의 패턴과 비교한다. 기준 시스템 내의 각 패턴은 표면(70)의 특정 위치와 연관되어 있다. 따라서, 이미지/래스터 내의 패턴과 기준 시스템 내의 각 패턴을 일치시킴으로써, 표면(70)에 대한 광학 기기의 위치를 결정할 수 있다.

추가적인 정보는, 미국특허 제6,502,756호, 미국특허출원 제10/179,966호(2002년 6월 26일 출원), WO 01/95559, WO 01/71473, WO 01/75723, WO 01/26032, WO 01/75780, WO 01/01670, WO 01/75773, WO 01 /71475, WO 01/73983, 및 WO 01/16691에서 제공받을 수 있으며, 이들 특허 및 특허출원의 내용 전부는 모든 목적으로 참조에 의해 본 명세서에 통합된다. 또한 미국특허출원 제60/456,053호(2003년 3월 19일 출원) 및 미국특허출원 제10/803,803호(2004년 3월 17일 출원)를 참조할 수 있으며, 이들 모두의 내용 전부는 모든 목적으로 참조에 의해 본 명세서에 통합된다.

다시 도 2를 참조하면, 표면(70) 상의 4개의 지점 또는 영역은 글자 A, B, C, D로 나타낸다(이 글자들은 표면(70) 상에 인쇄되어 있지 않지만 표면(70)의 지점을 나타내기 위해 사용된다는 것에 유의하여야 한다). 표면(70) 상에는 이와 같은 영역이 많이 있을 수 있다. 표면(70) 상의 각 영역과 연관된 것은 마크의 고유한 패턴이다. 일부 마크가 중첩되는 영역 사이에서 공유되더라도 영역 내의 마크의 패턴은 해당 영역에 대해 여전히 고유하기 때문에, 표면(70) 상의 영역들은 중 첩될 수 있다.

도 2의 예에서, 기기(100)[구체적으로, 기록 소자(52)]를 사용하여, 사용자는 예를 들어, 표면(70) 상의 지점 A에서 원이 그려진 글자 "M"으로 이루어지는 문자를 생성할 수 있다(일반적으로 사용자는 표면(70) 상의 임의의 지점에 문자를 생성할 수 있다). 사용자는 기기(100)로부터의 프롬프트(예를 들어, 음성 프롬프트)에 응답하여 그러한 문자를 생성할 수 있다. 사용자가 문자를 생성하는 경우, 기기(100)는 문자가 생성된 지점에 고유하게 존재하는 마킹의 패턴을 기록한다. 기기(100)는 막 생성된 문자와 마킹의 패턴을 연관시킨다. 기기(100)가 원이 그려진 문자 "M"에 위에 위치되면, 기기(100)는 그것과 관련된 마크의 패턴을 인식하고, 원이 그려진 "M"과 연관시킴으로써 그 지점을 인식한다. 사실상, 기기(100)는 문자 자체를 인식하는 것이 아니라 문자가 위치되어 있는 지점에서의 마킹의 패턴을 사용하여 문자를 인식한다.

일 실시예에서, 문자는 특정한 커맨드와 연관되어 있다. 방금 설명한 예에서, 사용자는 특정한 커맨드를 식별하는 문자를 생성(예를 들어, 기록)할 수 잇으며, 단순히 기기(100)를 기록된 문자 위에 위치시킴으로써 커맨드를 반복하여 호출할 수 있다. 다시 말해, 사용자는 커맨드를 호출해야 할 때마다 커맨드를 위한 문자를 다시 쓰지 않아도 되며, 대신에 사용자는 커맨드용 문자를 한번 기록하고, 기록된 동일한 문자를 사용(예를 들어, 펜 팁으로 선택)함으로써 커맨드를 반복하여 호출할 수 있다.

도 5는 표면(19)(예를 들어, 종이 시트) 상의 도트(dot) 영역을 나타내며, 본 발명의 일 실시예에 따른 부호화된 정보를 저장하는 데 사용될 수 있다. 이 정보를 판독하기 위해, 펜기반 컴퓨터(100)는 영역의 임의의 부분 상에 놓인다. 도 5의 예는 종이 시트를 나타내지만, 전술한 바와 같이, 본 발명에 따른 실시예는 다양한 타입의 재료로 이루어지는 다른 타입 및 형상의 표면 상에 구현될 수 있다.

영역은 도트와 같은 마크의 패턴을 포함한다. 실시예에서, 패턴은 더 큰 맵 범위 내의 고유한 위치를 얻기 위해 복호화된다. 위치는 (x, y) 좌표 쌍일 수 있다. 이 영역의 표면은 여전히 다른 정보를 포함할 수 있다. 예를 들어, 표면은 도트 패턴과 함께 인쇄된 텍스트기반 또는 이미지기반 정보를 포함할 수 있다. 특수한 예로서, 표면은 하나 이상의 그림(picture)과, 카트리지(28)에 의해 저장된 하나 이상의 애플리케이션과 결합하여 활용될 수 있는 앞서 언급한 마킹의 패턴을 포함할 수 있는 페이지일 수 있다. 영역 내의 마크의 패턴으로 부호화된 정보는 여러 상이한 방식으로 사용될 수 있다. 예를 들어, 복호화된 위치 정보는 그 위치와 연관된 애플리케이션을 식별하기 위해 사용될 수 있다.

본 발명에 따라 그린 사용자 인터페이스

도 6a는 본 발명의 실시예에 따라 기록된 사용자 인터페이스의 일례를 나타낸 것이다. 상호작용 기기는 전술한 바와 같이 도 6a에 도시한 바와 같은 마킹을 생성하기 위해 사용될 수 있다. 예를 들어, 애플리케이션을 호출하기 위해, 사용자는 선택적인 인접한 체크 마크(315)와 함께 마킹(310)(원이 그려진 "T")을 그릴 수 있다. 일 실시예에서, 이것은 번역이나 번역기 애플리케이션을 호출한다. 다른 실시예에서, 애플리케이션은 사전 애플리케이션이거나 사용자가 그린 입력을 받 아들이는 임의의 애플리케이션일 수 있다. 본 발명의 실시예에 따르면, 사용자는 기록 기기를 사용하여 예를 들어 CAT(330)과 같은 마킹이나 단어를 그리거나 쓸 수 있다. 이것에 응답하여, 상호작용 컴퓨터는 기록된 단어(330) 주위에 공간적인 경계(335) 예를 들어, 이 예에서는 직사각형을 생성한다. 이것은 기록된 단어의 공간 범위의 최대 좌표 (x, y)에서 최소 좌표(x, y)까지에 의해 규정되는 직사각형을 계산함으로써 이루어질 수 있다. 그 결과는 길이 L(최대 x - 최소 x)이고 높이 h(최대 y - 최소 y)인 경계(335)이다. 경계(335)는 또한 "단어 영역" 또는 "단어 인터페이스 영역" 또는 "공간 경계"라고도 한다.

본 발명의 일 실시예에 따르면, 상호작용 컴퓨터는 그런 다음 자동으로 메모리에 경계(335)에 인접한[따라서 기록된 워드(330)에 인접한] 눈에 보이지 않는 인터페이스 영역(320a, 320b)을 자동으로 생성한다. 인터페이스 영역(320a, 320b)은 각각 폭 w이고 높이 h이다. 이 예에서, 각 인터페이스 영역의 높이는 경계(335)의 높이와 같도록 규정된다. 일 실시예에서, 폭은 고정된 폭일 수 있거나, 경계(335)의 폭 및/또는 높이에 종속되어 그에 따라 달라질 수 있다. 동일한 기록된 단어의 인터페이스 영역은 공간적으로 상호 중첩되지 않으며, 연관된 경계와도 중첩되지 않는다는 것을 알아야 한다.

각 인터페이스 영역은 거기에 특수한 컴퓨터 기능이 할당되었음을 알아야 한다. 예를 들어, 일 실시예에서, 인터페이스 영역(320a)은 사용자에 의해 선택될 때 관련된 단어(330)가 번역되도록 한다. 이 예에서, 번역은 CAT의 번역을 예를 들어 스페인어 "gato"를 음성으로 발표하는 것을 의미한다(영어를 스페인어로 변역 하는 경우). 일 실시예에서, 인터페이스 영역에 대한 사용자 선택은 사용자가 상호작용 기기의 팁을 해당 영역 내에서 탭핑하는 것을 의미한다. 선택은 또한 사용자가 영역 내에서 이중 탭핑 및/또는 심볼이나 다른 마킹을 기록하는 것을 의미한다. 또, 사용자가 영역(320b)을 선택하는 경우, 이것은 연관된 단어(330)의 철자 "g, "a", "t", 및 "o"를 음성으로 발표하는 것을 의미한다. 따라서, 번역 기능은 인터페이스 영역(320a)과 연관되어 있고, 철자 기능은 인터페이스 영역(320b)과 연관되어 있다. 게다가, 양자의 컴퓨터 기능은 이들 두 인터페이스 영역의 연관된 단어(330)에 대해 자동으로 동작한다. 유사하게 위치한 상이한 단어의 인터페이스 영역은 일반적으로 동일한 컴퓨터 기능성과 연관이 있지만 자신이 연관된 단어에 대해 동작한다는 것을 알아야 한다.

경계 또는 단어 인터페이스 영역(335)은 또한 활성 영역(active region)이다. 다시 말해, 기록된 단어(330)가 다수의 번역이 있으면, 사용자는 인터페이스 영역(335) 내에서 탭핑하여 번역 리스트를 하나씩 회전시킴으로써 적절한 번역을 선택할 수 있다. 이 실시예에서, 각각의 탭핑은 라운드로빈 방식(round-robin fashion)으로 다음 번역이 발표되도록 한다. 이 경우에, 인터페이스 영역(320a, 320b)은 사용자에 의해 선택된 최종 번역에 대해 동작할 것이다.

임의의 기능이 인터페이스 영역과 연관될 수 있으며, 임의의 애플리케이션은 그러한 기능성을 사용하도록 할 수 있다. 예를 들어, 번역 애플리케이션 대신에 사전 애플리케이션이 사용될 수 있다. 이 경우에, 활성 영역은 연관된 단어를 정의한 컴퓨터 기능을 호출하거나 연관된 단어의 반의어, 동의어, 어원, 유사한 단어 를 제공할 수 있다. 이 기능들은 인터페이스 영역(320a, 320b)에 임의의 방식으로 할당될 수 있다.

인터페이스 영역(320a, 320b)은 사용자가 관련 단어(330)를 기록할 때 생성될 뿐만 아니라, 사용자가 예를 들어 경계(335) 내를 탭핑함으로써 단어(330)를 선택할 때, 아무 때나 자동으로 생성될 수 있다는 것을 알아야 한다.

자동으로 생성되는 인터페이스 영역(320a, 320b)의 사용의 한 가지 이점은 사용자가 도 1에 도시된 바와 같이 번역 및/또는 철자 마킹을 별개로 그릴 필요가 없다는 것이다. 그보다는, 일단 목표 단어(330)를 썼으면, 사용자는 단지 단어의 앞 또는 뒤를 가볍게 두드려 원하는 기능성을 호출할 수 있다.

도 6b는 예를 들어 글자의 크기가 일정하지 않을 수 있는 일반적이지 못한 크기의 기록된 단어(330)를 나타낸 것이다. 이 경우에, 마지막 글자 t는 기록된 단어의 나머지 글자들보다 크다. 이 경우에, 단어 활성 영역 또는 공간 경계(335)는 마지막 글자 t를 둘러싸는 높이로 확대된다. 또한 인터페이스 영역(320a, 320b)의 높이 h도 또한 경계(335)의 높이 h와 일치하도록 만들어진다. 또, 인터페이스 영역(320a, 320b)의 폭 w는 고정된 폭(예를 들어, __ 인치 등)이거나 경계(335)의 폭 w나 높이 h에 종속될 수 있다.

도 7a에 도시된 바와 같이, 사용자에 의해 만들어진 기록된 단어 각각에 대해 새로운 인터페이스 영역이 규정된다. 도 7a는 두 개의 기록된 단어, CAT(330)과 DOG(350)을 나타낸다. 동일한 도 6a의 인터페이스 영역(320a, 320b)이 기록된 단어(330)에 대해 도시되어 있다. 하지만, 사용자가 단어 DOG(350)을 기록할 때, 상호작용 컴퓨터는 단어의 경계(355)를 자동으로 규정하고 또한 연관된 단어(350)의 양쪽에 인터페이스 영역(340a, 340b)을 자동으로 생성한다. 전술한 것처럼, 각 인터페이스 영역의 높이 h2는 경계(355)의 높이와 동일하다. 또한 각 인터페이스 영역의 폭 w2는 고정되거나 연관된 경계(355)의 높이 h2나 폭 l2에 따라 달라질 수 있다.

일반적으로 동일한 애플리케이션 프로그램 내에서, 상이한 마킹의 동일한 공간적 위치의 인터페이스 영역은 동일한 컴퓨터 기능성을 가진다는 것을 알아야 한다. 다시 말해, 인터페이스 영역(320a)와 인터페이스 영역(340a) 양자는 동일한 컴퓨터 기능성을 갖지만, 각자의 마킹(330)과 마킹(350)에 대해 동작한다. 더욱 구체적으로는, 일 실시예에 따르면, 동일한 애플리케이션 프로그램 내에서, 동일한 컴퓨터 기능이 도 6a와 관련하여 논의한 바와 같이 인터페이스 영역(340a, 340b)에 할당된다. 다시 말해, 번역기 애플리케이션이 사용중이라고 하면, 번역 기능이 인터페이스 영역(340a)에 할당되고 철자 기능이 인터페이스(340b)에 할당된다. 여기에서의 차이점은, 각각의 컴퓨터 기능이 연관된 단어 DOG(350)에 대해 동작할 수 있을 것이라는 것이다. 인터페이스 영역(340a)가 사용자에 의해 선택되면, 컴퓨터는 DOG에 대한 스페인어 번역 "perro"를 발표한다. 또한, 인터페이스 영역(340b)가 사용자에 의해 선택되면, DOG에 대한 번역은 철자, 예를 들어 "p", "e", "e", "r", 및 "o"로 출력된다.

도 7a의 예에서, 인터페이스 영역의 폭은 관련 단어의 크기에 종속된다. 다시 말해, 기록된 단어 DOG(350)은 기록된 단어 CAT(330)의 크기보다 작다. 따라 서, 인터페이스 영역(340a 340b)의 폭 w2는 인터페이스 영역(320a, 320b)의 폭 w1보다 작다. 본 발명의 실시예에 따르면, 인터페이스 영역의 폭은 연관된 단어의 폭 및/또는 높이나 그 기능 중 어느 것에 종속될 수 있다. 또한, 인터페이스 영역의 높이는 연관된 단어의 높이와 일치하도록 설정된다.

도 7b는 인터페이스 영역의 폭이 고정되고 연관된 단어의 크기에 종속되지 않는 것을 제외하고는 도 7a와 유사한 예를 나타낸 것이다. 여기서, 기록된 단어 CAT(330)이 기록된 단어 DOG(350)보다 크지만, 인터페이스 영역(320a)의 폭은 인터페이스 영역(340a)의 폭과 동일하다. 하지만, 인터페이스 영역의 높이는 h1 및 h2로 도시된 바와 같이, 연관된 단어의 높이와 일치하도록 설정된다. 고정된 폭은 임의의 적당한 크기일 수 있으며, 일 실시에에서는 약 0.25 내지 1.0 인치이지만, 사용자가 표준 필기 도구의 팁 크기로 쉽게 선택할 수 있는 것이라면 임의의 크기일 수 있다.

본 발명의 실시예는 단어 경계(335, 355)를 지속적으로 컴퓨터 메모리에 저장할 수 있지만, 인터페이스 영역(320a 320b, 340a, 340b)은 지속적으로 저장하거나 컴퓨터 자원, 예를 들어 메모리와 처리 전력을 절약하기 위해 지속적으로 저장하지 않을 수 있다. 다시 말해, 일단 단어 경계가 알려져 저장되면, 인터페이스 영역은 필요할 때 신속하게 계산될 수 있으므로, 그것의 목표 애플리케이션이 활성 상태인 동안에 인터페이스 영역을 반드시 지속적으로 메모리에 저장하지 않아도 된다. 일 실시예에서, 연관된 단어의 활성 영역은 사용된 최종 단어에 대해서만 저장되고(예를 들어, 메모리에 유지), 상용된 최종 단어가 아닌 다른 단어와 관련된 인터페이스 영역은 사용자가 해당 단어와 상호작용할 때 신속하게 계산된다. 이런식으로, 몇 개의 인터페이스 영역만 언제나 활성화 상태일 것을 필요로 한다.

도 8은 서로 다른 기록된 워드의 인터페이스 영역이 서로 중첩되는 경우를 나타낸 것이다.

사용자가 중첩되는 범위 내에서 선택하는 경우, 예상되는 컴퓨터 기능에 대해 모호함이 발생할 수 있기 때문에 이것은 피해야되는 상황이다. 이러한 타입의 중첩이 발생되는 것을 허용하면 예상치 못한 결과가 발생할 수 있다. 본 발명의 실시예들은 인터페이스 중첩을 회피하기 위한 많은 해결법을 제공한다. 먼저, 두 번째 기록되는 단어[예를 들어, DOG(350)]가 기존의 기록된 단어[예를 들어, CAT(330)]에 너무 가까이에 기록되고 있으면, 일 실시예에서는 두 번째 단어가 너무 가깝다고, 예를 들어, "기존의 단어에서 더 떨어져 단어를 쓰세요" 또는 "새로운 단어를 더 오른쪽에 쓰세요" 등으로 사용자에게 알린다. 이 경우에, 사용자는 DOG(350)을 중첩을 피해 다른 곳에 쓰도록 지시를 받기 때문에, 중첩하는 인터페이스 영역(340a)은 실제로 결코 생성될 수 없다. 이것이 "경고" 실시예이다.

다른 실시예에서, 상호작용 컴퓨터는 사용자에게 두 번째 단어 DOG(350)의 쓰기를 완성할 수 있도록 하고, 단지 인터페이스 영역(320b, 340a)의 폭(또는 다른 경우에는 높이)을 조정(예를 들어, 축소)하여, 더 이상 중첩하지 않도록, 예를 들어 경계(335)와 경계(355) 사이를 할당하도록 한다. 이것이 "할당(sharing)" 실시예이다.

또 다른 실시예에서, 상호작용 컴퓨터는 최총 기록된 및/또는 선택된 단어 의 인터페이스 영역만을 항상 활성화하기 때문에, 인터페이스 영역의 중첩을 허용한다. 이것은 "팝업(pop-up)" 인터페이스 영역이라 한다. 예를 들어, 일단 사용자가 DOG(350)을 쓰면, 인터페이스 영역(340a, 340b)이 생성되어 활성화된다. 하지만, 기존의 인터페이스 영역(320a, 320b)은 그 후 비활성화된다. 따라서, 활성 인터페이스 영역 중에서, 인터페이스 영역(320b)이 현 시점에서 활성 상태가 아니기 때문에 영역(320b)과 영역(340a) 사이에는 중첩이 존재하지 않는다. 따라서, 영역(340a) 내의 어떤 지점의 선택도 영역(340a)과 연관된 기능을 실행할 것이기 때문에 예상치 못한 컴퓨터 기능을 동작시키지 않을 것이다. 또한 사용자가 다음에 경계(335) 내에서 선택하였으면, 인터페이스 영역(320a, 320b)이 활성화(예를 들어, 표면으로 "팝업")될 것이고, 인터페이스 영역(340a, 340b)은 비활성화될 것이며, 다시 중첩 상황은 잔존하지 않는다.

다른 실시예에서는, 중첩 상황이 발생하면, 마지막에 그려진(최근) 인터페이스 영역이 제어되고 다른 인터페이스 영역은 비활성화된다. 이것인 "Z-순서(Z-ordering)" 실시예이며, 서로 중첩할 때 마지막 Z 값[컴퓨터 그래픽 처리로부터 유추(analogy)]을 갖는 인터페이스 영역이 활성 상태로 남는다. 도 8의 경우에, 인터페이스 영역(340a)은 제어될 수 있으며, DOG(350)이 CAT(330) 다음에 기록되었기 때문에 인터페이스 영역(320b)은 비활성화될 것이다.

다른 실시예에서, 인터페이스 영역은 일정 시간 후에 "타임아웃(time-out)" 된다. 따라서, CAT(330)이 기록되어 인터페이스 영역(320a, 320b)이 생성되어 활성 상태로 남아 있다고 가정하자. 타임아웃 기간이 규정된다. 타임아웃 기간이 경과하도록 인터페이스 영역(320a, 320b) 또는 경계(355)와 상호작용이 발생하지 않으면, 인터페이스 영역(320a, 320b)은 비활성 상태로 된다. 영역(320b)이 타임아웃으로 인해 비활성화된 후에 영역(340a)이 생성되면, 중첩 상황은 존재하지 않는다.

도 9는 기록된 단어의 위와 아래의 영역에 인터페이스 영역이 규정될 수도 있음을 나타낸 것이다. 이 예에서, 인터페이스 영역(430a, 430b)은 기록된 단어 "WHITE"(410) 위와 아래에 규정되어 있다. 이 경우에, 인터페이스 영역(430a, 430b)의 폭은 기록된 단어(410)에 대해 규정된 경계(415)의 폭과 동일하다. 인터페이스 영역(430a, 430b)의 높이는 고정된 크기이거나 연관된 기록된 단어(410)의 높이 및/또는 폭에 종속될 수 있다. 앞서 설명한 바와 같이, 인터페이스 영역은 또한 왼쪽과 오른쪽, 예를 들어 인터페이스 영역(420a, 420b)에 규정될 수도 있다.

이 특정한 예에서, 4개의 인터페이스 영역이 기록된 워드(410)에 대해 자동으로 규정된다. 이 경우에, 애플리케이션은

인터페이스 영역(430a, 430b 및 420a, 420b)에 임의의 순서로 각각 할당되어 있는 1)정의; 2) 반의어; 3) 동의어; 및 4) 어원과 같은 컴퓨터 기능을 구비한 사전 애플리케이션일 수 있다.

인터페이스 영역의 배치에 대해 특정한 예를 제공하였지만, 본 발명의 실시예는 기록된 워드에 인접하는 인터페이스 영역의 임의의 배치에 잘 어울리며, 따라서 단어와 뚜렷하게 연관되어 있다. 왼쪽, 오른쪽, 위쪽 및 아래쪽에 인터페이스 영역를 배치하는 것은 단지 예일 뿐이다. 또한, 인터페이스 영역의 크기도 본 발 명의 범위 내에서 변화될 수 있다. 인터페이스 영역은 고정 폭, 가변 폭, 또는 양자의 조합일 수 있다. 또한, 직사각형 영역을 인터페이스 영역의 형상으로 설명하였다. 하지만, 이것은 단지 예일 뿐이며, 예를 들어 원, 삼각형, 불규칙한 형상 등 잘 알려진 기하학적 형상을 채택할 수도 있다. 또한, 기록된 단어는 인터페이스 영역의 생성을 트리거링(triggring) 하기 위한 예로서 사용되었다. 하지만, 트리거 인터페이스 영역 생성을 위해 임의의 기록된 항목, 예를 들어 숫자, 글자, 방정식(equation), 그래픽, 명칭, 도형(diagram) 등을 사용할 수도 있다. 끝으로, 여기서는 번역기, 사전 등의 전형적인 애플리케이션을 설명하였지만, 이것들은 예일 뿐이다. 본 발명의 범위 내에서 입력으로 기록된 항목의 의미(해석)를 갖는 컴퓨터 기능을 제공하는 임의의 애플리케이션을 사용할 수 있다.

도 10a는 여기서 설명한 사용자 인터페이스 영역을 생성하기 위한 컴퓨터로 구현되는 프로세스(500)를 나타낸 것이다. 프로세스(500)는 도 2 및 도 3과 관련하여 설명한 상호작용 기기에서 구현될 수 있다. 일 실시예에서, 프로세스(500)는 상호작용 기기의 메모리 유닛 내에 저장된 컴퓨터 코드로 구현되어 상호작용 기기의 프로세서에서 실행될 수 있다. 프로세스(500)는 사용자에 의해 기록되는 기록된 단어에 응답하여 인터페이스 영역을 생성하는 것에 초점을 맞춘다.

단계 510에서, 컴퓨터는 사용자가 예를 들어 종이 등의 기록 표면 상에 마킹, 예를 들어 단어를 기록하는지를 검출한다. 그러면 단어의 공간 경계(또는 "단어 경계"), 예를 들어 단어를 둘러싸는 직사각형이 계산된다. 이어서 기록된 단어의 공간 경계가 단계 515에서 메모리에 기록된다. 단계 520에서, 공간 경계에 인 접하여 인터페이스 영역(활성 영역)이 자동으로 생성된다. 인터페이스 영역은 공간 경계에 인접하여 배치되어 있으므로, 인터페이스 영역의 위치는 공간 경계의 위치에 종속된다. 또한 일 실시예에서, 인터페이스 영역의 높이는 공간 경계의 높이와 일치하고, 그래서 인터페이스 영역의 크기는 공간 경계의 크기에 종속되므로, 기록된 단어의 크기에도 종속된다. 각 인터페이스 영역은 현재 동작중인 애플리케이션 프로그램에 따라 그것과 연관된 특정한 컴퓨터 기능을 갖는다.

단계 525에서, 사용자가 인터페이스 영역 중 하나와 상호작용(예를 들어, 탭, 또는 이중 탭 또는 인터페이스 영역 내에서의 기록)하는지에 대한 확인이 이루어진다. 상호작용이 없으면, 단계 530으로 진행되고, 상호작용이 있으면 단계 535에서 선택된 인터페이스 영역과 연관된 컴퓨터 기능이 선택된 인터페이스 영역과 연관된 기록된 단어에 대해 실행된다. 그런 다음, 단계 530에서 기록된 단어의 공간 경계에 대해 사용자 상호작용을 확인한다. 상호작용이 있으면, 연관된 단어에 대해 공간 경계와 연관된 컴퓨터 기능이 실행된다. 프로세스는 그런 다음 다른 단어가 기록되어, 기록되는 새로운 단어에 응답하여 단계 510으로 진행될 때까지 단계 525를 반복한다.

도 10b는 여기서 설명한 사용자 인터페이스 영역을 생성하기 위한 컴퓨터로 구현되는 프로세스(550)를 나타낸 것이다. 프로세스(550)는 도 2 및 도 3과 관련하여 설명한 상호작용 기기에서 구현될 수 있다. 일 실시예에서, 프로세스(550)는 상호작용 기기의 메모리 유닛 내에 저장된 컴퓨터 코드로 구현되어 상호작용 기기의 프로세서에서 실행될 수 있다. 프로세스(550)는 기존의 기록된 워드의 사용자 선택에 응답하여 인터페이스 영역을 생성하는 것에 초점을 맞춘다. 이 경우에, (예를 들어, 도 10a의 프로세스(500)의 기능을 사용하여) 하나 이상의 기록된 단어가 이미 생성되어 있다고 가정한다. 이 기록된 단어에 연관된 공간 경계는 그 후 메모리에 저장된다. 도 10b와 관련한 가정은 기록된 단어의 인터페이스 영역이 메모리에 모두 지속적으로 저장될 수 없다는 것이다. 하지만, 일단 기록된 단어가 선택되면, 대응하는 인터페이스 영역은 신속하게 계산된다.

단계 560에서, 사용자가 현존 및 저장된 공간 경계를 선택(예를 들어, 탭, 또는 이중 탭 또는 공간 경계 내에 뭔가를 기록)하였는지에 대한 확인이 이루어진다. 선택이 있으면, 단계 520에서, 선택된 공간 경계에 대한 인터페이스 영역을 자동으로 생성한다. 단계 520 내지 단계 540은 특정한 컴퓨터 기능성을 호출하기 위해 인터페이스 영역을 사용할 수 있는 도 10a와 유사하다.

도 11은 기록된 표면 상에서 공간적으로 중첩하는 인터페이스 영역을 검출하여 해소하는 본 발명의 실시예에 의해 사용되는 일반적인 프로세스(600)를 나타낸 것이다. 프로세스(600)는 도 2 및 도 3과 관련하여 설명한 상호작용 기기에서 구현될 수 있다. 일 실시예에서, 프로세스(600)는 상호작용 기기의 메모리 유닛 내에 저장된 컴퓨터 코드로 구현되어 상호작용 기기의 프로세서에서 실행될 수 있다. 단계 610에서, 상호작용 기기는 사용자가 기록하는 제1 마킹을 검출하여 제1 마킹의 위치 및 크기에 기초하여 제1 마킹과 연관된 인터페이스 영역을 자동으로 생성한다. 단계 615에서, 상호작용 기기는 기록 표면 상의 사용자가 기록하는 제2 마킹을 검출하여 제2 마킹의 위치 및 크기를 기록한다.

단계 620에서, 상호작용 기기는 제2 마킹의 인터페이스 영역과 관련된 인터페이스 영역의 위치 및 크기를 계산한다. 그런 다음, 상호작용 기기는 상호작용 영역이 임의의 다른 상호 작용 영역, 예를 들어 제1 마킹의 상호작용 영역과 중첩되는지 여부를 검출한다. 일 실시예에서, 중첩은 인터페이스 영역의 공간 좌표를 비교함으로써 검출된다. 좌표가 일치하면 중첩이 검출된다. 중첩이 검출되지 않으면, 단계 630에서, 상호작용 기기는 제2 마킹과 연관된 인터페이스 영역을 생성하여 활성화시킨다.

하지만, 단계 625에서, 중첩 해결 프로세스가 중첩하는 인터페이스 영역 사이의 공간적인 모호함을 해소하기 위해 시작된다. 전술한 바와 같은 몇 가지 해결 프로세스 중 하나가 실행될 수 있다. 일 실시예에서는 단계 625에서, 상호작용 기기는 제2 마킹이 제1 마킹에 너무 가깝다고 경고할 수 있다. 이것이 경고 모델이다. 이 실시예에서, 제2 마킹의 인터페이스 영역은 결코 생성되지 않기 때문에 단계 630은 시작되지 않는다. 그런 다음, 사용자는 기존의 기록된 것과 중첩되지 않는 지점에 제2 마킹을 그리도록 권유받는다. 제2 실시예에서는 할당 모델이 사용될 수 있다. 이 경우에, 단계 625에서 상호작용 기기는 중첩하는 상호작용 영역 사이에 공간을 할당하기 위해 제1 마킹과 제2 마킹 사이에 충분한 공간이 있는지를 판정한다. 공간이 충분하면, 중첩하는 영역의 폭(또는 경우에 따라 높이)는 중첩이 제거될 때까지 좁아진다. 단계 630에서는 그런 다음 제2 마킹에 대한 새로운 인터페이스 영역을 생성한다. 할당을 허용하기에 공간이 충분하지 않으면, 단계 630은 시작되지 않는다.

제3 실시예에서 타임아웃 모델이 사용된다. 단계 625에서 상호작용 기기는 먼저 제1 인터페이스 영역과 연관된 마킹이 타임아웃 되었는지를 확인한다. 다시 말해, 앞서 설명한 타임아웃 기간 동안에 제1 마킹 또는 제1 마킹과 연관된 임의의 인터페이스 영역과의 사용자 상호작용이 없으면, 이 대상은 더 이상 활성 상태가 아닌 것으로 가정한다. 제1 마킹이 타임아웃 되었으면, 단계 630이 시작되어 제2 인터페이스 영역을 생성한다. 제1 마킹이 여전히 활성 상태이면, 할당을 시도할 수 있다. 할당을 허용하기에 충분한 공간이 없으면, 단계 630은 시작되지 않는다.

제4 실시예에서 팝업 모델이 사용된다. 이 모델에서, 중첩하는 인터페이스 영역은 영역들 중 하나가 현재 활성 상태가 아닌 한 허용된다. 따라서, 단계 625에서 제1 마킹과 연관된 인터페이스 영역이 활성 상태인지 여부를 결정한다. 활성 상태가 아니라면, 단계 630이 시작된다. 이들 인터페이스 영역이 활성 상태이면, 할당을 시도할 수 있다. 할당을 허용하기에 충분한 공간이 없으면 단계 630은 시작되지 않는다.

도 12는 인터페이스 영역을 유지함에 있어 컴퓨터 자원을 절약하기 위해 본 발명의 실시예에 의해 사용될 수 있는 프로세스(700)를 나타낸 것이다. 일반적으로 이 실시예에 따르면, 인터페이스 영역은 메모리에 지속적으로 저장되지 않고, 오히려 필요할 때 계산되어 사용된다. 프로세스(700)는 도 2 및 도 3과 관련하여 설명한 상호작용 기기에서 구현될 수 있다. 일 실시예에서, 프로세스(700)는 상호작용 기기의 메모리 유닛 내에 저장된 컴퓨터 코드로 구현되어 상호작용 기기의 프로세서에서 실행될 수 있다.

단계 710에서, 상호작용 기기는 예를 들어, 펜 탭, 이중 탭 또는 그 위의 기록에 의한 기록 표면의 좌표 (x, y)와의 사용자 상호작용을 검출한다. 그런 다음, 상호작용 기기는 단계 715에서 공간 경계(기록된 마킹에 대응)가 저장된 메모리를 스캔하여 위치 (x y)에 가장 근접한 공간 경계를 결정한다. 상호작용 기기는 그런 다음 단계 720에서, 단계 715에서 결정된 공간 경계와 연관된 인터페이스 영역을 계산한다. 단계 725에서, 상호작용 기기는 이어서 좌표 (x, y)가 단계 720에서 계산된 임의의 인터페이스 영역 내에 있는지를 결정한다. 임의의 인터페이스 영역 내에 있다면, 단계 730이 시작되어 단계 715에서 결정된 공간 경계와 연관된 마킹 상의 좌표 (x, y)의 인터페이스 영역과 연관된 컴퓨터 기능을 실행한다.

좌표 (x, y)가 인터페이스 영역 내에 있지 않으면, 단계 725로부터 단계 735로 진행된다. 단계 735에서, 상호작용 기기는 좌표 (x, y)가 단계 715에서 결정된 공간 경계 내에 있는지를 확인한다. 만약 그렇다면, 단계 740에서 공간 경계와 연관된 컴퓨터 기능이 실행된다. 그 후 프로세스는 반복된다.

프로세스(700)의 이점은 인터페이스 영역을 지속적으로 메모리에 저장할 필요가 없고, 필요할 때 계산한다는 것이다. 각 마킹과 연관된 공간 경계는 지속적으로 저장된다. 이 영역 상호작용 프로세스(700)는 일 실시예에 따른 10a 및 도 10b의 단계 525로 구현될 수 있다는 것을 알아야 한다.

이상에서 기록 표면의 동적으로 생성된 인터페이스 영역과의 사용자 상호작용에 의해 컴퓨터 기능성을 호출하는 사용자 인터페이스를 위한 기기를 폭넓게 개시하였다. 컴퓨터 시스템은 기록 표면 상의 기록된 마캉을 식별하거나 기존의 기 록된 마킹의 선택을 식별한다. 마킹에 인접하여, 컴퓨터 시스템은 마킹과 연관된 하나 이상의 인터페이스 영역을 자동으로 생성한다. 이들 영역 중 하나와의 사용자 상호작용은 상호작용이 있는 영역에 관련된 컴퓨터 기능성을 자동으로 호출한다. 각 영역마다 상이한 기능이 호출될 수 있다. 컴퓨터 시스템은 인터페이스 영역을 동적으로 배치하고 마킹의 위치(및 크기)에 기초하여 인터페이스 영역의 크기를 동적으로 정할 수 있다. 복수의 마킹은 각각의 마킹과 연관된 상이한 영역을 갖는 복수의 영역을 생성한다. 일 실시예에서, 영역들은 기록된 단어의 앞 및/또는 뒤에 설정된다. 영역들은 또한 예를 들어 기록된 단어의 위 및/또는 아래에 설정될 수 있다. 다른 실시예에서, 컴퓨터 시스템은 펜 기반 상호작용 컴퓨터 시스템이다.

본 발명에 따른 여러 특정한 실시예에 대한 이상의 설명은 예시와 설명을 목적으로 제공되었다. 그것들은 본 발명을 모두 망라하거나 개시된 바로 그 형태로의 한정을 의도한 것이 아니며, 전술한 교시에 비추어서 다양한 변경과 변형이 가능하다는 것은 명백하다. 본 발명은 특허청구범위와 그 등가물에 따라 해석될 수 있다.

이상에서 설명한 본 발명에 따르면, 동적으로 생성된 기록 표면의 인터페이스 영역과 상호작용함으로써 컴퓨터의 기능성(functionality)을 호출하는 방법 및 시스템을 제공할 수 있다.

Claims

컴퓨터로 구현되는, 사용자와의 인터페이싱 방법으로서,

표면 상에 기록 기기(writing device)에 의해 마킹(marking)이 만들어졌는지를 식별하는 단계;

상기 표면 상에서의 상기 마킹의 위치 및 크기를 식별하는 단계;

상기 마킹에 인접하여 위치되는 제1 인터페이스 영역의 위치 및 크기를 자동으로 계산하는 단계;

상기 제1 인터페이스 영역을 제1 컴퓨터 기능과 연관시키는 단계;

상기 제1 인터페이스 영역에 대한 사용자 선택에 응답하여, 상기 마킹과 연관된 데이터에 대해 상기 제1 컴퓨터 기능을 수행하는 단계

를 포함하는 사용자와의 인터페이싱 방법.
제1항에 있어서,

상기 제1 인터페이스 영역의 위치 및 크기는 상기 마킹의 위치 및 크기에 종속되는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제2항에 있어서,

상기 제1 인터페이스 영역의 높이는 상기 마킹의 높이에 종속되는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제3항에 있어서,

상기 제1 인터페이스 영역의 폭은 상기 마킹의 높이에 종속되는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제3항에 있어서,

상기 제1 인터페이스 영역의 폭은 고정되어 있는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제1항에 있어서,

상기 마킹은 단어이고, 상기 제1 인터페이스 영역은 눈에 보이지 않는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
컴퓨터로 구현되는, 사용자와의 인터페이싱 방법으로서,

기록 표면 상에 위치되어 있는 기록된 마킹이 사용자에 의해 선택되었는지를 식별하는 단계;

상기 기록된 마킹과 연관된 인터페이스 영역을 메모리로부터 액세스하는 단계;

상기 기록된 마킹에 인접하여 위치되는 제1 인터페이스 영역의 위치 및 크기를 자동으로 계산하는 단계;

상기 제1 인터페이스 영역을 제1 컴퓨터 기능과 연관시키는 단계; 및

상기 제1 인터페이스에 대한 사용자 선택에 응답하여, 상기 기록된 마킹과 연관된 데이터에 대해 상기 제1 컴퓨터 기능을 실행하는 단계

를 포함하는 사용자와의 인터페이싱 방법.
제1항 또는 제7항에 있어서,

상기 마킹에 인접하여 위치되고 상기 제1 인터페이스 영역과 중첩되지 않는, 상기 표면의 제2 인터페이스 영역의 위치 및 크기를 자동으로 계산하는 단계;

상기 제2 인터페이스 영역을 제2 컴퓨터 기능과 연관시키는 단계; 및

상기 제2 인터페이스 영역에 대한 사용자 선택에 응답하여 상기 데이터에 대해 상기 제2 컴퓨터 기능을 실행하는 단계

를 더 포함하는 사용자와의 인터페이싱 방법.
제8항에 있어서,

상기 제1 인터페이스 영역은 공간적으로 상기 기록된 마킹의 왼쪽에 위치되고,

상기 제2 인터페이스 영역은 공간적으로 상기 기록된 마킹의 오른쪽에 위치되는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제8항에 있어서,

상기 제1 인터페이스 영역은 공간적으로 상기 마킹의 위쪽에 위치되고,

상기 제2 인터페이스 영역은 공간적으로 상기 마킹의 아래쪽에 위치되는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제7항에 있어서,

상기 사용자 선택은, 사용자가 상기 기록 기기의 팁으로 상기 제1 인터페이스 영역 내에 위치한 상기 표면의 영역을 접촉함으로써 수행되는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제7항에 있어서,

제1 인터페이스 영역의 상기 위치 및 상기 크기는, 상기 기록된 마킹의 상기 인터페이스 영역의 위치 및 크기에 종속되는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제12항에 있어서,

상기 제1 인터페이스 영역의 높이는 상기 기록된 마킹의 상기 인터페이스 영역의 높이에 종속되는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제13항에 있어서,

상기 제1 인터페이스 영역의 폭은 상기 기록된 마킹의 상기 인터페이스 영역 의 상기 높이에 종속되는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제13항에 있어서,

상기 제1 인터페이스 영역의 폭은 고정되어 있는 것을 특징으로 하는 방법.
제7항에 있어서,

상기 기록된 마킹은 단어이고,

상기 제1 인터페이스 영역은 눈에 보이지 않는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
컴퓨터로 구현되는, 사용자와의 인터페이싱 방법으로서,

표면 상에 기록 기기에 의해 제1 마킹이 만들어졌는지를 식별하는 단계;

상기 표면 상에서의 상기 제1 마킹의 위치 및 크기를 식별하는 단계;

각각이 상기 제1 마킹에 인접하여 위치되지만 서로 중첩되지 않는, 복수의 제1 인터페이스 영역의 위치 및 크기를 각각 자동으로 계산하는 단계;

상기 복수의 제1 인터페이스 영역의 각 인터페이스 영역을 각각의 컴퓨터 기능과 연관시키는 단계; 및

상기 복수의 제1 인터페이스 영역의 첫 번째 인터페이스 영역에 대한 사용자 선택에 응답하여, 상기 제1 마킹과 연관된 데이터에 대해 제1 컴퓨터 기능을 수행하는 단계

를 포함하며,

상기 복수의 제1 인터페이스 영역의 각 인터페이스 영역은 상기 제1 마킹의 상기 크기에 기초하여 크기가 정해지고,

상기 제1 컴퓨터 기능은 상기 복수의 제1 인터페이스 영역의 상기 첫 번째 제1 인터페이스와 연관되어 있는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제17항에 있어서,

상기 표면 상에 상기 기록 기기에 의해 제2 마킹이 만들어졌는지를 식별하는 단계;

상기 표면 상에서의 상기 제2 마킹의 위치 및 크기를 식별하는 단계;

각각이 상기 제2 마킹에 인접하여 위치되지만 서로 중첩되지 않는, 복수의 제2 인터페이스 영역의 위치 및 크기를 각각 자동으로 계산하는 단계;

상기 복수의 제2 인터페이스 영역의 각 인터페이스 영역을 각각의 컴퓨터 기능과 연관시키는 단계; 및

상기 복수의 제2 인터페이스 영역의 첫 번째 인터페이스 영역에 대한 사용자 선택에 응답하여, 상기 제2 마킹과 연관된 데이터에 대해 상기 제1 컴퓨터 기능을 수행하는 단계

를 더 포함하며,

상기 복수의 제2 인터페이스 영역의 각 인터페이스 영역은 상기 제2 마킹의 상기 크기에 기초하여 크기가 정해지고,

상기 제1 컴퓨터 기능은 상기 복수의 제2 인터페이스 영역의 상기 첫 번째 인터페이스 영역과 연관되어 있는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제18항에 있어서,

상기 복수의 제1 인터페이스 영역에 대한 컴퓨터 기능은 상기 복수의 제2 인터페이스 영역에 대한 컴퓨터 기능과 동일한 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제17항에 있어서,

상기 복수의 제1 인터페이스 영역의 두 번째 인터페이스 영역에 대한 사용자 선택에 응답하여, 상기 제1 마킹과 연관된 데이터에 대해 제2 컴퓨터 기능을 실행하는 단계를 더 포함하며,

상기 제2 컴퓨터 기능은 상기 복수의 제1 인터페이스 영역의 상기 두 번째 인터페이스 영역과 연관되어 있는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제17항에 있어서,

상기 복수의 제1 인터페이스 영역은, 상기 첫 번째 인터페이스 영역과 두 번째 인터페이스 영역을 포함하고,

상기 첫 번째 인터페이스 영역은 공간적으로 상기 제1 마킹의 왼쪽에 위치되어 있고,

상기 두 번째 인터페이스 영역은 공간적으로 상기 제1 마킹의 오른쪽에 위치되어 있는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제17항에 있어서,

상기 복수의 제1 인터페이스 영역은, 상기 첫 번째 인터페이스 영역과 두 번째 인터페이스 영역을 포함하고,

상기 첫 번째 인터페이스 영역은 공간적으로 상기 제1 마킹의 위쪽에 위치되어 있고,

상기 두 번째 인터페이스 영역은 공간적으로 상기 제1 마킹의 아래쪽에 위치되어 있는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제17항에 있어서,

상기 사용자 선택은, 사용자가 상기 기록 기기로 상기 첫 번째 인터페이스 영역 내에 위치한 상기 표면의 영역을 접촉함으로써 수행되는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제17항에 있어서,

상기 복수의 제1 인터페이스 영역의 각 인터페이스 영역의 높이는 상기 제1 마킹의 높이에 기초하는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
제17항에 있어서,

상기 제1 마킹은 단어이고,

상기 복수의 제1 인터페이스 영역의 각 인터페이스 영역은 눈에 보이지 않는 것을 특징으로 하는 사용자와의 인터페이싱 방법.
필기 도구;

버스에 연결되어 있는 프로세서;

상기 버스에 연결되어 있는 메모리; 및

상기 버스에 연결되어 있고, 상기 필기 도구에 인접하여 배치되어 있는 광 검출기

를 포함하며,

상기 메모리는, 실행될 때 상기 프로세스로 하여금, 사용자와의 인터페이싱 방법을 구현하도록 하는 명령어를 포함하며,

상기 방법은

표면 상에 기록 기기에 의해 마킹이 만들어졌는지를 식별하는 단계;

상기 표면 상에서의 상기 마킹의 위치 및 크기를 식별하는 단계;

상기 마킹에 인접하여 위치되는 제1 인터페이스 영역의 위치 및 크기를 자동으로 계산하는 단계;

상기 제1 인터페이스 영역을 제1 컴퓨터 기능과 연관시키는 단계;

상기 제1 인터페이스 영역에 대한 사용자 선택에 응답하여, 상기 마킹과 연관된 데이터에 대해 상기 제1 컴퓨터 기능을 수행하는 단계

를 포함하는 것을 특징으로 하는 전자 기기.
제26항에 있어서,

상기 마킹에 인접하여 위치되고 상기 제1 인터페이스 영역과 중첩되지 않는, 상기 표면의 제2 인터페이스 영역의 위치 및 크기를 자동으로 계산하는 단계;

상기 제2 인터페이스 영역을 제2 컴퓨터 기능과 연관시키는 단계; 및

상기 제2 인터페이스 영역에 대한 사용자 선택에 응답하여 상기 데이터에 대해 상기 제2 컴퓨터 기능을 실행하는 단계

를 더 포함하는 것을 특징으로 하는 전자 기기.
제27항에 있어서,

상기 제1 인터페이스 영역은 공간적으로 상기 기록된 마킹의 왼쪽에 위치되어 있고,

상기 제2 인터페이스 영역은 공간적으로 상기 기록된 마킹의 오른쪽에 위치되어 있는 것을 특징으로 하는 전자 기기.
제27항에 있어서,

상기 제1 인터페이스 영역은 공간적으로 상기 마킹의 위쪽에 위치되어 있고,

상기 제2 인터페이스 영역은 공간적으로 상기 마킹의 아래쪽에 위치되어 있는 것을 특징으로 하는 전자 기기.
제26항에 있어서,

상기 사용자 선택은, 사용자가 상기 필기 도구의 팁으로 상기 제1 인터페이스 영역 내에 위치한 상기 표면의 영역을 접촉함으로써 수행되는 것을 특징으로 하는 전자 기기.
제26항에 있어서,

상기 제1 인터페이스 영역의 위치 및 크기는, 상기 마킹의 위치 및 크기에 종속되는 것을 특징으로 하는 전자 기기.
제31항에 있어서,

상기 제1 인터페이스 영역의 높이는 상기 마킹의 높이에 종속되는 것을 특징으로 하는 전자 기기.
제32항에 있어서,

상기 제1 인터페이스 영역의 폭은 상기 마킹의 높이에 종속되는 것을 특징으로 하는 전자 기기.
제26항에 있어서,

상기 마킹은 단어이고,

상기 제1 인터페이스 영역은 눈에 보이지 않는 것을 특징으로 하는 전자 기기.