KR100805259B1 - 사용자에 의해 생성되는 대화형 인터페이스 - Google Patents

사용자에 의해 생성되는 대화형 인터페이스 Download PDF

Info

Publication number
KR100805259B1
KR100805259B1 KR1020057025340A KR20057025340A KR100805259B1 KR 100805259 B1 KR100805259 B1 KR 100805259B1 KR 1020057025340 A KR1020057025340 A KR 1020057025340A KR 20057025340 A KR20057025340 A KR 20057025340A KR 100805259 B1 KR100805259 B1 KR 100805259B1
Authority
KR
South Korea
Prior art keywords
user
recognizing
memory unit
graphical
code
Prior art date
Application number
KR1020057025340A
Other languages
English (en)
Other versions
KR20060040612A (ko
Inventor
제임스 마그그라프
알렉스 치솜
티씨 에지콤
나다니엘 에이. 패스트
Original Assignee
리이프프로그 엔터프라이시스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/861,243 external-priority patent/US20060033725A1/en
Application filed by 리이프프로그 엔터프라이시스, 인코포레이티드 filed Critical 리이프프로그 엔터프라이시스, 인코포레이티드
Publication of KR20060040612A publication Critical patent/KR20060040612A/ko
Application granted granted Critical
Publication of KR100805259B1 publication Critical patent/KR100805259B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus

Abstract

대화형 장치를 보여 준다. 상기 대화형 장치는 스타일러스 하우징, 상기 스타일러스 하우징과 결합된 프로세서, 메모리 유닛, 및 음성 출력 장치를 포함하며, 상기 메모리 유닛은
(i)스타일러스를 사용하여 생성된 복수의 그래픽 요소를 인식하기 위한 컴퓨터 코드,
(ii)상기 스타일러스를 사용하여 사용자가 정의한 문자열에서 적어도 2개의 상기 그래픽 요소에 대한 선택을 인식하기 위한 컴퓨터 코드, 및
(iii)상기 형성된 그래픽 요소와 연관된 적어도 하나의 음성 출력을 수행하기 위한 컴퓨터 코드
를 포함한다.
대화형 장치, 스타일러스, 그래픽 요소, 메모리 유닛, 음성 출력 장치, 물품

Description

사용자에 의해 생성되는 대화형 인터페이스{USER CREATED INTERACTIVE INTERFACE}
본 발명은 사용자에 의해 생성되는 대화형 인터페이스에 관한 것이다.
스타일러스(stylus)를 사용하여 인쇄 매체(print medium)에서 인쇄 요소(print element)를 선택한 후에, 사용자가 피드백을 얻을 수 있도록 해주는 시스템들이 많이 있다.
그러한 시스템 중 하나는 미국특허 제5,485,176호(발명자: Ohara 등)에 기재되어 있다. 이 특허에서는, 사용자가 스타일러스를 사용하여 플랫폼(platform)에 있는 책에서 인쇄 요소를 선택한다. 플랫폼은 비디오 모니터에 연결되어 있다. 선택된 인쇄 요소에 해당하는 비주얼 출력(visual output)은 사용자가 인쇄 요소를 선택한 후에 비디오 모니터에 디스플레이된다.
미국특허 제5,485,176호에서 개시하는 시스템은 유용하지만 개선의 여지가 있다. 예를 들면, 상기 시스템은 음성 출력(voice output)에 보다는 주로 비주얼 출력을 만들어 내며 기록 기능(write capability)은 없다.
사용자가 피드백을 얻을 수 있게 해주는 또 하나의 시스템은 Brighteye TechnologyTM의 Scan-A-Page 또는 WordTM라고 하는 것이다. 이해한 바로는, 상기 시스템은 스캐닝 스타일러스와 광학 문자 인식 소프트웨어를 사용하는데, 이 소프트웨어는 개인용 컴퓨터에서 실행되어 인쇄된 단어를 인식한다. 한 단어가 스캐닝되어 인식된 후, 인식된 단어들은 합성된 음성으로 큰소리로 읽힌다. 이러한 시스템도 유용하기는 하지만, 대화 기능이 제한된다. 예를 들면, 이러한 시스템은 단어와 같은 인쇄 요소를 스캐닝한 다음에, 인쇄 요소에 관련된 음성을 듣도록 제한되어 있다.
상기한 시스템에는 다른 문제들도 있다. 예를 들면, 상기 시스템 중 어느 것도 사용자로 하여금 사용자 정의 애플리케이션(user difined application)을 생성할 수 있게 해주거나, 페이퍼 시트(sheet of paper) 또는 다른 매체에 사용자 대화형 시스템을 생성할 수 있게 해주지 않는다.
본 발명의 실시예는 이러한 문제점들과 그 밖의 문제점 등에 초점을 맞춰 설명할 것이다.
여기에 기술된 실시예는, 사용자가 페이퍼 위에 사용자 정의 애플리케이션을 생성할 수 있도록 해주고/해주거나, 사용자가 이전에 예상하지 못한 방식으로 페이퍼와 상호 작용할 수 있도록 해준다. 예를 들면, 어떤 실시예에서, 사용자는 대화형 스타일러스를 사용자 정의 사용자 인터페이스를 생성하기 위하여 사용할 수 있는데, 이는 페이퍼 위에 그래픽 요소(graphic element)를 생성함으로써 이루어진다. 이후에 사용자는 그래픽 요소와 상호 작용할 수 있는데, 펜 기반 컴퓨터(pen-based computer)가 존재하지 않는다는 것을 제외하고는, 우리가 펜 기반 컴퓨터와 상호 작용할 수 있는 방법과 유사하게 상호 작용할 수 있다.
사용자의 관점에서 보면, 생명이 없는 페이퍼가 생명력을 가지게 된 것이며, 사용자를 위한 기능적 인터페이스가 된 것이다.
일 실시예는, (a) 스타일러스를 사용하여 그래픽 요소를 생성하는 단계; (b) 그래픽 요소를 생성한 후, 복수의 메뉴 항목 중에서 적어도 하나의 메뉴 항목에 대한 응성 낭독을 청취하는 단계; 및 (c) 복수의 메뉴 항목으로부터 메뉴 항목을 선택하는 단계를 포함하는 방법에 관한 것이다.
다른 실시예는, 스타일러스 하우징; 프로세서; 메모리 유닛; 및 음성 출력 장치를 포함하는 대화형 장치에 관한 것이다. 이 실시예에서, 상기 메모리 유닛은 (i) 상기 스타일러스를 사용하여 사용자가 생성한 그래픽 요소를 인식하기 위한 컴퓨터 코드(computer code), (ii) 상기 그래픽 요소가 사용자에 의해서 생성된 후, 복수의 메뉴 항목 중에서 적어도 하나의 메뉴 항목에 대한 음성 낭독을 수행하기 위한 컴퓨터 코드, 및 (iii) 상기 복수의 메뉴 항목으로부터의 메뉴 항목에 대한 사용자 선택을 인식하기 위한 컴퓨터 코드를 포함한다.
또 다른 실시예는, (a) 스타일러스를 사용하여 복수의 그래픽 요소를 형성하는 단계; (b) 상기 스타일러스를 사용하여 사용자가 정의한 문자열(sequence)에서 적어도 2개의 그래픽 요소를 선택하는 단계; 및 (c) 상기 형성된 그래픽 요소에 관계된 적어도 하나의 음성 출력을 청취하는 단계를 포함하는 방법에 관한 것이다.
또 다른 실시예는, 스타일러스 하우징; 상기 스타일러스 하우징과 연결된 프로세서; 메모리 유닛; 및 음성 출력 장치를 포함하고, 상기 음성 출력 장치와 상기 메모리 유닛은 프로세서에 작동 가능하게 연결되어 있는 대화형 장치에 관한 것이다. 이 실시예에서, 상기 메모리 유닛은 (i) 스타일러스를 사용하여 생성된 복수의 그래픽 요소를 인식하기 위한 컴퓨터 코드, (ii) 상기 스타일러스를 사용하여 사용자가 정의한 문자열(sequence)에서 적어도 2개의 그래픽 요소에 대한 선택을 인식하기 위한 컴퓨터 코드, 및 (iii) 상기 생성된 그래픽 요소에 관계된 음성 출력을 수행하기 위한 컴퓨터 코드를 포함한다.
이들 및 다른 실시예를 이하에서 더욱 상세하게 설명한다.
도 1은 2차원 물품(two-dimensional article)과 대화형 장치를 포함하는 대화형 시스템의 개략도이다.
도 2는 2차원 물품과 플랫폼을 포함하는 대화형 장치를 포함하는 대화형 시스템의 개략도이다.
도 3은 본 발명의 실시예에 따른 대화형 장치의 몇몇 전자적인 구성요소를 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 트리 메뉴(tree menu)의 개략도이다.
도 5는 본 발명의 실시예에 따른 방법을 나타내는 흐름도이다.
도 6 (a) 및 (b)는, 스타일러스가 어떻게 그래픽 요소를 생성하고, 대화형 장치로 하여금 일련의 메뉴 항목을 제공하도록 그래픽 요소들과 상호 작용하여 사 용자에게 메뉴 항목을 선택하도록 할 수 있는지를 나타내는 개략도이다.
도 7은 본 발명의 실시예에 따른 방법을 나타내는 흐름도이다.
도 8은 사용자가 페이퍼 시트 상에 복수의 숫자를 써서 맞춤형 계산기(custom calculator)를 만들 수 있는 본 발명의 일 실시예를 나타낸 도면이다.
도 9 (a) 및 (b)는, 페이퍼 시트 상에 번역기를 만들 수 있는 방법을 설명하는 스트를 나타낸 도면이다.
도 10 (a)는 "워드 스크램블(word scramble)"이라고 하는 게임에 사용되는 원이 있는 시트를 나타낸 도면이다.
도 10 (b)는 또 다른 번역기 및 사전을 사용하는 방법을 나타내는, 마킹(marking)이 있는 시트를 나타낸다.
도 11 (a)는 알람 시계 기능을 사용하는 방법을 나타내는 시트이다.
도 11 (b)는 전화 리스트 기능을 사용하는 방법을 나타내는 시트이다.
도 12는 본 발명의 일 실시예에 따른 통신 시스템의 블록도이다.
본 발명의 실시예는 대화형 장치를 포함한다. 전형적인 대화형 장치는 스타일러스 하우징, 스타일러스 하우징과 연결된 프로세서, 메모리 유닛, 음성 출력 장치를 포함한다. 프로세서는 메모리 유닛 및 음성 출력 장치와 작동 가능하게 연결되어 있다. 몇몇 실시예에서, 메모리 유닛은, (i) 스타일러스를 사용하는 사용자에 의해 생성된 그래픽 요소를 인식하기 위한 컴퓨터 코드, (ii) 그래픽 요소가 사용자에 의해 생성된 후, 복수의 메뉴 항목 중에서 적어도 하나의 메뉴에 대한 음성 낭독을 수행하기 위한 컴퓨터 코드, (iii) 복수의 메뉴 항목으로부터의 메뉴 항목에 대한 사용자 선택을 인식하기 위한 컴퓨터 코드를 포함할 수 있다. 대안적으로, 또는 부가적으로 메모리 유닛은, (i) 스타일러스를 사용하여 생성된 복수의 그래픽 요소를 인식하기 위한 컴퓨터 코드, (ii) 스타일러스를 사용하여 사용자가 정의한 문자열에서 적어도 2개의 그래픽 요소에 대한 선택을 인식하기 위한 컴퓨터 코드, (iii) 생성된 그래픽 요소와 관계된 적어도 하나의 음성 출력을 수행하기 위한 컴퓨터 코드를 포함할 수 있다. 바람직하게, 대화형 장치는 독립적인(self-contained) 스타일러스 형태로 되어 있고, 프로세서, 메모리 유닛 및 음성 출력 장치는 스타일러스 하우징 내에 있다.
대화형 장치는 임의의 적당한 주제에 대해 가르치거나 배우는 데 사용될 수 있다. 예를 들면, 대화형 장치는 편지나 숫자, 수학(예: 덧셈, 뺄셈, 곱셈, 나눗셈, 대수 등), 사회학, 발음법(phonics), 언어, 역사 등과 같은 주제에 관해 가르치도록 프로그램될 수 있다.
몇몇 실시예에서, 대화형 장치는 페이퍼 시트 상에 실질적으로 보이지 않는 코드를 스캐닝할 수도 있다. 이러한 형태의 대화형 장치는 미국특허출원 제60/456,053호(출원일: 2003년 3월 18일) 및 제10/803,803호(출원일: 2004년 3월 17일)에 기재되어 있으며, 이들 특허문헌 전체를 인용하며, 이로써 그 내용 전부는 모든 목적을 위해 본 명세서에 포함된다.
대화형 장치는 프로세서에 동작 가능하게 연결된 광 방출기(optical emitter) 및 광 검출기(optical detector)를 포함할 수 있다. 대화형 장치는 복수 의 위치를 갖는 표면이 있는 물품(article) 상의 실질적으로 보이지 않는 코드를 광학적으로 스캐닝할 수 있다. 상이한 코드들이 각각 복수의 위치에 있으며, 표면 상의 복수의 위치(즉, 상대적 또는 절대적 공간 좌표)와 관련될 수 있다. 사용자는 상기 위치에 인쇄 요소와 같은 그래픽 요소를 형성할 수 있고/있거나, 사전 인쇄된(pre-printed) 인쇄 요소들이 그 위치에 존재할 수 있다.
"그래픽 요소"는 사용자에 의해 생성된 임의의 적당한 마킹을 포함할 수 있다. 마킹이 페이퍼 시트 상에 만들지는 경우에, 그래픽 요소는 인쇄 요소일 수 있다. 다르게는, 마킹은 LCD와 같은 소거 가능한 기록 매체 내에 있을 수 있다. 그러한 경우, 그래픽 요소는 가상(virtual) 그래픽 요소이다. 적당한 그래픽 요소로는 심볼(symbol), 문자(letter) 및 또는 숫자, 글자(character), 단어, 모양(shape), 선 등과 같은 표시(indicia)를 포함하지만, 이들로 한정되는 것은 아니다. 이것들은 형상이 규칙적 또는 불규칙적일 수 있고, 전형적으로 스타일러스를 사용하여 생성된다.
몇몇 실시예에서, 그래픽 요소는 선으로 둘러싸인 문자나 숫자를 포함할 수 있다. 문자나 숫자를 둘러싸는 선은 원, 타원, 사각형, 다각형 등이다. 이러한 그래픽 요소는 일반적인 문자와 숫자 대신에, 사용자가 선택할 수 있는 "버튼"과 유사하게 나타난다. 이러한 종류의 그래픽 요소를 생성함으로써 사용자는 기능성 아이콘(funtional icon)과 같은 그래픽 요소를 일반적인 문자나 숫자로부터 시각적으로 구별할 수 있게 된다. 또한, 이러한 종류의 그래픽 요소를 생성함으로써, 대화형 장치는 기능성 항목 또는 메뉴 항목 형태의 그래픽 요소를, 비기능성 항목 또 는 비메뉴 항목 형태의 그래픽 요소와 잘 구별할 수 있게 된다. 예를 들면, 사용자는 대화형 "메뉴" 아이콘을 생성하기 위해 둘레에 원을 그린 문자 "M"을 그래픽 요소로 생성할 수 있다. 대화형 장치는 기능성 그래픽 요소로서 원 또는 사각형이 중첩되어 있는 문자 "M"과, 단어에서의 문자 "M"을 구별하여 인식하도록 프로그램될 수 있다. 이러한 기능성 그래픽 요소를 인식하여 다른 비기능성 그래픽 요소와 구별하기 위한 컴퓨터 코드는, 대화형 장치 내의 메모리 유닛 내에 상주(reside)할 수 있다.
프로세서는 그래픽 요소를 인식할 수 있으며, 대화형 장치가 여러 가지 동작을 수행할 수 있도록 그래픽 요소의 위치를 알아낼 수 있다. 이 실시예에서, 메모리 유닛은, 사용자가 생성한 임의의 그래픽 요소를 표면 상의 그 위치와 상관시키는 컴퓨터 코드를 포함할 수 있다.
몇몇 실시예에서, 물품은 사전 인쇄된 인쇄 요소가 있거나 없는 페이퍼 시트일 수 있다. 이 페이퍼 시트 위에는 실질적으로 보이지 않(substantially invisible)는 코드를 가질 수 있다. 이 코드는 사용자의 눈에는 "실질적으로 보이지 않는" 것이고, 그 페이지에 있는 인쇄 요소의 절대적 위치 또는 상대적 위치에 상당할 수 있다. "실질적으로 보이지 않는" 코드는 또한 사용자의 눈에는 전혀 보이지 않거나 또는 약간 보이지 않는 코드를 포함한다. 예를 들면, 사용자의 눈에는 약간 보이지 않는 도트 코드(dot code)가 페이퍼 시트 위에 전체적으로 인쇄된다. 이 페이퍼 시트는 정상적인 거리에서 보면 밝은 회색 음영이 있는 것으로 그림자를 보인다. 경우에 따라서는, 사용자가 대화형 장치로 코드를 스캐닝한 후, 이 대화형 장치의 음성 출력 장치는 경적 소리(beeping sound)와 같은 획일적인 음성 출력과는 달리, 해당 코드에 관련된 그래픽 요소에 상응하는 특유의 음성 출력을 생성한다.
실질적으로 보이지 않는 코드는 도트 패턴(dot pattern)으로 구현되는 것이 바람직하다. 보이거나 "구별하기 힘들게" 인쇄된 도트 패턴을 읽는 기술은 존재하며, 상업적으로 입수할 수 있다. 이러한 인쇄된 도트 패턴은 실질적으로 사용자의 눈에는 보이지 않아서, 도트 패턴 속에 존재하는 코드들은 일상에서는 (바코드와는 달리) 사용자의 눈에 띄지 않는다. 도트 패턴은, 예를 들면, 이진 코딩(binary coding)에서처럼 1과 0을 표시할 수 있는 작은 도트와 큰 도트의 특정한 조합에 의해 구현될 수 있다. 도트 패턴은 인쇄 요소를 인쇄하는 데 사용되는 잉크와는 다른 잉크로 인쇄될 수 있기 때문에, 대화형 장치는 도트 패턴을 명확하게 읽을 수 있다.
스웨덴 회사인 Anoto는 패턴을 생성하는 알고리즘을 사용하는 기술을 사용하는데, 그 패턴은 상당한 분량의 문서에서의 사용에도 충돌이 발생하지 않는 매우 방대하고 유일한 데이터 공간을 가능하게 한다. 이 회사에서 사용한 기술로 생성된 패턴을 완전히 인쇄하면, 어떤 페이지에서든 2 제곱 센티미터의 유일한 인식력을 갖는 70조(trillion)의 8.5"×11" 페이지에 달한다. 특정한 도트 패턴을 포함하는 페이퍼는 Anoto사로부터 구입 가능하다. 다음의 특허 및 특허출원은 Anoto사에 양도되어 있고, 이러한 기본 기술을 기재하고 있으며, 이들 특허문헌의 전체를 인용하며, 이로써 그 내용 전부는 모든 목적을 위해 본 명세서에 포함된다: 모든 목적에 대해 전체로서 본 명세서에 포함된다: 미국특허 제6,502,756호, 미국특허출원 제10/179,966호(출원일: 2002년 6월 26일), WO 01/71473, W0 01/75723, WO 01/26032, WO 01/75780, WO 01/01670, WO 01/75773, WO 01/71475, WO 00/73983 및 WO 01/16691.
몇몇 실시예에서는, 도트 패턴에 데이터 불록 표시를 나타내는 데이터나, 음성 데이터, 유류 검출 데이터와 같은 다른 형태의 데이터는 없을 수 있다. 전술한 바와 같이, 대화형 장치의 프로세서는 룩업 테이블(lookup table)을 사용하여 스타일러스의 위치를 결정할 수 있으며, 음성을 검색하고 위치 정보에 근거하여 재생할 수 있다. 이것은 몇 가지 장점이 있는데, 예를 들면, 마커, 음성 및 오류 검출을 위한 데이터가 인쇄되어 있는 페이퍼와 비교해 보면, 본 발명의 실시예는 마커, 음성, 및 오류 검출을 위한 데이터를 페이퍼에 인쇄할 필요가 없기 때문에 필요한 도트가 더 적다. 예를 들면, 페이퍼에서 오디오 데이터를 생략함으로써 실제 음성 데이터가 페이퍼 상의 공간을 차지하지 않기 때문에, 페이퍼 상의 더 많은 공간을 상호 작용에 제공할 수 있다. 또한, 본 발명의 실시예에서는 음성용 컴퓨터 코드가 대화형 장치에 저장되기 때문에, 예를 들면 페이퍼 시트의 찢어짐 또는 구겨짐으로 인해 생성될 음성이 변형될 가능성이 없다.
여기서는 도트 패턴 형태의 코드를 구체적으로 설명하지만, 본 발명의 다른 실시예에서는 실질적으로 보이지 않는 다른 형태의 코드를 사용할 수 있다. 예를 들면, 적외선 바코드가 물품 상에 배열로 배치된다면 적외선 바코드도 사용될 수 있다. 예시적으로, 페이퍼 시트는 100×100 배열의 실질적으로 보이지 않는 바코 드를 포함할 수 있으며, 각각의 코드는 그 페이퍼 시트 상의 다른 x-y 위치와 관련되어 있다. 배열 내의 바코드의 상대적 위치 또는 절대적 위치는 대화형 장치의 메모리 유닛에 저장될 수 있다.
언급한 바와 같이, 바람직한 실시예에서는 실질적으로 보이지 않는 코드는 복수의 위치의 소재(所在, location) 및/또는 시트 상의 임의의 인쇄 요소와 직접적 또는 간접적으로 관련될 수 있다. 몇몇 실시예에서, 실질적으로 보이지 않는 코드는 시트(또는 다른 물품)에 복수의 위치의 소재와 직접적으로 관계될 수 있다. 이들 실시예에서, 시트 상의 상이한 위치의 소재는 코드 자체에 의해 제공될 수 있다. 예를 들면, 첫 번째 위치의 첫 번째 코드는, 시트 상의 첫 번째 위치에 대한 공간 좌표(예: 특정한 x-y 위치)의 코드를 포함할 수 있고, 두 번째 위치의 두 번째 코드는 시트 상의 두 번째 위치에 대한 공간 좌표의 코드를 포함할 수 있다. 사용자가 생성한 인쇄 요소와 같은 다른 그래픽 요소는, 시트 상의 다른 위치에 있을 수 있다. 이러한 인쇄 요소들은 코드 위에 형성될 수 있다. 예를 들면, 첫 번째 인쇄 요소는 첫 번째 코드와 중첩되는 첫 번째 위치에 형성될 수 있다. 두 번째 인쇄 요소는 두 번째 코드와 중첩되는 두 번째 위치에 형성될 수 있다. 사용자가 첫 번째 인쇄 요소를 형성하면, 스캐닝 장치는 형성된 첫 번째 인쇄 요소를 인식하고, 형성된 첫 번째 인쇄 요소와 관련된 첫 번째 코드를 실질적으로 동시에 스캐닝한다. 대화형 장치의 프로세서는 첫 번째 위치의 특정 공간 좌표를 결정할 수 있으며, 첫 번째 인쇄 요소를 공간 좌표와 서로 연관시킬 수 있다. 사용자가 두 번째 인쇄 요소를 형성하면, 스캐닝 장치는 형성된 두 번째 인쇄 요소를 인식하고, 실질적으로 동시에 두 번째 코드를 스캐닝한다. 그러면 프로세서는 두 번째 위치의 공간 좌표를 결정할 수 있으며, 두 번째 인쇄 요소를 공간 좌표와 서로 연관시킬 수 있다. 사용자는 그 후에 대화형 장치를 사용하여 사용자가 형성한 첫 번째및 두 번째 인쇄 요소를 선택할 수 있다. 예를 들면, 이하에서 언급하는 바와 같이, 이 방법을 사용하면 사용자는 빈 페이퍼 시트 상에 사용자가 정의한 인터페이스나 기능성 기기(device)를 생성할 수 있다.
대화형 장치는 또한 상대적 위치 또는 절대적 위치를 메모리 유닛 내에 있는 형성된 그래픽 요소와 매핑 또는 상관시키는 방법을 포함할 수 있다. 상기 방법은, 물품 상의 특정 그래픽 요소에 관련된 데이터를 물품 상의 특정 위치와 상호 관련시키는 룩업 테이블일 수 있다. 이 룩업 테이블은 메모리 유닛 내에 저장될 수 있다. 프로세서는 룩업 테이블을 사용하여 특정 위치에 있는 그래픽 요소를 식별하여, 수반하는 동작을 수행할 수 있다.
실질적으로 보이지 않는 코드를 가진 물품은 임의의 적당한 형태일 수 있다. 예를 들면, 그러한 물품은 단일 페이퍼 시트일 수도 있고, 노트 패드(note pade), 필러 페이퍼(filler paper), 포스터(poster), 플래카드(placard), 메뉴, 스티커(sticker), 탭(tap), 제품 패키징(product packaging), 상자, 트레이딩 카드(trading card), 자석(예: 냉장고 부착용 자석) 등일 수 있다. 이러한 형태 또는 다른 형태의 물품은, 사전 인쇄된 인쇄 요소와 함께 또는 단독으로 사용될 수 있다. 물품이 시트이면, 그 시트는 임의의 적당한 크기라도 가능하며, 임의의 적당한 재료로 만들어질 수 있다. 예를 들면, 상기 시트는 종이를 기반으로 할 수도 있고, 플라스틱 필름일 수도 있다.
몇몇 실시예에서는, 물품이 3차원 표면을 갖는 3차원 물품일 수 있다. 3차원 표면은 인간의 몸, 동물(예: 공룡), 차량, 글자 또는 다른 형상 등과 같은 몰ㄷ드형 형상(molded figure)을 포함할 수 있다. 전술한 바와 같이, 어떤 실시예에서 물품은 시트이고, 시트는 인쇄된 문자나 숫자 같은 사전 인쇄된 인쇄 요소가 없을 수 있다(인쇄된 문자나 숫자는, 예를 들면 사용자가 시트에 그래픽 요소를 생성하기 전에 만들어진 마킹이다). 다른 실시예에서, 사전 인쇄된 인쇄 요소는 시트 상에 있을 수 있다(예를 들면, 사용자가 시트 상에 그래픽 요소를 생성하기 이전). 사전 인쇄된 인쇄 요소는 숫자, 아이콘, 문자, 원, 단어, 심볼, 선 등을 포함할 수 있다. 예를 들면, 본 발명의 실시예는 사전 인쇄된 주문양식 또는 투표용지와 같은 사전 인쇄된 양식을 활용할 수 있다.
대화형 장치는 임의의 적당한 형태를 가질 수 있다. 일 실시예에서, 대화형 장치는 스타일러스와 같은 형태의 스캐닝 장치이며, 바람직하게는 포켓 사이즈(pocket-sized)이다. 스타일러스는 플라스틱이나 금속으로 이루어지는 스타일러스 하우징을 포함한다. 스타일러스 하우징에 손잡이 부분(gripping reigion)이 있을 수 있다. 대화형 장치가 가지고 다닐 수 있는 휴대형(portable)의 독립적인(self-contained) 스타일러스 형태이면, 대화형 장치는 무게가 약 4 온스(ounce)이고 배터리 수명은 약 40시간일 것이며, 프로세서(예를 들면, ASIC 칩을 포함)를 사용하여 대화형 장치의 기능을 제어할 수 있다. 스타일러스는 이어폰 잭, 데이터 포트, 플래시 메모리, 배터리, 그리고 스타일러스 팁(tip)에 광 스캐너(광 검출기와 광 방출기 구비), 및 스피커를 포함할 수 있다. 스타일러스의 하반부는 펜과 유사하며, 사용자의 엄지와 검지 사이에서 편리함이 느껴지도록 윗부분이 좀더 넓게 되어 있다.
다른 실시예에서, 대화형 장치는 스타일러스와 플랫폼(클립보드와 유사할 수 있음)으로 구성된다. 스타일러스는 플랫폼에 줄로 매어 있으며 스피커, 배터리, 플래시/카트리지 커넥터를 포함할 수 있다. 플랫폼은 편의상 시트에 고정될 수 있다.
광 방출기와 광 검출기를 구비한 대화형 장치를 상세하게 설명하였지만, 대화형 장치는 다른 형태를 가질 수 있으며, 광 방출기와 광 검출기를 포함할 필요가 없을 수도 있다. 예를 들면, 어떤 실시예에서, 대화형 장치는 타블렛(tablet) PC와 같은 타블렛 컴퓨터 형태일 수도 있고, 스타일러스를 사용하는 PDA 형태일 수도 있다. 이러한 기기는 시중에서 구입 가능하다. 타블렛 PC 또는 PDA의 메모리 유닛은 이 응용예에서 설명한 임의의 기능을 수행하기 위한 컴퓨터 코드를 포함할 수 있다. 그래픽 요소는 LCD에 생성될 수 있으며, 그 후 사용자는 여기서 설명한 방식에 따라, 생성된 그래픽 요소와 상호작용할 수 있다. 이 실시예에서, 스타일러스는 능동 전자소자(active electronics)를 포함할 수도 있고 포함하지 않을 수도 있다. 예를 들면, 많은 PDA에 존재하는 기술을 사용하여, 어떠한 전자 소자도 구비하지 않는 스타일러스를 본 발명의 실시예에서 사용할 수 있다. 이하에서 상세히 설명하는 바와 같이, 해당 기술분야의 당업자라면 여기에 기술된 다양한 발명의 기능을 상업적으로 입수 가능한 기기에 프로그램할 수 있다.
또 다른 실시예에서, 대화형 장치는 미국특허출원번호 제10/457,981호(출원일: 2003년 6월 9일)와, 2004년 5월 28일자로 미국에 특허출원되고(출원번호 미부여), 발명의 명칭이 "필체 인식을 포함하는 인쇄 매체 장치(Print Media Apparatus Including Handwriting Recognition)"(대리인 사건번호: 020824-009200US)에 기재된 형태일 수 있다. 이들 특허문헌은 인용에 의해 본 명세서에 인용되어 포함된다. 이들의 실시예에서, 대화형 장치는 표면, 프로세서, 복수의 제1 안테나 소자, 및 스피커와 같은 음성 출력 장치를 포함하는 플랫폼을 구비하는 전자기록 위치 측정 장치(electrographic position location apparatus)이다. 제2 안테나 소자와 필기기구를 포함하는 스타일러스는 플랫폼에 연결될 수 있다. 제1 안테나 소자는 신호 전송 안테나 소자일 수 있으며, 제2 안테나 소자는 신호 수신 안테나 소자(또는 그 반대도 가능)일 수 있다. 페이퍼 시트(실질적으로 보이지 않는 코드가 없는)는 소정의 위치에서 플랫폼에 나타날 수 있다. 제1 안테나 소자는 표면(따라서 페이퍼 시트)의 상이한 x-y 위치에서 상이한 신호(예를 들면, 진폭이 상이한 신호)을 전송할 수 있으며, 이러한 상이한 신호는 스타일러스 내의 제2 안테나 소자에 의해 수신될 수 있다. 따라서, 제1 안테나 소자와 제2 안테나 소자는 페이퍼를 통해 기능적으로 서로 연결될 수 있다. 따라서 사용자가 페이퍼 시트에 그래픽 요소를 생성하는 경우, 프로세서는 생성되는 그래픽 요소의 위치를 결정할 수 있다. 2004년 5월 28일자로 미국에 특허출원되고(출원번호 미부여), 발명의 명칭 "필체 인식을 포함하는 인쇄 매체 장치(Print Media Apparatus Including Handwriting Recognition)"(대리인 사건 번호: 020824-009200US)(이 특허문헌의 전체를 인용하 며, 내용 전부는 본 명세서에 포함됨)에 기재된 바와 같이, 프로세서는 또한 어떤 그래픽 요소가 시중에서 구입 가능한 문자 인식 소프트웨어를 사용하여 생성되고 있는지 결정할 수 있다. 상기 특허문헌에 기재된 바와 같이, 문자 인식 소프트웨어는 미국 워싱턴주 사마미쉬 소재의 Xpert Eye, Inc.(www.experteye.com) 및 프랑스 파리 소재의 Vision Objects, Inc.로부터 구입할 수 있다. 이들 회사에서 판매하는 타입과 같은 소프트웨어는, 여기서 설명하는 어떠한 대화형 장치에서나 사용될 수 있다. 이 소프트웨어가 페이퍼를 사용하는 전자기록 위치 측정 장치(또는 여기서 언급된 다른 대화형 장치의 실시예)에서 사용되는 경우, 이 소프트웨어는 페이퍼 위에 사용자에 의해서 생성된 그래픽 요소를 인식할 수 있다. 이하의 많은 예로부터 분명하게 알 수 있는 바와 같이, 사용자에 의해 생성된 그래픽 요소를 결정하고, 그 그래픽 요소들의 위치를 결정함으로써 많은 유용한 기능이 대화형 장치에 의해 수행될 수 있다.
도 1은 본 발명의 실시예에 따른 시스템을 나타낸다. 시스템은 대화형 장치(100) 및 물품(70)을 포함한다. 대화형 장치(100)는 스타일러스 형태이다.
대화형 장치(100)는 스타일러스 하우징(62) 내에 프로세서(32)를 포함한다. 스타일러스 하우징(62)은 직접 또는 물리적 구조를 개재하여 프로세서(32)와 연결되어 있다. 대화형 장치(100)는 또한 프로세서(32)와 연결된 음성 출력 장치(36) 및 디스플레이 장치(40)를 포함한다. 음성 출력 장치(36)는 스피커와 오디오 잭(이어폰 또는 헤드폰 잭)을 포함할 수 있다. 디스플레이 장치(40)는 LCD를 포함하거나 임의의 다른 적당한 디스플레이 장치를 포함할 수 있다. 또한 도시되지 않았 지만 촉감으로 느낄 수 있는 피드백(tactile feedback)(도시되지 않음)을 제공하는 장치가 스타일러스 하우징(62)에 있을 수 있다.
몇몇 실시예에서는, 디스플레이 장치(40)는 스타일러스 하우징(62)에 물리적으로 연결될 수 있다. 다른 실시예에서, 디스플레이 장치(40)는 대화형 장치(100)의 다른 부분과 분리될 수 있으며, 무선 데이터 전송 방식(예를 들면, 적외선 신호 데이터 전송 방식)에 의해 다른 부분과 통신할 수 있다. 이러한 분리된 디스플레이 장치(40)는 사용자에게 대화형 장치(100)와의 상호작용을 통해 만들어지는 비주얼 피드백(visual feedback)을 볼 수 있는 기능을 제공하며, 교실에 적합하다.
또한 입력 버튼(38)도 있으며, 전기적으로 프로세서(32)와 연결되어 사용자가 시작, 중지, 엔터(enter)와 같은 정보를 대화형 장치(100)에 입력할 수 있게 해주고/해주거나, 장치(100)를 온/오프할 수 있게 해준다. 배터리와 같은 전력원(power source)(34)은 하우징(62) 내에 있으며, 프로세서(32)와 다른 대화형 장치(100)의 다른 구성요소에 전력을 공급한다.
광 방출기(44)와 광 검출기(42)는 스타일러스 형상의 대화형 장치(100)의 일단부에 위치한다. 광 방출기(44)와 광 검출기(42)는 프로세서(32)에 연결되어 있다. 광 방출기(44)는 예를 들면 LED 또는 다른 광원일 수 있으며, 광 검출기(42)는 예를 들면 CCD(charge coupled device)를 포함할 수 있다.
프로세서(32)는 대화형 장치(32)의 기능을 구현하기 위하여 적당한 전자 소자를 포함할 수 있다. 예를 들면, 프로세서(32)는 마이크로프로세서를 포함할 수 있는데, 이 마이크로프로세서는 광 검출기(42)로부터 수신된 신호를 디지털 신호로 바꿔주는 AD 컨버터(analog-to-digital converter)는 물론, 음성 합성을 위한 음성 합성회로, 음성 증폭을 위한 증폭회로, 대화형 장치(100)에 대한 입력 및 대화형 장치(100)에 의해 공급되는 출력을 제어하기 위한 회로를 포함할 수 있다.
메모리 유닛(48)도 또한 대화형 장치(100)에 존재한다. 메모리 유닛(48)은 프로세서(32)에 연결되어 있다. 메모리 유닛(48)은 ROM이나 플래시 메모리 카트리지와 같은 착탈형(removable) 메모리 유닛일 수 있다. 다른 실시예에서 메모리 유닛(48)은 하우징(62)에 완전히 내장된 하나 이상의 메모리 유닛(예를 들면, RAM, ROM, EEPROM 등)을 포함할 수 있다. 다른 실시예에서, 메모리 유닛(48)은 스타일러스 하우징(62)에 내장 또는 외장된 2개 이상의 메모리 장치의 조합을 포함할 수 있다.
메모리 유닛(48)은 적당한 자기적, 전자적, 전자기적, 광학적, 또는 전자 광학적 데이터 저장장치를 포함할 수 있다. 예를 들면, 하나 이상의 반도체 기반 장치들이 메모리 유닛(48) 내에 존재할 수 있다.
메모리 유닛(48)은 대화형 장치(100)의 임의의 기능을 수행하기 위한 컴퓨터 코드를 포함한다. 예를 들면, 메모리 유닛(48)은 인쇄된 문자를 인식하기 위한 컴퓨터 코드, 사용자가 손으로 쓴 필체(handwriting)를 인식하여 사용자의 필체를 해석하기 위한 컴퓨터 코드(예: 필체의 문자 인식 소프트웨어), 물품 상의 위치를 각각의 인쇄 요소와 관련시키기 위한 컴퓨터 코드, 텍스트를 음성으로 변환하기 위한 컴퓨터 코드(예: 텍스트 음성(text to speech) 변환 엔진), 메뉴 항목을 낭독하기 위한 컴퓨터 코드, 언어 번역을 수행하기 위한 컴퓨터 코드(영어 타언어(English- to-foreign) 사전) 등을 포함할 수 있다. 텍스트를 음성으로 변환하는 소프트웨어는 많은 벤더(vendor)로부터 구매할 수 있다. 메모리 유닛(48)은 또한 음성 출력과 비주얼 출력을 위한 코드도 포함할 수 있다. 예를 들면, 음향 효과를 위한 코드, 단어를 음성으로 읽어주기 위한 코드, 수업계획과 강의를 위한 코드, 질문을 위한 코드 등은 모두 메모리 유닛(48)에 저장될 수 있다. 이와 같은 음성 출력을 위한 코드는 물품 자체 상에서가 아니라, 대화형 장치의 전원이 꺼지더라도 데이터가 유지될 수 있도록 영구적 또는 반영구적 방법으로 비휘발성 메모리에 저장될 수 있다. 이 응용예에서 설명하는 이러한 기능 및 다른 기능을 위한 컴퓨터 코드는 메모리 유닛(48)에 포함될 수 있으며, C, C++ 등을 포함하는 적당한 프로그래밍 언어를 사용하여 생성될 수 있다.
기록 소자(write element)(52)는 광 방출기(44)와 광 검출기(42)와 같은 스타일러스 모양의 대화형 장치(100)의 단부에 있다. 기록 소자(52)는 마커, 크레용, 펜 또는 연필을 포함할 수 있고, 접을 수 있거나 접을 수 없을 수 있다. 사용자는 기록 소자 외부로 밀어내거나 스타일러스 하우징 안으로 끌어들이기 위해 액추에이터를 작동할 수 있다. 이것을 사용하면, 사용자는 스타일러스 형상의 대화형 장치(100)를 잡고 이것을 사용하여 시트에 쓸 수 있다. 광 방출기(44)와 광 검출기(42)를 사용하여, 사용자의 마킹을 스캐닝할 수 있으며, 프로세서(32)는 사용자가 쓴 것을 해석할 수 있다.
도 1에 나타낸 물품(70)은 2차원이며, 예를 들면 페이퍼 시트일 수 있다. 도 1에서, 문자 A, B, C, D는 물품(70) 상의 다른 위치를 나타낸다. 물품(70) 상의 서로 다른 위치 A, B, C, D는 도시하지는 않았지만 서로 다른 코드와 인쇄 요소를 가질 수 있다. 코드와 인쇄 요소는 위치 A, B, C, D에 중첩될 수 있다. 상이한 코드들은 사용자의 눈에 실제적으로는 보이지 않으며, 사용자는 일반적으로 사용할 때는 육안으로 그 코드를 볼 수 없다.
예시적으로, 사용자는 메뉴 아이콘을 생성하기 위해 대화형 장치(100)에 기록 소자(52)를 사용하여 물품(70)에 원으로 둘러싸인 문자 "M"을 생성할 수 있다. 원으로 둘러싸인 문자 "M"(도 1에는 도시되지 않음)은 위치 A 상의 실질적으로 보이지 않는 코드 위의 위치 A에 인쇄된다. 사용자가 나중에 문자 "M"을 선택하여 스캐닝하면, 광 방출기(44)는 위치 A에 있는 실질적으로 보이지 않는 코드에서 반사되고, 광 검출기(42)에 의해 수신되는 광 신호를 생성한다. 프로세서(32)는 위치 A의 소재를 결정하고 메모리 유닛(48)으로부터 문자 "M"에 해당하는 오디오를 검색하여 관련된 기능을 수행한다. 예를 들면, 대화형 장치(100)가 문자 "M"을 선택하기 위해 사용되고, 위치 A에 있는 실질적으로 보이지 않는 코드를 스캐닝한 후, 프로세서(32)는 대화형 장치(100)를 메뉴 인터랙션 모드(menu interaction mode)로 바꿀 수 있다. 그에 따라, 사용자는 메뉴 항목들을 스크롤하여 메뉴 항목을 선택할 수 있다. 프로세서(32)는 문자 "M"에 대한 각각의 연속적인 선택 후, 음성 출력 장치(36)로 하여금 사용자를 위한 메뉴 항목 리스트를 생성하도록 한다. 예를 들면, 대화형 장치(100)로 첫 번째 선택한 문자 "M"은 음성 출력 장치(36)로 하여금 "계산기(calculator)"를 낭독하게 할 수 있고, 대화형 장치(100)로 두 번째 선택한 문자 "M"은 음성 출력 장치(36)로 하여금 "번역기(translator)"를 낭독하게 할 수 있는 등이다. 생성된 그래픽 요소의 연속적인 선택 각각은, 대화형 장치로 하여금 상이한 메뉴 항목을 낭독하도록 할 수 있다.
기록 소자(52)는 물품(70) 상의 특정 위치에 기록하기 위해 사용될 수 있다. 적절한 필체 인식 및 광학 문자 인식 소프트웨어(이것은 메모리 유닛(48) 내에 컴퓨터 코드로 저장될 수 있다)를 사용하여, 프로세서(32)는 사용자의 기록을 해석할 수 있으며, 프로세서(32)는 사용자가 무엇을 썼는지와 사용자가 쓰고 있는 위치의 특정한 소재를 결정할 수 있다. 이하에 더욱 구체적으로 설명하는 바와 같이, 이 정보를 이용하면, 이 시스템과 대화형 장치는 언어 번역 혹은 수학적 연산과 같은 한층 복잡한 작업을 수행할 수 있는데 적합할 수 있다.
도 2는 본 발명의 또 다른 실시예를 나타낸다. 본 실시예에서, 동일한 도면부호는 동일한 구성요소를 가리키며, 이미 설명된 동일한 요소에 대해서는 반복하지 않는다. 그러나, 이 실시예에서, 대화형 장치(100)는 스타일러스[100(a)]와 플랫폼[100(b)]을 포함한다. 케이블(102)은 플랫폼[100(b)]을 스타일러스[100(a)]에 연결한다. 플랫폼[100(b)]은 2차원 물품(70)을 지지한다. 이 실시예에서는 프로세서(32), 전력원(34), 음성 출력 장치(36), 버튼(38), 메모리 유닛(48) 등이 스타일러스[100(a)]가 아니고 플랫폼[100(b)] 내에 존재한다. 다른 실시예에서는 연결 케이블을 구비하지 않을 수도 있으며, 스타일러스[100(a)]와 플랫폼[100(b)](또는 다른 베이스 유닛) 사이에 무선 링크가 있을 수 있다.
도 2에 도시된 실시예에서는, 스타일러스[100(a)]에 더 적은 전자 소자가 존 재한다. 따라서, 스타일러스[100(a)]를 도 1에 나타낸 스타일러스 형상의 대화형 장치보다 부피가 더 작게 만들 수 있다. 사용하는 물품이 페이퍼 시트인 경우, 시트가 지지되도록 플랫폼(100(b)) 상에 놓을 수 있다.
도 3은 본 발명의 실시예에 따른 대화형 장치에서 사용될 수 있는 전기 소자의 블록도를 나타낸다. 대화형 장치는 하나의 프로세서(101)와 상기 프로세서에 연결된 메모리 유닛(103)을 포함할 수 있다. 프로세서(101)와 메모리 유닛(103)은 하나 이상의 컴퓨터칩과 단독 또는 하나 이상의 착탈형 메모리 저장 기기(예를 들면, 메모리 스틱, 메모리 카드 등)에 의해 구현될 수 있다. 몇몇 실시예에서 프로세서(101)는 특정 용도 회로(application specific circuit)를 포함할 수 있으며, 음성 합성 모듈은 프로세서(101)와 연계되어 있을 수 있다(예: 프로세서 내부에 존재하거나 프로세서에 연결됨). 광 검출기(105)와 광 방출기는 또한 작동 가능하게 프로세서(101)에 연결되어 있다. 디스플레이 장치(111)(예: LCD 또는 LED 스크린)와 음성 출력 장치(109)(예: 스피커 또는 이어폰)도 프로세서(101)에 연결되어 있을 수 있다. 이러한 구성요소에 관련한 추가적 예시적인 세부사항은 이상 및 이하에 제시된다.
본 발명의 실시예에서, 사용자가 그래픽 요소를 생성하고, 이이서 상기 그래픽 요소를 선택한 후, 복수의 메뉴 항목이 음성 형태로 사용자에게 제공될 수 있다. 그러면, 사용자는 메뉴 항목 리스트로부터 메뉴 항목을 선택할 수 있다. 메뉴 항목은 디렉토리 명칭, 하위 디렉토리 명칭, 애플리케이션 명칭, 특정 데이터 세트 명칭을 포함할 수 있다. 디렉토리와 하위 디렉토리 명칭의 예는, "tools"( 예: 많은 상이한 환경 하에서 응용할 수 있는 대화형 기능을 위한 것),"reference" 예: 사전과 같은 참고용 자료를 위한 것), "games"(예를 들면, 상이한 게임을 위한 것) 등이다. 특정 응용(또는 하위 디렉토리) 명칭의 예는 "calculator", "spell checker", "translator"를 포함한다. 데이터 세트의 특정한 예는 한 세트의 외국 단어와 그 정의, 전화 목록, 달력, 계획 리스트 등을 포함할 수 있다. 메뉴 항목의 추가적인 예는 도 4에 나타나 있다.
특정 오디오 교육이 다양한 메뉴 항목을 제공할 수 있다. 예를 들면, 사용자가 "calculator" 메뉴 항목을 선택하면, 대화형 장치는 사용자에게 페이퍼 시트 위에 숫자 0에서 9, 연산 부호 +, -, ×, /, =을 그린 다음, 수학 계산을 수행하기 위한 숫자를 선택하도록 지시할 수 있다. 또 다른 예에서, 사용자가 "translator" 메뉴 항목을 선택하면, 대화형 장치는 사용자에게 제2 언어의 종류명을 쓰고 주위를 원으로 둘러싸서 표시하게 한다. 사용자기 이렇게 하면 대화형 장치는 사용자에게 하나의 단어를 영어로 쓰게 하고, 쓴 단어가 제2 언어로 번역되어 낭독되도록 원으로 표시한 제2 언어를 선택하게 한다. 그렇게 하면, 대화형 장치의 음성 출력 장치는 상기 단어를 제2 언어로 낭독할 수 있을 것이다.
도 4는 본 발명의 실시예에 따른 메뉴 항목 트리 디렉토리(menu item tree directory)를 나타낸다. 메뉴 항목 트리 디렉토리는 메뉴 M 심볼에서 시작해 음성 메뉴를 구현할 수 있다.
도 4의 위로부터 시작하면, 첫 번째 음성 하위 디렉토리는 도구 T(Tools) 하위 디렉토리가 된다. 도구 T 하위 디렉토리 아래에는 번역기 TR(Translator) 하위 디렉토리, 계산기 C(Calculator) 하위 디렉토리, 스펠체커 SC(Spell Checker) 하위 디렉토리, 개인비서 PA(Personal Assistant) 하위 디렉토리, 자명종 AL(Alarm Clock) 하위 디렉토리, 가정교사 TU(Tutor) 기능 등이 있다. 번역기 TR 하위 디렉토리에는 스페인어 SP(Spanish), 프랑스어 FR(French), 독일어 GE(German) 번역기 기능이 있다. 개인비서 PA 하위 디렉토리 밑에는 달력 C(Calendar), 전화번호 리스트 PL(Phone List), 계획 리스트 TD(To Do List) 기능 또는 하위 디렉토리가 있다.
참조 R 하위 디렉토리 밑에는 동의어 사전 TH(Teasaurus) 기능, 사전 D(Dictionary) 하위 디렉토리, 도움기능 H(Help) 기능 등이 있다. 사전 D 하위 디렉토리 밑에는 영어 E(English) 기능, 스페인어 SP(Spanish) 기능, 프랑스어 FR(French) 기능 등이 있다.
게임 G(Game) 하위 디렉토리 밑에는 워드스크램블 WS(Word Scramble), 펀키 포테이토 FP(Funky Potatoes), 두들러 DO(Doodler) 등이 있다. 다른 게임도 본 발명의 다른 실시예에 있을 수 있다.
시스템 S 하위 디렉토리 밑에는 보안 SE(Security) 기능, 개인화 P(Personalization) 기능 등이 있을 수 있다.
상기 디렉토리, 하위 디렉토리 및 기능 중 일부에 관한 구체적 사항을 이하에 제시한다.
메뉴 항목 트리 디렉토리에 의해 예시된 바와 같이, 사용자는 다양한 메뉴 항목의 낭독을 들으면서, 디렉토리 상의 원하는 경로를 따라 내려갈 수 있으며, 그 런 다음에는 원하는 메뉴 항목을 선택할 수 있다. 원하는 메뉴 항목의 연속적인 선택은 임의의 적절한 방법으로 발생할 수 있다.
예컨대, 몇몇 실시예에서는, 사용자가 대화형 장치를 활용하여 생성된 그래픽 요소에 다운 터칭(down touching)하여 오디오 메뉴를 스크롤할 수 있게 한다. 다운 터칭은 적절한 방법을 사용하여 대화형 장치 내의 전자회로를 통해 인식될 수 있다. 예를 들면, 대화형 장치는 선택된 그래픽 요소를 향해 아래로 이동하는 것과 관련된 이미지 변화를 인식하도록 프로그램될 수 있다. 또 다른 예에서는, 대화형 장치의 단부가 페이퍼에 압력을 가하면, 압력 스위치가 작동하도록 대화형 장치에 감압성 스위치(perssure sensitive switch)를 설치할 수 있다. 이것은 대화형 장치가 오디오 메뉴를 스크롤하도록 알려준다. 예를 들면, 대화형 장치를 사용하여 원으로 둘러싼 문자 "M"을 선택한 후(이로써 대화형 장치의 압력 스위치가 작동된다), 대화형 장치의 음성 출력 장치는 "tools"를 낭독할 수 있으며, 그 밖의 어떤 동작도 하지 않는다. 사용자는 음성 출력 장치가 메뉴 항목 "reference'를 낭독하도록 두 번째로 원으로 둘러싼 문자 "M"을 선택할 수 있다. 이것은 음성 메뉴를 스크롤하면서 원하는 만큼 자주 반복될 수 있다. 특정한 메뉴 항목을 선택하기 위해 사용자는 페이퍼 위에 특수한 마크를 생성하거나 스캐닝 장치에 특수한 제스처를 줄 수 있다. 예를 들면, 사용자는 하위 디렉토리 "tools"를 선택하는 단어 "tools"를 들은 후, 원으로 둘러싼 문자 "M" 옆에 체크마크("checkmark")(또는 다른 그래픽 요소)를 그릴 수 있다. 이와 같은 방법을 사용하여 사용자는 메뉴 항목 트리에서 의도하는 디렉토리, 하위 디렉토리 혹은 기능으로 진행할 수 있다. 다른 그래픽 요소나 제스처를 생성하여, 대화형 장치로 하여금 위로 스크롤하로록 사용할 수 있다. 다른 방법으로는 버튼 또는 다른 액추에이터(actuator)를 대화형 장치 내부에 설치하여 메뉴를 스크롤할 수도 있다.
다른 실시예에서는, 원으로 둘러싼 문자 "M"을 생성한 후, 사용자가 상기 원으로 둘러싼 문자 "M"을 선택할 수 있다. 스캐닝 장치의 소프트웨어는 원으로 둘러싼 문자 "M"을 메뉴 심볼로 인식하고, 스캐닝 장치로 하여금 메뉴 항목들, 즉 "tools", "reference", "games", "system" 등을 사용자의 다운 터칭 없이 차례로 그리고 일정한 시간 간격으로 낭독하게 한다. 음성 지시가 사용자에게 제공될 수 있다. 예컨대, 대화형 장치가 'tools' 디렉토리를 선택하고, 문자 'T'를 쓴 다음 그것을 원으로 둘러싸시오"라고 말할 수 있다. 메뉴 항목을 선택하려면 사용자는 문자 "T"를 생성하고 그것을 원으로 둘러쌀 수 있다. 이것은 대화형 장치에게 사용자가 하위 디렉토리 "tools"를 선택했음을 알려준다. 그런 다음에 대화형 장치는 사용자를 위해 "tools" 디렉토리 아래의 메뉴 항목을 낭독할 수 있다. 따라서 메뉴 항목 트리에서 어느 특정 디렉토리, 하위 디렉토리 또는 기능으로 직접 가는 것이 가능한데 그러기 위하여는 시트에 그러한 디렉토리, 하위 디렉토리, 기능 등을 나타내는 그래픽 요소를 생성해야 한다.
도 5는 본 발명의 실시예에 따른 방법을 설명하는 흐름도를 보여 준다. 본 방법은, 사용자가 그래픽 요소(400)를 생성하도록 촉구하는 것을 포함한다. 프롬프트(prompt)는 대화형 장치에 의해 생성된 음성 프롬프트일 수 있으며 사용자가 페이퍼 시트에 단어, 글자, 심볼 또는 다른 그래픽 요소를 쓰도록 한다. 대화형 장치는 생성된 그래픽 요소(402)를 인식하여, 사용자(404)에게 메뉴 항목 리스트를 낭독해준다. 그러면 사용자는 메뉴 항목을 선택하며, 대화형 장치는 선택된 메뉴 항목을 인식하고 선택된 메뉴 항목을 기반으로 자신의 동작을 변화시킨다. 대화형 장치는 이러한 단계가 수행될 수 있도록 프로그램될 수 있으며, 이러한 단계를 수행하기 위한 컴퓨터 코드는 메모리 유닛에 있을 수 있다.
도 6 (a)와 (b)는, 도 5에서 도시된 흐름도에 따른 방법이 어떻게 작동하는 지에 관한 실례를 보여 준다. 먼저, 독립적인 스타일러스 형태를 가진 대화형 장치는 사용자로 하여금 그래픽 요소를 생성하도록 촉구할 수 있다(단계 400). 사용자는 페이퍼 시트(202)에 하나 이상의 그래픽 요소를 생성할 수 있다. 본 예에서는 그래픽 요소(206)는 문자 M(202) 주위를 원(204)으로 둘러싼 문자 M(202)을 포함할 수 있다. 이 그래픽 요소(206)는 대화형 장치(100)에 있는 기록 소자(도시되지 않음)로 그려 진다.
그래픽 요소(206)를 생성한 후, 대화형 장치(100)는 많은 메뉴 항목을 낭독할 수 있다(단계 404). 예컨대, 대화형 장치(100)는 사용자가 주위에 원(204)으로 둘러싸인 문자 M(202)을 가진 그래픽 요소(206)의 기록을 완료했다는 것을 인식할 수 있다. 전술한 바와 같이, 대화형 장치(100)는 그 안에 광학 문자 인식 소프트웨어를 구비할 수 있으며, 대화형 장치(100)는 문자 "O"와 문자 "M"의 중복(즉 동일한 물리적 위치 내에 있음)은 사용자가 대화형 장치(206) 내부에 오디오 메뉴를 활성화시켰음을 나타낸다는 것을 인식하도록 프로그램될 수 있다(단계 406). 대화형 장치(100)는 또한 사용자가 대화형 장치(100)를 사용한 후, 그래픽 요소 (206)를 재선택하도록, 하위 디렉토리 이름이 낭독되도록 프로그램될 수 있다. 예컨대 대화형 장치(100)로 그래픽 요소(206)에 4번 연속 다운터치하는 것은 대화형 장치(100)로 하여금 하위 디렉토리 이름 "tools", "reference", "games", "system" 각각을 낭독하게 한다.
특정한 메뉴 항목, 디렉토리, 하위 디렉토리에 대한 선택을 가리키려면 사용자는 또 하나의 그래픽 요소를 생성하거나 대화형 장치(100)로 제스처를 만들 수 있다. 예컨대 만약 사용자가 "tools" 하위 디렉토리를 따라 내려가기를 원한다면 사용자는 선택이 이루어졌다는 것을 나타내기 위하여 시트(202) 상에 체크마크(208)를 그릴 수 있다. 체크마크를 그린 후 "calculator", "spell checker", "personal assistant", "tutor"와 같은 단어들은, 대화형 장치(100)가 시트(202) 상에 각각에 대한 선택 또는 다운 터칭 후, 대화형 장치(100)에 의해 낭독될 수 있다. "calculator" 기능은 사용자가 대화형 장치(100)의 동작 모드를 계산 기능으로 변경시키기 위해 낭독된 "calculator"를 들은 후에 선택될 수 있다(단계 408). 사용자는, 사용자가 계산 기능을 선택했다는 것을 나타내기 위해 시트(202)에 또 다른 체크마크(도시되지 않음)를 그릴 수 있다.
도 7은 본 발명의 또 다른 실시예를 설명하는 흐름도를 보여 준다. 본 방법에서는 대화형 장치가 사용자에게 적어도 2개의 그래픽 요소를 생성하도록 촉구한다(단계 500). 대화형 장치는 그런 다음, 사용자에 의한 그래픽 요소의 선택과 순서를 인식한다. 다음에 대화형 장치는 선택된 그래픽 요소에 관련된 적어도 하나의 출력을 제공한다(단계 504). 적어도 한 개의 출력은 어떤 방법으로도 선택된 그래픽 요소와 연관될 수 있다. 예컨대 적어도 한 개의 출력은 그래픽 요소의 내용과 관계된 하나 이상의 소리를 포함할 수 있다. 예를 들면 아래의 계산기 예에서 1과 4와 같은 두 숫자는 페이퍼 시트에 쓰여 질 수 있다. 사용자는 그 숫자를 더하기 위하여 그들을 선택할 수 있다. 음성 출력 "5"가 대화형 장치에 의해 제공되며, 선택된 그래픽 요소 1과 4에 관련될 수 있다. 또 하나의 예에서는 이하에 설명하는 워드 스크램블 게임에서 보여 주는 바와 같이, 원이 페이퍼 시트 상에 그려 질 수 있으며, 단어들(상기 페이퍼 시트에는 쓰여져 있지 않는)이 그 원들과 관련될 수 있다. 사용자가 그 원들을 특정 순서로 선택하면, 선택된 원의 순서에 해당하는 일련의 단어들이 대화형 장치로부터 낭독된다. 대화형 장치에 의해 제공되는 소리는 선택된 그래픽 요소와 관계되지만 반드시 그래픽 요소의 내용과 관계되는 것은 아니다.
도 7에서 나타낸 방법을 구현하는 예를 도 8에 도시한다. 도 8은 사용자가 빈 페이퍼로부터 어떻게 페이퍼 계산기를 생성할 수 있는지를 보여준다. 본 예에서는 사용자가 위에서 설명한 바와 같은 "calculator" 기능을 선택한 후, 스캐닝 장치가 사용자로 하여금 0에서 9까지의 숫자와 연산자 +, -, x, /, = 등을 쓰도록 촉구한다(단계 500). 사용자는 원으로 둘러싸인 숫자를 포함하는 그래픽 소자(210)와 더하기, 빼기, 곱하기, 나누기, 등호와 같은 연산을 위한 수학적 연산자를 생성한다. 다른 실시예에서는, 원이 도 8에서 보여 주는 숫자 주위에 제공될 필요가 없다. 대화형 장치(100)는 생성된 그래픽 요소의 위치를 인식하고 실제 생성된 그래픽 요소를 인식한다(단계 502). 사용자는 그런 다음 적어도 2개의 그래픽 요 소의 선택과 관계된 음성 출력을 수신하기 위하여, 적어도 2개의 그래픽 요소를 선택할 수 있다. 예컨대 사용자는 "4" "+" "7" "="과 같은 일련의 그래픽 요소를 선택하여 대화형 장치(100)가 "11"이라고 낭독하는 것을 들을 수 있다(단계 504). 대화형 장치는 자신의 메모리 유닛에 그래픽 요소의 위치를 저장해 놓기 때문에 페이퍼 계산기는 나중에 재사용될 수 있다. 본 실시예는 학생이 실제 계산기를 가지고 있지 않은 학교에서 유용할 수 있다.
도 9 (a) 및 (b)는 본 발명의 또 다른 실시예를 보여 준다. 도 9 (a)를 참조하면, 사용자는 원으로 둘러싸인 그래픽 요소(302) D를 쓸 수 있다. 대화형 장치가 단어 "dictionary"를 낭독한 후, 사용자는 사전 기능이 선택되었다는 것을 나타내기 위하여 대화형 장치(100)를 사용하여 체크마크(304)를 생성할 수 있다. 그래픽 요소(302)를 생성한 후, 대화형 장치(100)는 선(306)으로 둘러싸인 단어 "French"를 포함하는 또 다른 그래픽 요소(305)를 생성하도록 사용자에게 더 촉구할 수 있다. 대화형 장치(100)는 그런 다음 사용자에게 한 단어를 쓰게 하고, 사용자는 단어 "Hello"를 쓸 수 있다(도 7의 단계 500). 사용자는 그 후 단어 "Hello" 와 그래픽 요소(305)를 선택하여 대화형 장치(100)에 의해 낭독되는 "Bon jour!"를 들을 수 있다(도 7의 단계 504 및 506).
전술한 바와 같이, 사용자에 의해 생성된 적어도 2 그래픽 요소는, 첫 번째는 언어의 종류명을 포함한 그래픽 요소이고 두 번째는 그 언어와는 다른 언어의 단어를 포함하는 그래픽 요소이다. 사용자는 단어를 선택한 후 언어의 종류명을 선택하면, 적어도 한 음성 출력을 들을 수 있는데 이것은 합성 음성이 그 단어를 선택된 언어로 말하는 것을 듣는 것을 포함한다. 선택할 수 있는 언어는 영어가 아닌 언어로서 스페인어, 프랑스어, 독일어, 중국어, 및 일본어 등이며 대상 단어는 영어로 되어 있다. 영어에서 외국어로의 번역을 위한 사전이 대화형 장치의 메모리 유닛 내에 컴퓨터 코드로 저장되어 있을 수 있다.
도 8 및 도 9에 도시된 바와 같이, 본 발명의 실시예는 많은 장점을 가지고 있다. 원으로 둘러싸인 문자와 심볼은 상호작용할 수 있는 버튼과 유사하다. 사용자는 그것에 의해 자신의 고유의 사용자 인터페이스를 본질적으로는 언제 어디서나 생성할 수 있다. 이것은 이전에 존재하지 않았던 것으로 전적으로 사용자 의해 생성된 어떤 것과 상호 작용할 수 있는 편리하고 흥미롭고 재미있는 방법을 제공한다. 이것은 표준 키보드와 같은 표준 사용자 인터페이스와는 다르다. 비록 번역기 버튼을 볼 수는 있지만, 사용자는 시트나 물품 상에 다른 기능성 버튼을 생성할 수 있다. 예컨대, 다른 버튼은 도움 버튼, 녹음 버튼(만약 대화형 장치가 녹음기와 녹음 기능을 가지고 있다면), 볼륨 버튼, 게임 버튼 등을 포함할 수 있다. 사용자는 또한 데이터 입력과 이후의 상호작용을 위해 대화형 장치로 문자숫자식(alphanumeric) 키보드를 생성할 수 있다. 몇몇 실시예에서, 사용자는 그래픽 요소를 그릴 수 있고, 그런 다음 그린 그래픽 요소와 놀이 방식 또는 교육적인 방식으로 상호작용할 수 있다. 예를 들면, 사용자는 페이퍼 상에 숫자를 1부터 5까지 쓸 수 있으며, 대화형 장치는 페이퍼 상의 숫자 각각에 대한 위치를 기억할 수 있다. 사용자는 게임을 하기 위해 "game" 버튼을 그릴 수 있다. 예컨대, 대화형 장치는 사용자에게 2 보다 크고 5보다 적은 숫자를 찾도록 프로그램되어 질 수 있다. 그러면, 사용자는 그 숫자 중의 하나를 선택하여 그것이 어떤 숫자인지를 추측 시도할 수 있다. 맞음 또는 틀림을 알리는 음성 피드백이 사용자의 선택에 응답하여 제공될 수 있다.
도 10 (a)는 원으로 둘러싸인 많은 숫자(602, 604, 606, 608, 610)가 있는 시트를 보여 준다. 이들은 워드 스크램블과 같은 게임에 사용될 수 있다. 예컨대, 그래픽 요소(600)를 생성한 후 (워드 스크램블을 위해 원으로 둘러싸인 "WS"), 그래픽 요소(도시되지 않음)는 워드 스크램블 모드에 놓여 질 수 있다. 그래픽 요소는 사용자에게 "5개의 스크램블러 원을 그리시오"라고 요구할 수 있다(도 7의 단계 500). 사용자가 5개의 원을 그린 후 (602, 604, 606, 608, 610), 원 각각에 음성 세그먼트(도 10 (a)에서 괄호 안에 나타냄)가 할당된다. 사용자는 한 문장을 만들도록 정확한 순서로 원을 선택하도록 촉구된다. 예컨대, 그래픽 요소는 다음과 같이 말할 수 있다. "그 문장을 원래 요소대로 분해하기 위해 스크램블러 원을 눌르시오. 준비, 시작!" 사용자는 5개의 원(602, 604, 606, 608, 610)을 순서대로 눌러 "rat fat the ate cheese"라는 구절을 만든다(도 7의 단계 502 및 504). 결과적으로 사용자는 선택되어야 할 정확한 원의 순서는, 그래픽 요소가 "The fat rat ate cheese"라는 문장을 만들도록, 602, 604, 606, 608, 610이라는 것을 알게 될 것이다(도 7의 단계 502와 504). 이 시점에, 올바른 순서로 원을 선택한 것에 대한 보상 출력이 사용자에게 제공될 수 있다. 대화형 장치는 사용자에게 놀이를 다시 계속하기를 원하는지 물어볼 수 있다. 다시, 대화형 장치는 사용자에 의해 생성된 그래픽 요소를 인식하고 그것들을 시트 상의 위치와 상호 관련시킨다.
도 10 (b)는 그래픽 요소를 갖는 또 다른 시트를 보여 준다. 이것을 사용하여 사전 기능과 번역기 기능을 수행하는 또 다른 방법을 도시할 수 있다. 도 10 (b)를 참조하면, 사용자는 처음에 빈 페이퍼로 시작하여 도시한 바와 같이 원으로 둘러싼 문자 M을 그린다. 그런 다음 사용자는 대화형 장치(도시되지 않음)를 사용하여 원으로 둘러싼 "M"을 누른다. 사용자가 메뉴 항목 "dictionary"를 들은 후, 사용자는 사전을 나타내는 메뉴 항목이 선택되었다는 것을 나타내기 그 옆에 체크마크를 그려 넣을 수 있다. 그러면 대화형 장치는 사전 모드로 변경된다. 대화형 장치는 사용자에게 "그것의 정의를 위해 한 단어를 적어라."고 요구할 수 있다. 사용자는 도 10 (b)에 도시한 바와 같이 단어 "magic"을 쓸 수 있다. 단어 "magic"을 쓴 후 ,대화형 장치는 "magic"이 쓰여졌다는 것을 인식할 수 있으며 '매직, 그것은 자연의 힘을 제어하는 능력 또는 신비스럽게 보이는 능력을 의미한다' 라고 음성으로 설명해 줄 수 있다. 사용자는 어떤 적당한 단어를 적어 놓고 사전적 정의를 받을 수 있다. 사용자가 "magic"과 같은 단어를 적어 놓은 후, 사용자는 그 단어의 마지막 문자("c")를 누르게 되는데 이것은 대화형 장치에게 사용자가 의도한 단어의 쓰기를 완료했으며 이제 대화형 장치가 사전적 정의를 제공해야 된다는 것을 알리기 위함이다. 이와는 달리, 사용자는 잠시 동안 기다린 후, 대화형 장치의 타임아웃 기법이 대화형 장치로 하여금 자동적으로 "magic"이란 단어의 사전적 정의를 제공하도록 할 수도 있다. 먼저 언급된 해법이 바람직한 방법인데 이는 사용자가 원하는 피드백을 받기 전에 기다릴 필요가 없기 때문이다. 이 해법에서는 가상 박스(virtual box)가 마지막 글자 주위에 나타날 수 있다. 만약 사용자 가 가상 박스 내의 어느 부분을 선택하면 이것은 대화형 장치에게 사용자가 의도한 단어 쓰기를 완료했다는 것을 가리키게 된다. 예컨대, 사용자가 마지막 글자 위에 스타일러스를 눌러 접촉시키면 사용자는 스타일러스에게 쓰기를 끝냈다는 것을 알리는 것이다. 스타일러스의 일 실시예에서는 스타일러스 단부에 압력 스위치(pressure swich)가 설치되어, 아래로 향하는 압력이 기록 소자를 위로 향하게 한다. 전술한 바와 같이, 스타일러스는 쓰인 글자를 인식하도록 프로그램될 수 있다. 만약 압력 스위치가 작동되면 쓰인 글자는 짧은 시간 이내에 다시 인식되고 스타일러스는 쓰기 동작이 끝났음을 결정할 수 있으며, 사용자에게 의도한 피드백을 제공할 수 있다. 이 방법은 일련의 숫자나 일련의 심볼와 같은 다른 문자열에도 사용 가능하다.
이것은 많은 문제를 해결한다. 첫째, 일련의 문자열에서 마지막 글자를 선택함으로써 사용자는 스타일러스에게 신속하게 사용자의 쓰기가 끝났음을 알릴 수 있다. 문자열의 마지막 글자를 선택하는 것은 스타일러스에게 사용자가 쓰기를 끝내고 피드백 받기를 원한다는 것을 알려 주는 자연스럽고 효율적인 방법이다. 둘째, 마지막 글자를 선택함으로써, 스타일러스는 문자열이 끝났음을 알 수 있게 되며 스타일러스의 스캐닝 모듈이 종료될 수 있다. 이것은 전지 수명을 연장시킨다. 세 번째, 끝났음을 알리기 위하여 문자열의 마지막 글자를 선택함으로써, 기껏해야 마지막 글자 근처에 점이 하나 형성된다. 이것은 페이퍼 위에 어지러움을 피하는 것이 된다. 네 번째, 문자열의 마지막 글자는 사용자가 피드백을 요구하는 자연적인 마지막 점(ending point)이다. 끝냄을 가리키는 이 선택은 사용자에게 직관적 이다.
다시 도 10 (b)를 참조하면, 사용자는 번역기를 위한 원으로 둘러싸인 문자 TR을 적어넣을 수 있다. 사용자가 이렇게 한 후, 대화형 장치는 "번역기 메뉴를 위해 TR을 눌러세요"라고 말할 수 있다. 각각의 다운 터칭은 대화형 장치로 하여금 연속적으로 다음과 같이 말하게 한다. 즉, "영어에서 스페인어로", "영어에서 프랑스어로", "영어에서 독일어로" 등이다. 만약 사용자가 "영어에서 스페인어로"라는 옵션을 듣는다면, 사용자는 원으로 둘러싸인 TR 옆에 체크마크를 그릴 수 있다. 사용자는 다음에 "bye"를 쓰면 대화형 장치는 "바이. 아디오스. A-d-i-o-s."라고 번역하여 말할 수 있다. 사용자가 다음에 "friend" 를 쓰면 대화형 장치는 "프랜드. 엘 아미고. El(쉬고) a-m-i-g-o."라고 할 수 있다.
도 11 (a)는 자명종 기능이 사용될 수 있는 방법을 나타낸다. 사용자는 원으로 둘러싸인 AL을 생성하도록 촉구받거나, 이것에 대해 전에 이미 알고 있을 수도 있다. 이것이 발생하기 위하여는 사용자가 원으로 둘러싼 M을 기입하고, 메뉴 항목 리스트를 듣고, 문자 M 근처에 체크마크를 그림으로써 자명종 기능을 선택할 수 있게 하는 것이다. 그런 다음 사용자는 문자 AL을 적고 원으로 둘러싼다. 대화형 장치는 그러면 "자명종. 자명종 선택을 위하여는 AL을 누르시오."라고 말한다. 각각의 연속된 다운 터치는 대화형 장치로 하여금 "add alarm", "review alarm", 그리고 "alarm clock" 하위 디렉토리 아래에서는 "current time"과 같은 기능들을 낭독하게 한다. 예컨대, "add alarm"을 선택하기 위해서는 사용자는 원으로 둘러싼 문자 AL 옆에 체크마크를 생성해야 한다. 그러면 대화형 장치는 사용 자에게 "날짜를 쓰시오."라고 촉구한다. 사용자는 5월 9일을 "5-9" 라고 쓴다. 그러면 대화형 장치는 사용자에게 "시간을 쓰시오." 라고 요구하게 된다. 그러면 사용자는 "오후 2시(2:00 PM)" 를 기입한다. 시간을 기입하면 대화형 장치는 "이제는 메시지를 쓰시오."라고 말한다. 그러면 사용자는 "짐에게 전화해라" 라고 적어 넣으면 대화형 장치는 이 메시지를 기록한다. 그러면 대화형 장치의 음성 변환 소프트웨어 엔진이 이 메시지를 음성 메시지로 변환하여 "짐에게 전화해라. 시간 설정됨." 라고 말한다. 5월 9일 오후 2시에 대화형 장치는 자동적으로 "짐에게 전화해라." 라고 낭독할 것이다.
리뷰 알람 모드에서는, 사용자는 원으로 둘러싸인 RA(도시되지 않음)를 그릴 수 있다. 각각의 연이은 터치는 대화형 장치로 하여금 각각의 일련의 알람 메시지를 말하도록 한다. 예컨대, 문자 RA에 대한 3번의 연속적 터치는 대화형 장치로 하여금 다음 3개의 메시지(대화형 장치의 메모리 유닛 내에 저장되어 있는)를 메시지들이 작동할 시간과 날짜에 맞추어 작동하게 한다.
도 11 (b)는 전화 리스트 기능이 사용되는 방법을 나타낸다. 도시된 바와 같이, 사용자는 촉구받은 후에 원으로 둘러싼 문자 PL을 적어 넣을 수 있다. 이것을 생성하기 위하여 사용자는 원으로 둘러싸인 M을 기입하고, 메뉴 항목 리스트를 듣고서 문자 M 근처에 체크마크를 그림으로써 전화 리스트 기능을 선택할 수 있다. 그런 다음, 사용자는 대화형 장치로 문자 PL을 누른다. 문자 PL에 대한 일련의 터치는 각각 대화형 장치가 다음과 같은 기능을 낭독하도록 한다. 즉, "전화번호 찾기", "전화번호 추가", 그리고 "phone list" 하위 디렉토리 내에서 "전화번호 삭 제" 등과 같은 것이다. 사용자는 "전화번호 추가"를 선택하고 문자 PL 옆에 체크마크를 표시함으로써 이 선택을 가리킬 수 있게 된다. 대화형 장치는 다음에 사용자에게 "이름을 쓰시오" 라고 촉구하고 사용자는 대화형 장치로 "Joe Smith" 라고 이름을 기입하게 된다. 텍스트를 음성으로 변환하는 소프트웨어 엔진을 사용하면 대화형 장치는 "조 스미스" 라고 이름을 낭독하게 되며 이어서 사용자에게 "전화번호를 기입하시오" 라고 촉구하게 된다. 사용자는 "555-555-5555" 를 기입하면 대화형 장치는 이 전화번호를 사용자에게 낭독하게 된다(텍스트를 음성으로 변환하는 에진을 사용함). 조 스미스의 전화번호는 "phone list" 하위 디렉토리에 있는 "전화번호 찾기" 라는 기능에 접속하여 "조 스미쓰" 라는 이름을 기록함으로써 나중에 검색될 수 있다. "조 스미스" 를 기록한 후, 이것은 대화형 장치에 의해 인식될 것이며, 조 스미스의 전화번호는 대화형 장치의 메모리 유닛으로부터 검색되어 대화형 장치 내의 스피커나 이어폰을 통해 사용자에게 낭독될 것이다.
도 12는 대화형 장치에 새롭고 독특한 내용을 제공하는 데 사용될 수 있는 컴퓨터 시스템을 나타낸다. 도 12는 데이터 베이스(455)와 연결된 서버 컴퓨터(453)를 나타낸다. 상기 서버 컴퓨터(453)는 사용자가 새로운 컨텐트(content)를 얻을 수 있기 위해 접속할 수 있는 웹사이트를 운영한다. 상기 데이터 베이스(455)는 대화형 장치(459)를 위해 새로운 컨텐트를 저장할 수 있다. 상기 새로운 컨텐트는 음성 출력, 비주얼 출력, 운영체제 등을 위한 컴퓨터 코드를 포함할 수 있다. 비록 데이터 베이스(455)와 서버 컴퓨터(453)는 두 개의 블럭으로 나타냈지만, 단일의 계산 장치나 공동 작업을 하는 많은 계산 장치로 구현할 수도 있음은 물론이다.
통신매체(451)는 상기 서버 컴퓨터(453)와 복수의 클라이언트 컴퓨터[457(a), 457(b)]는 일반 개인용 컴퓨터일 수 있다. 통신매체(451)는 인터넷이나 인트라넷을 포함하는 임의의 적절한 통신 네트워크일 수 있다. 비록 2 대의 클라이언트 컴퓨터가 도시되어 있지만 본 발명의 실시예에서는 많은 클라이언트 컴퓨터가 있을 수 있다.
상기 대화형 장치(459)는 여기서 설명된 여러 가지 대화형 장치 중의 한 대화형 장치일 수 있다. 대화형 장치(459)는 유선 또는 무선 연결을 포함하는 임의의 적절한 연결을 통해 상기 클라이언트 컴퓨터와 통신할 수 있다. 상기 클라이언트 컴퓨터를 통해[457(a)], 그리고 대화형 장치(459)는 통신매체(451)를 통해 서버 컴퓨터(453)와 연속적 또는 비연속적 통신을 할 수 있다. 적당한 클라이언트 컴퓨터는 상업적으로 입수 가능한 많은 개인용 컴퓨터를 포함한다.
하드웨어와 소프트웨어에 관한 다양한 설명이 여기서 제공된다. 해당 분야의 당업자라면, 여기서 설명된 대화형 장치의 기능을 실현하기 위하여 사용될 수 있는 많은 상이한 하드웨어와 소프트웨어의 조합이 있음을 알고 있을 것은 명백한 사실이다.
여기서 지금까지 사용된 기술용어나 표현은 설명을 위한 용어로 사용되었을 뿐이며 제한을 가하기 위하여 사용된 것은 아니며, 이러한 용어의 사용에는 도시되고 설명된 특징의 등가물 또는 그것의 일부를 제외하려는 의도는 없으며, 또한 본 발명의 청구범위 내에서 다양한 변경이 가능하다는 것을 알 것이다.
더구나, 본 발명의 어떤 실시예의 어느 하나 이상의 특징이, 본 발명의 범위에서 벗어 나지않고, 본 발명의 어느 다른 실시예의 하나 이상의 다른 특징과 결합될 수 있다. 예컨대, 도 4에서 도 11까지에 관하여 설명된 실시예 중에서 어떤 것을 도 1이나 도 2에서 제시된 대화형 장치와 함께 사용될 수 있다.
개략적인 요약에서 적어도 하나의 대화형 장치를 개시하였다. 상기 대화형 장치는 스타일러스 하우징, 상기 스타일러스 하우징과 연결된 프로세서, 메모리 유닛, 및 음성 출력 장치를 포함하고, 상기 메모리 유닛은 (i) 스타일러스를 사용하여 생성된 복수의 그래픽 요소를 인식하기 위한 컴퓨터 코드, (ii) 스타일러스를 사용하여 사용자가 정의한 문자열에서 적어도 2 개의 그래픽 요소의 선택을 인식하기 위한 컴퓨터 코드, 및 (iii) 형성된 그래픽 요소에 관련된 적어도 하나의 음성 출력을 수행하기 위한 컴퓨터 코드를 포함한다.
모든 참고자료, 특허출원, 및 앞서 언급한 특허들은 모든 목적에 대해 전체로서 인용되어 본 명세서에 포함된다. 그것들 중 어떤 것도 현재 청구된 발명에 선행 기술로 인정되지 않는다.

Claims (100)

  1. (a) 핸드헬드 장치(handheld device)로 그래픽 요소(graphic element)를 인식하는 단계;
    (b) 상기 그래픽 요소를 인식한 후, 복수의 메뉴 항목(menu item) 중 적어도 하나의 메뉴 항목을 골라 음성 낭독(audio recitation)을 생성하는 단계; 및
    (c) 상기 핸드헬드 장치의 상기 그래픽 요소에 대한 후속하는 동작(subsequent actuation)에 따라 상기 복수의 메뉴 항목으로부터의 메뉴 항목의 선택을 인식하는 단계
    를 포함하는 대화형 사용자 인터페이스 제공 방법.
  2. 제1항에 있어서,
    상기 핸드헬드 장치는 프로세서, 방출기(emitter), 검출기(detector), 및 스피커를 포함하는 대화형 장치 형태이며,
    상기 방출기, 상기 검출기, 및 상기 스피커는 상기 프로세서에 작동 가능하게 연결되어 있는 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  3. 제1항에 있어서,
    상기 그래픽 요소는 인쇄 가능한 표면 상에 있는 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  4. 제1항에 있어서,
    상기 그래픽 요소가 인쇄 요소인 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  5. 제1항에 있어서,
    상기 핸드헬드 장치가 안테나를 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  6. 제3항에 있어서,
    상기 인쇄 가능한 표면이 페이퍼 시트(sheet of paper)인 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  7. 제1항에 있어서,
    상기 그래픽 요소가 심볼(symbol)를 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  8. 제1항에 있어서,
    상기 그래픽 요소가 심볼과 상기 심볼을 에워 싼 선을 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  9. 제1항에 있어서,
    상기 메뉴 항목의 선택을 인식한 후, 상기 핸드헨드 장치와 작동 가능하게 연결된 음성 합성기(speech synthesizer)가 추가적인 그래픽 요소를 생성하기 위한 지시를 음성으로 낭독하는 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  10. 제1항에 있어서,
    상기 복수의 메뉴 항목이 계산기 메뉴 항목, 참조 메뉴 항목, 및 게임 메뉴 항목 중 적어도 하나를 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  11. 대화형 장치(interactive apparatus)에 있어서,
    핸드헬드 장치 하우징(housing);
    상기 핸드헬드 장치 하우징에 연결된 프로세서;
    컴퓨터로 읽을 수 있는 메모리 유닛; 및
    음성 출력 장치
    를 포함하고
    상기 메모리 유닛에는, 상기 대화형 장치에 (i) 상기 핸드헬드 장치에 의해 생성된 그래픽 요소를 인식하는 단계, (ii) 상기 그래픽 요소가 사용자에 의해 생성된 후 복수의 메뉴 항목 중에서 적어도 하나의 메뉴 항목에 대해 음성 낭독을 수행하는 단계, 및 (iii) 상기 복수의 메뉴 항목으로부터의 메뉴 항목에 대한 사용자 선택을 인식하는 단계를 실행시키기 위한 컴퓨터 코드가 기록되어 있고,
    상기 음성 출력 장치와 상기 메모리 유닛이 상기 프로세서에 동작 가능하게 연결되어 있는 것
    을 특징으로 하는 대화형 장치.
  12. 제11항에 있어서,
    상기 프로세서, 상기 음성 출력 장치, 및 상기 메모리 유닛이 상기 핸드헬드 장치 하우징 내에 있는 것을 특징으로 하는 대화형 장치.
  13. 제11항에 있어서,
    상기 프로세서, 상기 음성 출력 장치, 및 상기 메모리 유닛이 상기 핸드헬드 장치 하우징에 연결되어 있는 플랫폼(platform) 내에 있는 것을 특징으로 하는 대화형 장치.
  14. 제11항에 있어서,
    상기 프로세서, 상기 메모리 유닛, 및 상기 음성 출력 장치가 모두 상기 핸드헬드 장치 하우징 내에 있고,
    상기 핸드헬드 장치는 상기 프로세서에 연결된 광 방출기와 광 검출기를 더 포함하는 것을 특징으로 하는 대화형 장치.
  15. 제11항에 있어서,
    상기 그래픽 요소는 문자 또는 숫자를 포함하는 것을 특징으로 하는 대화형 장치.
  16. 제11항에 있어서,
    상기 메모리 유닛이 물품(article) 상의 실질적으로 보이지 않는 코드 (invisible code)를 인식하기 위한 컴퓨터 코드를 더 포함하는 것을 특징으로 하는 대화형 장치.
  17. 제11항에 있어서,
    상기 메모리 유닛이 물품 상의 실질적으로 보이지 않는 코드를 인식하기 위한 컴퓨터 코드를 포함하고,
    상기 실질적으로 보이지 않는 코드가 도트 코드(dot code) 형태인 것을 특징으로 하는 대화형 장치.
  18. 제11항에 있어서,
    상기 메모리 유닛이 물품 상의 실질적으로 보이지 않는 코드를 인식하기 위한 컴퓨터 코드를 더 포함하고,
    상기 실질적으로 보이지 않는 코드가 상대적 또는 절대적 위치를 부호화하는 도트 코드 형태인 것을 특징으로 하는 대화형 장치.
  19. (a) 대화형 장치(interactive apparatus); 및
    (b) 실질적으로 보이지 않는 코드를 갖는 물품
    을 포함하며,
    상기 대화형 장치는,
    핸드헬드 장치 하우징(housing);
    상기 핸드헬드 장치 하우징에 연결된 프로세서;
    컴퓨터로 읽을 수 있는 메모리 유닛; 및
    음성 출력 장치
    를 포함하고,
    상기 메모리 유닛에는, 상기 대화형 장치에 (i) 상기 핸드헬드 장치에 의해 생성된 그래픽 요소를 인식하는 단계, (ii) 상기 그래픽 요소가 사용자에 의해 생성된 후 복수의 메뉴 항목 중에서 적어도 하나의 메뉴 항목에 대해 음성 낭독을 수행하는 단계, 및 (iii) 상기 복수의 메뉴 항목으로부터의 메뉴 항목에 대한 사용자 선택을 인식하는 단계를 실행시키기 위한 컴퓨터 코드가 기록되어 있고,
    상기 음성 출력 장치와 상기 메모리 유닛이 상기 프로세서에 동작 가능하게 연결되어 있으며,
    상기 메모리 유닛이 물품 상의 상기 실질적으로 보이지 않는 코드를 인식하기 위한 컴퓨터 코드를 더 포함하고,
    상기 실질적으로 보이지 않는 코드가 상대적 또는 절대적 위치를 부호화하는 도트 코드 형태인
    것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  20. (a) 대화형 장치; 및
    (b) 실질적으로 보이지 않는 코드를 갖는 물품
    을 포함하며,
    상기 대화형 장치는,
    핸드헬드 장치 하우징(housing);
    상기 핸드헬드 장치 하우징에 연결된 프로세서;
    컴퓨터로 읽을 수 있는 메모리 유닛; 및
    음성 출력 장치
    를 포함하고,
    상기 메모리 유닛에는, 상기 대화형 장치에 (i) 상기 핸드헬드 장치에 의해 생성된 그래픽 요소를 인식하는 단계, (ii) 상기 그래픽 요소가 사용자에 의해 생성된 후 복수의 메뉴 항목 중에서 적어도 하나의 메뉴 항목에 대해 음성 낭독을 수행하는 단계, 및 (iii) 상기 복수의 메뉴 항목으로부터의 메뉴 항목에 대한 사용자 선택을 인식하는 단계를 실행시키기 위한 컴퓨터 코드가 기록되어 있고,
    상기 음성 출력 장치와 상기 메모리 유닛이 상기 프로세서에 동작 가능하게 연결되어 있으며,
    상기 메모리 유닛이 물품 상의 상기 실질적으로 보이지 않는 코드를 인식하기 위한 컴퓨터 코드를 더 포함하고,
    상기 실질적으로 보이지 않는 코드가 상대적 또는 절대적 위치를 부호화하는 도트 코드 형태이며,
    상기 물품은 페이퍼 시트를 포함하는
    것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  21. (a) 대화형 장치; 및
    (b) 실질적으로 보이지 않는 코드를 갖는 물품
    을 포함하며,
    상기 대화형 장치는,
    핸드헬드 장치 하우징(housing);
    상기 핸드헬드 장치 하우징에 연결된 프로세서;
    컴퓨터로 읽을 수 있는 메모리 유닛; 및
    음성 출력 장치
    를 포함하고,
    상기 메모리 유닛에는, 상기 대화형 장치에 (i) 상기 핸드헬드 장치에 의해 생성된 그래픽 요소를 인식하는 단계, (ii) 상기 그래픽 요소가 사용자에 의해 생성된 후 복수의 메뉴 항목 중에서 적어도 하나의 메뉴 항목에 대해 음성 낭독을 수행하는 단계, 및 (iii) 상기 복수의 메뉴 항목으로부터의 메뉴 항목에 대한 사용자 선택을 인식하는 단계를 실행시키기 위한 컴퓨터 코드가 기록되어 있고,
    상기 음성 출력 장치와 상기 메모리 유닛이 상기 프로세서에 동작 가능하게 연결되어 있으며,
    상기 메모리 유닛이 물품 상의 상기 실질적으로 보이지 않는 코드를 인식하기 위한 컴퓨터 코드를 더 포함하고,
    상기 실질적으로 보이지 않는 코드가 상대적 또는 절대적 위치를 부호화하는 도트 코드 형태이며,
    상기 물품은 어떠한 사전 인쇄(pre-printing)도 없는 페이퍼 시트를 포함하는
    것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  22. (a) 대화형 장치; 및
    (b) 실질적으로 보이지 않는 코드를 갖는 물품
    을 포함하며,
    상기 대화형 장치는,
    핸드헬드 장치 하우징(housing);
    상기 핸드헬드 장치 하우징에 연결된 프로세서;
    컴퓨터로 읽을 수 있는 메모리 유닛; 및
    음성 출력 장치
    를 포함하고,
    상기 메모리 유닛에는, 상기 대화형 장치에 (i) 상기 핸드헬드 장치에 의해 생성된 그래픽 요소를 인식하는 단계, (ii) 상기 그래픽 요소가 사용자에 의해 생성된 후 복수의 메뉴 항목 중에서 적어도 하나의 메뉴 항목에 대해 음성 낭독을 수행하는 단계, 및 (iii) 상기 복수의 메뉴 항목으로부터의 메뉴 항목에 대한 사용자 선택을 인식하는 단계를 실행시키기 위한 컴퓨터 코드가 기록되어 있고,
    상기 음성 출력 장치와 상기 메모리 유닛이 상기 프로세서에 동작 가능하게 연결되어 있으며,
    상기 메모리 유닛이 물품 상의 상기 실질적으로 보이지 않는 코드를 인식하기 위한 컴퓨터 코드를 더 포함하고,
    상기 실질적으로 보이지 않는 코드가 상대적 또는 절대적 위치를 부호화하는 도트 코드 형태이며,
    상기 물품은 사전 인쇄를 포함하는 페이퍼 시트를 포함하는
    것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  23. (a) 스타일러스 하우징, 상기 스타일러스 하우징과 연결된 프로세서, 음성 합성기, 컴퓨터로 읽을 수 있는 메모리 유닛, 및 음성 출력 장치를 포함하는 대화형 장치를 포함하며,
    상기 음성 합성기, 상기 음성 출력 장치, 및 상기 메모리 유닛은 상기 프로세서에 작동 가능하게 연결되어 있고,
    상기 음성 합성기, 상기 음성 출력 장치, 상기 프로세서, 및 상기 메모리 유닛은 상기 스타일러스 하우징 내에 있으며,
    상기 컴퓨터로 읽을 수 있는 메모리 유닛에는, 상기 대화형 장치에
    (i) 사용자가 스타일러스를 사용하여 그래픽 요소를 생성할 수 있도록 하는 단계,
    (ii) 상기 그래픽 요소를 생성한 후, 복수의 메뉴 항목 중에서 적어도 하나의 메뉴 항목에 대한 음성 낭독을 수행하는 단계,
    (iii) 사용자가 상기 복수의 메뉴 항목으로부터 메뉴 항목을 선택할 수 있도록 하는 단계, 및
    (iv) 물품 상의 실질적으로 보이지 않는 코드를 인식하는 단계
    를 실행시키기 위한 컴퓨터 코드가 기록되어 있고,
    상기 실질적으로 보이지 않는 코드는 상대적 또는 절대적 위치를 부호화하는 도트 코드 형태인 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  24. 제23항에 있어서,
    상기 실질적으로 보이지 않는 코드는 도트 코드인 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  25. 제23항에 있어서,
    상기 메모리 유닛은, 상기 그래픽 요소에 대한 각각의 순차적 선택 후에, 상기 대화형 장치로 하여금 상기 메뉴 항목을 낭독하게 하기 위한 컴퓨터 코드를 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  26. 제23항에 있어서,
    상기 실질적으로 보이지 않는 코드가 상기 물품 상의 절대적 위치와 관련이 있는 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  27. 제23항에 있어서,
    상기 물품이 페이퍼 시트를 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  28. 제23항에 있어서,
    상기 물품은 사전 인쇄된 인쇄 요소가 없는 페이퍼 시트를 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  29. 제23항에 있어서,
    상기 물품은 사전 인쇄된 인쇄 요소를 포함하는 페이퍼 시트를 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  30. 제23항에 있어서,
    상기 그래픽 요소는 적어도 하나의 표시(indicium), 및 적어도 하나의 표시와 적어도 하나의 표시를 둘러싼 선의 조합으로 이루어진 그룹으로부터 선택된 하나를 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  31. 표면 상의 복수의 생성된 그래픽 요소를 인식하는 단계;
    상기 그래픽 요소 중 적어도 하나의 선택을 인식하는 단계;
    상기 적어도 하나의 그래픽 요소에 관련된 기능에 액세스(access)하는 단계; 및
    상기 기능에 따른 적어도 하나의 음성 출력을 제공하는 단계
    를 포함하며,
    상기 선택은 상기 적어도 하나의 그래픽 요소에 관련된 스타일러스의 작용에 따라 상기 스타일러스에 의해 실행되는
    것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  32. 제31항에 있어서,
    상기 복수의 그래픽 요소는 복수의 숫자 및 수학 연산자를 포함하고,
    상기 선택을 인식하는 단계는, 첫 번째 숫자, 첫 번째 수학 연산자, 두 번째 숫자, 및 두 번째 수학 연산자의 선택을 인식하는 단계를 포함하며,
    상기 첫 번째 숫자, 상기 첫 번째 수학 연산자, 및 상기 두 번째 수학 연산자는 결합하여 수학 문제를 형성하고,
    상기 선택된 첫 번째 숫자, 첫 번째 수학 연산자, 및 상기 두 번째 수학 연산자와 관련된 상기 적어도 하나의 음성 출력은, 상기 수학 문제의 해답을 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  33. 제31항에 있어서,
    상기 스타일러스는 방출기, 검출기, 프로세서, 및 스피커를 포함하고,
    상기 방출기, 검출기, 및 스피커는 상기 프로세서와 연결되어 있는 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  34. 제31항에 있어서,
    상기 스타일러스는 상기 그래픽 요소가 형성되어 있는 시트를 받쳐주는 플랫폼과 연결되어 있는 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  35. 제31항에 있어서,
    상기 그래픽 요소는 문자(letter)를 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  36. 제31항에 있어서,
    상기 그래픽 요소는, 언어의 종류명(name of language)을 포함하는 제1 그래픽 요소, 및 상기 언어와는 다른 언어로 된 단어(word)를 포함하는 제2 그래픽 요소를 포함하며,
    상기 선택을 인식하는 단계는, 상기 단어의 선택을 인식한 다음 상기 언어의 종류명의 선택을 인식하는 단계를 포함하고,
    상기 적어도 하나의 음성 출력은, 상기 언어로 상기 단어를 음성으로 표현하는 합성 음성을 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  37. 제31항에 있어서,
    상기 그래픽 요소는, 언어의 종류명을 포함하는 제1 그래픽 요소, 및 상기 언어와는 다른 언어로 된 단어를 포함하는 제2 그래픽 요소를 포함하며,
    상기 선택을 인식하는 단계는, 상기 단어의 선택을 인식한 다음 상기 언어의 종류명의 선택을 인식하는 단계를 포함하고,
    상기 적어도 하나의 음성 출력은, 상기 언어로 상기 단어를 음성으로 표현하는 합성 음성을 포함하며,
    상기 언어는 비영어 언어이고, 상기 단어는 영어인 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  38. 제31항에 있어서,
    상기 스타일러스는 기록 소자(writing element)를 포함하고,
    상기 그래픽 요소는 시트 상에 사용자가 생성한 그래픽 요소이며, 상기 스타일러스와 관련하여 생성되는 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  39. 제38항에 있어서,
    상기 시트는 복수의 실질적으로 보이지 않는 코드를 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  40. 제39항에 있어서,
    상기 시트는 사전에 인쇄된 인쇄 요소가 없는 것을 특징으로 하는 대화형 사용자 인터페이스 제공 방법.
  41. 대화형 장치에 있어서,
    장치 하우징;
    상기 장치 하우징에 연결된 프로세서;
    컴퓨터로 읽을 수 있는 메모리 유닛; 및
    음성 출력 장치
    를 포함하며,
    상기 컴퓨터로 읽을 수 있는 메모리 유닛에는, 상기 대화형 장치에
    (i) 장치를 사용하여 생성된 복수의 그래픽 요소를 인식하는 단계,
    (ii) 상기 장치를 사용하여 사용자가 정의한 문자열에서 적어도 2개의 상기 그래픽 요소에 대한 선택을 인식하는 단계, 및
    (iii) 상기 생성된 그래픽 요소와 관련이 있는 적어도 하나의 음성 출력을 수행하는 단계
    를 실행시키기 위한 컴퓨터 코드가 기록되어 있고,
    상기 음성 출력 장치와 상기 메모리 유닛은 상기 프로세서에 동작 가능하게 연결되어 있는 것을 특징으로 하는 대화형 장치.
  42. 제41항에 있어서,
    상기 장치는 기록 소자를 포함하는 것을 특징으로 하는 대화형 장치.
  43. 제41항에 있어서,
    상기 프로세서, 상시 메모리 유닛, 및 상기 음성출력 장치가 상기 장치 하우징 내에 있는 것을 특징으로 하는 대화형 장치.
  44. 제41항에 있어서,
    상기 메모리 유닛은 물품 상에 인쇄된 실질적으로 보이지 않는 코드를 인식하기 위한 컴퓨터 코드를 더 포함하는 것을 특징으로 하는 대화형 장치.
  45. 제41항에 있어서,
    상기 메모리 유닛은 물품 상에 인쇄된 실질적으로 보이지 않는 코드를 인식하기 위한 컴퓨터 코드를 더 포함하고,
    상기 실질적으로 보이지 않는 코드는 도트 코드를 포함하는 것을 특징으로 하는 대화형 장치.
  46. 제41항에 있어서,
    상기 대화형 장치는 플랫폼을 더 포함하며,
    상기 메모리 유닛, 상기 프로세서, 및 상기 음성 출력 장치가, 상기 플랫폼 내에 있는 것을 특징으로 하는 대화형 장치.
  47. 제41항에 있어서,
    상기 그래픽 요소는 숫자를 포함하며,
    상기 메모리 유닛은 숫자를 계산하는 코드를 더 포함하는 것을 특징으로 하는 대화형 장치.
  48. 제41항에 있어서,
    상기 대화형 장치는 집어 넣을 수 있는 기록 소자를 포함하는 것을 특징으로 하는 대화형 장치.
  49. 제41항에 있어서,
    상기 메모리 유닛은 문자, 숫자, 및 발음법(phonics) 중 적어도 하나에 대하여 교육하기 위한 컴퓨터 코드를 더 포함하는 것을 특징으로 하는 대화형 장치.
  50. 제41항에 있어서,
    상기 메모리 유닛은 합성음으로 복수의 메뉴 항목을 낭독하도록 하기 위한 컴퓨터 코드를 더 포함하는 것을 특징으로 하는 대화형 장치.
  51. 장치 하우징, 상기 장치 하우징에 연결된 프로세서, 컴퓨터로 읽을 수 있는 메모리 유닛, 및 음성 출력 장치를 포함하는 대화형 기기(interactive device)를 포함하며,
    상기 컴퓨터로 읽을 수 있는 메모리 유닛에는, 상기 대화형 기기에
    (i) 상기 장치를 사용하여 생성된 복수의 그래픽 요소를 인식하는 단계,
    (ii) 상기 장치를 사용하여, 사용자가 정의한 문자열에서의 적어도 2개의 상기 그래픽 요소에 대한 선택을 인식하는 단계, 및
    (iii) 상기 생성된 그래픽 요소와 관련이 있는 적어도 하나의 음성 출력을 수행하는 단계
    를 실행시키기 위한 컴퓨터 코드가 기록되어 있고,
    상기 음성 출력 장치와 상기 메모리 유닛은 작동 가능하게 상기 프로세서에 연결되어 있는 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  52. 제51항에 있어서,
    상기 그래픽 요소가 생성되어 있는 물품을 더 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  53. 제52항에 있어서,
    상기 물품은 페이퍼 시트를 포함하고,
    상기 페이퍼 시트는 복수의 실질적으로 보이지 않는 코드를 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  54. 제52항에 있어서,
    상기 물품은 페이퍼 시트를 포함하고,
    상기 페이퍼 시트는 도트 코드를 포함하는 복수의 실질적으로 보이지 않는 코드를 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  55. 제52항에 있어서,
    상기 물품은 페이퍼 시트를 포함하고,
    상기 페이퍼 시트는 복수의 실질적으로 보이지 않는 코드를 포함하며,
    상기 실질적으로 보이지 않는 코드는 상대적 또는 절대적 위치 정보를 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  56. 제52항에 있어서,
    상기 물품은 페이퍼 시트를 포함하고,
    상기 페이퍼 시트는 복수의 실질적으로 보이지 않는 코드를 포함하며,
    상기 코드는 도트 코드이고, 상기 페이퍼 시트는 실질적으로 사전 인쇄된 인쇄 요소가 없는 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  57. 제51항에 있어서,
    상기 프로세서, 상기 음성 출력 장치, 및 상기 메모리 유닛은 상기 장치 하우징 내에 있는 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  58. 제51항에 있어서,
    상기 대화형 기기는 독립된 기기 형태인 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  59. 제51항에 있어서,
    상기 메모리 유닛은 복수의 메뉴 항목을 위한 컴퓨터 코드를 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  60. 제51항에 있어서,
    상기 메모리 유닛은 영어의 외국어 번역용 사전을 위한 컴퓨터 코드를 포함하는 것을 특징으로 하는 대화형 사용자 인터페이스 시스템.
  61. 사용자 커맨드를 해석하는 방법으로서,
    표면 상의 생성된 그래픽 요소를 인식하는 단계;
    상기 그래픽 요소에 관련된 기능에 액세스하는 단계;
    상기 기능에 따른 음성 출력을 제공하는 단계; 및
    상기 기능과 상기 그래픽 요소를 연관시키는 단계
    를 포함하는 사용자 커맨드를 해석하는 방법.
  62. 삭제
  63. 제61항에 있어서,
    상기 기능과 상기 그래픽 요소의 조합(association)을 저장함으로써 상기 그래픽 요소의 다음 선택에 응답하여 상기 기능의 다음 액세스(subsequent access)를 가능하게 하는 단계를 더 포함하는 사용자 커맨드를 해석하는 방법.
  64. 제63항에 있어서,
    상기 기능과 상기 그래픽 요소의 조합의 저장은, 미리 결정된 시간 동안에 상기 그래픽 요소와의 상호작용을 통해 상기 기능의 계속적인 유효성(persistent availablity)을 제공하는 것을 특징으로 하는 사용자 커맨드를 해석하는 방법.
  65. 제61항에 있어서,
    상기 그래픽 요소는 펜 장치로 상기 표면 상에 생성되어 있는 것을 특징으로 하는 사용자 커맨드를 해석하는 방법.
  66. 제65항에 있어서,
    상기 표면은 페이퍼 시트를 포함하는 것을 특징으로 하는 사용자 커맨드를 해석하는 방법.
  67. 제61항에 있어서,
    상기 그래픽 요소의 적어도 하나의 작용(actuation)을 해석하여 상기 그래픽 요소에 관련된 복수의 기능 중 하나에 액세스하는 단계를 더 포함하며, 상기 적어도 하나의 작용은 상기 복수의 기능 중 하나를 선택하는 것인 사용자 커맨드를 해석하는 방법.
  68. 제67항에 있어서,
    상기 적어도 하나의 작용은, 상기 그래픽 요소의 적어도 하나의 탭(tap)을 인식하는 단계를 포함하는 것을 특징으로 하는 사용자 커맨드를 해석하는 방법.
  69. 제67항에 있어서,
    상기 복수의 기능 중 하나가 선택되는 경우에 복수의 음성 출력 중 하나를 제공하는 단계를 더 포함하는 사용자 커맨드를 해석하는 방법.
  70. 제67항에 있어서,
    상기 복수의 기능은 미리 결정된 옵션(option)의 메뉴를 포함하는 것을 특징으로 하는 사용자 커맨드를 해석하는 방법.
  71. 제67항에 있어서,
    상기 복수의 기능은 상기 그래픽 요소에 관련된 애플리케이션의 복수의 구성 옵션(configuration option)을 포함하는 것을 특징으로 하는 사용자 커맨드를 해석하는 방법.
  72. 제71항에 있어서,
    상기 복수의 구성 옵션 중 적어도 하나는 상기 애플리케이션의 내정된 구성(default configuration)을 포함하는 것을 특징으로 하는 사용자 커맨드를 해석하는 방법.
  73. 제71항에 있어서,
    상기 복수의 기능을 실행하는 단계; 및
    서로 대응하는 그래픽 요소를 통해 상기 복수의 기능에 대한 액세스(access)를 제공하는 단계를 더 포함하는 사용자 커맨드를 해석하는 방법.
  74. 제73항에 있어서,
    제1 기능을 선택하기 위해 상기 그래픽 요소에 대한 적어도 하나의 작용을 인식하는 단계;
    제2 그래픽 요소의 생성을 요구하는 단계;
    제2 기능을 선택하기 위해 상기 제2 그래픽 요소에 대한 적어도 하나의 작용을 인식하는 단계;
    상기 제2 기능에 관련된 음성 출력을 제공하는 단계; 및
    상기 제2 기능을 상기 제2 그래픽 요소와 연관시키는 단계를 더 포함하는 사용자 커맨드를 해석하는 방법.
  75. 핸드헬드 장치와 상호작용하는 방법으로서,
    기록 가능한 표면 상의 제1 그래픽 아이콘에 대한 선택을 인식하는 단계;
    상기 선택에 응답하여, 상기 제1 그래픽 아이콘과 연관된 제1 옵션의 리스트를 음성으로 표현하는 단계; 및
    상기 제1 옵션 중 하나의 선택에 응답하여, 상기 제1 옵션 중 상기 하나를 호출(invoke)하는 단계
    를 포함하며,
    상기 선택은 상기 핸드헬드 장치의 필기도구를 사용하여 수행되고,
    상기 제1 옵션은 상기 핸드헬드 장치에 의해 호출되어 동작 가능한
    것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  76. 제75항에 있어서,
    상기 제1 옵션은 호출될 적어도 하나의 애플리케이션을 포함하는 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  77. 제75항에 있어서,
    상기 제1 옵션 중 상기 하나는, 상기 핸드헬드 장치에 상주하는 애플리케이션 프로그램인 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  78. 제 75항에 있어서,
    상기 제1 옵션의 리스트를 음성으로 표현하는 단계는, 상기 필기도구에 의한 상기 제1 그래픽 아이콘의 선택에 응답하여, 라운드 로빈 방식으로 각각의 상기 제1 옵션을 한번에 하나씩 음성으로 표현하는 단계를 포함하는 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  79. 제78항에 있어서,
    상기 제1 옵션 중 상기 하나가 음성으로 표현된 후에, 상기 제1 그래픽 아이콘의 일부를 선택하는 상기 필기도구에 응답하여, 상기 제1 옵션 중 상기 하나의 선택을 식별하는 단계를 더 포함하는 핸드헬드 장치와 상호작용하는 방법.
  80. 제79항에 있어서,
    상기 제1 그래픽 아이콘의 상기 일부는 체크마크의 심볼인 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  81. 제79항에 있어서,
    상기 일부를 선택하는 단계는, 상기 핸드헬드 장치로 사용자에 의해 만들어지는 제스처(gesture)를 인식하는 단계를 포함하는 핸드헬드 장치와 상호작용하는 방법.
  82. 제75항에 있어서,
    상기 제1 그래픽 아이콘은 상기 표면 상에 사용자가 기록한 것이고,
    상기 제1 그래픽 아이콘을 자동으로 식별하는 단계를 더 포함하며,
    상기 제1 그래픽 아이콘을 자동으로 식별하는 단계는 상기 핸드헬드 장치의 프로세서를 사용하여 수행되는 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  83. 제75항에 있어서,
    상기 제1 그래픽 아이콘은 상기 표면 상에 사전에 인쇄되어 있는 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  84. 제75항에 있어서,
    상기 제1 그래픽 아이콘은 메뉴 항목이고,
    상기 제1 옵션은 상기 핸드헬드 장치에 의해 호출되어 동작 가능한 복수의 옵션 내에 있는 서브메뉴 항목인 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  85. 제75항에 있어서,
    상기 제1 옵션은 연관된 제2 그래픽 아이콘을 갖는 옵션을 포함하고,
    상기 기록 가능한 표면 상의 상기 제2 그래픽 아이콘의 선택을 인식하는 단계,
    상기 선택에 응답하여, 상기 제2 그래픽 아이콘과 연관된 제2 옵션의 리스트를 음성으로 표현하는 단계; 및
    상기 제2 옵션 중 하나의 선택에 응답하여, 상기 제2 옵션 중 상기 하나를 호출하는 단계를 더 포함하며,
    상기 선택은 상기 핸드헬드 장치의 상기 필기도구를 사용하여 수행되고,
    상기 제2 옵션은 상기 핸드헬드 장치에 의해 호출되어 동작 가능한 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  86. 제85항에 있어서,
    상기 제2 옵션은 호출될 적어도 하나의 애플리케이션을 포함하는 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  87. 제85항에 있어서,
    상기 제2 옵션 중 상기 하나는 상기 핸드헬드 장치에 상주하는 애플리케이션 프로그램인 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  88. 제85항에 있어서,
    상기 제2 옵션의 리스트를 음성으로 표현하는 상기 단계는,
    상기 필기도구에 의한 상기 제2 그래픽 아이콘의 선택에 응답하여, 라운드 로빈 방식으로 각각의 상기 제2 옵션을 한번에 하나씩 음성으로 표현하는 단계를 포함하는 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  89. 제88항에 있어서,
    상기 제2 옵션 중 상기 하나가 음성으로 표현된 후에, 상기 제2 그래픽 아이콘의 일부를 선택하는 상기 필기도구에 응답하여, 상기 제2 옵션 중 상기 하나의 선택을 식별하는 단계를 더 포함하는 핸드헬드 장치와 상호작용하는 방법.
  90. 제85항에 있어서,
    상기 제2 그래픽 아이콘은 상기 표면 상에 사용자가 기록한 것이고,
    상기 제2 그래픽 아이콘을 자동으로 식별하는 단계를 더 포함하며,
    상기 제2 그래픽 아이콘을 자동으로 식별하는 단계는 상기 핸드헬드 장치의 프로세서를 사용하여 수행되는 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  91. 제75항에 있어서,
    상기 제1 옵션 중 상기 하나는, 텍스트 인식 기능(text recognition function)을 포함하고,
    상기 핸드헬드 장치는, 상기 사용자가 상기 단어의 마지막 문자를 탭핑하는 것을 인식함으로써 기록된 단어의 끝(end)을 인식하는 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  92. 제75항에 있어서,
    상기 제1 옵션 중 상기 하나는, 텍스트 인식 기능을 포함하고,
    상기 핸드헬드 장치는 사용자가 단어 주위에 박스나 원을 그리는 것을 인식함으로써 기록된 단어의 끝을 인식하는 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  93. 제75항에 있어서,
    상기 제1 옵션 중 상기 하나는, 사전 기능을 포함하고,
    상기 핸드헬드 장치는 사용자가 기록한 단어를 인식하고, 상기 사용자가 기록한 단어에 관련된 정의를 음성으로 표현하도록 구성되어 있는 것 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  94. 제75항에 있어서,
    상기 제1 기능 중 상기 하나는, 계산기 기능을 포함하고,
    상기 핸드헬드 장치는 사용자가 기록한 복수의 그래픽 요소를 인식하도록 구성되며,
    상기 복수의 그래픽 요소는 복수의 숫자 및 수학 연산자를 포함하고,
    상기 핸드헬드 장치는 첫 번째 숫자, 첫 번째 수학 연산자, 두 번째 숫자, 및 두 번째 수학 연산자의 선택을 인식하도록 구성되며,
    상기 첫 번째 숫자, 첫 번째 수학 연산자, 및 두 번째 수학 연산자는 결합하여 수학 문제를 형성하고, 상기 수학 문제의 답을 포함하는 적어도 하나의 음성출력을 음성으로 표현하는 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  95. 상기 제75항에 있어서,
    상기 제1 옵션 중 상기 하나는, 번역기 기능을 포함하고,
    상기 핸드헬드 장치는 사용자가 기록한 복수의 그래픽 요소를 인식하도록 구성되어 있으며,
    제1 그래픽 요소는 언어의 종류명(name of language)을 포함하고,
    제2 그래픽 요소는 상기 언어와는 다른 언어로 된 단어를 포함하며,
    상기 핸드헬드 장치는 상기 단어의 선택을 인식하고, 상기 언어의 종류명의 선택을 인식하며, 상기 언어로 상기 단어를 음성으로 표현하도록 구성되어 있는 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  96. 제75항에 있어서,
    상기 제1 옵션 중 상기 하나는, 워드 스크램블(word scramble) 기능을 포함하고,
    상기 핸드헬드 장치는 문장을 이루는 단어를 포함하는, 사용자가 기록한 복수의 그래픽 요소를 인식하고, 상기 단어의 순차적인 선택을 인식하며, 상기 문장을 이루는 단어의 순차적인 선택이 성공하였으면 상기 문장을 음성으로 표현하도록 구성되어 있는 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  97. 제75항에 있어서,
    상기 제1 옵션 중 상기 하나는, 알람 시계 기능을 포함하며,
    상기 핸드헬드 장치는 사용자가 기록한 알람 시간을 인식하고 상기 사용자가 기록한 알람 시간에 관련된 알람을 음성으로 표현하도록 구성되어 있는 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  98. 제85항에 있어서,
    상기 제1 옵션 중 상기 하나는, 전화 리스트 기능을 포함하고,
    상기 제2 옵션의 리스트를 음성으로 표현하는 단계는, 전화번호를 찾는 단계, 전화번호를 추가하는 단계, 또는 전화번호를 삭제하는 단계를 포함하고,
    상기 제2 옵션 중 하나의 선택에 응답하여, 상기 전화 리스트 기능의 상기 제2 옵션 중 상기 하나를 호출하는 단계를 더 포함하는 핸드헬드 장치와 상호작용하는 방법.
  99. 제75항에 있어서,
    상기 핸드헬드 장치는 외부의 원격 컴퓨터 시스템과 통신하는 프로세서를 포함하는 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
  100. 제99항에 있어서,
    상기 원격 컴퓨터 시스템은 서버이고,
    상기 프로세서는 상기 서버와 상호작용하기 위해 무선 통신을 이용하는 것을 특징으로 하는 핸드헬드 장치와 상호작용하는 방법.
KR1020057025340A 2004-06-03 2005-05-20 사용자에 의해 생성되는 대화형 인터페이스 KR100805259B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US57737804P 2004-06-03 2004-06-03
US10/861,243 US20060033725A1 (en) 2004-06-03 2004-06-03 User created interactive interface
US60/577,378 2004-06-03
US10/861,243 2004-06-03

Publications (2)

Publication Number Publication Date
KR20060040612A KR20060040612A (ko) 2006-05-10
KR100805259B1 true KR100805259B1 (ko) 2008-02-20

Family

ID=35503812

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057025340A KR100805259B1 (ko) 2004-06-03 2005-05-20 사용자에 의해 생성되는 대화형 인터페이스

Country Status (5)

Country Link
EP (1) EP1665222A4 (ko)
JP (1) JP2007504565A (ko)
KR (1) KR100805259B1 (ko)
CA (1) CA2527240A1 (ko)
WO (1) WO2005122130A2 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100807307B1 (ko) * 2006-07-10 2008-02-28 한국전자통신연구원 대화형 음성 인터페이스 시스템 및 그 응답 방법
KR101116689B1 (ko) * 2010-02-18 2012-06-12 주식회사 네오랩컨버전스 제스처 인식을 이용한 도트코드 기반 정보 출력 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4337375A (en) * 1980-06-12 1982-06-29 Texas Instruments Incorporated Manually controllable data reading apparatus for speech synthesizers
US6218964B1 (en) 1996-09-25 2001-04-17 Christ G. Ellis Mechanical and digital reading pen
KR20020033775A (ko) * 1999-08-30 2002-05-07 아노토 아베 노트패드
KR20020065596A (ko) * 1999-12-23 2002-08-13 아노토 아베 크래디트 카드 구매

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9202086D0 (sv) * 1992-07-03 1992-07-03 Ericsson Telefon Ab L M Anordning foer att foerenkla bestaellning av teletjaenster
US5546565A (en) * 1993-06-21 1996-08-13 Casio Computer Co., Ltd. Input/output apparatus having a pen, and method of associating and processing handwritten image data and voice data
US6456749B1 (en) * 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
KR100754497B1 (ko) * 1998-05-07 2007-09-03 뉘앙스 커뮤니케이션스 이스라엘, 리미티드 수기 및 음성으로 자동차 부속 장치를 제어하는 장치 및방법
JP2001005599A (ja) * 1999-06-22 2001-01-12 Sharp Corp 情報処理装置及び情報処理方法並びに情報処理プログラムを記録した記録媒体
US7295193B2 (en) * 1999-12-23 2007-11-13 Anoto Ab Written command
WO2002010900A2 (en) * 2000-07-28 2002-02-07 Siemens Automotive Corporation User interface for telematics systems
CN1518731A (zh) * 2001-06-20 2004-08-04 跳蛙企业股份有限公司 带有模板的交互式装置
US7202861B2 (en) * 2001-06-25 2007-04-10 Anoto Ab Control of a unit provided with a processor
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
JP2003216630A (ja) * 2002-01-23 2003-07-31 Canon Inc メニュー制御方法、装置及び媒体
WO2003094489A1 (en) * 2002-04-29 2003-11-13 Nokia Corporation Method and system for rapid navigation in aural user interface
US20040229195A1 (en) * 2003-03-18 2004-11-18 Leapfrog Enterprises, Inc. Scanning apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4337375A (en) * 1980-06-12 1982-06-29 Texas Instruments Incorporated Manually controllable data reading apparatus for speech synthesizers
US6218964B1 (en) 1996-09-25 2001-04-17 Christ G. Ellis Mechanical and digital reading pen
KR20020033775A (ko) * 1999-08-30 2002-05-07 아노토 아베 노트패드
KR20020065596A (ko) * 1999-12-23 2002-08-13 아노토 아베 크래디트 카드 구매

Also Published As

Publication number Publication date
WO2005122130B1 (en) 2006-09-28
JP2007504565A (ja) 2007-03-01
EP1665222A4 (en) 2008-01-16
CA2527240A1 (en) 2005-12-22
KR20060040612A (ko) 2006-05-10
EP1665222A2 (en) 2006-06-07
WO2005122130A3 (en) 2006-08-10
WO2005122130A2 (en) 2005-12-22

Similar Documents

Publication Publication Date Title
US20060033725A1 (en) User created interactive interface
KR100815534B1 (ko) 기록 가능한 표면 상의 대화형 요소와 대화할 수 있는사용자 인터페이스
KR100814052B1 (ko) 사용자 기록을 사용자 기록 가능 요소와 연관시키는 방법및 기기
KR100815078B1 (ko) 상호 작용 시스템 및 이에 의한 스캐닝 방법
KR100847851B1 (ko) 텍스트 및 경계 영역의 인식을 이용하는 장치 사용자인터페이스
KR100806241B1 (ko) 기록된 그래픽 장치용의 사용자 인터페이스
US8477095B2 (en) Audio book for pen-based computer
KR20070047195A (ko) 상호작용 장치 및 방법
US20080042970A1 (en) Associating a region on a surface with a sound or with another region
US20090248960A1 (en) Methods and systems for creating and using virtual flash cards
KR20140010756A (ko) 문자/이미지/동영상 구현 기능을 구비한 시각장애인용 모바일 단말
KR100805259B1 (ko) 사용자에 의해 생성되는 대화형 인터페이스
KR20030022784A (ko) 생각을 표현하는 이미지를 편집하는 방법 및 장치
CN100511413C (zh) 用户创建交互界面
Fard et al. Braille-based Text Input for Multi-touch Screen Mobile Phones
CA2532422A1 (en) Device user interface through recognized text and bounded areas
Lee et al. Information System based on Multimodal Interface for the Blind
Lahiri et al. Modern Tools and Technologies for the Visually Impaired

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110208

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee