KR20100029219A - 멀티모달 스마트펜 컴퓨팅 시스템 - Google Patents

멀티모달 스마트펜 컴퓨팅 시스템 Download PDF

Info

Publication number
KR20100029219A
KR20100029219A KR1020097027381A KR20097027381A KR20100029219A KR 20100029219 A KR20100029219 A KR 20100029219A KR 1020097027381 A KR1020097027381 A KR 1020097027381A KR 20097027381 A KR20097027381 A KR 20097027381A KR 20100029219 A KR20100029219 A KR 20100029219A
Authority
KR
South Korea
Prior art keywords
data
user
smart pen
modalities
processor
Prior art date
Application number
KR1020097027381A
Other languages
English (en)
Inventor
샤크 앤디 반
짐 마그라프
Original Assignee
라이브스크라이브, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라이브스크라이브, 인크. filed Critical 라이브스크라이브, 인크.
Publication of KR20100029219A publication Critical patent/KR20100029219A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

펜 기반(pen-based) 컴퓨팅(computing) 시스템에서, 스마트 펜(smart pen)은 복수의 모달리티(modality)를 사용하여 펜 기반 컴퓨팅 시스템과 사용자 상호작용을 하도록 한다. 일반적으로, 입력(또는 명령) 모달리티 및 출력(또는 피드백) 모달리티로 카테고리화(categorize)된다. 스마트 펜을 위한 입력 모달리티의 예는, 필기된 입력을 제공하기 위하여 스마트 펜으로 필기하기 및/또는 스마트 펜에 오디오 입력을 주기 위한 소리를 제공하는 말하기 또는 다른 방법을 포함한다. 스마트 펜을 위한 출력 모달리티의 예는, 시스템에 의해 표시된 시각적 정보를 읽기, 햅틱 피드백(haptic feecback)을 수신하기 및/또는 시스템에 의해 재싱된 소리를 청취하기를 포함한다.
Figure P1020097027381
컴퓨팅 시스템, 스마트 펜, 모달리티, 사용자 상호작용, 제스처 캡처

Description

멀티모달 스마트펜 컴퓨팅 시스템{MULTI-MODAL SMARTPEN COMPUTING SYSTEM}
본 출원은 2007년 5월 29일 출원되고, 그 전체가 참조로써 통합되는 미국 임시 출원 제 60/940,665호의 우선권을 주장한다.
본 발명은 일반적으로 펜 기반(pen-based) 컴퓨팅(computing) 시스템에 관한 것이고, 특히 펜 기반 멀티모달(multi-modal) 컴퓨팅 시스템에 관한 것이다.
멀티모달 시스템은 읽기, 쓰기, 말하기, 및 듣기와 같은 인간의 입력 및 출력의 기본 모드에 관련되며 이를 향상시킨다. 광범위한 멀티모달 시스템은 인간 의사소통(human communication), 습득(learning), 생각, 문제 해결, 연상(recall), 개인 생산성, 엔터테인먼트(entertainment), 상업(commerce) 등을 향상시킨다. 인간의 입력 및 출력의 조합(combining), 나열(sequencing) 및 변환(transition) 모드는 의사소통, 습득, 생각, 문제 해결, 연상, 개인 생산성, 엔터테인먼트, 상업 등에 있어서, 과제 및 수행을 상당히 용이하게 하고 향상시킬 수 있다.
하지만, 혼합된 모달리티(modality)를 지원하는 종래의 시스템은 일반적으로 화면 기반(screen based)이고, 비싸고, 크고, 제한된 휴대성을 가졌으며, 보통 비직관적(non-intuitive)이다. 이러한 시스템의 예는 개인용 컴퓨터(PC), PDA(personal digital assistant), 및 다른 전용 화면 기반 장치를 포함한다. 종래 의 멀티모달 시스템은 일반적으로 시각적 피드백(feedback)을 위한 단일 디스플레이(display)에 제한된다. PC 기반 시스템에서, 예컨대, 디스플레이는 보통 크고 상당한 전력을 소비한다. 휴대폰 및 PDA 시스템에서, 화면은 상당히 작지만 제한된 시각 정보를 제공한다. 멀티모달 디스플레이에 필기된 입력의 방법도 또한 매우 제한적이다. 예를 들면, 표준 PC는 별개의 필기 입력 장치를 필요로 하고, 타블렛(tablet) PC는 유리 상에 필기하는 것을 요구하고 비싸며, 휴대폰 및 PDA는 아직 충분히 민감하지 못하며/못하거나 제한된 필기 공간을 제공한다. 화면 기반 장치에 사용하기 위한 다른 필기 기구는 일반적으로 오로지 화면 기반 장치 상에 포인팅(pointing)하고 필기하는데 제한된다. 드문 예에서, 이러한 포인팅 장치가 디스플레이 및 종이 상에 모두 필기하기 위한 용도를 가진 경우에, 종이 상에 필기하는데 사용되면, 장치는 무지(unintelligent)하고, 단지 종이 상에 잉크의 흔적을 남길 뿐이다.
멀티모달 시스템은 일반적으로 모달리티의 서브세트(subset)(예컨대, 읽기, 쓰기, 말하기, 및 듣기의 전부가 아닌 일부)에의 주용도(primary use)를 위해 설계된 범용(general purpose) 컴퓨팅 또는 통신 도구 상에 구축된다. PC는 주용도로써 필기된 입력을 받아들이도록 설계되지 않는다. 가장 빈번하게, 키잉(keying)이 필기 대신에 사용된다. 작은 휴대폰 또는 PDA 화면 상에서의 필기는 매우 제한적이고 오디오 캡처(capture) 하드웨어 및 소프트웨어는 종종 시스템의 설계 내에 자연스럽게 통합되어 있지 않다. 인간의 의사소통의 4가지 기본 모드, 읽기, 쓰기, 말하기 및 듣기를 지원하고 향상시키는 장치는 일반적으로 또한 스타일러스(stylus)가 화면 표면을 가로질러 움직이는 것에 따른 디지털 잉크의 생성을 위한 화면을 필요로 한다. 이들은 미리 인쇄된(pre-printed) 종이 문서와 상호작용하지 않거나, 또는 이들이 새롭게 수기된(handwritten) 종이 문서와 생성 및 상호작용하도록 허용하지 않는다.
따라서, 직관적이고 보다 효과적인 방법으로 인간의 의사소통, 읽기, 쓰기, 말하기 및 듣기의 복수의 입력 및 출력 모드를 사용하고 향상시킬 수 있으며, 이러한 모달리티를 향상시키는 것으로 명백히 의도된 설계로부터 이득을 얻는 컴퓨팅 플랫폼(platform)에 대한 필요가 존재한다. 플랫폼의 관점에서, 플랫폼은 1) 내장된(self-contained) 디스플레이로부터 정보를 표시하고/표시하거나 다른 곳[종이, 플라스틱, 활성(active) 디스플레이, 전자 종이]에 표시된 정보와 상호작용하여야 하며, 2) 종이 상의 잉크, 화이트보드 상의 잉크와 같이 여러 가지 표면 상에 필기하고/필기하거나 디스플레이를 가로지는 움직임을 통해 활성 디스플레이와 상호작용하여야 하고, 3) 내장된 또는 연결된 스피커로 오디오를 재생(play)하여야 하며, 4) 내장된 또는 연결된 마이크로폰(microphone)으로 오디오를 캡처 및/또는 녹음(record)하여야 하고, 5) 독립(independent) 또는 동시(concurrent) 모달리티로서 읽기, 쓰기, 말하기 및 듣기를 지원하고 향상시켜야 하며, 6) 독립 또는 동시 모달리티 사이의 자연스러운 변환을 제공하여야 한다.
본 발명의 실시예는 몇 가지 상이한 모달리티에서 시스템과의 사용자 상호작용을 가능하게 하는 멀티모달 스마트 펜 컴퓨팅 시스템을 제공한다. 모달리티는 일반적으로 입력(또는 명령 및 캡처) 모달리티 및 출력(또는 피드백 및 접근) 모달리티로 카테고리화(categorize)될 수 있다. 스마트 펜 컴퓨팅 시스템을 위한 입력 모달리티는 필기된 입력을 제공하는 펜 모양의 기구로 필기하는 것 및/또는 말하기 또는 다른 방법으로 시스템에 오디오 입력을 주는 소리를 제공하는 것 및/또는 입력을 스마트 펜으로 제스처링(gesturing)하는 것을 포함할 수 있다. 스마트 펜 컴퓨팅 시스템을 위한 출력 모달리티는 시스템에 의해 표시된 시각 정보를 읽는 것 및/또는 종이 또는 다른 디스플레이 상에 외부적으로 표시된 정보를 선택하기 위해 스마트 펜으로 포인팅(pointing)하거나 상호작용하는 것, 및/또는 시스템에 의해 재생된 소리를 듣는 것을 포함할 수 있다.
시스템은 또한 동시의 필기된 및 말해진(spoken) 정보의 형태로 동시(concurrent) 입력을 지원하여야 하고, 입력의 두 형태의 타이밍(timing)은 스마트 펜에 의미 있는 정보를 제공할 수 있다. 시스템은 동시의 표시된 및 오디오 정보의 형태로 동시 출력을 지원하여야 하고, 출력의 두 형태의 타이밍은 사용자에 의미 있는 정보를 제공할 수 있다.
스마트 펜 상의 디스플레이의 근접성(proximity)은, 사용자가 디스플레이로부터의 읽기 및 표면 상에의 필기의 상태 간의 시각적 변환을 자연스럽게 사용할 수 있도록 하여, 최소 눈 움직임 및 초점의 이동의 최소 영역 내의 시각적 초점을 유지하도록 하기 위해, 스마트 펜의 필기 촉(writing tip)에 충분히 가까워야 한다. 이는 사용자가, 스마트 펜 상의 화면을 쉽게 보고, 표면 상의 필기에 반응하며, 그들의 눈을 쉽게 스크린에서 표면으로 그리고 그 반대로 콘텍스트(context)의 손실 없이 움직이도록 지원한다.
임의의 입력 또는 출력 모드에 독립적으로 또는 동시적으로 활성화될 수 있고, 독립 또는 동시 입력/출력 모드 사이의 자연스러운 스위칭(switching)을 가능하게 하며, 소프트웨어, 메모리(memory), 및 배터리(battery)에 의해 관리되는, 스피커(speaker), 마이크로폰(microphone) 및 물리적 필기 촉을 가진 펜 형태(form factor)의 디스플레이의 존재는, 완전(full) 멀티모달, 내장 컴퓨팅 플랫폼을 가능하게 하기 위해 필요한 컴포넌트(component)의 포괄적인(comprehensive) 세트의 크기, 무게, 능력(capability), 휴대성 및 사용의 용이성(ease)의 새로운 임계값(threshold)을 나타낸다.
도 1은 본 발명의 일 실시예에 따른 펜 기반 컴퓨팅 시스템의 개략적인 도면이다.
도 2는 본 발명의 일 실시예에 따른 펜 기반 컴퓨팅 시스템에의 사용을 위한 스마트 펜의 도면이다.
도 3은 본 발명의 일 실시예에 따른 펜 기반 컴퓨팅 시스템 내에 복수의 모달리티를 제공하는 순서도이다.
도면은 오로지 설명의 목적을 위한 본 발명의 여러 가지 실시예를 나타낸다. 당업자는 아래의 기술로부터, 본 명세서에 기술된 본 발명의 원리로부터 벗어나지 않고 본 명세서에 도시된 구조 및 방법의 다른 실시예가 채용될 수 있는 것을 쉽게 이해할 것이다.
펜 기반 컴퓨팅 시스템의 개요
본 발명의 실시예는 도 1에 도시된 예의 펜 기반 컴퓨팅 시스템의 여러 가지 실시예 상에서 구현 될 수 있다. 이 실시예에서, 펜 기반 컴퓨팅 시스템은 필기면(50), 스마트 펜(100), 도킹 스테이션(docking station)(110), 클라이언트(client) 시스템(120), 네트워크(network)(130), 및 웹 서비스 시스템(140)을 포함한다. 스마트 펜(100)은, 펜 기반 컴퓨팅 시스템이 종래의 컴퓨팅 시스템의 화면 기반(screen-based) 상호작용을 사용자가 필기할 수 있는 다른 표면으로 확장하도록 하는, 입력/출력 기능과 함께 내장(onboard) 처리 능력을 포함한다. 예를 들면, 스마트 펜(100)은 필기 동안에 오디오를 녹음하는 것뿐 아니라 필기의 전자적 표시(electronic representation)를 캡처(capture)하는데 사용될 수 있고, 스마트 펜(100)은 또한 사용자에게 시각적 및 오디오 정보를 도로 출력할 수 있다. 따라서 여러 가지 응용을 위한 스마트 펜(100) 상의 적절한 소프트웨어와 함께, 펜 기반 컴퓨팅 시스템은, 사용자가 전자 종이를 포함하는 전자 및 종이 영역(domain) 내의 소프트웨어 프로그램 및 컴퓨팅 서비스와 상호작용하도록 하는 새로운 플랫폼(platform)을 제공한다.
펜 기반 컴퓨팅 시스템에서, 스마트 펜(100)은 컴퓨팅 시스템을 위한 입력 및 출력 능력을 제공하고 시스템의 컴퓨팅 시스템의 일부 또는 전부를 수행한다. 따라서, 스마트 펜(100)은 복수의 모달리티(modality)를 사용한 펜 기반 컴퓨팅 시스템과의 사용자 상호작용을 가능하게 한다. 일 실시예에서, 스마트 펜(100)은, 사 용자의 필기 또는 다른 손 제스처(gesture) 캡처하기 또는 오디오 녹음하기와 같은, 복수의 모달리티를 사용하여, 사용자로부터 입력을 수신하고, 시각적 정보 표시하기, 오디오 재생하기 또는 두드리기(tapping), 긋기(tracing)와 같은 물리적 상호작용에 콘텍스트(context)로 반응하기, 또는 다른 기존의 시각적 정보 선택하기와 같은 여러 가지 모달리티를 사용하여 사용자에게 출력을 제공한다. 다른 실시예에서, 스마트 펜(100)은 움직임 감지(motion sensing), 제스처 캡처와 같은 부가적인 입력 모달리티, 및/또는 진동 피드백(vibrational feedback)과 같은 부가적인 출력 모달리티를 포함한다.
스마트 펜(100)의 특정 실시예의 컴포넌트가 도 2에 도시되고 후술하는 글에서 보다 세부적으로 기술된다. 스마트 펜(100)은 비록 펜의 다른 기능을 수용하기 위해 일반적인 형상에의 특정 이형(variation)이 존재할 수 있거나 상호작용 멀티모달 비필기(non-writing) 도구일 수 있지만, 바람직하게는 실질적으로 펜 또는 다른 필기 도구와 같은 형태(form factor)를 가진다. 예를 들면, 스마트 펜(100)은 부가적인 컴포넌트를 포함할 수 있도록 하기 위해 표준 펜보다 조금 두꺼울 수 있거나, 스마트 펜(100)은 펜 모양 형태를 형성하는 구조적 특징에 부가하여 부가적인 구조적 특징(예컨대, 평면 디스플레이 화면)을 가질 수 있다. 스마트 펜(100)은 또한 사용자가 입력 또는 명령으로 스마트 펜 컴퓨팅 시스템에 제공할 수 있는 임의의 메커니즘(mechanism)을 포함할 수 있거나 사용자가 스마트 펜 컴퓨팅 시스템으로부터 수신하거나 달리 정보를 관찰할 수 있는 임의의 메커니즘을 포함할 수 있다. 예를 들면, 버튼(button), 로커 패널(rocker panel), 용량성 센서(capacitive sensor), 열 센서, 압력 센서, 생체 인식 센서(biometric sensor) 또는 다른 감지 장치를 포함하는 여러 가지 타입의 스위치(switch)가 부가될 수 있다.
스마트 펜(100)은 스마트 펜(100)이 필기면(50) 상에 이루어진 필기를 캡처할 수 있도록 필기면(50)과 함께 동작하도록 설계된다. 일 실시예에서, 필기면(50)은 종이 한 장(또는 그 위에 필기될 수 있는 임의의 다른 적절한 물질)을 포함하고 스마트 펜(100)에 의해 판독될 수 있는 패턴(pattern)으로 인코딩(encoding)된다. 이러한 필기면(50)의 일 예는 스웨덴의 아노토 그룹 AB(Anoto Group AB)[매사추세츠(MA) 월섬(Waltham)의 현지 자회사 아노토 인코포레이션(Anoto, Inc.)]로부터 입수 가능하고, 본 명세서에 참조로써 편입되는 미국 특허 제 7,175,095호에 기술된, 소위 "도트-인에이블드(dot-enabled) 종이"이다. 이러한 도트-인에이블드 종이는 종이 상에 인코딩된 도트(dot)의 패턴을 가진다. 이러한 도트-인에이블드 종이와 함께 동작하도록 설계된 스마트 펜(100)은 인코딩된 도트 패턴과 관련한 스마트 펜의 필기 촉의 위치를 결정할 수 있는 이미징(imaging) 시스템 및 프로세서(processor)를 포함한다. 스마트 펜(100)의 이러한 필기 촉의 위치는 미리 정의된 "도트 스페이스(dot space)" 내의 좌표를 사용하여 나타낼 수 있고, 좌표는 국부적(local)[즉, 필기면(50)의 페이지(page) 내의 위치]이거나 전면적(absolute)[즉, 필기면(50)의 복수의 페이지의 전역에 걸친 특이한 위치]일 수 있다.
다른 실시예에서, 필기면(50)은 스마트 펜(100)이 제스처 및 다른 필기된 입력을 캡처하도록 하기 위해 인코딩된 종이가 아닌 메커니즘을 사용하여 구현될 수 있다. 예를 들면, 필기면은 스마트 펜(100)에 의해 이루어진 필기를 감지하는 타블렛(tablet) 또는 다른 전자 매체를 포함할 수 있다. 다른 실시예에서, 필기면(50)은 전자 종이 또는 e-종이(e-paper)를 포함한다. 이러한 감지는 전적으로 필기면(50)에 의해, 전적으로 스마트 펜(100)에 의해 또는 스마트 펜(100)과 함께 수행될 수 있다. 필기면(50)의 역할이 단지 수동적이라 하더라도(인코딩된 종이의 경우와 같이), 스마트 펜(100)은 일반적으로 펜 기반 컴퓨팅 시스템이 설계된 필기면(50)의 타입에 의존할 것이라는 것이 인식될 수 있다. 게다가, 필기된 콘텐트(content)는 필기면(50) 상에 기계적으로[예컨대, 스마트 펜(100)을 사용하여 종이 상에 잉크를 집어넣음], 전자적으로[예컨대, 필기면(50) 상에 표시됨] 표시될 수 있거나, 또는 전혀 표시되지 않을 수 있다(예컨대, 단지 메모리에 저장됨). 다른 실시예에서, 스마트 펜(100)은 필기면(50)을 전혀 요구하지 않고 스마트 펜(100) 촉의 움직임을 감지하여 필기 제스처를 감지하는 센서가 장착된다. 임의의 이러한 기술은 스마트 펜(100)에 병합된 제스처 캡처 시스템 내에서 사용될 수 있다.
여러 가지 실시예에서, 스마트 펜(100)은 펜 기반 컴퓨팅 시스템의 여러 가지 유용한 응용을 위해, 개인용 컴퓨터와 같은 범용(general purpose) 컴퓨팅 시스템과 통신할 수 있다. 스마트 펜(100)에 의해 캡처된 콘텐트는 컴퓨팅 시스템(120)에 의한 부가적인 사용을 위해 컴퓨팅 시스템(120)으로 송신될 수 있다. 예를 들면, 컴퓨팅 시스템(120)은 스마트 펜(100)에 의해 획득된 정보를 사용자가 저장, 접근, 검토(review), 삭제하고 달리 관리하도록 하는 관리 소프트웨어를 포함할 수 있다. 스마트 펜(100)으로부터 컴퓨팅 시스템(120)으로 획득된 데이터를 다운로딩(downloading)하는 것은 스마트 펜(100)이 추가의 데이터를 획득할 수 있도록 스마트 펜(100)의 자원을 자유롭게 한다. 반대로, 내용은 또한 컴퓨팅 시스템(120)으로부터 스마트 펜(100) 상으로 도로 송신될 수 있다. 데이터뿐만 아니라, 컴퓨팅 시스템(120)에 의해 스마트 펜(100)으로 제공된 콘텐트는 스마트 펜(100)에 의해 실행될 수 있는 소프트웨어 어플리케이션(application)을 포함할 수 있다.
스마트 펜(100)은 블루투스(Bluetooth), WiFi, RF, 적외선 및 초음파와 같은 유선 및 무선 통신을 모두 포함하는 임의의 공지된 통신 메커니즘을 통해 컴퓨팅 시스템(120)과 통신할 수 있다. 일 실시예에서, 펜 기반 컴퓨팅 시스템은 컴퓨팅 시스템에 연결된 도킹 스테이션(110)을 포함한다. 도킹 스테이션(110)은 스마트 펜(100)을 수신하도록 기계적으로 및 전기적으로 구성되고, 스마트 펜(100)이 도킹되면, 도킹 스테이션(110)은 컴퓨팅 시스템(120) 및 스마트 펜(100) 간의 전자 통신을 가능하게 할 수 있다. 도킹 스테이션(110)은 또한 스마트 펜(100) 내의 배터리를 재충전하기 위한 전력을 제공할 수 있다.
도 2는 상기 기술된 실시예와 같은 펜 기반 컴퓨팅 시스템에서의 사용을 위한 스마트 펜(100)의 일 실시예를 도시한다. 도 2에 도시된 실시예에서, 스마트 펜(100)은 마커(marker)(205), 이미징 시스템(210), 펜 다운 센서(pen down sensor)(215), 하나 이상의 마이크로폰(220), 스피커(225), 오디오 잭(jack)(230), 디스플레이(235), I/O 포트(port)(240), 프로세서(245), 내장 메모리(250), 및 배터리(255)를 포함한다. 하지만, 상기 컴포넌트의 모두가 스마트 펜(100)을 위해 필 요한 것은 아니고 스마트 펜(100) 또는 상기 컴포넌트의 모든 가능한 이형의 모든 실시예를 위한 컴포넌트의 총괄적인 목록(exhaustive list)은 아니라는 것이 이해되어야 한다. 예를 들면, 스마트 펜(100)은 또한 전원 버튼(power button) 또는 오디오 녹음 버튼과 같은 버튼 및/또는 상태 지시등(status indicator light)을 채용할 수 있다. 또한, 본 명세서의 발명의 상세한 설명 및 청구항에 사용된 바와 같이 "스마트 펜"이란 용어는 펜 장치가, 특별히 언급된 특징들을 제외하고는, 특정 실시예에 대하여 본 명세서에 기술된 임의의 특정 특징 또는 기능을 가지는 것을 의미하지 않아서, 스마트 펜은 본 명세서에 기술된 능력 및 서브시스템(subsystem)의 전부 보다 적은 수의 임의의 조합을 가질 수 있다.
마커(205)는 스마트 펜이 임의의 적절한 표면 상에 필기하기 위한 종래의 필기 장치로서 사용되는 것을 가능하게 한다. 따라서 마커(205)는 필기를 위해 사용될 수 있는 잉크 기반 또는 흑연(graphite) 기반 마킹(marking) 장치 또는 임의의 다른 장치를 포함하는, 임의의 적절한 마킹 메커니즘을 포함할 수 있다. 일 실시예에서, 마커(205)는 교체 가능한(replaceable) 볼펜(ballpoint pen) 소자를 포함한다. 마커(205)는 압력 감지 소자(pressure sensitive element)와 같은 펜 다운 센서(215)와 연결된다. 따라서 펜 다운 센서(215)는 마커(205)가 표면에 대하여 눌렸을 때, 스마트 펜(100)이 표면 상에 필기하는데 사용되고 있음을 나타내는 출력을 산출한다.
이미징 시스템(210)은 마커(205) 근처의 표면의 영역을 도시하기 위한 충분한 광학 소자(optics) 및 센서를 포함한다. 이미징 시스템(210)은 스마트 펜(100) 에 의해 이루어진 수기(handwriting) 및/또는 제스처를 캡처하는데 사용될 수 있다. 예를 들면, 이미징 시스템(210)은 필기면(50)이 인코딩된 패턴을 포함하는 마커(205)의 전반적인 부근(general vicinity) 내의 필기면(50)을 비추는 적외선 광원(light source)을 포함할 수 있다. 인코딩된 패턴의 이미지를 처리함으로써, 스마트 펜(100)은 마커(205)가 어디서 필기면(50)과 관련되는지를 결정할 수 있다. 이미징 시스템(210)의 이미징 어레이(array)는 마커(205) 근처의 표면을 도시하고 그 표시 영역 내의 코딩된 패턴의 일부를 캡처한다. 따라서, 이미징 시스템(210)은 스마트 펜(100)이, 필기된 입력 수신하기와 같은, 하나 이상의 입력 모달리티를 사용하여 데이터를 수신하도록 한다. 필기면(50)의 일부를 나타내기 위해 광학 소자 및 전자 소자(electronics)를 병합한 이미징 시스템(210)은, 단지 펜을 사용하여 이루어진 임의의 필기 제스처를 전자적으로 캡처하기 위하여 스마트 펜(100) 내에 병합될 수 있는 제스처 캡처 시스템의 한 가지 타입일 뿐이고, 스마트 펜(100)의 다른 실시예는 동일한 기능을 얻기 위한 다른 적절한 수단을 사용할 수 있다. 일 실시예에서, 이미징 시스템(210)에 의해 캡처된 데이터는, 문자(character) 인식과 같은 하나 이상의 콘텐트 인식 알고리즘이 수신된 데이터에 적용될 수 있도록 하기 위해, 후속으로 처리된다.
일 실시예에서, 이미징 시스템(210)에 의해 캡처된 데이터는, 문자 인식과 같은 하나 이상의 콘텐트 인식 알고리즘이 수신된 데이터에 적용될 수 있도록 하기 위해, 그 후에 처리된다. 다른 실시예에서, 이미징 시스템(210)은 필기면(50) 상에 이미 존재하는 필기된 콘텐트[예컨대, 스마트 펜(100)을 이용하여 필기되지 않은 것도]를 스캔(scan)하고 캡처하는데 사용될 수 있다. 이미징 시스템(210)은 또한 마커(205)가 필기면(50)을 언제 터치(touch)했는지를 결정하는 펜 다운 센서(215)와 결합되어 사용될 수 있다. 마커(205)가 표면 위로 움직임에 따라, 이미징 어레이에 의해 캡처되는 패턴이 변화하고, 따라서 사용자의 수기는 결정될 수 있고 스마트 펜(100)의 제스처 캡처 시스템[예컨대, 도 2의 이미징 시스템(210)]에 의해 캡처될 수 있다. 이러한 기술은 사용자가 필기면(50)의 특정 위치 상에 마커(205)를 두드리면, 움직임 감지 또는 제스처 캡처의 다른 입력 모달리티를 사용하여 데이터 캡처를 허용하는 것과 같이, 제스처를 캡처하는데 사용될 수 있다.
이미징 시스템(210)은 또한 마커(205)가 필기면(50)을 언제 터치했는지를 결정하는 펜 다운 센서(215)와 결합되어 사용될 수 있다. 마커(205)가 표면 위로 움직임에 따라, 이미징 어레이에 의해 캡처되는 패턴이 변화하고, 따라서 사용자의 수기는 결정될 수 있고 스마트 펜(100)에 의해 캡처될 수 있다. 이러한 기술은 사용자가 필기면(50)의 특정 위치 상에 마커(205)를 두드리면, 움직임 감지 또는 제스처 캡처의 다른 입력 모달리티를 사용하여 데이터 캡처를 허용하는 것과 같이, 제스처를 캡처하는데 사용될 수 있다.
스마트 펜(100) 상의 다른 데이터 캡처 장치는, 스마트 펜(100)이 다른 입력 모달리티인 오디오 캡처를 사용하여 데이터를 수신하도록 하는 하나 이상의 마이크로폰(220)이다. 마이크로폰(220)은 상기 기술된 수기 캡처와 동기화(synchronize)될 수 있는 오디오를 녹음하기 위해 사용될 수 있다. 일 실시예에서, 하나 이상의 마이크로폰(220)은 프로세서(245)에 의해 또는 신호 프로세서(미도시)에 의해 실행 되는 신호 처리 소프트웨어와 연결되고, 신호 처리 소프트웨어는 마커(205)가 필기면을 가로질러 움직임에 따라 생성되는 잡음 및/또는 스마트 펜(100)이 필기면을 터치하거나 필기면으로부터 떨어지는 것에 따라 생성되는 잡음을 제거한다. 일 실시예에서, 프로세서(245)는 캡처된 오디오 데이터와 캡처된 필기된 데이터를 동기화한다. 예를 들면, 면담에서의 대화는, 스마트 펜(100)에 의해 캡처되는 노트를 하는 동안에 마이크로폰(220)을 사용하여 녹음될 수 있다. 녹음된 오디오 및 캡처된 수기를 동기화하는 것은 이전에 캡처된 데이터에 대한 사용자 요청에 대해 통합된(coordinated) 응답을 제공하도록 한다. 예를 들면, 필기된 명령, 명령에 대한 파라미터(parameter), 스마트 펜(100)을 이용한 제스처, 말해진(spoken) 명령 또는 필기된 및 말해진 명령의 조합과 같은 사용자 요청에 반응하여, 스마트 펜(100)은 오디오 출력 및 시각적 출력 모두를 제공한다. 스마트 펜(100)은 또한 사용자에게 햅틱(haptic) 피드백을 제공할 수 있다.
스피커(225), 오디오 잭(230), 및 디스플레이(235)는 하나 이상의 출력 모달리티를 통해 사용자에게 데이터의 표시를 하도록 하여 스마트 펜(100)의 사용자에게 출력을 제공한다. 오디오 잭(230)은 스피커(225)와 달리, 사용자 주변의 다른 것의 방해 없이 오디오 출력을 청취할 수 있도록 이어폰(earphone)에 연결될 수 있다. 이어폰은 또한 사용자가 공간 특성이 향상된 스테레오(stereo) 또는 완전 3차원(full three-dimensional) 오디오로 오디오 출력을 듣도록 한다. 따라서, 스피커(225) 및 오디오 잭(230)은, 사용자가 스피커(225) 또는 오디오 잭(230)에 의해 재생되는 오디오를 청취함으로써 출력 모달리티의 제1 타입을 사용하여 스마트 펜 으로부터 데이터를 수신하도록 한다.
디스플레이(235)는 스마트 펜(100)이 시각적 표시 정보에 의해 제2 출력 모달리티를 사용하여 출력을 제공하도록 하는 유기 발광 다이오드(organic light emitting diode; OLED)와 같은, 시각적 피드백을 제공하기 위한 임의의 적절한 디스플레이 시스템을 포함할 수 있다. 사용에 있어서, 스마트 펜(100)은, 데이터가 복수의 출력 모달리티를 사용하여 제공되도록, 오디오 또는 시각적 피드백을 통신하는 임의의 이러한 출력 컴포넌트를 사용할 수 있다. 예를 들면, 스피커(225) 및 오디오 잭(230)은 스마트 펜(100) 상에 구동되는 어플리케이션에 따라 오디오 피드백[예컨대, 프롬프트(prompt), 명령, 및 시스템 상태]을 통신할 수 있고, 디스플레이(235)는 이러한 어플리케이션에 의해 지시된 바에 따라 어구(word phrase), 정적 또는 동적 이미지, 또는 프롬프트를 표시할 수 있다. 나아가, 스피커(225) 및 오디오 잭(230)은 마이크로폰(220)을 이용하여 녹음된 오디오 데이터를 재생(playback)하는 데에 사용될 수도 있다.
입력/출력(input/ouput; I/O) 포트(240)는 상기 기술된 바와 같이, 스마트 펜(100) 및 컴퓨팅 시스템(120) 간의 통신을 하도록 한다. 일 실시예에서, I/O 포트(240)는 도킹 스테이션(110) 상의 전기 접촉에 상응하는 전기 접촉을 포함하고, 따라서 스마트 펜(100)이 도킹 스테이션(110) 내에 위치될 때 데이터 송신을 위한 전기 연결을 이룬다. 다른 실시예에서, I/O 포트(240)는 단지 데이터 케이블(cable)[미니 USB(Mini-USB) 또는 마이크로 USB(Micro-USB)]을 수신하기 위한 잭을 포함한다. 또는, I/O 포트(240)는 컴퓨팅 시스템(120)과 무선 통신(예컨대, 블 루투스, WiFi, 적외선, 또는 초음파를 통해)을 하도록 하기 위한 스마트 펜(100) 내의 무선 통신 회로로 대체될 수 있다.
프로세서(245), 내장 메모리(250) 및 배터리(255)[또는 임의의 다른 적절한 전원(power source)]는 스마트 펜(100) 상의 적어도 일부에서 수행되는 컴퓨팅 기능을 가능하게 한다. 프로세서(245)는 입력 및 출력 장치와 상기 기술된 다른 컴포넌트와 연결되어, 이러한 컴포넌트를 사용하기 위해 스마트 펜(100) 상에서 어플리케이션이 구동되는 것을 가능하게 한다. 일 실시예에서, 프로세서(245)는 ARM9 프로세서를 포함하고, 내장 메모리(250)는 적은 양의 랜덤 액세스 메모리(random access memory: RAM) 및 많은 양의 플래시(flash) 또는 다른 영구(persistent) 메모리를 포함한다. 그 결과, 실행 가능한 어플리케이션은 스마트 펜(100) 상에 저장되고 실행될 수 있으며, 녹음된 오디오 및 수기는 무기한으로(indefinitely) 또는 스마트 펜(100)으로부터 컴퓨팅 시스템(120)으로 오프로드(offload)될 때까지 스마트 펜(100) 상에 저장될 수 있다. 예를 들면, 스마트 펜(100)은 문자 인식 또는 음성(voice) 인식과 같은 하나 이상의 콘텐트 인식 알고리즘을 국부적으로 저장할 수 있고, 콘텐트 인식 알고리즘은 스마트 펜(100)이 스마트 펜(100)에 의해 수신된 하나 이상의 입력 모달리티로부터의 입력을 국부적으로 식별(identify)한다.
일 실시예에서, 스마트 펜(100)은 또한 수기 캡처, 오디오 캡처 또는 제스처 캡처와 같은 하나 이상의 입력 모달리티, 또는 오디오 재생 또는 시각적 데이터의 표시와 같은 출력 모달리티를 지원하는 운영 체제(operating system) 또는 다른 소프트웨어를 포함한다. 운영 체제 또는 다른 소프트웨어는 입력 모달리티 및 출력 모달리티의 조합을 지원할 수 있고, 입력 모달리티(예컨대, 입력으로서 필기된 및/또는 말해진 데이터를 캡처하기) 및 출력 모달리티(예컨대, 사용자에 대한 출력으로서 오디오 또는 시각적 데이터를 표시하기) 간의 조합, 나열(sequencing) 및 변환(trasitioning)을 관리한다. 예를 들면, 입력 모달리티 및 출력 모달리티 간의 이러한 변환은 사용자가 스마트 펜(100)에 의해 재생된 오디오를 청취하는 동안에 동시에 종이 또는 다른 표면 상에 필기하거나, 사용자가 또 스마트 펜(100)을 이용하여 필기하는 동안에 스마트 펜(100)이 사용자로부터 말해진 오디오를 캡처할 수 있도록 한다.
일 실시예에서, 운영 체제 및 어플리케이션은, 언어 습득을 위해 제공하는 일련의 독립 및/또는 동시 입력 및 출격 모달리티 및 이러한 모달리티 간의 자연스러운 변환을 지원한다. 예를 들면, 모달리티 독립성, 동시성 및 나열을 지원하는 운영 체제 상에서 구동하는 언어 습득(language learning; LL) 어플리케이션은, 오늘은 중국어의 쓰기, 읽기, 말하기 및 듣기에 관한 수업임을 알리는 수업을 시작할 수 있다. 스마트 펜(100)은 그 다음, 동시에 스피커(225)를 통해 문자의 발음을 알려주는 동안에, 디스플레이(235) 상에 타당한 순서로 문자의 획(stroke)을 그리면서 만다린(Mandarin) 문자를 애니메이팅(animating)한다. 운영 체제는 동시 표시 및 오디오의 동기화된 전달을 가능하게 할 것이다. LL 어플리케이션은 그 다음, 디스플레이(225)상의 각 획의 애니메이팅된 표시에 따라서, 사용자가 문자의 각 획을 그리도록 촉구(prompt)할 수 있고, 따라서 사용자에 의한 획 데이터의 입력과 동기화된 방법으로, 스마트 펜(100) 상에 표시된 정보의 시각적 출력의 모달리티 간의 변환을 나열할 수 있다. 사용자가 문자의 생성에 보다 유창해지고, 보다 빨리 쓰고 어쩌면 표시되는 획보다 앞서 쓰기 시작함에 따라, OS는 실시간 캡처 및 획의 해석을 가능하게 할 것이고 타당한 표시 및 오디오로 적절하게 응답할 것이며, 사용자를 멀티모달 대화(dialogue)에 참여하도록 할 것이다. 사용자가 필기에 숙달된 것으로 증명됨에 따라, 스마트 펜(100)은 획으로 리드(lead)하기 보다는, 사용자에 의해 리드되기 시작하고 그에 응하여 획을 표시한다. 스마트 펜(100)은 음성으로 사용자를 칭찬하고 획을 쓰는 동안 또는 그 후에 문자에 대한 소리를 말하도록 사용자에게 요청할 수 있다. 사용자가 문자 소리를 말함에 따라, 스마트 펜(100)은 소리를 기록하고 그것을 표본(exemplar)과 비교할 수 있다. 스마트 펜(100)은 그 다음, 표본 발음 및 사용자 발음을 재생하고, 발음의 정확도와 관련한 논평(commentary) 및/또는 시각적 안내(guidance)를 제공함에 의해 사용자에게 알릴 수 있다. 스마트 펜(100)은 그 다음, 입력 말(speech) 및 필기를 표본과 비교하고, 필요에 따라 사용자에게 쓰기 또는 말하기를 반복하도록 재지시하는 동안, 일련의 단어를 하나씩 알리고, 사용자가 단어를 쓰고 말하기를 기다림으로써, 사용자가 듣고, 쓰고, 말하도록 촉구할 수 있다.
이 예의 확장에서, 스마트 펜(100)은 사용자가 미리 인쇄된(pre-printed) 언어 습득 교과서(text) 또는 학습지(workbook)와 함께 상호작용하도록 촉구할 수 있다. 스마트 펜(100)은, 스마트 펜(100)이 독립적으로 또는 동시적으로 말하고 표시하는 것, 독립적으로 또는 동시적으로 사용자에게 말하고, 쓰고, 정보를 보도록 지시하는 것을 포함하는 대화를 계속하는 동안에, 교과서로부터, 학습지까지, 사용자 의 공책(notebook)까지 복수의 디스플레이 간의 사용자의 주의를 옮길 수 있다. 입력 모달리티 및 출력 모달리티의 여러 가지 다른 조합 및 나열도 또한 가능하다.
일 실시예에서, 프로세서(245) 및 내장 메모리(250)는 메뉴 구조 및 파일 시스템을 통한 탐색(navigation) 또는, 어플리케이션 또는 어플리케이션의 기능의 실행(launch)을 허용하는, 어플리케이션 메뉴를 지원하고 가능하게 하는, 하나 이상의 실행 가능한 어플리케이션을 포함한다. 예를 들면, 메뉴 아이템(item) 간의 탐색은, 스마트 펜 컴퓨팅 시스템으로부터의 말해진 및/또는 필기된 명령 및/또는 사용자에 의한 제스처 및 오디오 및/또는 시각적 피드백을 포함하는 사용자와 스마트 펜(100) 간의 대화를 포함한다. 따라서, 스마트 펜(100)은 여러 가지 모달리티로부터 메뉴 구조를 탐색하기 위하여 입력을 수신할 수 있다.
예를 들면, 필기 제스처, 말해진 키워드(keyword) 또는 물리적 움직임은 후속 입력이 하나 이상의 어플리케이션 명령과 관련된다는 것을 나타낼 수 있다. 공간 및/또는 시간 컴포넌트를 가진 입력은 또한 후속 데이터를 나타내는데 사용될 수 있다. 공간 입력을 가진 입력의 예는 나란한 두 도트를 포함한다. 시간 입력을 가진 입력의 예는 하나가 다른 도트의 후에 즉시 쓰여진 두 도트를 포함한다. 예를 들면, 사용자가 빠른 연속으로 두 번 표면에 대해 스마트 펜(100)을 누르고, 그 다음 필기된 단어 또는 어구와 관련된 명령을 불러내는 "해결(solve)", "전송(send)", "번역(translate)", "이메일(email)", "음성 이메일(voice-email)"과 같은 단어 또는 어구, 또는 다른 미리 정의된 단어 또는 어구를 쓰거나, 미리 정의된 단어 또는 어구와 관련된 명령과 관련된 부가적인 파라미터를 수신한다. 이러한 "빠른 실행(quick-launch)" 명령은 상이한 포맷(format)으로 제공될 수 있기 때문에, 메뉴의 탐색 또는 어플리케이션의 실행은 간략화된다. "빠른 실행" 명령은 바람직하게는 종래의 쓰기 및/또는 말하기 동안 쉽게 구별 가능하다.
또한, 스마트 펜(100)은 어플리케이션의 메뉴 또는 스마트 펜(100)에 의해 실행되는 어플리케이션의 메뉴 또는 어플리케이션 명령을 탐색하기 위한 입력을 수신하는 작은 조이스틱(joystick), 슬라이드 컨트롤(slide control), 로커 패널, 용량성[또는 다른 비기계적(non-mechanical)] 표면 또는 다른 입력 메커니즘과 같은 물리적 컨트롤러(controller)를 포함한다.
예시적인 시스템 동작
도 3은 본 발명의 일 실시예에 따른 펜 기반 컴퓨팅 시스템 내의 복수의 모달리티를 제공하는 순서도이다. 당업자는 다른 실시예는 상이한 순서로 도 3의 단계를 실행할 수 있음을 이해할 것이다. 또한, 다른 실시예는 본 명세서에 기술된 단계에 상이한 및/또는 부가적인 단계를 포함할 수 있다.
먼저, 스마트 펜(100)은 사용자 상호작용과 관련된 모달리티를 식별(310)한다. 일 실시예에서, 사용자는 스마트 펜(100)을 이용하여 필기하고, 스마트 펜(100)을 움직이거나, 스마트 펜(100)에 말하는 것 등에 의해 스마트 펜(100)과 사용자 상호작용한다. 스마트 펜(100)은 그 다음 하나 이상의 사용자 상호작용과 관련된 모달리티를 식별(310)한다. 예를 들면, 사용자가 스마트 펜(100)을 이용해 필기하면, 이미징 시스템(210)은, 필기된 데이터의 서브세트가 입력 모달리티 또는 출력 모달리티와 관련되었는지를 결정하는 프로세서(245)에 의해 후속으로 처리되 는 필기된 데이터를 캡처한다. 비슷하게, 하나 이상의 마이크로폰(220)에 의해 캡처된 오디오 데이터는, 캡처된 오디오 데이터의 서브세트가 입력 또는 출력 모달리티와 관련되었는지를 결정하기 위해 후속으로 처리된다. 스마트 펜(100)은 말하고 사용자에 의한 중단(interruption)을 감안하며, 스마트 펜(100)이 사용자 입력에 반응하여, 오디오 다시 재생하기, 재생 속도 높이거나 늦추기, 오디오 정보의 값을 향상시키기 위해 오디오와 동기화된 정보 표시하기, 북마크(bookmark) 또는 오디오 태그(audio-tag) 정보를 스마트 펜(100)에 의해 통신하기, 또는 달리 동작하기를 촉구하기 시작할 수 있다. 이는 스마트 펜(100)과의 사용자 상호작용을 보다 직관적이고 효과적으로 만드는 여러 가지 모달리티를 통해 제공되는 입력 또는 출력에 대한 명령 또는 요청을 스마트 펜(100)이 식별하도록 한다.
사용자 상호작용이 입력 모달리티와 관련되었다고 결정하는 것에 반응하여, 입력 타입이 식별(315)된다. 입력 타입을 식별(315)함으로써, 스마트 펜(100)은 어떻게 입력 데이터가 캡처되는지를 결정한다. 필기된 데이터는 이미징 시스템(210)을 통해 캡처(325)되고 이미지로서 또는 텍스트 데이터로서 내장 메모리(250) 내에 저장된다. 비슷하게, 오디오 데이터는 하나 이상의 마이크로폰(220)을 사용하여 기록(327)되고 후속으로 내장 메모리(250) 내에 저장된다. 따라서, 사용자 상호작용과 관련된 입력 모달리티를 식별한 후에, 스마트 펜(100)은, 스마트 펜(100)을 이용한 필기된 또는 말해진 통신과 같은 상호작용으로부터 부가적인 데이터를 캡처한다.
식별된 입력 타입은 부가적으로 모달리티를 식별(310)한 사용자 상호작용과 상이할 수 있다. 예를 들면, 사용자는 입력 모달리티를 식별(310)하기 위해 스마트 펜(100)에 말해진 명령을 제공할 수 있고 그 다음, 필기된 데이터의 캡처(325)를 유발하는 스마트 펜(100)으로의 필기를 시작할 수 있다. 비슷하게, 사용자는 스마트 펜(100)이 후속 오디오 데이터를 녹음(327)하는 것을 유발하는 입력 모달리티를 식별(310)하기 위해 "녹음(record)"를 필기하는 것과 같은 필기된 명령을 제공할 수 있다.
사용자 상호작용이 출력 모달리티와 관련되었다고 결정하는 것에 반응하여, 출력 타입이 식별(317)된다. 출력 타입을 식별(317)함으로써, 스마트 펜(100)은 어떻게 정보를 사용자와 통신하는지를 결정한다. 텍스트 데이터가 디스플레이(235) 또는 컴퓨팅 시스템(120)을 통해 표시(335)된다. 비슷하게, 오디오 데이터가 스피커(225), 오디오 잭(230) 또는 컴퓨팅 시스템(120)을 사용하여 재생(337)된다. 따라서, 사용자 상호작용과 관련된 출력 모달리티를 식별한 후에, 스마트 펜(100)은, 시각적 데이터를 표시하거나 오디오 데이터를 재생하는 것과 같이 사용자에게 정보 또는 데이터를 표시한다.
식별된 출력 타입은 초기에 모달리티를 식별(310)한 사용자 상호작용과 상이할 수 있다. 예를 들면, 사용자는 스마트펜(100)이 시각적 데이터를 표시(335)하도록 유발하는 출력 모달리티를 식별(310)하는 스마트 펜(100)에 말해진 명령을 제공할 수 있다. 비슷하게, 사용자는 스마트 펜(100)이 이전에 캡처된 오디오 데이터를 재생하는 출력 모달리티를 식별(310)하기 위해 "재생(playback)"을 필기하는 것과 같은 필기된 명령을 제공할 수 있다.
식별된 출력 타입은 또한 다른(alternate) 입력원(input source)과의 상호작용을 통해 콘텍스트화(contextualize)된 오디오 또는 시각적 피드백의 형태일 수 있다. 예를 들면, 사용자는 "스페인어로 번역(Translate to Spanish)"이라고 말하거나 쓰거나, 또는 "스페인어로 번역"이라고 인쇄된 인쇄 가능한 표면을 두드릴 수 있다. 사용자는 그 다음, 스마트 펜(100)으로부터 스페인어로 말해지는 단어를 듣거나 디스플레이(235) 상에 스페인어로 표시된 단어를 보기 위해, 텍스트에 인쇄된 영어 단어를 두드리거나 이전에 종이 상에 필기된 단어를 두드릴 수 있다. 사용자는 그 다음 "만다린어로 번역"이라고 말하거나, 쓰거나 또는 (미리 인쇄된 버튼을) 두드릴 수 있고 동일한 단어를 만다린어로 듣고/듣거나 보기 위해 단어를 두드릴 수 있다. 스마트 펜(100)은 또한, 단어를 저장하고 단어에 대한 사용자의 지식을 시험하거나 원격 로깅 소스(logging source)로 단어를 보냄으로써 후속으로 사용하기 위해 두드려진 단어를 캡처할 수 있다.
요약
본 발명의 실시예들의 전술한 기술은 설명의 목적으로 제시되었다. 이는 총괄적이거나 개시된 엄밀한 형태로 본 발명을 제한하는 것으로 의도되지 않는다. 당업자는 상기 개시의 범위 내에서 많은 수정 및 변종이 가능함을 인식할 수 있다.
이 기술의 몇 가지 부분은 정보상의 동작의 알고리즘 및 상징적인 표시의 면에서 본 발명의 실시예들을 기술한다. 이러한 알고리즘적인 기술 및 표시는 다른 당업자에게 그들의 작업의 실체를 효과적으로 전달하기 위해 데이터 처리 기술의 당업자에 의해 통상적으로 사용된다. 기능적으로, 계산적으로, 또는 논리적으로 기 술되었지만, 이러한 동작은 컴퓨터 프로그램 또는 동등한 전기 회로, 마이크로코드(microcode), 등에 의해 구현되는 것으로 이해된다. 게다가, 모듈(module)로서 동작의 이러한 배열(arrangement)을 언급하는 것은 또한 일반성의 손실 없이 때때로 편리한 것으로 증명되었다. 기술된 동작 및 그 관련된 모듈은 소프트웨어, 펌웨어(firmware), 또는 그들의 임의의 조합에서 구현될 수 있다.
본 명세서에 기술된 임의의 단계, 동작 또는 과정은 하나 이상의 하드웨어 또는 소프트웨어 모듈으로 독립적으로 또는 다른 장치와의 조합으로 실행되거나 구현될 수 있다. 일 실시예에서, 소프트웨어 모듈은, 기술된 단계, 동작 또는 과정의 일부 또는 전부를 실행하기 위한 컴퓨터 프로세서에 의해 실행될 수 있는, 컴퓨터 프로그램 코드를 포함하는 컴퓨터로 판독 가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.
본 발명의 실시예들은 또한 본 명세서의 동작을 수행하기 위한 장치와 관련할 수 있다. 이러한 장치는 요구된 목적을 위해 특별히 만들어질 수 있고/있거나, 선택적으로 동작하거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 재구성(reconfigure)된 범용 컴퓨팅 장치를 포함할 수 있다. 이러한 컴퓨터 프로그램은 전자 명령어를 저장하는데 적절한 임의의 타입의 유형의 매체를 포함하는 유형의 컴퓨터 판독 가능한 저장 매체에 저장될 수 있고, 컴퓨터 시스템 버스(bus)와 연결될 수 있다. 게다가, 본 명세서에 언급된 임의의 컴퓨팅 시스템은 단일 프로세서를 포함할 수 있거나 향상된 컴퓨팅 능력을 위한 복수 프로세서 설계를 채용한 아키텍처(architecture)일 수 있다.
본 발명의 실시예는 또한 캐리어파(carrier wave)로 구현되고 본 명세서에 기술된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함하는 컴퓨터 데이터 신호와 관련할 수 있다. 컴퓨터 데이터 신호는 유형의 매체 또는 캐리어파로 제시되고 변조되거나 유형의 캐리어파로 달리 인코딩되며, 임의의 적절한 송신 방법에 따라 송신되는 제품이다.
마지막으로, 본 명세서에 사용된 언어는 주로 가독성(readability) 및 산업적 목적으로 선택되었고, 본 발명을 기술하거나 제한하기 위해 선택된 것은 아니다. 따라서, 본 발명의 범위는 본 발명의 상세한 설명에 의해 제한되는 것으로 의도되지 아니하며, 본 명세서에 기반한 출원에 나타내어지는 임의의 청구항에 의해 제한되는 것으로 의도된다. 따라서, 본 발명의 실시예의 개시는 후술하는 청구항에 제시된 본 발명의 범위를 설명하는 것으로 의도되고 제한하는 것으로 의도되지 않는다.

Claims (19)

  1. 프로세서;
    상기 프로세서와 연결되고 수기 데이터를 캡처하도록 구성된 제스처 캡처 시스템;
    상기 프로세서와 연결되고 오디오 데이터를 캡처하도록 구성된 하나 이상의 마이크로폰;
    상기 프로세서와 연결되고 상기 프로세서가 입력을 식별하는 것에 반응하여 캡처된 수기 데이터 또는 캡처된 오디오 데이터를 저장하도록 구성된 내장 메모리;
    상기 프로세서와 연결되고 상기 프로세서가 상기 캡처된 수기 데이터 또는 상기 캡처된 오디오 데이터와 관련된 출력을 식별하는 것에 반응하여 상기 내장 메모리에 저장된 디스플레이 데이터를 출력하도록 구성된 디스플레이 시스템;
    상기 프로세서와 연결되고 상기 프로세서가 상기 캡처된 수기 데이터 또는 상기 캡처된 오디오 데이터와 관련된 출력을 식별하는 것에 반응하여 저장된 오디오 데이터를 재생하도록 구성된 오디오 출력 시스템; 및
    메모리 상에 저장되고 상기 프로세서에 의해 실행되도록 구성되며, 상기 캡처된 수기 데이터 또는 상기 캡처된 오디오 데이터와 관련된 입력을 식별하기 위한 명령어, 디스플레이 시스템으로 표시 데이터로서 또는 오디오 출력 시스템으로 오디오 데이터로서 출력을 제공하기 위한 명령어를 포함하는 컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하기 위한 스마트 펜 장치.
  2. 제1항에 있어서,
    상기 내장 메모리는,
    영구 메모리와 연결된 랜덤 액세스 메모리를 포함하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하기 위한 스마트 펜 장치.
  3. 제1항에 있어서,
    상기 영구 메모리는,
    플래시 메모리를 포함하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하기 위한 스마트 펜 장치.
  4. 제1항에 있어서,
    상기 컴퓨터 프로그램 코드는,
    상기 디스플레이 시스템으로 표시 데이터 및 상기 오디오 출력 시스템으로 오디오 데이터를 제공하기 위한 명령어를 더 포함하되, 상기 디스플레이 데이터 및 상기 오디오 데이터는 관련된 것을 특징으로 하는 복수의 모달리티를 사용하여 사 용자와 상호작용하기 위한 스마트 펜 장치.
  5. 제1항에 있어서,
    상기 컴퓨터 프로그램 코드는,
    상기 디스플레이 시스템으로 표시 데이터 및 상기 오디오 출력 시스템으로 오디오 데이터를 동시적으로 제공하기 위한 명령어를 더 포함하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하기 위한 스마트 펜 장치.
  6. 제1항에 있어서,
    상기 디스플레이는,
    유기 발광 다이오드(OLED) 디스플레이를 포함하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하기 위한 스마트 펜 장치.
  7. 제1항에 있어서,
    상기 디스플레이는,
    컴퓨팅 시스템을 포함하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하기 위한 스마트 펜 장치.
  8. 제1항에 있어서,
    상기 프로세서 및 상기 내장 메모리와 연결되고, 상기 스마트 펜의 위치를 결정하는 펜 다운 센서를 더 포함하되,
    상기 프로세서는 상기 스마트 펜의 위치 변화에 관련된 출력 또는 입력을 더 식별하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하기 위한 스마트 펜 장치.
  9. 제8항에 있어서,
    상기 펜 다운 프로세서는,
    상기 프로세서가 상기 캡처된 수기의 서브세트 또는 상기 캡처된 오디오의 서브세트와 관련된 출력을 식별하는 것에 반응하여 햅틱 피드백을 더 제공하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하기 위한 스마트 펜 장치.
  10. 사용자로부터 상호작용을 수신하는 단계;
    상기 상호작용과 명령을 관련시키는 단계;
    상기 상호작용이 음성 캡처 명령에 관련되는 것에 반응하여, 오디오 데이터를 녹음하고 녹음된 오디오 데이터를 스마트 펜에 저장하는 단계;
    상기 상호작용이 텍스트 캡처 명령에 관련되는 것에 반응하여, 스마트 펜에 근접한 수기 데이터 또는 텍스트 데이터를 캡처하고 캡처된 수기 데이터 또는 텍스트 데이터를 상기 스마트 펜에 저장하는 단계;
    상기 상호작용이 오디오 재생 명령에 관련되는 것에 반응하여, 상기 사용자에게 청각적으로 데이터를 표시하는 단계;
    상기 상호작용이 시각적 재생 명령에 관련되는 것에 반응하여, 상기 사용자에게 시각적으로 데이터를 표시하는 단계를 포함하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하는 펜 기반 컴퓨팅 시스템을 위한 방법.
  11. 제10항에 있어서,
    상기 상호작용은,
    오디오 데이터, 수기 데이터, 텍스트 데이터 또는 상기 스마트 펜의 위치의 변화를 포함하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하는 펜 기반 컴퓨팅 시스템을 위한 방법.
  12. 제10항에 있어서,
    상기 청각적으로 표시된 데이터 및 상기 시각적으로 표시된 데이터는 관련된 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하는 펜 기반 컴퓨팅 시스템을 위한 방법.
  13. 제10항에 있어서,
    상기 사용자에게 청각적으로 데이터를 표시하는 단계는,
    상기 스마트 펜을 사용하여 오디오 데이터를 재생하는 단계를 포함하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하는 펜 기반 컴퓨팅 시스템을 위한 방법.
  14. 제10항에 있어서,
    상기 사용자에게 시각적으로 데이터를 표시하는 단계는,
    상기 스마트 펜을 사용하여 시각적으로 데이터를 표시하는 단계를 포함하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하는 펜 기반 컴퓨팅 시스템을 위한 방법.
  15. 제10항에 있어서,
    상기 상호작용이 햅틱 명령에 관련되는 것에 반응하여, 상기 사용자에게 햅틱 피드백을 제공하는 단계를 더 포함하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하는 펜 기반 컴퓨팅 시스템을 위한 방법.
  16. 하나 이상의 사용자 상호작용을 수신하도록 구성된 스마트 펜 장치;
    메모리 상에 저장되고 상기 스마트 펜 장치와 연결된 프로세서에 의해 실행되도록 구성되며, 캡처된 수기의 서브세트 또는 캡처된 오디오의 서브세트와 관련된 입력을 식별하기 위한 명령어를 포함하는 컴퓨터 프로그램 코드;
    상기 프로세서 및 상기 스마트 펜에 연결되고, 상기 스마트 펜 장치와의 사용자 상호작용과 관련된 입력을 식별하는 프로세서에 반응하여 상기 스마트 펜 장치와 관련된 데이터를 저장하는 내장 메모리인 저장 장치; 및
    상기 프로세서 및 상기 저장 장치와 연결되고, 상기 프로세서가 상기 스마트 펜 장치와의 하나 이상의 사용자 상호작용의 서브세트와 출력을 관련시키는 것에 반응하여 상기 사용자에게 저장된 데이터를 표시하는 출력 모듈을 포함하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하기 위한 펜 기반 컴퓨팅 시스템.
  17. 제16항에 있어서,
    상기 출력 모듈은,
    상기 저장된 데이터와 관련된 오디오를 재생하는 스피커를 포함하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하기 위한 펜 기반 컴퓨팅 시스템.
  18. 제16항에 있어서,
    상기 출력 모듈은,
    저장된 데이터를 상기 사용자에게 시각적으로 표시하는 디스플레이를 포함하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하기 위한 펜 기반 컴퓨팅 시스템.
  19. 제16항에 있어서,
    상기 하나 이상의 사용자 상호작용은,
    오디오 데이터, 수기 데이터, 텍스트 데이터 또는 상기 스마트 펜의 위치의 변화 중 적어도 하나를 포함하는 것을 특징으로 하는 복수의 모달리티를 사용하여 사용자와 상호작용하기 위한 펜 기반 컴퓨팅 시스템.
KR1020097027381A 2007-05-29 2008-05-29 멀티모달 스마트펜 컴퓨팅 시스템 KR20100029219A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US94066507P 2007-05-29 2007-05-29
US60/940,665 2007-05-29

Publications (1)

Publication Number Publication Date
KR20100029219A true KR20100029219A (ko) 2010-03-16

Family

ID=40094105

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097027381A KR20100029219A (ko) 2007-05-29 2008-05-29 멀티모달 스마트펜 컴퓨팅 시스템

Country Status (8)

Country Link
US (1) US20090021494A1 (ko)
EP (1) EP2168054A4 (ko)
JP (1) JP5451599B2 (ko)
KR (1) KR20100029219A (ko)
CN (1) CN101689187A (ko)
AU (1) AU2008260115B2 (ko)
CA (1) CA2688634A1 (ko)
WO (1) WO2008150909A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013151286A1 (ko) * 2012-04-05 2013-10-10 Kang Shin Tai 전자노트 기능을 갖는 시스템 및 그 운용방법
KR101531169B1 (ko) * 2013-09-23 2015-06-24 삼성전자주식회사 사용자 단말에서 3차원 객체를 그리는 방법 및 이를 수행하는 사용자 단말
WO2015194899A1 (ko) * 2014-06-19 2015-12-23 주식회사 네오랩컨버전스 전자펜, 전자펜 관련 어플리케이션, 전자펜 블루투스 등록 방법 및 도트 코드와 이를 인코딩 또는 디코딩하는 방법
KR20170003901A (ko) * 2016-12-30 2017-01-10 주식회사 네오랩컨버전스 전자펜 관련 어플리케이션 구동 방법 및 장치

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200937260A (en) * 2008-02-25 2009-09-01 J Touch Corp Capacitive stylus pen
ITTV20090049A1 (it) 2009-03-19 2010-09-20 Lifeview Srl Sistema di lettura multimediale interattivo.
KR101049457B1 (ko) * 2009-06-09 2011-07-15 주식회사 네오랩컨버전스 네트워크 상의 학습 패턴 분석 서비스 제공 방법 및 이에 사용되는 서버
JP5888838B2 (ja) * 2010-04-13 2016-03-22 グリッドマーク株式会社 手書き入力ボードを用いた手書き入力システム、手書き入力ボード、スキャナーペンおよび手書き入力ボードを用いた情報処理システム
US20110291964A1 (en) * 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
US20130109003A1 (en) * 2010-06-17 2013-05-02 Sang-gyu Lee Method for providing a study pattern analysis service on a network and a server used therewith
CN104040469A (zh) * 2011-05-23 2014-09-10 智思博公司 在基于笔的计算系统中的内容选择
DE112011105657T5 (de) * 2011-09-22 2014-09-04 Hewlett-Packard Development Company, L.P. Soft-Button-Eingabesysteme und -verfahren
CN104205011B (zh) * 2012-03-21 2018-05-04 祥闳科技股份有限公司 视觉接口装置及数据传输系统
WO2013139001A1 (zh) 2012-03-21 2013-09-26 Tsai Hsiung-Kuang 视觉接口装置及数据传输系统
US9792038B2 (en) 2012-08-17 2017-10-17 Microsoft Technology Licensing, Llc Feedback via an input device and scribble recognition
CN103116462B (zh) * 2013-01-28 2016-04-06 合肥华恒电子科技有限责任公司 一种带有声音反馈的手写输入装置
CN103049115B (zh) * 2013-01-28 2016-08-10 合肥华恒电子科技有限责任公司 一种记录手写笔运动姿态的手写输入装置
US20150054783A1 (en) * 2013-08-22 2015-02-26 Microchip Technology Incorporated Touch Screen Stylus with Communication Interface
US10528249B2 (en) * 2014-05-23 2020-01-07 Samsung Electronics Co., Ltd. Method and device for reproducing partial handwritten content
US9652678B2 (en) 2014-05-23 2017-05-16 Samsung Electronics Co., Ltd. Method and device for reproducing content
US10007421B2 (en) * 2015-08-03 2018-06-26 Lenovo (Singapore) Pte. Ltd. Natural handwriting detection on a touch surface
US10248226B2 (en) 2017-02-10 2019-04-02 Microsoft Technology Licensing, Llc Configuring digital pens for use across different applications
CN106952516A (zh) * 2017-05-16 2017-07-14 武汉科技大学 一种学生课堂书写时段的智能分析系统
CN110543290B (zh) * 2018-09-04 2024-03-05 谷歌有限责任公司 多模态响应
CN109263362A (zh) * 2018-10-29 2019-01-25 广东小天才科技有限公司 一种智能笔及其控制方法
KR102156180B1 (ko) * 2019-12-13 2020-09-15 주식회사 에스제이더블유인터내셔널 전자펜을 이용한 외국어 학습 시스템 및 외국어 학습 방법

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5412795A (en) * 1992-02-25 1995-05-02 Micral, Inc. State machine having a variable timing mechanism for varying the duration of logical output states of the state machine based on variation in the clock frequency
US5818428A (en) * 1993-01-21 1998-10-06 Whirlpool Corporation Appliance control system with configurable interface
US5745782A (en) * 1993-09-28 1998-04-28 Regents Of The University Of Michigan Method and system for organizing and presenting audio/visual information
US5666438A (en) * 1994-07-29 1997-09-09 Apple Computer, Inc. Method and apparatus for recognizing handwriting of different users of a pen-based computer system
US5730602A (en) * 1995-04-28 1998-03-24 Penmanship, Inc. Computerized method and apparatus for teaching handwriting
GB9722766D0 (en) * 1997-10-28 1997-12-24 British Telecomm Portable computers
US6195693B1 (en) * 1997-11-18 2001-02-27 International Business Machines Corporation Method and system for network delivery of content associated with physical audio media
US6456749B1 (en) * 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
US6330976B1 (en) * 1998-04-01 2001-12-18 Xerox Corporation Marking medium area with encoded identifier for producing action through network
US7091959B1 (en) * 1999-03-31 2006-08-15 Advanced Digital Systems, Inc. System, computer program product, computing device, and associated methods for form identification and information manipulation
US7295193B2 (en) * 1999-12-23 2007-11-13 Anoto Ab Written command
SE9904744L (sv) * 1999-12-23 2001-06-24 Anoto Ab Styrning av anordning
US20030061188A1 (en) * 1999-12-23 2003-03-27 Linus Wiebe General information management system
US6965447B2 (en) * 2000-05-08 2005-11-15 Konica Corporation Method for producing a print having a visual image and specific printed information
AU2001264961A1 (en) * 2000-05-24 2001-12-03 Immersion Corporation Haptic devices using electroactive polymers
US20020107885A1 (en) * 2001-02-01 2002-08-08 Advanced Digital Systems, Inc. System, computer program product, and method for capturing and processing form data
US20020110401A1 (en) * 2001-02-15 2002-08-15 Gershuni Daniel B. Keyboard and associated display
US7916124B1 (en) * 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US7175095B2 (en) * 2001-09-13 2007-02-13 Anoto Ab Coding pattern
JP4050546B2 (ja) * 2002-04-15 2008-02-20 株式会社リコー 情報処理システム
JP2004045844A (ja) * 2002-07-12 2004-02-12 Dainippon Printing Co Ltd 漢字書き順学習システム、漢字書き順判定プログラム、および漢字練習用紙
JP2004145408A (ja) * 2002-10-22 2004-05-20 Hitachi Ltd デジタルペンおよびデジタルペーパを利用した計算システム
US20040229195A1 (en) * 2003-03-18 2004-11-18 Leapfrog Enterprises, Inc. Scanning apparatus
US20040240739A1 (en) * 2003-05-30 2004-12-02 Lu Chang Pen gesture-based user interface
US20050024346A1 (en) * 2003-07-30 2005-02-03 Jean-Luc Dupraz Digital pen function control
US7616333B2 (en) * 2003-08-21 2009-11-10 Microsoft Corporation Electronic ink processing and application programming interfaces
US20060033725A1 (en) * 2004-06-03 2006-02-16 Leapfrog Enterprises, Inc. User created interactive interface
US7853193B2 (en) * 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US7453447B2 (en) * 2004-03-17 2008-11-18 Leapfrog Enterprises, Inc. Interactive apparatus with recording and playback capability usable with encoded writing medium
US20060077184A1 (en) * 2004-03-17 2006-04-13 James Marggraff Methods and devices for retrieving and using information stored as a pattern on a surface
US20060067576A1 (en) * 2004-03-17 2006-03-30 James Marggraff Providing a user interface having interactive elements on a writable surface
US20060078866A1 (en) * 2004-03-17 2006-04-13 James Marggraff System and method for identifying termination of data entry
US20060066591A1 (en) * 2004-03-17 2006-03-30 James Marggraff Method and system for implementing a user interface for a device through recognized text and bounded areas
US7831933B2 (en) * 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060127872A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and device for associating a user writing with a user-writable element
US20060125805A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and system for conducting a transaction using recognized text
US20060057545A1 (en) * 2004-09-14 2006-03-16 Sensory, Incorporated Pronunciation training method and apparatus
JP4546816B2 (ja) * 2004-12-15 2010-09-22 株式会社ワオ・コーポレーション 情報処理システム、サーバ装置、およびプログラム
US7639876B2 (en) * 2005-01-14 2009-12-29 Advanced Digital Systems, Inc. System and method for associating handwritten information with one or more objects
US7627703B2 (en) * 2005-06-29 2009-12-01 Microsoft Corporation Input device with audio capabilities
US20070030257A1 (en) * 2005-08-04 2007-02-08 Bhogal Kulvir S Locking digital pen
US7281664B1 (en) * 2005-10-05 2007-10-16 Leapfrog Enterprises, Inc. Method and system for hierarchical management of a plurality of regions of an encoded surface used by a pen computer
US7936339B2 (en) * 2005-11-01 2011-05-03 Leapfrog Enterprises, Inc. Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface
GB2432929A (en) * 2005-11-25 2007-06-06 Hewlett Packard Development Co Paper calendar employing digital pen input provides notification of appointment conflicts
US20070280627A1 (en) * 2006-05-19 2007-12-06 James Marggraff Recording and playback of voice messages associated with note paper
US7475078B2 (en) * 2006-05-30 2009-01-06 Microsoft Corporation Two-way synchronization of media data
WO2007141204A1 (en) * 2006-06-02 2007-12-13 Anoto Ab System and method for recalling media
US7633493B2 (en) * 2006-06-19 2009-12-15 International Business Machines Corporation Camera-equipped writing tablet apparatus for digitizing form entries

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013151286A1 (ko) * 2012-04-05 2013-10-10 Kang Shin Tai 전자노트 기능을 갖는 시스템 및 그 운용방법
KR101531169B1 (ko) * 2013-09-23 2015-06-24 삼성전자주식회사 사용자 단말에서 3차원 객체를 그리는 방법 및 이를 수행하는 사용자 단말
WO2015194899A1 (ko) * 2014-06-19 2015-12-23 주식회사 네오랩컨버전스 전자펜, 전자펜 관련 어플리케이션, 전자펜 블루투스 등록 방법 및 도트 코드와 이를 인코딩 또는 디코딩하는 방법
KR20170003901A (ko) * 2016-12-30 2017-01-10 주식회사 네오랩컨버전스 전자펜 관련 어플리케이션 구동 방법 및 장치

Also Published As

Publication number Publication date
CA2688634A1 (en) 2008-12-11
AU2008260115A1 (en) 2008-12-11
AU2008260115B2 (en) 2013-09-26
CN101689187A (zh) 2010-03-31
US20090021494A1 (en) 2009-01-22
JP2010529539A (ja) 2010-08-26
WO2008150909A1 (en) 2008-12-11
JP5451599B2 (ja) 2014-03-26
EP2168054A4 (en) 2012-01-25
EP2168054A1 (en) 2010-03-31

Similar Documents

Publication Publication Date Title
JP5451599B2 (ja) マルチモーダルスマートペンのコンピューティングシステム
US8446298B2 (en) Quick record function in a smart pen computing system
US8944824B2 (en) Multi-modal learning system
US8300252B2 (en) Managing objects with varying and repeated printed positioning information
US20090251338A1 (en) Ink Tags In A Smart Pen Computing System
US20160124702A1 (en) Audio Bookmarking
US8265382B2 (en) Electronic annotation of documents with preexisting content
US9058067B2 (en) Digital bookclip
US20090251441A1 (en) Multi-Modal Controller
US8446297B2 (en) Grouping variable media inputs to reflect a user session
US8374992B2 (en) Organization of user generated content captured by a smart pen computing system
US8149227B2 (en) Removing click and friction noise in a writing device
WO2008150924A1 (en) Animation of audio ink
WO2008150911A1 (en) Pen-based method for cyclical creation, transfer and enhancement of multi-modal information between paper and digital domains

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid