KR100847943B1 - 전자 펜-컴퓨터 멀티미디어 대화형 시스템을 위한 응답생성 - Google Patents

Abstract

임의의 인쇄된 자료상의 선택된 객체를 컴퓨터 시스템에 의해 제공되는 유효한 응답에 연관시키기 위한 시스템은, 인쇄된 자료의 페이지상의 객체를 정의하고, 페이지상의 객체의 위치와 페이지의 콘텐츠 및 컴퓨터 시스템에 의해 수행되는 응답을 연계하기 위한 메이커(maker) 컴포넌트를 포함한다. 또한 시스템은 인쇄된 자료상의 위치를 결정하기 위한 포인팅(pointing) 장치, 위치를 컴퓨터 시스템으로 전송하기 위한 통신 장치, 및 위치를 인쇄된 자료와 연관된 선택된 디지털 콘텐츠 -상기 선택된 디지털 컨텐츠는 컴퓨터 시스템에 의해 액세스가능함- 에 상관시키고, 위치와 상관된 콘텐츠에 적어도 부분적으로 기초하여 사용자에게 유효한 응답 -상기 유효한 응답은 상기 컴퓨터 시스템에 의한 오디오 콘텐츠의 렌더링, 비디오 콘텐츠의 렌더링, 이미지 콘텐츠의 렌더링, 텍스트 콘텐츠의 렌더링 및 액션의 수행 중 적어도 하나를 포함함- 을 제공하기 위한 플레이어 컴포넌트를 포함한다.

전자 펜, 멀티미디어, 대화형, 액션

Description

전자 펜-컴퓨터 멀티미디어 대화형 시스템을 위한 응답 생성{CREATING RESPONSES FOR AN ELECTRONIC PEN-COMPUTER MULTIMEDIA INTERACTIVE SYSTEM}

본 발명은 일반적으로 컴퓨터 시스템, 특히 멀티미디어 대화형 모드에서 개인용 컴퓨터(PC)에 대한 새로운 사용 모델에 관한 것이다.

상이한 많은 입력 장치들이 PC와 같은 컴퓨터 시스템을 위해 여러 해 동안 개발되어 왔다. 마우스, 트랙볼, 터치 스크린, 조이스틱 등과 같은 장치들이 고급(sophisticated) 및 비고급 컴퓨터 사용자 모두에게 사용되었으나 성과 정도는 다양했다. 작은 어린이 또는 노인과 같은 일부 비고급 사용자에게는 이러한 입력 장치를 다루는 것에 때때로 문제가 있어왔으므로, 잠재적으로 그들이 PC를 사용하여 즐거움을 얻는 것을 제한해 왔다.

입력 방법에 있어서 상대적으로 최근에 이루어진 발전이 전자 펜이다. 사용자는 전자 펜을 사용하여 종래의 종이 위에 쓸 수 있다. 전자 펜은 좌표 정보를 보유하는 무선 신호를 수신기로 보낸다. 수신기는 펜의 팁 위치 정보를 계산하여 이 정보를 PC로 보낼 수 있다. 이 솔루션은 PC에 대한 가장 자연스러운 입력 방법들 중 하나이다. 사용자는 일반 종이 위에 무엇이든 쓸 수 있다. 전자 펜은 기록된 자료의 콘텐츠에 전혀 의존하지 않고 펜 팁의 절대 위치를 획득할 수 있다. 전 자 펜 기술을 사용하는 일부 응용들이 이미 가능하게 되었다. 일례로, 펜 어플리케이션은 필사물(handwriting)의 이미지를 보유하는 이메일을 보내기 위해 사용자의 필사물을 캡처하고, 기록된 것을 {전자 메일(이메일) 프로그램과 같은} 어플리케이션 프로그램에 통합한다. 전자 펜은 또한 윈도우의 커서를 제어하기 위한 선택 장치로서 (마우스가 사용되는 만큼 많이) 사용되어 왔다.

전자 펜의 사용이 다른 입력 방법보다 더 자연스럽기 때문에, 비고급 컴퓨터 사용자에게 특히 유용할 수 있다. 예를 들어, 키보드를 사용하는데 어려움이 있는 작은 어린이나 노인은 펜을 사용하여 효율적으로 정보를 입력할 수 있다. 전자 펜은 (중국어와 같은) 아시아 언어로 된 정보를 컴퓨터에 입력하는데 특히 유용할 수 있다.

또한, 멀티미디어 기능에 대한 본래의(inherent) 지원 때문에 전자 책 및/또는 코스웨어(courseware)가 보다 대중화되었다. 사용자는 PC상에서 오디오, 비디오 및 스틸 이미지를 즐길 수 있으며, 텍스트 전용(text-only) 제품에서보다 이러한 자료들에서 더 많은 정보를 얻을 수 있다. 그러나, 독자는 여전히 종래 종이 책의 편리함과 광범위한 이용성을 계속 즐기게 된다.

본 발명의 특징 및 장점은 이하 본 발명의 상세한 설명으로부터 명백해질 것이다.

도 1은 본 발명의 일 실시예에 따른 전자 펜-컴퓨터 멀티미디어 대화형 시스템의 다이어그램.

도 2는 본 발명의 일 실시예에 따른 전자 펜 시스템을 도시하는 다이어그램.

도 3은 본 발명의 일 실시예에 따른 멀티미디어 시스템에서의 메이커(maker) 컴포넌트 및 플레이어(player) 컴포넌트의 흐름 다이어그램.

도 4는 본 발명의 일 실시예에 따른 플레이어 처리의 흐름 다이어그램.

도 5는 본 발명의 일 실시예에 따른 메이커 처리의 흐름 다이어그램.

도 6은 본 발명의 일 실시예에 따른 객체 확인(object identification) 처리의 예를 도시한 도면.

도 7은 본 발명의 일 실시예에 따른 액션 연계(action linkage) 처리의 흐름 다이어그램.

도 8은 본 시스템에 의해 지원되는 책의 페이지의 예를 도시한 도면.

도 9는 본 발명의 일 실시예에 따른 논리 행위를 연계하는 처리의 흐름 다이어그램.

본 발명의 실시예들은 전자 펜 위치 측정 시스템(electronic pen position location system)과 종래의 종이 책의 조합에 기초한 컴퓨터 시스템을 위하여 새로운 사용 모델을 소개한다. 본 발명의 실시예들은 전자 책 및/또는 코스웨어(courseware)를 종래의 종이 책과 연계(link)하는 방법을 제공한다. 본 발명을 사용함으로써, 사용자는 책을 읽는 동안 (PC와 같은) 컴퓨터 시스템상에서 멀티미디어 콘텐츠를 즐길 수 있다. 본 발명은 PC에 의해 제공되지만 현존하는 종이 책으로부터 선택된 콘텐츠에 직접적으로 기초하는 대화성(interactivity)을 제공한다. 책의 콘텐츠와 컴퓨터 시스템상에 저장된 멀티미디어 콘텐츠 사이의 연계(linkage)를 설정하기 위해, 사용자의 사용에 앞서 책의 콘텐츠의 부분들이 시스템에 의해 처리될 수 있다.

본 명세서에서 본 발명의 "하나의 실시예" 또는 "일 실시예"라는 언급은, 그 실시예와 관련하여 설명된 특정 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함되어 있다는 것을 의미한다. 그러므로, 본 명세서를 통해 여러 곳에서 나타나는 "일 실시예에서"라는 구문이 반드시 모두 동일한 실시예를 언급하고 있는 것은 아니다.

도 1은 본 발명의 일 실시예에 따른 전자 펜-컴퓨터 멀티미디어 대화형 시스템(100)의 다이어그램이다. 본 발명의 실시예에서, 컴퓨터 시스템(102)은 사용자에 의해 읽혀지는 종래의 종이 책(104)과 상호작용한다. 여기에 사용되는 "책"이라는 용어는 소설 또는 비소설, 잡지나 신문 또는 저널과 같은 정기 간행물, 칠하기 그림책, 팜플렛, 광고 등과 같은 이미 현존하고 있는 임의의 인쇄된 자료가 될 수 있다. 수신기 장치(108)에 대하여 고정된 관계(fixed relationship)로 책을 고정하는 책 홀더(106; book holder)상에 책이 있도록 사용자에 의해 책이 놓여질 수 있다. 전자 펜(E-pen; 110)은 책(104)에 점을 찍고(point) 및/또는 그 위에 기록을 하는데 사용될 수 있다. 전자 펜의 위치는 수신기에 의해 결정되어 통신 링크(112)를 통해 컴퓨터 시스템으로 전달될 수 있다. 통신 링크는 COM 포트, USB(universal serial bus), LPT, 802.11 무선 표준 구현의 임의의 변형, 블루투스, 적외선 등과 같은 임의의 유선 또는 무선 접속을 포함할 수 있다.

컴퓨터 시스템은 적어도 하나의 데이터 베이스 및 어플리케이션(114)을 포함하여, 전자 펜의 위치 정보와 사용자에 의해 어떤 책이 읽히고 있는지의 표시를 받아들이고, 컴퓨터 시스템상에 멀티미디어 콘텐츠를 렌더링(render)하거나 위치 정보의 수신에 대한 응답으로 선택된 액션(action)을 제공한다. 일반적으로, 응답은 하나 이상의 오디오 콘텐츠 재생, 비디오 콘텐츠 재생, 이미지나 텍스트 또는 임의의 다른 멀티미디어 정보의 디스플레이, 또는 컴퓨터 시스템상에서 소정의 액션(예컨대, 스피커 볼륨을 조절, 디스플레이 밝기를 조정 또는 컴퓨터 시스템의 전원 끄기와 같은 액션)을 취하는 것을 포함할 수 있다. 응답은 사용자가 책을 읽기에 앞서 미리 설정되어, 컴퓨터 시스템상에서 실행되는 어플리케이션이, 이미 현존하고 있는 종래의 출판된 책 페이지의 부분 위에 있는 전자 펜의 위치 정보와, 적절한 컴퓨터 시스템 응답의 선택을 연계할 수 있게 된다.

본 발명의 실시예들은 다음과 같이 사용될 수 있다. 책(104)은 사용자에 의해 책 홀더 위에 놓여지는 한편, 수신기(108)는 책 홀더(106)의 상부(top)에 고정될 수 있다. 이는 책과 수신기의 거리가 고정된다는 것을 의미한다. 적어도 하나의 실시예에서, 고정된 관계는 책 홀더의 고정된 90도 각도 구조를 기준으로 책의 한 모서리와 두 측면을 위치시키는 것을 포함할 수 있다. 사용자가 현재 보여지는 페이지상의 책 콘텐츠를 선택하기 위해 전자 펜(110)을 사용할 때, 팁(tip) 위치 정보가 수신기(108)에 의해 계산되어 컴퓨터 시스템(102)으로 보내질 수 있다. 적어도 하나의 데이터베이스가 컴퓨터 시스템에 포함될 수 있다. 적어도 하나의 데이터 베이스는 현재의 E-펜 위치에 대응하는 액션/응답 정보, 현재 페이지에 대한 책의 콘텐츠, 및 저장된 멀티미디어 콘텐츠를 보유한다. 데이터베이스 또는 그 데이터베이스의 부분들은 컴퓨터 시스템(102)에 지역화(local)되거나, 예컨대 인터넷을 통하는 방법과 같은 공지된 기술을 사용하여 컴퓨터 시스템 외부로부터 저장되고 액세스될 수 있다. 어플리케이션은 위치 정보를 수신하고, 위치 정보 및 책 콘텐츠에 상관된(correlated) 엔트리(entry)를 찾기 위해 적어도 하나의 데이터베이스를 검색하여, 대응하는 멀티미디어 콘텐츠를 재생하거나 대응하는 소정의 액션을 취한다. 적어도 하나의 실시예에서, 멀티미디어 콘텐츠는 컴퓨터 시스템과 통신적으로 결합(communicatively coupled)될 수 있는 텔레비전, 스테레오, 컴퓨터 디스플레이 모니터 등과 같은 가전 기기에서 재생될 수 있다.

본 발명의 실시예들 중 하나의 사용법으로 영어 알파벳 교육이 있다. 예를 들어, 책이 26 페이지이고, 각각의 페이지는 알파벳 문자를 보유할 수 있다. 제1 페이지는 대문자 "A" 및 상이한 종류의 사과 그림이나 문자 "A"로 시작하는 다른 객체(object)를 보유할 수 있다. 사용자가 그 책의 페이지상에서 문자 "A"를 선택할 때(아마도 E-펜에 있는 버튼을 누르거나 종이에 E-펜을 접촉시킴으로써 선택함), 컴퓨터 시스템상의 어플리케이션은 컴퓨터로 하여금 컴퓨터 시스템의 스피커를 통해 예컨대 단어 "애플"에 대한 사운드를 송출시킨다. 실질적으로 이와 동시에, 컴퓨터 시스템은 예컨대 상이한 크기와 색깔을 갖는 사과의 그림을 더 보여주거나 비디오를 재생하는데 사용될 수도 있다. 그러므로, 본 발명의 실시예는 이미 현존하고 있는 책의 콘텐츠를 취하여, 향상된 정보 흐름과 교육/오락 목적을 위해 이 콘텐츠를 컴퓨터 시스템의 대화성과 결합시킨다. 교육을 위해 사용될 때, 본 발명은 현존하는 또는 새롭게 출판된 종래의 종이 책의 능력(power)을 (일부 실시예에서 멀티미디어, 및 인터넷 액세스에 의한) 컴퓨터 시스템의 능력과 결합시킨다.

본 발명의 실시예들을 이용하여, 다른 많은 사용 모드들이 가능하다. 예를 들어, 상이한 모드의 교육 시스템이 상이한 나이 그룹을 대상으로 설계될 수 있다. 2세에서 4세까지의 아이들에게는, 간단한 단어, 알파벳 및 숫자를 가르치는 어플리케이션 및 관련 데이터베이스가, 동일한 목적을 위해 현존하는 책을 기초로 생성될 수 있다. 5세에서 7세까지의 아이들에게는, 문장을 가르치는 어플리케이션 및 관련 데이터베이스가 생성될 수 있다. 다른 설정에서는, 다른 모드가 가능하며 이 점에서 본 발명은 제한적이지 않다. 예를 들어, 여행자가 현존하는 인쇄된 지도로부터 정보를 더 얻을 수 있게 하는 어플리케이션 및 관련 데이터베이스가 생성될 수 있다. 다른 예에서, 집에서 전자 장치들에 대한 가상 원격 제어를 가능하게 하는 어플리케이션이 여기서 설명된 시스템 및 기술을 사용하여 생성될 수 있다.

도 2는 본 발명의 일 실시예에 따른 전자 펜 시스템을 도시한 다이어그램이다. E-펜 시스템은 책 페이지상의 절대(absolute) 팁 위치 정보를 획득한다. 적어도 두 개의 초음파 센서 S1(200) 및 S2(202)가 각각 (D, 0) 및 (-D, 0)으로 표시된 것과 같이, 좌표 시스템의 원점(0, 0)으로부터 같은 거리에 있도록 수신기(108)내에서 하나의 라인상에 배치될 수 있다. E-펜(110)은 초음파 송신기 T(204)를 포함한다. 펜 팁이 내려갈 때, 송신기는 수신기에 의해 탐지될 수 있는 초음파 신호를 보낸다. 거리 L1 = (T, S1)과 L2 = (T, S2)가 상이하기 때문에, 초음파 신호는 상이한 시간에 두 센서에 도달하게 된다. 수신기(108)는 시간 차이를 탐지하여 L1 과 L2의 길이를 계산할 수 있다. 다음으로, T의 위치가 수식 1에 의해 계산될 수 있다:

X와 Y 좌표는 펜 팁의 절대 위치 정보를 지정한다. E-펜 시스템은 이 정보를 접속(112)을 통해 컴퓨터 시스템(102)으로 보낸다.

위치 정보가 사용자의 컴퓨터 시스템(102)에 의해 수신되면, 여기서 "플레이어(player)" 컴포넌트라고 불리우는 어플리케이션 프로그램에 의해 그 정보가 처리될 수 있다. 플레이어는 위치 정보를 수신하여 적어도 하나의 데이터베이스에서 대응하는 멀티미디어 콘텐츠 및/또는 적절한 액션을 검색하고, 그 대응 멀티미디어를 재생하고 및/또는 그 액션을 수행한다. 사용자는 종래의 종이 책을 대화형 사용자 경험으로 만들기 위하여 플레이어와 상호작용한다. 사용자는 E-펜을 사용하여 책에서 객체를 선택하고, 플레이어는 펜 팁의 위치와 객체 종류에 기초하여 대응하는 응답을 제공한다.

사용에 앞서, 펜 팁 위치, 현재 책의 콘텐츠, 책의 현재 페이지, 현재 책에 대한 멀티미디어 콘텐츠 및 현재 책에 대한 소정의 액션들과 관련된 액션/응답 정보를 보유하기 위해 적어도 하나의 데이터베이스가 생성되어야 한다. 여기서 "메이커(maker)" 컴포넌트라 불리우는 발행자(publisher)의 컴퓨터 시스템상에서 실행되는 어플리케이션 프로그램이 이러한 데이터 아이템들간 연계를 생성하기 위해 사용될 수 있다. 메이커는 발행자{또는 일부 경우에는 고급 사용자(sophisticated user)}에 의해 사용되어, 현존하는 종래의 종이 책(또는 어쩌면 새롭게 출판된 책)에 기초한 대화형 멀티미디어 제품을 제한된 수동 작업(manual work)으로 만들 수 있다. 메이커로의 입력 데이터는 책의 페이지 이미지, 부가적인 멀티미디어 콘텐츠 및 소정의 액션들을 포함한다. 발행자는 페이지 이미지상의 객체를 선택하여, 관련된 멀티미디어 콘텐츠 및/또는 동작을 선택된 객체와 연계한다. 모든 연계 정보는 적어도 하나의 데이터베이스에 저장될 수 있다.

일 실시예에서, 대화형 멀티미디어 제품 및/또는 책이 사용자측에서 사용자 또는 다른 사람에 의해 생산되는 경우(예컨대, 아이가 사용하도록 부모가 연계를 준비하는 경우)에 있어서는, 발행자의 컴퓨터 시스템이 사용자의 컴퓨터 시스템과 동일할 수 있다. 일 실시예에서, 멀티미디어 콘텐츠는 사용자에 의해 생산되거나 획득된 하나 이상의 디지털 이미지, 디지털 비디오, 디지털 오디오 파일 및 텍스트 파일을 포함할 수 있다. 일 실시예에서, 사용자는 책의 페이지(예컨대, 사용자의 원본 디지털 사진)로서 디지털 이미지를 제공할 수 있고, 책의 각각의 페이지상의 객체와 멀티미디어 콘텐츠의 연계를 지정할 수 있다.

도 3은 본 발명의 일 실시예에 따른, 멀티미디어 시스템의 메이커 컴포넌트(300)와 플레이어 컴포넌트(302)의 흐름 다이어그램이다. 블록(304)에서, 메이커 컴포넌트(300)는 책의 하나 이상의 페이지의 이미지들을 입력으로 받아들여 그 페이지상에 나타난 객체에 대한 구역(zone) 정보를 정의한다. 일 실시예에서, 메이커는 멀티미디어 콘텐츠의 발행자로 활동하는 시스템 사용자와의 상호작용을 통하여 이를 수행한다. 블록(308)에서, 메이커는 멀티미디어 파일 및 액션들(310)을 입력 데이터로 사용하여 펜 위치, 책의 콘텐츠(예컨대, 책 페이지상에서 발견되는 객체) 및 관련 멀티미디어 콘텐츠(예컨대, 연관된 오디오, 비디오, 이미지, 텍스트 등) 및/또는 액션 사이의 연계를 설정한다. 블록(312)에서, 메이커는 플레이어 컴포넌트(302)에 의한 이후의 사용을 위해 데이터베이스를 패키지화한다. 일 실시예에서, 발행자는 메이커 컴포넌트를 운영할 때 멀티미디어 파일들을 제공하며, 플레이어 컴포넌트와 함께 사용자 컴퓨터 시스템에 분산되어 있는 데이터베이스에 그것들을 설치한다. 다른 실시예에서, 발행자는 인터넷과 같은 네트워크를 통해 액세스할 수 있는 멀티미디어 파일들로의 연계(link)를 제공한다. 이 실시예에서, 플레이어 컴포넌트는 주지된 파일 전송 프로토콜이나 공지된 하이퍼 텍스트 전송 프로토콜(HTTP)을 이용하여 필요한 만큼 파일을 획득한다.

데이터베이스는 적어도 책 콘텐츠 데이터베이스(314), 멀티미디어 데이터베이스(316) 및 액션 라이브러리(318)를 포함한다. 책 콘텐츠 데이터베이스는 책 페이지의 이미지, 페이지상의 객체에 대한 위치 정보 및 객체와 멀티미디어 콘텐츠 또는 액션들/응답들 간의 연계 정보를 보유한다. 멀티미디어 데이터베이스는 사용자에 의해 인식될 수 있도록 렌더링하기 위해 책 페이지상의 객체에 대응하는 오디오, 비디오, 이미지, 텍스트 및 다른 데이터를 보유한다. 액션 라이브러리(318)는, 전자 펜의 위치가 연관된 액션을 지시하는 책 페이지 상의 객체와 부합할 때 사용자의 컴퓨터 시스템에 의해 수행되는 소정의 액션들에 대한 지시어들(directives)을 보유한다. 일 실시예에서, 액션들은 이후 통신을 위한 인간 언어 선택, 스피커의 볼륨 조정, 컴퓨터 모니터의 밝기 조절, 입력/출력(I/O) 포트로 명령 보내기, 컴퓨터 시스템의 전원 끄기 등을 포함할 수 있다. 다른 액션들도 예상될 수 있다. 일 실시예에서, 여기서 설명된 세 개의 데이터베이스가 단일한 데이터베이스로 결합될 수 있다.

다음으로, 책에 대응하는 데이터베이스들이 주지된 임의의 메커니즘을 사용하여 사용자의 컴퓨터 시스템으로 분배될 수 있다. 플레이어 어플리케이션이 사용자의 컴퓨터 시스템상에 설치된 후, 사용자는 책을 책 홀더 위에 올려놓고 컴퓨터 시스템상에서 플레이어 컴포넌트(302)를 시작하여 책과의 상호작용을 시작할 수 있다. 사용자가 시스템에 의미를 갖는 책 또는 책 홀더상의 영역을 선택할 때, 사용자는 유효한 입력을 선택한 것이다. 일 실시예에서, 사용자에 의한 다른 영역의 선택은 시스템에 의해 무시될 수 있다. 블록(320)에서, 사용자는 전자 펜을 사용하여 책 페이지상에 표시된 객체를 선택한다. 블록(322)에서, 수신기는 그 선택 동안 현재의 펜 팁 위치를 계산한다. 블록(324)에서, 수신기(108)는 접속(112)을 사용하여 컴퓨터 시스템(102)으로 펜 팁 위치 정보를 보낸다. 블록(326)에서, 컴퓨터 시스템상에서 실행되는 플레이어 컴포넌트는 위치 정보를 수신하고 책 콘텐츠 데이터베이스(314)를 검색하여 현재 페이지상의 현재 펜 위치에 의해 선택된 객체와 관련된 정보(존재하는 경우)를 얻는다. 블록(328)에서, 객체가 선택되고 멀티미디어 콘텐츠 및/또는 액션이 그 선택된 객체와 연관되는 경우, 플레이어 컴포넌트는 대응하는 멀티미디어 콘텐츠를 재생하고 및/또는 지정된 액션을 수행한다. 플레이어 컴포넌트는 블록(328)을 수행하는데 있어서 멀티미디어 데이터베이스(316) 및 액션 라이브러리(318)로부터의 데이터를 사용한다. 플레이어 컴포넌트는 컴퓨터 시스템 및/또는 텔레비전과 같은 통신적으로 결합된 가전 기기상에서의 콘텐츠의 재생을 지시한다.

도 4는 본 발명의 일 실시예에 따른 플레이어 처리의 흐름 다이어그램이다. 플레이어는 블록(400)에서 전자 펜 시스템으로부터 현재 위치 정보를 수신한다. 블록(402)에서, 플레이어는 일 실시예에서 펜의 현재 위치 정보에 기초하여, 사용자가 책 페이지, 수신기 또는 책 홀더상의 특정 영역을 선택하고 있는지 결정한다. 그러한 경우, 일 실시예에서 플레이어는 액션 라이브러리(318)를 입력 데이터로 사용하여 블록(404)에서, 선택된 소정의 액션을 처리한다. 소정의 액션들은 스피커의 볼륨을 높이거나 줄이기, 컴퓨터 모니터의 시각적 속성(visual attribute) 조정, 이후의 통신을 위한 인간 언어 선택 등과 같은 것들을 포함할 수 있다. 다른 액션들이 특정 구현에 대해 정의될 수 있으며, 이 점에서 본 발명은 제한적이지 않다. 일 실시예에서, 액션은 플레이어 컴포넌트나 컴퓨터 시스템을 제어하기 위해 사용될 수 있으며, 이러한 액션들은 책의 콘텐츠와 관계가 없다. 현재의 펜 위치 정보가 특정 영역을 가리키지 않는 경우, 플레이어는 그 위치 정보를 책 콘텐츠 데이터베이스(314)에 저장된 책 페이지에 대한 주지된 객체와 비교한다. 플레이어는 객체의 경계(boundary) 좌표 및 현재의 펜 위치 정보에 기초하여 블록(406)에서 페이지의 어느 객체가(존재하는 경우) 선택되는지 결정한다. 객체가 선택되면, 플레이어는 블록(408)에서 책 콘텐츠 데이터베이스, 멀티미디어 데이터베이스(316) 및 액션 라이브러리(318) 중 하나 이상으로부터 선택된 객체의 연계 정보를 얻는다. 블록(410)에서, 플레이어는 객체 연계 정보에 기초하여 연계된 멀티미디어 콘텐츠를 재생하거나 액션을 처리한다.

사용자가 전자 펜을 사용하여 책 페이지상의 객체를 선택한 결과로 컴퓨터 시스템상에 관련 멀티미디어 콘텐츠를 렌더링하게 하거나 관련 동작들이 수행되도록 할 수 있기 위해서는 그전에, 데이터베이스들이 존재하여야 하고 객체, 위치 및 콘텐츠와 동작 사이의 연계가 설정되어야 한다. 이러한 처리는 본 발명의 실시예에 따른 메이커 컴포넌트에 의해 수행될 수 있다. 본 발명의 메이커는 발행자 또는 사용자의 제한된 노력으로 종래의 책으로부터 어떻게 전자 자료를 생성할지에 대한 문제를 해결한다. 본 발명의 실시예들은 종이 책으로부터 컴퓨터 시스템상의 액션들/응답들을 생성하는 일반적인 방법을 제공한다. 본 발명에 기초하여, 발행자 또는 사용자는 제한된 수동 작업으로 현존하는 또는 새롭게 발행되는 종래의 종이 책에 대해 연계된 대화형 멀티미디어 자료를 생성할 수 있다.

메이커는 책 페이지상에 정의된 객체의 선택에 대해 상이한 동작 또는 응답을 생성한다. 여기서, "객체"라는 용어는 페이지상에서 특정 의미를 보유하는 임의의 구역이 될 수 있다(예컨대, 소년의 그림, 사과 그림 등). 발행자 또는 사용자에 의한 제한된 입력을 이용하여, 메이커는 페이지상에서 객체를 확인(identify)한다. 다양한 실시예에서, 응답은 오디오나 비디오 재생, 이미지 보이기, 임의의 다른 멀티미디어 정보 렌더링, 소정의 액션 수행 또는 사용자 입력에 기초한 논리 스크립트 실행 등을 포함한다. 메이커에 대한 입력 데이터는 책의 페이지 이미지들(500), 멀티미디어 콘텐츠(502) 및 소정의 액션 라이브러리(318)를 포함한다. 메이커의 출력 데이터는 책 콘텐츠 데이터베이스(314), 멀티미디어 데이터베이스(316) 및 액션 라이브러리(318)를 포함한다. 책 콘텐츠 데이터베이스는 각각의 페이지상의 객체들, 멀티미디어 데이터베이스 내의 멀티미디어 콘텐츠 및 액션 라이브러리로부터의 소정의 액션들 사이에서 연계 관계를 보유한다.

메이커는 세 가지 서비스를 제공한다. 첫째, 메이커는 페이지상의 객체를 확인한다. 메이커는 제한된 사용자 입력에 기초하여 객체 각각의 경계 정보를 결정한다. 둘째, 메이커는 객체, 액션 및 응답 사이에 연계를 생성한다. 예를 들어, 오디오 파일이 객체와 연계되어 있고, 사용자가 전자 펜을 이용하여 그 객체를 선택한 경우, 플레이어는 그 오디오 파일을 재생한다. 둘 이상의 멀티미디어 파일 및 하나 이상의 동작/응답이 각각의 객체에 연계될 수 있다. 셋째, 메이커는 데이터베이스를 패키지화한다. 발행자 또는 사용자가 책 페이지에 대한 연계 설정을 마치면, 플레이어와 함께 사용자의 컴퓨터 시스템으로 분배하기 위해 메이커는 모든 정보를 책 콘텐츠 데이터베이스, 멀티미디어 데이터베이스 및 동작 라이브러리 내에 패키지화한다.

도 5는 본 발명의 일 실시예에 따른 메이커 처리의 흐름 다이어그램이다. 블록(504)에서, 메이커는 책 콘텐츠(예컨대, 객체 정의 및 연계), 멀티미디어 및 액션을 담기 위해 새로운 공백의(blank) 책 데이터베이스들을 생성한다. 블록(506)에서, 일 실시예에서 메이커는 발행자 또는 사용자가 전자 펜 또는 마우스 및 이미지 처리 알고리즘을 사용하여 객체 구역을 확인할 수 있게 한다. 이 동작 에 의해 사용되는 페이지 이미지들은 스캐너를 사용하여 스캔되어 획득될 수 있거나 이미 현존하는 이미지 파일일 수 있다. 일 실시예에서, 책이 책 홀더 위에 놓이고, 페이지 이미지가 컴퓨터 시스템의 모니터상에 디스플레이될 수 있다. 이 시나리오에서, 디스플레이되는 페이지 이미지상에 있는 객체의 경계는 그 객체를 정의하는데 사용될 수 있다.

다양한 실시예에서, 메이커는 페이지 이미지상의 객체를 확인하기 위한 하나 이상의 몇몇 방법들을 사용할 수 있다. 일 실시예에서, 발행자 또는 사용자는 전자 펜을 사용하여, 책 페이지상에 있는 객체의 경계를 따라 곡선을 그리거나 그 경계상에서 키 점들(key points)을 선택한다. 전자 펜 시스템은 펜 위치 정보를 메이커에게 보내므로, 메이커는 그 객체의 위치 정보 배열(array)을 획득한다. 발행자의 그리기 속도에 의존하여, 메이커는 점의 세트의 규모를 재조정(rescale)하여 객체의 경계로 표시한다. 다른 방법으로, 발행자는 마우스를 사용하여, 모니터상에 디스플레이되는 페이지 이미지상에 있는 객체의 경계를 따라 곡선을 그리거나, 객체의 경계를 둘러싸기(encapsulate) 위해서 해당 기술 분야에서 주지된 바와 같이 (삼각형, 직사각형, 타원, 또는 다각형과 같은) 모양을 변경할 수 있다. 또 다른 실시예에서, 발행자는 모니터상에 디스플레이된 객체의 경계점 세트를 선택하기 위해 마우스를 사용할 수 있다. 다음으로, 메이커는 객체 경계를 자동으로 확인하기 위해 하나 이상의 주지된 디지털 이미지 처리 알고리즘을 적용한다. 예를 들어, 주지된 "인텔리전트 시저(intelligent scissor)" 또는 "매직 원드(magic wand)" 알고리즘이 사용될 수 있다. 일부 실시예에서, 알고리즘은 그레이 스케일(gray scale) 값, 색상 및 다른 이미지 정보를 조사함으로써 객체를 확인한다. 도 6은 본 발명의 일 실시예에 따른 객체 확인 프로세스의 예시이다. 이 예에서, 메이커는 페이지 이미지에서 몇몇 객체들을 확인하였으며 각각의 객체에 대한 경계를 생성하였다. 이러한 방식으로, 페이지 이미지에 대해 모든 객체들이 결정될 수 있다.

다음으로, 블록(508)에서, 발행자 또는 사용자는 메이커를 사용하여 객체, 액션 및 응답 사이의 연계를 수동으로 생성한다. 발행자 또는 사용자는 객체를 선택하고 그 객체에 대한 액션들 및/또는 응답들을 할당한다. 적어도 하나의 실시예에서, 세 종류의 액션들/응답들이 있다.

첫째, 플레이어는 멀티미디어 콘텐츠를 재생할 수 있으며, 비디오 재생, 오디오 재생, 하나 이상의 이미지 보이기 또는 텍스트 보이기가 이에 포함된다. 이 경우, 발행자는 멀티미디어 파일들을 객체에 연계시킨다. 메이커는 이 연계 정보를 기록하고 그 연계를 책 콘텐츠 데이터베이스에 저장한다.

둘째, 플레이어는 비디오, 오디오, 이미지 또는 텍스트의 재생이 아닌 소정의 액션을 실행할 수 있다. 예를 들어, 소정의 액션은 컴퓨터 시스템의 스피커 볼륨 조정, 모니터의 밝기 조정, 임의의 I/O 포트로 커맨드 보내기 또는 컴퓨터 시스템에 영향을 주는 임의의 다른 액션이 될 수 있다. 소정의 액션들은 그룹으로 범주화될 수 있다. 각각의 그룹은 동적 링크 라이브러리(DLL; 510)를 포함할 수 있다. 소프트웨어 인터페이스가 DLL들과 메이커 사이에 정의될 수 있다. 예를 들어 일 실시예에서, "GetActionList (LPSAction a_SActionArray, DWORD dwArrayLength,)" 및 "CallActionByID (INT ActionID)" 어플리케이션 프로그램 인터페이스들(APIs)은 각각의 DLL에 대해 구현될 수 있다. "GetActionList" 함수는 모든 유효한 액션 이름들과 그 액션 ID들을 리턴한다. 메이커는 이 API를 호출하여 메이커 컴포넌트의 사용자 인터페이스(UI)상에 액션 이름 리스트를 디스플레이할 수 있다. 발행자 또는 사용자가 액션 이름을 객체에 연계시킬 때, 메이커는 그 객체에 대응하는 Action ID를 할당하여 이 연계 정보를 책 콘텐츠 데이터베이스에 저장한다. 플레이어가 객체의 액션을 실행하고자 할 때, 플레이어는 데이터베이스로부터 액션 ID를 얻어서 "CallAction ByID (INT ActionID)" 함수를 호출한다. CallAction ByID ()는 Action ID에 기초하여 특정 액션을 불러온다.

이 처리가 도 7에 도시된다. 도 7은 본 발명의 일 실시예에 따른 액션 연계 처리의 흐름 다이어그램이다. 블록(700)에서, 메이커(300)는 액션 리스트(702)를 액세스하는 get action list API를 호출한다. 액션 리스트에서 각각의 엔트리는 유일한 액션 ID로 나타낼 수 있다. 액션들의 일부 예가 도 7에 예시되었으나, 다른 액션들이 사용될 수도 있다. 블록(704)에서, 메이커는 액션 ID를 현재 처리되고 있는 객체에 연계시킨다. 블록(706)에서, 메이커는 연계 정보를 액션 라이브러리(318)에 패키지화한다. 액션 라이브러리는 이후 플레이어 컴포넌트(302)에 의해 읽힐 수 있다. 블록(708)에서, 특정 객체가 선택되고 그 객체가 액션에 연계될 때, 플레이어는 액션 라이브러리로부터 액션 ID를 얻는다. 블록(710)에서, 플레이어 컴포넌트는 액션 ID 및 CallActionByID() API를 사용하여 액션을 호출한다. 다음으로, 액션은 블록(712)에서 컴퓨터 시스템에 의해 수행된다.

셋째, 플레이어는 사용자로부터의 이전 입력에 기초한 복잡한 논리 행동(complex logic behavior)을 실행할 수 있다. 예를 들어, 도 8에 도시된 바와 같이 두 개의 버튼과 함께 책의 현재 페이지상에 동물의 이미지들이 있다고 생각해보라. 사용자가 (전자 펜을 사용하여) "영어" 버튼(800)을 처음으로 선택하고 다음으로 페이지상에 있는 임의의 동물의 그림을 선택하면, 플레이어는 예를 들어 영어로 된 동물의 이름을 보유한 오디오 파일을 재생한다. 그러나, 사용자가 "중국어" 버튼(802)을 선택하고 다음으로 동물의 그림을 선택하면, 플레이어는 중국어로 된 동물의 이름을 보유한 오디오 파일을 재생한다. 이는 단지 복잡한 논리 행동의 일례일 뿐이다. 연속적인 사용자 입력에 기초하여 많은 다른 응답들이 이루어질 수 있다.

이 논리 행위는 발행자 자신의 기능성을 추가함으로써 객체의 행위를 확장한다. 일 실시예에서, 그것은 메이커(300)에 스크립트 언어 확장 능력(script language extension ability)을 추가함으로써 구현될 수 있다. 다양한 실시예에서, 스크립트 언어는 VBScript, JScript, JavaScript, PerlScript, PythonScript 등과 같은 그러한 목적을 위해 주지된 임의의 언어가 될 수 있다. 일 실시예에서, 책 페이지 각각에 대해 스크립트 모듈이 있을 수 있다. 발행자 또는 사용자는 객체에 대해 스크립트 함수를 설계할 수 있다. 페이지 전역 변수(page global variable) 또는 다른 함수들이 스크립트 모듈 내에 정의될 수도 있다. 메이커는 각각의 페이지에 대한 스크립트 모듈을 액션 라이브러리(318)에 저장할 수 있다. 플레이어는 현재 페이지에 대한 스크립트 모듈을 액션 라이브러리로부터 로드하여 대응하는 스크립트 엔진(예컨대, 스크립트 처리를 위한 실행가능 모듈)에 그 스크립트 모듈을 추가한다. 사용자가 할당된 스크립트 함수를 갖는 객체를 선택할 때, 플레이어는 스크립트 엔진을 사용하여 해당 스크립트 함수를 실행할 것이다.

도 9는 본 발명의 일 실시예에 따른 이러한 논리 행위 연계 처리의 흐름 다이어그램이다. 블록(900)에서, 메이커는 페이지 전역 변수 및 책의 선택된 페이지에 대한 함수들을 정의한다. 오디오 및 비디오 재생 함수의 간략화된 예가 블록(902)에 도시된다. 블록(904)에서, 메이커는 선택된 객체에 대한 스크립트 함수를 정의한다. 스크립트 함수의 단편적 예가 블록(906)에 도시된다. 블록(908)에서, 메이커는 연계 정보와 스크립트 함수를 스크립트 모듈로 패키지화하고, 그 연계 정보 및 스크립트 함수를 액션 라이브러리에 저장한다. 그 후, 사용자가 책의 현재 페이지와 상호작용할 때, 플레이어는 그 현재 페이지에 대한 스크립트 모듈을 액션 라이브러리로부터 로드한다. 블록(912)에서, 플레이어는 스크립트 모듈을 스크립트 엔진에 추가한다. 일 실시예에서, 스크립트 엔진은 마이크로소프트 코퍼레이션으로부터 상업적으로 입수가능한 윈도우즈 운영 체제의 버전들에 의해 제공되는 것과 같이 VBScript 또는 Jscript가 될 수 있다. 블록(916)에서, 플레이어는 사용자가 스크립트에 연계된 객체를 선택할 때 그 스크립트 함수를 호출할 수 있다. 그 스크립트 함수를 호출한 결과 스크립트 엔진은 선택된 객체와 연관된 스크립트를 처리한다. 블록(918)에서, 스크립트 엔진의 동작 결과로서 액션이 수행된다.

도 5로 돌아와서, 블록(512)에서, 메이커는 모든 연계 정보, 멀티미디어 파 일들 및 다른 액션들/응답들을 멀티미디어 데이터베이스, 책 콘텐츠 데이터베이스 및 액션 라이브러리에 있는 적당한 장소에 저장한다. 블록(514)에서, 일 실시예에서, 메이커는 의도한 연계가 저장되었는지 발행자 또는 사용자에 의한 검증(verification)을 위해 책 페이지의 미리보기(preview)를 생성한다. 블록(516)에서, 메이커는 사용자의 컴퓨터 시스템으로의 이후의 분배를 위해 데이터베이스들(518)을 패키지화한다.

본 발명의 실시예들은 현존하는 멀티미디어 시스템에 비해 적어도 다음의 장점들을 제공한다. 사용자는 전자 펜을 입력의 형태로 사용할 수 있다. 이는 PC와 같은 컴퓨터 시스템에 있어서 가장 자연스러운 입력 방법이다. 이 입력 방법을 이용하여, 키보드 타이핑에 익숙하지 않은 사람들이 본 발명을 사용할 수 있다. 사용자는 여전히 종래의 책을 읽거나 볼 수 있다. 한편, 사용자는 PC로부터 멀티미디어 정보를 얻는 것을 제어할 수도 있다. 이는 사용자가 종이 책의 장점과, 지역적으로(locally) 또는 인터넷과 같은 네트워크를 통해 이용가능한 오디오, 비디오, 이미지 및 텍스트를 포함하는 컴퓨터가 제공하는 멀티미디어 기능들의 장점을 모두 즐길 수 있음을 의미한다. 또한, 새로운 사용 모델이 본 발명의 실시예들에 의해 이용될 수 있다. 두 가지만 예를 들면, 아이들이 언어를 배울 수 있게 하는 본 발명의 실시예들을 사용하여 교육 시스템이 제공될 수 있고, 여행자들이 종래의 지도로부터 보다 활동적인 정보(active information)을 얻기 위해 본 발명을 사용할 수 있다. 많은 다른 사용 모델들이 본 발명을 이용하여 사용될 수 있다.

그러므로, 여기에 설명된 것은 종래의 책으로부터, 제한된 사용자 입력을 요 구하는 대화형 멀티미디어 책으로의 변환을 촉진하는 방법 및 장치이다. 발행자는 여기에 설명된 기술들을 사용하여 현존하는 종이 책에 기초한 대화형 자료를 구축(build)할 수 있다. 본 발명은 페이지상의 객체들을 확인하기 위한 다수의 방법을 제공한다. 발행자 또는 사용자는 전자 펜을 사용하여 종이상에 있는 객체의 경계를 정의하거나, 주지된 디지털 이미지 처리 알고리즘의 도움을 받아 마우스를 사용하여 컴퓨터 시스템의 모니터상에서 객체의 경계를 정의할 수 있다. 또한, 책에 액션을 이용할 수 있다. 이는 사용자가 책 페이지와의 상호작용을 통하여 컴퓨터 시스템을 제어할 수 있음을 의미한다. 마지막으로, 책에 논리 행위를 이용할 수 있다. 이 특징은 책의 콘텐츠를 무한한 수의 방법으로 확장시킨다. 예를 들어, 현존하는 책은 가상 다중-언어 학습 책(virtual multi-language learing book), 가상 음악 악기 또는 가전 기기를 위한 가상 원격 제어기로 변형될 수 있다. 본 발명의 실시예들을 이용하여 다른 응용이 생각될 수 있다.

비록 여기에 설명된 동작들이 순차적인 프로세스로 설명되었으나, 실제로 동작들은 병렬적으로 또는 동시에 수행될 수 있다. 또한, 일부 실시예에서 동작 순서는 본 발명의 사상에서 벗어나지 않고 재배치될 수 있다.

여기에서 설명된 기술들은 임의의 특정 하드웨어나 소프트웨어 환경에 한정되는 것이 아니라 임의의 연산 환경 또는 처리 환경에 적용될 수 있다. 기술들은 하드웨어, 소프트웨어 또는 이 둘의 조합에서 구현될 수 있다. 기술들은 각각 프로세서, 그 프로세서에 의해 판독가능한 저장 매체(휘발성 및 비휘발성 메모리 및/또는 저장 요소 포함), 적어도 하나의 입력 장치 및 하나 이상의 출력 장치를 포함 하는, 모바일 또는 고정(stationary) 컴퓨터, PDA(personal digital assistnat), 셋탑 박스, 셀룰러 전화 및 페이저, 및 다른 전자 기기들과 같은 프로그램가능 머신(programmable machine)상에서 실행되는 프로그램에서 구현될 수 있다. 설명된 함수를 수행하고 출력 정보를 생성하기 위해, 입력 장치를 사용하여 입력된 데이터에 프로그램 코드가 적용된다. 출력 정보는 하나 이상의 출력 장치에 적용될 수 있다. 당업자는 멀티프로세서 시스템, 미니 컴퓨터, 메인프레임 컴퓨터 등을 포함하는 다양한 컴퓨터 시스템에서 본 발명이 실시될 수 있음을 이해할 수 있을 것이다. 본 발명은 통신 네트워크를 통해 연계된 원격 처리 장치에 의해 태스크가 수행될 수 있는 분산 연산 환경(distributed computing environment)에서 실시될 수도 있다.

각각의 프로그램은 처리 시스템과 통신하기 위해 고급 절차 또는 객체 지향 프로그래밍 언어로 구현될 수 있다. 그러나, 프로그램은 필요한 경우 어셈블리어나 기계어로 구현될 수도 있다. 어느 경우라도, 그 언어는 컴파일되거나 인터프리트될 수 있다.

범용 또는 특수 목적용 처리 시스템이 여기에 설명된 동작들을 수행하는 명령어들로 프로그래밍 되도록, 프로그램 명령어들이 사용될 수 있다. 다른 방법으로, 동작을 수행하기 위한 하드와이어된 논리(hardwired logic)를 보유한 특정 하드웨어 컴포넌트, 또는 프로그래밍된 컴퓨터 컴포넌트 및 커스텀(custom) 하드웨어 컴포넌트의 임의의 조합에 의해 동작들이 수행될 수 있다. 여기서 설명된 방법들은 컴퓨터 프로그램 제품으로 제공될 수 있는데, 상기 제품은 그 방법들을 수행하 기 위해 처리 시스템 또는 다른 전자 장치를 프로그래밍하는데 사용될 수 있는 명령어들을 그 안에 저장하고 있는 머신 판독가능 매체(machine readable medium)을 포함한다. 여기서 사용된 "머신 판독가능 매체"라는 용어는 머신에 의해 수행되기 위해 명령어의 시퀀스를 저장하거나 인코딩하는 능력을 가지고, 머신으로 하여금 여기서 설명된 방법 중 임의의 하나를 수행하도록 하는 임의의 매체를 포함할 것이다. 따라서, "머신 판독가능 매체"라는 용어는 고체 상태 메모리, 광학 및 자기 디스크, 및 데이터 신호를 인코딩하는 반송파(carrier wave)를 포함하며 이에 한정되는 것은 아니다. 또한, 해당 기술분야에서 액션을 취하거나 결과를 도출하는 것과 같이 하나의 형태 또는 다른 형태(예컨대, 프로그램, 프로시저, 프로세스, 어플리케이션, 모듈, 논리 등)로 소프트웨어를 말하는 것은 일반적이다. 그러한 표현들은 프로세서로 하여금 결과를 생산하는 액션을 수행하도록 하기 위해 처리 시스템에 의해 소프트웨어를 실행하는 것을 말하는 속기 방법(shorthand way)일 뿐이다.

본 발명이 예시적 실시예들과 관련하여 설명되었으나, 이 설명은 제한적인 의미로 생각되어서는 안 된다. 본 발명이 속하는 기술 분야의 당업자에게 명백한 예시적 실시예들의 다양한 변경 뿐만 아니라 본 발명의 다른 실시예들은 본 발명의 사상과 범위 내에 놓여있는 것으로 판단된다.

Claims (22)

1. 인쇄된 자료를 컴퓨터 시스템에 의해 제공되는 응답에 상관(correlate)시키는 컴퓨터 구현 방법으로서,

   상기 인쇄된 자료의 페이지상의 객체(object)를 정의하는 단계; 및

   상기 페이지상의 객체 위치와 상기 컴퓨터 시스템에 의해 수행되는 관련 응답을 연계(link)시키는 단계

   를 포함하는 컴퓨터 구현 방법.
2. 제1항에 있어서,

   상기 응답은, 상기 컴퓨터 시스템에 의한 오디오 콘텐츠의 렌더링(rendering), 비디오 콘텐츠의 렌더링, 이미지 콘텐츠의 렌더링, 텍스트 콘텐츠의 렌더링 및 액션(action)의 수행 중 적어도 하나를 포함하는 컴퓨터 구현 방법.
3. 제2항에 있어서,

   오디오 콘텐츠, 비디오 콘텐츠, 이미지 콘텐츠 및 텍스트 콘텐츠 중 적어도 하나를 포함하는 디지털 멀티미디어 콘텐츠를 저장하기 위한 멀티미디어 데이터베이스;

   상기 페이지상의 객체들에 대한 위치 정보와, 상기 객체들 및 상기 멀티미디어 콘텐츠와 액션들 중 적어도 하나 사이의 연계(linkage) 정보를 저장하기 위한 인쇄된 자료 콘텐츠 데이터베이스; 및

   상기 컴퓨터 시스템상에서 수행되는 액션들에 대한 지시어들(directives)을 저장하기 위한 액션 라이브러리

   를 생성하는 단계를 더 포함하는 컴퓨터 구현 방법.
4. 제2항에 있어서,

   상기 페이지상의 객체를 정의하는 단계는, 전자 펜을 사용하여 상기 페이지상의 객체의 경계들(boundaries)의 윤곽을 그리는 단계를 포함하는 컴퓨터 구현 방법.
5. 제2항에 있어서,

   상기 페이지상의 객체를 정의하는 단계는, 전자 펜을 사용하여 상기 페이지상의 객체의 경계상에서 키 점들(key points)을 선택하는 단계를 포함하는 컴퓨터 구현 방법.
6. 제2항에 있어서,

   상기 페이지상의 객체를 정의하는 단계는, 마우스를 사용하여 디스플레이상의 그래픽 객체를 조작(manipulate)함으로써 상기 디스플레이 상에 디스플레이되는 상기 페이지상의 객체의 경계를 둘러싸는(encapsulate) 단계를 포함하는 컴퓨터 구현 방법.
7. 제2항에 있어서,

   상기 페이지상의 객체를 정의하는 단계는, 마우스를 사용하여 디스플레이상에 디스플레이되는 상기 페이지상의 객체의 경계상에서 키 점들을 선택하는 단계를 포함하는 컴퓨터 구현 방법.
8. 제2항에 있어서,

   상기 인쇄된 자료는, 종래의 종이 책을 포함하는 컴퓨터 구현 방법.
9. 제2항에 있어서,

   상기 인쇄된 자료는, 사용자에 의해 생성된 자료를 포함하는 컴퓨터 구현 방법.
10. 머신 액세스가능한(machine accessible) 복수의 명령어들을 갖는 저장 매체를 포함하는 제조물로서, 상기 명령어들은 프로세서에 의해 실행될 때,

    인쇄된 자료의 페이지상의 객체를 정의하는 단계; 및

    상기 페이지상의 객체 위치와, 컴퓨터 시스템에 의해 수행되는 관련 응답을 연계시키는 단계를 수행함으로써,

    상기 인쇄된 자료를 상기 컴퓨터 시스템에 의해 제공되는 응답에 상관시키는(correlate) 제조물.
11. 제10항에 있어서,

    상기 응답은, 상기 컴퓨터 시스템에 의한 오디오 콘텐츠의 렌더링(rendering), 비디오 콘텐츠의 렌더링, 이미지 콘텐츠의 렌더링 및 액션의 수행 중 적어도 하나를 포함하는 제조물.
12. 제11항에 있어서,

    오디오 콘텐츠, 비디오 콘텐츠, 이미지 콘텐츠 및 텍스트 콘텐츠 중 적어도 하나를 포함하는 디지털 멀티미디어 콘텐츠를 저장하기 위한 멀티미디어 데이터베이스;

    상기 페이지상의 객체들에 대한 위치 정보와, 상기 객체들 및 상기 멀티미디어 콘텐츠와 액션들 중 적어도 하나 사이의 연계 정보를 저장하기 위한 인쇄된 자료 콘텐츠 데이터베이스; 및

    상기 컴퓨터 시스템상에서 수행되는 액션들에 대한 지시어들을 저장하기 위한 액션 라이브러리

    를 생성하기 위한 명령어들을 더 포함하는 제조물.
13. 제11항에 있어서,

    상기 페이지상의 객체를 정의하기 위한 명령어들은, 전자 펜을 사용하여 상기 페이지상의 객체의 경계의 윤곽을 그리기 위한 명령어들을 포함하는 제조물.
14. 제11항에 있어서,

    상기 페이지상의 객체를 정의하기 위한 명령어들은, 전자 펜을 사용하여 상기 페이지상의 객체의 경계상에서 키 점들을 선택하기 위한 명령어들을 포함하는 제조물.
15. 제11항에 있어서,

    상기 페이지상의 객체를 정의하기 위한 명령어들은, 마우스를 사용하여 디스플레이상의 그래픽 객체를 조작(manipulate)함으로써 상기 디스플레이 상에 디스플레이되는 상기 페이지상의 객체의 경계를 둘러싸기 위한 명령어들을 포함하는 제조물.
16. 제11항에 있어서,

    상기 페이지상의 객체를 정의하기 위한 명령어들은, 마우스를 사용하여 디스플레이상에 디스플레이되는 상기 페이지상의 객체의 경계상에서 키 점들을 선택하기 위한 명령어들을 포함하는 제조물.
17. 제11항에 있어서,

    상기 인쇄된 자료는 종래의 종이 책을 포함하는 제조물.
18. 제11항에 있어서,

    상기 인쇄된 자료는, 사용자에 의해 생성된 자료를 포함하는 제조물.
19. 임의의 인쇄된 자료상의 선택된 객체를 컴퓨터 시스템에 의해 제공되는 유효한 응답에 연관시키기 위한 시스템으로서,

    상기 인쇄된 자료상의 위치를 결정하기 위한 포인팅(pointing) 장치;

    상기 위치를 상기 컴퓨터 시스템으로 전송하기 위한 통신 장치;

    상기 인쇄된 자료의 페이지상의 객체를 정의하고, 상기 페이지상의 객체의 위치와 상기 컴퓨터 시스템에 의해 수행되는 관련 응답을 연계하기 위한 메이커(maker) 컴포넌트; 및

    상기 포인팅된 위치를 상기 인쇄된 자료와 연관된 선택된 콘텐츠 -상기 선택된 콘텐츠는 상기 컴퓨터 시스템에 의해 액세스가능함- 에 상관시키고, 상기 포인팅된 위치와 상기 상관된 콘텐츠에 적어도 부분적으로 기초하여 사용자에게 유효한 응답을 제공하기 위한 플레이어 컴포넌트

    를 포함하고, 상기 유효한 응답은 상기 컴퓨터 시스템에 의한 오디오 콘텐츠의 렌더링, 비디오 콘텐츠의 렌더링, 이미지 콘텐츠의 렌더링, 텍스트 콘텐츠의 렌더링 및 액션의 수행 중 적어도 하나를 포함하는 시스템.
20. 제19항에 있어서,

    상기 포인팅 장치는 전자 펜을 포함하는 시스템.
21. 제19항에 있어서,

    디지털 멀티미디어 콘텐츠를 저장하기 위한 멀티미디어 데이터베이스;

    상기 페이지상의 객체들에 대한 위치 정보와, 상기 객체들 및 상기 멀티미디어 콘텐츠와 액션들 중 적어도 하나 사이의 연계 정보를 저장하기 위한 인쇄된 자료 콘텐츠 데이터베이스; 및

    상기 컴퓨터 시스템상에서 수행되는 액션들에 대한 지시어들을 저장하기 위한 액션 라이브러리

    를 더 포함하는 시스템.
22. 제19항에 있어서,

    상기 인쇄된 자료는 종래의 종이 책을 포함하는 시스템.

Images