WO2013180407A1

WO2013180407A1 - 투명디스플레이,또는 에어제스쳐와 빔스크린 기능이 구비된 단말기를 활용하여 페이퍼문서를 전자화하는 방법 및 그에 따른 시스템

Info

Publication number: WO2013180407A1
Application number: PCT/KR2013/004201
Authority: WO
Inventors: 정보연
Original assignee: Jeong Boyeon
Priority date: 2012-06-01
Filing date: 2013-05-13
Publication date: 2013-12-05
Also published as: JP2015525396A; EP2857982A1; CN104471563A; US20150296092A1

Abstract

본 발명은 컴퓨터 인터페이스에 관한 것으로, 종이-기반 정보를 전자정보로 향상시키는 새로운 방법에 관한 것이다. 더욱 구체적으로, 본 발명은 사용자가 투명디스플레이(또는 빔스크린)을 통해 보여지는 페이퍼문서를 보며 투명디스플레이(또는,페이퍼문서) 상에 특정영역을 설정하고, 네트워크를 통해 가져온 특정영역에 해당하는 데이터에 대해 특정모듈이 실행되도록 함으로써, 사용자가 직접 페이퍼문서를 보며 조작(활용)하는 듯한 가상현실적 체험을 하게 하는 방법에 관한 것이다. 또한, 특정 페이퍼문서에 관련된 부가정보를 투명디스플레이(또는 빔스크린) 상에 표시되도록 하여, 사용자가 투명디스플레이를 통해 보이는 페이퍼문서를 보며 관심이 가는 부분에 해당하는 아이콘을 단순히 터치하거나, 페이퍼문서에 비춰진 빔스크린에서 원하는 부분을 단순히 터치함으로써, 그와 관련된 부가정보를 손쉽게 열람하도록 하는 방법에 관한 것이다. 더 나아가, 본 발명은 상기 부가정보의 제작권한을 일반 사용자에게 허용함으로써, 동일한 페이퍼문서를 읽는 독자들끼리 페이퍼문서에 관한 다양한 부가정보들을 서로 공유 및 유통되도록 함으로써, 종이기반 정보의 한계를 극복하고 막강한 정보의 확장성을 가능케하는 컴퓨터 인터페이스에 관한 것이다. 이를 위해, 본 발명은 다음의 단계들을 그 구성상의 특징으로 한다. (가) 사용자가 사용자 단말기(client device)를 통해 페이퍼문서의 book identity를 시스템에 식별시키는 단계. (나) 투명디스플레이가 상기 페이퍼문서(혹은 그 일부) 위에 오버랩된 상태에서, 사용자, 혹은 사용자 시스템의 제어에 의해 DIC Layer와 상기 페이퍼문서가 일치되게 오버랩되도록 DIC Layer의 위치가 조정되는 단계. (다) 사용자,또는 시스템의 제어에 의해 상기 DIC Layer 상에 상기 book identity와 매칭된 raw digital identity가 디스플레이 상에 표시되지 않은 채, 재현(매칭, 또는 연결))되는 단계 및/또는 사용자,또는 시스템의 제어에 의해, 시스템 상에서 상기 book identity와 매칭된 extended digital identity(mark up data)가 생성, 또는 선택되어 상기 DIC Layer 상에서 재현되는 단계. (라) 사용자 및 시스템의 제어에 의해, 상기 DIC Layer상에 재현된 digital identity에 대해, 특정영역(또는, object)이 선택되어지고, 선택되어진 특정영역(또는 object)에 대해 사용자 시스템 상의 특정 액션이 취해지는 단계. (마) 상기 (라)의 결과가 사용자 단말기에 구비된 디스플레이 상에 표시되는 단계.

Description

투명디스플레이,또는 에어제스쳐와 빔스크린 기능이 구비된 단말기를 활용하여 페이퍼문서를 전자화하는 방법 및 그에 따른 시스템

본 발명은 컴퓨터 인터페이스에 관한 것으로, 종이-기반 정보를 전자정보로 향상시키는 새로운 방법에 관한 것이다. 더욱 구체적으로, 본 발명은 사용자가 투명디스플레이(또는 빔스크린)을 통해 보여지는 페이퍼문서를 보며 투명디스플레이(또는,페이퍼문서) 상에 특정영역을 설정하고, 네트워크를 통해 가져온 특정영역에 해당하는 데이터에 대해 특정모듈이 실행되도록 함으로써, 사용자가 직접 페이퍼문서를 보며 조작(활용)하는 듯한 가상현실적 체험을 하게 하는 방법에 관한 것이다. 또한, 특정 페이퍼문서에 관련된 부가정보를 투명디스플레이(또는 빔스크린) 상에 표시되도록 하여, 사용자가 투명디스플레이를 통해 보이는 페이퍼문서를 보며 관심이 가는 부분에 해당하는 아이콘을 단순히 터치하거나, 페이퍼문서에 비춰진 빔스크린에서 원하는 부분을 단순히 터치함으로써, 그와 관련된 부가정보를 손쉽게 열람하도록 하는 방법에 관한 것이다. 더 나아가, 본 발명은 상기 부가정보의 제작권한을 일반 사용자에게 허용함으로써, 동일한 페이퍼문서를 읽는 독자들끼리 페이퍼문서에 관한 다양한 부가정보들을 서로 공유 및 유통되도록 함으로써, 종이기반 정보의 한계를 극복하고 막강한 정보의 확장성을 가능케하는 컴퓨터 인터페이스에 관한 것이다.

페이퍼문서를 전자화하여 활용하는 방법으로, 가장 전통적인 방식은 사용자 단말기(컴퓨터)와 케이블로 연결된 외부 디바이스인 스캐너로 페이퍼문서를 스캔하고, 모니터 상에 렌더링된 스캔이미지를 보면서 활용(편집,조작, 검색 등)을 하는 것이었다. 그러나, 이런 방법은 페이퍼문서와 모니터가 분리되어 있어서, 사용자는 페이퍼문서를 간단히 활용(편집이나 검색 등)하기 위해서 비교적 복잡한 과정들을 거쳐야하며, 활용결과를 보기 위해서 모니터와 페이퍼문서로 시야를 이동해야하는 단점이 있었다. 또한, 전술한 외부 디바이스로써의 스캐너는 휴대가 곤란하기도 하며, 무엇보다 저작권이 있는 저작물을 아무런 제재없이 스캔하는 것에 대한 실세상의 문제로 인해, 저작물의 활용에 제약을 받아왔다.

페이퍼문서를 전자화하여 활용하는 방법으로, 사용자가 ‘검색’만을 목적으로 한 경우 가장 전통적인 방식은, 페이퍼문서 상의 특정 단어나 문구를 직접 컴퓨터나 전자서전에 입력하는 방법이었다. 이 방법은, 비교적 휴대가 간편하다는 이점이 있기도 했으나, 사용자가 일일이 스펠링을 입력시켜야 하며, 페이퍼문서와 디바이스간에 시야를 이동시켜야 하는 불편함이 있었다.

페이퍼문서를 전자화하여 활용하는 방법으로, 스캐닝엘리먼트가 플레인 스캐너의 형태로 내부에 구비된 투명디스플레이를 활용하는 방법이 있다. 이 방법은 투명디스플레이를 페이퍼문서 위에 오버랩시킨 후, 페이퍼문서의 원하는 부분만 스캐닝하여 디스플레이 상에 디스플레이된 스캐닝이미지를 그래픽소프트웨어를 통해 조작하는 방법이다. 이 방법은, 전술한 두가지 방법에 비하여 사용자의 시야를 흩트리지 않음은 물론, 페이퍼문서를 직접 조작하는 듯한 가상현실적 체험을 할 수 있다는 이점이 있지만, 생산자의 입장에서는 투명디스플레이 상에 투명한 스캐닝엘리먼트를 구비해야 하는 것에 대한 현실적 어려움과 높은 투자비가 드는 단점이 있고, 사용자의 입장에서는, 예컨대, 페이퍼문서 상의 단어 검색하하기 위해서는 특정 단어 하나하나마다 일일이 디스플레이를 갖다대어 스캐닝해야해서, 그로인한 전력소모가 빠르다는 단점이 있으며, 디스플레이 크기를 초과하는 범위의 문서를 한번에 이미지로 획득하지 못하므로, 차후 복잡한 합성프로세스(예;오토코릴레이션)를 따로이 실행해야하는 어려움이 있었다. 또한, 페이퍼문서의 저작권자(저자,출판사 등)의 입장에서는 이 방법 역시 페이퍼문서를 스캐닝하여 이미지를 획득하는 방법으로 인해, 저작권의 보호가 되지 않는다는 단점이 있었다.

페이퍼문서를 전자화하여 활용하는 방법으로, 종이책에 탄소성분의 코드좌표를 인쇄하고 제작자가 미리 해당 코드좌표와 특정 컨텐츠를 매칭시켜놓는 방법이 있다. 이 방법은, 출판업자 입장에서는 미래에 출간될 책을 위해 출판공정 상에 물리적 변화를 주어야한다는 단점이 있고, 사용자의 입장에서는 과거에 이미 출간/배포된 이 방법을 이용할 수 없다는 단점과 더불어, 종이책의 어떤 부분에 어떤 컨텐츠가 첨부되어 있는지 알 수 없으며, 제작자가 일방적으로 매칭시켜놓은 컨텐츠를 일방적으로 열람할 수 밖에 없음으로 인해 사용자의 개입에 제약을 받고 개인화/맞춤화된 정보를 제공받을 수 없다는 단점이 있었다.

페이퍼문서를 그와 관련된 전자정보로 확장시키는 방법으로, 가장 전통적인 방식은 사용자가 종이문서를 보며 선택한 문구 등을 직접 사용자 디바이스 상에 입력(키보드)하여 검색하는 방식이다. 이런 방법은, 통상적으로 많은 사람들에 의해 사용되는 방법으로써, 가령, 신문을 보다가 모르는 단어나 궁금한 인물에 대해 검색하고 싶을 때, 사람들은 그들이 가진 인터넷이 가능한 단말기(노트북,스마트폰 등)을 활용하여 일일이 키보드를 통해 입력해야했다. 이런 방법은 일반적인 문서를 읽는 독자들에게는 그러한 일련의 과정이 큰 불편을 초래하지는 않았지만, 전문적이며 다양한 외국어를 함유한 책을 공부해야하는 학습자에게는 일일이 단말기에 외국어를 포함한 문자의 스펠링을 입력하는 방법은 상당히 귀찮은 과정이었다. 또한, 독자가 페이퍼문서와 디바이스를 오가며 시야를 이동시켜야 하는 기존의 방법은 독자의 페이퍼문서에 대한 몰입도를 떨어뜨리는 것은 물론, 사용자가 디바이스에 입력하여 검색한 결과물 역시 페이퍼문서의 맥락과는 전혀 상관없는 것이어서 이또한 사용자의 몰입도를 방해하는 요인이기도 하였다.

페이퍼문서를 그와 관련된 전자정보로 확장시키는 다른 방법으로,, 종이책에 탄소성분의 코드좌표를 인쇄하여 해당 코드좌표와 특정 컨텐츠를 매칭시켜놓는 방법이 있다. 이 방법은 출판업자의 입장에서는 미래에 출간될 책을 위해 출판공정 상에 물리적 변화를 주어야 한다는 단점이 있고, 사용자의 입장에서는 과거에 이미 출간/배포된 문서에 대해서는 이 방법을 적용할 수 없다는 단점이 있었다. 또한, 사용자는 종이책의 어느 부분에 어떤 컨텐츠가 첨부되어 있는지 알 수 없어서 일일이 눌러봐야하는 단점이 있다. 또한, 이러한 방법은 컨텐츠를 제공하는 주체가 오로지 ‘제작자’에 국한되어 있어서 동일한 책을 본 다른 독자들의 의견, 및 동향을 파악할 수 없다는 단점이 있었다. 또한, 이러한 방법은, 사용자 각각의 흥미나 관심도와 무관하게 제작자가 일방적으로 제공한 컨텐츠를 단순히 선택하기만 해야 한다는 단점이 있었다.

페이퍼문서를 그와 관련된 전자정보로 확장시키는 또 다른 방법으로, 페이퍼문서를 참조하여 생성한 하이퍼텍스트 문서를 특정 웹서버에 저장하여, 사용자가 특정 페이퍼문서 위에 투명디스플레이를 오버랩하고, 페이퍼문서의 모서리에 투명디스플레이의 모서리를 맞추는 동작을 하면, 시스템이 사용자가 선택한 페이퍼문서에 해당하는 하이퍼텍스트 문서를 투명디스플레이에 렌더링시키는 방법이 있었다. 그러나 여기서 제공되는 하이퍼텍스트 문서는 제작자에의해 일방적으로 제작되어져야하며, 그것의 생성을 위해 상당부분 번거로움을 감수해야했다.. 또한, 시스템은 다른 유저의 동향을 동시에 파악하여 사용자들에게 가장 인기있는 정보를 나열하여 제공해줄 수 없음은 물론, 사용자에게 맞춤화된 정보도 제공할 수 없다는 단점도 있다. 또한, 이 방법은 투명디스플레이와 페이퍼문서의 특정모서리(예;오른쪽 모서리)를 맞춤으로써 대략적으로 투명디스플레이와 페이퍼문서를 일치시키는데, 이는 페이퍼문서(책)의 크기가 천차만별인 것을 감안했을 때, 현실적으로 통용되기 불가능한 요소를 가지고 있었다..

이외에도, 기존의 모든 방법은 페이퍼문서에 관해 제작자가 사전에 제공하고자 하는 전자정보를 사용자가 단순히 선택하여 열람하는 것에 국한되어 있지 사용자가 페이퍼문서에 전자정보를 첨부하고 이를 공유하는 방법에 관한 것은 없다. 즉, 사용자는 페이퍼문서를 보면서 따로이 자신의 생각이나 자료들을 첨부하고 싶을 때는 페이퍼문서에 직접 펜으로 글을 쓰거나, 표시를 하고, 포스트 잇 등을 활용하여 물리적 문서에 직접 조작을 가해야했다. 이런 과정은 사용자에게 매우 귀찮은 과정임은 물론, ‘종이’라는 물리적 한계로 인해, 필기공간이 부족하거나, 책이 더러워져서 차후에 보기 어려워지는 문제도 발생하였다. 또한, 이렇게 물리적 세계에서 페이퍼문서에 직접 부가정보를 첨부 및 조작하는 방식은, 생성된 부가정보를 따로이 정리하고, 정렬하여 보기 어려운 문제도 있었음은 물론, 동일한 페이퍼문서를 열람한 다른 유저가 생성한 부가정보도 열람할 수 없다는 단점이 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로 사용자가 페이퍼문서의 저작권을 보호하면서도, 페이퍼문서를 활용하여 생성되는 2차가공물을 열람하며, 페이퍼문서와 관련된 막강한 전자정보를 열람하고 공유할 수 있도록 하는 것에 그 목적이 있다.

더욱 구체적으로는,

첫째, 본 발명은 페이퍼문서를 전자화하여 활용하기 위하여 기존에 제안된 방법들이 ‘물리적 세계의 변화’(플레인 스캐너를 사용자 각각이 구비하거나, 페이퍼문서에 코드좌표를 따로이 인쇄해야하는 등)를 반드시 주어야 했던 현실적 제약과 그로인한 비용소모에 대한 부담을 해소하는 것을 목적으로 한다.

둘째, 본 발명은 기존에 제안된 방법(페이퍼문서를 스캔하여 전자화한 다음, 이를 활용하는 방법)에 필연적으로 따라오는 저작권문제를 해소하는 것을 그 목적으로 한다.

셋째, 본 발명은 기존에 제안된 방법으로 사용자에게 제공되는 상기 2차가공물의 특징인 폐쇄성과 비개인성을 극복하는 것을 그 목적으로 한다.

넷째, 본 발명은 플레인 스캐너가 구비된 단말기가 페이퍼문서를 원활하게 인식하기 위하여 디스플레이의 크기에 제약을 받을 수 밖에 없는 물리적 세계의 문제을 극복하도록 하는데에 그 목적이 있다.

다섯 번째, 본 발명은 페이퍼문서를 인식하기 위하여 스캐너를 활용할 때 필연적으로 따라오는 문제였던 (단말기나 종이의 미세한 움직임으로 인해) 이미지가 깨지는(혹, 번지는) 현상과 페이퍼문서 상에 사용자의 첨가본(낙서,필기)도 동시에 스캐닝되어 깨끗한 원본의 이미지를 얻을 수 없는 현실적 문제를 극복하는 데에 그 목적이 있다.

여섯번째, 본 발명은 사용자가 페이퍼문서를 보는 와중에 생기는 궁금증을 위해 별도의 디바이스를 구비하고 검색어를 입력해야 하는 불편함을 해소하는 것을 그 목적으로 한다.

일곱번째, 본 발명은 특정 페이퍼문서에 관한 전자정보를 언제나 최신의 상태로 유지하여 사용자에게 제공하고 더 나아가 사용자에게 적합한(유효한) 전자정보를 제공하는 것을 그 목적으로 한다.

여덟번째, 본 발명은 특정 페이퍼문서에 관한 전자정보를 단순히 열람하고 소비하는 것에 그치지 않고, 직접적으로 특정 페이퍼문서에 관해 사용자가 첨부

(부가)하고 싶은 정보를 사용자의 투명디스플레이 상에서 사용자가 직접,손쉽게 생성할 수 있도록 허용함으로써, 부가정보를 손쉽게 정렬 및 분류하여 개인화할 수 있도록 함은 물론, 생성한 부가정보를 동일한 페이퍼문서를 열람한 다른 유저들에게도 공유될 수 있도록 함으로써, 막강한 정보를 제공하는 것을 그 목적으로 한다.

아홉번째, 본 발명은 사용자가 구비한 투명디스플레이(또는, 빔스크린)의 크기와 페이퍼문서의 크기가 비슷(내지 동일)해야 하는 기존의 현실적 제약을 극복하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따르면,

페이퍼문서를 전자화하는 방법에 있어서, 상기 방법은 투명디스플레이, 또는 에이제스쳐 및 빔스크린 기능이 구비된 사용자 시스템에서 사용되기 위해,

(가) 사용자가 사용자 단말기(client device)를 통해 페이퍼문서의 book identity를 시스템에 식별시키는 단계.

(나) 투명디스플레이를 상기 페이퍼문서(혹은, 그 일부) 상에 오버랩시키거나, 빔스크린을 상기 페이퍼문서(혹은, 그 일부) 상에 분사한 후 사용자, 또는 사용자 시스템의 제어에 의해 DIC Layer와 상기 페이퍼문서가 일치되게 오버랩되도록 DIC Layer(또는,페이퍼문서)의 위치가 조정되는 단계.

(다) 사용자,또는 시스템의 제어에 의해, 상기 DIC Layer 상에 상기 book identity와 매칭된 raw digital identity가 디스플레이 상에 표시되지 않도록 재현되는 단계

및/또는

사용자,또는 시스템의 제어에 의해, 시스템 상에서 상기 book identity와 매칭된 extended digital identity(mark up data)가 생성, 또는 선택되어 상기 DIC Layer 상에서 재현되는 단계.

(라) 사용자 및 시스템의 제어에 의해, 상기 DIC Layer상에 특정영역(또는, object)이 선택되어지고, 선택되어진 특정영역(또는 object)에 해당된 digital identity에 대해 사용자 시스템 상의 특정 액션(모듈)이 실행되는 단계.

(마) 상기 (라)의 결과가 사용자 단말기에 구비된 디스플레이 또는, 빔스크린 상에 표시되는 단계.를 포함하는 방법.

본 발명의 페이퍼문서를 전자화하는 방법에 따르면,

첫째, 사용자는 페이퍼문서를 투명디스플레이 위에 오버랩한 후, 투명디스플레이를 통해 투과해보이는 페이퍼문서를 보며 원하는 영역을 손가락으로 터치( 혹은, 드래그)하거나, 투명디스플레이 상에서 발광하는 아이템(하이라이트, 심볼,여타의 그래픽 기호 등)을 터치(혹은 선택)하는 동작만으로도, 페이퍼문서와 연관된 전자정보를 손쉽게 열람할 수 있게 된다. 이는, 사용자가 페이퍼문서를 보며 선택한 문구(단어,문장, 혹은 아이템 등)를 검색하게 위하여 다른 디바이스로 시야를 옮겨야하는 불편함을 해소하여, 사용자의 페이퍼문서에 대한 몰입을 방해하지 않게 하고, 더 나아가 페이퍼문서와 연관된, 맥락성있는 정보를 열람할 수 있게 되어, 사용자의 페이퍼문서에 대한 이해도를 높여줄 수 있다.

둘째, 사용자는 에어제스쳐와 빔스크린 기능이 구비된 단말기를 활용하여 페이퍼문서에 분사된 빔스크린을 페이퍼문서와 함께 보면서, 페이퍼문서에서 활용(예;사전검색)하고 싶은 부분을 직접 페이퍼문서 상에 손가락을 갖다대는 직관적 동작을 하거나, 페이퍼문서 상에서 빔스크린을 통해 표시된(발광하는)아이템을 단순히 선택하는 직관적 동작만으로 손쉽게 페이퍼문서를 전자화할 수 있으며, 아무것도 얹혀져있지 않은 종이책을 직접 조작하는 듯한 가상현실적 체험을 할 수 있다.

셋째, 페이퍼문서에 관련된 전자정보를 제공하는 방법으로 기존의 방법들이 오로지 제작자가 일방적으로 제작한 것을 사용자가 단순히 열람만 하는 방식이었는데 반해, 본 출원에서는 사용자 컨텍스트를 분석하여 이를 시스템의 시스템서비스(data provider)가 사용자 각각의 기호(관심과 흥미도,혹은 필요)에 맞도록 전자정보를 생성하여 제공하는 방식을 취함으로써, 사용자는 언제나 최신의 정보나 개인화된 유효한 정보를 열람할 수 있게 되고, 광고주를 포함한 상업적 이해관계인에게는 매우 유효한 광고나 서비스를 제공할 수 있는 장을 열어주기도 하며, 시스템은 또한 이를 통해 그들(상업적 이해관계인)에게 상업적으로 이용가능한 정보를 제공해줄 수도 있다.

넷째, 페이퍼문서에 대한 전자정보의 생성자는 오로지 ‘제작자’였던 기존의 방식에서 벗어나, 사용자 각각이 페이퍼문서에 대한 부가정보(마크업)의 제작자가 되도록 허용하는 본 발명의 방식은, 사용자가 물리적 세계에서 페이퍼문서 상에 부가정보를 첨부하고 싶을 때, 책이나 노트에 일일이 필기를 하고, 포스트 잇을 붙이고 색연필로 칠하는 등의 번거로운 과정을 수행해야 했던 불편함을 감수하게 해주며, 사용자가 차후 생성한 부가정보를 자신이 원하는 기준으로 손쉽게 정렬하고 정리하여 볼 수 있게 해줌으로써, 기존의 물리적 세계에서 행해져온 방법에서 제공할 수 없었던 사용자 지향형 인터페이스를 제공할 수 있게 한다. 또한,이렇게 생성된 부가정보를 다른 유저와 공유할 수 있도록 허용함으로써, 사용자는 동일한 페이퍼문서를 읽는/읽었던 다른 유저가 해당 페이퍼문서 상에서 작성/첨부한 부가정보를 사용자가 원하는 기준(페이퍼문서 상에 원하는 위치, 마크업 생성 식별자, 등)으로 선택하여 볼 수 있게되어, 기존에 제작자가 일방적으로 제공하던 부가정보를 단순히 열람하던 방식에 비해 월등히 막강한 정보를 유기적으로 제공받을 수 있게 된다.

다섯째, 본 발명에서 DIC Layer와 페이퍼문서를 일치시키는 구성은, 페이퍼문서의 크기와 디스플레이(빔스크린)의 크기가 동일/또는 비슷해야만 했던 기존의 현실적 제약을 극복하고, 어떤 책이나 디바이스에서도 호환될 수 있도록 해줌으로써, 본 발명의 효용성을 높여준다.

여섯째, 사용자 입장에서, 사용자 각각이 페이퍼문서를 스캐닝하거나, 별도의 디바이스에 일일이 검색어를 입력하여야 하는 번거로운 과정 없이, 식별기호를 단말기에 인식시키는 간단한 절차만으로 페이퍼문서를 자유롭게 활용할 수 있어서 편리하며, 생산자의 입장에서는 단말기에 별도의 값비싼 인식수단(예;플레인 스캐너, 광학렌즈 등)을 구비시키거나, 종이책의 인쇄공정과정에 변화를 주어야 하는 등의 현실적 어려움과 부담을 감수하지 않아도 되므로 사용자와 생산자(시스템 제공자) 모두에게 유리하다.

일곱째, 본 발명의 특징 중, DIC Layer상에 선택영역에 해당하는 digital identity에 대해 특정모듈이 실행될 때, 인증,보안,지불의 프로세스가 동시에 진행되도록 하는 구성은 기존의 방법에서 항상 논란이 되어왔던 저작권문제을 사전에 원천봉쇄할 수 있게 해주고, 정당한 저작물 유통의 장을 열어줌으로써 사용자와 저작권자 모두에게 유리할 수 있다.

여덟째, 모듈이 실행될 때, 모듈실행시 digital identity에 여분의 필드(속성정보)가 추가되어 시스템에 저장되도록 하는 구성은 차후 이들을 단서로 사용자에게 적합하며, 관련성있는 막강한 정보를 시스템이 가공할 수 있도록 해주어, 기존에 일방적으로 시스템관리자에 의해 제공되던 2차 가공물의 폐쇄성과 비개인성을 극복하여 막강한 정보확장성과 개인화를 이루어준다.

아홉째, 좌표변환도구의 기능을 하는 소프트웨어로써 DIC Layer(이하, 레이어)를 활용하는 구성은 디스플레이의 크기와 페이퍼문서의 크기가 일치하지 않아도 사용자가 투명디스플레이 상에서 페이퍼문서를 보며 아무렇게나 지정한 영역을 단말기가 제대로(사용자가 페이퍼문서의 어떤 부분을 의도로 하고 있는가를) 파악할 수 있도록 해준다. 이는 디스플레이의 크기에 제약을 받아왔던 (플레인 스캐너가 구비된 투명디스플레이와 같은) 기존의 방법에 비하여, 획기적으로 디스플레이 크기에 대한 자유를 가져다 준다. 이는 다른말로, 핸드폰이나 타블릿 등 디스플레이의 크기가 천차만별인 모든 디바이스에서 그 크기가 천차만별인 모든 페이퍼문서에 대해 본 발명의 방법을 적용할 수 있게 되는 것이다. 또한, 레이어는 디스플레이보다 크기가 큰 페이퍼문서의 이미지도 복잡한 편집과정을 수행할 필요가 없이 단말기가 한번에 획득할 수 있게 해줌으로써, 사용자가 디스플레이를 페이퍼문서의 여기저기를 옮겨다니며 스캐닝하고 합성해야하는 번거로운 과정을 면케해준다.

열째, 페이퍼문서를 스캐닝하여 전자화하는 기존의 방법에 비해, 이미지의 번짐 내지 깨짐 현상을 근본적으로 방지할 수 있어서, 사용자는 미세한 움직임을 제어하려고 의식적으로 노력해야 하는 기존의 수고로움을 감수하지 않아도 되며, 페이퍼문서를 스캔할 때 페이퍼문서의 인쇄본 이외에 첨가분(필기나 낙서 등)도 동시에 스캐닝되는 문제를 극복할 수 있어서, 언제 어디서든 깨끗한 원본 문서를 (사용자가 특별한 주의를 기울이지 않아도) 흔들림 없이 단말기에 인식시킬 수 있게 된다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니된다.

본 발명의 광범위한 목적은 페이퍼문서가 그 물리적 한계로 인해 제약받아왔던 폐쇄성을 극복하고 다양한 전자정보로 향상될 수 있도록 하고, 사용자가 전자정보를 열람함과 동시에 이를 생성할 수 있도록 하여, 막강한 정보를 시스템 사용자 간에 공유할 수 있도록 하기 위함이다.

본 발명은 사용자가 특정 페이퍼문서를 지목하여 해당하는 book identity를 단말기에 인식시킨 후, 사용자 시스템 상의 데이터저장소(사용자 단말기의 메모리, 또는 통신망과 연결된 하나 또는 복수의 서버)에 미리 저장되어있는 (혹은, 즉시 생성한) 페이퍼문서에 관련된(혹은, 페이퍼문서 상에서 또는 페이퍼문서를 참조하여 )데이터들을 불러와서 표시되지 않도록 (투명하게) 디스플레이(또는 빔스크린)상에 재현시킨 후, 사용자가 페이퍼문서를 보며 원하는 영역을 투명디스플레이(혹은, 빔 스크린을 활용할 경우, 페이퍼문서) 상에 직접 선정하면, 시스템이 사용자가 선정한 영역에 해당하는 digital identity를 추출하여 이에 대해 사용자,혹은 시스템이 선정한 특정모듈을 실행하는 것이다. 또한 투명디스플레이 (또는, 빔스크린을 활용할 경우, 페이퍼문서) 상에 상기 페이퍼문서와 관련된 부가정보(mark up data)를 사용자의 투명디스플레이(또는 빔스크린) 상에 표시시킴으로써, 사용자가 페이퍼문서 상에 발광하는 object를 직접 선정토록 하는 것을 그 특징으로 한다.

이하, 본 발명에서 쓰이는 용어의 개념을 설명하고. 청구항에 나타난 다양한 방법들의 개념을 구체적으로 설명한다. 단, 본 명세서에서는 ‘투명디스플레이가 구비된 단말기’를 중점으로 본 발명을 설명하고자 하나, 이는 본 발명의 용어와 개념들을 알기쉽게 설명하기 위함이지, 본 발명의 범위를 ‘투명디스플레이가 구비된 단말기’에만 국한하여 적용코자 함은 아니다. 즉, ‘에어제스쳐와 빔스크린 기능이 구비된 단말기’는 본 발명을 이해한 당업자라면 손쉽게 본 발명의 방법을 그것에 적용할 수 있기 때문에 본 명세서에서 설명이 지나치게 방대해짐을 막기 위해 ‘투명디스플레이’만을 자세히 언급한 것임을 염두해 두어야 한다.

(*에어제스쳐와 빔스크린 기능이 구비된 단말기‘란; 제어부,입력부,출력부가 구비된 일반적인 사용자 단말기에서 출력부의 기능을 ’빔스크린‘이 담당하고, ’입력부‘의 기능을 ’에어제스쳐‘기능이 담당하는 단말기를 뜻한다. 즉, 영상을 반사해낼 수 있는 2차원면적(벽,칠판,손바닥 등)에 단말기로부터 출력된 영상을 빔으로 분사하고, 분사되어 식별되는 영상에 대해 (터치스크린이 구비된 디스플레이를 조작하는 것과 똑같이) 사용자가 손가락을 갖다댄다던지, 웹페이지를 넘긴다던지, 웹페이지를 확대,축소한다던지 하는 등의 움직임을 하면 이로인해 반사된 빛의 분석하여 단말기가 사용자의 제스쳐를 인식하여 제어부에 입력신호로써 전달하는 하는 것이다. 이러한 방법은 이미 출원되어 시중에 시판되고 있는 사항이므로 이에관한 자세한 설명은 생략한다.)

1. 사용자 시스템.

-본 출원에서 ‘사용자시스템’은 다음을 포함한다.

1-1. 투명디스플레이 또는, 빔스크린- 사용자 워크스테이션의 제어에 따라 작동하며, 사용자가 페이퍼문서를 보며 투명디스플레이 상에 지정한 지점의 좌표를 감지하여 (또는, 사용자가 페이퍼문서에 분사된 빔스크린 상에 지정한 지점의 좌표를 단말기에 구비된 에어제스쳐 기능을 통해 감지하여) 본 시스템에 전달하고, 사용자 워크스테이션으로부터 전송받은 결과물을 디스플레이 하는 역할을 한다.

1-2. 사용자 워크스테이션- 사용자가 입력한 book identity를 식별하여, 메모리 혹은 네트워크에 연결된 하나 또는 다수의 서버들에 위치한 digital identity를 선택,액세스,검색 및 모듈실행을 제어하고, 투명디스플레이(또는,빔스크린)에 의해 상기 수신된 결과물의 디스플레이를 제어하기 위해 사용된다. 이를 위해, 사용자 워크스테이션은 digittal identity를 요청,수신 및 저장하기 위한 수단과, 투명디스플레이(또는, 빔스크린)상에서 사용자에의해 눌려진(선택되어진)영역의 좌표값을 DIC Layer상의 좌표값으로 변환시키는 수단과, 상기 눌려진 지점에 연관된 digital identity를 식별하기 위한 수단과, 상기 수신된 digital identity의 투명디스플레이(또는, 빔스크린)에 의한 디스플레이를 제어하기 위한 수단을 포함한다. 더욱 구체적으로, 본 출원에서 사용자 워크스테이션은 식별된 book identity를 통해 DB에 저장된 문서 컨텍스트 정보를 통해 페이퍼문서의 크기를 읽어온 후, 이를 참조하여 DIC를 구동시키고, DIC는 단말기에 인식된 페이퍼문서의 위치와 전술한 페이퍼문서의 크기를 참조하여 DIC Layer를 생성한다.. 이후, DIC가 연결시켜준 digitsl identity의 특정 데이터에 대해 메모리,혹은 네트워크와 연결된 하나 또는 복수의 서버에 위치한 특정모듈이 실행되도록 하고, 그 결과물을 단말기에 구비된(연결된) 디스플레이 상에 전송해주는 역할을 한다.

또한, 일 실시예에서, 사용자 워크스테이션은 레이어의 위치가 사용자에 의해 제어될 수 있도록 사용자 단말기에 구비된 디스플레이의 크기 정보를 참조하여 식별단서를 생성하여 상기 레이어 상에 뿌려주며, 경우에 따라 식별단서의 노출범위와 시간 등을 제어할 수 있다.

바람직하게는, 사용자 워크스테이션은 하나 또는 복수의 서버와 송수신할 수 있는 통신망에 연결되어 있어서, 스캐닝이미지 및 특정모듈에 대한 제어 등은 이 통신망을 통해 원격조종된다. 일 실시예에서, 사용자의 오프라인 상황에서의 시스템의 원활한 사용을 위하여 사용자 단말기가 온라인에 접속해 있을 때, 기존에 요청한 raw data 및 mark up data를 비롯한 모든 정보들이 모두 메모리, 혹은 단말기에 구비된(연결된) 다른 엔티티에 다운로드 되어질 수 있고, 오프라인 상태일 때 누적된 사용자 컨텍스트 정보( 히스토리컬 정보)가 온라인 상황이 되면, 모두 특정 서버에 업로드되도록 할 수 있다.

일실시예에서, 사용자 워크스테이션은 digital identity와 특정모듈을 단말기 상의 메모리에 저장하여 이를 로컬액세스할 수 있으나, raw data,및 특정모듈은 단말기의 메모리나 하나 또는 다수의 서버들에 국부적으로 위치되어 순차적으로 제어될 수도 있다.

일 실시예에서, 상기 구성요소는 각각이 분리되어져 케이블,와이어쌍,적외선 링크,또는 무선라이오 링크 등에 의해 연결될 수도 있다. 더욱 구체적으로, 사용자 워크스테이션은 투명디스플레이,컴퓨터, 및 원격통신장치 등의 기능 및 용량이 전적으로, 또는 부분적으로 하나의 디바이스에 통합될 수 있다. 따라서, 본 출원 상에서 투명디스플레이, 사용자 워크스테이션,사용자 단말기 등의 용어들은 동일한 디바이스를 의미하는 것일 수 있으며, 사용자 단말기는 핸드폰, 내장 컴퓨터, 네트워크 컴퓨터, 인터넷 가전 또는 무선 IP 가능 장치들일 수 있다, 바람직하게는 사용자 워크스테이션은 인터넷망에 연결되고, 웹브라우저 또는 본 시스템을 위한 전용 어플리케이션을 실행하며, 연결된 서버는 웹서버이다. 또한, 사용자 단말기는 검색엔진, 문서소스, 사용자 계정 서비스, 마크업서비스, 및 다른 네트워크 서비스를 네트워크 상에서 이용가능하다. 네트워크는 통합 인트라넷, 공중 인터넷, 모바일 폰 네트워크 또는 일부 다르 네트워크, 또는 이들의 상호접속일 수 있다.

2. 컨텍스트

시스템은 사용자 각각의 시스템 이용 내력을 분석함으로써 각각의 유저들에게 개인화된 막강한 정보를 제공할 수 있다. 이를 위해, 시스템은 사용자에 관한 정보 및 사용자가 시스템에 로그인한 순간 내지는 사용자 인증을 거친 순간부터, book identity를 입력하고 특정 액션들을 취하는 동작까지에 관련된 일련의 인터랙팅 정보들을 필요로 한다. 이렇게 시스템이 획득한 정보를 일반적인 의미에서의 ‘컨텍스트’라 하지만, 본 시스템에서는 더 나아가 이러한 일반적인 의미의 컨텍스트를 분석하여 시스템이 요구하는 정보로 시스템서비스(data provider-예; 웹서비스)에 의해 재가공된 정보도 ‘컨텍스트’라는 범주안으로 해석하고자 한다. 그리고, 이렇게 시스템이 획득한 기본적인 정보를 ‘사용자/문서 컨텍스트 정보’라 칭하고 이를 바탕으로 시스템 서비스에 의해 재가공된 정보를 ‘extended context'정보라 칭한다. 물론, 사실상 따지고보면, 사용자컨텍스트,문서컨텍스트,,extended context 는 그 구분이 모호하며 정확하게 구분할 수 없는 성질의 것이기는 하나, 개념의 명확한 이해를 위하여 어쩔 수 없이 구분한 것이니 참고바란다. 바람직하게는, 상기 시스템서비스(data provider)는 데이터마이닝( data mining)기법을 씀으로써 그 기능성을 증대시킬 수 있다. 이렇게 생성된 컨텍스트 정보는 시스템과 사용자 모두에게 유리하다. 예컨대, 시스템은 획득된 컨텍스트 정보를 분석함으로써 출판업자나 광고주에게 사용자들의 최근의 관심도와 인기페이퍼문서에 관한 통계치를 제공해주어, 그들의 의사결정에 필요한 자료를 제공해줄 수 있다. 반면에 사용자 입장에서는 사용자가 선택한 영역에 해당하는 object를 검색엔진을 통해 검색하고자 할 때에도 컨텍스트 정보의 일부가 검색엔진 자체에의해 취급되거나, 검색결과에 반영되도록 함으로써 조금 더 사용자에게 적합하고, 개인화된 정보를 제공받을 수 있게 된다. 더욱 구체적으로, 예컨대, 검색엔진은 사용자의 인터랙팅 이력을 추적할 수 있고, 이 인터랙팅 이력을 기존의 키보드 기반 문의와 상호참조시킬 수도 있다. 그러한 경우, 검색엔진은 각각의 개별 사용자에 대해 대부분의 기존 검색엔진이 하는 것보다 더 많은 상태정보를 유지하고 사용할 수 있으며, 검색엔진과의 각각의 인터랙션은 오늘날 전형적인 방법보다 더 긴 기간동안, 여러 검색들에 걸쳐 확장될 수 있다. 더 나아가, 이러한 검색엔진은 텍스트의 간단한 검색을 넘어서, 본 시스템에 적합한 새로운 액션이나 옵션을 제공할 수도 있다. ( 보다 자세한 사항은 ’ 특정 액션‘챕터를 참조하라)

2-1. 사용자 컨텍스트 정보

2-1-1. 사용자 시스템과 인터랙팅한 이력에 대한 컨텍스트

- 사용자가 본 시스템과 인터랙팅한 이력에 관한 것이다. 이는 사용자가 특정 액션을 실행시킬 때 여분의 필드(예; book identity식별자, 사용자식별자. digital identity상에서의 위치, 시각 등)가 추가됨으로써 생성되기도 하고, 시스템에 의해 사용자가 로그인한 기록이라던지, 특정 책에서 머문 시간 등 시스템이 감지할 수 있는 모든 정보가 이에 해당한다,

2-1-2. 사용자의 실세상 컨텍스트

-나이,지리적 위치, 소유한 다른 디바이스 일련번호, 핸드폰 통신내역, 메일 송수신 내역 등 사용자의 실세상에서의 활동 및 개인 identity를 파악할 수 있는 정보를 총칭함.

2-1-3. 관련 디지털 컨텍스트

-온,오프라인 상에서 전자문서 열람내역, 메일상에 첨부한 파일 식별자, 검색엔진에의 검색어 입력 내역, 온라인 구매 내역, 광고청취내역 등을 총칭함.

2-2. 문서 컨텍스트 정보

본 시스템에서 book identity로 식별된 문서에 관한 모든 정보.

2-2-1. 문서의 외적 컨텍스트.

-문서의 발행일,책이름,저자이름,isbn넘버,출판사,책이 속한 카테고리,판매부수 등, 사용자가 입력한 book identity의 실세상에서의 캐릭터를 설명해주는 부가정보.

2-2-2. 문서의 속성정보.

-문서 전체 및, 문서의 특정 object에 대한 속성정보(object에 관한 해설)이다. 만일, 수학문제집의 특정 문제에 관해 이 문제를 설명할만한 속성정보(예컨대, 문제가 속한 카테고리, 문제의 수준, 문제의 오답률, 문제에 쓰여진 공식 등)가 제시되어 있다면, 시스템은 이를 단서로 이와 동일한 카테고리 내의 문제, 비슷한 수준의 문제 등을 유저에게 제공할 수 있을 것이다. 이러한 속성정보는 본 시스템에서 digital identity에 내장되어 있거나, 첨부될 수 있으며, 마크업데이터에 유도되어 시스템 상에서 활성화될 수 있다. 또한, 이러한 속성정보는. 누군가에 의해 생성되거나 프로그램에 의해 생성될 수 있으며, 바람직하게는, 본 시스템의 특정 프로그램을 통해 활용되기 위해서는 object(예컨대, 수학문제)를 해설할 수 있는 몇 개의 column으로 구성되어져야 한다.

2-3. extended context information.

- 사용자/문서 컨텍스트 정보로부터 시스템서비스(data provider)에 의해 가공된 정보이다. 바람직하게는, 시스템서비스는 사용자 단말기와 통신망으로 연결된 웹서버의 웹서비스이며, 사용자/문서 컨텍스트 정보는 이와 연동된 데이터베이스에 위치하며, 웹서비스는 데이터마이닝 기법을 쓸 수 있다.. extended context정보의 몇 가지 예를 들어보자.

2-3-1. 시스템에게 유리한 정보- 시스템은 특정 페이퍼문서를 지정한 유저의 이력이나, 검색엔진에의 검색 등을 통해 최근 가장 인기있는 책,사람,물건 등을 알아내어 시스템이 가공하여 생성해내야 할 데이터의 종류와 범위 등을 예측하고 생성할 수 있다.

2-3-2. 제3자에게 유리한 통계치- 예컨대, 유저들의 사용자 컨텍스트 정보와 문서 컨텍스트 정보를 분석하여, 주로 어떤 지역에, 어떤 신분의 사람이 특정 페이퍼문서를 읽는지, 이들은 어느정도의 구매력을 가지는지 등에 관한 ‘통계치’를 알 수 있다. 이는 특정 페이퍼문서 상에 광고를 띄우려는 광고주나 분석자료를 토대로 다음 출판물을 결정해야 하는 출판업자 등에게 유리하다.

2-3-3. 사용자에게 유리한 정보- 시스템은 사용자 각각의 컨텍스트 정보를 분석함으로써, 예컨대 검색엔진에의 검색결과 값에 컨텍스트 정보를 반영하여 사용자에게 적합하며, 최적화된 정보를 제공해줄 수 있으며, 사용자의 성향이나 관심을 반영하여, 사용자의 요구 이전에 시스템이 알아서 사용자의 요구를 예측하여 사용자에게 도움이 될 만한 정보를 제공해줄 수 있다. 예컨대, 시스템은 사용자가 특정 문서를 선택하여 단어검색한 이력을 통해 사용자의 단어실력을 가늠할 수 있을 뿐만 아니라, 시간의 변화에 따른 능력의 변화추이도 유추해낼 수 있다. 이로써, 시스템은 사용자가 알아두면 좋을만한 단어나 문구들을 미리 생성시킬 수도 있다. 또 다른예로, 시스템은 사용자의 신분과 검색어의 입력이력으로부터 사용자의 관심 및 흥미의 변화추이도 알아낼 수 있고, 이로써 사용자의 미래의 상황을 미리 유추하여 관련된 정보나 특정 트랜잭션들이 실행되도록 할 수도 있다.

3. book identity

특정 페이퍼문서의 고유한 정체성을 나타내는 말로써, 특정 문서를 다른 문서와 구분짓기 위해 부여된 '네임‘과 같은 것이라 볼 수있다. 더욱 구체적으로, 설명하자면, 일반적으로 사용자가 접하는 페이퍼문서는 원본(원시)데이터를 페이퍼 상에 무수히 복제하여 생성된 것이며, 이렇게 복제된 무수한 페이퍼문서들은 당연히 그 내용과 형식 등 모든 면에서 완벽히 동일하다. (이러한 book identity를 판별할 수 있는 가장 좋은 식별기호는 isbn number가 있다. isbn넙버는 기존의 출판물 모두에 부여되어 있는 문서의 ‘주민등록번호’라고 보면 된다. 즉, isbn넘버는 특정문서를 다른 문서와 구분짓게 해주는 번호로써, isbn넘버가 동일한 문서는 그 내용이나 구성, 글자모양, 글자크기 등 그 모든 것이 완벽히 동일하다. ) 그래서 이렇게 복제된 페이퍼문서들은 본 시스템 상에서 동일한 book identity를 가진 문서로 취급할 것이다. 즉, book identity는 페이퍼문서를 사용자 시스템이 고유하게 식별하기 위한 수단으로써 사용되는, 시스템이 부여한 name이라고 볼 수 있다. 즉, 특정 페이퍼문서에 해당되는(매칭된) 여분의 데이터를 시스템이 찾기 위하여 특정 페이퍼문서에 부여한 이름과 같은 것으로, 본 명세서에서 설명의 편의를 위하여 특별히 고안된 개념이라고 볼 수 있다. 그러므로, 엄밀히 말해, book identity라는 name은 시스템에 존재하지 않을 수도 있고, 존재할 수도 있는 것임을 유의하라. 본 시스템에서 book identity라는 개념은 매칭된 정보를 찾아주려는 목적을 실현하는 수단을 의미하는 것으로써, book identity를 시스템에 인식시키는 다양한 방법을 통해, 시스템이 특정 페이퍼문서에 관한 컨텍스트 정보(속성정보-책제목,저자,osbn,출판사,책내용 등)를 모두 인식하는 것은 아니라는 점에 유의해야 한다. 즉, 사용자 시스템에서 사용자가 단말기에 식별시킨 식별기호(문서의 내용,책제목,isbn,바코드 등)는 시스템 상에서 단순히 암호로 인식되거나 포인터로써의 기능을 하여 이와 매칭된 정보를 찾는 도구로만 쓸 수도 있다. 그러므로, 사용자가 전술한 방법을 통해 book idenity를 시스템에 인식시킨다는 뜻이, 해당 페이퍼문서에 관한 모든(혹은 일부) 정보가 시스템에게 파악되어야만 한다는 뜻은 아니라는 점에 유의해야 한다.

4.digital identity

4-1. raw digital identity

4-1-1. Raw data

-본 시스템에서 raw data는 스캐닝이미지원본 혹은, 스캐닝이미지에서 raw data(텍스트,이미지 등) 와 이들과 관련된 레이아웃(폰트크기,글자모양,줄간격,이미지 위치,텍스트위치)들을 추출해서 사용가능한 형태로 만든 data set(group)을 지칭한다. 더욱 구체적으로는, 사용자가 디스플레이를 통해 제공받은 제작툴 상에서 지정한 모듈실행명령/혹은 시스템의 제어에 의해 실행되는 시스템 모듈의 실행대상이 되는 데이터이다. 시스템은 사용자의 사용목적을 구분하여 가장 사용하기 용이하고, 원활한 데이터의 형태로 구성하여 사용자에게 제공할 수 있다. 가령, 사용자의 데이터 사용목적이 단순히 ‘사전검색’만을 목적으로 한 경우, digital identity는 각각의 키워드(텍스트)들이 스캐닝이미지 상에서 차지하는 위치정보(컨텍스트 정보)와 함께 구성된 text data set일 수 있고, 사용자가 ‘캡쳐’모듈을 실행코자 할 경우는 스캐닝이미지를 재현(reproduce)할 수 있는 image data set가 준비되어있다가 사용자가 지정한 특정영역에 해당하는 데이터가 추출되어져 사용자에게 제공될 수 있을 것이다. 간단히 말해, 본 시스템 상에서 Raw data는 특정모듈이 실행되는 대상이 되는 object의 집합으로써, 특정모듈이 실행되기 가능한 형태의 데이터를 총칭한다. 이러한 데이터는, 텍스트,텍스트오프셋,.또는 다른 심볼로 구성되는 시그니처(signiture)일 수 있다.

4-1-2. processing data

-상기 raw data에 대해, 시스템의 시스템서비스(data provier-예;웹서비스)의 특정모듈이 미리 실행되어져 생성된 데이터이다. 이는 사용자가 일일이 사용자 단말기 상에서 모듈실행지시를 내리고 프로세싱이 진행되는 과정을 기다리는 번거로움을 탈피하기 위하여, 미리 시스템서비스가 이런 번거로운 과정을 대신 수행하여 그 결과물을 상기 문서의 내적 컨텍스트정보(위치정보)를 참조하여 매칭시켜 놓음으로써 생성된다. 가령, 사용자가 ‘사전검색’을 목적으로 레이어 상에 특정영역을 지정하면, 시스템은 미리 전처리된 데이터에서 사용자가 지정한 특정영역에 매칭되어있는 ‘사전검색결과’즉,‘해설’을 단순히 가져오기만 하면 된다. 또는, 사용자가 페이퍼문서를 보며 특정단어를 지목하여 레이어 상에 선택하면, 시스템은 해당 단어에대해 미리 검색엔진을 통해 검색결과값ㅇ르 가지고 있다가, 사용자가 단어를 지목하는 순간 즉각적으로 결과값을 보여줄 수 있을 것이다. 또는, 사용자가 선택영역과 관련된 멀티미디어 자료를 보는 것을 애초에 목적으로 할 것을 대비하여, 각각의 오브젝트와 관련 콘텐츠를 매칭시켜놓을 수 있다. 가령, 사용자가 요리책을 보면서 ‘스파게티’를 지목하면 시스템은 누군가(예;출판사,시스템관리자,프로그램 등)에 의해 스파게티와 매칭시켜놓은 ‘스파게티 레시피 동영상’을 별도의 프로세싱 과정 없이 즉각적으로 보여줄 수 있다.

4-2. extended digital identity

- 전술한 두 가지 부류의 digital identity는 스캐닝이미지 원본을 사용자가 본 시스템 상에서 사용하기 용이하도록 ‘변환’시켰다고 볼 수 있지만, 지금 진술하는 ‘extended digital identity’는 이 스캐닝이미지 및 raw data를 ‘참조하여’ 가공된, 완전히 새로운 데이터라고 볼 수 있다. 더욱 구체적으로, 이런 데이터는 다양한 주체에 의해 다양한 방법으로 생성될 수 있다. 예컨대, 제작자는 모니터 상에서 스캐닝이미지를 참조하여 각종 제작메뉴를 활용하여 임의의 오브젝트를 선정하고 이에 부가하고 싶은 내용을 주석이나,음성,메모장 등을 붙이고, 특정 문구에 하이라이팅되도록 링크를 설정해놓을 수도 있으며, 특정 트랜잭션을 유도하는 마크업을 특정위치에 표시되도록 할 수도 있다. 이와 비슷하게 사용자는 투명디스플레이를 페이퍼문서 위에 오버랩시키고, DIC Layer를 페이퍼문서와 일치시킨 후, 레이어 상에서 투명디스플레이를 통해 비춰보이는 페이퍼문서를 보며 제작메뉴(옵션)을 통해 적당한 위치에 필기를 하거나, 메모장을 붙이거나, 주석을 다는 등의 행위를 통해 새로운 데이터를 생성시킬 수 있다. 그 외에도 상기 스캐닝이미지를 참조하여 생성시킬 수 있는 주체와 방법은 다양할 수 있다. 이렇게 스캐닝이미지 및 페이퍼문서를 참조하여 생성된 데이터 중 가장 대표적인 예는 ‘마크업데이터’이다.

이렇게 스캐닝이미지를 ‘참조하여’ 문서와 연관된 여분의 기능성을 제공하는 것을 목적으로 한 것을 본 출원상에서는 ‘마크업’이라 칭하고자 한다.

본 출원상에서 마크업은 일반적으로 웹브라우저 상에서 웹페이지를 열람할 때 식별되는 그 어떤 것만을 지칭한다기보다, 본 시스템이 실현되는 루틴(예;웹브라우저, 시스템 어플리케이션 )이 무엇이든 간에 DIC Layer상에 오버레이 되는 부가기능성의 층은 모두 이 ‘마크업’이라 칭하고자 한다.. 이러한 마크업은 DIC layer 상에 하나 또는 다수의 오버레이(overlay)로써 제공될 수 있다.

이러한 ‘마크업’은 사용자,문서의 창작자,또는 출판자,또는 다른 누군가에 의해 생성될 수 있으며, 일부 소스로부터 직접 액세스되거나, 일부 서비스에 의해 생성될 수 있다. 다양한 실시예에서, 마크업은 페이퍼문서 및/또는 전술한 raw digital identity를 참조하여 생성되거나, 이들과 연관될 수 있다. 더욱 구체적으로, 마크업은 문서 내의 텍스트의 특정 위치나 세그먼트와 연관될 수 있다. 이런 ‘마크업’은 문서 또는 문서의 일부에 연관된 특정 액션을 유도할 수 있다. 마크업은 사람이 판독할 수 있는 컨텐츠를 포함할 수 있지만, 때로는 사용자에게 보이지 않거나 및/또는 기계적으로만 판독되도록 의도될 수도 있다. 예컨대, 사용자가 투명디스플레이를 통해 보이는 페이퍼문서를 보며 특정 위치를 선정하여 캡쳐링모듈을 실행할 때, 근처의 디스플레이 상에 팝업메뉴가 디스플레이될 수 있는데, 이것이 바로 그것이다. 이러한 마크업데이터는 전술한 raw digital identity에 첨부되거나, 그에 내장된 형태일 수 있다.

마크업데이터는 시스템이 book identity를 식별한 후, 매칭된 raw digital identity를 검색할 때 문의의 검색결과에 포함될 수 있고, 또는 동일한/혹 상이한 검색엔진에서의 별개의 문의에 의해 발견될 수 있다. 마크업 데이터는 book identity를 통한 문서 컨텍스트 정보를 활용하여 발견될 수도 있고, 사용자 컨텍스트 정보와 다른 유저의 컨텍스트 정보 등을 활용하여 발견될 수도 있다. 마크업데이터는 raw digital identity 그 자체에 포함되어 있지 않더라도, 문서에 특정되어있는 위치에서 발견될 수도 있다. 종래의 html웹페이지에 대한 링크가 html문서 내에 정적 데이터(static data)로서 종종 내장되는 방식과 유사하게 마크업은 전술한 raw digital identity(이하, 문서)에 대해 정적이고 특유한 것일 수 있다. 그러나 마크업은 많은 수의 문서에 대해 동적으로 생성 및/또는 적용될 수 있다.

본 출원에서 mark up data는 그것의 생성주체나 생성방법 등과 무관하게 사용자의 투명디스플레이 상에서 사용자에게 식별가능한 (또는 식별되지 않지만 사용자에의해 선택,액세스되는) 표시로써, 사용자에의해 열람되고, 선택되어져 특정 기능성을 수행하는 것을 목적으로 한 것을 가리킨다. 이러한 마크업은 본 시스템이 웹브라우저 상에서 사용될 때에는 통상적으로 쓰이는 mark up language(예; html, xml 등)를 이용하여 생성될 수 있고, 본 시스템이 본 시스템을 위한 전용 어플리케이션이 설치된 (on device의 형태이건, 다운로드 형태이건 상관없이) 디바이스에서 사용될 경우, 어플리케이션이 번역 가능한, 즉, 미리 정의된 시스템 랭귀지(암호)를 통해 생성될 수도 있다. 또한, 이러한 마크업은 제작자 뿐 아니라, 작가,광고주,사용자 등이 제작, 및 유통할 수 있고, 시스템은 이들을 통해 생성된 마크업데이터들을 시스템의 데이터 저장소에 저장해두었다가 사용자의 선택에 따라 이들을 제공하는 역할도 하지만, 이들을 재가공하여 완전히 새로운 정보를 창출하기도 하며, 사용자의 기호(관심과 흥미 등)를 파악하여 사용자에게 적합한 정보를 생성 및, 선택하여 사용자에게 제공해주기도 한다.

이러한 마크업에 대해 자세히 알아보자.

본 시스템에서 마크업 데이터는 바람직하게는, 투명디스플레이의 레이어 상에서 다양한 식별기호(하이라이팅,아이콘,심볼, 기타 그래픽 기호등)로 표시되어 사용자에게 식별된다. 이러한 식별기호는 투명디스플레이 상에서 투명디스플레이 아래에 있는 페이퍼 문서의 적절한 위치 (예컨대,하이라이팅되고자 하는 위치) 위에 오버랩되어 사용자에게 식별되며, 이들은 사용자에게 단순히 열람되거나, 사용자의 터치에 의해 액세스된다.

마크업데이터는 다양한 방법으로 생성 가능하다. 모니터를 통해 식별된 스캐닝이미지 상(위)에서 생성할 수도 있고, 투명디스플레이를 페이퍼문서 위에 올린 채, 레이어와 일치시킨 후, 특정 제작툴(tool)을 활용하여 생성할 수 있다. 또는, 사람이 아닌 미리 제작된 프로그램(data provider)에 의해 자동으로 마크업이 생성되도록 할 수도 있다. 그러나 이때, 이 모든 마크업데이터들은 사용자의 페이퍼문서 위에서 앎맞게 정렬되고, 알맞은 위치에서 표시될 수 있도록 해당 문서(예컨대, 스캐닝이미지 및 row data)의 특정 위치나 세그먼트와 연관시켜져야 한다는 것이다. 이때, 문서(스캐닝이미지)를 참조하여 생성된 마크업데이터는 사용자의 레이어 상에서 표시되지만, 문서(스캐닝이미지)는 저작권을 위해 표시되지 않아야하며, 특정 위치나 세그먼트와 연관되어진 마크업은 사용자의 투명디스플레이의 DIC Layer 상에서 특정 위치에 뿌려질 것이다. (이를 위해, 상기 스캐닝이미지와 DIC Layer는 그 크기가 완벽히 일치해야하는 것이다)

이러한 마크업의 특성을 자세히 알아보자.

4-2-1.오버레이,정적 및 동적

마크업에 대해 생각하는 한가지 방법은 레이어상의 ‘오버레이’로서 인데, 이것은 페이퍼문서(이하, 문서)또는 그의 일부분에대한 추가 정보를 제공하거나, 문서 또는 문서의 일부분에 연관된 액션을 특정할 수 있다. 마크업은 사람이 판독할 수 있는 컨텐츠를 포함할 수 있지만, 종종 사용자에게 보이지 않거나 및/또는 기계적 사용으로만 의도된다. 보이지 않는 마크업의 예로, 사용자가 투명디스플레이를 통해 보여지는 페이퍼문서의 특정 이미지를 캡쳐할 때, 이미지의 출처와 오디오 정보를 제공하는 팝업메뉴가 뜰 수 있다.

4-2-2.여러 소스로부터 가능한 여러 층

문서(digital identity)는 다수의 오버레이를 동시에 가질 수 있고, 이들은 다양한 위치로부터 유래될 수 있다. 마크업데이터는 페이퍼 문서의 작가, 사용자, 또는 또다른 측에 의해 생성되거나 공급될 수 있다. 마크업데이터는 문서에 첨부되거나 그에 내장될 수 있고, 분리되어 전송될 수도 있다. 마크업데이터는 종래의 위치에서 (예컨대,동일한 문서이지만 다른 파일네임 접미사를 갖는 곳에서) 발견될 수 있다. 마크업데이터는 사용자가 레이어 상에 지정한 (즉, row digitsl identity 상에 지정한 영역) 영역을 검색한 검색결과에 포함될 수 있고, 또는 동일한 또는 상이한 검색엔진에의 별개의 문의에 의해 발견될 수 있다. 마크업데이터는 사용자 컨텍스트 정보나 문서 컨텍스트 정보를 통해 발견될 수 있고, 또는 기존에 이들로 인해 추론된 정보를 사용하여 발견될 수도 있다. 즉, 마크업 그 자체가 digital identity에 포함되어 있지 않더라도, 마크업데이터는 (투명디스플레이의 )레이어 상의 특정 위치에서 발견될 수 있다.

종래의 html 웹페이지에 대한 링크가 html문서 내에 정적 데이터로서 종종 내장되는 방식과 유사하게, 마크업은 스캐닝이미지를 참조하여 (혹은, 스캐닝이미지 상에서) 정적이고 특유한 것으로 생성될 수 있다. 그러나 마크업은 동적으로 생성 및/또는 적용될 수도 있다. 동적 마크업의 일 예는, 문서에서 언급된 회사의 최신주식가격을 포함하는 그 문서가 첨부되어잇는 정보이며, 널리 적용되는 마크업의 일 예는, 다수의 문서나 문서의 액션에대해 특정 언어로 자동으로 이용가능한 번역정보이다.

4-2-3.개인‘ plug-in’ 층

사용자는 또한 마크업데이터를 인스톨하거나 그것의 특정 소스에 서명할 수 있고, 따라서 특정 모듈 실행에 대한 시스템의 반응을 개인화시킨다.

4-2-4.키워드 및 문구 상표 및 로고

문서의 일부 요소는 특정 문서 내의 위치보다는 그들 자체의 특성에 기초하여 그들과 연관되어 있는 기능성 또는 특정 ‘마크업’을 가질 수 있다. 예를 들어, 사용자에게 어느 조직에 관한 추가정보를 링크시킬 수 있는 로고 및 상표 등이 있듯이, 동일한 원리가 문서 내의 ‘키워드’또는 ‘키문구’에도 적용된다. 조직들은 그들이 연관되어 있는,혹은 그들이 연관되고 싶어하는 특정 문구들을 등록할 수 있고, 그 문구가 어디에서 사용자에게 선택되든지간에 이용가능하게 되는 특정 마크업을 부착한다.

어떤 단어나 문구 등도 연관 마크업을 가질 수 있다. 예컨대, 본 시스템은 사용자가 언제 단어‘책’또는 ‘책제목’또는 ‘책에 관련된 토픽’을 지정하든지 간에, 특정 항목을 팝업메뉴에 추가할 수 있다. (예컨대, 온라인 서점으로의 링크). 본 시스템의 일부 실시예에서, 단어‘책,이나 ’책제목‘,’책에 관련된 토픽‘등이 사용자에의해 지정되면 이에 대해 텍스트, 사용자 컨텍스트 정보, 문서 컨텍스트 정보 등을 참조할 수 있고, 시스템의 움직임이 키워드 요소의 이러한 접근성에 따라 변경된다. 앞서의 일 예에서, 마크업으로 인해, 비상업적 텍스트 또는 문서로부터 지정된 데이터가 상업적 트랜잭션을 유발할 수 있다는 점에 유의해야한다.

4-2-5. 유저 공급된 컨텐츠.

주석은 문서와 연관될 수 있는 다른 유형의 전자정보이다. 예로써, 유저는 음성주석으로써 이후의 검색을 위해 특정 문서에대한 자신의 생각의 오디오파일을 첨부할 수 있다. 멀티미디어 주석의 다른 예로서, 유저는 문서의 특정 위치에 동영상이나 사진을 첨부할 수 있다. 유저는 문서를 위한 주석을 공급하지만 시스템은 다른 소스로부터의 주석을 연관시킬 수 있다. 이러한 유저-소스화된 마크업의 중요한 예는 프루프-판독,편집 또는 검토 목적의 일부분으로서 종이 문서로 된 주석이다.

4-2-6. 제 3자에 의해 공급된 컨텐츠.

마크업데이터는 문서의 다른 판독제에 의하는 바와 같이, 제 3자에 의해서도 공급될 수 있다. 온라인 토의 및 검토인, 특정 작업, 자원봉사자에 의한 번역 및 설명에 관한 커뮤니티-관리 정보와 같은 것은 좋은 예이다. 또는, 광고주에 의한 것도 좋은 예이다.

4-2-7. 유저의 데이터 스트림에 기초한 동적 마크업.

시스템의 여러 또는 모든 유저에 의해 문서로부터 획득된 데이터를 분석함에 의해, 마크업은 커뮤니티의 활동 및 관심사를 기초로 발생될 수 있다. 예로서는 ‘이 책을 즐긴 사람은 또한...도 즐긴다’라는 것을, 유저에게 마크업으로 제시하는 온라인 서점이 있을 수 있다. 마크업은 익명성이 덜 할 수 있고, 유저에게 그의 계약 리스트의 어떤 사람이 이 문서를 최근에 읽었는지를 알려줄 수 있다.

4-2-8. 외부 이벤트 및 데이터 소스에 기초한 마크업

마크업은 흔히, 통합된 데이터베이스로부터의 입력, 공중 인터넷으로부터의 정보 또는 로컬 운영체제에 의해 수집된 통계치와 같은 데이터 소스 및 외부 이벤트에 기초한다. 데이터소스는 더욱 로컬일 수 있고, 특히 유저의 신분, 지역과 같은 유저의 콘텍스트 정보를 제공할 수 있다. 예로써, 시스템은 유저의 모바일 폰과 통신할 수 있고 유저가 최근에 전화로 통화한 누군가에게 문서를 전송할 옵션을 부여하는 마크업 층을 제공할 수 있다.

4-2-9. 사용자와 인터랙션하는 동적 마크업.

마크업은 단순히 정적으로 사용자에게 식별되고 표시되어 사용자의 터치에 의해 액세스되는 방식에서 벗어나, 동적으로 사용자와 인터랙션되길 원하는 방식도 존재한다. 그 대표적인 예로, 특정 페이퍼문서(혹은, row digital identity)를 참조하여 교육용 게임프로그램(data provider)에 의해 생성된 마크업이 있을 수 있다. 바람직하게는, 교육용 게임프로그램은 DB상의 사용자 컨텍스트 정보 및 문서 컨텍스트 정보 등을 참조하여 사용자에게 문제들을 페이퍼문서 상에서 게임형식으로 제공할 수 있다. 가령, 시스템이 특정 영자신문의 특정 영역에 대해 특정 사용자의 컨텍스트를 분석하여 그와 비슷한 수준의 유저들이 해당 페이지에서 가장 많이 검색한 단어들을 (페이퍼문서 상에서)블랭크 처리하여 제공한다면, 사용자는 이를 빠른 시간안에 맞추는 게임을 함으로써 단어학습능률을 높일 수 있다. 또 다른 게임프로그램으로, 문서상에서 위에서부터 차례로 문장들이 지워지도록 함으로써, 사용자의 속독능력향상을 도와줄 수 있다. 이외에도 교육용 게임프로그램은 아주 다양한 형태의 마크업을 특정 페이지 상에서 사용자에게 제공하여 사용자의 학습능률을 향상시킬 수 있다. 더 나아가 시스템은 이런 게임프로그램을 수행하며 사용자가 피드백한 이력(인터랙션내역)을 분석하여 사용자의 능력이나 흥미 등의 변동추이도 유추해냄으로써, 시스템은 사용자 컨텍스트 정보를 보강할 수 있고, 이렇게 누적된 사용자 컨텍스트 정보는 사용자 본인 및 다른 유저들을 위해 재가공되어 여분의 콘텐츠(부가정보)를 생성해내는 중요한 소스가 될 수도 있다.

구체적으로는, 동적 마크업은 스캐닝이미지를 참조하여 제작자가 일일이 만들 수도 있지만, 데이터마이닝 시스템을 통해 생성된 데이터를 기반으로 개발자가 입력한 알고리즘 안에서 데이터를 분석해서 스스로 문제를 만들어내는 시스템(Artificial Intelligence)을 통해 시스템서비스가 생성할 수도 있다. 이렇게 생성된 동적 마크업은 유저의 디스플레이 상(레이어)에서 유저와의 피드백(인터랙팅)을 통해 진행된다. 또한, 유저는 컴퓨터와 가상의 대결을 할 수도 있지만, 다른 유저와 동일한 페이퍼문서를 보며 실시간 게임을 할 수도 있다. 유저가 게임에 참여하면서 시스템이 획득한 모든 데이터는 유저의 히스토리 정보(데이터 스트링)에 기록되고 웹서버 및/또는 데이터베이스를 통해 재가공(data provider)되어 다른 유저에게 제공되거나, 차후, 유저 개인의 개인화된 용도로 활용될 수 있다.

예를 들어, 유저는 페이퍼문서인 영자신문을 보며 그 위에 투명디스플레이를 오버랩시키고, 레이어와 영자신문을 일치시킨다. 그 후, 특정 게임프로그램 실행명령을 내린다. 다른 유저의 히스토리컬 (데이터 스트림)정보를 통해, 해당 영자신문에 나온 단어들 중 다른 유저에의해 가장 많이 검색된, 우선순위의 단어가 블랭크 처리되고, 유저는 제한된 시간내에 블랭크를 모두 없애는 게임을 할 수 있다. 또는, 속독을 위해, 위에서부터 차례대로 특정속도로 단어가 지워지는 게임도 있을 수 있다. 또는, 단어를 익히고자 하는 영유아나, 외국어 학습을 하는 학생들을 위해 글자를 발음한 소리를 들려주고 해당 단어를 찾게 하는 등의 게임도 있을 수 있다. 그 외에도 각 교과의 특성과 개발자의 목적에 따라 게임의 형태는 매우 다양할 수 있다. 이러한 게임은 순전히 ‘교육적’목적으로만 쓰이는 것은 아니지만, 대부분의 경우 유저에게 문서에의 몰입도를 유도하고 학습효과를 증진시켜 주는 목적으로 생성될 것이다.

4-2-10. raw data를 함유한 마크업.

마크업은 레이어 상에서 특정 위치 및, 세그먼트와 연관되어져 뿌려질 수 있다. 즉, 마크업 하나하나가 하나의 ‘점’처럼 레이어 상의 어딘가에 위치하여 각각의 ‘점’을 암호화하고 각각의 암호가 특정 범위의 raw digital identity를 함유하도록( 및, 불러오도록-매칭되도록) 사전에 설정해놓을 수 있다. 이런 방법은, 스캐닝이미지 전체에 대한 raw data가 레이어 상에서 재현되고 사용자에 의해 선택되는 방식과 얼핏 유사해보이나, 사용자가 특정 마크업을 선택함으로써, 해당 마크업과 매칭된 미리 설정된 범위의 raw data가 시스템에 의해 선택된다는 면에서 차이가 있다. 이런 마크업은 주로 사용자에게 식별되지 않도록 하는 것이 바람직하나, 경우에따라 식별될 수도 있다. 예컨대, 사용자가 투명디스플레이를 통해 비춰진 페이퍼문서를 보며 특정 영역을 캡쳐링하고자 할 때, 사용자가 ‘캡쳐’모드를 단말기에 인식시키면, (사용자의 캡쳐를 대비하여 특정 범위의 이미지 raw data를 함유,또는 불러오도록 사전에 설정된)마크업이 보이게,또는 보이지 않게 레이어 상에서 뿌려질 수 있다. 그 후 사용자가 페이퍼문서를 보며 선정한 영역을 손가락으로 드래그하면, 손가락이 지나간 자리에 해당하는 마크업이 순차적으로 선태되어지고, 해당 마크업이 미리 함유한 특정 범위(예; 반경o.5mm이내)의 이미지 데이터가 해당 마크업 주변으로 표시되도록 하는 방법이다. 이러한 마크업은 레이어 상에 일괄적으로 규칙성을 띈 채, 배열(예; 0.2*0.2mm당 하나)될 수도 있지만, 제작자(누군가)가 미리 특정 범위(예; 한 단락,또는 한 문장)를 한정하여 그를 가리키도록 설정해둘 수도 있다. 또한, 이때의 raw data는 단순한 이미지 data일 수도 있고, text data, audio data 등 다양한 포맷과 형식의 data일 수도 있다.

4-2-11. 문서의 전체, 혹은 일부에 관한 속성정보를 시스템에 제공하는 마크업.

마크업은 레이어 상의 특정 위치에 위치하여 페이퍼문서(스캐닝이미지)의 특정 object에 관한 속성정보를 시스템에 제공해주는 역할을 할 수도 있다. 가령, 마크업은 특정 수학문제집의 특정 페이지의 특정 문제에 관한 속성정보를 시스템에 알려줄 수 있다. 이런 속성정보는, 이 문제는 어떤 카테고리의 문제인지, 수준(레벨)은 어느정도인지, 문제의 저작권자는 누구인지 등등의 정보를 시스템에 알려줄 수 있다. 바람직하게는, 이러한 속성정보는 특정 암호로 시스템에 식별되어 시스템이 매칭된 속성정보를 찾도록 하고, 시스템은 이렇게 찾아진 속성정보를 미리 짜여진 프로그램의 소스로 활용할 수 있다. 이를 위해 상기 속성정보는, 바람직하게는, 몇 개의 필드명으로 구성되어 시스템의 db table에 저장되어야하고, 이렇게 저장된 속성정보들은 사용자의 요구나 시스템의 제어에 따라 특정 프로그램의 소스로 활용된다. 예컨대, 어떤 학생이 ‘수학의 정석’이라는 책의 p42의 ‘예제’문제를 선택한 후, 이와 동일한 카테고리 내의 비슷한 수준의 문제를 검색했다고 치자. 그러면 시스템은 사용자가 선택한 마크업(암호)과 매칭된 속성정보를 검색할 것이다. (그전에, 시스템 관리자(제작자)는 해당 문제 뿐 아니라 모든 문제를 몇 개의 필드로 구분하여 그에 대한 property값을 입력해놓아야한다. 예컨대, 책이름, 문제의 수준, 조회수,추천수,문제의 저작권자, 문제의 공유여부, 문제에 쓰인 공식. 등이 이때 ‘필드명’일 수 있다. ) 그리고 시스템은 이 문제가 어떤 수준의 문제이며, 어떤 카테고리(예;미분 중에서도 어떤 부분인지) 내의 문제인지를 파악하여, 사용자가 선택한 문제와 비슷한 수준의, 동일 카테고리 내의 문제를 선별하여 보여줄 수 있다.

4-2-12. 특정 트랜잭션을 유도하는 마크업.

보이게, 또는 보이지 않게 레이어 상에 뿌려진 마크업은, 사용자의 선택에 의해 특정 트랜잭션을 유도하는 기능을 수행할 수도 있다. 예컨대, 사용자가 투명디스플레이를 통해 비춰진 페이퍼문서를 보며 관련된 부가정보를 더 열람하기 위하여 페이퍼문서의 특정영역를 선정했다고 치자. 그러면 이때, 사용자에의해 보이지 않는(혹은, 보이는) 마크업이 선택되어져 시스템에 전송되고, 시스템은 사용자가 선택한 특정영역에 대해 자동으로 ‘보안,인증,지불’모듈을 구동시켜서, 사용자에게 지불이나 인증 등을 요구할 수도 있다. 다른 예로, 사용자가 특정 수학문제를 선택했을 때, 이 문제에 관한 게임을 수행할 수 있도록 팝업창이 뜰 수도 있다.

4-2-13. 페이퍼문서의 특정영역을 선택하는 기능을 하는 마크업.

사용자는 투명디스플레이를 통해 비춰진 페이퍼문서를 보며 페이퍼문서 상에서 원하는 영역을 선정할 때, 페이퍼문서를 보며 투명디스플레이 상에 직접 드래그하여 원하는 영역을 선정할 수도 있지만, 미리 제작자에 의해 구획지어진 특정영역을 단순히 선택할 수도 있다. 가령, 수학문제집에서 하나의 문제를 선택하고자 할 때, 사용자는 레이어 상에 직접 드래그하여 문제를 선택할 수도 있지만, 이미 문제 하나를 하나의 block으로 구획지어놓은 마크업을 선택할 수도 있다. 이렇게 미리 구획지어진 블록을 선택하는 방법은, 사용자가 선택한 object를 시스템이 명확하기 구분지어 인식할 수 있도록 해주어 여분의 프로그램을 실행하는 시스템에게 유리하다.

5. DIC(Digital Identity Coordinator)

본 출원상에서 DIC 는 사용자가 투명디스플레이를 페이퍼문서 위에 오버랩한 상태로, 사용자가 페이퍼문서의 특정영역을 선정하여 지목하기 위해 투명디스플레이를 터치하면 터치된(입력된) 좌표를 디스플레이가 인식하여 이를 알맞게 해석하여 사용자가 원래 의도한 (선정한) 페이퍼문서의 특정영역에 해당하는 mark up data이 선택되도록 하기 위한 모듈(소프트웨어)이다. 이는 논리적으로는 사용자의 터치좌표를 알맞게 해석하는 함수,내지는 좌표변환모듈이라고 볼 수도 있다.

더욱 구체적으로, DIC는 단말기에 인식된 book identity를 통해 파악된 페이퍼문서의 물리적 크기(가로,세로의 크기)를 감안하여 투명디스플레이의 인식좌표를 새롭게 할당하고, 그 후, 사용자의 터치로 지정된 (새롭게 할당된)좌표에 해당하는 mark up data와 연결시켜주는 역할을 한다.

다른말로, DIC 는 mark up data와 투명디스플레이에 부여된 절대좌표를 어떤 기준(단말기에 인식된 페이퍼문서의 위치에 따라)에 따라 새롭게 매칭되도록 하는 ‘함수’로써의 역할을 한다고 볼수도 있다.

이러한 DIC 는 다양한 실시예를 통해 다양한 루틴으로 구현될 수 있고 다양한 표현으로 정의할 수도 있다. 그러나 사용자가 투명디스플레이를 투과해 보이는 페이퍼문서를 보며 페이퍼문서 상의 특정영역을 염두해두고 투명디스플레이 상에 터치하면, 사용자가 페이퍼문서 상에서 원래 의도한 영역에 해당하는 mark up data를 정확히 지목하기 위해, 사용자의 디스플레이 상의 터치(혹은, 입력신호)를 새롭게 인식하는 도구로써의 역할을 하는 그 어떤 것이 구비되어 있다면, 그 표현이나 구현방식의 상이함과 상관없이 모두 이 DIC가 구동되었다고 보아야한다.

본 출원 상에서는 설명의 편의와 직관적 이해를 돕기 위하여 이러한 DIC 가 구동된 결과물을 그래픽 유저 인터페이스 상에서 가시적으로 식별되는 종이처럼 존재하는 것으로 상정하여 DIC Layer라는 표현을 빌어 설명하고자 한다. 그러나 이는 본 출원을 읽는 사람의 직관적 이해를 돕기 위해 단순히 개념적으로 상정한 것일 뿐, 그것이 물리적으로 존재한다거나, 그패픽적으로 사용자에게 언제나 인지되는 그 어떤 것은 아니라는 것을 염두해 두어야 한다. 레이어는 사용자에게 식별될 수도, 식별되지 않을 수도 있으며, 식별될 경우 레이어는 그 색이 무엇으로 인식되든 투과성을 띄어야 한다. 또한, 크기(가로,세로의 길이)는 사용자에 의해 함부로 변경될 수 없으며, 그 크기는 사용자가 시스템에 book identity를 식별시킴으로써 해당 문서 컨텍스트를 참조한 시스템에 의해 일방적으로 결정된다. 구체적으로, 전술한 다양한 구현방법과 표현방법 중 하나를 통해, DIC에 대해 자세히 알아보자.

5-1. Layer Coordinator

사용자는 단말기에 book identity입력 후, 디스플레이를 페이퍼문서에 올려놓고 일정 규약에 따라 레이어의 위치를 설정한다. (또는, 사용자의 book identity입력 후, 단말기의 제어에 의해 디스플레이는 페이퍼문서의 위치를 인식한다)

이때, Layer Coordinator는 사용자에 의해 디스플레이 상에 입력된 신호와 book identity를 통해 유추된 페이퍼문서의 물리적 크기 정보를 참조하여 투명/반투명의 디지털 레이어(Digital Identity Coodinator Layer)를 생성한다.

Layer Coordinator에 의해 생성된 레이어는 디스플레이 내부적으로 활성화되며, 그 외의 공간은 비활성화되게 되며, 활성화된 DIC Layer에 대해 DIC는 새로운 좌표 그룹을 할당한다. 즉, 활성화된 DIC Layer를 기준으로 DII(Digital Identity Indicator:아래 설명 참조)가 동작하게 되며, 새로운 좌표 그룹과 디스플레이의 좌표의 상대치를 계산하여 향후 Digital Identity(mark up data)의 구성을 위한 좌표를 생성한다.

예를 들어, 사용자가 디스플레이상 100, 100 좌표에 Action을 가했을 때, Layer Coordinator는 해당 좌표의 활성화 여부를 판단하고, 활성화 되었다면, DIC Layer 상의 어느 좌표인지를 계산하여 DII에 전송한다.

5-2. DII(Digital Identity Indicator)

DIC Layer에 해당되는 Digital Identity(mark up data)를 연결(혹은 재현)한다.

DIC Layer는 Layer Coordinator로부터 디스플레이 내부적으로 새로운 좌표를 할당받게 된다. 예를 들어, DIC Layer가 좌표 10, 40에서 생성된다면, DII는 10,40을 X,Y으로 인식하고 컨텍스트 정보를 구성한다.

DII는 이 상대 좌표를 기준으로 해당되는? Digital Identity를 데이터베이스에 요청한다. 이 때, Digital Identity를 DIC Layer에 연결하는 방식은 전처리 방식(Pre-processing)과 후처리 방식(Post-processing)이 있다.

전처리 방식의 경우, 데이터베이스에 저장된 각 오브젝트(텍스트, 그림, 음성파일 등)의 좌표 정보를 기준으로 Digital Identity에 대한 구성을 원본의 형태와 동일하게 디스플레이에 투명 형태로 재현(Reproduce)한다. 이는 Reproduction Process 상의 소요 시간이 오래 걸릴 수 있다는 단점이 있으나, 처리된 후에 빠른 응답을 할 수 있다는 장점이 있다.

후처리 방식의 경우, (전처리 방식과 반대로) Digital Identity에 대한 재현을 하지 않고, 사용자의 요청이 있을 때, 해당 좌표의 오브젝트에 대한 검색을 수행하는 방식이다. 후처리 방식은 요청 때마다 데이터베이스 검색이 이루어진다는 단점이 있으나 Reproduction Process에 대한 비용이 발생하지 않는다는 장점이 있다.

6. 식별단서

상기 DIC layer상에서 노출되는 단서들로써, 이 단서들은 사용자가 페이퍼문서와 레이어가 정확하게 오버랩되도록 레이어의 위치를 조정해야 할 때 그 단서가 된다. 이를 위해, 이들 단서들은 크게 두 가지 종류로 나누어 볼 수 이다.

첫번째, 페이퍼문서의 해당 페이지의 '스캐닝 이미지의 일부'(도6-140)이다. 레이어 상에 페이퍼문서의 해당 페이지(한페이지,혹은 두페이지일 수 있음)의 스캐닝이미지를 일부 노출시키는 방법이다. 이때, 너무 많은 이미지가 레이어 상에 노출되게 되면 저작권의 침해 소지가 있기 때문에 스캐닝 이미지는 저작권을 침해하지 않는 범위내에서 노출될 필요가 있다. 이때, '스캐닝이미지의 일부'는 스캐닝이미지 원본에서 글자나 그림의 일부만 추출하여 투명/반투명레이어 상에 노출시킬 수도 있고, 스캐닝이미지 전체에서 일부를 은폐한 형태로 노출시킬 수도 있을 것이다. 그러나 이렇게 스캐닝이미지를 식별단서로 제공할 때, 한가지 고려해야할 사항이 있는데, 그것은 '디스플레이의 크기가 페이퍼문서보다 작을 경우'이다. 즉, 디스플레이의 크기가 페이퍼문서 보다 크다면 DIC layer와 페이퍼문서를 일치시키기 위해서는 극히 일부의 식별단서만 있어도 가능할 것이다. 그러나, 디스플레이의 크기가 페이퍼문서보다 작을 경우는 시스템 관리자가 일방적으로 노출범위를 결정하여 디스플레이의 크기에 상관없이 제공하는 것은 문제가 있다. 왜냐하면, 시스템 관리자에의해 일방적으로 결정된 노출영역이 디스플레이 상에서 전혀 노출되지 않는 영역이 발생할 수 있기 때문이다. 즉, 페이퍼문서의 특정 부분에 상기 투명디스플레이를 올려서 레이어를 일치시키고자 할때, 레이어 상에 상기 특정부분에 해당하는 식별단서가 없을 수도 있다는 뜻이다. 이런 현상을 방지하기 위하여 단말기의 디스플레이 크기에 맞게끔 식별단서의 노출범위가 결정되야할 필요가 있다. (이에대한 상세한 설명은 하단의 '디스플레이 크기가 페이퍼문서보다 작을 때 식별단서의 노출방법'을 통해 확인할 수 있을것이다.)

두번째, 페이퍼문서의 '레이아웃'이다. 이 '레이아웃'이라 함은, 글자의 모양,문장의 길이,폰트,줄 간격, 이미지의 위치와 크기, 등, 페이퍼문서의 내용 이외에 단어와 이미지 등의 위치와 형태를 가늠할 수 있는 모든 식별단서를 가리키는 것으로, 이러한 레이아웃은 시스템이 book identity와 매칭된 digital identity를 식별하면, 이때의 raw data와 context정보를 참조하여 생성될 수 있다, 일 실시예에서, 이러한 레이아웃에는 글자나 문장의 위치를 나타내는 '가로줄'이 포함될 수 있다. 이 가로줄(도7-152)은 흔히 '밑줄'이라 부르는 형태로 식별되기도 하고, 사용자의 식별을 도와주기 위해 '밑줄'에 번호가 매겨진 형태도 가능하다. 즉, 줄마다 1,2,3,...이 새겨져 있다면 사용자는 첫째줄,둘째줄,...을 식별할 수 있을 것이다. 또는 글자나 문장,이미지의 위치를 나타내는 '박스'(도7-150)형태일 수도 있다. 글자나 이미지의 위치를 손쉽게 식별할 수 있어서 직관적으로 레이어의 위치를 조정할 수 있다는 장점이 있다. 마지막으로, 레이어의 바깥 '테두리(도9-170)'도 가능하다. 이는 단순히 페이퍼문서의 페이퍼외곽을 나타내는 테두리일 수도 있고, 본문내용의 외곽을 나타내는 테두리일 수도 있다.

7. 특정액션( 및 모듈)

- 일반적으로 프로그램, 모듈, 혹은 로직은 특정작업을 수행하거나 특정 추상데이터유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터구조 등을 가리킨다.

본 출원상에서, ‘특정액션’은 전술한 것과 같이 특정 기능성을 수행하는 ‘모듈’‘소프트웨어’의 의미를 포함함은 물론, 단순히 선택,액세스,디폴트와 같이 사용자가 할 수 있는 일반적인 액션도 모두 포함하는 것이다. 이러한 특정모듈은 사용자 단말기상에서 로컬 액세스될 수도 있고, 통신 네트워크를 통해 연결되어있는 원격 처리 장치들에 의해 사용자 시스템 (예컨대,웹서버)상에서 원격으로 수행되어질 수도 있다. 이렇게 원격처리장치에 의해 수행될 때, 이러한 모듈들(프로그램)은 하나 또는 복수의 서버에 위치할 수 있고, 경우에 따라 모듈들은 사용자 단말기의 메모리나 서버 각각에 국부적으로 위치하여 각각의 기능성이 하나의 과제를 수행하도록 연결될 수 있다.

또한, 상기 특정모듈은 사용자의 디스플레이 상에 GUI로써 제공되는 식별기호(아이콘,심볼 등)로 표시되어 사용자의 터치로 실행되어지기도 하지만, 데이터( digitsl identity) 또는 문서(book identity)의 속성정보에 의존하거나, 해당 마크업이나 컨텍스트 분석으로부터 유도되어져 실행될 수도 있다.

또한, 상기 특정모듈은 본 시스템이 사 B자 단말기 상에서 특정 어플리케이션을 통해 활용될 경우, 해당 어플리케이션이 제공하는 식별되는 아이콘(그리기 도구, 지우개, 물음표, 캡쳐도구, 등)을 통해 사용자가 아이콘을 단순히 터치함으로써 특정 모듈이 실행되도록 할 수도 있지만, 본 시스템을 사용자 단말기의 웹브라우저 상에서 이용할 경우, 웹브라우저 상에서 제공되는 모듈(다양한 루트를 통해 웹브라우저의 어딘가-주로 상단에 메뉴바로써 제공된다-제공될 수 있다)을 통해 실행될 수도 있을 것이다. 또한, 본 시스템의 검색엔진을 통해 본 시스템에 적합한 새로운 액션이나 옵션을 제공받을 수도 있다.

그러나, 바람직하게는, 본 시스템의 모든 기능성들을 충분히 활용하기 위해서는, 사용자 단말기 상에 본 시스템을 위한 특정 어플리케이션(on device이든, 서버로부터의 다운로드 방식이든)이 깔려있는 것이 본 시스템의 원활한 활용을 위해 적합할 것이다.

특정모듈을 ‘기능성’이라는 기준으로 나누어 살펴보자. 단.실제로 이 기능성을 실현하는 특정모듈들은 사용자가 지시한 하나의 과제를 수행하기 위해 하나 또는 복수의 기능성이 연결되어 통합적(순차적)으로 실행될 수 있음을 염두해 두어야 한다.

첫 번째, ‘사전검색’모듈이다. 사용자 시스템의 데이터저장소(메모리나 db)에 미리 저장된 ‘사전’에서 시스템 서비스인 키워드맵핑 프로그램을 통하여 (raw digital identity를 참조하여) 키워드들 각각의 위치정보와 컨텐츠(오디오,이미지, 텍스트 ,동영상 등의 다양한 포맷의 자료)을 매칭시켜 놓을 수 있다. 이렇게 프로그램 실행된 결과물은 사용자가 모듈실행지시를 내리기 이전에 이미 사용자 디스플레이 상에서 (더욱 정확하게는, 반투명레이어 상에서) 하이라이팅, 아이콘 등의 마크업의 형태로 표시되어 사용자의 선택에 의해 열람될 수도 있고, 사용자가 모듈실행지시를 내린 후, 프로그램이 실행되어 그 결과가 디스플레이에 렌더링되는 수도 있다.

두 번째, ‘캡쳐링’모듈이다. 이는 바람직하게는, 단순히 스캐닝이미지원본 및 raw data에서 사용자가 레이어 상에 선택한 특정영역에 해당하는 데이터를 이미지 형식으로 추출하는 것으로 가능하다. 이렇게 데이터를 캡쳐할 때, 사용자는 단순히 드래그(마우스를 통해 영역 지정하듯이)를 통해 캡쳐될 영역을 지정하는 수도 있지만, 본 발명의 특색을 살려, 사용자의 손가락이 지나가는 자리를 실시간으로 이미지 데이터로 채워주는 방법도 있다. 예를 들어, 사용자의 터치를 A라는 굵기와 B라는 모양으로 인식하도록 사전에 정의해놓고, 사용자가 투명디스플레이를 통해 보이는 페이퍼문서를 보며 캡쳐링하고자 하는 영역을 손가락으로 그리듯이 영역을 설정하면, 손가락이 지나가는 위치에 해당하는 데이터들이 실시간으로 이미지데이터로 추출되어 손가락이 지나간 궤적(A라는 굵기와 B라는모양으로 형성된 내부공간)을 채워주는 것이다. 이는 마치, 사용자가 뿌연(투명디스플레이)유리를 닦아서 유리 밑에 있는 물체(페이퍼문서)를 선명하게 보는 것과 비슷한 느낌을 주며, 손가락을 활용하여 투명디스플레이 상에 아래에 있는 페이퍼문서를 찍어내는듯한 사용자 중심의 직관적 인터페이스를 줄 수도 있다.

세 번째, ‘검색엔진을 통한 검색’모듈이다. 사용자가 페이퍼문서를 보며 지정한 object를 통신망과 연결된 하나 또는 다수의 검색엔진을 통해 검색되도록 하여 사용자에게 결과값이 제공될 수 있다. 바람직하게는, 본 시스템에서 이용하는 검색엔진은 사용자가 지정한 선택영역에 해당하는 데이터(텍스트,암호,이미지,마크업 등)만으로 검색을 하지 않고, 사용자컨텍스트 정보 및 문서 컨텍스트 정보의 일부 참조하여 이루어지는 것이 옳다. 이런 ‘참조’는 검색엔진 자체에 의해 취급될 수 있고, 검색 결과에 영향을 줄 수도 있다. 예컨대, 사용자가 어떤 페이퍼문서를 보며 ‘beautiful’이라는 단어를 선택했다고 치자. 검색엔진은 사용자의 문서 컨텍스트 정보의 일부를 활용하여 해당 검색어가 어떤 카테고리의 책에서 어떤 맥락속에서 나왓는지를 파악하여 정확한 의미를 전달해줄 수 있고, 사용자 컨텍스트 정보를 활용하여 사용자의 현재 관심도나 단어능력을 알아내어 해당 단어와 연관하여 알아두면 좋을 만한 단어의 나열을 함께 제공할 수도 있을 것이다. 그러한 경우, 검색엔진은 각각의 개별 사용자에 대해 대부분의 기존 검색엔진이 하는 것보다 더 많은 상태정보를 유지하고 사용하고 있으며, 검색엔진과의 각각의 인터랙션은 오늘날 전형적인 것보다 더 긴 기간 및 여러 검색들에 걸쳐 확장될 수 있다. 이때 컨텍스트의 일부는 검색 문의시 검색엔진으로 전송될 수도 있고, 장래의 문의에서 일부로서 역할하기 위해 검색엔진에 저장될 수도 있고, 검색엔진으로부터의 결과에 필터로 적용되기도 하며, 부차적 검색어로 취급될 수도 있다.

네 번째, ‘인증,보안,지불’모듈이다. 본 시스템의 대부분이 ‘저작물’을 그 대상으로 하는 점을 감안하면, 저작물의 열람과 활용에 대한 ‘지불’은 필연적으로 수반될 수 밖에 없다. 이에, 특별한 인증과 보안은 이러한 지불을 위한 필요조건이 되므로 시스템은 인증,보안,지불 모듈을 가질 수 있다. 통상적으로 유저의 신분은 디바이스의 일련번호에 의해서 식별되나, 그것의 신뢰성에 문제가 발생할 수 있으므로, 시스템은 사용자가 디바이스의 실제 소유주가 맞는지 등의 여부를 명확히 할 여분의 ‘인증’모듈과 본 시스템의 이용권한과 digital identity로의 액세스 권한 등을 부여할 ‘보안’모듈을 실행할 수 있다. 그 후, 시스템은 유저가 이용권한이 없는 정보로의 액세스를 시도할 때, 또는 특정 아이템을 구매할 때, 등등과 같은 상황에서 ‘지불’모듈을 실행할 수 있다. 예컨대, 유저가 책의 일부를 스크랩할 때, 시스템은 유저에대해 파악하고, 유저가 선택한 책의 일부에 대해 액세스 권한이 있는지를 파악하고, 권한이 없을 경우, 일정한 ‘지불’을 요구할 수 있다. 더 나아가 시스템은 결제를 위한 정보(저작권자,출판사 등)를 문서 컨텍스트 정보를 통해 파악할 수 있으며, 사전에 합의된 기준에 의해 사용자가 결제한 금액을 각각에게 배분해줄 수도 있다. 이를 위해 시스템은 billing, 가입,디바이스 식별자 정보 중 하나 이상을 이용할 수 있다.

다섯 번째, ‘문제 및 게임 생성’모듈이다. 이는 전술한 ‘부가정보 생성 모듈’과 그 기능적인 면에서는 비슷하다고 보여지지만, 그것이 전달되는 형태가 전술한 항과 다르기 때문에 본 출원 상에서는 이런 기능성을 따로이 설명한다.

본 시스템을 이용하는 주된 이용자가 도서열람자 중에서 학습자가 될 것임을 감안한다면, 본 시스템은 ‘학습자’를 위한 특별한 서비스를 제공할 필요가 있다. 즉, 시스템은 유저가 선택한 특정 페이퍼문서의 문서 컨텍스트 정보, 또는 유저의 컨텍스트 정보 등을 감안하여 사용자에게 학습할 컨텐츠를 문제의 형태로 제공할 수 있다. 이런 문제의 형태는 단순한 o,x형태일 수도 있고, 기존에 있는 문제를 단순히 선별하여 제공하는 것일 수도 있다.

가령, 페이퍼문서가 ‘영자신문’일 경우, 영자신문 중에서 유저가 선택한 영역, 혹은 단말기의 제어에 의해 선택되어진 부분에 관련되어 본 시스템의 문제생성기가 실행되어 문제가 생성될 수 있다. 이런 문제생성기는 영자신문 중 선택영역에 해당하는 row digital identity를 분석하여 미리 설정된 알고리즘으로 문제를 생성시킬 수도 있고, 조금 더 유저 인터페이스를 지원한다면, 사용자 컨텍스트 정보와 문서 컨텍스트 정보를 참고하여 문제를 생성시킬 수도 있을 것이다. 이를 위해, 바람직하게는 시스템은 머신러닝알고리즘 ,즉 AI(artificial intelligencr)를 활용할 수 있다. 예컨대, 시스템은 영자신문의 선택영역에 해당하는 row digital identity에서 키워드를 인덱싱하고 이 키워드들 중에서 사용자와 비슷한 수준의 다른 유저가 가장 많이 검색한 단어들만 선별하여 블랭크로 처리하는 문제를 생성시킬 수 있다. 또는, 시스템은 사용자 본인이 과거에 시스템과 인터랙팅한 이력(사용자 컨텍스트 정보)를 참조하여 사용자가 모를 법한 단어들만 선별하여 사용자에게 적합한 난이도로 구성한 문제를 제공할 수도 있다. 더 나아가 시스템은 전술한 방법으로 생성되어진 문제, 혹은 선별된 데이터(예컨대, 영자신문의 키워드)가 사용자에게 ‘게임’으로 학습되어질 수 있도록 이를 해당 row digital identity를 참조하여 재가공할 수도 있다. 예컨대, 시스템은 영자신문에서 다른 유저가 많이 검색한 키워드를 선별하여 단순히 블랭크 처리하는 방법과 달리 시스템은 다른 유저가 많이 검색한 단어들의 블랭크가 순차적으로 깜빡이도록 하여 사용자가 주어진 키워드카드를 제한된 시간 내에 모두 집어넣도록 하는 게임을 제공할 수 있다. 또는, 다른 유저와 동시에 해당 게임프로그램으로 접속하여 동일한 페이퍼문서를 보며 이와 다른 형태의 게임을 즐길 수도 있을 것이다. 이러한 일련의 게임프로그램은 문제가 생성되어 사용자에게 정적으로 제공되는 기존의 방식보다 액티브하고 사용자의 참여를 유도할 수 있어서, 사용자의 학습효율성을 높여주고 흥미를 유발할 수 있을 것이다.

여섯 번 째, ‘그래픽 조작’모듈이다. 이는 사용자가 투명디스플레이를 통해 페이퍼문서를 보며 페이퍼문서를 직접 조작하는 듯이,사용자가 선택한 특정부분에 해당하는 row digital identity를 그래픽 조작 툴로 조작하여 그 결과물이 페이퍼문서 상에서 표시되도록 하는 것이다. 더욱 구체적으로, 조작의 방법은 크게 두가지로 나눌 수 있다. 사용자가 조작하고자 하는 부분을 지정하면, 지정된 부분에 해당하는 스캐닝이미지가 지정된 바로 그 위치에서 표시되도록 하고, 사용자는 이렇게 표시된 스캐닝이미지를 보면서 조작툴로 조작을 하고, 조작을 마치면 지정되지 않은 나머지 부분이 digital identity(스캐닝이미지)의 이미지와 합성되어 저장되도록 하는 방법이 있다. 또 다른 방법으로는. 사용자가 조작을 가하고자 하는 영역을 아예 지정하지 않고, 단순히 조작툴을 가동시킨 후, 특정 메뉴를 선택하고 페이페문서의 (특정영역을 지정하지 않고) 원하는 부분에 원하는 조작을 가하면 스캐닝이미지를 제외한 조작이 되어진 결과물만 표시되도록 하는 방법이 있다. 이 방법은, 애초에 스캐닝이미지 원본을 전혀 노출시키지 않은 채, 스캐닝이미지에서 조작된 결과물만 노출시키고, 스캐닝이미지가 조작되는 와중에 스캐닝이미지 상에서 삭제된 부분은 페이퍼문서의 여백(또는, 스캐닝이미지의 여백)과 동일한 색상으로 대체하여 투명디스플레이 상에 표시한다면, 사용자는 한층 더 높은 가상현실적 체험을 하게 된다. 이러한 방법은 사용자에게 높은 가상현실적 체험을 할 수 있게 한다. 예컨대, 사용자는 투명디스플레이를 페이퍼문서 위에 올리고, 레이어를 일치시킨 후, 디스플레이 상단에 있는 메뉴 (제작툴)버튼 중 하나인 ‘스포이드’ 메뉴를 채택한 후, 페이퍼문서를 보며 임의의 위치에 갖다놓는다. 그러면, 해당 스포이드로 페이퍼문서의 글자(혹은 그림들)들이 빨려들어가는 듯한 동적인 그래픽변화가 일어난다. 이는 스캐닝이미지의 그래픽을 조작한 결과물들이 동적으로 움직이도록 설정함으로써 가능한데. 이때, 스포이드를 향해 빨려 들어가는 와중에 생기는 여백(글자들이나 그림이 있던 자리)은 실시간으로 페이퍼문서의 여백의 색으로 채워주게 되면, 사용자는 마치 페이퍼문서 그 자체를 조작하는 듯한 가상현실 체험을 하게 되고, 이렇게 조작되어진 그래픽결과물은 사용자의 선택에 의해, book identity에 의해 식별되어진 스캐닝이미지(책 전체나 페이지, 혹은 그 일부)에 합성되어 저장됨으로써, 일반적인 방법(이미지를 스캐닝하여 원하는 영역의 그래픽을 조작하여 사용자가 일일이 원본이미지에 합성하는 방법)에 비하여 훨씬 편리하고 직관적인 인터페이스를 사용자에게 제공할 수 있게 된다.

8. 인증, 및 보안

대부분의 상황에서 유저의 신분은 공지되어진다. 그러나 때로는 이것은 ‘익명신분’으로되고, 때로는 캡쳐 디바이스의 일련번호에 의해서만 식별된다. 통상적으로 시스템은 시스템을 개인유별화하는 데에 사용될 수 있고, 특정활동 및 트랜잭션이 유저의 이름으로 수행될 수 있게 하기 위하여, 유저에관한 더욱 상세한 지식을 갖는 것이 필요하다.

일 실시예에서, 사용자단말기는 모바일 폰에 내장되거나 또는 기타 방식으로 모바일 폰 계정과 연관될 수 있다. 그 예로, 투명디스플레이가 구비된 사용자 단말기는 폰 계정과 연관된 sim카드를 본 단말기에 삽입함에 의해 모바일 폰 계정과 연관될 수 있다. 마찬가지로, 사용자 단말기는 크레딧 카드 또는 기타 지불카드를 내장하거나 또는 그것에 연결되는 카드를 위한 기능설비를 가질 수 있다. 사용자단말기는 지불 토큰으로 사용될 수 있고, 지불 트랜잭션은 사용자단말기가 페이퍼문서를 인식함에의해 개시될 수 있다.

일실시예에서, 사용자 단말기는 유저 또는 계정과 연관된 몇몇 심볼 또는 텍스트를 인식하는 프로세스를 통해 특정 유저 또는 계정과도 연관될 수 있다. 또한, 사용자 단말기는 예로서 유저의 지문을 스캐닝함에 의해, 생체정보를 활용할 수도 있다. 오디오-캡쳐링 엘리먼트가 구비된 사용자 단말기의 경우, 단말기는 유저의 음성패턴을 매칭시키고, 유저에게 일정한 암호 또는 구절을 말하도록 요구함에 의해 유저를 식별할 수 있다.

9. 페이퍼문서의 book idenity를 시스템에 인식시키는 방법.

- 본 시스템이 book identity를 식별하는 방법은 매우 다양하다. 사용자 시스템이 페이퍼문서의 book identity를 식별하는 방법을 구체적으로 알아보자.

첫째, 페이퍼문서 상에 이미 인쇄된 식별기호를 사용자 단말기에 인식시켜서 시스템에 인식시키는 방법이다. 이는 이미 기존에 체계화된 출판공정상에 변화를 주지 않고, 책에 이미 인쇄되어있는 식별기호들을 가지고 본 시스템에 인식시키는 방법이다. 예컨대, 책제목, 저자명, 에디션, 출판사, isbn(도2-210), 바코드(또는 바코드넘버) 등이 이에 속한다. 이들은 이미 기존의 출판체계에서 사용자가 책의 book identity를 식별할 수 있도록 인쇄되어 배포된 식별기호로써, 이들을 통해 사용자시스템이 book identity를 식별하기 위해서는, 시스템의 db에 각각의 식별기호(책제목,저자명 등)와 페이퍼문서의 스캐닝이미지 등을 미리 매칭(혹은, book identity를 부여)하여 저장해두어야한다. 이 방법은 기존의 물리적 세계에 변화를 주지 않아도 되며, 이미 출판되어 시중에 배포된 문서에도 적용할 수 있다는 장점이 있으나, 사용자의 직관적 인터페이스는 아니라는 단점이 있다.

두 번째, 출판사에 의해 새로이 출간될 문서나, (출판사가 아닌) 임의의 누군가에 의해 모니터 상에서 제작(편집)되어 인쇄되는 문서 각각에 새로운 식별기호가 페이지마다 인쇄되도록 하여, 사용자가 이를 단말기에 식별시키는 방법이다. 이 방법은, 본 시스템이 상용화되었을 경우에 실현될 수 있는 방법으로, 사용자가 좀 더 쉽게 book identity를 시스템에 인식시키기 위하여 고안된 방법이다, 특정암호(바코드, 시그니처 등)를 생성하는 (본 시스템이 제공하는) 소프트웨어를 통해 생성된 암호가 문서가 인쇄될 때 함께 인쇄되도록 하는 방법이다. 이를 위해, 출판사는 식별기호를 생성하여 책의 특정위치에 인쇄하면, 본 시스템은 인쇄된 식별기호에 book identity를 부여하고, 이에 해당하는 digital identity( 및 문서 컨텍스트 정보)를 매칭시켜 놓아야 한다. 그렇다면, 출판사가 아닌 사용자가 제작(편집)하여 임의로 인쇄하는 문서와 digital identity는 어떻게 매칭을 시킬까? 이는 다양한 방법이 있을 수 있지만, 그 중에 가장 사용자 편의성을 고려한 방법을 예로 들자면, 사용자가 컴퓨터의 모니터를 보며 전자문서를 제작(편집)하여 최종적으로 종이에 인쇄될 환경설정-레이아웃(폰트크기, 글자모양, 줄간격, 레이아웃 등)설정-을 한 후, ‘인쇄’버튼을 누를 때, 페이퍼의 특정 위치에, 식별기호가 자동으로 생성되어 인쇄되도록 하고, 페이퍼에 인쇄될 모든 data( 및, 문서 컨텍스트정보)가 미리 지정된 특정 서버에 업로드되도록 하고, 해당 식별기호와 매칭되도록 하는 방법이 있을 수 있다. 이때, 식별기호는 경우에 따라, 문서의 첫장이나 표지 내지는 페이지 하단 등의 약속된 위치에 인쇄될 수 있다. 이렇게 새로운 식별기호를 페이퍼문서에 인쇄하는 방법은, 사용자에게 직관적 인터페이스를 제공할 수 있다는 장점이 있지만, 새로이 생성될 문서에만 적용가능하며, 물리적 세계에 어떤 변화를 주어야 한다는 단점이 있다.

세 번째, 사용자 단말기에 구비된 인식수단(스캐닝엘리먼트, 카메라, 광학렌즈, 음성인식기 등)을 활용하여 페이퍼문서의 일부(글자,그림,이미지 등)를 인식시킴으로써 book identity를 찾는 방법이다. 이 방법은, 페이퍼문서에 식별기호를 인쇄하는 것과 같이 물리적 세계에서의 변화(출판이나 인쇄 프로세스의 변화)를 주거나, 사용자가 단말기에 식별기호(책제목,저자,출판사,isbn 등)를 일일이 입력해야 하는 번거로움이나 페이퍼문서에 식별기호를 따로이 인쇄해야하는 현실적 어려움을 극복하기 위해 고안된 것으로, 페이퍼문서의 내용(글자,그림 등) 그 자체를 단말기에 구비된 인식수단을 통해 시스템에 인식시키는 방법이다. (이렇게 인식수단을 통해 페이퍼문서의 일부를 인식하고 이와 동일한 디지털사본을 찾는 방법은 이미 출원된, 또는 사용되고 있는 기술로써, 본 출원상에는 이에 대한 자세한 설명은 생략한다.) 이 방법은, 출판,인쇄 과정 상에서 종이책에 어떤 변화를 주지 않아도 되며, 사용자에게 직관적이고 편리한 인터페이스를 제공할 수 있다는 장점이 있지만, 사용자 개개인이 단말기에 광학 인식 디바이스를 따로이 구비해야한다는 단점이 있다. 또한, 더 나아가 이렇게 페이퍼문서의 일부(글자,그림,이미지 등)을 시스템에 인식시키는 방법에는, 사용자가 페이퍼문서의 임의의 영역을 아무렇게나 선정해서 인식시키는 방법도 있지만, 사전에 약속된 영역을 사용자가 페이퍼문서 상에서 찾아서 단말기에 인식시키는 방법도 있다. 예컨대, 본 시스템을 이용하는 사용자와 시스템 운영자(제작자)사이에 페이퍼문서의 오른쪽 모서리 하단의 마지막 문장을 인식시키기로 한 사전의 약속이 있다면, 시스템은 전술한 방법(사용자가 페이퍼문서의 임의의 영역을 인식시키는 방법)에 비해, 한결 수월하고 정확하게 해당 book identity를 찾아낼 수 있을 것이다. 또는, 투명디스플레이 상에 미리 고정된 아이콘(그래픽)에 페이지넘버가 오도록 하여 투명디스플레이 상의 스캔가능영역이 특정 영역을 스캐닝하도록 하거나, 또는 이때의 ‘제작자와 사용자가 사전에 약속한 영역’은 시스템이 즉각적으로 프롬프팅한 것일 수도 있다. 예컨대, 시스템은 사용자가 페이퍼문서를 선정한 후, ready신호를 주면, ‘페이지의 첫 번째 단어를 소리내어 읽어라’ 내지는, ‘페이지의 첫 번째 문장을 스캐닝하라’와 같은 지시를 prompting 할 수 있다.

네 번째, 페이퍼문서의 일부(내용)를 사용자 단말기에 구비된 인식수단(스캐닝 엘리먼트,카메라,광학렌즈 등)을 통하여 인식시킬 때, 시스템이 빠르고, 정확하게 매칭정보를 찾도록 사용자가 시스템 관리자(제작자)와 사용자 간에 ‘미리 약속된 영역’을 인식시키는 방법이 있다. 예컨대, 페이지의 오른쪽 모서리에 단말기의 스캔가능영역을 갖다대어 스캐닝 한다는 약속이 있다면, 시스템은 (페이퍼문서의 임의의 영역을 아무렇게나 선정하여 단말기가 스캔하고 시스템에서 이와 동일한 문서를 찾는 방법보다) 훨씬 수월하게 이를 단서로 book identity를 식별할 수 있을 것이다. 또는, 투명디스플레이 상에 고정되어있는 아이콘(그래픽)에 페이퍼문서의 페이지넘버가 오도록 투명디스플레이의 위치를 조정하여 투명디스플레이의 스캔면적이 페이퍼문서의 특정 영역을 스캐닝하도록 하는 방법이 있다. 물론, 이를 위해 시스템은 미리 상기 페이퍼문서에서 스캐닝될 지점에 해당하는 데이터를 미리 소지하고 있어야한다.

10. 시스템이 페이퍼문서의 스캐닝이미지(raw data)를 획득하는 방법.

-시스템은 다양한 방법으로 페이퍼문서의 스캐닝이미지를 획득할 수 있다. 먼저, 가장 노멀한 형태로는 출판사를 통해 인쇄되어 배포되는 페이퍼문서의 경우, 이미 배포된 문서일지라도 출판사는 통상적으로 ‘품절’등의 상황을 대비하여 원시데이터(mark up)을 따로 저장해두는 것이 일반적이다. 시스템은 이들을 획득함으로써 손쉽게 ‘이미 과거에 배포되어진 문서’에도 본 발명을 적용시킬 수 있다. 물론, 출판사에의해 미래에 배포되어질 문서 역시 그것의 raw data를 얻는 것은 그리 어려운 일이 아니다. 그러나, 보통의 사람들(학생,직장인 등)이 일상생활에서 흔하게 접하는 문서들은 비단 ‘출판사에 의해 출간된 문서’만이 존재하는 것은 아니다. 가령, 학교에서 나누어주는 비정기적 프린트물, 학습보조자료, 레포트 등은 ‘출판사’라는 루트를 통하지 않고 개개인이 그들의 컴퓨터를 통해 모니터상에서 문서를 제작하고 편집한 것들이다. 그렇다면 이러한 문서에는 본 발명을 적용할 수 없을까? 물론, 가능하다. 이때 역시 아주 다양한 방법으로 이 목적을 실현할 수 있지만, 가장 바람직한 방법을 제시한다. 먼저 본 시스템이 제공하는 특정 어플리케이션(모듈)을 활용하여 문서를 제작 및 편집한 후, 최종적으로 ‘인쇄’버튼을 눌렀을 때, 종이에 인쇄되어지는 mark up 정보(종이에 인쇄되는 모든 식별체에 관한 정보-글자크기, 글자색,간격,내용 등)가 상기 어플리케이션(모듈)이 미리 설정해둔 특정 서버에 전송되도록 하는 방법이다. 즉, 사용자는 기존에 종이에 무엇인가를 인쇄하는 방식과 동일한 방식으로 문서를 제작하고 편집함으로써, 본 시스템을 원활하게 사용할 수 있다. 이때, 상기 ‘미리 설정된 특정서버’는 시스템사용자들이 공용으로 사용하는 웹서버일 수도 있고, 특정 개인에게만 접근권한을 부여한 전용 웹서버(예;로그인해서 접속하는 icloud)일 수도 있다.

11. 특정 book identity에 대한 digital identity, DIC 모듈(DIC Layer), DIC Layer상에 노출시킬 식별기호, 식별을 위한 임계레벨 이상의 데이터소스 중 하나 이상이 시스템에 등록되는 방법.

11-1. 시스템 서비스(data provider)에 의해 생성되어 등록됨.

-다양한 루트를 통해 시스템에 획득되어진 특정 페이퍼문서의 스캐닝이미지(raw data)는 시스템의 시스템서비스(data provider-예;웹서버)에 의해 digital identity, DIC layer, 식별기호, 임계레벨 이상의 데이터소스 중 하나 이상을 생성해낸다. 그 후, 바람직하게는 생성해낸 data와 상기 페이퍼문서를 매칭시키고, book identity를 부여할 것이다. 이때, 시스템서비스는 웹서버 상에서 실행될 수도 있고, 사용자 단말기의 로컬시스템 상에서 실행될 수도 있음을 유의하라.

시스템서비스가 digital identity를 생성하는 방법에 관해서는 전술한 'mark up'에 관한 설명을 참조하라.

시스템서비스가 ‘식별기호’를 생성하는 방법으로. 많은 경우 사용자 단말기에 구비된 디스플레이의 크기정보가 필요할 수 있다. 가령, 페이퍼문서의 크기는 A4크기인데 사용자 디스플레이의 크기는 핸드폰 크기일 경우, 시스템서비스가 아무렇게나 식별기호(툭히, 스캐닝이미지의 일부를 식별기호로 제공할 때)를 선정하여 사용자 단말기에 제공한다면 사용자는 DIC Layer를 움직이다가 식별기호가 전혀 드러나지 않는 면적을 볼 수도 있고, 너무 많은 식별기호(예; 스캐닝이미지의 일부)가 드러나게 되면 저작권 문제가 발생할 수 있기 때문에, 사용자가 이를 단서로 DIC Layer와 페이퍼문서를 일치시키기 힘이 든다. 그래서 시스템서비스는 식별기호를 생성할 때, 사용자 단말기에 구비된 디스플레이의 크기정보를 참조해야 할 필요가 있다. 그래서 바람직하게는, 사용자가 사용자 단말기에 book identity를 인식시켜서 시스템서비스에 이 정보를 보낼 때, 시스템이 사용자의 디스플레이의 크기를 알 수 있도록 어떤 단서(예;디바이스 일련번호)가 함께 전송되도록 하는 것이 바람직하다. 이렇게 시스템이 사용자 디스플레이(client device)의 크기를 감지하면, 시스템은 상기 페이퍼문서의 스캐닝이미지(또는, raw data)를 참조하여 스캐닝이미지의 일부,또는 스캐닝이미지의 레이아웃의 일부를 추출하여 사용자의 DIC Layer상에 제공할 수 있다.

(이에 관한 구체적인 사항은 '6.식별단서‘항목과 ’17.DIC Layer상에 식별단서를 노출시키는 방법‘항목을 참조하라.)

시스템서비스가 DIC 모듈(DIC Layer)을 생성하는 방법으로, 시스템은 특정 페이퍼문서에 관한 book identity를 식별하거나 스캐닝이미지를 획득함으로써 상기 페이퍼문서의 물리적 크기(실세계에서의 크기)정보를 알아낼 수 있다. 이를 위해 시스템은 book identity에 대해 해당 페이퍼문서에 관한 물리적크기정보를 미리 저장해두거나, 시스템이 획득한 스캐닝이미지(또는 raw data)의 물리적크기를 산출해야한다.

시스템서비스가 ‘식별을 위한 임계레벨 이상의 데이터소스’를 생성하는 방법은, 시스템운영자(제작자)와 시스템사용자 간에 사전에 맺은 규약에 따라 달라질 수 있다. 가령, 페이지의 첫 번째 글자를 스캐닝하는 규약이 있다면, 시스템서비스는 해당 페이지의 첫글자만을 추출하여 저장해두고 있으면된다. 또한 제작자의 프롬프팅에 의한다는 규약이 있다면, 시스템은 상기 페이퍼문서의 스캐닝이미지(raw data)에서 시스템의 프롬프팅에 대한 해답을 즉각적으로 추출해야한다. 그 외에도 , 페이퍼문서의 임의의 영역을 사용자 마음대로 선정해도 시스템이 book identity를 찾는 방법도 있는데, 이 방법은 이미 공개되어 활용되고 있는 발명이므로 본 명세서 상에서 그에관한 자세한 설명은 생략한다.

11-2. 사용자, 또는 제작자에 의해 생성되어진 digital identity를 서버가 전송받아서 등록함.

-이에 관한 자세한 설명은 ‘4-2. extended digital identity' 및 ‘14.사용자가 mark up data를 생성하는 방법’ ‘15. 그외에 mark up data를 시스템에 등록시키는 방법’항목을 참조하라.

12. 사용자가 사용자 단말기에서 페이퍼문서를 스캐닝하여 본 시스템을 이용하는 방법.

-주로 book identity를 부여받지 못한, 즉 시스템의 데이터저장소에 저장되지 않은 페이퍼문서를 위한 방법으로, 사용자가 사용자의 단말기 상에 구비된 스캐닝 엘리먼트로 페이퍼문서의 전체, 혹은 일부를 스캐닝하면, 스캐닝이 끝남과 동시에 스캐닝한 이미지가 본 시스템의 특정 서버에 전송되도록 하고, 이를 전송받은 시스템 서버(data provider)가 이를 전송받음과 동시에 (청구항2의 방법과 동일하게) digital identity, 식별기호, DIC Layer 등 중 하나 이상을 생성하여 사용자의 투명디스플레이의 DIC Layer상에 재현(또는, 매칭)시키는 방법이다. 물론, 이때 사용자가 페이퍼문서를 스캐닝 엘리먼트를 이용하여 획득하는 단계는 본 출원상에서 청구항1의 (가)단계에 갈음된다고 보아야한다. 이때 스캐닝 엘리먼트가 사용자의 투명디스플레이 상에서 플레인 스캐너의 형태로써, 사용자가 최초로 스캐닝한 시점으로부터 투명디스플레이를 움직이지 않았다면, 사용자가 DIC Layer의 위치를 조정할 필요도 없으므로, 청구항1의 (나)단계도 이로써 갈음된다고 볼 수 있다. 이렇게 사용자에 의해 전송된 스캐닝이미지는 시스템에 의해 새로운 book identity를 부여받아 시스템의 데이터저장소에 저장될 수 있고, 이는 차후 다른 사용자에 의해 사용되어질 수 있다. 그러나 만일, 이때 사용자가 스캐닝한 이미지를 단말기의 메모리 내에 단순히 보관한 채로 즉, 시스템의 특정서버에 전송하지 않은 채, 디스플레이 상에 표시하지 않고 특정 액션을 실행하는 방법은 본 출원의 범위를 넘어선 것이 아니냐라는 의문이 생길 수 있다. 그러나 본 출원상에서 ‘시스템’이라 함은 단순히 통신망과 연결된 서버만을 의미하는 것이 아니라, 사용자 단말기와 사용자 단말기와 통신망으로 연결된 서버 전체를 아우르는 용어임을 상기해볼 때, 사용자가 사용자 단말기를 통해 스캐닝한 이미지는 사용자 단말기에 임시로나마 저장된 것이라 볼 수 있으며, 만일 그것이 활용된 후, 사용자 시스템 상에 저장되지 않고 삭제된다고 해도 사용자에게 일회적으로나마 사용자 시스템에 저장된 스캐닝이미지(raw data)가 활용된 것이며, 사용자에게 가상의 book identity가 일회적으로나마 부여된 것으로 보아야한다.

13. 사용자가 사용자의 시스템 어플리케이션 화면 상에서 특정 페이퍼문서(또는 그 일부)와 관련된 digital identity를 열람하는 방법.

- 사용자는 사용자, 혹은 시스템의 제어에 의해 시스템 어플ㄹ리케이션 화면 상에서 제공하는 정렬메뉴를 이용하여 생성주체의 식별자, object명, 시각정보, 인기순, 조회순 등의 다양한 정렬기준으로 digital identity를 취사선택하여 볼 수 있다. 가령, 사용자는 페이퍼문서( 및 그 일부) 위에 투명디스플레이를 오버랩시킨 후, book identity를 단말기에 인식시키고,DIC Layer를 일치시킨 후, 시스템 어플리케이션이 제공하는 화면 상에 다양한 메뉴(application tool) 중 하나를 선택할 수 있다. 일 예로 사용자는 해당 페이퍼문서 전체(혹은, 일부)에 관련된 누군가가 작성한 mark up data를 열람하기 위해, 레이어 상에서 선택영역을 지정하거나, 지정하지 않은채로, 사용자의 어플리케이션 상에 사전에 등록된 친구목록에서 특정인을 선택하여 그가 생성한 (상기 페이퍼문서의 전체, 또는 선택영역에 관한) mark up data를 열람할 수 있다. 다른 예로, 사용자는 해당 페이퍼문서의 전체, 또는 그 중 일부(선택영역)에 관련된 object name으로 찾을 수도 있다. 즉, 사용자는 페이퍼문서를 보며 특정 페이지의 특정 부분을 지정하고, 이 부분과 관련된 ‘동영상’만을 검색하여 볼 수도 있고, 관련 ‘텍스트문서’만을 검색하여 볼 수도 있으며, 다른 유저가 그 부분(선택영역)과 관련하여 생성한 ‘필기’만을 선별하여 볼 수도 있다. 이외에도, 사용자는 페이지 전체, 및 그 일부와 관련하여 본인을 포함한, 다른 생성자(또는 제작자)가 생성한 object들을 시스템의 데이터베이스의 테이블에 부여된 column을 key값으로 하여 다양한 기준(예;인기순,조회순, 생성시각 등)으로 정렬하여 볼 수 있다.

14. 사용자가 mark up data를 생성하는 방법.

- 본 시스템을 사용하는 사용자는 시스템이 제공하는 특정 어플리케이션을 활용하여 다른 유저가 생성한 mark up data를 열람할 수도 있고, 생성하여 시스템에 전송할 수도 있다. 바람직하게는, 이를 위해 시스템 어플리케이션은 사전에 각각의 object를 미리 정의해 놓아야하며, 정의한 object를 사용자가 손쉽게 알아보고 활용할 수 있는 방식과 모양의 메뉴(옵션)로써 어플리케이션의 화면 어딘가에 그래픽기호로 제공되어야 한다. 이렇게 사전 정의(pre define)되어 있는 object(record)들은 화면상의 어딘가에 그래픽기호(symbol)로써 사용자에게 식별되며, 사용자에게 선택되어 사용자가 직접 생성한 데이터는 상기 object를 구성하는 column의 속성값이 될 것이다. 예컨대, 사용자가 시스템 어플리케이션이 제공하는 ‘메모붙이기’라는 메뉴(tool)를 클릭한 후, DIC Layer 어딘가를 지정한 후, 메모장 안에 일정 글자나 그림을 그려넣었다고 치자. 그러면 이때 사용자가 지정한 ‘메모붙이기’라는 메뉴는 object name이라는 column(필드명)의 property값이 되고, 사용자가 메모장안에 그려넣은 글자나 그림은 (가령)data라는 column(필드명)의 property값이 될 것이다. 즉, 사용자는 특정 페이퍼문서에 관한 mark up data를 생성하기 위하여 시스템 어플리케이션이 제공하는 메뉴(object)를 단순히 선택하고 상기 어플리케이션이 제공하는 특정 form 상에서 단순히 property data 만을 생성한다고 보면 된다. 그렇다면 object(record)를 구성하는 다른 column(필드명)에는 무엇이 있을까? 먼저, 전술한 바와 같이 ‘object name'과 ’data property', 그리고 ‘DIC Layer에서의 위치’가 있을 수 있다. 이때 ' DIC Layer의 위치‘정보는 차후 사용자가 예전에 작성한 데이터들이 알맞은 위치에서 정렬하여 보이기 위함도 있지만, 다른 유저와 상기 부가정보(object)들을 공유하고할 경우에, 다른 유저의 검색에 활용되기 위해서이기도 하다. 또한, 일 실시예에서, object는 ’생성시각‘에 관한 column을 가질 수 있다. 이는 차후 사용자가 특정 날짜나 특정 시각에 자신이 생성한 object를 열람하기 위함도 있지만, 본 출원에서 제시한 다양한 어플리케이션(예;영어단어를 오래된 순으로 나열하기)의 소스로 활용되기 위해서이다. 또한, object를 생성한 식별자정보(예; id, 디바이스 일련번호, 등)도 있을 수 있고, 시스템이 식별한 페이퍼문서의 book identity정보도 있을 수 있다. 이외에도 어플리케이션의 요구에 따라 다양한 column이 있을 수 있다.

그렇다면 이렇게 다양한 column들로 구성되는 object는 어떤 종류가 있을까? 'object name'이 될 만한 것들을 알아보자.

다표적인 몇가지 예를 제시하나, 지금 제시하는 몇가지의 예는 본 발명의 개념에 따른 실시예를 서명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시예는 훨씬 다양할 수 있으며 본 명세서에 설명된 실시예들에 한정하여서는 아니된다. 바람직하게는, 현재 컴퓨터 인터페이스를 통해 전자문서를 편집하고, 조작, 생성하는 모든 소프트웨어의 기능들이 상기 object name에 포함된다고 보아야한다.

첫째, 페이퍼문서의 전체, 혹을 일부에 관련하여 사용자가 생성하는 ‘필기’가 있을 수 있다. 이때, 사용자는 ‘필기’를 뜻하는 메뉴(그래픽기호)를 선택하여 필기를 할 수 있다. (물론, 실제로 필기메뉴는 이를 구체화하기 위하여 매우 많은 수의 하위설정메뉴를 가질 것이다. 예컨대, 펜굵기,글자모양, 글자색 등등)이때, 사용자는 페이퍼문서를 보면서 DIC Layer상에 밑줄을 긋고, 별표를 치고, 여백에 작게 글씨를 쓰는 등 단순히 DIC Layer상에서 페이지 전체에 관한 필기를 생성할 수 있다. 그러나 어떤 경우에는, 특정 선택영역에 관해 상기 (주어진)DIC Layer의 범위를 넘어서는 분량의 필기를 하고 싶을 수도 있다. 즉, 필기공간이 부족할 경우가 발생하는데, 이럴 경우, 시스템 어플리케이션은 사용자가 레이어 상에 선정(drag or drawing)한 영역( 또는, 이를 포함한) 이외의 영역을 모두 필기할 수 있는 공간으로 할당하고, 더 나아가 할당된 공간이 사용자의 제어에 의해 무한 확장되도록 설정해놓을 수 있다. 이러한 방법은, 사용자가 공간의 제약을 받지 않고, 페이퍼문서 상의 선택영역에관해 엄청난 양의 데이터를 첨부해놓을 수 있도록 해준다. (이때, 사용자가 상기 ‘선정한 영역’은 ‘DIC Layer에서의 위치’라는 column(필드명)의 속성값이 될 것이다.) 또한, 이때의 '필기‘라 함은 단순히 사용자의 터치퀘적 뿐 아니라, 사용자가 첨부해놓은 링크나 동영상,텍스트 등 다양한 멀티미디어 데이터일 수 있다. 또한, 이때 애초에 사용자가 drag나 drawing을 통해서 DIC Layer상에 표시한 부분이 'DIC Layer에서의 위치’라는 column에 대한 속성값이라는 것을 염두해두어야 한다. 또한, 차후에 이를 쉽게 찾기 위해 상기 ‘선택영역’이 사용자에게 식별될 수 있도록 해야 함은 물론이다.

둘째, 페이퍼문서의 전체, 혹은 일부에 대해 찍어놓은 ‘스탬프’가 있을 수 있다. 이는 사용자가 페이퍼문서를 보면서 선택한 영역에 특정 표시(물음표,따옴표,느낌표 등을 포함한 아이콘)를 하면, 시스템은 차후에 사용자가 동일한 표시가 있는 영역,혹은 페이지 전체를 정렬하여 보여줄 수 있다. 예컨대, 잘 모르는 문제에 물음표를 찍어놓기로 규약이 되어있다면, 사용자는 문제집을 풀면서 잘 모르는 문제에 물음표를 표시해둘 수 있다. 이렇게 다양한 페이퍼문서를보면서 물음표를 표시해놓으면, 차후에 사용자가 잘 모르는 문제나 범위를 추출해서 오래된 순, 어려운 순, 등으로 나열해서 볼 수 있게 된다. 또한, 시스템을 이용하는 사용자 각각이 다양한 페이퍼문서에 찍어놓은 스탬프들에 관한 정보는 시스템에 전송되어 사용자들의 관심, 기호, 능력, 통계 등을 알아낼 수 있는 중요한 소스가 된다.

셋째, 페이퍼문서의 일부에 관해 부가정보를 첨부하기 위한 ‘메모장’이 있을 수 있다. (이는 현재 통용되는 컴퓨터 인터페이스 상에서 많이 활용되는 예라서 이에 관한 상세한 설명은 생략한다. )

15. 그 외에 mark up data를 시스템에 등록시키는 방법.

- 본 시스템이 웹브라우저 상에서 사용될 경우, 제작자는 해당 페이퍼문서를 참조하여 (예컨대, 모니터 상에 페이퍼문서의 스캐닝이미지를 디스플레이한 후, 스캐닝이미지와 오버랩한 투명DIC Layer 상에서) 해당 페이퍼문서 위에 하이라이팅되는 등의 마크업표시를 사용자 단말기의 os가 제공하는 웹브라우저와 호환되는 특정 마크업랭귀지(예; xml, html, 등)를 활용하여 마크업데이터를 생성할 수 있다. 이렇게 생성된 하이퍼텍스트는 인터넷주소를 배정받아서, 몇 개의 column(예;book identity, 식별자정보 등) 으로 구성된 테이블로 구성되어 특정 웹서버의 데이터베이스에 저장되고, 사용자가 사용자 단말기에서 book identity를 입력함과 동시에 시스템의 제어에 의해 자동으로 해당 book identity와 매칭된 웹페이지로 이동될 것이다. 또한, 이렇게 렌더링된 웹페이지는 또한 몇 개의 하이퍼링크 항목을 가지므로, 이것의 액세스를 위해, 시스템은 book identity와 각각의 하이퍼링크 항목이 레이어 상에서 차지하는 위치(좌표)를 column값으로 가지는 하이퍼링크테이블을 또한 가지고 있어야한다. 이때, 주의할 점으로, 본 시스템의 이용을 목적으로 한 하이퍼텍스트들은 통상적으로 웹브라우저에서 열람되는 하이퍼텍스트와 달리 그 크기가 사용자나, 시스템의 제어에 의해 자동으로 조정되지 않아야하며, 그 크기는 상기 페이퍼문서의 물리적 크기와 동일해야 한다는 특징이 있다.

16. 페이퍼문서와 DIC Layer를 일치시키는 방법.

16-1. 사용자가 페이퍼문서를 움직여서 DIC Layer와 일치시키는 방법.

사용자가 디스플레이 상에 고정된 레이어(사용자가 함부로 그 위치나 크기를 조작할 수 없다)를 참고하여 투명디스플레이 아래에 놓인 페이퍼문서를 움직여서 이와 일치시키는 방법이 있을 수 있다.

16-2. 사용자가 DIC Layer의 테두리를 지정하는 방법.

사용자가 투명디스플레이를 통해 투과해 보이는 페이퍼문서를 보며 레이어의 테두리나 모서리 등이 페이퍼문서의 모서리나 테두리와 일치하도록 디스플레이 상에서 레이어의 테두리(도9-170)나 모서리(도8-160)등을 표시(지정)하는 방법이 있을 수 있다.

16-3 사용자가 DIC Layer상에 드러난 식별단서(도6-140,도7-152,150)를 참조하여 DIC Layer를 움직여서 페이퍼문서와 일치시키는 방법.

이 방법은 디스플레이의 크기가 페이퍼문서보다 작을 때, 더욱 유효한 방법으로써, 이때의 식별단서는 상기 레이어 상에 항상 노출된 것일 수도 있지만, 레이어가 사용자에 의해 이동할 때에만 노출되는 것일 수도 있다. 즉, 레이어 상에 페이퍼문서의 내용이 식별단서로써 많은 부분이 드러나게 되면 '저작권침해'문제가 발생할 수 있다. 그러나 그렇다고해서 식별단서의 노출량이 너무 적으면 사용자가 참조할 만한 단서들이 적어서 어려움을 겪는 딜레마가 있다.그래서, 저작권을 침해하지 않는 범위에서 식별단서를 최대한 많이 노출시키는 방법으로 '레이어의 이동시에만 식별단서를 노출하는 방법'이 있다. 즉, 사용자에의해 레이어가 이동할때에만 스캐닝이미지의 전부 혹은 일부인 식별단서가 노출되도록 하고, 이동하지 않을 때에는 식별단서를 노출하지 않는 것이다. 이는, 레이어가 이동하는 상태에서는 사용자가 제대로 식별단서(스캐닝이미지의 전부 혹은 일부)를 제대로 읽고 이해하기가 어려운 점을 활용한 것이다.

16-4. 식별단서가 노출되지 않은 레이어와 페이퍼문서를 일치시키는 방법

-디스플레이의 GUI로써 특정기호(예; 박스,,별표, 등)를 약속된 영역(디스플레이를 통해 보여지는 페이퍼문서의 사전에 약속된 영역)에 위치시킴으로써, 레이어가 자동으로 위치되는 방법이 있다. 자세히 말하자면, 디스플레이 상에 그래픽 기호로 박스형태가 있다고 치자. 이 작은 박스형태(도5-160)은 사용자의 터치에 따라 움직인다. 이 박스를 페이퍼문서 상에 미리 약속된 영역에 오버랩시키는 것이다. 가령, 페이퍼문서의 '페이지번호'(도5-161)위에 박스를 가져다놓기로 사전에 약속이 되어 있다면, 사용자는 디스플레이를 통해 보여지는 페이퍼문서를 보며 페이퍼문서 상의 페이지번호 위에 이 박스를 올려놓게 될 것이다. 그러면 사용자 단말기는 박스가 있는 위치에 digital identity(스캐닝이미지)의 페이지번호가 이 박스에 오도록 레이어의 위치를 조정할 수 있다. 이 방법을 쓸 경우에는, 사용자는 레이어를 인지하지 못해도 상관없으며, 레이어 상에 별다른 식별단서를 노출시키지 않아도 된다. 또한, '약속된 영역'이라는 것은 '페이지번호'가 적힌 영역일 수도 있고'본문의 첫시작점'이 될 수도 있으며, 그 외에도,,다양한 약속영역이 있을 수 있다. 또한, 이 ‘약속된 영역’은 시스템 사용자가 미리 인지하고 있는 ‘고정된 ’영역일 것일 수도 있고, 시스템에 의해 프롬프팅된 ‘가변적’영역일 수도 있다. 이 방법은, 사용자가 상기 레이어의 존재를 전혀 인식하지 못할 수도 있다는 특징이 있으며, 이런 점은 사용자의 직관적 인터페이스를 높여주는 요인이 될 수 있다.

16-5. 사용자가 시스템의 안내에 따라 DIC Layer의 위치를 이동시키는 방법.

투명디스플레이에서 페이퍼문서가 차지하는 위치를 단말기에 인식시킨 후, (혹은 사전에 약속된 규약에 따라 단말기를 위치시킨 후) 단말기에 구비된 움직임 감지 엘리먼트가 감지한 투명디스플레이의 이동 거리와 방향( 속도)을 디스플레이 상에 특정기호(예; 화살표 등*도13-180))로 안내함으로써 사용자가 (특정기호의 안내에 따라) 손쉽게 레이어의 위치를 조정하는 방법이 있을 수 있다. 이 방법은 전술한 다섯 번째 방법에 비해, 사용자에게 다소 귀찮은 과정이 수반되지만, 레이어의 위치를 조정하는 흥미로운 매개체로 인식될 수도 있다.

16-6, 시스템이 투명디스플레이에 구비된 움직임 감지 엘리먼트를 활용해 자동으로 DIC Layer의 위치를 조정하는 방법.

투명디스플레이의 내부에 하드웨어로써 움직임을 감지할 수 있는 엘리먼트가 구비되어 있다면, 이를 활용하여 레이어의 움직임을 조정할 수 있다,

구체적으로, 사용자가 페이퍼문서의 위치를 디스플레이에 인식시켜주게 되면, 단말기는 페이퍼문서의 위치를 식별하게 되고, 이후 사용자가 ‘움직임 개시’신호를 보내고, 페이퍼문서 상에서 사용자가 원하는 영역으로 디스플레이를 움직이게 되면, 움직임엘리먼트가 감지한 움직인 거리와 방향과 속력(즉, 속도)와 동일하게 레이어를 움직여주면 된다. 이때, 사용자가 페이퍼문서의 위치를 인식시키는 방법은, 사용자가 인위적으로 투명디스플레이에 표시(페이퍼문서의 모서리나 테두리를 지정한다거나, 레이어를 움직여서 일치시킨다거나, 특정기호를 움직여서 약속된 영역 위에 오버랩시킨다거나..등)하는 방법도 있지만, 이미 사전에 디스플레이가 인지하고 (가령, 페이퍼문서의 페이지번호 위에 투명디스플레이의 고정된 기호가 오게 한다거나, 페이퍼문서의 오른쪽 하단 모서리에 디스플레이의 오른쪽 하단 모서리를 맞춘다거나..등) 있을 수도 있다. 즉, 이는 출발점을 지정해놓고 책위에서 디스플레이가 움직인 거리만큼 레이어의 움직임을 단말기가 조정해주는 것으로, 이때, 주의할 점은 움직임감지엘리먼트가 감지한 디스플레이의 움직인 반향과 거리 (어떤 경우에는 속력도)과 동일하게 레이어가 움직여야 한다는 점이다.

이때, 움직임감지엘리먼트는 다양한 형태로 구현될 수 있는데, 그 중 몇가지만 예를 들고자한다.

첫번째, 미세(granuel)/표면 텍스쳐 센서.

페이퍼문서 상의 표면의 변형을 검출하기 위해 2개의 병렬 미세/표면 텍스쳐 센서를 포함한다. 이러한 종류의 입력 센서의 일반적인 사용은 점자 텍스트를 캡쳐하는 것이다. 병렬 표면 텍스쳐 센서는 상기 병렬 센서에 의해 이동된 상대적인 속도/거리로부터 센서의 각도도 판정할 수 있다.

두번째, 제스쳐(모션기반).

스캐닝 헤드하에서 통과하는 데이터를 관찰함으로써, 모션 센서에서의 변화를 모니터링함으로써, 또는 기계적 모션- 감지 수단에 의해 제스쳐를 검출할 수 있다.

세번째, 광학 데이터의 관찰.

광학 엘리먼트 하에서 지나가는 표면 또는 데이터를 관찰함으로써, 광학 컴퓨터 마우스가 하는 것과 매우 동일한 방식으로, 상대적인 모션을 연산할 수 있다. 이렇게 상대적인 동작을 분석함으로써 상기 단말기는 유저가 상기 투명디스플레이로 어떠한 제스쳐를 하는지 판정할 수 있다. 일부 실시예에서, 광학 시스템은 또한 페이퍼문서의 표면상의 패턴을 관찰함으로써 상대적인 모션을 검출할 수도 있다. 또는, 페이퍼문서의 표면상의 절대위치 코드를 체크함으로써 절대 위치를 검출할 수 있다.

네번째, 자이로/가속도계 모션 센서

속도나 방향의 변화를 감지하기 위한 가속도계와 같은 가속도 센서를 구비하면 그에의해 제어 제스쳐를 판정할 수 있다. 또는, 모션 및 제스쳐를 검출하기 위해 자이로스코프(특히,칩 링-레이저 자이로스코프는 이러한 작업에 적합하다)를 사용할 수 있다.

다섯번째, 기계(볼포인트, 롤러 등)장치.

광학적으로 인코딩되는 잉크 펜의 볼포인트와 유사한 롤링 엘리먼트나 볼을 구비할 수 있다. 볼이 페이퍼 표면을 따라 이동하면서, 광학 센서는 광학적으로 인코딩된 엘리먼트의 모션을 검출한다.

일부 실시예에서, 상대적인 모션을 기록하기 위하여 볼포인트 전체에 전기적으로 대전된 잉크의 흐름을 측정한다. 상기 볼에 흐르는 잉크에는 이러한 프로브에의해 검출되는 전하가 주어진다. 볼포인트 하우징에 내장된 전류-감지 프로브는 볼 상의 잉크의 흐름을 검출한다. 복수의 프로브가 있다면, 잉크 흐름의 방향은 그 결과의 볼의 모션, 및 그에 따른 표면을 지나는 실질적인 모션이 추측될 수 있다. 이 전기적으로 대전된 잉크 기술은 범용목적의 입력기록 디바이스로서 역할을 할 수 있고, 여기서 유저는 종래 잉크로 기록하고, 반면에 모션이 기입되고 기록될 수 있다. 수신기에서 흘러나오는 대전된 잉크만 센서에 의해 감지되도록 볼이 자신의 하우징에서 드러나는 경계 또는 그 근방의 가드링이 상기 대전된 잉크를 방전시키는데에 사용될 수 있다. 또는,획득된 스캔 영상의 옵티컬 플로우(optical flow)또는 모션 플로우(motion flow)를 이용할 수도 있다.

16-7. 플레인 스캐너가 구비된 투명디스플레이를 통해 레이어와 페이퍼문서를 일치시키는 방법이다.

본 출원상에서 '플레인 스캐너'라 함은 디스플레이의 내부에 하드웨어적인 '스캐닝부'를 두고 스캔대상객체 위에 디스플레이를 오버랩하여 스캔 대상 객체를 향해 빛을 분사하고 반사된 빛을 읽는 원리를 차용하는 단말기를 뜻한다. 본 출원의 이해를 돕기 위해 대략적인 설명을 하자면, 디스플레이의 내부의 레이어 층에서 하나의 레이어에 광원체와 수광체를 평면상에 다수 배치하여 2차원적 면적을 동시에 스캔하는 형태도 있고,그 외에 디스플레이 사이에 물리적 공간을 두어 스캔라인헤더가 지나가게 하는 방법도 있다. 그러나 이들은 단순히 스캔부를 구성하는 엘리먼트의 차이일 뿐, 디스플레이의 내부에 스캐닝부가 있고 스캔 대상 객체 위에서 스캔 대상 객체를 위에서 눌러서 스캔 대상 객체를 향해 빛을 분사하고 반사되는 빛을 받아들인다는 원리에서는 큰 변화가 없다고 할 수 있으며 상기 두가지 방식 이외에도 여타의 다른 방법으로 2차원적 면적인 스캔대상객체 위에서 스캔을 실행하는 스캐너를 본 출원상에서는 '플레인 스캐너'라 칭한다.

플레인 스캐너가 구비된 디스플레이에서 디스플레이를 페이퍼문서 위에 올리고 페이퍼문서의 일정 영역을 스캔하면, 스캔 완료된 이미지가 사용자 시스템으로 전송되어 동일한 이미지를 일부분으로 가지고있는 원본의 이미지를 찾아낼 수 있을 것이다. 그런 후, 시스템은 상기 스캔된 이미지가 선택된 원본의 이미지에서 차지하는 위치를 가늠할 수 있고 이를 통해 투명디스플레이의 레이어의 위치를 조정할 수 있다. 일 실시예에서, 움직임 감지 엘리먼트도 구비되어 있다면 단말기는 디스플레이의 움직임을 감지하여 레이어를 동일한 방향과 동일한 속도로 이동시키면 된다. 또는,다른 실시예에서 사용자가 디스플레의 위치를 변경시킬 때에도 디스플레이가 대상객체를 스캔(실시간으로 스캔할 수도 있고,움직일 때에만 스캔하도록 할 수도 있으며, 움직인 후 정자했을 때 스캔하도록 할 수도 있다) 하여 시스템이 시스템에 저장된 원본과 비교하여 단말기가 레이어의 위치를 조정하도록 할 수도 있다.

투명디스플레이의 어딘가(예컨대, 투명디스플레이가 페이퍼문서와 맞닿는 면적의 일부 *도-10-300 혹은 측면)에 스캐닝엘리먼트( 예컨대. 카메라, 스캐너, cmos광학렌즈 등)를 배치하여 투명디스플레이가 페이퍼문서의 어디에 위치해있는지 (혹은 페이퍼문서의 book identity와 문서 상의 위치)를 파악하기 위해 실시간으로 페이퍼문서를 스캐닝하여 시스템에 전송하면, 단말기가 시스템에 이미 저장되어있는 스캐닝이미지(row digital identity)와 비교하여 레이어의 위치를 조정하는 방법이다. 이 방법은 사용자가 전혀 레이어 자체를 인식할 수 없으며, 따로이 사용자 DIC Layer를 이동시킬 필요가 없기 때문에 전술한 방법 들 중 사용자에게 가장 편리한 방법이다.

16-8. 사용자가 기존에 이미 식별기호가 인쇄되어 배포된 페이퍼문서의 레이아웃(글자크기,줄간격,폰트,글자모양 등)을 변경하여 페이퍼문서를 생성했을 때, 레이어와 페이퍼문서를 일치시키는 방법.

일부 실시예에서, 사용자는 기존에 제작자(예;출판사,단체,개인 등)에 의해 이미 특정 레이아웃의 형태로 인쇄되어져 배포된 문서의 레이아웃(글자크기,줄간격,글자모양 등)을 사용자 컴퓨터의 모니터 상에서 편집하고 변형하여 인쇄하기도 한다. 이때, 원본 (배포되어진)문서의 내용은 변형하지 않은채, 레이아웃(환경설정)만 변경하여 페이퍼문서를 생성하였을 경우, 사용자는 상기 원본문서의 식별기호(예;isbn넘버를 인식시키거나, 변경된 페이퍼문서의 전부,혹은 일부를 스캔함)를 단말기에 식별시켜서 상기 원본문서의 digital identity를 찾아내고, 레이어 상에 나타난 식별단서를 사용자가 인위적으로 조작(페이퍼문서를 참조하여 글자크기를 줄이고,줄간격을 맞추고....등등)하는 행위를 통해 해당 digital identity의 레이아웃에 관한 설정(문서 컨텍스트 정보)이 바꿔지도록 함으로써 레이어의 좌표를 새롭게 할당할 수 있다. 또는, 일실시예에서, 시스템은 '변형된 페이퍼문서'의 전부,혹은 일부를 스캐닝한 이미지를 통해 원본의 raw digital identity에서 얼마나 변형되었는지을 추정할 수 있다. 즉, 시스템은 '변형된 페이퍼문서'의 일부,혹은 전부를 스캐닝한 이미지를 분석하여 raw data와 context정보로 분리하여 raw data가 일치하는 digital identity를 찾을 수 있다. 시스템은 이렇게 알아낸 digital identity를 상기 스캐닝을 통해 획득된 이미지와 비교하여 달라진 context 정보로 digital identity의 context정보를 변환시켜서 레이어 상에 제시할 수 있을 것이다.

17. DIC Layer 상에 식별단서를 노출시키는 방법.

일 실시예에서 ,페이퍼문서의 book identity를 단말기에 식별시키고, 레이어 상에 노출될 식별단서의 노출범위가 미리 결정되어진 데이터가 수신되는 방식을 쓸 경우, 디스플레이의 크기가 페이퍼문서보다 작을 경우에는 사용자가 페이퍼문서의 특정부분에 디스플레이를 위치시키고 레이어를 아무리 이동시켜도 식별단서가 보이지 않을 수도 있다. 즉, 식별단서가 디스플레이의 범위를 벗어나버리는 경우가 발생하는 것이다. 이를 위해, 본 시스템을 이용하는 유저가 가진 디바이스의 디스플레이의 크기가 일정치 않다면, 시스템은 디스플레이의 크기를 고려하여 식별단서를 제공해야 한다.

이를 위해, 대략 3가지 방식의 식별단서 제공방법이 있다.

첫째, 사용자가 페이퍼문서의 book identity정보를 단말기에 식별시킬 때, 디스플레이 크기 정보가 함께 전송되도록 하여 전송된 디스플레이 크기에 해당하는 ( 노출범위가 미리 정해져 포맷되어진)식별단서를 제공받는 방법이 있다. 이때, 시스템 관리자가 디스플레이의 크기에 해당하는 노출범위를 미리 선정하는 기준은 도면14에서와 같이, 디스플레이가 페이퍼문서의 어디에 위치해도 식별단서가 노출되도록 도면에서 보이는 바와 같이 최소한의 영역(도14-190)이 선정되면 된다. (이는 최소한의 영역이므로 물론, 이보다 더 많은 범위가 노출되어도 저작권문제를 피할수만 있다면 얼마든지 가능할 것이다.)이때 최소한의 영역을 선정하는 기준은 명확히 '수학적 공식'으로 도출할 수가 없다. 왜냐하면 제작자가 고려해야할 사항( 저작권문제와 사용자의 편의성)을 고려해서 재량껏 설정해놓으면 되는것이지, 분명한 기준이 있는 것은 아니기 때문이다. 하지만, 대략적인 이해를 돕기위해 (도면14)을 참고해서 설명하자면, 페이퍼문서의 페이지의 크기를 디스플레이의 크기(가로m*세로n)로 나누었을때, 보기의 (도면14의 190)에서처럼, 디스플레이가 페이퍼문서의 어디에 위치해도 식별단서가 보이게 최소한의 영역이 드러나게 설정해두면 된다. 또한, 디스플레이를 회전시켜 사용할 수도 있기 때문에, 이를 위해,(도면15)과같이 전체크기의 페이지를 (가로n*세로m)으로 나누어져 노출될 최소한의 영역(도15-191)이 정해진 편집된 raw digital identity(이미지) 또한 준비해두어야한다.(이렇게 편집된 디지털데이터는 차후,사용자 단말기의 '디스플레이 회전'신호에 의해 각각 렌더링될 것이다.

두번째, 사용자가 시스템에 book identity를 식별시키면 시스템이 해당하는 digital identity를 선정한 후, 사용자 컨텍스트 정보에서 사용자 디바이스의 디스플레이 크기 정보를 참조하여 이에 해당하는 '추출 모듈'이 실행되도록 하는 방법이 있다. 이때의 추출 모듈은 미리 제작자에 의해 배정되어진 공식으로써, 전술한 노출범위의 결정방법과 그 방법적 측면에서 동일하므로 생략한다. 전술한 두가지 방법은 사실상, 추출이 전처리 되느냐 후처리 되느냐의 차이일 분이다.

세번째, 레이어 상에 언제나 특정 범위 이상의 식별단서가 디스플레이되도록 하는 방법이 있다. 더욱 구체적으로, 시스템은 사용자에 의해 레이어가 움직일 때/혹은 정지했을 때도 디스플레이가 레이어를 비추고 있는 영역(디스플레이를 통해 레이어가 노출된 영역)에 해당하는 digital identity의 일정범위 이상을 추출하여 표시할 수 있다. 이 방법은, 단말기의 디스플레이크기에 해당하는 노출영역이 시스템 관리자에의해 미리 결정되어진 것이 아니고, 시스템이 이를 레이어의 움직임을 감지하고 이에 해당하는 데이터를 실시간으로 전송해주는 방법인 것이다. 가령, 시스템은 사용자가 레이어를 어떻게 움직이든, 항상 디스플레이 상의 반을 식별단서로써 제공해줄 수 있다. 이는, 언제나 일정한 범위의 단서(예컨대,디스플레이의 1/2이 항상 식별단서로 채워지게 된다)가 제공됨으로써 사용자가 좀 더 쉽게 레이어와 페이퍼문서를 일치시킬 수 있다는 장점이 있다. 일 실시예에서, 전술한 일정범위의 단서는 사용자에 의해 레이어가 움직일때만 드러나고, 움직이지 않을 때는 전혀 드러나지 않도록 할 수도 있고, 움직잊 않을 때도 일정범위 이상이 드러나도록 할 수도 있다.

18. .사용자가 mark up data와 인터랙션한 이력이 시스템에 기록되는 방법.

사용자가 투명디스플레이 상에서 페이퍼문서를 보며 의식했든, 의식하지 못했든, mark up data에 대해 인터랙션한 이력은 모두 시스템에 기록(저장)될 수 있다. 가령, 사용자가 수학문제를 지정하고 이와 유사한 문제를 열람하고, 필요한 경우 지불모듈을 실행했을 때, 이와 관련된 모든 정보는 사용자의 컨텍스트를 구성하는 좋은 소스가 된다. 즉, 시스템은 사용자가 단순히 특정 문제를 선택하고 ‘유사한 문제’를 선택했다는 정보를 앎으로써, 사용자의 능력과 관심을 유추해볼 수 있으며, 이를 단서로 사용자에게 유효한(적합한)문제 및 관련 자료를 제공해줄 수도 있다.

다른 예로, 사용자가 특정 페이퍼문서 상에서 동적마크업(게임)을 실행하여 피드백(인터랙션)한 이력은 사용자의 특정 능력을 측정하고, 사용자가 의식하든,의식하지 못하든 어떤 능력과 습관을 가늠할 수 있는 좋은 소스가 된다. 예컨대, 어떤 사용자가 특정 영어게임을 하면서 인터랙션을 할 때, 유난히 어떤 ‘철자’가 많이 들어간 단어를 자주 틀리고, 유난히 어떤 발음에 약하다면, 시스템은 이를 통해 (실시간으로) 사용자가 취약한 부분에 중접을 두어 문제를 생성하여 제공할 수도 있고, 사용자가 알아두면 좋을 만한 관련자료들을 제공해줄 수도 있을 것이다. 또한, 이렇게 반복된 게임을 통해 사용자가 어떤 능력이 향상되고 있는지, 아직도 부족한 능력은 무엇인지, 사용자의 능력이 현재 다른 유저들에비해 어느정도의 수준인지 등도 파악할 수 있으며, 더 나아가 사용자가 부족한 능력을 보충하기 위하여 적합한(유효한) 게임(혹은, 프로그램)이나 여타의 프로그램을 소개해줄 수도 있을 것이다.

이런 방식으로 누적된 정보(사용자 컨텍스트 정보)는 시스템에게 각각의 사용자에 대한 관심과 흥미 및 능력의 변동추이를 알도록 해주어 사용자가 원하기 이전에 시스템이 먼저 사용자에게 유효한(적합한)정보를 엄선하여 제공해줄 수 있게도 한다. 또한, 시스템은 이렇게 사용자 각각의 컨텍스트 정보를 누적시킴으로써, 시스템 전체에게 필요한 정보들을 스스로 생성, 및 갱신해나갈 수 있으며, 이렇게 생성, 및 갱신된 정보들을 시스템을 이용하는 사용자 모두에게 유리하다.

19. 시스템을 이용하는 두명 이상의 사용자가 본 시스템 어플리케이션을 통해 상호접속하여 실시간으로 데이터를 공유(채팅)하는 방법.

-두명 이상이 시스템에 접속하여 그들끼리 따로이 대화를 원할 경우, 시스템은 그들을 따로 분리하여 그들끼리만 대화를 하도록 허용할 수 있다. 예컨대, 본 시스템을 이용하는 사용자는 그의 친구(들)와 특정 페이퍼문서에 대해 , 그 페이퍼문서를 함께 보면서 대화를 나누고 싶을 수 있다. 그러면 사용자가 함께 대화를 하고자 원하는 두명이상의 사용자들을 선별하여 그들(임의의 일방)이 (시스템 어플리케이션을 활용하여)생성해내는 property데이터를 대화에 참여한 다른 유저(들)의 화면 상에 실시간으로 재현시켜주는 방법이다. 이를 위해, 대화에 참여한 각각의 유저는 동일한 페이퍼문서를 준비해두고, 일방이 지시하는 특정 페이지(페이퍼문서)를 펼쳐놓고, 본 시스템을 통해 청구항1의 (가)와 (나)단계를 수행하게 된다. 그 후, 대화에 참여한 임의의 유저가 책을 보면서 어플리케이션이 제공하는 특정 메뉴 (예;필기도구)를 활용하여 object에 대한 property값을 생성하는 것이다. 이때, 생성된 property값은 대화에 참여한 다른 유저들의 화면 상에 실시간으로 ( 즉, property값이 생성되는 와중에 실시간으로) 재현되는 것이다. 이때 대화에 참여한 다른 유저들도 실시간 property값을 생성하고, 이렇게 생성된 property값이 다른 유저의 화면 상에서 공유되는 것이 좋지만, 경우에 따라 대화에 참여한 특정 일방에게만 property값을 생성하도록 허용하고, 다른 유저들은 생성된 property값을 단순히 소비하는 형태일 수도 있다. 즉, 대화에 참여한 유저들은 그들의 재량으로, ‘대화에 참여한 유저들 중 property값의 생성권한을 누구에게 줄지’ 등과 같은, 대화참여에 대한 rule을 스스로 만들 수 있다. 또한, 이때의 property값은 시스템 어플리케이션이 제공하는, 사전에 predefine되어 있는 object에 대한 것인데, 이때의 object의 항목 중에는 ‘음성’항목도 있을 수 있다. 즉, 사용자의 디바이스 상에 사용자의 음성을 인식할 수 있는 엘리먼트가 구비되어 있다면, property값을 생성하는 일방이 제공하는 화면 상의 표시(예;필기)만을 실시간 열람하는 것 뿐만 아니라 생성자의 음성을 직접 들을 수도 있어서, 훨씬 유용할 것이다. 또한, 일 실시예에서, 오프라인 상에서 상기 ‘페이퍼문서’를 소지하지 못한 경우, 이의 열람을 위하여 시스템은 이미 획득한 ‘페이퍼문서의 스캐닝이미지’ 즉, raw data를 ‘페이퍼문서’를 소지 하지 못한 사람의 화면 상에 제공할 수 있고, 경우에따라, 이의 ‘인증,보안,지불’ 중 하나 이상을 요구할 수도 있다.

두 가지 실시예를 통해 구체적으로 알아보자.

첫째, 시스템을 이용하는 유저 A는 집에서 공부를 하던 중 ‘수학의 정석’책 P32의 예제 2번 문제가 잘 풀리지 않아서 친구 B에게 물어보기로 한다. 자신의 디바이스를 통해 본 시스템 어플에 접속한 A는 자신이 등록시켜놓은 친구목록에서 B가 접속하지 않은 상태인 것을 확인하고, B에게 전화를 걸어 시스템에 로그인해줄 것을 요구한다. 그리고 접속한 B를 보고 ‘채팅’연결을 시도한다. 그러면, 시스템은 A와 B가 음성으로 대화할 수 있도록 허용하고, A와 B는 그때부터 시스템 어플을 사용하여 음성으로 대화를 주고 받게 된다. A는 B에게 ‘수학의 정석’ 중 P32를 펼 것을 요구한다. 마침, ‘수학의 정석’책을 소지하고 있던 B는 P32를 펼친 후, 자신의 단말기에 구비된 투명디스플레이를 P32에 오버랩시키고, DIC Layer를 일치시킨다. 그 후, ready 상태가 되었음을 A에게 통지할 것이다. (물론, 이를 위해 A도 B가 한 행동과 같이, DIC Layer를 페이퍼문서와 일치시켜 놓아야 한다.) B가 준비되었음을 인지한 A는 그때부터 어플리케이션이 제공하는 다양한 메뉴 (object)중 하나인 ‘필기’(물론, 구체적으로는 다양한 색상,굵기 등의 하위 메뉴가 존재할 것이다)를 선택하여 예제 2번 위에 오버랩된 투명디스플레이의 화면 상에 직접 예제 2에 대한 필기를 시작할 것이다. 즉, 보통의 유저가 문제를 풀 때 통상적으로 책에다 특정 숫자에 동그라미를 치고, 옆에다가 계산하기도 하고, 밑줄을 긋고 하는 것과 비슷하게, 마치 예제 2번이 적힌 종이 위에 직접 그리듯이 투명디스플레이 상에 그리는 것이다. 그러면, 이렇게 A에 의해 생성된 data는 레이어 상의 위치와 object명(어플이 제공하는 메뉴 중 사용자가 선택한 메뉴- 필기도구)이 기록되어 시스템의 특정 서버에 전송되고, 이렇게 전송받은 data를 시스템은 B에게 실시간 전송하게 된다. 그러면, 이를 전송받은 B의 화면에 (이미 object에 대해 pre define되어 있는 어플이 깔려있으므로) property data가 A의 화면에서와 똑같이 재현될 것이다. 즉, A와 B는 각자 자신의 책(수학의 정석)을 보며 마치 상대가 옆에서 함께 문제를 푸는 듯한 체험을 하게 된다.

두 번째, 학교의 수업현장에서 활용될 수 있다. 모든 학생과 선생이 본 시스템 어플리케이션이 설치된 디바이스를 소지하고 있다면, 선생님은 일부러 칠판에 필기내용을 적거나, 말로써 특정 페이퍼의 어딘가를 보라고 설명하지 않고도, 손쉽게 학생들의 각각의 책에 코멘트를 달아주는 효과를 얻을 수 있다. 이때, 선생님은 개인적으로 지도가 필요한 학생에게만 자신의 property data가 공유되도록 설정해둘 수도 있고, 일괄적으로 모든 학생에게 공유되도록 설정해둘 수도 있을 것이다. 또는, 일 실시예에서 property data는 선생님 뿐 아니라, property data의 생성권한을 가진 임의의 누군가에 의해 생성되어 다른 학생들의 화면 상에 실시간 재현될 수도 있다. 가령, 수업시간에 어떤 학생이 질문을 하면, 선생님은 그 학생에게 property data 생성권한을 부여할 수 있고, 그렇게되면, 다른 학생들은 그 학생이 생성시키는 property data(예;필기)가 자신의 어플리케이션 화면 상에서 실시간 재현되는 것만 볼 수 있고, 그것의 생성에는 전혀 관여할 수 없다.

20. 투명디스플레이를 통해 페이퍼문서의 특정영역을 선정하여 모듈을 실행시키는 방법.

-사용자는 상기 ‘특정영역’을 지정하는 방법으로, 투명디스플레이를 통해 보이는 페이퍼문서를 보며, 사용자가 특별히 활용(사전검색, 캡쳐 등)하고 싶은 영역을 선정하여 투명디스플레이에 표시할 수도 있고, 제작자에 의해 해당 문서에 미리 구획지어진 영역을 사용자가 단순히 선택함으로써 지정될 수도 있고, 보이는/혹은 보이지 않는 마크업을 선택함으로써 미리 설정되어져 나눠진 구획 중 하나가 선택될 수도 있으며, 경우에따라 시스템(제작자,프로그램 등)에 의해 해당 문서 전체가 선택영역이 되도록 할 수도 있으며, 문서의 속성정보 (문서 컨텍스트 정보)와 사용자 컨텍스트 정보 등을 참조하여 시스템이 일방적으로 선택영역을 선정할 수도 있다.. 이렇게 선택영역에 대한 지정이 끝나고 나면, 시스템은 특정모듈을 실행시켜서 선택영역에 해당하는 data를 가공한다.

특정모듈을 실행시키는 방법에 대해 알아보자.

일 실시예에서, 본 시스템이 사용자에게 사용자단말기에서 웹브라우저나 특정어플리케이션을 통해 실행될 경우, 시스템 어플리케이션은 본 시스템의 사용자 GUI를 위한 제작툴(tool)을 제공할 수 있다. 이는 흔히, 어플리케이션이 실행된 화면 어딘가에 메뉴바(menu bar)로 제공되어지고, 사용자는 이 중 원하는 ‘모듈’을 선택할 수 있다. 가령, 사용자는 페이퍼문서를 보며 투명디스플레이에 선택영역을 지정하고, 이후, 메뉴바의 특정모듈을 지정하면 해당 선택영역에대해 특정모듈이 실행되어 그 결과물이 디스플레이될 것이다. 또는, 사용자는 메뉴바에서 특정모듈을 선택하게 되면, 특정모듈이 실행될 모드로 변환되어 사용자가 선택영역을 지정함과 동시에 특정모듈이 실행되도록할 수도 있다.

일실시예에서, 특정모듈은 데이터(row digitsl identity) 또는 문서의 속성정보에대하여 (혹은, 의존하여), 마크업이나 컨텍스트 분석으로부터 유도되어져 실행될 수도 있다. 또는 , 사용자에게 보이는/또는 보이지 않는 마크업이 특정모듈의 제어커맨드로 해석되도록 할 수도 있다.

21. 선택영역에 대해 특정 모듈이 실행될 때, 기록되는 필드

-시스템이 수행할 수 있는 유용한 기능성을 실현하기 위해서는, 시스템은 유저가 페이퍼문서를 보며 지정한 선택영역에 대한 유저의 레코드 및 보이는/보이지 않는 마크업의 선택으로 인한 특정 트랜잭션의 실행과 같은 임의의 액션. 페이퍼 문서에대한 상세사항, 이 문서내의 위치 등을 포함하는 ‘추가정보’를 획득함으로써 가능해진다. 이렇게 저장된 이력은 유저 및 개인 모두에게 유익하다. 더욱 구체적으로, 특정모듈이 실행된 선택영역에 해당하는 데이터는 여분의 필드가 추가되어(혹은, 필드만) 사용자 시스템의 db상에 (기록)저장된다 이렇게 몇 개의 필드명(column)으로 구성된 object들(레코드)은 본 시스템의 ‘사용자 컨텍스트 정보’와 ‘문서 컨텍스트 정보’를 생성시키는데에 중요한 소스가 되며, 이렇게 생성된 사용자/문서 컨텍스트 정보는 또 다른 정보(extended context)로 가공되어 차후, 사용자에게 부가정보를 제공하는 등, 문서와 관련된/혹은, 관련되지 않은 특정 기능성을 사용자에게 제공할 수 있다. 구체적으로, 시스템은 획득된 사용자/문서 컨텍스트를 정보를 통해 특정 사용자의 흥미와 관심도를 파악할 수 있다. 또는, 시스템은 획득된 정보를 통해 사용자의 능력의 변화 추이도 유추해낼 수 있다. 쉬운 예로, 사용자가 영어단어를 사전검색 할때마다 (즉, 인터렉팅할때마다) 사전검색의 대상이 되는 object data와, 시각, object가 속한 book identity가 시스템에 기록된다면, 시스템은 이들을 단서로 사용자가 동일한 영어단어를 얼마나 자주 반복하여 검색하는지, 주로 어떤 단어를 사전검색하는지, 주로 어떤 수준의 책 속에서 영어단어를 검색하는지(등)을 통해 사용자의 영어단어에대한 능력과 수준을 유추해낼 수 있고, 이를 기반으로 알아두면 좋을만한 다른 단어들을 제시해줄 수 있을 것이다. 또한, 사용자가 주로 검색하는 단어를 통해 사용자의 영어능력을 가늠할 수 있고, 비슷한 수준의 다른 유저들이 가장 많이 검색한 단어나 문장, 참고한 문제 등의 부가정보들도 제공해줄 수 있다.

또한, 시스템은 사용자가 어떤 문서를 주로 보고, 관련 부가정보를 검색하는지를 파악하여 사용자의 최근 관심도를 반영한 광고나 구매 어플을 제공해줄 수도 있을 것이다. 구체적으로, 본 시스템에서 광고는 개별적인 워드 또는 구와 연관될 수 있고, 사용자가 이 워드 또는 구를 선택함에의해, 또는 과거의 선택이력(사용자 컨텍스트 정보)를 고려함에 의해 유저의 관심도를 반영하여 사용자에게 열람될 수 있다. 이런 방법은 광고주에게 그들의 광고의 유효성에대한 피드백으로 취급된다.

또한 시스템은 전술한 사용자/문서 컨텍스트 정보를 획득함으로써 누군가를 위한 ‘통계치’를 생성할 수도 있다. 예컨대, 시스템은 ‘통계치’를 바탕으로 출판물의 인기도를 측정할 수 있다. 특정 페이퍼문서에서 머문 시간이나 특정 페이퍼문서를 검색한 횟수 등요인들은 출판자가 미래에 출판할 출판물을 결정하는데에 도움을 준다. 만일, 기존의 책에서 어떤 소목차가 지나치게 인기있는 것으로 판명되면, 이를 별도의 출판으로 확대할 가치가 있을 것이다. 또한, 유저의 액티비티를 기반으로 보다 적극적인 독자의 피드백을 관찰할 수 있고, 이를 기반으로 출판사는 작가에게 이에 합당한 보상을 해줄 수도 있다. 또한, 독자의 액티비티에 관한 통계치는 특히 인기있는 object를 선별해줄 수 있고, 광고주는 가장 인기있는 object에 프리미엄 레이트를 지불하고 광고가 열람되도록 할 수도 있을 것이다.

또한, 시스템은 전술한 ‘추가정보’를 단서로, 사용자의 습관이나 관심사항에 대한 정보를 파악할 수 있고, 이를 독자들에대한 적절한 (상품이나 컨텐츠에 관한)마케팅을 위한 소스로 활용할 수도 있다.

이와 같이, 본 시스템에서 사용자 컨텍스트 정보와 문서 컨텍스트 정보는 매우 막강한 양의 extended context 정보를 생성시킬 수 있고, 본 시스템은 이를 단서로 사용자에게 막강한 양의 정보와 맞춤화된 정보를 제공할 수 있게 된다.

object에 추가되는 필드명(column)의 몇 가지 대표적인 예를 통해 자세히 알아보자.

첫번째, 누가 단말기를 활용하여 시스템과 인터랙팅 하는지를 나타내는 ‘식별자 정보’이다. 대부분의 상황에서, 유저의 신분은 공지되어진다. 때때로 이것은 ‘익명신분’으로 식별되나 대부분은 사용자 단말기의 일련번호에 의해 식별된다. 통상적으로, 시스템은 시스템을 개인유별화하는데에 사용될 수 있고, 특정 활동 및 트랜잭션이 유저의 이름으로 수행될 수 있기에, 시스템이 ‘식별자’를 인식하는 것은 매우 중요하다.

두번째, object(사용자의 선택영역에 해당하는 데이터)가 digital identity에서 차지하는 ‘위치’이다.

이는 차후, 특정 모듈이 실행된 object가 속한 원본을 찾아내어, 원본에서 선택영역이 차지하는 위치를 가늠할 수 있도록 해주어, 정보를 맥락성있게 이해하는데 도움을 줄 수 있다. 가령, 사용자가 특정 영어문장을 캡쳐링하여 따로이 저장해놓는 액션을 할 때 원본 문서 상에서의 위치정보도 함께 기록되도록 한다면, 차후, 저장된 문장이 어디에서 캡쳐링되었는지를 알 수 있어서, 정보를 맥락성있게 파악할 수 있다.

세 번째, object에대해 사용자가 어떤 액션(모듈실행)을 취했는지를 나타내는 ‘object name’이다.

이는 사용자가 선택한 영역에 대해 어떤 모듈을 실행했는지를 나타내는 것으로 매우 막강한 extend context정보 생성의 중요한 key값이 된다.

이로 인해, 예컨대, 시스템은 특정 사용자가 사전검색한 단어들의 내역을 통해 이 사용자의 영어실력을 유추해 볼 수 있고,, 시스템은 사용자가 주로 캡쳐링한 문장을 통해 사용자의 관심도와 흥미를 유추해낼 수도 있다. 또한, 사용자 본인은 자신이 그동안 캡쳐링한 데이터들을 정렬하여 볼 수 있기도 하고, 사전검색한 단어들을 나열해놓고 볼 수 있기도 하다.

네 번째, object에 대해 액션이 실행된 ‘시각’이다. 시스템은 이를 단서로 사용자가 어떤 시간에 학습을 주로 하는지에 관한 정보도 얻을 수 있고, 사용자가 특정일에 공부한 내용을 복습하고자 할 때 그들을 정렬하여 보여줄 수도 있으며, 더 나아가 사용자가 특정 단어를 반복적으로 검색한 시각을 분석하여 사용자의 단어 학습 능력의 변화 추이도 유추해낼 수 있다.

다섯 번째, object가 속한 문서의 ‘book identity’이다. 시스템은 이를 단서로, 사용자와 동일한 페이퍼문서를 열람한 다른 유저가 해당 페이지에서 많이 검색한 단어를 선정해서 보여줄 수도 있으며, 사용자의 개인적 관심도와 흥미를 유추해낼 수도 있다. 또한, 예컨대, 시스템은 식별된 book identity를 통해 해당 페이퍼문서의 저작권정보도 파악할 수 있음으로써, 사용자의 지불결제가 필요한 상황에 필요한 소스를 제공해줄 수도 있다.

여섯 번째, object에 관련된 ‘속성정보’이다. 시스템이 식별한 book identity와 매칭된 digital identity의 raw data는 특정모듈이 실행될 대상으로써, 아무런 속성정보를 담고 있지 않다. 그러나, 문서의 전부,혹은 일부인 object는 그의 특성을 나타내는 속성정보를 가질 수 있다. 이러한 속성정보는 주로,전술한 마크업데이터로써 digital identity에 내장,혹은 첨부되어 시스템에 인식될 수 있다. 예컨대, 어떤 수학문제집의 특정 페이지의 특정 문제를 사용자가 선택했을 경우, 시스템이 이와 비슷한(연관성있는) 문제를 사용자에게 제공해주고자 할 때, 시스템은 상기 특정문제와 함께 선택된 (보이는/혹은 보이지 않는) 마크업(특정 암호일 수도 있음)을 통해 이 문제의 속성(어떤 카테고리 안에 들어가는 문제인지, 수준은 어느정도인지, 어떤 공식이 사용되었는지 등을 나타내는)정보를 파악하여 이와 연관성 있는 문제(동일한 공식이 사용된 문제,비슷한 수준의 문제, 동일한 카테고리 안에 들어있는 문제)들을 사용자에게 제공할 수 있다.

22. 사용자에 의해 DIC Layer상에 재현(선택되어 준비되거나, 매칭)된 object가 선정되어지는 방법.

-mark up data는 생성주체와 생성방법과 상관없이, 시스템의 데이터저장소에 저장될 때, 특정 column이 부여된 테이블의 형태로 저장된다. 사용자가 object drfine되어 있는 시스템어플리케이션을 통해 mark up data를 시스템의 db에 전송할 때, 각각의 object에 여분의 필드가 추가되는 이유는 바로 이것이다. 이렇게 몇 개의 column으로 테이블 상에 저장된 object들은 사용자에 의해 선정, 및 정렬되어 사용자의 DIC Layer 화면 상에서 보여져야한다. 이를 위해, 사용자는 먼저, 페이퍼문서를 선정하여 투명디스플레이를 오버랩시키고, DIC Layer를 일치시킨 후, 몇가지 조건을 시스템에 인식시킨다. 가령, DIC Layer상에 특정구획(예; 문제2번)을 선정한다거나, 친구목록에서 친구의 id를 선정하는 것이 바로 그것이다. 그러면 시스템은, db테이블에서 사용자가 입력시킨 조건에 부합하는 object를 찾아낼 것이다. 즉, 사용자가 DIC Layer상에 특정 구획(예‘문제2번)을 선정했다면, 시스템은 애초에 사용자가 시스템에 입력시킨 book identity와 위치정보에 대해 동일한 속성값을 지닌 몇 개의 object를 찾아낼 수 있을 것이다. 즉, 사용자가 시스템을 시작할 때 입력한 book identity와 동일한 속성값을 가진 object라는 뜻은, 사용자가 선정한 페이퍼문서와 동일한 페이퍼문서 상에서 다른 유저가 생성한 object들이 된다. 그러나 그 양은 자칫 너무 방대하여 열람하기 곤란할 수 있으므로, 상기 선정된 object들에서 사용자가 원하는 영역(예;문제2번)이라는 조건을 더 주어서 object들을 선별해서 봐야한다. 즉, 사용자는 시스템에 상기 페이퍼문서의 ’book identity‘와 ’DIC Layer상에서의 위치‘라는 두가지 조건을 준 것이고, 시스템은 사용자가 시스템에 식별시킨 ’book identity‘와 ’DIC Layer상에서의 위치‘항목의 속성값과 동일한 속성값을 지닌 object를 찾아내어 DIC Layer상에 뿌려주는 것이다. (물론, 이때 ’DIC Layer상에서의 위치‘라는 column의 속성값이 완벽히 동일한 object는 없을 것이다. 그래서 시스템은 사전에 어떠한 기준을 마련해두어야한다. 가령, 특정 임계레벨 이상의 면적이 중복될 경우 선택한다던지,,,). 시스템은 이러한 기본적 코어 위에서 매우 다양한 상황을 응용하여 연출할 수 있다. 가령, 시스템 테이블이 '식별자’항목을 column으로 가지고 있다면, 사용자는 특정 페이퍼문서 상에서 내 친구 A가 생성시킨 object들만 선별해서 볼 수 있으며, 이에 더하여 시스템 테이블이 ‘ object name'항목을 column으로 더 가지고 있다면, 사용자는 특정 페이퍼문서 상에서 내 친구 A가 생성한 object들 중에서 ’메모장‘만을 선별해서 볼 수도 있는 것이다. 일 실시예로, 사용자는 특정 페이퍼문서A를 선정하여 읽다가 페이퍼문서의 어떤 부분(예;문제3번)에 관해 다른 유저가 달아놓은 코멘트가 궁금할 수 있다. 그러면, 사용자는 (이미 book identity는 시스템에 식별되었으므로 생략하고) DIC Layer상에서 페이퍼문서를 보며 ’문제 3번‘을 드래그하고, 이에대해 searching명령을 시스템에 내릴 것이다. 그러면 시스템은 상기 A문서에서 문제 3번에 대해 다른 유저가 달아놓은 코멘트 모두를 제공할 수 있다. 그 후, 사용자는 그 코멘트의 양이 너무 많아서 보기에 불편하다고 느껴진다면, 코멘트를 달아놓은 사람들 중에서 수학능력이 높은 (이는, 시스템이 이미 가지고 있는 context정보를 통해 제공된다) 사람 순으로 정렬해서 그들이 문제 3번에 대해 달아놓은 코멘트(또는, 필기, 메모장 등)들을 선별해서 볼 수 있는 것이다.

이와같이, 시스템 테이블의 column항목을 조건으로 하여 사용자가 다른 유저가 생성한 object를 선별하여 보는 방법은, 시스템 테이블이 가진 column값이 많으면 많을수록 매우 다양한 상황을 연출할 수 있음을 당업자라면 쉽게 이해할 것이므로, 더 많은 예에 관한 설명은 생략한다.

23. 인증, 개인유별화 및 보안.

-대부분의 상황에서 유저의 신분은 공지되어진다. 그러나 때로는 이것은 ‘익명신분’으로되고, 때로는 캡쳐 디바이스의 일련번호에 의해서만 식별된다. 통상적으로 시스템은 시스템을 개인유별화하는 데에 사용될 수 있고, 특정활동 및 트랜잭션이 유저의 이름으로 수행될 수 있게 하기 위하여, 유저에관한 더욱 상세한 지식을 갖는 것이 필요하다.

시스템이 수행할 수 있는 가장 유용한 기능 중 하나는 유저가 페이퍼문서를 보며 액션을 가한것에 대한 유저의 레코드 및 문서 컨텍스트, 결과적으로 취해진 액션을 포함하는 그 액션에 관련된 임의의 추가정보를 유지하는 것이다. 이렇게 저장된 이력은 사용자와 시스템 모두에게 매우 유익하다. 이에 관한 자세한 사항은 ‘컨텍스트’챕터를 참조하라.

24. 모듈실행 결과를 디스플레이하는 방법

- 모듈실행결과는 상기 투명디스플레이의 레이어 상에 선택한 object와 겹치게,또는 그 근처에서 디스플레이하는 방법 이외에도, 모듈실행한 결과물을 레이어 이외의 영역에서도 할 수 있다. 예를 들어, 도면17,18에서 보듯이, 레이어 이외의 영역에서 상기 모듈실행의 결과물(도17-102,도18-107)을 디스플레이할 수 있다. 일 실시예에서, 투명디스플레이를 통해 비쳐진 페이퍼문서를 보며 선택영역을 지정하여 캡쳐 모듈을 실행하는 방법에 있어서, 사용자가 선택영역을 지정할 때 직관적으로 '손가락으로 그리듯'지정하는 방법이 있다. 이때, 손가락(혹은, 터치펜 등 다양한 수단으로 스크린에 표시할 수 있다)으로 디스플레이를 그리듯 터치하면 미리 설정된 특정 굵기와모양대로 사용자의 터치를 인식하여 인식하여 디스플레이 상에 그려지는 궤적과 동일한 영역에 해당하는 스캐닝이미지가 실시간으로 손가락이 지나간 공간(도19에서 107-4)을 채우도록 설정할 수 있다. 이런 방법은, 마치 페이퍼문서 위에 놓여진 뿌연 유리를 손가락으로 닦아내어 손가락이 지나간 자리에 해당하는 (유리 밑의)문서가 또렷이 보이는 느낌을 사용자에게 주게 되어, 좀 더 직관적인 인터페이스를 구현할 수 있게된다.

또는, 사용자 단말기가 디스플레이의 투과성을 띈 부분을 마음대로 조정하도록 허락한다면, 사용자는 모듈실행의 결과물도 사용자가 원하는 곳에서 열람할 수도 있다. 가령, 사용자가 투명디스플레이의 일부분을 투과성을 띈 부분으로 설정해놓고, 그 투과성을 띈 부분 아래에 페이퍼문서를 놓고 DIC 레이어를 일치키신 후, 선택영역을 지정하고 특정모듈을 실행하면, 그 결과물은 사용자가 지정한 불투명한 부분(투과성이 없는 디스플레이 부분)에 디스플레이 되도록 할 수도 있다. 이런 방법은 결과물을 넓게 펼쳐놓고 봐야 하는 상황에서 매우 유용할 수 있을 것이다.

Claims

페이퍼문서를 전자화하는 방법에 있어서, 상기 방법은 투명디스플레이 또는, 에어제스쳐 및 빔스크린 기능이 구비된 사용자 시스템에서 사용되기 위해,

(가) 사용자가 사용자 단말기(client device)를 통해 페이퍼문서의 book identity를 사용자 시스템에 식별시키는 단계.

(나) 투명디스플레이가 상기 페이퍼문서(혹은 그 일부) 위에 오버랩된 상태, 또는 빔스크린이 상기 페이퍼문서에 분사된 상태에서 사용자, 혹은 사용자 시스템의 제어에 의해 DIC Layer와 상기 페이퍼문서가 일치되게 오버랩되도록 DIC Layer의 위치가 조정되는 단계.

(다) 사용자,또는 사용자 시스템의 제어에 의해 상기 DIC Layer 상에 상기 book identity와 매칭된 digital identity 중 일부인 raw digitall identity가 디스플레이(또는, 빔스크린) 상에 표시되지 않은 채, 재현(선택되어 준비되거나, 매칭)되는 단계

및/또는

사용자,또는 사용자 시스템의 제어에 의해 상기 DIC Layer상에 상기 book identity와 매칭된 digital identity 중 일부인 extended digital identity(mark up data)가 생성, 또는 선택되어 재현(선택되어 준비되거나 매칭)되는 단계.

(라) 사용자 또는 사용자 시스템의 제어에 의해, 상기 DIC Layer상에 재현(선택되어 준비)된 상기 digital identity의 특정영역(또는, object)이 선정되어져, 사용자 시스템 상의 특정 액션이 실행되는 단계.

(마) 상기 (라)의 결과가 사용자 단말기에 구비된 디스플레이 상에 표시되는 단계.를 포함하는 방법.
제 1항에 있어서,

사용자 시스템의 시스템서비스가 상기 페이퍼문서에 대한 스캐닝이미지(또는, raw data), digital identity, DIC 모듈(DIC Layer), DIC Layer상에 노출될 식별단서, 상기 페이퍼문서를 고유하게 식별하기 위한 식별기호, 페이퍼문서를 고유하게 식별하기 위한 임계레벨 이상의 데이터소스 중 둘 이상을 생성,또는 확보하여 상기 페이퍼문서의 book identity와 (혹은, 서로) 매칭시켜 놓는 단계를 더 포함하는 방법.
제 2항에 있어서,

상기 시스템서비스는 하나 또는 다수의 웹서버에서 실행되는 웹서비스인 것을 특징으로 하는 방법.
제 2항에 있어서,

상기 스캐닝이미지는 특정 사용자의 사용자 단말기에 의해 획득되어짐과 동시에 시스템에 전송되어진 것이고, 시스템서비스는 상기 스캐닝이미지를 획득함과 동시에 이를 참조하여 실시간으로 digital identity, DIC 모듈(DIC Layer), DIC Layer상에 노출될 식별단서, 페이퍼문서를 고유하게 식별하기 위한 식별기호, 페이퍼문서를 고유하게 식별하기 위한 임계레벨 이상의 데이터소스 중 둘 이상을 생성하는 것을 특징으로 하는 방법.
제 2항에 있어서,

상기 사용자 시스템이 페이퍼문서에 대한 스캐닝이미지( 또는, raw data)를 획득하는 방법으로,

시스템을 이용하는 임의의 사용자가 페이퍼문서를 인쇄할 때, 페이퍼문서 상에 인쇄되어질 mark up정보(raw data)가 본 시스템의 특정 서버에 업로드되도록 미리 설정된 시스템 어플리케이션을 통해서 인쇄되도록 하는 것을 특징으로 하는 방법.
제 2항에 있어서,

digital identity는 시스템의 시스템서비스(data provider)에 의해 생성된 것이거나, 누군가로부터 생성되어져 시스템이 전송받은 것임을 특징으로 하는 방법.
제 6항에서, digital identity가 누군가로부터 생성되어지는 방법으로,

투명디스플레이, 또는 에어제스처와 빔스크린 기능이 구비된 휴대용 사용자 단말기(client device)에서 사용되기 위해

(a) 임의의 사용자가 사용자 단말기를 통해 페이퍼문서의 book identity를 시스템에 식별시키는 단계.

(b) 투명디스플레이가 상기 페이퍼문서(혹은 그 일부) 위에 오버랩된 상태에서, 혹은 빔스크린이 상기 페이퍼문서 상에 분사된 상태에서, 사용자, 혹은 사용자 시스템의 제어에 의해 DIC Layer와 상기 페이퍼문서가 일치되게 오버랩되도록 DIC Layer의 위치가 조정되는 단계.

(c) 상기 사용자가, 상기 사용자 단말기에서, 사전에 object define되어 있는 시스템 어플리케이션을 활용하여 상기 DIC Layer상에 object에 대한 property data를 생성시키는 단계.

(d) 상기 사용자,혹은 시스템의 제어에 의해, 상기 생성된 property data가 시스템의 특정 서버에 전송되는 단계

를 더 포함하는 것을 특징으로 하는 방법.
제 7항에 있어서, 상기 object는 여분의 필드로 define되어 있으며, 상기 여분의 필드는 ‘obect name, DIC Layer상에서의 위치,property data 생성시각,상기 페이퍼문서의 book identity, property data 생성자’ 중 하나 이상인 것을 특징으로 하는 방법.
제 7항에 있어서, 상기 방법은 시스템의 특정서버를 통해 상호 접속 중인 두명 이상의 사용자 사이에서 실시간 대화를 목적으로 사용되기 위하여,

임의의 일방에 의해 생성된 property data가 다른 일방의 어플리케이션 화면의 DIC Layer상에서 실시간 재현되어 표시되는 것을 특징으로 하는 방법.
제 9항에 있어서, 상기 property data 는 임의의 일방의 목소리를 포함한 음성data를 더 포함하는 것임을 특징으로 하는 방법.
제 1항에 있어서, (가)에서,

사용자가 사용자 단말기에 구비된 임의의 사용자 인터페이스(예;키보드,마우스,스캐너,터치스크린 등)나 임의의 판독수단(예‘바코드 판독기 등)을 활용하여 페이퍼문서를 고유하게 식별하기 위한 식별기호, 혹은 페이퍼문서를 고유하게 식별하기 위해 필요한 임계레벨 이상의 데이터소스를 단말기에 인식시켜서 사용자 시스템에 book identity를 식별시키는 것을 특징으로 하는 방법.
제 11항에 있어서,

페이퍼문서를 고유하게 식별하기 위한 임계레벨 이상의 data 소스를 단말기에 인식시키는 방법으로,

사용자 단말기에 구비된 스캐닝,이미징 능력을 갖는 스캐닝 엘리먼트로 페이퍼문서 상의 임의의 영역을 임계레벨 이상 캡쳐링하거나, 시스템 관리자와 사용자 간에 사전에 약속된 페이퍼문서 상의 특정영역을 캡쳐링하는 것을 특징으로 하는 방법.
제 12항에 있어서,

시스템 관리자와 사용자 간에 사전에 약속된 페이퍼문서의 특정영역은,

시스템의 제어에 의해, 사용자에게 프롬프팅된 것임을 특징으로 하는 방법.
제 12항에 있어서,

시스템이 상기 캡쳐링된 데이터를 원본(시스템에 의해 이미 book identity가 부여된 스캐닝이미지)에 비해 레이아웃(글자크기,이미지 위치, 글자모양,줄간격 등) 설정이 변경된 수정본으로 감지할 경우, 시스템이 획득한 상기 수정본의 이미지에서 레이아웃 설정정보를 파악하여 이와 동일하게 상기 원본을 변형시켜서, 변형되어진 data를 기초로 mark up data,또는 DIC Layer( DIC 모듈)를 생성시키는 단계를 더 포함하는 방법.
제 1항에 있어서, (나)에서,

스캐닝,이미징 능력을 갖는 스캐닝 엘리먼트가 투명디스플레이의 어딘가에 플레인 스캐너의 형태로 존재할 경우, 상기 스캐닝 엘리먼트가 캡쳐링한 이미지를 전송받은 시스템이 전송받은 이미지가 원본(book identity로 인해 식별된 스캐닝이미지)에서 차지하는 위치를 파악하여, 상기 스캐닝한 이미지가 원본의 중첩되는 부분과 오버랩되도록 DIC Layer의 위치를 조정하는 것을 특징으로 하는 방법.
제 15항에 있어서, 스캐닝 엘리먼트가 캡쳐링한 이미지를 시스템이 전송받는 방법으로,

시스템의 제어에 의해, 실시간 혹은 디스플레이가 움직일 때마다 스캐닝엘리먼트가 캡쳐링하여, 이를 실시간 전송하는 것을 특징으로 하는 방법.
제1항에 있어서, (나)에서,

사용자에 의해 상기 DIC Layer의 위치가 조정되어 상기 페이퍼문서와 일치될 수 있도록 사용자 시스템이 DIC Layer상에 식별단서를 제공하는 단계를 더 포함하는 방법.
제 17항에서, ‘식별단서’는;

스캐닝이미지의 일부이거나, digital identity의 레이아웃 표시 중 하나 이상인 것을 특징으로 하는 방법.
제 17항에서, 식별단서를 제공하는 방법으로,,

디스플레이의 크기 정보를 수신한 사용자 시스템이, 이와 매칭된 사전에 노출영역이 정해진 식별단서를 DIC Layer 상에 제공하거나, 전송된 정보와 매칭된, 즉 노출영역의 범위나 용량 등이 설정된 데이터 추출 모듈을 상기 페이퍼문서에 해당하는 raw digital identity에 대해 실행시켜서, DIC Layer 상에 추출된 데이터를 표시하는 것을 특징으로 하는 방법.
제 19항에서, 상기 디스플레이의 크기 정보를 수신하는 방법으로,

사용자에 의해 가로,세로가 (m*n)의 크기인 디스플레이가 회전하여 (n*m)으로 변경되면, 사용자의 회전명령신호에 의해, 혹은 디스플레이의 회전을 감지한 디스플레이가 상기 회전 사실을 사용자 시스템에 전송하는 것을 특징으로 하는 방법.
제 17항에서 식별단서를 제공하는 방법으로,

사용자 시스템이 디스플레이에 노출된 DIC Layer의 위치를 감지하여 이에 해당하는 영역에 대한 특정 기준치 이상의 식별단서를 실시간 추출하여 DIC Layer 상에 표시하는 것을 특징으로 하는 방법.
제 17항에서, 식별단서를 제공하는 방법으로,

사용자, 혹은 시스템의 제어에 의해 DIC Layer가 이동할 때에만, 식별단서가 표시되도록 하는 것을 특징으로 하는 방법.
제 1항에 있어서, (나)에서,

상기 페이퍼문서가 사용자에 의해 레이아웃이 변경된 수정본일 때, 시스템이 제공한 (사용자가 단말기에 인식시킨 book identity에 해당하는) 식별단서를 사용자가 페이퍼문서를 참조하여 이와 일치되도록 조작시킴으로써, DIC Layer 및/또는 해당 원본(스캐닝이미지 및 raw data)를 변형시키는 단계를 더 포함하는 방법.
제 1항에 있어서, (나)에서,

사용자가 사전에 약속된 규약에 따라 디스플레이의 특정 모서리와 페이퍼문서의 특정 모서리를 일치시키는 동작만으로도, DIC Layer와 상기 페이퍼문서가 일치될 수 있도록, 시스템이 디스플레이 상에 고정된 DIC Layer를 제공하는 단계를 더 포함하는 방법.
제 1항에 있어서, (나)에서,

시스템이 DIC Layer의 테두리를 사용자에게 식별시키고, 사용자가 이 테두리를 움직여 페이퍼문서의 테두리와 일치시키는 단계를 더 포함하는 방법.
제 1항의 (나)에 있어서,

시스템관리자와 사용자 간에 사전에 약속된 규약에 따라 사용자가 페이퍼문서의 특정영역과 투명디스플레이 상의 특정기호를 일치되게 오버랩시킴으로써, 시스템에 (투명디스플레이 상에서의)페이퍼문서의 위치를 인식시키고, 이를 단서로 시스템이 DIC Layer의 위치를 조정하는 단계를 더 포함하는 방법.
제 26항에서, 시스템관리자와 사용자 간에 사전에 약속된 규약은,

상기 book identity를 식별한 시스템이 사용자에게 프롬프팅한 것임을 특징으로 하는 방법.
제 26항에서, 사전에 약속된 규약에 따라 사용자가 페이퍼문서의 특정영역과 투명디스플레이 상의 특정기호를 일치되게 오버랩시키는 방법으로,

사용자가 투명디스플레이 상에서 사용자의 조작에 의해 움직임 가능한 특정 기호(예; 박스모양)를 사전에 약속된 페이퍼문서의 특정영역(예;페이지번호) 위에 오버랩하는 것을 특징으로 하는 방법.
제 26항에서, 사전에 약속된 규약에 따라 사용자가 페이퍼문서의 특정영역과 투명디스플레이 상의 특정기호를 일치되게 오버랩시키는 방법으로,

투명디스플레이 상에 고정된(사용자의 조작에 의해 움직임이 불가능한) 특정기호(예;박스모양)가 페이퍼문서의 특정영역(예;페이지번호) 위에 오버랩되도록 사용자가 페이퍼문서 및/또는 투명디스플레이의 위치를 조정하는 것을 특징으로 하는 방법.
제 1항에 있어서, (나)에서,

상기 투명디스플레이 상에서의 상기 페이퍼문서의 위치를 인식한 사용자 시스템이 상기 페이퍼문서와 일치되도록 DIC Layer의 위치를 조정한 후, 이후의 투명디스플레이의 움직임을 투명디스플레이 내부의 움직임 감지 엘리먼트를 통해 감지하여 이와 동일하게 DIC Layer가 이동되도록 제어하거나, 사용자가 DIC Layer를 이동시킬 수 있도록 안내하는 단계.
제 30항에 있어서, 움직임을 감지할 수 있는 엘리먼트가 움직임을 감지하는 방법은,

미세/표면 텍스쳐 센서를 활용하는 방법, 제스쳐를 검출하는 방법. 광학 데이터를 관찰하는 방법, 자이로/가속도계 모션 센서를 활용하는 방법, 기계장치(볼포인트, 롤러 등)를 활용하는 방법 중 하나 이상인 것을 특징으로 하는 방법.
제 31항에 있어서, 사용자가 DIC Layer를 이동시킬 수 있도록 안내하는 방법은,

상기 투명디스플레이의 이동거리와 방향을 감지한 사용자 시스템이 DIC Layer상에 상기 이동거리와 방향을 나타내는 특정 기호(예; 화살표)를 표시하여 사용자가 이를 단서로 DIC Layer를 움직일 수 있도록 안내하는 단계를 더 포함하는 방법.
제 1항의 (다)에 있어서, 시스템에 제어에 의해 mark up data가 생성되는 방법으로,

상기 페이퍼문서의 스캐닝이미지(또는, raw data) 외에도, 디바이스 식별자 정보, 사용자 컨텍스트 정보, 문서 컨텍스트 정보, 사용자의 데이터 스트림 중 하나 이상의 소스를 참고하여 시스템의 시스템 서비스가 생성하는 것을 특징으로 하는 방법.
제 1항의 (다)에 있어서, mark up data는 특정 기능성을 수행하기 위한 목적으로 생성되며, 사용자에게 식별되거나, 사용자에게 보이지 않고 기계적 사용으로만 판독되는 것을 특징으로 하는 방법.
제 1항의 (다)에 있어서, mark up data는 문서(스캐닝이미지 또는 페이퍼문서)의 특정 위치나 텍스트의 특정 위치, 및/또는 세그먼트와 연관지어져 생성되거나, 문서 자체의 특성(문서 컨텍스트 정보)에 기초하여 생성되거나, 외부 이벤트 및 데이터소스에 기초하여 생성되는 것을 특징으로 하는 방법.
제 1항의 (다)에 있어서, mark up data는 사용자에게 문서의 일부, 혹은 전체에 관한 부가정보를 제공하는 기능, 시스템에 문서의 전체, 혹은 일부에 관한 속성정보를 제공하는 기능. 특정 범위의 raw data를 함유하는 기능, 특정 트랜잭션을 유도하는 기능, 페이퍼문서(스캐닝이미지)의 선택영역을 지정하는 기능 중 하나 이상의 기능을 수행하는 것을 특징으로 하는 방법.
제 1항의 (다)에 있어서, mark up data는 사용자와 인터랙션하는 동적 마크업인 것을 특징으로 하는 방법.
제 37항에 있어서, 동적 마크업은, educational game기능을 수행하는 것을 특징으로 하는 방법.
제 1항의 (라)에 있어서, 상기 DIC Layer상에 재현(선택되어 준비되거나, 매칭)된 object가 선정되어지는 방법으로, 사용자가 시스템에게 제시한 조건(특정 column의 속성값)과 동일한(또는, 부합하는) 속성값을 지닌 object를 시스템이 선별하거나, 상기 선별된 object에서 사용자가 둘 이상의 column을 key값으로 제시한 것을 단서로 시스템이 선정하는 것을 특징으로 하는 방법.
제 1항의 (라)에 있어서, DIC Layer상에 선택영역(또는, object)가 지정되는 방법으로,

사용자가 직접 구역을 지정(예;드래그)하는 방법 이나 시스템의 제어에 의해 선택영역이 지정되는 방법 중 하나인 것을 특징으로 하는 방법.
제 1항의 (라)에 있어서, 지정된 선택영역(또는, object)에 해당하는 digital identity가 재현,또는 선택되는 방법으로,

시스템이 사용자가 투명디스플레이 상에 지정한 지점의 위치정보(좌표)를 시스템에 구비된 layer coodinator를 통해 변환시킨 후, 좌표에 해당하는, 하나 또는 다수의 서버 상에 위치한 digital identity를 선택 및 재현하는 것을 특징으로 하는 방법.
제 1항의 (라)에 있어서, 특정 액션은,

access기능, default 기능, 검색기능, 캡쳐링기능, 스크랩기능, 복사기능, 검색엔진에의 검색 기능, 사전검색 기능, 인증-보안-지불 기능 중 하나 이상의 기

능을 실행하는 것을 특징으로 하는 방법.
제 1항에 있어서, (라)에서, 특정 액션이 취해질 때,

사용자가 직접 시스템이 제공하는 옵션(메뉴) 중 하나를 지정하여 특정액션을 실해시키거나, 사용자 시스템의 제어에 의해 특정액션이 실행되어지는 것을 특징으로 하는 방법.
제1항에 있어서, (라)에서, 특정액션이 취해질 때,

사용자가 시스템과 인터랙팅한 이력이 시스템의 제어에 의해, 시스템에 구비된 데이터저장소에 기록되는 단계를 더 포함하는 방법.
제 44항에 있어서, 사용자가 시스템과 인터랙팅한 이력은,

digital identity에서, 사용자 또는 시스템의 제어에 의해 선택되어진 영역(또는,object)에 대해 특정액션이 실행된 시각, 선택영역에 해당하는 raw data, object name, object에 대한 property data, 선택영역(또는, object)이 DIC Layer상에서 차지하는 위치, 상기 페이퍼문서의 book identity, 디바이스 식별자 정보 중 하나 이상의 정보를 포함하는 것을 특징으로 하는 방법.
제 44항에 있어서,

상기 데이터 저장소에 기록된 데이터는 시스템의 시스템서비스에 의해 시스템에 필요한 여분의 정보로 가공(생성)되어 상기 사용자,또는 시스템을 이용하는 다른 사용자들에게 제공되는 단계를 더 포함하는 방법.
제 1항에 있어서, (라)에서,

특정액션이 취해질 때, 메모리에 저장된 빌링(billing), 가입, 디바이스 식별자 정보 중 하나 이상을 활용하는 단계를 포함하는 방법.
제 1항에 있어서, (마)에서, 상기 (라)의 결과가 사용자의 디스플레이 상에 표시되는 방법으로,,

사용자, 혹은 시스템의 제어에 의해, 특정 굵기와 모양으로 사용자의 터치가 인식되도록 사전에 설정되어 있을 때, 사용자의 터치에 따라 디스플레이 상에

생성되는 공간(특정 굵기와 모양의 공간의 연속으로 생성된 궤적)에 상기 공간에 해당하는, 재현된digital identity가 사용자의 터치(궤적)을 따라 실시간 표시되는 것을 특징으로 하는 방법.
제 1항에 있어서, (마)에서, 상기 (라)의 결과가 사용자의 디스플레이 상에 표시되는 방법으로,

사용자 단말기의 os 및 본 시스템의 어플리케이션이 제공하는 서비스에 의해, 사용자가 투명디스플레이 상에서 임의로 투명과 불투명의 영역을 조정할 수

있을 때, 투명한 영역에서만 DIC Layer가 활성화되고 불투명한 영역에서는 DIC Layer가 비활성화되도록 하여, 비활성화된 불투명한 영역 중에서 사용자,혹은 시스템의 제어에 의해 선택된 지점에 상기 (라)의 결과물이 표시되는 것을 특징으로 하는 방법.
전술한 항에 있어서, 시스템의 제어란,

사용자 컨텍스트 정보, 문서 컨텍스트 정보, extended 컨텍스트 정보, 마크업데이터, raw data ,processing data, 데이터 스트링, 검색엔진에의 결과값 중 하나 이상의 분석으로부터 유도되어지거나, 사용자가 레이어 상에 재현된 보이는,또는 보이지 않는 마크업을 선택함으로써 유도되어지는 것을 특징으로 하는 방법.
전술한 항 중 어느 하나의 항에 있어서, 상기 사용자 시스템은 하나 또는 복수의 서버를 포함하는 통신망에 연결되어 있으며, 상기 digital identity는 상기 하나 또는 복수의 서버 상에, 또는 상기 사용자 시스템 상에 국부적으로 위치하는 방법.
전술한 항들 중 어느 하나의 항에 따른 방법을 수행하기 위한 수단을 포함하는 사용자 시스템.
빔스크린기능과 페이퍼문서에 분사된 빔스크린 상에서 사용자의 손동작을 인식하는 에어제스쳐 기능이 구비된 단말기와,

제 53항에 따른 사용자 시스템과,

상기 단말기 및 상기 사용자 시스템 사이의 연결부를 포함하는 시스템.
페이퍼 문서 위에 오버랩되어 배치되는 투명디스플레이와,

제 53항에 따른 사용자 시스템과,

상기 투명디스플레이 및 상기 사용자 시스템 사이의 연결부를 포함하는 시스템.
제1항 내지 52항 중 어느 하나의 항에 따른 방법을 수행하기 위한 컴퓨터 판독가능 명령어를 포함하는 컴퓨터 프로그램.