KR101495492B1 - 투명디스플레이를 통해 페이퍼문서를 전자화하고 활용하는 방법 및 시스템. - Google Patents

Abstract

사용자는 투명디스플레이가 유,무선으로 연결된 clienct device를 소지하고 있다. 사용자는 특정 페이퍼문서를 선정하여 이 페이퍼문서의 book identity를 시스템에 식별시킨다. 예컨대, isbn넘버를 입력한다거나, 책이름,책저자 등을 입력하는 것과 같은 키보드 기반(도1-101)입력방식이나, 페이퍼문서의 어딘가를 캡쳐링하는 기계적방식(도1-102)을 이용한다. 이러한 사용자의 입력은 필요한 경우, 문의구성을 위한 별도의 프로세스(도1-106,110,103)를 거친 후, 서버에 전송되고, 이를 수신한 서버는 서버가 보유한 페이퍼문서들에 관한 사항을 정리해둔 자료구조체인 refernce table(도1.107)과 비교하여 유일한 book identity를 식별한다. 그리고, 이러한 book identity에 연관된 전자부본,마크업 및/또는 문서컨텍스트 정보를 파악해둔다. 그리고, 이렇게 파악한 문서컨텍스트 정보에서 상기 페이퍼문서의 물리적 크기를 client device의 E.C.I Layer unit(도1-111)에게 알려주어 동일한 크기의 투명/반투명 레이어인 E.C.I Layer가 투명디스플레이 상에 재현되도록 돕는다. 이후, 상기E.C.I Layer unit은 client device가 획득한 페이퍼문서의 위치를 가늠할 수 있는 정보를 실시간 수신하여 상기 전자부본(도1-113)과 비교,연산(도1-112)함으로써, E.C.I Layer를 페이퍼문서와 일치시킨다. 이후 이러한 E.C..I Layer상에 전자부본(도1-113),또는 마크업이 재현된다. 이때, 전자부본은 보이지 않게 재현되어, 사용자가 지목한 지점에 대해 사용자가 의도한 액션(도1-121)이 실행되도록 함으로써, 사용자는 단순히 투명디스플레이를 페이퍼문서에 오버랩하고, 투명디스플레이를 투과해보이는 페이퍼문서를 보면서 손가락으로 지목하는 단순한 동작으로, 페이퍼문서가 사용자의 터치에 반응하는 듯한 가상현실적 체험을 할 수 있게 되는 것이다. 또한, 상기 E.C.I Layer상에 마크업(도1-122)이 재현되면, 사용자는 페이퍼문서의 특정 object(예;특정 단어,문장)상에서 발광하는 마크업을 단순히 선택하는 동작만으로도 상기 특정 object와 연관된 부가정보(예;멀티미디어 컨텐츠)를 손쉽게 열람할 수 있게된다. 이때, 상기 E.C..I Layer상에 재현되는 마크업은 시스템에 구비된 별도의 markup provider(도1-123)가 사용자의 요구나 시스템이 미리 파악해둔 켄텍스트 정보를 참조하여 실시간 생성될 수도 있다.

Description

투명디스플레이를 통해 페이퍼문서를 전자화하고 활용하는 방법 및 시스템.{.}

본 발명은 컴퓨터 인터페이스에 관한 것으로, 종이-기반 정보를 전자정보로 향상시키는 새로운 방법에 관한 것이다. 더욱 구체적으로, 본 발명은 사용자가 투명디스플레이를 통해 보여지는 페이퍼문서를 보며 투명디스플레이(또는,페이퍼문서)를 터치하면, 단말기가 사용자가 터치한 지점에 해당하는 데이터를 추출하여, 특정모듈이 실행되도록 함으로써, 사용자가 직접 페이퍼문서를 보며 조작(활용)하는 듯한 가상현실적 체험을 하게 하는 방법에 관한 것이다. 또한, 특정 페이퍼문서에 관련된 부가정보(마크업)를 투명디스플레이상에 표시되도록 하여, 사용자가 투명디스플레이를 통해 보이는 페이퍼문서를 보며 관심이 가는 부분을 단순히 터치하는 것 만으로도 그와 관련된 부가정보를 손쉽게 열람하도록 하는 방법에 관한 것이다. 더 나아가, 본 발명은 상기 부가정보의 제작권한을 일반 사용자에게 허용함으로써, 동일한 페이퍼문서를 읽는 독자들끼리 페이퍼문서에 관한 다양한 부가정보들을 서로 공유 및 유통되도록 함으로써, 종이기반 정보의 한계를 극복하고 막강한 정보의 확장성을 가능케하는 컴퓨터 인터페이스에 관한 것이다.

페이퍼문서를 전자화하여 활용하는 방법으로, 가장 전통적인 방식은 사용자 단말기(컴퓨터)와 케이블로 연결된 외부 디바이스인 스캐너로 페이퍼문서를 스캔하고, 모니터 상에 렌더링된 스캔이미지를 보면서 활용(편집,조작, 검색 등)을 하는 것이었다. 그러나, 이런 방법은 페이퍼문서와 모니터가 분리되어 있어서, 사용자는 페이퍼문서를 간단히 활용(편집이나 검색 등)하기 위해서 비교적 복잡한 과정들을 거쳐야하며, 활용결과를 보기 위해서 모니터와 페이퍼문서로 시야를 이동해야하는 단점이 있었다. 또한, 전술한 외부 디바이스로써의 스캐너는 휴대가 곤란하기도 하며, 무엇보다 저작권이 있는 저작물을 아무런 제재없이 스캔하는 것에 대한 실세상의 문제로 인해, 저작물의 활용에 제약을 받아왔다.
페이퍼문서를 전자화하여 활용하는 방법으로, 사용자가 ‘검색’만을 목적으로 한 경우 가장 전통적인 방식은, 페이퍼문서 상의 특정 단어나 문구를 직접 컴퓨터나 전자서전에 입력하는 방법이었다. 이 방법은, 비교적 휴대가 간편하다는 이점이 있기도 했으나, 사용자가 일일이 스펠링을 입력시켜야 하며, 페이퍼문서와 디바이스간에 시야를 이동시켜야 하는 불편함이 있었다.
페이퍼문서를 전자화하여 활용하는 방법으로, 스캐닝엘리먼트가 플레인 스캐너의 형태로 내부에 구비된 투명디스플레이를 활용하는 방법이 있다. 이 방법은 투명디스플레이를 페이퍼문서 위에 오버랩시킨 후, 페이퍼문서의 원하는 부분만 스캐닝하여 디스플레이 상에 디스플레이된 스캐닝이미지를 그래픽소프트웨어를 통해 조작하는 방법이다. 이 방법은, 전술한 두가지 방법에 비하여 사용자의 시야를 흩트리지 않음은 물론, 페이퍼문서를 직접 조작하는 듯한 가상현실적 체험을 할 수 있다는 이점이 있지만, 생산자의 입장에서는 투명디스플레이 상에 투명한 스캐닝엘리먼트를 구비해야 하는 것에 대한 현실적 어려움과 높은 투자비가 드는 단점이 있고, 사용자의 입장에서는, 예컨대, 페이퍼문서 상의 단어 검색하하기 위해서는 특정 단어 하나하나마다 일일이 디스플레이를 갖다대어 스캐닝해야해서, 그로인한 전력소모가 빠르다는 단점이 있으며, 디스플레이 크기를 초과하는 범위의 문서를 한번에 이미지로 획득하지 못하므로, 차후 복잡한 합성프로세스(예;오토코릴레이션)를 따로이 실행해야하는 어려움이 있었다. 또한, 페이퍼문서의 저작권자(저자,출판사 등)의 입장에서는 이 방법 역시 페이퍼문서를 스캐닝하여 이미지를 획득하는 방법으로 인해, 저작권의 보호가 되지 않는다는 단점이 있었다.
페이퍼문서를 전자화하여 활용하는 방법으로, 종이책에 탄소성분의 코드좌표를 인쇄하고 제작자가 미리 해당 코드좌표와 특정 컨텐츠를 매칭시켜놓는 방법이 있다. 이 방법은, 출판업자 입장에서는 미래에 출간될 책을 위해 출판공정 상에 물리적 변화를 주어야한다는 단점이 있고, 사용자의 입장에서는 과거에 이미 출간/배포된 이 방법을 이용할 수 없다는 단점과 더불어, 종이책의 어떤 부분에 어떤 컨텐츠가 첨부되어 있는지 알 수 없으며, 제작자가 일방적으로 매칭시켜놓은 컨텐츠를 일방적으로 열람할 수 밖에 없음으로 인해 사용자의 개입에 제약을 받고 개인화/맞춤화된 정보를 제공받을 수 없다는 단점이 있었다.

페이퍼문서를 그와 관련된 전자정보로 확장시키는 방법으로, 가장 전통적인 방식은 사용자가 종이문서를 보며 선택한 문구 등을 직접 사용자 디바이스 상에 입력(키보드)하여 검색하는 방식이다. 이런 방법은, 통상적으로 많은 사람들에 의해 사용되는 방법으로써, 가령, 신문을 보다가 모르는 단어나 궁금한 인물에 대해 검색하고 싶을 때, 사람들은 그들이 가진 인터넷이 가능한 단말기(노트북,스마트폰 등)을 활용하여 일일이 키보드를 통해 입력해야했다. 이런 방법은 일반적인 문서를 읽는 독자들에게는 그러한 일련의 과정이 큰 불편을 초래하지는 않았지만, 전문적이며 다양한 외국어를 함유한 책을 공부해야하는 학습자에게는 일일이 단말기에 외국어를 포함한 문자의 스펠링을 입력하는 방법은 상당히 귀찮은 과정이었다. 또한, 독자가 페이퍼문서와 디바이스를 오가며 시야를 이동시켜야 하는 기존의 방법은 독자의 페이퍼문서에 대한 몰입도를 떨어뜨리는 것은 물론, 사용자가 디바이스에 입력하여 검색한 결과물 역시 페이퍼문서의 맥락과는 전혀 상관없는 것이어서 이또한 사용자의 몰입도를 방해하는 요인이기도 하였다.
페이퍼문서를 그와 관련된 전자정보로 확장시키는 다른 방법으로,, 종이책에 탄소성분의 코드좌표를 인쇄하여 해당 코드좌표와 특정 컨텐츠를 매칭시켜놓는 방법이 있다. 이 방법은 출판업자의 입장에서는 미래에 출간될 책을 위해 출판공정 상에 물리적 변화를 주어야 한다는 단점이 있고, 사용자의 입장에서는 과거에 이미 출간/배포된 문서에 대해서는 이 방법을 적용할 수 없다는 단점이 있었다. 또한, 사용자는 종이책의 어느 부분에 어떤 컨텐츠가 첨부되어 있는지 알 수 없어서 일일이 눌러봐야하는 단점이 있다. 또한, 이러한 방법은 컨텐츠를 제공하는 주체가 오로지 ‘제작자’에 국한되어 있어서 동일한 책을 본 다른 독자들의 의견, 및 동향을 파악할 수 없다는 단점이 있었다. 또한, 이러한 방법은, 사용자 각각의 흥미나 관심도와 무관하게 제작자가 일방적으로 제공한 컨텐츠를 단순히 선택하기만 해야 한다는 단점이 있었다.
페이퍼문서를 그와 관련된 전자정보로 확장시키는 또 다른 방법으로, 페이퍼문서를 참조하여 생성한 하이퍼텍스트 문서를 특정 웹서버에 저장하여, 사용자가 특정 페이퍼문서 위에 투명디스플레이를 오버랩하고, 페이퍼문서의 모서리에 투명디스플레이의 모서리를 맞추는 동작을 하면, 시스템이 사용자가 선택한 페이퍼문서에 해당하는 하이퍼텍스트 문서를 투명디스플레이에 렌더링시키는 방법이 있었다. 그러나 여기서 제공되는 하이퍼텍스트 문서는 제작자에의해 일방적으로 제작되어져야하며, 그것의 생성을 위해 상당부분 번거로움을 감수해야했다.. 또한, 시스템은 다른 유저의 동향을 동시에 파악하여 사용자들에게 가장 인기있는 정보를 나열하여 제공해줄 수 없음은 물론, 사용자에게 맞춤화된 정보도 제공할 수 없다는 단점도 있다. 또한, 이 방법은 투명디스플레이와 페이퍼문서의 특정모서리(예;오른쪽 모서리)를 맞춤으로써 대략적으로 투명디스플레이와 페이퍼문서를 일치시키는데, 이는 페이퍼문서(책)의 크기가 천차만별인 것을 감안했을 때, 현실적으로 통용되기 불가능한 요소를 가지고 있었다..
이외에도, 기존의 모든 방법은 페이퍼문서에 관해 제작자가 사전에 제공하고자 하는 전자정보를 사용자가 단순히 선택하여 열람하는 것에 국한되어 있지 사용자가 페이퍼문서에 전자정보를 첨부하고 이를 공유하는 방법에 관한 것은 없다. 즉, 사용자는 페이퍼문서를 보면서 따로이 자신의 생각이나 자료들을 첨부하고 싶을 때는 페이퍼문서에 직접 펜으로 글을 쓰거나, 표시를 하고, 포스트 잇 등을 활용하여 물리적 문서에 직접 조작을 가해야했다. 이런 과정은 사용자에게 매우 귀찮은 과정임은 물론, ‘종이’라는 물리적 한계로 인해, 필기공간이 부족하거나, 책이 더러워져서 차후에 보기 어려워지는 문제도 발생하였다. 또한, 이렇게 물리적 세계에서 페이퍼문서에 직접 부가정보를 첨부 및 조작하는 방식은, 생성된 부가정보를 따로이 정리하고, 정렬하여 보기 어려운 문제도 있었음은 물론, 동일한 페이퍼문서를 열람한 다른 유저가 생성한 부가정보도 열람할 수 없다는 단점이 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로 사용자가 페이퍼문서의 저작권을 보호하면서도, 페이퍼문서를 활용하여 생성되는 2차가공물을 열람하며, 페이퍼문서와 관련된 막강한 전자정보를 열람하고 공유할 수 있도록 하는 것에 그 목적이 있다.
더욱 구체적으로는,
첫째, 본 발명은 페이퍼문서를 전자화하여 활용하기 위하여 기존에 제안된 방법들이 ‘물리적 세계의 변화’(플레인 스캐너를 사용자 각각이 구비하거나, 페이퍼문서에 코드좌표를 따로이 인쇄해야하는 등)를 반드시 주어야 했던 현실적 제약과 그로인한 비용소모에 대한 부담을 해소하는 것을 목적으로 한다.
둘째, 본 발명은 기존에 제안된 방법(페이퍼문서를 스캔하여 전자화한 다음, 이를 활용하는 방법)에 필연적으로 따라오는 저작권문제를 해소하는 것을 그 목적으로 한다.
셋째, 본 발명은 기존에 제안된 방법으로 사용자에게 제공되는 상기 2차가공물의 특징인 폐쇄성과 비개인성을 극복하는 것을 그 목적으로 한다.
넷째, 본 발명은 플레인 스캐너가 구비된 단말기가 페이퍼문서를 원활하게 인식하기 위하여 디스플레이의 크기에 제약을 받을 수 밖에 없는 물리적 세계의 문제을 극복하도록 하는데에 그 목적이 있다.
다섯 번째, 본 발명은 페이퍼문서를 인식하기 위하여 스캐너를 활용할 때 필연적으로 따라오는 문제였던 (단말기나 종이의 미세한 움직임으로 인해) 이미지가 깨지는(혹, 번지는) 현상과 페이퍼문서 상에 사용자의 첨가본(낙서,필기)도 동시에 스캐닝되어 깨끗한 원본의 이미지를 얻을 수 없는 현실적 문제를 극복하는 데에 그 목적이 있다.
여섯번째, 본 발명은 사용자가 페이퍼문서를 보는 와중에 생기는 궁금증을 위해 별도의 디바이스를 구비하고 검색어를 입력해야 하는 불편함을 해소하는 것을 그 목적으로 한다.
일곱번째, 본 발명은 특정 페이퍼문서에 관한 전자정보를 언제나 최신의 상태로 유지하여 사용자에게 제공하고 더 나아가 사용자에게 적합한(유효한) 전자정보를 제공하는 것을 그 목적으로 한다.
여덟번째, 본 발명은 특정 페이퍼문서에 관한 전자정보를 단순히 열람하고 소비하는 것에 그치지 않고, 직접적으로 특정 페이퍼문서에 관해 사용자가 첨부(부가)하고 싶은 정보를 사용자의 투명디스플레이 상에서 사용자가 직접,손쉽게 생성할 수 있도록 허용함으로써, 부가정보를 손쉽게 정렬 및 분류하여 개인화할 수 있도록 함은 물론, 생성한 부가정보를 동일한 페이퍼문서를 열람한 다른 유저들에게도 공유될 수 있도록 함으로써, 사용자들에게 막강한 정보를 제공하는 것을 그 목적으로 한다.
아홉번째, 본 발명은 투명디스플레이를 통해 페이퍼문서를 전자화하고자 할 때, 사용자가 구비한 투명디스플레이의 크기와 페이퍼문서의 크기가 비슷(내지 동일)해야 하는 기존의 현실적 제약을 극복하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따르면,
페이퍼문서를 전자화하는 방법에 있어서, 상기 방법은 투명디스플레이가 구비된 사용자 단말기(client device)와 시스템서버가 통신망으로 연결된 시스템에서 사용되는 것으로,
(가) 시스템이 사용자 단말기(client device)를 통해 특정 페이퍼문서의 book identity를 식별하는 단계;
(나) 투명디스플레이가 상기 특정 페이퍼문서에 오버랩된 상태에서, 시스템에 의해 E.C.I Layer가 상기 특정 페이퍼문서와 일치되는 단계;
(다) 시스템이 상기 E.C.I Layer 상에 상기 (가)단계로부터 식별한 전자부본을 보이지 않게 재현(reproduce)하는 단계;
및/또는 시스템이 상기 E.C.I Layer 상에 상기 (가)단계로부터 식별한 markup을 재현(reproduce)하는 단계;
(라) 시스템이 상기 전자부본 또는, markup에 대해 특정 액션을 실행시키는 단계;
(마) 상기(라)의 결과물이 상기 사용자단말기에 구비된 디스플레이 상에 렌더링되는 단계;를 포함하는 것을 특징으로 하는 방법.

본 발명의 페이퍼문서를 전자화하는 방법에 따르면,
첫째, 사용자는 페이퍼문서를 투명디스플레이 위에 오버랩한 후, 투명디스플레이를 통해 투과해보이는 페이퍼문서를 보며 원하는 영역을 손가락으로 터치( 혹은, 드래그)하거나, 투명디스플레이 상에서 발광하는 아이템(하이라이트, 심볼,여타의 그래픽 기호 등)을 터치(혹은 선택)하는 동작만으로도, 페이퍼문서와 연관된 전자정보를 손쉽게 열람할 수 있게 된다. 이는, 사용자가 페이퍼문서를 보며 선택한 문구(단어,문장, 혹은 아이템 등)를 검색하기 위하여 다른 디바이스로 시야를 옮겨야하는 불편함을 해소하여, 사용자의 페이퍼문서에 대한 몰입을 방해하지 않게 하고, 더 나아가 페이퍼문서와 연관된, 맥락성있는 정보를 열람할 수 있게 되어, 사용자의 페이퍼문서에 대한 이해도를 높여줄 수 있다.
둘째, 페이퍼문서에 관련된 전자정보를 제공하는 방법으로 기존의 방법들이 오로지 제작자가 일방적으로 제작한 것을 사용자가 단순히 열람만 하는 방식이었는데 반해, 본 출원에서는 사용자 개개인의 컨텍스트를 분석하여 시스템의 시스템서비스(data provider)가 사용자 각각의 기호(관심과 흥미도,혹은 필요)에 맞도록 전자정보를 생성하여 제공하는 방식을 취함으로써, 사용자는 언제나 최신의 정보나 개인화된 유효한 정보를 열람할 수 있게 되고, 광고주를 포함한 상업적 이해관계인에게는 매우 유효한 광고나 서비스를 제공할 수 있는 장을 열어주기도 하며, 시스템은 또한 이를 통해 그들(상업적 이해관계인)에게 상업적으로 이용가능한 정보를 제공해줄 수도 있다.
셋째, 페이퍼문서에 대한 전자정보의 생성자는 오로지 ‘제작자’였던 기존의 방식에서 벗어나, 사용자 각각이 페이퍼문서에 대한 부가정보(마크업)의 제작자가 되도록 허용하는 본 발명의 방식은, 사용자가 물리적 세계에서 페이퍼문서 상에 부가정보를 첨부하고 싶을 때, 책이나 노트에 일일이 필기를 하고, 포스트 잇을 붙이고 색연필로 칠하는 등의 번거로운 과정을 수행해야 했던 불편함을 감수하게 해주며, 사용자가 차후 생성한 부가정보를 자신이 원하는 기준으로 손쉽게 정렬하고 정리하여 볼 수 있게 해줌으로써, 기존의 물리적 세계에서 행해져온 방법에서 제공할 수 없었던 사용자 지향형 인터페이스를 제공할 수 있게 한다. 또한,이렇게 생성된 부가정보를 다른 유저와 공유할 수 있도록 허용함으로써, 사용자는 동일한 페이퍼문서를 읽는/읽었던 다른 유저가 해당 페이퍼문서 상에서 작성/첨부한 부가정보를 사용자가 원하는 기준(페이퍼문서 상에 원하는 위치, 마크업 생성 식별자, 등)으로 선택하여 볼 수 있게되어, 기존에 제작자가 일방적으로 제공하던 부가정보를 단순히 열람하던 방식에 비해 월등히 막강한 정보를 유기적으로 제공받을 수 있게 된다.
넷째, 본 발명에서 E.C.I Layer와 페이퍼문서를 일치시키는 구성은, 페이퍼문서의 크기와 디스플레이(,)의 크기가 동일/또는 비슷해야만 했던 기존의 현실적 제약을 극복하고, 어떤 책이나 디바이스에서도 호환될 수 있도록 해줌으로써, 본 발명의 효용성을 높여준다.
다섯째, 사용자 입장에서, 사용자 각각이 페이퍼문서를 스캐닝하거나, 별도의 디바이스에 일일이 검색어를 입력하여야 하는 번거로운 과정 없이, 식별기호를 단말기에 인식시키는 간단한 절차만으로 페이퍼문서를 자유롭게 활용할 수 있어서 편리하며, 생산자의 입장에서는 단말기에 별도의 값비싼 인식수단(예;플레인 스캐너, 광학렌즈 등)을 구비시키거나, 종이책의 인쇄공정과정에 변화를 주어야 하는 등의 현실적 어려움과 부담을 감수하지 않아도 되므로 사용자와 생산자(시스템 제공자) 모두에게 유리하다.
여섯째, 본 발명의 특징 중, E.C.I Layer상에 선택영역에 재현된 전자부본에 대해 특정모듈이 실행될 때, 인증,보안,지불의 프로세스가 동시에 진행되도록 하는 구성은 기존의 방법에서 항상 논란이 되어왔던 저작권문제을 사전에 원천봉쇄할 수 있게 해주고, 정당한 저작물 유통의 장을 열어줌으로써 사용자와 저작권자 모두에게 유리할 수 있다.
일곱째, 전자부본 및/또는, markup에 대해 특정 액션이 실행될 때, 여분의 필드(속성정보)가 추가되어 시스템에 저장되도록 하는 구성은 차후 이들을 단서로 사용자에게 적합하며, 관련성있는 막강한 정보를 시스템이 가공할 수 있도록 해주어, 기존에 일방적으로 시스템관리자에 의해 제공되던 2차 가공물의 폐쇄성과 비개인성을 극복하여 막강한 정보확장성과 개인화를 이루어준다.
여덟째, 사용자가 투명디스플레이 상에서, 페이퍼문서를 보며 손가락으로 특정 영역을 지정하면, 이에 해당하는 전자부본과 매칭시켜 주는 기능을 하는 E.C.I Layer를 활용하는 구성은 투명디스플레이의 크기와 페이퍼문서의 크기가 일치하지 않아도 사용자가 투명디스플레이 상에서 페이퍼문서를 보며 아무렇게나 지정한 영역을 단말기가 제대로(사용자가 페이퍼문서의 어떤 부분을 의도로 하고 있는가를) 파악할 수 있도록 해준다. 이는 디스플레이의 크기에 제약을 받아왔던 (플레인 스캐너가 구비된 투명디스플레이와 같은) 기존의 방법에 비하여, 획기적으로 디스플레이 크기에 대한 자유를 가져다 준다. 이는 다른말로, 핸드폰이나 타블릿 등 디스플레이의 크기가 천차만별인 모든 디바이스에서 그 크기가 천차만별인 모든 페이퍼문서에 대해 본 발명의 방법을 적용할 수 있게 되는 것이다. 또한, 레이어는 디스플레이보다 크기가 큰 페이퍼문서의 이미지도 복잡한 편집과정을 수행할 필요가 없이 단말기가 한번에 획득할 수 있게 해줌으로써, 사용자가 디스플레이를 페이퍼문서의 여기저기를 옮겨다니며 스캐닝하고 합성해야하는 번거로운 과정을 면케해준다.
아홉째, 페이퍼문서를 스캐닝하여 전자화하는 기존의 방법에 비해, 이미지의 번짐 내지 깨짐 현상을 근본적으로 방지할 수 있어서, 사용자는 미세한 움직임을 제어하려고 의식적으로 노력해야 하는 기존의 수고로움을 감수하지 않아도 되며, 페이퍼문서를 스캔할 때 페이퍼문서의 인쇄본 이외에 첨가분(필기나 낙서 등)도 동시에 스캐닝되는 문제를 극복할 수 있어서, 언제 어디서든 깨끗한 원본 문서를 (사용자가 특별한 주의를 기울이지 않아도) 흔들림 없이 단말기에 인식시킬 수 있게 된다.

도1은 본 발명의 일실시예에 따른 데이터 흐름도.
도2은 전형적인 작동환경에서의 시스템의 구현에 포함되는 구성요소들을 나타내는 도면.
도3는 시스템의 일실시예에서 페이퍼문서의 움직임을 감지하는 움직임감지장치가 투명디스플레이의 베젤의 하부면,에 구비된 모습를 나타내는 도면.
도4는 시스템의 일실시예에서 E,C,I Layer가 페이퍼문서와 일치되는 원리를 나타내는 도면.
도5은 시스템의 일실시예에서 사용자가 digital translucent layer 상에 노출된 signiture를 참조하여 페이퍼문서와 digital translucent layer를 일치시키는 모습을 나태내는 도면.
도6은 시스템의 일실시예에서 사용자가 투명디스플레이 상에 지목한 지점에 대해 client device에 구비된 별도의 디스플레이에 그 결과물이 렌더링되는 모습을 나타내는 도면.
도7은 시스템의 일실시예에서 사용자가 digital tranlucent layer 상에 노출된 간접적 signiture를 참조하여 페이퍼문서와 digital translucent layer가 일치되도록 하는 모습을 나타내는 도면.
도8는 시스템의 일실시예에서 사용자가 투명디스플레이 상에 노출된 특정 기호를 페이퍼문서의 약속된 영역에 오버랩시킴으로써, 페이퍼문서와 E.C.I Layer가 일치되도록 시스템에게 단서를 제공하는 모습을 나타내는 도면.
도9은 시스템의 일실시예에서 사용자가 투명디스플레이 상에서 지목한 페이퍼문서의 특정 단어에대해 시스템이 사전검색한 결과물이 투명디스플레이 상에 렌더링된 모습을 나타내는 도면.
도10은 시스템의 일실시예에서 투명디스플레이 상에서 사용자가 그리는 궤적에 해당하는 페이퍼문서가 실시간 캡쳐링되어 투명디스플레이 상에 렌더링되는 모습을 나태내는 도면.
도11는 시스템의 일실시예에서 투명디스플레이 상에서 사용자가 직접 페이퍼문서의 특정영역에 대해 연관시키고자 하는 마크업(필기)를 생성시키는 모습을 나타내는 도면.

본 명세서에 개시되어 있는 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로, 본 발명의 개념을 이러한 실시예들에 한정되는 것으로 해석되어서는 아니된다. .
본 발명의 광범위한 목적은 페이퍼문서가 그 물리적 한계로 인해 제약받아왔던 폐쇄성을 극복하고 다양한 전자정보로 향상될 수 있도록 하고, 사용자가 전자정보를 열람함과 동시에 이를 생성할 수 있도록 하여, 막강한 정보를 시스템 사용자 간에 공유할 수 있도록 하기 위함이다.
본 발명은 사용자가 특정 페이퍼문서를 지목하여 이의 book identity를 단말기에 인식시킨 후, 사용자 시스템 상의 데이터저장소(사용자 단말기의 메모리, 또는 통신망과 연결된 하나 또는 복수의 서버)에 미리 저장되어있는 (혹은, 즉시 생성한) 페이퍼문서와 매칭된 전자부본(예;스캐닝이미지)을 불러와서 표시되지 않도록 (투명하게) 디스플레이상에 재현시킨 후, 사용자가 투명디스플레이를 통해 투과해 보이는 페이퍼문서를 보며 원하는 영역을 투명디스플레이상에 직접 선정하면, 시스템이 사용자가 선정한 영역에 해당하는 전자부본(예;스캐닝이미지)를 추출하여 이에 대해 사용자,혹은 시스템이 선정한 특정액션을 실행하는 것이다. 또는, 다른 일실시예에서, 투명디스플레이상에 상기 페이퍼문서와 관련된 부가정보(mark up data)를 사용자의 투명디스플레이상에 표시시킴으로써, 사용자가 페이퍼문서 상에 발광하는 object를 직접 선정토록 하는 것을 그 특징으로 한다.
이하, 본 발명에서 쓰이는 용어의 개념을 설명하고. 청구항에 나타난 다양한 방법들의 개념을 구체적으로 설명한다.

1. 시스템.
시스템은 페이퍼문서를 전자화하려는 목적으로, 투명디스플레이가 구비된 client device가 하나,또는 다수의 서버와 통신망으로 연결되어, 사용자와 인터랙션하는 일련의 체계를 말한다.

1-1. 구성요소.
1-1-1. client device.
페이퍼문서를 전자화하려는 목적으로, 시스템이 관리하는 하나, 또는 다수의 시스템서버와 송수신할 수 있는 통신망으로 연결된 사용자 환경으로, 내장된 메모리에 국부적으로 저장된 정보 및/또는 서비스나 네트워크에 접속된 하나 또는 복수개의 서버상에 위치한 정보 및/또는 서비스에 액세스하는데 사용된다.
본 시스템에서 client device는 사용자가 입력하는 book identity 식별기호를 입력받는 수단과, 페이퍼문서 상에서 사용자가 지목한 영역의 위치값을 식별하기 위한 수단과, 상기 식별한 위치값을 시스템에 전송하고 결과물을 수신하는 수단과, 상기 결과믈을 표시하기 위한 수단으로 구성된다. 전형적 일실시예에서, book identity를 입력받기 위한 수단은, 키보드나 캡쳐 디바이스이고, 페이퍼문서 상에서 사용자가 지목한 영역의 위치를 식별하기 위한 수단은 투명디스플레이의 터치스크린이며, 식별한 위치값을 시스템에 전송하여 결과물을 수신하는 수단은, 원격통신장치이며, 결과물을 표시하기 위한 수단은 상기 book identity를 입력받는 수단과 동일하거나,별도의 장치일 수 있다. 일 실시예에서, 상기 구성요소는 각각이 분리되어져 케이블,와이어쌍,적외선 링크,또는 무선라이오 링크 등에 의해 연결될 수도 있으며, 각 구성요소의 기능 및 용량이 전적으로, 또는 부분적으로 하나의 디바이스에 통합(도2-208)될 수 있다. 또한, client device는 핸드폰, 내장 컴퓨터, 네트워크 컴퓨터, 인터넷 가전 또는 무선 IP 가능 장치들일 수 있다,
본 출원에서 client device는 투명디스플레이, 여타의 구성요소가 일체형으로 구성된 디바이스를 가리킬 수 있으며. 때때로, 이러한 client device는 설명의 편의를 위해 ’투명디스플레이‘로 대체되어 설명될 수 있다.

1-1-1-1. 투명디스플레이
투명디스플레이(도-208)는 페이퍼문서(또는, 페이퍼문서의 일부) 위에 오버랩되어 사용자가 터치한 지점의 위치정보를 감지하여 시스템에 전달하고, 일실시예에서 시스템이 제공하는 시스템서비스를 렌더링하여 페이퍼문서와 연관된 시스템서비스(예;마크업)가 페이퍼문서에 알맞게 오버랩되어 보이도록 할 수 있다. 바람직하게는, 이러한 투명디스플레이는 사용자의 터치를 감지하는 수단(터치스크린)과 시스템서비스를 제공하는 수단(디스플레이)이 일체형으로 구성됨으로써, 사용자의 조작에 대한 결과물이 페이퍼문서에서 시야를 이동시키지 않고도 페이퍼문서와 유기적으로 보일 수 있도록 하는 것이 좋다.

1-1-2. 페이퍼문서.
본 발명에서 페이퍼문서라함은, 그에 대응하는 전자부본( 디지털카피)를 갖는 임의의 물리적 문서를 말한다. 즉, 이때의 문서는 그것이 컴퓨터 상에서 키보드로 작성되었건, 별도의 입력장치(터치펜)으로 작성되었건, 사람의 손으로 작성된 것이든 , 그 생성원리와 상관없이 그것이 시스템이 관리하는 서버에 전자부본을 갖고만 있다면 어떤 형태든 만족한다. 이러한 페이퍼문서는 예컨대 소설책, 텍스트북, 지도, 상업 브로슈어, 설계도면 등일 수 있고, 재료는 종이, 플라스틱,나무 또는 다른 재료로 만들어진 것일 수 있다.

1-2. 시스템의 전반적 프로세스.
도1은 시스템의 전형적인 일실시예에서의 정보흐름을 나타낸 흐름도이다. 다른 실시예들은 여기에 도시된 모든 단계나 구성요소들을 전부 사용하지 않을 수도 있고, 일부 실시예들은 그보다 많이 사용될 수 있다.
사용자는 투명디스플레이가 유,무선으로 연결된 clienct device를 소지하고 있다. 사용자는 특정 페이퍼문서를 선정하여 이 페이퍼문서의 book identity를 시스템에 식별시킨다. 예컨대, isbn넘버를 입력한다거나, 책이름,책저자 등을 입력하는 것과 같은 키보드 기반(도1-101)입력방식이나, 페이퍼문서의 어딘가를 캡쳐링하는 기계적방식(도1-102)을 이용한다. 이러한 사용자의 입력은 필요한 경우, 문의구성을 위한 별도의 프로세스(도1-106,110,103)를 거친 후, 서버에 전송되고, 이를 수신한 서버는 서버가 보유한 페이퍼문서들에 관한 사항을 정리해둔 자료구조체인 refernce table(도1.107)과 비교하여 유일한 book identity를 식별한다. 그리고, 이러한 book identity에 연관된 전자부본,마크업 및/또는 문서컨텍스트 정보를 파악해둔다. 그리고, 이렇게 파악한 문서컨텍스트 정보에서 상기 페이퍼문서의 물리적 크기를 client device의 E.C.I Layer unit(도1-111)에게 알려주어 동일한 크기의 투명/반투명 레이어인 E.C.I Layer가 투명디스플레이 상에 재현되도록 돕는다. 이후, 상기E.C.I Layer unit은 client device가 획득한 페이퍼문서의 위치를 가늠할 수 있는 정보를 실시간 수신하여 상기 전자부본(도1-113)과 비교,연산(도1-112)함으로써, E.C.I Layer를 페이퍼문서와 일치시킨다. 이후 이러한 E.C..I Layer상에 전자부본(도1-113),또는 마크업이 재현된다. 이때, 전자부본은 보이지 않게 재현되어, 사용자가 지목한 지점에 대해 사용자가 의도한 액션(도1-121)이 실행되도록 함으로써, 사용자는 단순히 투명디스플레이를 페이퍼문서에 오버랩하고, 투명디스플레이를 투과해보이는 페이퍼문서를 보면서 손가락으로 지목하는 단순한 동작으로, 페이퍼문서가 사용자의 터치에 반응하는 듯한 가상현실적 체험을 할 수 있게 되는 것이다. 또한, 상기 E.C.I Layer상에 마크업(도1-122)이 재현되면, 사용자는 페이퍼문서의 특정 object(예;특정 단어,문장)상에서 발광하는 마크업을 단순히 선택하는 동작만으로도 상기 특정 object와 연관된 부가정보(예;멀티미디어 컨텐츠)를 손쉽게 열람할 수 있게된다. 이때, 상기 E.C..I Layer상에 재현되는 마크업은 시스템에 구비된 별도의 markup provider(도1-123)가 사용자의 요구나 시스템이 미리 파악해둔 켄텍스트 정보를 참조하여 실시간 생성될 수도 있다.

2. 문서/사용자 컨텍스트
사용자가 특정 book identity, 또는 특정 시스템사용자를 식별함으로써, 시스템이 파악할 수 있는 모든 정보를 말한다.
시스템은 특정 book identity, 또는 특정 시스템사용자를 식별함으로써, 시스템이 보유하고 있는 이와 연관된 정보들을 불러모으고 이들을 참조하여 사용자에게 유리한 정보를 추출,또는 가공하여 사용자의 단말기에 제공한다. 본 발명에서 이러한 컨텍스트 정보는 발명의 모든 단계를 수행하는데에 있어서 중요한 소스로 작용한다는 측면에서 매우 중요한 지위를 차지하며, 그러한 이유로 시스템은 이들을 체계적이고 폭넓게 수집해서 시스템서비스의 퀄리티를 유지해야한다. 바람직하게는, 이러한 컨텍스트 정보는 제작자,또는 시스템사용자로부터 전송되어 획득되어진 것도 있지만, 시스템서비스가 기존에 보유한 정보로부터 가공하여 새로이 생성하기도 한다. 시스템은 획득된 정보와 새롭게 생성한 정보를 누적시켜 점진적으로 시스템서비스의 퀄리티를 향상시킬 수 있다. 이렇게 획득과 갱신을 반복함으로써 누적되는 컨텍스트 정보는 몇가지 기준으로 나누어 분류하기가 상당히 애매하다. 그러나 본 발명의 명료한 이해를 위해, 본 출원서는 이러한 컨텍스트 정보를 특정 기준으로 분류하여 상세히 다루어보고자 하나, 이러한 분류가 명확히 실세계에서 존재할 수 없음을 주의하라.

2-1. 문서 컨텍스트 정보
본 시스템이 특정 book identity를 식별함으로써 감지되는 특정 페이퍼문서에 관한 모든 정보.

2-1-1. 문서의 외적 컨텍스트.
-문서의 발행일,책이름,저자이름,isbn넘버,출판사,책이 속한 카테고리,판매부수, 등, 사용자가 소유한 문서의 실세상에서의 캐릭터를 설명해주는 식별정보. 이러한 정보는 주로 시스템이 특정 book identity에 대한 refence counterpart를 생성하거나, 문서에 연관된 markup을 제공할 때, 중요한 소스가 되어준다.

2-1-2. 문서의 내적 컨텍스트.

2-1-2-1. 물리적 성질.
문서의 물리적 크기,재질,색상 등과 같이 문서에 대해 가시적으로 식별되는 물리적 성질에 관한 것이다. 투명디스플레이/,이 문서의 book identity를 식별할 때나 페이퍼문서의 상대적 위치를 파악할 때 유용한 대조군이 되어주며, 특히 시스템이 E.C.I Layer를 생성할 때 문서의 물리적 크기 정보가 참조된다.

2-1-2-2. 기계적 형식.
문서의 내용을 담는 폰트크기, 줄간격, 정렬방식, 레이아웃 등으로 사용자에게 직접적으로 식별되기 보다, 간접적으로 짐작되거나 기계적으로 식별되는 성질에 관한 것이다. 투명디스플레이/,이 문서의 book identity를 식별하거나, 페이퍼문서의 상대적 위치를 파악할 때 유용할 수 있고, digital translucent layer상에 노출시키는 식별단서의 소스가 되어준다.

2-1-2-3. 문서의 내용과 그 의미와 연관된 정보.
문서의 내용과 연관되어 생성된 정보. 다양한 주체에 의해 다양한 루틴으로 생성되는 이러한 정보는 시스템이 markup을 생성하고 선별할 때, 중요한 소스로 활용된다. 문서에 거론된 인물에 대한 배경지식, 문서에 등장한 단어의 의미, 문서에 나타난 문제를 설명하는 속성정보(문제수준,문제가 속한 카테고리) 등으로 시스템에 의해 제어커맨드로 해석되어 특정 트랜잭션을 유발할 수도 있다.

2-2. 사용자 컨텍스트 정보
사용자가 시스템에 접속함으로써 시스템이 파악하는 사용자에 관한 모든 정보.

2-2-1. 사용자 시스템과 인터랙팅한 이력에 대한 정보.
시스템은 사용자 각각의 시스템 이용 내력을 저장해두고, 이를 분석함으로써 각각의 유저들에게 개인화된 막강한 정보를 제공할 수 있다. 이를 위해, 시스템은 특정사용자에 관한 정보 및 특정 사용자가 시스템에 로그인한 순간(또는, 사용자 인증을 거친 순간)부터 book identity를 입력하고 특정 액션들을 취하는 동작까지에 관련된 일련의 인터랙팅 정보들을 수집한다. 이러한 인터랙팅 정보는 사용자가 시스템에 입력하는 정보를 통해 시스템이 획득하기도 하지만, 시스템에 의해 자동적으로 감지함으로써 생성되기도 한다. 예컨대, 사용자가 로그인한 기록이라던지, 특정 책에서 머문 시간 등 시스템이 감지한 모든 정보가 이에 해당한다,

2-2-2. 사용자의 실세상 컨텍스트
-나이,지리적 위치, 소유한 다른 디바이스 일련번호, 핸드폰 통신내역, 메일 송수신 내역 등 사용자의 실세상에서의 활동 등 사용자의 사회적 identity를 파악할 수 있는 정보를 총칭함.

2-2-3. 사용자의 디지털 컨텍스트
-온,오프라인 상에서 전자문서 열람내역, 메일상에 첨부한 파일 식별자, 검색엔진에의 검색어 입력 내역, 온라인 구매 내역, 광고청취내역 등을 총칭함.

2-3. extended context information.
- 사용자/문서 컨텍스트 정보에 대해 시스템서비스(data provider-예;웹서버)가 재가공한 정보이다. 즉, 시스템서비스는 시스템이 획득한 사용자/문서 컨텍스트 정보를 단순히 저장해두는 것에 그치지 않고, 그들을 토대로 의미있는 정보를 재가공해낸다. 이렇게 재가공된 정보는 (대부분) 사용자가 선택한 문서에 대한 부가정보(markup)를 제공할 때, 참고자료로 활용되어 사용자에게 조금 더 의미있고, 유효한 정보들 제공할 수 있는 단서가 된다. 이를 위해, extended context information의 property data들은 데이터마이닝(data mining)기법을 쓰는 시스템서비스에 의해 실시간 갱신되는 것이 바람직하다. 이를 위해 시스템서비스는 사용자 단말기와 통신망으로 연결된 웹서버의 웹서비스이며, 사용자/문서 컨텍스트 정보는 이와 연동된 데이터베이스에 저장됨이 바람직하다.

2-3-1.시스템에게 유효한 정보.
시스템서비스는 누적된 사용자/문서 컨텍스트 정보을 통해, 사용자들의 관심이나 습관, 능력 등을 알아내어 시스템이 가공하여 생성해내야 할 데이터의 종류와 범위, 및 우선순위 등을 설정하고 생성할 수 있다.

2-3-2. 제3자에게 유효한 통계치
- 예컨대, 유저들의 사용자 컨텍스트 정보와 문서 컨텍스트 정보를 분석하여, 주로 어떤 지역에, 어떤 신분의 사람이 특정 페이퍼문서를 읽는지, 이들은 어느정도의 구매력을 가지는지 등에 관한 ‘통계치’를 알 수 있다. 이는 특정 페이퍼문서 상에 광고를 띄우려는 광고주나 분석자료를 토대로 다음 출판물을 결정해야 하는 출판업자 등에게 유리하다.

2-3-3. 사용자에게 유효한 정보
- 시스템은 누적된 사용자/문서 컨텍스트를 통해, 컨텍스트 정보의 일부가 검색엔진 자체에 의해 취급되거나, 검색결과에 반영되도록 함으로써 조금 더 사용자에게 적합하고, 개인화된 정보를 제공할 수 있다. 또는, 누적된 컨텍스트 정보를 통해, 사용자의 성향이나 최근의 관심을 파악하여, 사용자의 요구 이전에 시스템이 알아서 사용자의 요구를 예측하여 사용자에게 도움이 될 만한 정보를 추천해줄 수도 있다. 예컨대, 시스템서비스는 특정 사용자가 특정 문서를 선택하여 단어를 검색한 이력을 토대로, 이 사용자의 단어실력 뿐 아니라, 시간의 변화에 따른 능력의 변화추이도 추론해낼 수 있다. 그리하여 이 사용자가 알아두면 좋을만한 단어나 문구들을 생성,또는 선별하여 추천해줄 수도 있고, 이 사용자의 수준에 맞는 단어학습 게임프로그램을 추천할 수도 있을 것이다.

3. book identity
특정 페이퍼문서(책의 특정 페이지)에 대해 시스템이 고유하게 식별하는 것을 나타내는 말로써, 특정 문서를 다른 문서와 고유하게 구분짓기 위해 본 시스템이 부여한 'name‘이다. 더욱 구체적으로 설명하자면, 대부분의 사용자가 접하는 책는 원본(원시)데이터로부터 다수 복제되어 생성된 것이다. 이때, 원시데이터가 둘 이상 복제되면, 이렇게 복제된 책들은 당연히 그 내용과 형식 등 모든 면에서 완벽히 동일하다. 이렇게 물리적으로 분리되어 있지만, 하나의 원시데이터로부터 복제되어, 그 내용과 형식면에서 완벽히 동일한 문서를 본 시스템에서는 동일한 book identity(예컨대, a라는 book identity)로 식별한다. 사용자는 이러한 book identity를 본 시스템에 식별시킴으로써, 상기 특정 페이퍼문서에 관련된 다양한 부가정보를 비롯한 다양한 서비스를 제공받을 수 있다. 본 발명의 전형적인 예에서, 특정 페이퍼문서는 특정 책의 특정 page를 가리키는 것이다.

3-1. 페이퍼문서의 book identity를 시스템이 인식하는 방법.
- 본 시스템이 book identity를 식별하는 방법은 매우 다양하다. 사용자 시스템이 페이퍼문서의 book identity를 식별하는 방법을 구체적으로 알아보자.

3-1-1. reference counterpart와 대조,
시스템은 데이터저장소에 저장된 릴레이션인 ‘ counterpart’와 사용자 단말기에서 전송된 질의어를 비교하여, 유일한 튜플(book identity)을 식별할 수 있다.
시스템은, 특정 페이퍼문서의 스캐닝이미지를 획득하여, 사용자가 보내올 만한 attribute들로 구조화한 자료구조체(reference counterpart)를 만들어서, 이를 사용자의 질의어에 대한 응답의 단서로 삼을 수 있다. 즉, 사용자가 특정 페이퍼문서를 선정하여, 사용자단말기를 통해 자신이 선정한 페이퍼문서가 무엇인지를 본 시스템에 식별시키기 위해 시스템에 전송하는 다양한 종류의 질의어에 응답하기 위해, 시스템은 미리 상기 페이퍼문서에 관한 정보들(문서 컨텍스트 정보)를 획득하여, 사용자가 입력해올 만한 질의어를 항목화한 자료구조체를 데이터베이스에 저장해두고, 사용자의 질의어가 전송되어 올 때마다, 시스템내에 저장된 reference counterpart와 대조하여, 유일한 결과물(book identity)를 찾게 될 것이다.
이러한 reference counterpart에 어떤 종류의 항목(attribute)이 있는지 알아보자.

3-1-1-1. 페이퍼문서 상에 이미 인쇄된 식별기호.
이는 이미 기존에 체계화된 출판공정상에 변화를 주지 않고, 책에 이미 인쇄되어있는 식별기호들을 가지고 본 시스템에 인식시키는 방법이다. 예컨대, 책제목, 저자명, 페이지번호,에디션, 출판사, isbn, 바코드(또는 바코드넘버) 등이 이에 속한다. 이들은 이미 기존의 출판체계에서 사용자가 책의 book identity를 식별할 수 있도록 인쇄되어 배포된 식별기호로써, 사용자는 시스템이 유일한 tuple을 식별할 때까지 이러한 식별기호를 순차적으로 입력하여야한다. 이때, isbn은 primary key에 해당한다. 이러한 방법은 기존의 물리적 세계에 변화를 주지 않아도 되며, 이미 출판되어 시중에 배포된 문서에도 적용할 수 있다는 장점이 있으나, 사용자의 직관적 인터페이스는 아니라는 단점이 있다.

3-1-1-2. 새로이 생성시킨 식별기호.
출판사에 의해 새로이 출간될 문서나, (출판사가 아닌) 임의의 누군가에 의해 모니터 상에서 제작(편집)되어 인쇄되는 문서는 새로운 식별기호가 표시되어 배포될 수 있다. 본 발명을 위해 식별기호를 생성,표시하는 역할을 담당하는 시스템관리자( 소프트웨어)는 종이책 각각에 대해, 또는 종이책의 각각의 페이지마다 고유한 암호(예;바코드,시그니처 등)를 생성하여 표시할 수 있다. 그 후, 시스템관리자는 이러한 식별기호를 책의 어디에 어떻게 표시했는지에 관한 모든 정보를 상기 식별기호와 매칭하여 시스템의 데이터베이스에 저장해두어야한다. 이후, 사용자에 의해 종이책에 표시(인쇄)되어있는 이러한 식별기호가 시스템에 전송되면, 시스템은 상기 식별기호에 매칭되어있는 관련정보(책이름,책저자,책페이지, 등)를 파악할 수 있게 된다.

3-1-1-3. partial image or words for indexing.
사용자 단말기에 구비된 인식수단(스캐닝엘리먼트, 카메라, 광학렌즈, 음성인식기 등)을 활용하여 페이퍼문서의 일부(글자,그림,이미지 등)를 시스템에 식별시킬 수 있다. 시스템은 전송받은 데이터를 가공(image processing, auto correllation, 문자인식 등)하여 데이터베이스에 전송한다. 이를 위해, 시스템은 상기 페이퍼문서의 raw data (스캐닝이미지)를 미리 확보하여 이를 릴레이션으로 가공해두어야 한다. (이러한 일련의 프로세스는 이미 출원되어 공개된 기술-pct/us2005/013297-로써, 이에 대한 자세한 설명은 생략한다.)

3-1-1-3-1. 시스템과 사용자간의 사전의 약속.
전술한 일련의 프로세스를 더욱 수월하게 하기 위해, 사용자는 페이퍼문서에서 시스템과 사전에 약속된 영역만을 선별하여 시스템에 식별시킬 수도 있다. 즉, 사용자가 아무렇게나 페이퍼문서의 임의의 영역을 선정하여 식별(예;스캔,음성인식)시키지 않고, 시스템과 사전에 약속된 영역을 페이퍼문서에서 찾아내어 그것만을 시스템에 식별시키는 것이다. 예컨대, 시스템과 사용자간에 페이퍼문서의 오른쪽 모서리 하단의 마지막 문장을 인식시키기로 한 사전의 약속이 있다면, 사용자는 페이퍼문서의 오른쪽 하단의 마지막 문장을 읽어서 음성인식시키거나, 스캐닝하여 시스템에 전송하면 된다.. 이러한 방법은, 시스템으로 하여금, 사용자의 질의를 예측할 수 있게 하여, 한결 수월하고 정확하게 tuple을 찾아낼 수 있도록 해주고, 사용자의 질의에 빠른 응답을 할 수 있게 한다. 이때, 시스템과 사용자 간의 사전의 약속은, 사용자가 시스템에 접속하기 이전에 이미 숙지하고 있는 사항일 수도 있고, 시스템을 개시하려는 사용자에게 시스템이 즉각적으로 promoting한 것일 수 있다. 예컨대, ‘ 두 번째 줄의 첫 번째 단어를 스캔하라’
‘디스플레이의 오른쪽 하단 모서리를 페이퍼문서의 오른쪽 하단모서리에 맞추어 스캔하라’와 같은 것이 그 예이다.

3-1-2. 시스템의 시스템 서비스가 서로 다른 두 개 이상의 client device에서 전송되어온 partial image를 비교하여, 동일한 페이퍼문서임을 판단하여 book identity를 식별할 수 있다.
- 둘 이상의 사용자가 각각 그들의 사용자 단말기를 통해 (사용자 단말기에 구비된 광학센서-스캐닝엘리먼트-를 활용하여)획득한 partial image를 시스템의 서버에 보내온 것을 시스템의 서버가 비교하여, 동일한 페이퍼문서로 판정되었을 때, 그들 각각의 partial image에게 동일한 book identity를 부여할 수도 있다. 예컨대, 시스템이 데이터저장소에 특정 페이퍼문서의 스캐닝이미지를 가지고 있지 않아서, 특정 사용자가 보내오는 질의어를 식별할 수 없을 때, 시스템은 둘 이상의 사용자가 그들의 단말기를 통해 획득한 특정 페이퍼문서의 partial image를 비교해서, 임계레벨 이상이 일치하는 동일한 문서로 판정되면, 그들을 동일한 문서로 취급하여, 동일한 digital identity를 부여해줄 수 있다.

3-2. 시스템이 특정 페이퍼문서의 raw data(스캐닝이미지)를 획득하는 방법.
-시스템은 특정 페이퍼문서의 refernce counterpart를 생성하기 위해, 특정 페이퍼문서에 관한 문서 컨텍스트 정보(예;책이름,책저자)와 raw data(스캐닝이미지)를 사전에 확보해두어야한다. 이를 위해, 시스템은 다양한 방법으로 페이퍼문서의 raw data를 획득할 수 있다. 먼저, 가장 노멀한 형태로는 출판사를 통해 인쇄되어 배포되는 페이퍼문서의 경우, 이미 배포된 문서일지라도 출판사는 통상적으로 ‘품절’등의 상황을 대비하여 원시데이터을 따로 저장해두는 것이 일반적이다. 시스템은 이들을 획득함으로써 손쉽게 ‘이미 과거에 배포되어진 문서’에도 본 발명을 적용시킬 수 있다. 물론, 출판사에의해 미래에 배포되어질 문서 역시 그것의 raw data를 얻는 것은 그리 어려운 일이 아니다.
그러나, 보통의 사람들(학생,직장인 등)이 일상생활에서 흔하게 접하는 문서들은 비단 ‘출판사에 의해 출간된 문서’만이 존재하는 것은 아니다. 가령, 학교에서 나누어주는 비정기적 프린트물, 학습보조자료, 레포트 등은 ‘출판사’라는 루트를 통하지 않고 개개인이 그들의 컴퓨터를 통해 모니터상에서 문서를 제작하고 편집한 것들이다. 그렇다면 이러한 문서에는 본 발명을 적용할 수 없을까? 물론, 가능하다. 이때 역시 아주 다양한 방법으로 이 목적을 실현할 수 있지만, 가장 바람직한 방법은, 시스템운영자가 사용자들에게 인쇄정보가 본 시스템이 관리하는 특정 시스템서버에 전송되도록끔 설정된 시스템 어플리케이션(또는, 로직,모듈,트랜잭션)을 사용자들의 client device에 깔도록 유도하는 것이다. 상기 어플리케이션은 사용자가 특정 소프트웨어를 통해 문서를 제작,또는 편집하여 최종적으로 ‘인쇄’버튼을 누르면, 종이에 인쇄되어지는 인쇄정보(종이에 인쇄되는 모든 식별체에 관한 정보-글자크기, 글자색,간격,텍스트내용 등을 함유)가 미리 설정해둔 본 시스템서버에 전송되도록 하는 방법이다. 이로써, 사용자는 기존에 종이에 무엇인가를 인쇄하는 방식에 변화를 주지 않고도, 본 시스템을 원활하게 사용할 수 있다. 이때, 상기 ‘본 시스템서버’는 본 시스템과 통신망으로 연결되어 시스템에 의해 제어되는 것으로, 공용으로 사용하는 웹서버일 수도 있고, 특정 개인에게만 접근권한을 부여한 전용 웹서버(예;로그인해서 접속하는 icloud)일 수 있다.
또한, 시스템은 시스템을 이용하는 시스템 이용자들이 보내오는 partial image들을 합성하여 raw data를 만들어낼 수도 있다. 이를 위해, 시스템은 사용자가 보내오는 각각의 partial image들을 비교하여, 동일한 페이퍼문서에 대한 partial image로 판정할 경우, 이들 각각의 partial image에서 중첩되는 부분이 오버랩되도록 이어붙여서,즉 합성하여 온전한 스캐닝이미지로 만들어낼 수도 있다.

3-3. book identity의 개념에 대한 주의점.
book identity라는 용어는 어디까지나 ,본 발명의 직관적 이해와 설명의 편의를 위하여 특별히 고안된 개념일 뿐, 그것이 실시계에서 반드시 존재하지 않을 수도 있다는 점을 염두해 두어야 한다. 즉, 본 시스템에서 book identity는 특정 페이퍼문서에 해당되는(즉, 매칭된) 정보(전자부본or markup)를 찾기 위한 수단으로써 상정된 것으로, 시스템이 특정 페이퍼문서를 ‘고유하게’식별하였음을 상징적으로 나타내기 위한 표현일 뿐이다. 즉, book identity라는 name은 시스템 내의 테이블 상에 명확한 ‘항목’(column)으로써 존재하지 않을 수도 있다. 즉, 본 시스템에서 ‘book identity를 식별했다’는 것은, 특정 페이퍼문서를 시스템이 고유하게 식별해서, 이와 매칭된 전자부본 또는 markup을 찾았다는 뜻이지, 'book identity'라는 항목(column)의 property data를 인지했다는 뜻은 아님을 주의해야 한다. 그래서, 전술한 바와 같이, 시스템의 서버가 둘이상의 사용자 단말기에서 보내온 partial image들을 비교해서, 그들을 동일한 문서로 판정('고유하게 식별함‘)하여, 동일한 전자부본을 재현시키는 케이스도, 본 시스템이 둘 이상의 partial image를 고유하게 식별하여 이들에게 전자부본을 전송해준 것이므로, 상기 둘 이상의 partial image에대해 동일한 book identity가 부여된 것으로 보는 것이다.

3-3-1. 일실시예에서, 시스템이 특정 페이퍼문서에 관한 book identity를 식별했다는 것이, 페이퍼문서의 raw data와 페이퍼문서의 문서 컨텍스트 정보를 모두 시스템이 파악했다는 뜻은 아닐 수 있음을 주의해야 한다. 쉽게 말해, 본 시스템이 상기 페이퍼문서에 관해 가진 문서 컨텍스트정보는 매우 한정적인 column을 가진 테이블일 수도 있으며, 사용자가 book identity를 식별시킴으로써 요구하는 정보 또한 문서 컨텍스트 정보의 극히 일부의 정보만을 필요로 할 수도 있다는 뜻이다. 예컨대, 사용자는 특정 페이퍼문서의 book identity를 시스템에 식별시킴로써, 단순히 상기 특정 페이퍼문서의 저작권정보만을 필요로 할 수도 있다.

3-3-2. 일실시예에서, 물리적으로 동일한 book이 아니더라도, 예외적으로 시스템이 동일한 book identity를 부여할 수도 있다. 가령, 특정 페이퍼문서의 ‘전자책버전’이 바로 그것이다. 특정 페이퍼문서와 그것의 전자책버전은 그 내용면에서 완전히 동일할 수는 있지만, 그 구성면에서는 완전히 동일하지 않을 수도 있다. 즉, 특정 페이지상에 찍힌 텍스트의 위치가 서로 상이할 수 있고, 때에따라 텍스트,또는 그림의 일부가 가감되기도 한다. 하지만, 본 시스템의 전자부본을 구성하는 각각의 object는 E.C.I Layer상의 위치나 세그먼트와 연관되어질 수도 있지만, 텍스트전사나 이미지의 의미론적 정보와 연관될 수도 있다.. 즉, 특정 A라는 종이책의 2페이지에 나온 ‘orange'라는 단어가 A의 전자책버전에서는 3페이지에 나온다해도, 상기 ’orange'에 연관된 markup(ex; 'orange'의 사전적 해설)은 A라는 책의 'orange'라는 의미와 연관되어있다면, 전자책버전에서 ‘orange'라는 단어가 3페이지에서 나온다해도 시스템은 유동적으로 ’orange'에 연관시킬 수 있다.

4. E.C.I Layer (Electronic Counterpart Indicator Layer) UNIT.

4-1. E.C.I Layer.
E.C.I Layer 유닛의 작동으로 생성된 것으로, 투명디스플레이 상에서 페이퍼문서의 물리적 크기와 동일한 크기로 투명 또는,반투명하게 재현된 그래픽 layer(도4-213)이다. 이 layer는 시스템에게 페이퍼문서의 전자부본으로 취급당한다. 시스템은 client device로부터 book identity를 입력받음으로써 파악한 정보(페이퍼문서의 물리적 크기)를 E.C.I layer unit에게 전달하고, 이를 전달받은 E.C.I Layer 유닛은 이와 동일한 크기의 E.C.I Layer를 client device의 디스플레이 상에 투명/반투명하게 재현시킨다. 재현된 E.C.I Layer는 투명디스플레이상에서 디스플레이 아래에 깔린 페이퍼문서와 일치되게 오버랩된 후, E.C.I Layer유닛에 의해 실시간 감시당한다.

다른 설명으로는, E.C.I Layer는 페이퍼문서의 스캐닝이미지가 투명디스플레이 상에 보이지 않게 재현된 것이라 표현할 수도 있다. 즉, 전자부본(스캐닝이미지)이 투명하게 렌더링된 것이다. 페이퍼문서에 일치되게 오버랩된 E.C.I Layer는 디스플레이를 통해 보이는 페이퍼문서를 염두해둔 사용자의 터치에 반응하는 객체가 된다. 즉, 사용자가 단순히 페이퍼문서 상에 인쇄된 무엇인가를 지목하려고 디스플레이를 터치하면, 시스템은 상기 사용자가 터치한 임의의 지점에 보이지 않게 재현되어 있는 스캐닝이미지를 선택하여 인식한다. 즉, 사용자는 디스플레이 상에서 페이퍼문서를 염두해두고 지목했지만, 시스템은 상기 페이퍼문서의 스캐닝이미지를 지목한 것으로 인식하는 것이다. 예컨대, 특정 페이퍼문서 위에 디스플레이가 오버랩되어있고, E.C.I Layer가 상기 특정 페이퍼문서에 일치되게 오버랩되어 있는 상태에서, 어떤 사용자가, 디스플레이를 통해 보이는 페이퍼문서에 인쇄되어있는 특정 object(예; orange라는 단어)를 지목하여 디스플레이 상의 특정지점(q-상기 orange에 오버랩된 지점)을 터치했다고 치자. 시스템은 사용자가 페이퍼문서 상에서 무엇을 염두해두고 q를 터치했는지 알 수 없다. 다만, 시스템은 사용자가 터치한 지점-q-에 무엇이 재현되어 있는지만을 판단할 수 있다. 시스템은 사용자가 지목한 지점에 orange라는 단어가 재현되어있음을 인식하고, 이것이 전체 스캐닝이미지 상에서 차지하는 위치정보를 도출해낸다.

또는, 다른 설명으로는, E.C.I Layer는 사용자 단말기에 구비된 투명디스플레이의 어떤 영역(도4-211) 이 페이퍼문서의 어떤 영역(도4-212)위에 오버랩되어 있는지를 파악한 시스템이 상기(도4-211)에 해당하는 영역에 속한 좌표들을 ‘레이어의 형태로 활성화시킨 좌표그룹’이라 정의할 수도 있을 것이다. 즉, 투명디스플레이가 사용자의 터치를 인식하는 방식은, 투명디스플레이에 부여된 좌표체계에서 사용자의 터치가 발생한 지점의 좌표를 파악하는 것이고, 이를 일반적으로 ‘절대좌표’라고 한다. E.C.I Layer유닛은 상기(도4-211)에 해당하는 좌표들을 활성화시키고, 그 외의 영역은 비활성화시킨다. 즉, 사용자의 터치가 발생하면, 시스템은 먼저 이러한 터치가 발생한 위치를 절대좌표로써 식별한 후, E.C.I Layer유닛에게 절대좌표를 전달하면, E.C.I Layer유닛은 이 절대좌표가 활성화된 좌표인지를 판단하고, 활성화되어 있다면 이를 E.C..I Layer상에서의 좌표로 변환시키고, 활성화되어있지 않다면 변환시키지 않는다. 즉, E.C.I Layer는 사용자에게는 전혀 자신의 활성화여부를 드러내지 않지만, 디스플레이 상에서는 활성화된 좌표군집인 것이다. 그러므로, 만일에, 어떤 사용자가 완전히 투명한 (즉, 디스플레이 상에 아무것도 나타나지 않은) 디스플레이 상에서 페이퍼문서에 표시되어있는 어떠한 object(a)를 지목하기 위해 디스플레이 상에 어떤 지점(b)을 터치했는데, 시스템이 이를 알아듣고 사용자가 의중에 담아놓은 object가 무엇인지를 알아낸다면, (혹은, 상기 object와 연관된 markup을 찾아내어 보여준다면) 이는 이미 상기 (b)에는 전자부본 상의 (a)로 안내하는 모종의 ‘모듈’이 있는 것이고, 이러한 역할은 본 시스템의 E.C.I Layer 유닛이 하는 일이므로, 비록 E.C.I Layer가 보이지는 않아도 존재하는 것으로 취급해야하는 것이다.

4-2. E.C.I Layer가 투명/반투명인 이유.
전술한 (ch4-1)를 이해한 혹자는 이런 의문이 들 것이다. ‘전자부본을 그냥 디스플레이 상에 노출시켜버리면되지 왜 굳이 투명/반투명한 E.C.I Layer라는 허수아비를 내세우는가? ’ 일 것이다. 아래는 이와 같은 질문에 대한 답이다.

4-2-1. 가상현실적 체험.
본 발명의 궁극적인 목적은, 페이퍼문서를 열람하면서, 페이퍼문서의 장점은 향유함과 동시에 전자문서의 장점(전자정보로의 확장성과 손쉬운 조작성 등)도 느끼게 해주기 위함인데, 디스플레이 상에 스캐닝이미지가 노출되어 있다면, 이는 또 다른 전자문서를 열람하는 것과 다르지 않은것이다. 즉, 이렇게 분리된 매체를 통해 동일한 페이퍼문서를 다른 버전으로 열람하는 방식은 사용자로 하여금 페이퍼문서와 디스플레이 사이에서 시야를 왔다갔다해야하는 불편함을 주고, 이로써 사용자의 집중력을 저해하여 문서를 맥락성있게 파악하는데에 방해를 준다. 그래서 시스템은 사용자의 시야를 페이퍼문서에 계속 붙잡아둠으로써, 페이퍼문서에 대한 집중도를 유지시킴과 동시에, 그와 관련된 전자정보를 페이퍼문서를 응시하는 사용자의 시야속에 한번에 제시해야할 필요가 있다. 그래서 본 시스템은 디스플레이를 통해 페이퍼문서를 보이게끔 하고, 전자정보만을 디스플레이 상에 (페이퍼문서와 연관지어서, 예컨대 orange라는 단어를 해설하는 전자정보는 페이퍼문서에 인쇄된 orange라는 단어 위에 오버랩되어 하이라이팅되어 보이도록) 보여주는 것이다. 그래서 E.C.I Layer는 투과성을 띄어야 하는 것이다.

4-2-2. 저작권 침해 방지
즉, 어떤 유저가 시스템에 book identity를 식별시켰다는 이유만으로 시스템이 상기 페이퍼문서의 스캐닝이미지를 모두 공개해버린다면, 이는 전자책 열람권한에 대한 인증없이 아무에게나 페이퍼문서의 전자책을 제공해주는 것과 같은 이치가 되어 상당한 저작권분란의 소지를 제공한다. 예컨대, 어떤 사람이 도서관에 가서 어떤 책을 집어들고 시스템에 book identity를 식별시켰는데, 시스템이 상기 사용자의 디스플레이에다 책 내용을 모두 보여준다면 사용자는 단순히 책을 시스템에 식별시키는 동작을 한것인데도 전자책을 열람하게 되는 꼴이 된다 그렇다고, 시스템이 이러한 딜레마를 극복하게 위해 열람시간을 제한한다거나 노출범위를 제한하는 등의 제한적 조치를 취한다면 사용자는 사용자의 본래적 목적(검색,조작,편집)을 성취하기 위해 너무 많은 불편을 겪어야하는 딜레마가 발생한다. 또는, 시스템이 이러한 딜레마를 극복하기 위해 사용자의 책 소유여부를 인증하여 자유롭게 이용하도록 하고자 해도, (이러한 인증을 하는 방법도 요원하지만,) 반드시 특정 책을 소유한 사람만이 상기 특정 책을 전자화(검색,조작)시킬 수 있게 됨으로써, 시스템의 이용접근도가 하락하게된다. 또한, 유저의 디스플레이 상에 한번 노출된 저작물은 언제나 불법복제의 위험으로부터 자유로울 수 없다는 딜레마가 있다. 시스템이 만일에 이러한 딜레마를 극복하기 위해 전자책에 블법복제방지장치(drm)를 설정해둔다면, 유저는 유저의 본래적 목적(검색,조작)을 자유롭게 성취하는데에 매우 어려움을 겪게 된다. 이외에도, 시스템이 스캔이미지를 유저의 디스플레이에 노출시키지 못하는 이유는 매우 많다. 그리하여, 시스템은 스캐닝이미지를 아예 노출시키지 않음으로써, 발생가능한 저작권문제를 미연에 방지하고, 저작권을 보호할 필호할 필요가 없는 가공물(페이퍼문서에서 가공되어져 나온 전자정보; 예-사전검색결과)만을 노출시키는 것이다. 즉, 사용자는 어짜피 페이퍼문서를 갖고 있기 ?문에, 디스플레이 상에 페이퍼문서를 보기를 원치 않는다. 다만, 사용자는 페이퍼문서에서 가공되어져나온 전자정보(예;사전검색결과, 관련 동영상, 관련 문서 등등)를 열람하려는 목적을 갖고 있다. 그래서 본 시스템은 전자부본(스캔이미지)를 디스플레이 상에 노출시키지 않음으로써, 저작권 침해 문제도 미연에 방지하고, 사용자의 목적은 원활하게 달성될 수 있도록 하는 것이다. 본 시스템의 이러한 방법은 기존에 페이퍼문서를 전자화하기 위해 제시되었던 다양한 방법들이 필연적으로 안고 있던 딜레마(저작권보호와 사용자편익을 모두 성취하기 힘든 구조)를 모두 해결해주며, 저작권자의 권익과 사용자의 편익을 모두 취할 수 있도록 해준다.

4-3. 기능
E.C..I Layer 유닛은 다음 중 하나 이상의 기능을 수행할 수 있다.

4-3-1. E.C.I Layer생성.
전술(ch4-1)을 참고하라.

4-3-2. E.C.I Layer의 위치를 조정하여 페이퍼문서와 일치시킨다.
E.C.I Layer는 페이퍼문서와 정확히 일치됨으로써 시스템에서 자신의 기능을 원활하게 수행할 수 있다. 만일, E.C.I Layer가 페이퍼문서와 일치되게 오버랩되지 못한다면, 시스템은 사용자가 마음에 염두해둔 object를 정확하게 읽어낼 수가 없어서 엉뚱한 결과를 내고 말 것이다. 이를 위해, E.C.I Layer 유닛은 사용자 단말기에 구비된 투명디스플레이의 어떤 영역(도4-211)(a) 이 페이퍼문서의 어떤 영역(b) 위에 오버랩되어 있는지를 알아야한다. 그래야, 상기 (a)에 E.C.I Layer를 정확히 위치시키고, 시스템이 상기 페이퍼문서의 전자부본(도4-206')에서 (b)에 해당하는 영역(도4-212)을 추출해내어 (a)(도4-211)에 보이지 않게 재현하도록 도울 수 있기 때문이다. E.C.I Layer 유닛이 이러한 사항(상기, a와 b)을 알아내는 것을 본 출원서에서는 ‘페이퍼문서의 상대적 위치를 파악한다’라고 표현할 것이다. 시스템은 사용자단말기로부터 몇 가지의 정보를 제공받고, 이들을 단서로해서 페이퍼문서의 상대적 위치를 파악해낸다. 상기 획득한 정보란, 페이퍼문서의 상대적 위치를 알아낼 수 있는 단서에 대한 것으로, 이러한 단서는 사용자단말기 상에서 사용자에 의해 제공될 수도 있고, 기계적인 장치에 의해 제공될 수도 있다. 이렇게 다양한 루틴으로 제공된 단서를 수신한 시스템은 이를 시스템이 미리 보유하고 있던 정보(페이퍼문서의book identity를 식별함으로써 감지한 전자부본, 또는 사용자단말기의 물리적 구조-형태-에 관한 정보)와 비교,연산하여 페이퍼문서의 상대적 위치를 파악해낸다.
시스템이 사용자단말기로부터 제공받는 페이퍼문서의 상대적 위치를 파악할 수 있는 단서에는 무엇이 었는지, 그리고 제공받은 단서를 통해 시스템이 어떻게 페이퍼문서의 상대적 위치를 파악해내는지를 구체적으로 알아보자.

4-3-2-1 시스템이 사용자단말기로부터 제공받는, 페이퍼문서의 상대적 위치를 파악할 수 있는 단서.
단서는 client device가 사용자의 인위적 액션을 통해 획득한 것과 기계장치가 자동적으로 획득한 것으로 나뉜다.

4-3-2-1-1. 사용자의 인위적 액션을 통해 획득한 단서.

4-3-2-1-1-1. 사용자가 투명디스플레이 상에 직접 페이퍼문서의 signiture을 표시한 것.
사용자는 투명디스플레이 상에서 목격되는 페이퍼문서의 signiture를 직접 따라 그리거나, 특정 그래픽아이콘을 툭정 signiture에 오버랩하여 client device에게 페이퍼문서의 상대적 위치를 안내해줄 수 있다. 상기(a) 상에서, 상기(b)에 관한 목격된 signiture들을, signiture가 있는 위치에 그 특징과 동일하게 스타일러스 펜이나 손가락으로 따라 그리거나 특정 signiture을 나타내기로 사전에 약속되어잇는 특정 그래픽아이콘을 특정 signiture위에 오버랩시키는 것이다. 예컨대 'p'라고 쓰여진 그래픽기호(도8-901)를 움직여서 페이퍼문서의 page number(도8-902)가 있는 위치에 오버랩하는 것이 그 예이다.

4-3-2-1-1-1-1. 직접적/간접적인 signiture.
signiture는 페이퍼문서에서 직접적으로 식별되는 글자나 숫자,그림, 마침표,쉼표,물음표,페이지번호. 문서의 테두리,모서리 등등일 수도 있고, 직접적으로 식별되지는 않지만 간접적으로 식별되는 기계적 형식(예- 글자의 폰트크기,줄간격,글자모양, 레이아웃)에 관한 것일 수도 있다.

4-3-2-1-1-1-2. signiture는 사전에 약속된 영역에 관한 것일 수 있다..
signiture는 사용자가 페이퍼문서 상에서 임의로 선정한 것일 수도 있지만, 시스템과 사용자간의 사전의 약속에 따라 선정된 것일 수 있다. 예컨대, 페이퍼문서의 ‘페이지번호’가 있는 위치를 투명디스플레이상에 표시해주기로 한 시스템과 사용자간의 사전의 약속이 있었다면, 사용자는 투명디스플레이를 통해 비춰보이는 페이퍼문서를 보면서 페이지번호에 오버랩된 지점의 투명디스플레이/,에 어떤 표시를 해주는 것이다. 그러면 시스템은 사용자가 무엇인가를 표시한 지점에 페이퍼문서의 페이지번호가 있음을 알 수 있다 이때, ‘약속된 영역’은 사용자가 사전에 숙지하고 있는 것일 수도 있고, 사용자의 요청에 따라, 시스템이 즉각적으로 추천한 것일 수도 있다.

4-3-2-1-1-2. 사용자에 의해 움직인 digital translucent layer.
book identity를 식별한 시스템은 이와 연관하여 파악한 페이퍼문서의 문서 컨텍스트 정보( 페이퍼문서의 물리적 가로*세로)를 참조하여 그와 동일한 물리적 크기의 digital translucent layer(도6-601)를 생성할 수 있다. 사용자는 투명디스플레이/, 상에 반투명한 한 장의 종이처럼 그래픽적으로 식별되는 이러한 레이어를 투명디스플레이/, 상에서 손가락으로 옮겨서 투명디스플레이/,의 아래에 비춰보이는 페이퍼문서와 일치시킨다. 시스템은 이렇게 사용자에 의해 위치된 digital translucent layer로부터, 투명디스플레이/, 아래에 페이퍼문서가 어디에, 어떤모양으로, 어떤 부분이 투명디스플레이/, 상에 드러나고 있는지를 알아차릴 수 있다. digital translucent layer에 대해 자세히 알아보자,

* digital translucent layer
digital translucent layer(도5-601)는 투명디스플레이/, 상에서 반투명으로 사용자에게 식별되는 그래픽 layer이다. 이는 사용자가 식별한 페이퍼문서의 위치를 시스템에 안내해주기 위한 도구로써, 사용자는 이렇게 그래픽적으로 식별되는 한장의 종이를 투명디스플레이/, 밑에 깔린 페이퍼문서와 일치시킴으로써, 시스템에게 페이퍼문서의 상대적 위치를 알려준다. 이를 위해, digital translucent layer는 페이퍼문서와 그 크기가 동일해야하며, 반투명으로 사용자에게 식별됨이 바람직하다. 그런데 이때, 투명디스플레이/,의 크기가 페이퍼문서보다 커서, 페이퍼문서의 테두리가 투명디스플레이/, 상에 모두 드러난다면 digital translucent layer는 사용자에게 그의 테두리만 겨우 식별될 정도로 표시되어도 사용자는 충분히 이를 단서로 페이퍼문서와 일치시킬 수 있을 것이다. 그러나, 투명디스플레이/,의 크기가 페이퍼문서보다 작을 경우, 즉 투명디스플레이/, 상에 페이퍼문서의 테두리가 나오지 않는 경우( 예; 핸드폰크기의 투명디스플레이가 A4용지의 중간에 오버랩되어있는 경우)에도 digital translucent layer가 오로지 테두리만 겨우 식별되는 반투명이라면, 사용자는 투명디스플레이/,를 통해 투과되 보이는 페이퍼문서의 일부와 상기 digital translucent layer를 일치시킬려고 해도 digital translucent layer 상에 아무런 비교단서가 없어서 일치시킬 수 없다. 이를 위해, 시스템은 몇몇의 signiture를 digital translucent layer상에 제공한다. 사용자는 디스플레이 상에 드러나는 이러한 signiture를 참고해서, 페이퍼문서와 비교해가면서 일치시킬 것이다.그러나 이러한 signiture는 반드시 투명디스플레이/,의 크기가 페이퍼문서보다 작을 때에만 활용되는 것은 아님에 주의하라.

4-3-2-1-1-2-1 signiture의 내용.
4-3-2-1-1-2-1-1. 가시적이고 직접적으로 식별되는 특징.
페이퍼문서의 스캐닝이미지에서 사람이 가시적으로 식별할 수 있는 특징들을 노출할 수 있다. 예컨대, 글자(도6-602),그림,마치표,물음표,페이지번호 등과 같이 사람의 시야에 직접적이고 가시적으로 보이는 특징들이다.

4-3-2-1-1-2-1-2. 기계적이고 간접적으로 식별되는 특징.
스캐닝이미지 상에서 글자의 모양,문장의 길이,폰트,줄 간격, 이미지의 위치, 문단의 모양등 페이퍼문서의 내용 이외에 단어와 이미지 등의 위치와 형태를 가늠할 수 있는 특징들이 있다. 이러한 특징들은 기계적으로 생성되고 사용자의 시야에 간접적으로 식별된다. 예컨대, 글자나 문장의 위치를 나타내는 '가로줄'이 포함될 수 있다. 이 가로줄은 흔히 '밑줄'이라 부르는 형태로 식별되기도 하고, 사용자의 식별을 도와주기 위해 '밑줄'에 번호가 매겨진 형태도 가능하다. 즉, 줄마다 1,2,3,...이 새겨져 있다면 사용자는 첫째줄,둘째줄,...을 식별할 수 있을 것이다. 또는 글자(도5-602)나 문장(도7-605)이미지의 위치를 나타내는 '박스'(도5-603)형태일 수도 있다. 글자나 이미지의 위치를 손쉽게 식별할 수 있어서 직관적으로 레이어의 위치를 조정할 수 있다는 장점이 있다. 마지막으로, 레이어의 바깥 테두리도 가능하다. 이는 단순히 페이퍼문서의 페이퍼외곽을 나타내는 테두리일 수도 있고, 본문내용의 외곽을 나타내는 테두리일 수도 있다.

4-3-2-1-1-2-2. signiture의 노출원리.
4-3-2-1-1-2-2-1. 미리 추출된 노출영역.
시스템은 시중에 유통되는 디바이스들의 크기정보를 저장해두고, 각각의 디바이스에게 전송해줄 signiture를 미리 추출해둘 수 있다. 즉, 특정 사용자가 사용자 디바이스를 통해 시스템에 접속하여 book identity를 입력하면, 시스템은 접속한 사용자의 디바이스의 기종을 알아내고, 상기 book identity에 해당하는, 미리 추출해서 준비해둔 signiture를 사용자의 디바이스에 전송해주어 digital translucent layer상에 표시할 수 있다. 이를 위해, 시스템은 사용자가 digital translucent layer을 이리 저리 마구 움직여도 항상 디스플레이 상에 signiture가 나타날 수 있도록 이를 고려하여 추출해두어야한다.

4-3-2-1-1-2-2-2. 실시간 추출되는 노출영역.
시스템은 사용자에 의해 움직여지는 digital translucent layer에 항상 일정 레벨 이상의 signiture가 표시되도록 할 수 있다. 예컨대, 사용자가 digital translucent layer를 아무리 이리 저리 움직여도 항상 digital translucent layer의 절반이상이 signiture가 나타나도록 할 수 있다. 이를 위해, 시스템은 사용자가 투명디스플레이/, 상에 노출시킨 digital translucent layer가 어떤 영역인지(즉, digital translucent layer의 전체면적에서 어떤 면적이 투명디스플레이/,에 노출되었는지)를 실시간 파악하여, 이에 해당하는 문서 컨텍스트 정보(예;raw data)를 참조하여 실시간 signiture를 가공해내야한다. 이러한 방법은, 사용자가 digital translucent layer를 어떻게 움직이든 digital translucent layer 상에 항상 일정범위 이상의 signiture가 노출되도록 해주어 사용자가 좀 더 손쉽게 페이퍼문서와 일치시킬 수 있도록 하고, 시스템이 페이퍼문서의 특징을 고려하여 제때제때 유효한 signiture를 선별하여 노출시킬 수 있다는 점에서 사용자에게 매우 유용할 수 있다.

4-3-2-1-1-2-2-3. digital translucent layer가 움직일 때 드러나는 signiture
digital translucent layer 상에 페이퍼문서의 내용이 signiture로써 너무 많이 드러나게 되면 '저작권침해'문제가 발생할 수 있다. 그러나 그렇다고해서 signiture의 노출량이 너무 적으면 사용자가 참조할 만한 단서들이 적어서 어려움을 겪을 수 있다. 또한, signiture가 항상 레이어 상에 노출된 것은 사용자의 인터페이스로써 좋지 못할 수 있다. 그래서, '레이어의 이동시에만 signiture를 노출하는 방법'이 있다. 즉, 사용자에 의해 레이어가 이동할때에만 signiture(예; 페이퍼문서의 스캐닝이미지 전체, 혹은 일부)가 노출되도록 하고, 이동하지 않을 때에는 signiture를 노출하지 않는 것이다. 이는, 레이어가 이동하는 상태에서는 사용자가 제대로 signiture(스캐닝이미지의 전부 혹은 일부)를 제대로 읽고 이해하기가 어렵다는 점을 활용한 것이다.

4-3-2-1-2. 기계장치에 의해 자동적으로 획득된 단서.
시스템은 사용자의 도움 없이, 투명디스플레이/에 구비된 기계장치가 주는 단서로 페이퍼문서의 상대적 위치를 파악할 수 있다.

4-3-2-1-2-1. 광학 센서.
광학센서는 광학센서 하에서 지나가는 표면이나 데이터를 관찰하여 시스템에 전송한다. 이러한 광학센서는 스캐닝,이미징 능력을 갖는 element일 수도 있고, 광학마우스가 하는 것과 동일하게 표면의 변화만을 검출하는 센서일 수도 있다. 투명디스플레이의 하부면(페이퍼문서와 맞닿는 면)의 어딘가의 특정 2차원적 면적에 균일하게 분포된 플레인 스캐너일 수도 있다. 투명디스플레이의 하부면에 구비된 scnning element(도3-230)는 투명디스플레이의 베젤부분에 일부 분포될 수도 있고, 디스플레이의 내부에 일부,혹은 전부 분포될 수도 있다. 일실시예에서, 광학센서는 페이퍼문서의 표면상의 패턴을 관찰함으로써 상대적인 모션을 검출할 수 있다. 또는, 페이퍼문서의 표면상의 절대위치 코드를 체크함으로써 절대위치를 검출할 수 있다.

4-3-2-1-2-2. 미세(granuel)/표면 텍스쳐 센서.
페이퍼문서 상의 표면의 변형을 검출하기 위해 2개의 병렬 미세/표면 텍스쳐 센서를 포함한다. 이러한 종류의 입력 센서의 일반적인 사용은 점자 텍스트를 캡쳐하는 것이다. 병렬 표면 텍스쳐 센서는 상기 병렬 센서에 의해 이동된 상대적인 속도/거리로부터 센서의 각도도 판정할 수 있다.

4-3-2-1-2-3, 제스쳐(모션기반).
스캐닝 헤드하에서 통과하는 데이터를 관찰함으로써, 모션 센서에서의 변화를 모니터링함으로써, 또는 기계적 모션- 감지 수단에 의해 제스쳐를 검출할 수 있다.

4-3-2-1-2-4, 자이로/가속도계 모션 센서
속도나 방향의 변화를 감지하기 위한 가속도계와 같은 가속도 센서를 구비하면 그에의해 제어 제스쳐를 판정할 수 있다. 또는, 모션 및 제스쳐를 검출하기 위해 자이로스코프(특히,칩 링-레이저 자이로스코프는 이러한 작업에 적합하다)를 사용할 수 있다.

4-3-2-1-2-5, 기계(볼포인트, 롤러 등)장치.
광학적으로 인코딩되는 잉크 펜의 볼포인트와 유사한 롤링 엘리먼트나 볼을 구비할 수 있다. 볼이 페이퍼 표면을 따라 이동하면서, 광학 센서는 광학적으로 인코딩된 엘리먼트의 모션을 검출한다.
일부 실시예에서, 상대적인 모션을 기록하기 위하여 볼포인트 전체에 전기적으로 대전된 잉크의 흐름을 측정한다. 상기 볼에 흐르는 잉크에는 이러한 프로브에의해 검출되는 전하가 주어진다. 볼포인트 하우징에 내장된 전류-감지 프로브는 볼 상의 잉크의 흐름을 검출한다. 복수의 프로브가 있다면, 잉크 흐름의 방향은 그 결과의 볼의 모션, 및 그에 따른 표면을 지나는 실질적인 모션이 추측될 수 있다. 이 전기적으로 대전된 잉크 기술은 범용목적의 입력기록 디바이스로서 역할을 할 수 있고, 여기서 유저는 종래 잉크로 기록하고, 반면에 모션이 기입되고 기록될 수 있다. 수신기에서 흘러나오는 대전된 잉크만 센서에 의해 감지되도록 볼이 자신의 하우징에서 드러나는 경계 또는 그 근방의 가드링이 상기 대전된 잉크를 방전시키는데에 사용될 수 있다. 또는,획득된 스캔 영상의 옵티컬 플로우(optical flow)또는 모션 플로우(motion flow)를 이용할 수도 있다.

4-3-2-2. 시스템이 client device로부터 제공받은 단서를 통해, 페이퍼문서의 상대적 위치를 파악하는 방법.
시스템은 전술한 (ch4-3-6-1)로부터 획득한 단서들을 시스템이 미리 파악하고 있던 상기 페이퍼문서의 스캐닝이미지(또는, 내적 컨테스트 정보)에 비교하고, 상기 투명디스플레이/,에 관한 정보를 참조하여 이를 연산하여 페이퍼문서의 상대적 위치를 파악한다.
예컨대, 투명디스플레이의 광학센서가 실시간으로 획득한 partial image를 실시간으로 시스템에 보내온다면, 시스템은 먼저 이러한 partial image가 전체 스캐닝이미지 상에서 어디에 위치하는 partial image인지를 파악해내고, 이후 시스템이 보유한 상기 투명디스플레이에 관한 정보(광학센서가 투명디스플레이 상에서 어디에 어떻게 위치하며, 투명디스플레이 스크린은 상기 광학센서로부터 어디에 어떻게 위치하고 있는가-이는 주로 상기 투명디스플레이의 디바이스 기종에 관한 정보를 수신한 시스템에 의해 자동적으로 파악된다)를 참조하여, 투명디스플레이의 스크린이 페이퍼문서의 어디에 오버랩되어 있는지(즉, 사용자가 투명디스플레이를 통해 보고 있는 페이퍼문서가 페이퍼문서 상에서 차지하는 포지션이 어디인지)를 추론해내는 것이다. 바람직하게는, 이를 위해, client device는 투명디스플레이로부터 실시간으로 partial image를 획득하여 시스템에 전송해주고, 시스템은 이를 실시간 연산하여 client device에 주어야한다.

또 다른 예로, 투명디스플레이의 광학센서가 포착한 partial image를 수신한 시스템은 전체 스캐닝이미지에서 상기 partial image가 차지하는 위치를 파악한 후, 투명디스플레이의 움직임을 감지하는 여타의 기계장치가 보내온 정보를 수신할 수 있다. 움직임을 감지하는 기계장치(예; 볼포인트,롤러,자이로모션센서 등)를 통해 투명디스플레이의 움직임을 파악한 시스템은, 페이퍼문서의 전체 스캐닝이미지에서 상기 partial image가 차지하는 위치로부터 실시간으로 이러한 움직임을 연산함으로써, 실시간으로 페이퍼문서의 상대적 위치를 파악할 수 있다.

또 다른 예로, 페이퍼문서에 위에 오버랩된 투명디스플레이 상에서, 사용자가 투명디스플레이를 투과해 보이는 페이퍼문서를 보고, 사전의 약속된 영역인 ‘페이지번호’를 찾아낸다. 그리고 이 페이지번호 위에 오버랩되도록 투명디스플레이에서 그래픽적으로 식별되는 아이콘을 가져다놓는다. 시스템은 이러한 사용자의 동작을 통해, 아이콘 바로 밑에 페이퍼문서의 페이지번호가 있음을 알아차릴 수 있다. 그리고, 시스템은 상기 페이퍼문서의 스캐닝이미지 상에서 페이지번호가 어디에 있는지를 참조하고, 상기 투명디스플레이에 관한 정보(디스플레이의 물리적 크기)를 참조하여, 현재 디스플레이가 페이퍼문서의 어디를 비추고 있는지를 연산해내는 것이다.

4-3-3. 사용자가 터치한 지점의 위치정보를 시스템에 전달한다.
E.C.I Layer유닛은 디스플레이 상에서 사용자가 터치한 지점에 해당하는 (전자부본의) object의 의미론적 정보 또는, object의 전자부본 상에서의 위치(좌표, 세그먼트)를 파악하여 시스템에게 전달해준다. 그러나, 일실시예에서 E.C.I Layer는 사용자가 지정한 지점에 해당하는 object를 파악할 필요도 없이, 사용자가 E.C.I Layer상에 터치한 지점의 E.C.I Layer상에서의 위치(좌표)만을 시스템에 전달할 수 있다. 시스템은 이렇게 전달받은 의미론적 정보,또는 위치정보를 다양한 상황에서 사용자에게 유용한 소스로 활용한다.

4-3-4. 사용자가 생성한 markup을 시스템에 호환되는 형태로 변환한다.
E.C.I Layer유닛은 E.C.I Layer상에서 사용자가 생성시킨 markup을 시스템에 호환되는 형태로 인코딩하여 시스템에 전송한다.. 예컨대, 사용자 단말기에 구비된 투명디스플레이,의 어떤 영역(a) 이 페이퍼문서의 어떤 영역(b) 위에 오버랩되어 있고, E.C.I Layer가 페이퍼문서와 일치되어있을 때, E.C.I Layer유닛는 사용자가 (b)와 연관해서 상기 E.C.I Layer 상에서 생성시키는 markup을 시스템이 식별할 수 있는 형태로 변환하여 시스템의 데이터베이스(단말기의 메모리,혹은 웹서버)에 전송하는 역할을 한다. 즉, 사용자는 상기(a)를 통해 (b)를 보면서 (b) 연관시켜놓고 싶은 전자정보(예; 메모, 주석, 음성 등)가 있을 수 있다. 이러한 데이터는 사용자 자신이 다음에 열람하기 위해 개인적으로 저장해둘 수도 있고, 시스템에 유효하기 위해 E.C.I Layer유닛이 일괄적으로 서버에 전송해두기도 한다. 사용자는 단순히 화면상에 나타난 object의 종류를 선정하여 property data를 생성함으로써 자신의 임무를 다한다. 이를 위해 .markup maker은 사전에 각각의 object를 미리 정의해 놓아야하며, 정의한 object를 사용자가 손쉽게 알아보고 활용할 수 있도록, 화면 어딘가(주로 상단)에 그래픽기호로 제공되어야 한다. 이렇게 사전 정의(predefine)되어 있는 object들은 화면상의 어딘가에 그래픽기호(symbol)로써 사용자에게 식별되며, 사용자에게 선택되고, 사용자가 직접 생성한 데이터는 이러한 object를 구성하는 property data가 된다. 예컨대, 사용자가 ‘메모장’라는 메뉴(object)를 클릭한 후, 상기 (b)상에 있는 ‘orage'라는 단어를 지목하고, 렌더링된 메모장 안에 글자나 그림을 그려넣었다고 치자. 그러면 이때 사용자가 지정한 ‘메모장’이라는 object는 메모장안에 사용자가 그려넣은 글자나 그림을 property값으로 가지고, E.C.I Layer상에서의 위치값이 함께 tagging되어 저장된다. 즉, 사용자는 특정 페이퍼문서에 관한 mark up data를 생성하기 위하여 시스템 어플리케이션이 제공하는 object의 종류를 단순히 선택하고 상기 어플리케이션이 제공하는 정해진 form 위에서 단순히 property data 만을 생성하는 것이다.

4-3-4.-1. 사용자가 생성할 수 있는 object의 종류.
시스템이 시스템어플리케이션을 통해 제공할 수 있는 object의 name이다. 지금 제시하는 몇가지의 예는 본 발명의 개념에 따른 실시예를 서명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시예는 훨씬 다양할 수 있으며 본 명세서에 설명된 실시예들에 한정하여서는 아니된다. 바람직하게는, 현재 시중에서 컴퓨터 인터페이스를 통해 전자문서를 편집, 조작,생성하는 소프트웨어의 기능들 중 상당수가 이러한 기본코어 위에 적용되어야한다.

4-3-4-1-1. 필기.
페이퍼문서의 전체, 혹을 일부에 관련하여 사용자가 생성하는 ‘필기(도11-905)가 있을 수 있다. 이때, 사용자는 ‘필기’를 뜻하는 메뉴(그래픽기호)를 선택하여 필기를 할 수 있다. (물론, 실제로 필기메뉴는 이를 구체화하기 위하여 매우 많은 수의 하위설정메뉴를 가질 것이다. 예컨대, 펜굵기,글자모양, 글자색 등등)이때, 사용자는 페이퍼문서를 보면서 상에 밑줄을 긋고, 별표를 치고, 여백에 작게 글씨를 쓰는 등 단순히 (a)상에서 페이지 전체에 관한 필기를 생성할 수 있다. 그러나 어떤 경우에는, 특정 선택영역에 관해 상기 (a)의 범위를 넘어서는 분량의 필기를 하고 싶을 수도 있다. 즉, 필기공간이 부족할 경우가 발생하는데, 이럴 경우, 시스템 어플리케이션은 사용자가 (a) 상에 선정한 영역(도11-906)이외의 영역을 모두 필기할 수 있는 공간으로 할당하고, 더 나아가 할당된 공간이 사용자의 제어에 의해 무한 확장되도록 설정해놓을 수 있다. 이러한 방법은, 사용자가 공간의 제약을 받지 않고, 페이퍼문서 상의 선택영역에관해 엄청난 양의 데이터를 첨부해놓을 수 있도록 해준다. 이때의 '필기‘라 함은 단순히 사용자의 터치펜이 지나간 퀘적 뿐 아니라, 사용자가 첨부해놓은 링크나 동영상,텍스트 등 다양한 멀티미디어 데이터를 포함한다.

4-3-4-1-2.. 스탬프.
사용자는 페이퍼문서를 보면서 선택한 영역에 특정 표시(물음표,따옴표,느낌표 등을 포함한 아이콘)를 해둠으로써, 차후에 사용자의 개인화된 목적에 맞게 정렬하여 볼 수 있다. 예컨대, 잘 모르는 문제에 물음표를 찍어놓기로 (시스템과 사용자 간에 사전에) 규약이 되어있다면, 사용자는 문제집을 풀면서 잘 모르는 문제 위에 오버랩된 (a) 상에 물음표를 표시해둘 수 있다. 이렇게 사용자가 다양한 페이퍼문서를 전전하여 표시해놓은 물음표는, 차후에 사용자가 잘 모르는 문제만을 정렬하여 오래된 순, 어려운 순, 등의 세부기준으로 나열해서 볼 수 있게 된다. 또한, 시스템을 이용하는 사용자 각각이 다양한 페이퍼문서에 찍어놓은 스탬프들에 관한 정보는 시스템에 전송되어 시스템이 사용자들의 관심, 기호, 능력 등에 관한 통계를 알아낼 수 있는 중요한 소스가 되기도 한다.

4-3-4-1-3. 메모장.
페이퍼문서의 일부에 관해 부가정보를 첨부하기 위한 ‘메모장’이 있을 수 있다. (이는 현재 통용되는 컴퓨터 인터페이스 상에서 많이 활용되는 예라서 이에 관한 상세한 설명은 생략한다. )

4-3-4-1-4. 시간의 흐름에 따라 사용자의 음성과 object 생성과정이 싱크맞춰진 동영상.
시스템 사용자는 전술한 object(필기,메모장 등)들을 생성시키는 과정을 ‘녹화’한 동영상을 생성할 수 있다. 가령, 사용자는 (a)상에서 (b)를 보며, 페이퍼문서에 필기하듯이 동그라미를 치고, 줄을 긋고, 간단한 코멘트를 적으면서 누군가에게 말을 하듯이 설명할 수 있다. 시스템은 이렇게 사용자가 직접 투명디스플레이 상에서 어떠한 인터랙션(동그라미를 치고, 줄을 긋고,,,)을 하는 과정을 사용자의 말소리와 함께 녹음 및 녹화하여 하나의 동영상처럼 제작할 수 있다. 이렇게 제작된 동영상은 동일한 페이퍼문서를 대상으로 강의를 제공할 때, 매우 유용하다. 예컨대, A라는 교재를 활용하는 어떠한 강의를 제작할 때, 교사는 본 시스템의 이러한 '녹화'라는 object를 선택한 후에, 말을 하면서 강의를 진행하면서 A라는 교재의 특정 페이지들을 펼쳐놓고 줄을 긋고, 동그라미를 치는 등의 행위를 하면서 강의를 진행하면, 시스템은 강사의 말소리를 녹음함과 동시에, 강사가 A라는 교재에 생성시키는 궤적(특정 object를 선택하여 property data를 생성하는 과정을 강사의 말소리와 동시에 녹화하여 시스템의 DB에 저장하여, 동일한 페이퍼문서 A를 열람하는 다른 사용자에게 검색되거나, 상기 강사를 지정하여 강의를 듣고자 하는 학생들에게 검색되어 열람되게 할 수 있다.

4-3-4-2. odject에 추가되는 필드.
markup maker은 사용자에 의해 object가 생성될 때, 여분의 필드를 추가하여 데이터베이스에 전송한다. 이렇게 여분의 필드가 추가된 markup은 차후 다양한 조건을 내건 client device의 다양한 요구에 응대할 수 있어서, 사용자에게 보다 정제되고 유효한 정보를 선별할 수 있도록 해준다. 예컨대, 시스템은 사용자가 지목한 특정 페이퍼문서에서 특정 영역(예;특정 수학문제)과 관련해서 다른 시스템사용자들이 필기한 결과물을 제공해줄 수 있고, 사용자가 지목한 특정 시스템사용자가 특정 페이퍼문서에 대해 생성시킨 결과만을 선별해서 보여줄 수도 있으며, 사용자가 자신이 지정한 일자에 생성시킨 누적적 object를 재확인시켜줄 수도 있다. 또한, 이렇게 수집된 정보는 시스템의 시스템서비스에 의해 재가공되어 시스템에게 유효한 정보(extended context)로 재가공하는데 활용되기도 하며, 시스템이 제공하는 다양한 프로그램의 소스로 활용될 수도 있다.

4-3-4-2-1. object 생성자.
object를 생성하는 사용자/또는 디바이스에 대한 식별자정보이다. 예컨대, system id, 디바이스 일련번호. 주민등록번호가 있을 수 있다.

4-3-4-2-2. object 생성시각.

4-3-4-2-3. object에 연관된 book identity.

object가 생성될 때, 시스템이 식별하고 있는 book identity이다.

4-3-4-2-4. object가 E.C.I Layer( 또는, 전자부본)에서 차지하는 위치.
사용자가 특정 페이퍼문서의 상기(b)에서 지목한 object가 상기 페이퍼문서의 전자부본(예;스캐닝이미지)에서 차지하는 위치,

4-3-5. 시스템에 유익한 정보를 수집한다. (markup Interaction Metadata Maker)
사용자가 시스템과 인터랙팅한 이력을 기록하여 시스템에 전송한다. 이렇게 전송된 인터랙션 이력(히스토리컬 정보)은 시스템의 ‘ 컨텍스트’로써 저장되어 추후 시스템이 사용자에게 유용할 수 있도록 시스템에게 많은 단서를 제공해준다. 이를 위해, markup Interaction Metadata Maker은 사용자가 시스템에 접속하는 순간,혹은 로그인하는 순간부터 구동되어 book identity를 입력하고, 페이퍼문서 상의 특정 object를 선정하거나, 재현된 markup을 선정하여 액션을 실행시키는 일련의 모든 과정을 기록한다. 예컨대, 사용자가 특정 markup을 선정할때마다 사용자가 어떤 markup을 선정했는지, 이를 몇 분간 열람했는지, 열람 시각은 언제인지, 사용자가 이에대해 어떠한 코멘트를 달았는지 등을 기록해둘 수 있는 것이다. 또는, 사용자가 E.C.I Layer상에 보이지 않게 재현된 전자부본과 인터랙팅하였다면, 시스템은 사용자가 어떤 책에, 어떤 부분을 보면서, 어떤 object를 선정하여, 어떤 액션을 실행시켰는지, 이러한 실행결과물을 몇분간 열람했는지 등등을 모두 기록한다.

4-3-5-1. 기능.
이렇게 E.C.I Layer 유닛이 기록한 히스토리컬 전보는 본 시스템에서 ‘컨텍스트’를 생성시키는데에 중요한 소스가 되며, 이렇게 생성된 컨텍스트 정보는 또 다른 정보(extended context)로 가공되어 시스템이 보다 더 사용자에게 유용하도록 시스템서비스를 제공할 때 유용하게 활용된다.
예컨대, 시스템은 획득된 사용자/문서 컨텍스트를 정보를 통해 특정 사용자의 흥미와 관심도를 파악할 수 있다. 또는, 시스템은 획득된 정보를 통해 사용자의 능력의 변화 추이도 유추해낼 수 있다.
또는, 시스템은 사용자가 어떤 문서를 주로 보고, 관련 부가정보를 검색하는지를 파악하여 사용자의 최근 관심도를 반영한 광고나 구매 어플을 제공해줄 수도 있을 것이다. 구체적으로, 본 시스템에서 광고는 개별적인 워드 또는 구와 연관될 수 있고, 사용자가 이 워드 또는 구를 선택함에의해, 또는 과거의 선택이력(사용자 컨텍스트 정보)를 고려함에 의해 유저의 관심도를 반영하여 사용자에게 열람될 수 있다. 이런 방법은 광고주에게 그들의 광고의 유효성에대한 피드백으로 취급된다.
또는, 시스템은 광고자 및 시장판매자에 대한 보상의 새로운 모델을 제시해준다. 페이퍼문서의 특정영역에 해당하는 저작권을 소유한 시장판매자나, 출판사,광고자 등은 본 시스템을 활용하는 유저들의 선택/구입으로 인해 약간의 수입을 얻을 수 있다.
또는, 시스템은 전술한 사용자/문서 컨텍스트 정보를 획득함으로써 누군가를 위한 ‘통계치’를 생성할 수도 있다. 예컨대, 시스템은 ‘통계치’를 바탕으로 출판물의 인기도를 측정할 수 있다. 특정 페이퍼문서에서 머문 시간이나 특정 페이퍼문서를 검색한 횟수 등요인들은 출판자가 미래에 출판할 출판물을 결정하는데에 도움을 준다. 만일, 기존의 책에서 어떤 소목차가 지나치게 인기있는 것으로 판명되면, 이를 별도의 출판으로 확대할 가치가 있을 것이다. 또한, 유저의 액티비티를 기반으로 보다 적극적인 독자의 피드백을 관찰할 수 있고, 이를 기반으로 출판사는 작가에게 이에 합당한 보상을 해줄 수도 있다. 또한, 독자의 액티비티에 관한 통계치는 특히 인기있는 object를 선별해줄 수 있고, 광고주는 가장 인기있는 object에 프리미엄 레이트를 지불하고 광고가 열람되도록 할 수도 있을 것이다.
또는, 시스템은 전술한 ‘추가정보’를 단서로, 사용자의 습관이나 관심사항에 대한 정보를 파악할 수 있고, 이를 독자들에대한 적절한 (상품이나 컨텐츠에 관한)마케팅을 위한 소스로 활용할 수도 있다.
이와 같이, 본 시스템이 E.C.I Layer 유닛로부터 획득한 정보는 매우 막강한 양의 extended context 정보를 생성시킬 수 있도록 해주고, 본 시스템은 이렇게 생성되어진 extended context정보를 단서로 사용자에게 막강한 양의 정보와 맞춤화된 정보를 제공할 수 있게 된다.
이런 방식으로 누적된 정보는 시스템에게 각각의 사용자에 대한 관심과 흥미 및 능력의 변동추이를 알도록 해주어 사용자가 원하기 이전에 시스템이 먼저 사용자에게 유효한(적합한)정보를 엄선하여 제공해줄 수 있게도 한다. 또한, 시스템은 이렇게 사용자 각각의 컨텍스트 정보를 누적시킴으로써, 시스템 전체에게 필요한 정보들을 스스로 생성, 및 갱신해나갈 수 있으며, 이렇게 생성, 및 갱신된 정보들을 시스템을 이용하는 사용자에게 보다 유용한 시스템서비스를 공급해준다.

4-3-5-2. 일실시예.
일 예로, 사용자가 특정 페이퍼문서의 특정 수학문제를 선정하고 이와 유사한 문제를 본 시스템 상에서 열람하고, 지불모듈을 실행했을 때, 이와 관련된 모든 정보는 사용자의 컨텍스트를 구성하는 좋은 소스가 된다. 즉, 시스템은 사용자가 단순히 특정 문제를 선택하고 ‘유사한 문제’를 선택했다는 정보를 앎으로써, 사용자의 능력과 관심을 유추해볼 수 있으며, 이를 단서로 사용자에게 유효한(적합한)문제 및 관련 자료를 제공해줄 수도 있다.
다른 예로, 사용자가 특정 페이퍼문서 상에서 비쥬얼적으로 움직이는 게임을 실행함으로써 피드백(인터랙션)한 이력은 사용자가 가진 특정 능력과 특정습관을 가늠할 수 있는 좋은 단서가 된다. 예컨대, 어떤 사용자가 영어게임을 하면서 인터랙션을 할 때, 유난히 어떤 ‘철자’가 많이 들어간 단어를 자주 틀리고, 유난히 어떤 발음에 약하다는 것을 시스템이 감지한다면, 시스템은 이를 단서로 사용자에게 취약한 부분을 중접을 두어 문제를 생성하여 제공할 수도 있고, 사용자가 알아두면 좋을 만한 관련자료들을 제공해줄 수도 있을 것이다. 또한, 이렇게 반복된 게임을 통해 사용자가 어떤 능력이 향상되고 있는지, 아직도 부족한 능력은 무엇인지, 사용자의 능력이 현재 다른 유저들에비해 어느정도의 수준인지 등도 파악할 수 있으며, 더 나아가 사용자가 부족한 능력을 보충하기 위하여 적합한(유효한) 게임(혹은, 프로그램)이나 여타의 관련자료들을 소개해줄 수도 있을 것이다.
또 다른 예로, 사용자가 영어단어를 사전검색 할때마다 (즉, 인터렉팅할때마다) 사전검색의 대상이 되는 object data와, 시각, object가 속한 book identity가 시스템에 기록된다면, 시스템은 이들을 단서로 사용자가 동일한 영어단어를 얼마나 자주 반복하여 검색하는지, 주로 어떤 단어를 사전검색하는지, 주로 어떤 수준의 책 속에서 영어단어를 검색하는지(등)을 통해 사용자의 영어단어에대한 능력과 수준을 유추해낼 수 있고, 이를 기반으로 알아두면 좋을만한 다른 단어들을 제시해줄 수 있을 것이다. 또한, 사용자가 주로 검색하는 단어를 통해 사용자의 영어능력을 가늠할 수 있고, 비슷한 수준의 다른 유저들이 가장 많이 검색한 단어나 문장, 참고한 문제 등의 부가정보들도 제공해줄 수 있다.

4-3-6. 전자부본 또는, markup을 E.C.I Layer상에 재현시킨다.
E,C,I Layer가 페이퍼문서와 일치되고 나면, 시스템은 상기 E,C,I Layer 상에 전자부본 및.또는 markup을 재현(reproduce)시킨다. 이때, 전자부본은 사용자의 눈에 가시적으로 식별되지 않게 재현되어야하며, markup은 보이거나, 보이지 않는 층으로 재현될 것이다. 본 발명에서 ‘재현’은 특정 데이터가 사용자의 투명디스플레이/, 상의 특정 위치에서 반응하도록 ‘매칭’또는 ‘연결’되는 것으로 이해함이 좋다. 이러한 ‘재현’은 두가지 방식으로 실현될 수 있다. 이하, 두가지 재현방식을 알아보고, markup이 재현될 때의 특징을 구체적으로 알아보자.

4-3-6-1 재현방식

4-3-6-1-1. 전처리(pre-processing)방식.
사용자가 book identity를 시스템에 식별시킨 이후, 시스템이 해당하는 전자부본과 마크업 데이터를 미리 추출하고 간추려서 client device의 메모리에 전송해두고, 투명디스플레이/,의 E.C.I Layer 상에 재현시켜버린 채, 사용자의 터치에 즉각적으로 반응할 수 있도록 하는 방식이다. 이는 reproduction process상의 소요시간이 오래 걸릴 수 있다는 단점이 있으나, 처리 후 사용자에게 빠른 응답을 할 수 있다는 장점이 있다.

4-3-6-1-2. 후처리(post-processing))방식.
시스템이 E.C.I Layer상에 전자부본과 마크업을 미리 재현하지 않고, 사용자의 요청이 있을 때, 사용자가 지목한 지점의 위치에 해당하는 데이터에 대한 검색을 데이터베이스 상에서 수행하는 방식이다. 이러한 방식은 사용자의 요청때마다 데이터베이스를 검색해야하므로 사용자에게 빠른 응답을 할 수 없다는 단점이 있으나, 사용자의 요구나 기호에 맞도록 데이터를 수집할 수 있다는 점에서 전처리방식에 비해 사용자 중심적 서비스 제공이 가능하다.

4-3-6-2. markup의 재현.
E.C.I Layer unit은 파악한 정보 (object의 의미론적 정보 및/또는 위치정보)를 단서로 markup을 검색하고 선별하여 E.C.I Layer에 뿌려주는(재현시키는) 역할을 한다.
(참고로, markup은 전자부본 상에서의 의미론적 정보 및/또는 위치정보와 연관되어져 시스템의 데이터베이스에 저장되어있고, markup indicator의 부름을 받은 특정 markup은 자신의 위치정보와 동일한 -E.C.I Layer상에서의-위치에서 재현된다.)

4-3-6-2-1. markup 선별방법.
markup indicator는 시스템이 이미 식별한 book identity 외에도 다양한 정보를 참조하여 mark up을 선별한다. markup indicator가 참조할 수 있는 정보를 알아보자.

4-3-6-2-1-1. 사용자의 부가적 요구사항.
사용자는 시스템이 선별(또는, 생성)해주길 바라는 markup의 조건을 제시할 수 있다. 이러한 조건은, 시스템어플리케이션 상에서 사용자에게 그래픽적으로 식별되어 사용자에 의해 선택됨으로써 시스템이 식별한다. 사용자는 아래에 제시하는 다양한 조건 중 하나 이상을 시스템에 요구함으로써, 자신의 기호에 맞는 유효한 정보를 제공받길 원한다.

* markup's object name.
*. markup's 생성자.
* markup's 생성시각.
* markup's 과 연관된 object의 문서상의 위치.
* markup‘s 신뢰도,
* markup's 인기도.

일실시예; 예컨대, 사용자는 자신이 열람하고 있는 페이퍼문서 전체와 관련해서 이 책을 열람한 다른 사람들이 작성한 다양한 마크업 중 ‘메모장’이라는 object만을 선별하여 보고 싶을 수 있다. 이때, 사용자는 ‘페이퍼문서 전체’(5-1-2-1-4)라는 조건과 ‘메모장’(5-1-2-1-1))이라는 조건을 시스템에 요청하면 된다. 또는, 다른 실시예에서, 사용자는 페이퍼문서의 특정 영역대해 사람들이 첨부한 필기 중, 사람들에게 가장 많이 읽힌, 평판이 가장 좋은 필기내용 만을 보고싶을 수도 있다. 이를 위해, 사용자는 페이퍼문서의 특정영역(5-1-2-1-4)을 선정하고 평판(5-1-2-1-5)이 좋은 필기내용(5-1-2-1-1)을 요청한다고 시스템에 의사표시를 하면 된다. 또 다른 실시예에서, 사용자는 자신이 열람하고 있는 페이퍼문서의 특정영역(5-1-2-1-4)에 관해 시스템이 보유한 다양한 컨텐츠 중 유독 ‘동영상’(5-1-2-1-1)만을 보고싶어할 수도 있다. 이를 위해, 사용자는 페이퍼문서의 특정 영역을 선정하고 ‘동영상’이라는 메뉴를 클릭하여 시스템에 자신의 요구사항을 전달할 수 있다. 물론, 이러한 사용자의 다양한 요구에 응답하기 위해, 시스템은 사전에 시스템이 보유하고 있는 mark up에 대해 이러한 요구에 응답할 수 있는 형태로 tagging을 붙여놓고 서버를 구축해야 함은 당연하다.
이러한 조건 중에 가장 빈번하게 사용자가 요구하는 조건은, 페이퍼문서 상에 특정영역(5-1-2-1-4)을 지정하는 것이다. 투명디스플레이/,을 통해 보이는 페이퍼문서를 보며, 사용자가 특별히 활용(예;사전검색, 캡쳐 등)하고 싶은 페이퍼문서 상의 특정영역을 선정하여 투명디스플레이/, 상에 직접 표시(예;드래그)할 수도 있고, 제작자에 의해 해당 문서에 미리 구획지어진 영역(block)을 사용자가 단순히 선택함으로써 지정될 수도 있고, 보이는/혹은 보이지 않는 마크업을 선택함으로써 미리 설정되어져 나눠진 구획 중 하나가 선택될 수도 있으며, 경우에따라 시스템(제작자,프로그램 등)에 의해 해당 문서 전체가 선택영역이 되도록 할 수도 있으며, 문서의 속성정보 (문서 컨텍스트 정보)와 사용자 컨텍스트 정보 등을 참조하여 시스템이 일방적으로 선택영역을 선정할 수도 있다.. 이렇게 선택영역에 대한 지정이 끝나고 나면, 시스템은 사용자가 선택한 영역에 부합하는 위치조건을 가진 markup을 선별할 것이다.

4-3-6-2-1-2. 컨텍스트.
시스템은 사용자의 요구조건 뿐 아니라, 시스템이 이미 보유하고 있는 막강한 양의 컨텍스트 정보를 참조하여 markup을 선별할 수도 있다.이러한 컨텍스트 정보는 사용자가 시스템에 접속하는 순간부터, 혹은 book identity를 입력하는 순간부터 수집되어 활용된다. 예컨대, 시스템은 어떤 사용자가 book identiy를 입력하기 이전에, 사용자의 히스토리컬 정보를 분석해 사용자의 취향과 관심이 반영된 마크업을 추천해줄 수 있다. 또는, 시스템은 어떤 사용자가 book identity를 입력함과 동시에, 상기 사용자의 관심과 비슷한 관심을 가진 다른 유저가 상기 book identity에서 가장 많이 열람하고, 가장 인기많았던 mark up을 소개해줄 수도 있다. 또는, 시스템은 사용자의 실세상에서의 구매이력을 참고하여 사용자가 입력한 book identity와 연관된 컨텐츠들 중 사용자에 의해 실질적 구매로 이어질 수 있을 만한 컨텐츠들을 선별해서 보여줄 수도 있다. 이렇게 시스템이 보유한 컨텍스트를 참고하여 mark up을 선별하는 방식은 사용자에게 매우 막강하고 유효한 정보를 제공해줄 수 있음은 물론, 유효하게 정보가 제공되길 바라는 provider에게도 모두 유익하다.

5. 전자부본. (Electronic Counterpart)
특정 페이퍼문서에 대응되는 전자문서. 시스템이 특정 페이퍼문서의 book identity를 식별함으로써 대응시킬 수 있는 digital data이다. 본 시스템에서, E.C.I Layer의 위치에 보이지 않게 재현되어 사용자로부터 정의된 액션이 실행되는 객체가 된다. 주로, 상기 페이퍼문서의 스캐닝이미지를 획득한 시스템의 시스템서비스(data provider-예;웹서비스)가 이를 시스템이 원하는 형태로 가공함으로써 생성된다.

5-1. scan image.
스캐닝/이미징 능력을 갖는 광학장치(예;스캐너,카메라)를 통해 획득된 digital file이다. 어떠한 가공을 거치지 않은 raw data이며, 픽셀정보로 식별된다. 주로, 사용자가 E.C.I Layer상에서 ‘캡쳐링’을 실행할 때 그의 객체가 된다.

5-2. processing scanimage.
특정 페이퍼문서의 스캐닝이미지에서 유의미한 object(예; 특정 단어, 문장, 문단, 한묶음의 텍스트 전사)들을 추출해서 스캐닝이미지에서 차지하는 위치정보와 함께 본 시스템에 사용가능한 형태로 만든 data set(group)이다. 시스템은 사용자의 사용목적을 구분하여 가장 사용하기 용이하고, 원활한 형태로 이러한 data set을 구성해놓아야한다. 가령, 사용자의 데이터 사용목적이 단순히 ‘사전검색’만을 목적으로 한 경우에는 사전검색의 대상이 되는 단어(object)가 스캐닝이미지에서 차지하는 위치정보를 포함시킨 text data set가 적합할 것이다. 이러한 데이터는 텍스트, 텍스트 오프셋, 또는 다른 심볼로 구성되는 signiture일 수 있다.


6. markup.
시스템은 전술한 단계로부터 파악한 정보를 토대로 상기 페이퍼문서에 대해 여분의 기능성을 제공한다. 본 시스템은 이렇게 특정 페이퍼문서를 참조하여 문서와 연관된 여분의 기능성을 제공하는 층을 ‘마크업’이라 칭한다. 마크업은 페이퍼문서의 특정 object의 의미론적 정보,또는 상기 특정 object의 페이퍼문서 상에서의 위치정보(좌표,세그먼트)연관되어 데이터베이스(사용자 단말기의 메모리, 혹은 웹서버 등)에 저장됨으로써, 이를 단서로한 client device의 질의어에 응답한다. 응답된 마크업은 상기(a)영역에서 E.C.I Layer의 안내를 받아 자신의 자리를 찾는데, 이들은 페이퍼문서에 인쇄된 특정 object(예;특정 단어,특정 면적) 위에서 그래픽(예;,하이라이팅,아이콘, 스크립트 등)으로 가시적으로 식별되기도 하고, 식별되지 않은채 특정 기능성을 수행할 수도 있다.
이러한 ‘마크업’에 대해 자세히 알아보자

6-1. 오버레이와 정적,동적.
마크업은 투명디스플레이 상에서 오버레이로 제공될 수 있다. 종래의 html 웹페이지에 대한 링크가 html문서 내에 정적 데이터로서 종종 내장되는 방식과 유사하게, 마크업은 raw data에 대해 정적이고 특유한 것으로 생성될 수 있다. 그러나 마크업은 동적으로 생성 및/또는 적용될 수도 있다. 동적 마크업의 일 예는, 문서에서 언급된 회사의 최신주식가격을 포함하는 그 문서가 첨부되어잇는 정보이며, 널리 적용되는 마크업의 일 예는, 다수의 문서나 문서의 액션에대해 특정 언어로 자동으로 이용가능한 번역정보이다.

6-2. 여러 소스로부터 가능한 여러 층
특정 페이퍼문서는 다수의 오버레이를 동시에 가질 수 있고, 이들은 다양한 위치로부터 유래될 수 있다. 마크업은 특정 페이퍼 문서의 작가, 사용자, 또는 또다른 측에 의해 생성되거나 공급될 수 있다. 마크업은 상기 페이퍼문서의 raw data에 첨부되거나 그에 내장될 수 있고, 분리되어 전송될 수도 있다. 마크업은 종래의 위치에서 (예컨대,동일한 문서이지만 다른 파일네임 접미사를 갖는 곳에서) 발견될 수 있다. 마크업은 사용자가 E.C.I Layer 상에서 선택한 지점에 대한 결과값에 포함될 수 있고, 또는 동일한 또는 상이한 검색엔진에의 별개의 문의에 의해 발견될 수 있다. 마크업데이터는 시스템이 보유한 컨텍스트 정보를 참조하여 생성될 수 있다.

6-3. 보이지 않는 층.
마크업은 사람이 판독할 수 있는 컨텐츠를 포함할 수 있지만, 종종 사용자에게 보이지 않거나 기계적(소프트웨어적) 사용으로만 의도되어 제공될 수 있다. 보이지 않는 마크업의 예로, 사용자가 투명디스플레이/,를 통해 보여지는 페이퍼문서의 (페이퍼문서 상에 인쇄된) 특정 object(예;특정 단어)를 손가락으로 지정하면 이와 연관된 오디오 정보를 제공하는 팝업메뉴가 뜨는 것이 그 예이다.

6-4. 시스템서비스에 의해 생성되는 마크업.
마크업은 시스템이 보유한 컨텍스트 정보를 참조한 시스템서비스(data provider)에 의해 생성될 수 있다. 바람직하게는 이러한 시스템서비스는 웹서비스이며, 이러한 웹서비스는 종종 사용자가 시스템에 접속한 이후의 특정 시점에 즉각적으로 생성되어 제공되기도 한다.

6-4-1. 사용자와 인터랙션하는 visual적으로 움직이는 마크업..
마크업은 단순히 정적으로 사용자에게 식별되고 표시되어 사용자의 터치에 의해 액세스되는 방식에서 벗어나, 비쥬얼적으로 움직이면서 사용자와 인터랙션되길 원하는 방식도 존재한다. 그 대표적인 예로, 특정 페이퍼문서(raw data)를 참조하여 교육용 게임프로그램(data provider)에 의해 생성된 마크업이 있을 수 있다. 바람직하게는, 교육용 게임프로그램은 DB상의 사용자 컨텍스트 정보 및 문서 컨텍스트 정보 등을 참조하여 사용자에게 문제들을 페이퍼문서 상에서 게임형식으로 제공할 수 있다. 가령, 시스템이 특정 영자신문의 특정 영역에 대해 특정 사용자의 컨텍스트를 분석하여 그와 비슷한 수준의 유저들이 해당 페이지에서 가장 많이 검색한 단어들을 (페이퍼문서 상에서)블랭크 처리하여 제공한다면, 사용자는 이를 빠른 시간안에 맞추는 게임을 함으로써 단어학습능률을 높일 수 있다. 또 다른 게임프로그램으로, 문서상에서 위에서부터 차례로 문장들이 지워지도록 함으로써, 사용자의 속독능력향상을 도와줄 수 있다. 이외에도 교육용 게임프로그램은 아주 다양한 형태의 마크업을 특정 페이지 상에서 사용자에게 제공하여 사용자의 학습능률을 향상시킬 수 있다. 더 나아가 시스템은 이런 게임프로그램을 수행하며 사용자가 피드백한 이력(인터랙션내역)을 분석하여 사용자의 능력이나 흥미 등의 변동추이도 유추해냄으로써, 시스템은 사용자 컨텍스트 정보를 보강할 수 있고, 이렇게 누적된 사용자 컨텍스트 정보는 사용자 본인 및 다른 유저들을 위해 재가공되어 시스템이 여분의 콘텐츠를 생성해내는 중요한 소스가 될 수도 있다.
구체적으로는, 비주얼적으로 움직이는 마크업은 스캐닝이미지를 참조하여 제작자가 일일이 만들 수도 있지만, 데이터마이닝 기법을 통해 생성된 데이터를 기반으로 개발자가 입력한 알고리즘 안에서 데이터를 분석해서 스스로 문제를 만들어내는 시스템(Artificial Intelligence)을 통해 시스템서비스가 생성할 수도 있다. 이렇게 생성된 마크업은 유저의 디스플레이 상에서 유저와의 피드백(인터랙팅)을 통해 진행된다. 또한, 유저는 컴퓨터와 가상의 대결을 할 수도 있지만, 다른 유저와 동일한 페이퍼문서를 보며 실시간 게임을 할 수도 있다. 유저가 게임에 참여하면서 시스템이 획득한 모든 데이터는 유저의 히스토리 정보에 기록되고 시스템서비스를 통해 재가공되어 다른 유저에게 제공되거나, 차후, 유저 개인의 개인화된 용도로 활용될 수 있다.
예를 들어, 유저는 페이퍼문서인 영자신문을 보며 그 위에 투명디스플레이를 오버랩시키고, 레이어와 영자신문을 일치시킨다. 그 후, 특정 게임프로그램 실행명령을 내린다. 이에 시스템서비스는 동일한 영자신문을 읽은 다른 유저의 히스토리컬 정보를 참조해서, 해당 영자신문에 나온 단어들 중 다른 유저에의해 가장 많이 검색된, 우선순위의 단어를 블랭크 처리하여, 유저는 제한된 시간내에 블랭크를 모두 없애는 게임을 할 수 있다. 또는, 속독을 위해, 위에서부터 차례대로 특정속도로 단어가 지워지는 게임도 있을 수 있다. 또는, 단어를 익히고자 하는 영유아나, 외국어 학습을 하는 학생들을 위해 글자를 발음한 소리를 들려주고 해당 단어를 찾게 하는 등의 게임도 있을 수 있다. 그 외에도 각 교과의 특성과 개발자의 목적에 따라 게임의 형태는 매우 다양할 수 있다. 이러한 게임은 순전히 ‘교육적’목적으로만 쓰이는 것은 아니지만, 대부분의 경우 유저에게 문서에의 몰입도를 유도하고 학습효과를 증진시켜 주는 목적으로 생성될 것이다.

6-4-2. 문제 및 게임 .
본 시스템을 이용하는 주된 이용자가 도서열람자 중에서 학습자가 될 것임을 감안한다면, 본 시스템은 ‘학습자’를 위한 특별한 서비스를 제공할 필요가 있다. 즉, 시스템은 유저가 선택한 페이퍼문서 전체,혹은 일부의 대해, 기존의 컨텍스트 정보를 참조하여, 사용자에게 학습할 만한 컨텐츠를 문제의 형태로 제공할 수 있다. 이런 문제의 형태는 단순한 o,x형태일 수도 있고, 기존에 있는 문제를 단순히 선별하여 제공하는 것일 수도 있다.
가령, 페이퍼문서가 ‘영자신문’일 경우, 영자신문 중에서 유저가 선택한 영역, 혹은 시스템의 제어에 의해 선택되어진 부분에 관련되어 본 시스템의 문제생성기가 실행되어 문제가 생성될 수 있다. 이런 문제생성기는 영자신문 중 선택영역에 해당하는 raw data를 분석하여 미리 설정된 알고리즘으로 문제를 생성시킬 수도 있고, 조금 더 유저 인터페이스를 지원한다면, 사용자 컨텍스트 정보와 문서 컨텍스트 정보를 참고하여 문제를 생성시킬 수도 있을 것이다. 이를 위해, 바람직하게는 시스템은 머신러닝알고리즘 ,즉 AI(artificial intelligencr)를 활용할 수 있다. 예컨대, 시스템은 영자신문의 선택영역에 해당하는 raw data에서 키워드를 인덱싱하고 이 키워드들 중에서 사용자와 비슷한 수준의 다른 유저가 가장 많이 검색한 단어들만 선별하여 블랭크로 처리하는 문제를 생성시킬 수 있다. 또는, 시스템은 사용자 본인이 과거에 시스템과 인터랙팅한 이력(사용자 컨텍스트 정보)를 참조하여 사용자가 모를 법한 단어들만 선별하여 사용자에게 적합한 난이도로 구성한 문제를 제공할 수도 있다. 더 나아가 시스템은 전술한 방법으로 생성되어진 문제, 혹은 선별된 데이터(예컨대, 영자신문의 키워드)가 사용자에게 ‘게임’으로 학습되어질 수 있도록 이를 해당 raw data를 참조하여 재가공할 수도 있다. 예컨대, 시스템은 영자신문에서 다른 유저가 많이 검색한 키워드를 선별하여 단순히 블랭크 처리하는 방법과 달리 시스템은 다른 유저가 많이 검색한 단어들의 블랭크가 순차적으로 깜빡이도록 하여 사용자가 주어진 키워드카드를 제한된 시간 내에 모두 집어넣도록 하는 게임을 제공할 수 있다. 또는, 다른 유저와 동시에 해당 게임프로그램으로 접속하여 동일한 페이퍼문서를 보며 이와 다른 형태의 게임을 즐길 수도 있을 것이다. 이러한 일련의 게임프로그램은 문제가 생성되어 사용자에게 정적으로 제공되는 기존의 방식보다 액티브하고 사용자의 참여를 유도할 수 있어서, 사용자의 학습효율성을 높여주고 흥미를 유발할 수 있을 것이다.

6-5. 시스템 사용자에 의해 생성되는 마크업.
시스템사용자들은 각자 자신의 client device를 통해 markup을 생성하여 시스템서버에 전송할 수 있다. 이때, 사용자에 의해 생성된 마크업은 사용자에 의해 생성되어져 시스템의 데이터베이스에 저장되었다가 다른 사용자의 요청에 응답하여 제공될 수도 있지만, 마크업이 생성됨과 동시에 다른 시스템사용자와 실시간 공유될 수도 있다. 사용자에 의해 markup 이 생성되는 방법은 (ch4-3-4)를 참조하라. 생성된 마크업이 다른 시스템사용자와 실시간 공유되는 방법을 알아보자.

6-5-1. 다른 시스템사용자와 실시간 공유되는 마크업.
-본 시스템에 접속한 유저 두명 이상이 그들끼리 따로이 대화를 원할 경우, 시스템은 그들을 따로 분리하여 (예; p to p로 연결되도록 하여) 그들끼리만 대화를 하도록 중개해줄 수 있다. 예컨대, 본 시스템을 이용하는 사용자는 그의 친구(들)와 특정 페이퍼문서에 대해 , 그 페이퍼문서를 함께 보면서 대화를 나누고 싶을 수 있다. 그러면 사용자가 함께 대화를 하고자 원하는 두명이상의 사용자들을 선별하여 그들이 (시스템 어플리케이션을 활용하여)생성해내는 property데이터를 대화에 참여한 다른 유저(들)의 화면 상에 실시간으로 재현시켜줄 수 있다. 이를 위해, 대화에 참여한 각각의 유저는 동일한 페이퍼문서를 준비해두고, 일방이 지시하는 특정 페이지(페이퍼문서)를 펼쳐놓고, 본 시스템을 통해 청구항1의 (가)와 (나)단계를 수행하게 된다. 그 후, 대화에 참여한 임의의 유저가 책을 보면서 어플리케이션이 제공하는 특정 메뉴 (예;필기도구)를 활용하여 object에 대한 property값을 생성하는 것이다. 이때, 생성된 property값은 대화에 참여한 다른 유저들의 화면 상에 실시간으로 ( 즉, property값이 생성되는 와중에 실시간으로) 재현되는 것이다. 이때 대화에 참여한 다른 유저들도 실시간 property값을 생성하고, 이렇게 생성된 property값이 다른 유저의 화면 상에서 공유되는 것이 좋지만, 경우에 따라 대화에 참여한 특정 일방에게만 property값을 생성하도록 허용하고, 다른 유저들은 생성된 property값을 단순히 열람하는 형태일 수도 있다. 즉, 대화에 참여한 유저들은 그들의 재량으로, ‘대화에 참여한 유저들 중 property값의 생성권한을 누구에게 줄지’ 등과 같은, 대화참여에 대한 rule을 스스로 만들 수 있다. 또한, 이때의 property값은 시스템 어플리케이션이 제공하는, 사전에 predefine되어 있는 object에 대한 것인데, 이때의 object의 항목 중에는 ‘음성’항목도 있을 수 있다. 즉, 사용자의 디바이스 상에 사용자의 음성을 인식할 수 있는 엘리먼트가 구비되어 있다면, property값을 생성하는 일방이 제공하는 화면 상의 표시(예;필기)만을 실시간 열람하는 것 뿐만 아니라 상기 필기와 함께 싱크맞춰진 생성자의 음성을 실시간으로 직접 들을 수도 있어서, 훨씬 유용할 것이다. 또한, 일 실시예에서, 오프라인 상에서 상기 ‘페이퍼문서’를 소지하지 못한 경우, 이의 열람을 위하여 시스템은 이미 획득한 ‘페이퍼문서의 스캐닝이미지’ 즉, raw data를 ‘페이퍼문서’를 소지 하지 못한 사람의 화면 상에 제공할 수 있고, 경우에따라, 이의 ‘인증,보안,지불’ 중 하나 이상을 요구할 수도 있다.
두 가지 실시예를 통해 구체적으로 알아보자.
첫째, 시스템을 이용하는 유저 A는 집에서 공부를 하던 중 ‘수학의 정석’책 P32의 예제 2번 문제가 잘 풀리지 않아서 친구 B에게 물어보기로 한다. 자신의 디바이스를 통해 본 시스템 어플에 접속한 A는 자신이 등록시켜놓은 친구목록에서 B가 접속하지 않은 상태인 것을 확인하고, B에게 전화를 걸어 시스템에 로그인해줄 것을 요구한다. 그리고 접속한 B를 보고 ‘채팅’연결을 시도한다. 그러면, 시스템은 A와 B가 음성으로 대화할 수 있도록 허용하고, A와 B는 그때부터 시스템 어플을 사용하여 음성으로 대화를 주고 받게 된다. A는 B에게 ‘수학의 정석’ 중 P32를 펼 것을 요구한다. 마침, ‘수학의 정석’책을 소지하고 있던 B는 P32를 펼친 후, 자신의 단말기에 구비된 투명디스플레이를 P32에 오버랩시키고, E.C.I Layer를 일치시킨다. 그 후, ready 상태가 되었음을 A에게 통지할 것이다. (물론, 이를 위해 A도 B가 한 행동과 같이, E.C.I Layer를 페이퍼문서와 일치시켜 놓아야 한다.) B가 준비되었음을 인지한 A는 그때부터 어플리케이션이 제공하는 다양한 메뉴 (object)중 하나인 ‘필기’(물론, 구체적으로는 다양한 색상,굵기 등의 하위 메뉴가 존재할 것이다)를 선택하여 예제 2번 위에 오버랩된 디스플레이의 화면 상에 직접 예제 2에 대한 필기를 시작할 것이다. 즉, 보통의 유저가 문제를 풀 때 통상적으로 책에다 특정 숫자에 동그라미를 치고, 옆에다가 계산하기도 하고, 밑줄을 긋고 하는 것과 비슷하게, 마치 예제 2번이 적힌 종이 위에 직접 그리듯이 투명디스플레이 상에 그리는 것이다. 그러면, 이렇게 A에 의해 생성된 property data는 E.C.I Layer 상의 위치와 object명(예;필기)이 기록되어 시스템의 특정 서버에 전송되고, 이렇게 전송받은 data를 시스템은 B에게 실시간 전송하게 된다. 그러면, 이를 전송받은 B의 화면에 (이미 이러한 object들에 대해 pre define되어 있는 어플이 깔려있으므로) property data가 A의 화면에서와 똑같이 재현될 것이다. 즉, A와 B는 각자 자신의 책(수학의 정석)을 보며 마치 상대가 오프라인 상에서 자신의 책을 함께 보면서 동시에 문제를 푸는 듯한 체험을 하게 된다.
두 번째, 학교의 수업현장에서 활용될 수 있다. 모든 학생과 선생이 본 시스템 어플리케이션이 설치된 디바이스를 소지하고 있다면, 선생님은 일부러 칠판에 필기내용을 적거나, 말로써 특정 페이퍼의 어딘가를 보라고 설명하지 않고도, 손쉽게 학생들의 각각의 책에 코멘트를 달아주는 효과를 얻을 수 있다. 이때, 선생님은 개인적으로 지도가 필요한 학생에게만 자신의 property data가 공유되도록 설정해둘 수도 있고, 일괄적으로 모든 학생에게 공유되도록 설정해둘 수도 있을 것이다. 또는, 일 실시예에서 property data는 선생님 뿐 아니라, property data의 생성권한을 가진 임의의 누군가에 의해 생성되어 다른 학생들의 화면 상에 실시간 재현될 수도 있다. 가령, 수업시간에 어떤 학생이 질문을 하면, 선생님은 그 학생에게 property data 생성권한을 부여할 수 있고, 그렇게되면, 다른 학생들은 그 학생이 생성시키는 property data(예;필기)가 자신의 어플리케이션 화면 상에서 실시간 재현되는 것만 볼 수 있고, 그것의 생성에는 전혀 관여할 수 없다.

6-6. 제 3자에 의해 공급된 마크업.
마크업데이터는 문서의 다른 판독제에 의하는 바와 같이, 제 3자에 의해서도 공급될 수 있다. 온라인 토의 및 검토인, 특정 작업, 자원봉사자에 의한 번역 및 설명에 관한 커뮤니티-관리 정보와 같은 것은 좋은 예이다. 또는, 광고주에 의한 것도 좋은 예이다.

6-7.개인‘ plug-in’ 층
사용자는 마크업를 인스톨하거나 그것의 특정 소스에 서명할 수 있고, 따라서 특정 액션에 대한 시스템 반응을 개인화시킬 수 있다.

6-8.키워드 및 문구 상표 및 로고
마크업의 일부 요소는 문서 내의 위치보다는 그들 자체의 특성에 기초하여 그들과 연관되어 있는 기능성을 가질 수 있다. 예를 들어, 사용자에게 어느 조직에 관한 추가정보를 제공하려는 목적으로 링크시킬 수 있는 로고 및 상표 등이 있듯이, 동일한 원리가 문서 내의 ‘키워드’또는 ‘키문구’에도 적용된다. 조직들은 그들이 연관되어 있는,혹은 그들이 연관되고 싶어하는 특정 문구들을 등록할 수 있고, 그 문구가 어디에서 사용자에게 선택되든지간에 이용가능한 마크업을 부착할 수 있다.
어떤 단어나 문구 등도 연관 마크업을 가질 수 있다. 예컨대, 본 시스템은 사용자가 언제 단어‘책’또는 ‘책제목’또는 ‘책에 관련된 토픽’을 지정하든지 간에, 특정 항목을 팝업메뉴에 추가할 수 있다. (예컨대, 온라인 서점으로의 링크). 본 시스템의 일부 실시예에서, 단어‘책,이나 ’책제목‘,’책에 관련된 토픽‘등이 사용자에의해 지정되면 이에 대해 텍스트, 사용자 컨텍스트 정보, 문서 컨텍스트 정보 등을 참조할 수 있고, 시스템의 움직임이 키워드 요소의 이러한 접근성에 따라 변경된다. 앞서의 일 예에서, 마크업으로 인해, 비상업적 텍스트 또는 문서로부터 상업적 트랜잭션을 유발할 수 있다는 점에 유의해야한다.

6-9. 유저의 데이터 스트링에 기초한 동적 마크업.
시스템은 여럿 또는 모든 유저에 의해 획득된 히스토리컬 정보(컨텍스트 정보)를 실시간으로 분석하고 시스템의 시스템서비스를 향상시킴으로써, 특정 페이퍼문서를 열람하고 있는 유저에게 매우 유효한 정보를 제공해줄 수 있다. 일 예로서는 특정 책을 보고 있는 유저에게 ‘이 책을 즐긴 사람은 또한...도 즐긴다’라는 것을 알려주면서 동시에 유저에게 온라인 서점의 링크를 제공해줄 수 있다. 또는, 유저에게 그의 계약 리스트의 어떤 사람이 이 문서를 최근에 읽었는지를 알려줄 수도 있다.

6-10. 외부 이벤트 및 실세상 컨텍스트에 기초한 마크업
마크업은 통합된 데이터베이스로부터의 입력이나 공중 인터넷으로부터의 정보 또는 로컬 운영체제에 의해 수집된 통계치와 같은 데이터 소스 및 외부 이벤트에 기초하여 생성될 수 있다. 이러한 데이터소스는 더욱 로컬일 수 있고, 특히 유저의 신분, 지역과 같은 유저의 콘텍스트 정보를 제공할 수 있다. 예로써, 시스템은 유저의 모바일 폰과 통신할 수 있고 유저가 최근에 전화로 통화한 누군가에게 문서를 전송할 옵션을 부여하는 마크업 층을 제공할 수 있다.

6-11. 특정 트랜잭션을 유도하는 마크업.
보이게, 또는 보이지 않게 레이어 상에 뿌려진 마크업은 특정 트랜잭션을 유도하는 기능을 수행할 수도 있다.

6-11-1. 인증,보안,지불
본 시스템의 대부분이 ‘저작물’을 그 대상으로 하는 점을 감안하면, 저작물의 열람과 활용에 대한 ‘인증,보안,지불’은 필연적으로 수반될 수 밖에 없다. 이에, 특별한 인증과 보안은 이러한 지불을 위한 필요조건이 되므로 시스템은 인증,보안,지불 모듈을 가질 수 있다. 통상적으로 유저의 신분은 디바이스의 일련번호에 의해서 식별되나, 그것의 신뢰성에 문제가 발생할 수 있으므로, 시스템은 사용자가 디바이스의 실제 소유주가 맞는지 등의 여부를 명확히 할 여분의 ‘인증’모듈과 본 시스템의 이용권한과 markup로의 액세스 권한 등을 부여할 ‘보안’모듈을 실행할 수 있다. 그 후, 시스템은 유저가 이용권한이 없는 정보로의 액세스를 시도할 때, 또는 특정 아이템을 구매할 때, 등등과 같은 상황에서 ‘지불’모듈을 실행할 수 있다. 예컨대, 유저가 책의 일부를 스크랩할 때, 시스템은 유저에대해 파악하고, 유저가 선택한 책의 일부에 대해 액세스 권한이 있는지를 파악하고, 권한이 없을 경우, 일정한 ‘지불’을 요구할 수 있다. 더 나아가 시스템은 결제를 위한 정보(저작권자,출판사 등)를 문서 컨텍스트 정보를 통해 파악할 수 있으며, 사전에 합의된 기준에 의해 사용자가 결제한 금액을 각각에게 배분해줄 수도 있다. 이를 위해 시스템은 billing, 가입,디바이스 식별자 정보 중 하나 이상을 이용할 수 있다.

7. 전자부본 또는, markup에 대해 실행되는 액션.
일반적으로 컴퓨팅 시스템 내에서 실행되는 ‘액션’은, 프로그램, 모듈, 혹은 로직은 특정작업을 수행하거나 특정 추상데이터유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터구조 등을 가리킨다. 본 출원상에서, ‘액션’ 또는,‘특정모듈’은 전술한 것과 같이 특정 기능성을 수행하는 ‘모듈’‘소프트웨어’의 의미로써 전자부본,혹은 마크업층을 객체로 한다.
본 시스템에서 ‘액션’은 그 객체가 ‘전자부본’일 경우에는, 사용자에 의해 의도되어져( 즉, 사용자로부터 지목되어) 실행되는 경우가 많고, markup층을 그 객체로 할 경우에는, 시스템으로부터 의도된(즉, 문서 컨텍스트 정보나 마크업에 이미 설정되어있는) 액션이 실행되는 경우가 많다. 쉽게말해, E.C.I Layer상에 아무것도 식별되지 않고, 단지 디스플레이를 투과해보이는 페이퍼문서 만을 응시하면서 사용자가 페이퍼문서를 조작(검색,편집 등)해야할 경우, 사용자는 자신이 상기 페이퍼문서에대해 실행하고 싶은 ‘액션’을 특정해야하며, E.C.I Layer상에 재현된 마크업을 그 대상으로 할 경우에는, 사용자가 따로이 액션을 특정짓지 않아도 된다는 뜻이다.

7-1. 사용자로부터 의도된 액션.
사용자가 상기 (a)를 통해 투과해보이는 (b)를 응시하며, (b)를 직접적으로 조작(검색,편집 등)하고자 할 때, 시스템은 상기 (a)상에 상기(b)에 해당하는 전자부본을 재현시킨 후, 사용자가 지목한 지점에 대해, 사용자가 지정한 액션을 실행시킴으로써, 사용자에게 마치 페이퍼문서를 직접 조작하는 듯한 가상현실적 체험을 제공한다. 이렇게 사용자로부터 의도된 액션은 사용자에게 페이퍼문서를 유저 자신의 취향에 맞도록 조작,변형,검색하여 개인화시킬 수 있도록 한다.
이러한 액션은 사용자 단말기상에서 로컬 액세스될 수도 있고, 통신 네트워크를 통해 연결되어있는 원격 처리 장치들에 의해 사용자 시스템 (예컨대,웹서버)상에서 원격으로 수행되어질 수도 있다. 이렇게 원격처리장치에 의해 수행될 때, 이러한 액션(모듈)은 하나 또는 복수의 서버에 위치할 수 있고, 경우에 따라 모듈들은 사용자 단말기의 메모리나 서버 각각에 국부적으로 위치하여 각각의 기능성이 하나의 과제를 수행하도록 연결될 수 있다.
이러한 특정 액션은 사용자의 디스플레이 상에 GUI로써 식별되는 형태(아이콘,심볼 등)로 표시되어 사용자의 터치로 실행되어지기도 하지만, 본 시스템을 사용자 단말기의 웹브라우저 상에서 이용할 경우, 웹브라우저 상에서 제공되는 모듈(다양한 루트를 통해 웹브라우저의 어딘가-주로 상단에 위치한 툴바-제공될 수 있다)을 통해 실행될 수도 있다. 또한, 본 시스템의 검색엔진을 통해 본 시스템에 적합한 새로운 액션이나 옵션을 제공받을 수도 있다. 그러나, 바람직하게는, 본 시스템의 모든 기능성들을 충분히 활용하기 위해서는, 사용자 단말기 상에 본 시스템을 위한 특정 어플리케이션(on device이든, 서버로부터의 다운로드 방식이든)이 깔려있는 것이 본 시스템의 원활한 활용을 위해 적합할 것이다.
특정액션을 ‘기능성’이라는 기준으로 나누어 살펴보자. 단.실제로 이 기능성을 실현하는 특정모듈들은 사용자가 지시한 하나의 과제를 수행하기 위해 하나 또는 복수의 기능성이 연결되어 통합적(순차적)으로 실행될 수 있음을 주의하라.

7-1-1. 사전검색
사용자는 투명디스플레이를 통해 비춰보이는 페이퍼문서를 보며, 자신이 원하는 단어를 선정하여 ‘사전검색’모듈을 실행시킬 수 있다.

7-1-2. 캡쳐링.
사용자는 디스플레이를 통해 비춰보이는 페이퍼문서를 보며, 특정영역을 선정하여 이미지로 캡쳐링하고 싶을 수 있다. 이러한 사용자의 목적을 파악한 시스템은 E.C.I Layer상에 상기 페이퍼문서의 스캔이미지를 보이지 않게 재현하고, 사용자가 지목한 영역에 해당하는 스캔이미지를 디스플레이 상에 렌더링시킬 수 있다. 이때, 사용자는 단순히 드래그(마우스를 통해 영역 지정하듯이)를 통해 캡쳐될 영역을 지정하는 수도 있지만, 본 발명의 특색을 살려, 사용자의 손가락이 지나가는 자리를 실시간으로 이미지 데이터로 채워주는 방법도 있다. 예를 들어, 사용자의 터치를 A라는 굵기와 B라는 모양으로 인식하도록 사전에 정의해놓고, 사용자가 투명디스플레이를 통해 보이는 페이퍼문서를 보며 캡쳐링하고자 하는 영역을 손가락으로 그리듯이 영역을 설정하면, 손가락이 지나가는 궤적의 영역(도10-210)에 해당하는 데이터들이 실시간으로 이미지데이터로 추출되어 손가락이 지나간 궤적을 채워주는 것이다. 이는 마치, 사용자가 뿌연(투명디스플레이)유리를 닦아서 유리 밑에 있는 물체(페이퍼문서)를 선명하게 보는 것과 비슷한 느낌을 주며, 손가락을 활용하여 투명디스플레이 상에 아래에 있는 페이퍼문서를 판박이로 찍어내는 듯한, 사용자 중심의 직관적 인터페이스를 줄 수도 있다.

7-1-3. 검색엔진을 통한 검색
사용자가 지목한 특정object는 통신망과 연결된 하나 또는 다수의 검색엔진을 통해 검색될 수 있다. 바람직하게는, 본 시스템에서 이용하는 검색엔진은 사용자가 지정한 선택영역에 해당하는 전자부본(텍스트,암호)만을 검색을 하지 않고, 사용자컨텍스트 정보 및 문서 컨텍스트 정보의 일부 참조하여 이루어지는 것이 옳다. 이런 ‘참조’는 검색엔진 자체에 의해 취급될 수 있고, 검색 결과에 영향을 줄 수도 있다. 예컨대, 사용자가 어떤 페이퍼문서를 보며 ‘beautiful’이라는 단어를 선택했다고 치자. 검색엔진은 사용자의 문서 컨텍스트 정보의 일부를 활용하여 해당 검색어가 어떤 카테고리의 책에서 어떤 맥락속에서 나왓는지를 파악하여 정확한 의미를 전달해줄 수 있고, 사용자 컨텍스트 정보를 활용하여 사용자의 현재 관심도나 단어능력을 알아내어 해당 단어와 연관하여 알아두면 좋을 만한 단어의 나열을 함께 제공할 수도 있을 것이다. 그러한 경우, 검색엔진은 각각의 개별 사용자에 대해 대부분의 기존 검색엔진이 하는 것보다 더 많은 상태정보를 유지하고 사용하고 있으며, 검색엔진과의 각각의 인터랙션은 오늘날 전형적인 것보다 더 긴 기간 및 여러 검색들에 걸쳐 확장될 수 있다. 이때 컨텍스트의 일부는 검색 문의시 검색엔진으로 전송될 수도 있고, 장래의 문의에서 일부로서 역할하기 위해 검색엔진에 저장될 수도 있고, 검색엔진으로부터의 결과에 필터로 적용되기도 하며, 부차적 검색어로 취급될 수도 있다.

7-1-4. 그래픽 조작
이는 사용자가 투명디스플레이를 통해 페이퍼문서를 보며 페이퍼문서를 직접 조작하는 듯이,사용자가 선택한 특정부분에 해당하는 보이지 않는 스캐닝이미지를 그래픽 조작 툴로 조작하여 그 결과물이 페이퍼문서 상에서 표시되도록 하는 것이다. 더욱 구체적으로, 조작의 방법은 크게 두가지로 나눌 수 있다. 사용자가 조작하고자 하는 부분을 지정하면, 지정된 부분에 해당하는 스캐닝이미지가 지정된 바로 그 위치에서 표시되도록 하고, 사용자는 이렇게 표시된 스캐닝이미지를 보면서 조작툴로 조작을 하고, 조작을 마치면 지정되지 않은(표시되지 않은 )나머지 부분이 스캐닝이미지의 이미지와 합성되어 저장되도록 하는 방법이 있다. 또 다른 방법으로는. 사용자가 조작을 가하고자 하는 영역을 아예 지정하지 않고, 단순히 조작툴을 가동시킨 후, 특정 메뉴를 선택하고 페이페문서의 (특정영역을 지정하지 않고) 원하는 부분에 원하는 조작을 가하면 스캐닝이미지를 제외한 조작이 되어진 결과물만 표시되도록 하는 방법이 있다. 이 방법은, 애초에 스캐닝이미지 원본을 전혀 노출시키지 않은 채, 스캐닝이미지에서 조작된 결과물만 노출시키고, 스캐닝이미지가 조작되는 와중에 스캐닝이미지 상에서 삭제된 부분은 페이퍼문서의 여백(또는, 스캐닝이미지의 여백)과 동일한 색상으로 대체하여 투명디스플레이 상에 표시한다면, 사용자는 한층 더 높은 가상현실적 체험을 하게 된다. 이러한 방법은 사용자에게 높은 가상현실적 체험을 할 수 있게 한다. 예컨대, 사용자는 투명디스플레이를 페이퍼문서 위에 올리고, E.C.I Layer를 일치시킨 후, 디스플레이 상단에 있는 메뉴 (제작툴)버튼 중 하나인 ‘스포이드’ 메뉴를 채택한 후, 페이퍼문서를 보며 임의의 위치에 갖다놓는다. 그러면, 해당 스포이드로 페이퍼문서의 글자(혹은 그림들)들이 빨려들어가는 듯한 동적인 그래픽변화가 일어난다. 이는 스캐닝이미지의 그래픽을 조작한 결과물들이 동적으로 움직이도록 설정함으로써 가능한데. 이때, 스포이드를 향해 빨려 들어가는 와중에 생기는 여백(글자들이나 그림이 있던 자리)은 실시간으로 페이퍼문서의 여백의 색으로 채워주게 되면, 사용자는 마치 페이퍼문서 그 자체를 조작하는 듯한 가상현실 체험을 하게 되고, 이렇게 조작되어진 그래픽결과물은 사용자의 선택에 의해, book identity에 의해 식별되어진 스캐닝이미지(책 전체나 페이지, 혹은 그 일부)에 합성되어 저장됨으로써, 일반적인 방법(이미지를 스캐닝하여 원하는 영역의 그래픽을 조작하여 사용자가 일일이 원본이미지에 합성하는 방법)에 비하여 훨씬 편리하고 직관적인 인터페이스를 사용자에게 제공할 수 있게 된다.

7-2. 시스템으로부터 의도된 액션.

특정 페이퍼문서의 book identity를 식별한 시스템이 파악한 상기 특정 페이퍼문서에 관한 컨텍스트 정보를 분석함으로써 유도되어 실행될 수 있다.문서(book identity)의 속성정보에 의존하거나, 해당 마크업이나 시스템의 컨텍스트 분석으로부터 유도되어져 시스템이 실행시킨다. 주로, E.C.I Layer상에 재현된 markup층을 객체로 하나, 보이지 않게 재현된 전자부본을 그 객체로 할 수도 있다.

8. 인증, 개인유별화 및 보안.
-대부분의 상황에서 유저의 신분은 공지되어진다. 그러나 때로는 이것은 ‘익명신분’으로되고, 때로는 캡쳐 디바이스의 일련번호에 의해서만 식별된다. 통상적으로 시스템은 시스템을 개인유별화하는 데에 사용될 수 있고, 특정활동 및 트랜잭션이 유저의 이름으로 수행될 수 있게 하기 위하여, 유저에관한 더욱 상세한 지식을 갖는 것이 필요하다.
시스템이 수행할 수 있는 가장 유용한 기능 중 하나는 유저가 페이퍼문서를 보며 액션을 가한것에 대한 유저의 레코드 및 문서 컨텍스트, 결과적으로 취해진 액션을 포함하는 그 액션에 관련된 임의의 추가정보를 유지하는 것이다. 이렇게 저장된 이력은 사용자와 시스템 모두에게 매우 유익하다. 이에 관한 자세한 사항은 ‘컨텍스트’챕터를 참조하라.
일 실시예에서, 사용자단말기는 모바일 폰에 내장되거나 또는 기타 방식으로 모바일 폰 계정과 연관될 수 있다. 그 예로, 투명디스플레이가 구비된 사용자 단말기는 폰 계정과 연관된 sim카드를 본 단말기에 삽입함에 의해 모바일 폰 계정과 연관될 수 있다. 마찬가지로, 사용자 단말기는 크레딧 카드 또는 기타 지불카드를 내장하거나 또는 그것에 연결되는 카드를 위한 기능설비를 가질 수 있다. 사용자단말기는 지불 토큰으로 사용될 수 있고, 지불 트랜잭션은 사용자단말기가 페이퍼문서를 인식함에의해 개시될 수 있다.
일실시예에서, 사용자 단말기는 유저 또는 계정과 연관된 몇몇 심볼 또는 텍스트를 인식하는 프로세스를 통해 특정 유저 또는 계정과도 연관될 수 있다. 또한, 사용자 단말기는 예로서 유저의 지문을 스캐닝함에 의해, 생체정보를 활용할 수도 있다. 오디오-캡쳐링 엘리먼트가 구비된 사용자 단말기의 경우, 단말기는 유저의 음성패턴을 매칭시키고, 유저에게 일정한 암호 또는 구절을 말하도록 요구함에 의해 유저를 식별할 수 있다.

9. 마크업을 디스플레이하는 방법.
- 시스템이 사용자단말기에 렌더링시키는 결과물(액션실행결과, 및 보이는 마크업)은 투명디스플레이 상에서 비춰보이는 (페이퍼문서에 인쇄된)사용자가 선택한 object와 겹치게, 또는 그 근처(도9-903)에서 디스플레이할 수도 있지만, E.C.I Layer 이외의 영역에서도 할 수 있다. 예컨대, 시스템이 디스플레이의 투과성을 띈 부분을 사용자 마음대로 조정하도록 허락한다면, 사용자는 액션실행의 결과물을 사용자가 원하는 곳에서 열람하고자 결과물을 렌더링할 곳을 지정해줄 수도 있다. 가령, 사용자가 상기(a)상에서 선택영역을 지정하고 특정액션을 실행하면, 그 결과물은 사용자가 지정한 불투명한 부분(투과성이 없는 디스플레이 부분)에 디스플레이 되도록 할 수도 있다. 이런 방법은 결과물을 넓게 펼쳐놓고 봐야 하는 상황에서 매우 유용할 수 있을 것이다. 다른 예로, ,시스템은 마크업을 사용자 단말기에 연결되어 있는 다른 디스플레이 화면 상에서 보여줄 수도 있다. 예컨대, 투명디스플레이 화면 상에서는 페이퍼문서의 특정영역을 지정하는 것(도6-701)만 하고, 식별가능한 마크업은 clienr device에 연결된 다른 화면(도6-702)에서 볼 수 있다는 것이다.

10. 본 발명의 이해에 있어서 주의할 점.
10-1. 시스템은 사용자가 특정 book identity를 시스템에 식별시키기 이전에, 상기 book identity에 대응하는 전자부본과 마크업을 확보해두는 것이 원칙이다. 그러나, 일실시예에서 시스템은 아직 전자부본을 확보하지 못한 페이퍼문서와 마주치지기도 한다. 즉, 시스템이 미처 전자부본을 확보하지 못한 페이퍼문서를 사용자가 시스템에 식별시킬 수도 있다는 뜻이다. 예컨대, 사용자는 이미징능력(예; 카메라, 플레인 스캐너 )이 구비된 client device를 통해 자신이 가진 특정 페이퍼문서를 이미징하여 시스템에 전송하고, 시스템은 이를 실시간 수신하여, 수신한 스캔이미지를 바탕으로 다양한 형태의 전자부본을 생성해내고, 더 나아가 상기 전자부본과 연관된 마크업을 생성해낼 수 있다. 이렇게 생성된 전자부본 및 마크업은 상기 client device에 전송되고, 디스플레이 상의 E.C.I Layer상에서 재현된다. 이러한 경우, 사용자는 시스템이 미리 확보해두어야할 전자부본을 사용자 자신이 자신의 client device를 통해 획득하여, 이를 시스템에 전송해준 것이고, 시스템은 이러한 스캔이미지를 전송받음으로써 전자부본을 획득함과 동시에 book identity를 식별한 것이다. 그러므로, 이러한 경우도 본 발명의 방법이 적용되었다고 보아야한다.

10-2. 시스템은 특정 페이퍼문서의 book identity를 식별함과 동시에 E.C.I Layer를 일치시킬 수 있다. 일반적으로 시스템은 사용자가 client device에 구비된 인식수단(바코드 스캐너, 키보드 등)을 통해 입력해오는 정보를 시스템이 미리 소지하고 있던 reference counterpart와 대조함으로써 book identity를 식별한다. 그러나, 때로는 시스템은 client device를 통해 입력되어오는 정보 중 몇몇의 단서로 book identity는 물론, E.C.I Layer까지도 페이퍼문서와 일치시킬 수 있다. 예컨대, client device통해 획득된 특정 페이퍼문서에 관한 다양한 정보(예; 페이퍼문서의 partial image)는 시스템으로 하여금, 고유한 전자부본을 식별하게 해주고, 더 나아가 그 전자부본에서의 포지션까지도 식별하게 해준다. 이에 관한 상세한 설명은, 이미 공개된 발명(pct/us2005/013297)을 통해 명확하게 드러나므로, 그에 관한 상세한 기술적설명은 생략한다.

페이퍼문서;206 client device; 208
투명디스플레이;207
E.C.I Layer( digital translucent layer);601

Claims (40)

1. 페이퍼문서를 전자화하는 방법에 있어서, 상기 방법은 투명디스플레이가 구비된 사용자 단말기(client device)와 시스템서버가 통신망으로 연결된 시스템에서 사용되는 것으로,
   (가) 시스템이 사용자 단말기(client device)를 통해 획득한 정보로 특정 페이퍼문서의 book identity를 식별하는 단계;
   (나) 투명디스플레이가 상기 특정 페이퍼문서에 오버랩된 상태에서, 시스템의 제어에 의해 E.C.I Layer가 상기 특정 페이퍼문서와 일치되는 단계;
   (다) 시스템이 상기 E.C.I Layer 상에 상기 (가)로부터 식별한 전자부본을 보이지 않게 재현(reproduce)시키는 단계;
   및/또는, 시스템이 상기 E.C.I Layer 상에 상기 (가)로부터 식별한 markup을 재현(reproduce)시키는 단계;
   (라) 시스템이 상기 전자부본 및/또는, markup에 대해 특정 액션을 실행시키는 단계;
   (마) 상기(라)의 결과물이 상기 사용자단말기에 구비된 디스플레이 상에 렌더링되는 단계;를 포함하는 것을 특징으로 하는 방법.
   
2. 제 1항의 (가)에서, 시스템이 사용자 단말기를 통해 특정 페이퍼문서의 book identity를 파악하기 위해,
   사용자가 상기 사용자 단말기에 구비된 임의의 사용자 인터페이스(예;스캐너,카메라,키보드,터치스크린)나 임의의 판독수단(예;바코드 판독기)을 통해 획득한 특정 페이퍼문서의 식별기호, 또는 임계레벨 이상의 데이터소스를 전송받아 식별하는 것을 특징으로 더 포함하는 방법.
   
3. 제 2항에서, 임계레벨 이상의 데이터소스는,
   사용자가 상기 사용자 단말기에 구비된 광학장치를 통해 획득한 상기 특정 페이퍼문서의 partial image인 것을 특징으로 더 포함하는 방법.
   
4. 제 3항에서, partial image는,
   상기 페이퍼문서 상에서 시스템과 사용자 간에 사전의 약속에 따라 선정된 영역에 대한 것임을 특징으로 더 포함하는 방법.
   
5. 제 4항에서, 시스템과 사용자 간에 사전의 약속은,
   사용자의 요청을 받은 시스템에 의해 즉각적으로 추천된 것임을 특징으로 더 포함하는 방법.
   
6. 제 1항의 (나)에서, 시스템에 의해 E.C.I Layer가 상기 특정 페이퍼문서와 일치되는 방법으로,
   상기 사용자단말기로부터 상기 특정 페이퍼문서와 상기 투명디스플레이의 상대적 위치-투명디스플레이의 어떤 영역(이하, a)이 페이퍼문서의 어떤 영역(이하, b)위에 오버랩되어 있는가-를 파악할 수 있는 하나 이상의 단서 및 상기 투명디스플레이의 물리적 형태를 파악할 수 있는 단서를 수신한 시스템이 이들을 상기(가)단계로부터 식별한 전자부본과 대조하여 연산함으로써 일치시키는 것을 특징으로 더 포함하는 방법.
   
7. 제 6항에서, 상기 특정 페이퍼문서와 상기 투명디스플레이의 상대적 위치를 파악할 수 있는 단서는,
   사용자가 상기 (a)상에서, 상기 (b)에 관한 직접적/간접적 signiture를 표시한 것임을 특징으로 더 포함하는 방법.
   
8. 제 7항에서, signiture를 표시하는 방법으로,
   특정 signiture를 의미하는 특정 그래픽아이콘을 사용자가 움직여서 상기 특정 signiture와 일치되도록 오버랩시킴으로써 표시하는 것을 특징으로 더 포함하는 방법.
   
9. 제 7항에서, 상기 (b)에 관한 직접적/간접적 signiture는,
   상기 특정 페이퍼문서 상에서, 시스템과 사용자간에 사전에 약속된 영역에 대한 것임을 특징으로 더 포함하는 방법.
   
10. 제 6항에서, 상기 특정 페이퍼문서와 상기 사용자단말기의 상대적 위치를 파악할 수 있는 단서는,
    사용자에 의해 움직인, 투명디스플레이 상에 렌더링된 digital translucent layer인 것을 특징으로 더 포함하는 방법.
    
11. 제 10항에서, digital translucent layer는,
    사용자가 상기 특정 페이퍼문서와 비교하여 일치시킬 수 있도록, 사익 특정 페이퍼문서에 관한 직접적/간접적 signiture가 노출된 것임을 특징으로 더 포함하는 방법.
    
12. 제 11항에서, signiture는,
    투명디스플레이 상에 노출된 digital translucent layer상에 항상 특정 레벨 이상이 노출되도록, 시스템에 의해 실시간 추출된 것임을 특징으로 더 포함하는 방법.
    
13. 제 11항에서, signiture는,
    상기 digital translucent layer가 사용자에 의해 움직여질 때에만, 사용자에게 가시적으로 식별되는 것임을 특징으로 더 포함하는 방법.
    
14. 제 6항에서, 상기 특정 페이퍼문서와 상기 투명디스플레이의 상대적 위치를 파악할 수 있는 단서는,
    상기 투명디스플레이에 구비된 기계장치가 상기 특정 페이퍼문서의 위치 및 움직임을 실시간 관찰한 것임을 특징으로 더 포함하는 방법.
    
15. 제 14항에서, 기계장치는,
    서로 다른 기능성을 가진 복수의 element로 구성되는 것을 특징으로 더 포함하는 방법.
    
16. 제 1항의 (다)에서, 시스템이 markup을 재현할 때,
    사용자의 부가적 요구사항 및/또는 시스템이 보유한 컨텍스트 정보를 참조하여 선별하는 것을 특징으로 더 포함하는 방법.
    
17. 제 1항의 (다)에서, markup은
    시스템의 시스템서비스(data provider)가 상기 (가)로부터 파악한 전자부본과 컨텍스트 정보를 참조하여 생성한 것임을 특징으로 더 포함하는 방법.
    
18. 제 17항에서, markup은,
    사용자의 학습에 도움이 되기 위한 교육적 목적으로 생성된 것으로, 사용자와 인터랙션하는, 비쥬얼적으로 움직이는 문제 및/또는 게임인 것을 특징으로 더 포함하는 방법.
    
19. 제 1항의 (다)에서, markup은,
    상기 특정 페이퍼문서를 참조한 다른 임의의 시스템사용자에 의해 생성된 것임을 특징으로 더 포함하는 방법.
    
20. 제 19항에서, 다른 임의의 시스템사용자에 의해 생성되는 방법으로,
    투명디스플레이가 구비된 사용자 단말기(client device)와 시스템서버가 통신망으로 연결된 시스템에서,
    (가) 시스템이 사용자 단말기(client device)를 통해 획득한 정보로 특정 페이퍼문서의 book identity를 식별하는 단계;
    (나) 투명디스플레이가 상기 특정 페이퍼문서에 오버랩된 상태에서, 시스템의 제어에 의해 E.C.I Layer가 상기 특정 페이퍼문서와 일치되는 단계;
    (다)시스템이 제공하는 어플리케이션-object predefine되어 있는-을 활용하여, 상기 임의의 시스템사용자가 특정 object에 대한 property data를 생성하는 단계;
    (라) 시스템이 상기 property data에 대해, 시스템이 요구하는 여분의 필드를 추가하여 시스템의 DB에 저장하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
    
    
21. 제 20항에서, 상기 property data는,
    상기 임의의 시스템사용자가 지목한 특정 시스템사용자들과 실시간 공유되는 것을 특징으로 더 포함하는 방법.
    
22. 제 1항의 (다)에서, markup은,
    사용자에게 가시적으로 식별되지 않으며, 사용자의 터치에 의해 실행되어 시스템내에서 특정 transaction을 유도하는 것을 특징으로 더 포함하는 방법.
    
23. 제 1항의 (라)에서, action은
    상기 (가)로부터 파악한 컨텍스트 정보를 분석한 시스템이 실행시키는 것을 특징으로 더 포함하는 방법.
    
24. 제 1항에서, (라)단계 이후에,
    시스템이 상기 시스템사용자가 시스템과 인터랙팅한 이력을 저장하고, 이를 사용자에게 유용하도록 재가공하는 단계를 더 포함하는 것을 특징으로 하는 방법.
    
25. 제 1항에서, (가)단계에서 ‘획득한 정보’는 상기 특정 페이퍼문서의 전체,혹은 일부를 capturing한 scan image이고, 상기 scan image는 상기 (나)내지 (마)단계에서 시스템에 의해 상기 페이퍼문서의 전자부본으로 취급받는 것을 특징으로 더 포함하는 방법.
    
26. 제 1항 내지 25항 중 어느 하나의 항에 따른 방법을 수행하기 위한 수단을 포함하는 사용자 시스템.
    
    
    
    
    
    
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제

Images