KR101212929B1 - 렌더링된 문서로부터의 보안 데이터 수집 - Google Patents

렌더링된 문서로부터의 보안 데이터 수집 Download PDF

Info

Publication number
KR101212929B1
KR101212929B1 KR1020077009691A KR20077009691A KR101212929B1 KR 101212929 B1 KR101212929 B1 KR 101212929B1 KR 1020077009691 A KR1020077009691 A KR 1020077009691A KR 20077009691 A KR20077009691 A KR 20077009691A KR 101212929 B1 KR101212929 B1 KR 101212929B1
Authority
KR
South Korea
Prior art keywords
delete delete
text
document
information
user
Prior art date
Application number
KR1020077009691A
Other languages
English (en)
Other versions
KR20070083841A (ko
Inventor
마틴 티. 킹
데일 엘. 그로버
클리포드 에이. 쿠실러
프레이저 제임즈 퀀틴 스태포드
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/004,637 external-priority patent/US7707039B2/en
Priority claimed from US11/097,093 external-priority patent/US20060041605A1/en
Priority claimed from US11/097,961 external-priority patent/US20060041484A1/en
Priority claimed from US11/098,043 external-priority patent/US20060053097A1/en
Priority claimed from PCT/US2005/011533 external-priority patent/WO2005098609A2/en
Priority claimed from PCT/US2005/013586 external-priority patent/WO2005101193A2/en
Priority claimed from PCT/US2005/012510 external-priority patent/WO2005106643A2/en
Priority claimed from US11/185,908 external-priority patent/US20060104515A1/en
Priority claimed from US11/208,457 external-priority patent/US20060122983A1/en
Priority claimed from US11/208,408 external-priority patent/US20060136629A1/en
Priority claimed from US11/209,333 external-priority patent/US20060081714A1/en
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20070083841A publication Critical patent/KR20070083841A/ko
Publication of KR101212929B1 publication Critical patent/KR101212929B1/ko
Application granted granted Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • H04N1/107—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with manual scanning

Abstract

렌더링된 문서로부터 캡쳐된 텍스트를 보호하기 위한 팩실리티가 기재되어 있다. 이 팩실리티는 렌더링된 문서로부터 캡쳐된 텍스트를 암호화하여 포함한 데이터를 수신한다. 이 팩실리티는 수신된 데이터내에 포함된 캡쳐된 텍스트를 복호한다.
렌더링된 문서, 텍스트, 캡쳐, 보호, 암호화, 복호, 세션 키, 생체 정보, 공개/비밀 키 페어, 스캐닝 디바이스

Description

렌더링된 문서로부터의 보안 데이터 수집{SECURE DATA GATHERING FROM RENDERED DOCUMENTS}
본 발명은 일반적으로 데이터 보안에 관한 것이다.
인쇄된 책 및 문서(이후로는 단순하게 "문서"라고 부른다)가 수백년 동안 널리 사용되어 왔다. 다양한 툴 및 방법이 인쇄된 문서의 보다 효율적인 사용을 위해 개발되어 왔다. 이것은 (문서 자체상의 또는 별개이지만 관련된 문서내의) 문서의 콘텐트상의 손으로 기록된 (또는 타이핑된) 노트로부터, 보다 중요한 것으로 보이는 문서내의 구절을 하이라이팅하는 것, 문서로부터 구절을 수동으로 카피하는 것 (또는 저작권이 자주 침해된다는 사실에도 불구하고, 스캐닝 카피어를 사용하는 것), 특정 주제에 대한 정보를 위치시키는 것을 촉진하기 위해 문서의 끝에 인쇄된 색인을 포함시키는 단순한 행위에 이르기까지 범위가 넓다. 많은 새로운 틀 및 방법이 로컬 컴퓨터상의 파일 또는 브라우저에 의해 액세스될 수 있는 웹페이지와 같은 전자, 검색가능한 포맷으로 액세스될 수 있는 가능한 전자 문서에 대해 만들어져왔다.
표준 퍼스널 컴퓨터를 효과적으로 사용하여 액세스될 수 있는 문서의 검색가능한 전자 카피를 제공하는 비교적 최근의 혁명으로 인해 점점 더 용이하게, 요구되는 콘텐트가 액세스되고 사용될 수 있게 되었다. 전통적인 인덱스가 이러한 컨텍스트에서 제공될 때, 일단 입력이 발견되면, 마우스의 한번의 클릭만으로 사용자는 전자 텍스트내의 원하는 곳에서 입력할 수 있다. 일단 관련 입력이 발견되었다면, 그 위치는 전자 문서내의 상기 위치로의 미래의 액세스를 용이하고 신속하게 하는, 사용자의 선택에 따라 파일링되는, "북마크"로서 유지될 수 있다.
불행하게도, 이러한 매우 유용한 툴은 방대한 리소스의 인쇄된 책 및 문서에는 사용될 수 없다. 전자 버전의 문서로의 액세스에 의해 방대한 유익이 있지만, 이것들은 명백히 이러한 전자 버전이 유용할 때 (및 컴퓨터가 전자 문서에 액세스가능할 때)만 유용하다. 심지어 이러한 전자 버전이 유용한 경우조차도, 이것은 페이퍼 문서 자체의 실제 사용을 강화하는데 아무런 도움이 되지 못한다. 더욱이, 문서의 전자 버전 또는 페이퍼의 보다 새로운 버전 및 갱신된 버전이 유용할 때, 이전의 버전의 소유자는 새로운 갱신된 카피를 가서 구매하는 것 외에는 거의 방법이 없다.
당업분야에서 주지된 바와 같이, (예를 들어, 광학 문자 인식에 대한 적합한 컴퓨터 소프트웨어와 조합된 플랫베드 스캐너와 같은) 문서 처리에 대한 전통적인 방법을 사용함으로써, 사용자는 페이퍼 문서의 전자 버전을 생성할 수 있다. 그러나, 이러한 업무는 성가시고, 시간이 많이 들고 보통 에러가 많다는 사실과 더불어, 관심의 교재의 저자에 의해 소유된 저작권의 침해 문제를 보통 내포하고 있다. 또한, 전자 버전의 문서가 생성될 때라도, 상술된 제약을 받기 쉬운데, 즉, 컴퓨터는 제공된 추가 특징중 어느 하나를 사용할 필요가 있고, 아무런 추가 유틸리티도 페이퍼 문서 자체를 위해 제공되지 않는다. 컴퓨터의 보급 및 검색가능한 전자 버전의 문서에 의해 발생되는 유익에도 불구하고, 페이퍼 문서를 생성하고 사용하는 것에 대해 계속적으로 널리 선호되고 있는 사실은 페이퍼 문서가 일반적인 사용자에게 여전히 얼마나 매력적인가를 분명히 보여주고 있다. 페이퍼 문서의 휴대성, 편리성, 보기 편함, 및 심지어 "느낌"조차 대부분의 개인에게 강력한 호소력을 갖고 있다.
따라서, 인쇄된 문서와 전자 버전의 문서 사이를 사용자가 용이하게 이동할 있도록 하는 발명은 상당한 유익을 제공한다.
도1은 코어 시스템의 일 실시예에서의 정보 흐름을 도시하는 데이터 흐름도,
도2는 전형적인 작동환경의 컨텍스트에서 시스템의 전형적인 구현에 포함되는 컴포넌트의 구성도,
도3은 스캐너의 실시예를 나타내는 블록도,
도 4는 시스템의 일예의 컴포넌트의 블록도,
도 5는 스캐너와 리모트 서버 사이에서 암호화된 정보를 통신하기 위한 다양한 컴포넌트를 포함하는 시스템의 구성을 도시하는 블록도, 및
도 6은 스캐너 또는 디바이스와 서버 사이의 데이터의 암호화된 전송 및 수신을 보장하기 위한 프로세스의 일예를 도시하는 순서도.
개요
렌더링된 문서로부터 보안 데이터를 수집하기 위한 시스템이 기술되었다. 이 시스템에서, 스캐닝 디바이스는 렌더링된 문서의 일부를 캡쳐하고, 이 스캐닝된 텍스트를 암호화하고, 이 암호화된 텍스트를 리모트 서버에 전송한다. 서버는 이 암호화된 텍스트를 수신하고 이 텍스트를 복호한다. 다양한 실시예에서, 시스템은 대칭 또는 비대칭 기술을 사용하여 이러한 복호를 실행한다. 일실시예에서, 시스템은 스캐닝 디바이스를 식별하는 정보 및/또는 스캐너 사용자에 대한 정보를 사용하여 상기 복호를 실행한다. 일실시예에서, 시스템은 상기 복호를 실행하기 위해 생체 정보를 포함하는 사용자에 대한 정보를 사용한다. 일실시예에서, 서버에 전송된 데이터는 그 소스 네트워크 어드레스 및/또는 관련된 정보를 제거하거나 불분명하게 함으로써 익명화된다.
상술된 모든 방법 또는 일부로 텍스트 캡쳐 결과를 보호함으로써, 시스템은 인증되지 않은 파티에 의해 텍스트 캡쳐 정보가 사용되고 가로채이는 것을 방지할 수 있다.
일실시예에서, 휴대가능한 디바이스는 사용자 데이터의 비밀 및 보호를 보장하기 위해 암호화 프로세스를 사용한다. 다른 디바이스에 전송된 데이터는 물론 상기 디바이스의 메모리내에 저장된 데이터 역시 암호화될 수 있다. 또한, 사용자는 다른 디바이스와 공유된 정보의 양 및 종류를 제한하도록 상기 휴대가능한 디바이스 프로필을 설정할 수 있다. 일실시예에서, 시스템에 의해 사용자는 모든 검색 결과를 휴대가능한 디바이스에 보내고 시스템 또는 서비스 프로바이더 네트워크내에 저장하도록 지정할 수 있다.
일실시예에서, 핸드헬드 데이터 캡쳐 디바이스 및 그 연관된 시스템은 보안 및 비밀을 위해 생체 정보를 사용한다. 예를 들어, 사용자는 휴대가능한 디바이스로 그 지문을 스캐닝함으로써 그 신원을 증명할 수 있다. 또 다른 예로서, 일실시예에서, 상기 디바이스는 엘립틱 커브 암호화를 위해 지문 스캔을 사용하는 것과 같은 비밀을 위해 데이터를 암호화하도록 생체 정보를 사용한다. 일실시예에서, 핸드헬드 디바이스는 텍스트 및 생체 정보를 스캐닝하기 위한 동일한 광경로를 사용한다.
Ⅰ부 - 서 론
1. 시스템의 특성
그 대응되는 전자 부본(electronic counterpart)을 갖는 모든 페이퍼 문서의 각각에 대해, 전자 부본을 식별할 수 있는 페이퍼 문서 내에는 이산된 량의 정보가 존재한다. 일부 실시예에서, 본 시스템은 예컨대 핸드헬드 스캐너를 통해 페이퍼 문서에서 캡쳐된 텍스트의 샘플을 이용하여, 문서의 전자 부본을 식별하고 위치결정(locate) 한다. 대부분의 경우, 문서 텍스트의 약간의 단어가 페이퍼 문서에 대한 식별자로서 및 그의 전자 부본과의 링크로서 기능을 할 수 있다는 점에서, 기기에 의해 필요한 텍스트의 양은 매우 적다. 또한, 본 시스템은 이렇게 적은 단어들을 사용하여 문서를 식별할 뿐만 아니라 문서내에서의 위치도 식별할 수 있다.
따라서 페이퍼 문서 및 그의 디지털 부본은 이하에서 설명되는 본 시스템을 사용하여 많은 유용한 방식으로 연관될 수 있다.
1.1. 전망에 대한 간단한 개요
본 시스템이 일단 페이퍼 문서의 텍스트의 일부를 특정 디지털 엔티티와 연관시키는 것이 설정되면, 시스템은 그 연관성에 대해 대량의 기능성(functionality)을 구성할 수 있다.
점차적으로 대부분의 페이퍼 문서가, 월드와이드웹 상에서 또는 일부 다른 온라인 데이터 베이스 또는 문서 전집으로부터 액세스 가능하거나 혹은 요금납부 또는 가입 등에 의해 액세스될 수 있는 전자 부본을 가지고 있는 것이 사실이다. 그러면, 가장 간단한 수준에서, 사용자가 페이퍼 문서의 약간의 단어를 스캔하면 본 시스템이 전자 문서 또는 그 일부분을 검색하거나, 디스플레이 하거나, 다른 사람에게 이메일로 전송하거나, 구매하거나, 프린트하거나, 또는 웹페이지에 게시할 수 있다. 부수적인 예로서, 어떤 사람이 아침식사 동안 읽고 있는 책의 일부 단어를 스캐닝함으로써 그 사람의 자동차에 있는 오디오 북 버전은 그가 회사에 가려고 운전을 시작하는 순간부터 읽기동작을 개시할 수 있고, 또는 프린트 카트리지의 일련번호를 스캐닝함으로써 교체를 지시하는 프로세스를 개시할 수 있을 것이다.
본 시스템은 이와 같은 그리고 "페이퍼/디지털 통합"의 많은 다른 예들을 현재의 문서 읽기, 프린트, 및 출판 과정에 변화를 요하지 않으면서도 구현하여, 이러한 종래 방식으로 렌더링된 문서에 디지털 기능성의 완전히 새로운 장을 제공한다.
1.2. 용어
본 시스템의 전형적인 사용은 페이퍼 문서로부터 텍스트를 스캔하는 광스캐너를 사용하는 것에서부터 시작한다. 하지만 다른 형태의 문서로부터의 다른 캡쳐 방법도 동등하게 적용될 수 있다는 것에 유의해야 한다. 따라서 본 시스템은 때로는 렌더링된 문서로부터 텍스트를 스캐닝 또는 캡쳐링 하는 것으로 설명되며, 이러한 용어는 다음과 같이 정의된다:
렌더링된 문서는 프린트된 문서 또는 디스플레이나 모니터 상에 보여지는 문서이다. 또한 이것은 영구적 형태이든 또는 일시적인 디스플레이 상의 것이든, 사람에게 인식가능한 문서이다.
스캐닝 또는 캡쳐링은 렌더링된 문서로부터 정보를 얻기 위한 체계적 조사 프로세스이다. 이 프로세스는 스캐너 또는 카메라(예컨대 휴대폰에 장착된 카메라)를 이용하는 광학적 캡쳐를 포함할 수 있고, 문서를 소리내어 읽어 오디오 캡쳐 디바이스로 옮기는 것 또는 키패드나 키보드로 타이핑하는 것을 포함할 수 있다. 더 많은 예들은 섹션 15를 참조하라.
2. 본 시스템의 도입
이 부분은 페이퍼/디지털 통합을 위한 시스템을 구성하는 디바이스, 프로세스 및 시스템의 일부에 대해 설명한다. 다양한 실시예에서 본 시스템은 기본 기능성을 제공하는 이러한 기본 코어 위에서 매우 다양한 서비스와 애플리케이션을 구현한다.
2.1. 프로세스
도1은 코어 시스템의 일 실시예에서의 정보 흐름을 도시하는 데이터 흐름도이다. 다른 실시예들은 여기에 도시된 모든 단계나 컴포넌트를 전부 사용하지 않을 수도 있고, 일부 실시예들은 그보다 많이 사용할 수도 있다.
전형적으로 광스캐너에 의한 광학적 형식으로 또는 보이스 레코더에 의한 오디오 형식으로, 렌더링된 문서로부터 텍스트가 캡쳐링되고(100), 이 이미지 또는 사운드 데이터는 캡쳐 프로세스의 인위적 요소를 제거하거나 신호대 잡음비를 향상시키기 위해 처리된다(102). 그 후 OCR, 속도인식, 또는 오토 코릴레이션(autocorrelation) 등과 같은 인식 프로세스(104)가, 일부 실시예에서 텍스트, 텍스트 오프셋, 또는 다른 심볼로 구성되는 기호(signature)로 데이터를 변환시킨다. 대안적으로, 본 시스템은 렌더링된 문서로부터 문서 기호를 추출하는 대안적 형태를 수행한다. 일부 실시예에서 기호는 한 세트의 가능한 텍스트 전사(trnascription)를 나타낸다. 이 프로세스는 다른 단계로부터의 피드백에 의해 영향을 받을 수 있는데, 예컨대, 검색 프로세스 및 컨텍스트 해석(100)이 캡쳐가 유래한 일부 후보 문서들(candidate documents)을 식별하였다면, 최초 캡쳐의 가능한 해석(interpretation)은 범위가 좁혀진다.
후처리(106) 단계는 인식 처리의 출력을 취하여 이것을 필터링하거나 이에 대한 다른 작업을 수행하여 유용하게 한다. 구현되는 실시예에 따라, 이 단계에서 일부 직접 액션(107)이 후속 단계의 참조없이 즉시 취출되는데, 예컨대 사용자의 의도를 전달하기에 그 자체로 충분한 정보를 포함하는 프레이즈(phrase)나 심볼이 캡쳐된다. 이러한 경우 어떠한 디지털 부본 문서도 참조될 필요가 없고 심지어 본 시스템에 알려질 필요도 없다.
그러나, 전형적으로 다음 단계는 검색에 사용하기 위한 문의(query) 또는 한 세트의 문의를 구성하는 것이 될 것이다(108). 문의 구성의 일부 측면은 사용된 검색 프로세스에 의존할 수 있고, 따라서 다음 단계까지는 수행되지 못할 것이다. 그러나 전형적으로, 명백하게 잘못 인식된 또는 전혀 관련없는 캐릭터의 제거와 같이 미리 수행될 수 있는 일부 동작이 있을 수 있다.
그 후 문의 또는 문의들은 검색 및 컨텍스트 분석 단계(110)로 전달된다. 여기서, 시스템은 원본 데이터가 캡쳐된 문서를 식별하기 위해 선택적으로 시도한다. 그러기 위해, 시스템은 전형적으로 검색 인덱스 및 검색 엔진(112), 사용자에 대한 지식(114), 및 사용자의 컨텍스트 또는 캡쳐가 발생된 컨텍스트에 대한 지식(116)을 사용한다. 검색 엔진(112)은 구체적으로 렌더링된 문서에 대한, 이들의 디지털 부본 문서에 대한, 그리고 웹(인터넷)에 존재하고 있는 문서에 대한 정보를 사용 및/또는 인덱스 할 수 있다. 또한 이러한 많은 소스로부터 판독할 뿐만 아니라 이들을 기록할 수도 있고, 언급한 바와 같이, 예컨대 언어, 폰트, 렌더링, 및 후보 문서의 지식에 근거하여 가능한 다음 단어에 대한 정보를 인식 시스템(104)에게 제공함으로써, 정보를 프로세스의 다음 단계에 공급할 수 있다.
일부 환경에서, 다음 단계는 식별되었던 문서 또는 문서들의 카피를 검색하는 것이다(120). 문서(124)의 소스는 예컨대 로컬 파일링 시스템 또는 데이터베이스 또는 웹 서버로부터 직접 액세스될 수 있거나, 혹은, 인증, 보안 또는 지불을 실행할 수 있는 몇몇 액세스 서비스(122)를 통해 연결될 수 있거나 또는 소정 포맷으로의 문서의 변환 등과 같은 다른 서비스를 제공할 수 있다.
시스템의 애플리케이션은 여분의 기능성이나 데이터와 문서의 전부 또는 일부분과의 연관성을 이용할 수 있다. 예컨대, 섹션 10.4에서 논의하는 바와 같이 광고(advertising) 애플리케이션은 특정 광고 메시지 또는 주제와 문서의 일부분과의 연관성을 이용할 수 있다. 이 여분의 연관된 기능성 또는 데이터는 문서 상의 하나 이상의 오버레이(overlay)로서 고려될 수 있고, 여기서 "마크업(markup)"으로 언급된다. 그 후, 프로세스(130)의 다음 단계는 캡쳐링된 데이터에 관련된 임의의 마크업을 식별하는 것이다. 이러한 마크업은 사용자, 문서의 창작자 또는 출판자, 또는 다른 누군가에 의해 제공될 수 있고, 일부 소스(132)로부터 직접 액세스되거나 혹은 일부 서비스(134)에 의해 생성될 수 있다. 다양한 실시예에서, 마크업은 렌더링된 문서 및/또는 렌더링된 문서의 디지털 부본, 또는 이들 문서들 중 어느 하나 또는 둘 다의 그룹에 적용되거나 이들에 연관될 수 있다.
마지막으로, 초기 단계들의 결과, 일부 액션이 취해진다(140). 이들은 발견된 정보를 단순히 기록하는 것과 같은 디폴트(default) 액션이거나, 데이터 또는 문서에 의존하는 것일 수 있고, 또는 마크업 분석으로부터 유도될 수도 있다. 때로는 이 액션은 데이터를 다른 시스템으로 단순히 전달하는 것이다. 몇몇의 경우, 렌더링된 문서에서의 특정 지점의 캡쳐에 적합한 다양한 가능한 액션이, 예커대 로컬 디스플레이(332), 컴퓨터 디스플레이(212), 또는 모바일 폰이나 PDA 디스플레이(216) 등과 같은 관련 디스플레이 상에 메뉴로서 사용자에게 제공될 것이다. 만일 사용자가 이 메뉴에 응답하지 않는다면, 디폴트 액션이 취해질 수 있다.
2.2. 컴포넌트
도2는 전형적인 작동환경의 컨텍스트에서 시스템의 전형적인 구현에 포함되는 컴포넌트들을 나타내는 도면이다. 도시된 바와 같이 작동환경은 하나 이상의 광학적 스캐닝 캡쳐 디바이스(202) 또는 보이스 캡쳐 디바이스(204)를 포함하고 있다. 일부 실시예에서는, 동일한 디바이스가 양쪽 기능을 모두 수행한다. 각각의 캡쳐 디바이스는 직통 유선 또는 무선 연결중 하나를 사용하거나 네트워크(220)를 통해 컴퓨터(212) 및 모바일 스테이션(216)(예컨대, 모바일 폰 또는 PDA) 등과 같은 시스템의 다른 부분과 통신할 수 있고, 유선 및 무선 연결을 사용하여 통신하는 것은 전형적으로 무선 기지국(214)을 포함한다. 일부 실시예에서, 캡쳐 디바이스는 모바일 스테이션과 통합되고, 음성통신 및 사진촬영용 디바이스에 사용되는 오디오 및/또는 광학 컴포넌트의 일부와도 선택적으로 공유한다.
컴퓨터(212)는 스캐닝 디바이스(202 및 204)로부터의 오더(order)를 처리하기 위한 컴퓨터실행가능 명령어를 포함하고 있는 메모리를 가질 수 있다. 일 예로서, 오더는 (스캐닝 디바이스(202/204)의 일련번호 또는 스캐너 사용자를 부분적으로 또는 완전히 구별하여 식별하는 식별자 등과 같은) 식별자, 스캐닝 컨텍스트 정보(예컨대, 스캔 시간, 스캔 위치 등), 및/또는 스캐닝되고 있는 문서를 다른 것과 구별하여 식별하는데 사용되는 (텍스트 스트링(string)과 같은) 스캐닝 정보를 포함할 수 있다. 대안적인 실시예에서, 작동 환경은 보다 작거나 많은 컴포넌트를 포함할 수도 있다.
또한, 검색 엔진(232), 문서 소스(234), 사용자 계정(account) 서비스(236), 마크업 서비스(238), 및 다른 네트워크 서비스(239)가 네트워크(220) 상에서 이용가능하다. 네트워크(220)는 통합 인트라넷, 공중 인터넷, 모바일 폰 네트워크 또는 일부 다른 네트워크, 또는 이들의 임의의 상호접속일 수 있다.
디바이스가 서로 어떻게 연결되는지에 관계없이, 이들은 공지된 상업적 트랜잭션 및 통신 프로토콜(예컨대 인터넷 프로토콜(IP))에 따라 작동할 수 있다. 다양한 실시예에서, 스캐닝 디바이스(202), 컴퓨터(212), 및 모바일 스테이션(216)의 기능 및 용량은 전적으로 또는 부분적으로 하나의 디바이스에 통합될 수 있다. 따라서 스캐닝 디바이스, 컴퓨터, 및 모바일 스테이션 이라는 용어들은, 디바이스가 스캐닝 디바이스(202), 컴퓨터(212), 및 모바일 스테이션(216)의 기능과 용량을 결합하는지 여부에 따라, 동일한 디바이스를 언급하는 것일 수 있다. 더욱이, 검색 엔진(232), 문서 소스(234), 사용자 계정 서비스(236), 마크업 서비스(238), 및 다른 네트워크 서비스(239)의 일부 또는 전체 기능이 임의의 디바이스의 및/또는 다른 미도시된 디바이스 상에 구현될 수도 있다.
2.3. 캡쳐 디바이스
상술하였듯이, 캡쳐 디바이스는, 렌더링된 문서로부터 이미지 데이터를 캡쳐할 수 있는 광학적 스캐너를 사용하거나 또는 사용자가 텍스트를 소리내어 읽는 것을 캡쳐하는 오디오 레코딩 디바이스를 사용하거나 또는 다른 방법을 사용하여 텍스트를 캡쳐할 수 있다. 캡쳐 디바이스의 일부 실시예는 바코드와 같이 기계판독 가능한 코드를 비롯하여 이미지, 그래픽 심볼, 아이콘 등을 캡쳐할 수 있다. 디바이스는 시스템내의 어딘가에 위치하는 다른 기능성들에 따라서, 트랜스듀서, 일부 저장장치, 및 데이터 인터페이스 정도로 구성되어 극히 간단할 수 있고, 더 많이 완비된 디바이스일 수도 있다. 설명을 위해, 이 섹션에서는 광학적 스캐너 등에 기초하고 적절한 수의 특징을 갖는 디바이스에 대해 설명한다.
스캐너는 이미지를 캡쳐하고 디지털화하는 잘 알려진 디바이스 이다. 복사기 산업의 한 부류로서, 첫번째 스캐너는 한번에 전체 문서를 캡쳐하는 상대적으로 큰 디바이스 였고, 최근, 펜-타입 핸드헬드 디바이스 등과 같이 편리한 형태의 휴대가능 광학적 스캐너가 도입되었다.
일부 실시예에서, 휴대가능 스캐너는 렌더링된 문서로부터 텍스트, 그래픽, 또는 심볼을 스캔하기 위해 사용된다. 휴대가능 스캐너는 렌더링된 문서로부터 텍스트, 심볼, 그래픽 등을 캡쳐하는 스캐닝 소자를 포함한다. 종이로 프린트된 문서에 더하여, 일부 실시예에서는, 렌더링된 문서가 CRT 모니터 또는 LCD 디스플레이 등과 같은 스크린상에 디스플레이된 문서를 포함한다.
도3은 스캐너(302)의 일 실시예의 블록도이다. 스캐너(302)는 렌더링된 문서로부터 정보를 스캔하고 이것을 기계식(machine-compatible) 데이터로 변환하는 광학적 스캐닝 헤드(308), 및 전형적으로 렌즈, 개구, 또는 렌더링된 문서의 이미지를 스캐닝 헤드로 전달하기 위한 이미지 도관(conduit)인 광학적 경로(306)를 포함한다. 스캐닝 헤드(308)는 전하결합소자(CCD), 상보형 금속산화 반도체(CMOS) 이미지 디바이스, 또는 다른 형태의 광학 센서를 결합할 수 있다.
마이크(310) 및 연관된 회로는 (소리내어 읽혀진 단어를 포함한) 주위환경의 사운드를 기계식 신호로 변환하며, 다른 입력 기능들도 버튼, 스크롤-휠 또는 터치패드(314)와 같은 다른 촉감센서의 형태로 존재한다.
사용자에 대한 피드백은 시각적 디스플레이 또는 지시등(332)를 통해, 또는 스피커나 다른 오디오 트랜스듀서(334)를 통해, 및 진동 모듈(336)을 통해 가능하 게 된다.
스캐너(302)는, 다른 포맷 및/또는 해석으로 수신된 신호를 처리하며 다른 다양한 컴포넌트들과 상호작용하는 로직(326)을 포함한다. 로직(326)은 RAM, ROM, 플래쉬, 또는 다른 적당한 메모리 등의 관련 저장장치(330)에 저장된 데이터 및 프로그램 명령어를 읽고 기록하도록 동작될 수 있고, 클록 유닛(328)로부터 시간 신호를 읽을 수 있다. 스캐너(302)는 스캐닝된 정보 및 다른 신호들을 네트워크 및/또는 관련 컴퓨팅 디바이스와 통신하는 인터페이스(316)를 또한 포함한다. 일부 실시예에서, 스캐너(302)는 온-보드 전원(332)를 가질 수 있다. 다른 실시예에서, 스캐너(302)는 유니버셜 시리얼 버스(USB) 연결과 같이 다른 디바이스와의 유선 연결로부터 전원이 공급될 수 있다.
스캐너(302)의 사용에 대한 예시로서, 독자가 스캐너(302)를 사용하여 신문기사의 일부 텍스트를 스캔할 수 있다. 텍스트는 스캐닝 헤드(308)을 통해 비트맵 이미지로 스캔된다. 로직(326)은 비트맵 이미지가, 클록 유닛(328)으로부터 읽혀진 관련 타임-스탬프와 함께, 메모리(330)에 저장되도록 한다. 또한 로직(326)은 광학적 문자인식(OCR)을 수행하거나, 또는 비트맵 이미지를 텍스트로 변환하기 위한 스캔후(post-scan) 프로세스를 수행할 수 있다. 또한 로직(326)은, 예컨대 문자, 심볼, 또는 대상물의 반복적 발생을 발견하고 이들 반복되는 요소들 사이의 다른 문자, 심볼, 또는 대상물의 숫자 또는 거리를 결정하기 위해 컨벌루션과 유사한 프로세스를 행함으로써, 이미지로부터 기호를 선택적으로 추출할 수 있다. 그러면, 독자는 인터페이스(316)를 통해 관련 컴퓨터에 비트맵 이미지(스캔후 프로세스 가 로직(326)에 의해 행해진다면, 텍스트 또는 다른 기호)를 업로드할 수 있다.
스캐너(302)의 또다른 사용의 일 예로서, 마이크(310)를 음성 캡쳐 포트로 사용하여 독자가 신문기사의 일부 텍스트를 오디오 파일로서 캡쳐할 수 있다. 로직(326)은 오디오 파일이 메모리(328)에 저장되도록 한다. 로직(326)은 또한 오디오 파일을 텍스트로 변환하기 위해 음성인식 또는 다른 스캔후 프로세스를 수행할수 있다. 그 후, 위에 설명하였듯이 독자는 인터페이스(316)를 통해 관련 컴퓨터에 오디오 파일(또는, 로직(326)에 의해 수행된 스캔후 프로세스에 의해 생성된 텍스트)을 업로드할 수 있다.
2부 - 코어 시스템의 범위의 개요
페이퍼-디지털 통합이 점점 흔해지면서, 이 통합을 더 잘 이용하기 위해 변화될 수 있거나 또는 보다 효율적으로 구현할 수 있게 하는 기존 기술의 많은 측면이 있다. 이 섹션은 이러한 이슈들 중 일부에 대한 것이다.
3. 검색
문서 전집의 검색, 심지어는 월드와이드웹과 같이 거대한 전집에 대한 검색은, 검색엔진에 입력된 검색식을 만들기 위해 키보드를 사용하는 평범한 사용자에게도 이제는 흔한 일이 되었다. 이 섹션 및 다음 섹션은, 캡쳐에 의해 렌더링된 문서에서 유래된 문의(query)의 구성 및 이러한 문의를 다루는 검색엔진의 양 측면에 대해 논의한다.
3.1. 검색 문의로서의 스캔/ 스피크 /타입
상술한 시스템의 사용은 전형적으로 상기 섹션 1.2에서 언급한 것을 비롯한 여러 방법중 임의의 것을 사용하여 렌더링된 문서로부터 캡쳐되고 있는 몇몇 단어를 가지고 시작한다. 예컨대 OCR 또는 음성 입력의 경우와 같이 입력이 텍스트로의 변환을 위해 약간의 해석이 필요할 때, 인식 프로세스를 확장하기 위해 문서 전집이 사용되도록, 시스템내에 엔드-투-엔드(end-to-end) 피드백이 있을 수 있다. 엔드-투-엔드 피드백은, 인식 또는 해석의 근사를 수행함으로써, 하나 이상의 후보 매칭 문서의 세트를 식별함으로써, 그리고 그 후, 인식과 해석을 더 정제하고 제한하기 위해 후보 문서에서의 가능한 매치들로부터 정보를 사용함으로써, 적용될 수 있다. 후보 문서는 예상되는 관련성에 따라(예컨대, 이들 문서에서 스캔하였던 사람의 숫자, 또는 인터넷상의 인기도에 근거하여) 가중치가 정해질 수 있고, 이러한 가중치는 이러한 반복되는 인식 프로세스에서 적용될 수 있다.
3.2. 단문 검색
단어들의 상대적 위치가 알려져 있을 때 일부 단어에 기초한 검색 문의의 선별능력이 매우 커지기 때문에, 본 시스템이 전집에서 텍스트의 위치를 식별하기 위해서는 적은 양의 텍스트만이 캡쳐되어도 된다. 매우 일반적으로, 짧은 문구와 같이 인접하는 시퀀스가 입력 텍스트가 될 수 있다.
3.2.1. 단문 캡쳐로부터 문서 및 문서내의 위치를 발견
어떤 문구가 유래하였던 문서를 찾는 것에 더하여, 본 시스템은 그 문서 내에서 위치를 식별할 수 있고 또한 이 지식에 근거하여 액션을 취할 수 있다.
3.2.2. 위치를 찾는 다른 방법
또한 본 시스템은, 워터마크(watermark), 또는 렌더링된 문서상의 다른 특수 한 마크를 사용하는 것 등에 의해, 문서와 위치를 발견하는 다른 방법을 사용할 수 있다.
3.3. 다른 요소를 검색 문의에 결합
캡쳐된 텍스트에 더하여, 다른 요소(즉, 사용자 식별, 프로파일, 및 컨텍스트에 관한 정보)가, 캡쳐 시간, 사용자의 지리적 위치 및 식별, 사용자의 습관 및 최근 활동에 대한 지식 등과 같이, 검색 문의의 일부를 형성할 수 있다.
특히 이러한 것들이 아주 최근이라면, 문서 식별, 및 이전의 캡쳐에 관한 다른 정보가 검색 문의의 일부를 형성할 수 있다.
사용자의 식별은 캡쳐링 디바이스, 및/또는 바이오메트릭(biometric) 또는 다른 보충적 정보(음성 속도, 지문 등)와 연관된 특유의 식별자로부터 결정될 수 있다.
3.4. 검색 문의의 신뢰불능 특성의 지식(OCR 에러 등)
검색 문의는 사용되는 특정 캡쳐 방법에서 발생하기 쉬운 에러 타입을 고려하여 구성될 수 있다. 이것의 일 예로는 특정 문자의 인식시에 의심되는 에러를 지시하는 것인데, 이 경우 검색엔진은 이러한 문자들을 와일드 카드로서 처리하거나 또는 이들 문자에 더 낮은 우선순위를 부여할 수 있다.
3.5. 실행/오프라인 사용을 위한 인덱스의 로컬 캐쉬
때때로 캡쳐링 디바이스가 데이터 캡쳐를 할 때 검색엔진이나 전집과 통신하고 있지 않을 수 있다. 이러한 이유로, 디바이스의 오프라인 사용에 도움이 되는 정보가 미리 이 디바이스에 혹은 이 디바이스가 통신하는 일부 엔티티에 다운로드 될 수 있다. 몇몇 경우에, 전집에 관련된 인덱스의 상당 부분 혹은 전부가 다운로드 될 수 있다. 이에 대해서는 섹션 15.3에서 더 논의될 것이다.
3.6. 어떤 형태를 갖든 문의는 나중에 기록되거나 실행될 수 있다
만약 문의와 통신하거나 결과를 수신하는 것과 관련된 비용이나 지연이 있을 수 있다면, 이러한 사전-로드된(pre-loaded) 정보는 로컬 디바이스의 성능을 향상시키고, 통신 비용을 낮추며, 또한 유용하고 시의적절한 사용자 피드백을 제공할 수 있다.
어떠한 통신도 가능하지 않은 경우(로컬 디바이스가 "오프라인"인 경우), 문의가 저장되었다가 통신이 복구되었을 때 시스템의 나머지 부분으로 전송될 수 있다.
이러한 경우 각각의 문의와 함께 타임 스탬프를 전송하는 것이 중요하다. 문의를 해석함에 있어서 캡쳐 시간은 매우 중요한 요소가 될 수 있다. 예컨대, 섹션 13.1은 이전의 캡쳐와 관련하여 캡쳐 시간의 중요성에 대해 논의한다. 캡쳐 시간이 문의가 실행되는 시간과 항상 동일한 것은 아니라는 점에 유의해야 한다.
3.7. 병렬 검색
성능상의 이유로, 단일 캡쳐에 응답하여 다수개의 문의가 일렬 혹은 병렬 중 하나로 개시될 수 있다. 예컨대 새로운 단어가 캡쳐에 추가되거나 혹은 병렬로 다수의 검색엔진에 문의하기 위해, 여러개의 문의가 단일 캡쳐에 응답하여 전송될 수 있다.
예컨대, 일부 실시예에서, 본 시스템은 현재 문서에 대한 특별 인덱스의 문 의를, 로컬 머신 상의 검색엔진으로, 통합 네트워크 상의 검색엔진으로, 및 인터넷상의 원격 검색엔진으로 전송한다.
어느 특별한 검색의 결과에 다른 것보다 더 높은 우선순위를 부여할 수도 있다.
주어진 문의에 대한 응답이 현재 진행중인 문의가 불필요하다는 것을 나타낼 수도 있고, 이 경우 진행중인 문의는 완료전에 취소될 수 있다.
4. 페이퍼 및 검색엔진
전통적인 온라인 문의를 다루는 검색엔진이 렌더링된 문서에서 유래하는 것들도 다루는 것이 바람직한 경우가 종종 있다. 상술된 본 시스템에서 사용하기에 더 적절하도록 만들기 위한 많은 방법에 의해서 기존의 검색엔진이 확장되거나 변경될 수 있다.
본 시스템의 검색엔진 및/또는 다른 컴포넌트가, 여분의 또는 상이한 특성을 갖는 인덱스를 생성하고 유지할 수 있다. 본 시스템은 유입 페이퍼-유래된 문의를 변경하거나, 혹은 문의가 결과 검색에서 취급되는 방법을 변경할 수 있고, 따라서, 이러한 페이퍼-유래된 문의를 웹 브라우저 및 다른 소스에 타이핑 입력된 문의에서 유입된 것들과 구별할 수 있다. 또한, 다른 소스로부터의 것들과 비교하여 결과들이 페이퍼에서 유래된 검색에 의해 되돌아왔을 때, 본 시스템은 다른 액션을 취하거나 다른 옵션을 제공할 수 있다. 이러한 각각의 접근법이 이하에서 설명된다.
4.1. 인덱싱
종종, 페이퍼-유래된 문의 또는 전통적인 문의 중 하나를 사용하여 동일한 인덱스가 검색될 수 있지만, 다양한 방법으로 현재 시스템에서의 사용을 위해 인덱스가 강화될 수 있다.
4.1.1. 페이퍼 형식에 대한 지식
페이퍼-기반 검색의 경우에 도움을 줄 수 있는 이러한 인덱스에 여분의 필드가 추가될 수 있다.
페이퍼 형식에서 문서 유효성(availability)을 나타내는 인덱스 엔트리
첫번째 예는, 문서가 존재하거나 혹은 페이퍼 형식으로 배포되었다고 알려졌다는 것을 나타내는 필드이다. 문의가 페이퍼로부터 온 경우, 본 시스템은 이러한 문서에 더 높은 우선순위를 부여할 수 있다.
인기 페이퍼 형식의 지식
이 예에서는 페이퍼 문서의 인기도에 관련된(및, 선택적으로는, 이들 문서내에서의 세부 영역에 관련된) 통계적 데이터 -예컨대, 스캐닝 동작의 양, 출판자 또는 다른 소스에 의해 제공된 발행부수 등- 가 사용되어, 그러한 문서에 더 높은 우선순위를 부여하고, (예컨대, 브라우저-기반 문의 또는 웹 검색에 대한) 디지털 부본의 우선순위도 올려준다.
렌더링된 포맷의 지식
또다른 중요한 예는 문서의 특정 렌더링의 레이아웃에 관한 정보를 기록하는 것일 수 있다.
예컨대 서적의 어느 특정 판(edition)과 관련하여, 인덱스는, 어디에서 줄이 끊기고 페이지가 끊기는지, 어떤 폰트가 사용되었는지, 보통과 다른 대문자가 있는 지 등에 대한 정보를 포함할 수 있다.
또한 인덱스는, 이미지, 텍스트 박스, 표, 및 광고 등과 같은 페이지 상의 다른 항목과의 근접성에 대한 정보도 포함할 수 있다.
원본에 대한 의미론적 정보의 사용
마지막으로, 의미론적(semantic) 정보가 소스 마크업으로부터 추론될 수 있지만, 그러나 페이퍼 문서에서는 명확하지 않은데, 이를테면, 텍스트의 특정 조각이 판매를 위해 제공된 항목을 언급하거나 또는 어느 특정 문장이 프로그램 코드를 포함하고 있다는 사실이 또한 인덱스에 기록될 수 있다.
4.1.2. 캡쳐 방법에 대한 지식으로 인덱싱
인덱스의 특성을 변경할 수 있는 두번째 요소는, 사용될 가능성이 있는 캡쳐 타입에 대한 지식이다. 만약, 인덱스가 OCR 프로세스에서 쉽게 구별될 수 없는 문자를 고려한다거나 또는 문서에서 사용된 폰트에 대한 약간의 지식을 포함하고 있다면, 광학 스캔에 의해 개시된 검색을 하는 것이 유익할 것이다. 유사하게, 문의가 음성 인식에서 유래한다면, 유사한 사운드의 음소(phoneme)에 기초한 인덱스가 보다 더 효과적으로 검색될 것이다. 상술된 모델에서 인덱스의 사용에 영향을 줄 수 있는 또 다른 요소는, 인식 프로세스 동안의 반복 피드백의 중요성이다. 만약 텍스트가 캡쳐됨에 따라 검색엔진이 인덱스로부터 피드백을 제공할 수 있다면, 캡쳐의 정확성을 크게 향상시킬 수 있다.
오프셋을 이용한 인덱싱
인덱스가 섹션 9에서 상술한 오프셋-기반/오토코릴레이션 OCR 방법을 사용하 여 검색될 가능성이 있을 경우, 일부 실시예에서는, 본 시스템이 적절한 오프셋이나 인덱스의 기호 정보를 저장하고 있다.
4.1.3. 다수의 인덱스
마지막으로, 상술된 시스템에서, 통상적으로 다수의 인덱스에 대해 검색을 수행할 수도 있다. 인덱스는 여러 장치나 통합 네트워크 상에서 유지될 수 있다. 일부 인덱스는 캡쳐 디바이스로 다운로드 될 수 있고, 또는 캡쳐 디바이스에 가까운 장치로 다운로드 될 수도 있다. 특별한 관심, 습관, 또는 허가를 갖는 사용자 또는 사용자 그룹에 대해서는 별도의 인덱스가 생성될 수 있다. 인덱스는 각 파일 시스템, 각 디렉토리, 심지어 사용자의 하드디스크 상의 각 파일에 대해 존재할 수 있다. 인덱스는 사용자 및 시스템에 의해 공개되고 서명(subscribe)될 수 있다. 그러면, 배포되고, 업데이트되고, 합병되고, 및 효과적으로 분리될 수 있는 인덱스를 구성하는 것이 중요할 것이다.
4.2. 문의의 취급
4.2.1. 캡쳐가 페이퍼로부터 온 것을 앎
검색엔진이 검색 문의가 페이퍼 문서로부터 유래한 것을 인식하였을 때, 검색엔진은 다른 액션을 취할 수 있다. 검색엔진은, 예컨대 특정 캡쳐 방법에 나타날 가능성이 있는 에러 형태에 대해 더 많은 허용을 두는 방식으로 문의를 취급할 수 있다.
검색엔진은 문의에 포함된 일부 지시자(예컨대 캡쳐의 특성을 나타내는 플래그)로부터 그것을 추론할 수 있고, 또는 문의 자체로부터도 추론할 수 있다(예컨 대, OCR 프로세스에 전형적인 에러나 불확실성을 인식할 수 있다).
대안적으로, 캡쳐 디바이스로부터의 문의는 다른 소스로부터의 그것과는 다른 연결 채널이나 포트나 형태에 의해 엔진에 도달할 수 있고, 그러한 방식으로 구별될 수 있다. 예컨대, 본 시스템의 일부 실시예는 전용 게이트웨이를 통해 문의를 검색엔진으로 보낼 것이다. 따라서, 검색엔진은 전용 게이트웨이를 지나가는 모든 문의가 페이퍼 문서로부터 유래한 것임을 알고 있다.
4.2.2. 컨텍스의 이용
아래의 섹션 13은, 캡쳐된 텍스트 자체의 외부에 있지만 그러나 문서를 식별하는데 중요한 도움이 될 수 있는 다양한 다른 요소들에 대해 설명한다. 이러한 것들에는 최근 스캔의 이력, 특정 사용자의 장기간 독서 습관, 사용자의 지리적 위치, 및 특정 전자 문서에 대한 사용자의 최근 사용 등이 포함된다. 이러한 요소들은 여기서 "컨텍스트"라고 언급된다.
컨텍스트의 일부는 검색엔진 자체에 의해 취급될 수 있고, 검색 결과에 변영될 수도 있다. 예컨대, 검색엔진은 사용자의 스캔 이력을 추적할 수 있고, 이 스캔 이력을 기존의 키보드-기반 문의와 상호-참조(cross-reference)시킬 수도 있다. 그러한 경우, 검색엔진은 각각의 개별 사용자에 대해 대부분의 기존 검색엔진이 하는 것보다 더 많은 상태 정보를 유지하고 사용하고 있으며, 검색엔진과의 각각의 인터랙션은 오늘날 전형적인 것보다 더 긴 기간 및 여러 검색들에 걸쳐 확장한다고 생각될 수 있다.
컨텍스트의 일부는 검색 문의시 검색엔진으로 전송될 수 있고(섹션 3.3), 장 래의 문의에서 일부로서 역할하기 위해 엔진에 저장될 수도 있고, 따라서 검색엔진으로부터의 결과에 적용되는 필터 또는 부차적 검색이 된다.
검색에의 데이터- 스트림 입력
검색 프로세스로의 중요한 입력은, 어떻게 사용자 커뮤니티가 문서의 렌더링된 버전과 인터랙팅하는가에 대한 더 넓은 컨텍스트 이다 -예컨대, 어떤 문서가 가장 널리 읽혀지고 누구에게 읽혀지는가. 이것은, 가장 자주 링크되는 페이지나 지난번 검색결과로부터 가장 자주 선택되는 페이지를 복귀시키는 웹 검색과 유사하다. 이에 대한 더 자세한 논의는 섹션 13.4 및 14.2를 참조.
4.2.3. 문서 서브-영역
상술된 본 시스템은 전체로서 문서에 대한 정보 뿐만 아니라 문서의 서브-영역에 대한, 심지어 개개의 단어까지에 대한 정보도 발행하고(emit) 사용한다. 기존의 많은 검색엔진들은 단지 특정 문의에 관련된 파일이나 문서를 찾는 것에 관심을 집중하고 있다. 더 미세한 것(finer grain)에도 작용하여 문서 내에서의 위치까지도 식별할 수 있는 검색엔진은 상술한 본 시스템에 큰 이익을 제공할 것이다.
4.3. 결과를 제공함
검색엔진은, 제공된 결과에 영향을 주기 위해 현재 유지하고 있는 추가 정보 중 일부를 사용할 수 있다.
또한 본 시스템은, 단지 페이퍼 카피에 속하고 있다는 것의 결과로서 사용자가 액세스하고 있는 특정 문서를 제공할 수도 있다(섹션 7.4 참조).
또한 검색엔진은, 텍스트의 간단한 검색을 넘어서, 상술한 시스템에 적합한 새로운 액션이나 옵션을 제공할 수도 있다.
5. 마크업, 주석, 및 메타데이터
캡쳐-검색-발견(retrieve) 프로세스를 수행하는 것에 더하여, 상술한 본 시스템은 여분의 기능성을 문서와 연관시키고, 보다 구체적으로는, 문서 내의 텍스트의 특정 위치나 세그먼트와 연관시킨다. 이 여분의 기능성은 종종, 전적으로 그런 것은 아니지만, 그의 전자 부본과 연관됨으로 인해 렌더링된 문서와 연관된다. 일 예로서, 웹 페이지의 하이퍼링크는 그 웹페이지의 프린트 출력물이 스캔될 때 동일한 기능성을 가질 수 있다. 몇몇의 경우, 이러한 기능성은 전자 문서에 한정되지 않고, 다른 곳에서도 저장되거나 생성된다.
이러한 부가 기능성의 층(layer)은 여기서 "마크업"이라고 언급된다.
5.1. 오버레이 , 정적 및 동적
마크업에 대해 생각하는 한가지 방법은 문서 상의 "오버레이"로서 인데, 이것은 문서 또는 문서의 일부분에 대한 추가 정보를 제공하거나, 문서 또는 문서의 일부분에 연관된 액션을 특정할 수 있다. 마크업은 사람이 판독할 수 있는 콘텐트를 포함할 수 있지만, 종종 사용자에게 보이지 않거나 및/또는 기계적 사용으로만 의도된다. 그러한 예로서, 사용자가 렌더링된 문서의 특정 영역으로부터 텍스트를 캡쳐하거나 혹은 특정 문구의 발음을 설명하는 오디오 샘플을 캡쳐할 때, 근처의 디스플레이 상에 팝업 메뉴가 디스플레이되는 옵션이 있다.
5.1.1. 여러 소스로부터 가능한 여러 층
임의의 문서는 다수의 오버레이를 동시에 가질 수 있고, 이들은 다양한 위치로부터 유래될 수 있다. 마크업 데이터는 문서의 작가, 사용자, 또는 또다른 측에 의해 생성되거나 공급될 수 있다.
마크업 데이터는 전자 문서에 첨부되거나 또는 그에 내장될 수 있다. 마크업 데이터는 종래의 위치에서(예컨대, 동일한 문서이지만 다른 파일네임 접미사를 갖는 곳에) 발견될 수 있다. 마크업 데이터는 원본 문서의 위치를 찾은 문의의 검색결과에 포함될 수 있고, 또는 동일한 또는 상이한 검색엔진에서의 별개의 문의에 의해 발견될 수 있다. 마크업 데이터는 최초의 캡쳐된 텍스트 및 다른 캡쳐 정보 또는 컨텍스트 정보를 사용하여 발견될 수 있고, 또는 캡쳐의 위치와 문서에 대한 기존에 추론된 정보를 사용하여 발견될 수 있다. 마크업 그 자체가 문서에 포함되어 있지 않더라도, 마크업 데이터는 문서에 특정되어 있는 위치에서 발견될 수 있다.
종래의 html 웹페이지에 대한 링크가 html 문서 내에 정적 데이터(static data)로서 종종 내장되는 방식과 유사하게, 마크업은 문서에 대개 정적이고 특유한 것일 수 있다. 그러나 마크업은 많은 수의 문서에 대해 동적으로 생성 및/또는 적용 될 수도 있다. 동적 마크업의 일 예는, 문서에서 언급된 회사의 최신 주식가격을 포함하는 그 문서가 첨부되어 있는 정보이다. 널리 적용되는 마크업의 일 예는, 다수의 문서나 문서의 섹션에 대해 특정 언어로 자동적으로 이용가능한 번역 정보이다.
5.1.2. 개인 "플러그-인" 층
사용자는 또한 마크업 데이터를 인스톨하거나 그것의 특정 소스에 서명할 수 있고, 따라서 특정 캡쳐에 대한 시스템 반응을 개인화시킨다.
5.2. 키워드 및 문구, 상표 및 로고
문서의 일부 요소는, 특정 문서내의 위치 보다는 그들 자체의 특성에 기초하여 그들과 연관되어 있는 기능성 또는 특정 "마크업"을 가질 수 있다. 예로서, 사용자에게 어느 조직에 관한 추가 정보를 링크시킬 수 있는 로고 및 상표 뿐만 아니라, 순수하게 스캔될 목적으로 문서에서 프린트되는 특정 마크가 있다. 동일한 원리가 텍스트 내의 "키워드" 또는 "키 문구"에도 적용된다. 조직들은 그들이 연관되어 있는 혹은 그들이 연관되고 싶어하는 특정 문구들을 등록할 수 있고, 그 문구가 어디에서 스캔되든지 간에 이용가능하게 되는 특정 마크업을 부착한다.
어떤 단어, 문구 등도 연관 마크업을 가질 수 있다. 예컨대, 본 시스템은, 사용자가 언제 단어 "책" 또는 책제목 또는 책에 관련된 토픽을 캡쳐하든지 간에, 특정 항목을 팝업 메뉴에 추가할 수 있다(예컨대 온라인 서점으로의 링크). 본 시스템의 일부 실시예에서, 단어 "책", 책 제목, 또는 책에 관련된 토픽 근처에서 캡쳐가 발생하였는지를 판단하기 위해 디지털 부본 문서 또는 인덱스가 참조될 수 있고, 시스템의 움직임이 키워드 요소의 이러한 근접성에 따라 변경된다. 앞서의 일예에서, 마크업으로 인해, 비상업적 텍스트 또는 문서로부터 캡쳐된 데이터가 상업적 트랜잭션을 유발할 수 있다는 점에 유의하라.
5.3. 유저-공급된 콘텐트
5.3.1. 멀티미디어를 포함한, 유저 코멘트 및 주석
주석은 문서와 연관될 수 있느 다른 유형의 전자 정보이다. 예로서, 유저는 음성 주석으로서 이후의 검색을 위해 특정 문서에 대한 자신의 생각의 오디오 파일을 첨부할 수 있다. 멀티미디어 주석의 다른 예로서, 유저는 문서라 칭해지는 곳에 사진을 첨부할 수 있다. 유저는 문서를 위한 주석을 공급하지만 시스템은 다른 소스로부터의 주석을 연관시킬 수 있다(예로서, 워크 그룹내의 기타 유저를 공유한다).
5.3.2. 프루프 -판독으로부터의 노트
유저-소스화된 마크업의 중요한 예는 프루프-판독, 편집 또는 검토 목적의 일부분으로서 종이 문서로 된 주석이다.
5.4. 써드 -파티 콘텐트
상기한 바와 같이, 마크업 데이터는 문서의 다른 판독제에 의하는 바와 같이, 써드-파티에 의해 공급될 수 있다. 온라인 토의 및 검토인, 특정 작업, 자원봉사자에 의한 번역 및 설명에 관한 컴뮤니티-관리 정보와 같은 것은 좋은 예이다.
써드-파티 마크업의 다른 예는 광고주에 의해 제공된다.
5.5. 유저의 데이터 스트림에 기초한 동적 마크업
시스템의 여러 또는 모든 유저에 의해 문서로부터 획득된 데이터를 분석함에 의해, 마크업은 컴뮤니의 활동 및 관심사를 기초로 발생될 수 있다. 예로서는 "이 책을 즐긴 사람은 또한 ...도 즐긴다"라는 것을, 유저에게 말하는 ㅈ 또는 마크업을 생성하는 온라인 책방일 수 있다. 마크업은 익명성이 덜 할 수 있고, 유저에게 그의 계약 리스트의 어느 사람이 이 문서를 최근에 읽었는 지를 알려줄 수 있다. 데이터스트림 분석의 다른 예는 섹션 14에 포함되어 있다.
5.6. 외부 이벤트 및 데이터 소스에 기초한 마크업
마크업은 흔히, 통합된 데이터베이스로부터의 입력, 공중 인터넷으로부터의 정보 또는 로컹 운영체제에 의해 수집된 통계치와 같은, 데이터 소스 및 외부 이벤트에 기초한다.
데이터 소스는 더욱 로컬일 수 있고, 특히 유저의 신분, 지역 및 활동과 같은 유저의 콘텍스트에 대한 정보를 제공할 수 있다. 예로서, 시스템은 유저의 모바일 폰과 통신할 수 있고 유저가 최근에 전화로 통화나 누군가에게 문서를 전송할 옵션을 부여하는 마크업 층을 제공한다.
6. 인증, 개인유별화 및 보안
대부분의 상황에서, 유저의 신분은 공지되어진다. 때때로 이것은 "익명 신분"으로 되고, 요기서 유저는 예로서 캡쳐 디바이스의 일련번호에 의해서만 식별된다. 통상적으로, 시스템은 시스템을 개인유별화하는 데에 사용될 수 ㅣㅇㅆ고 활동 및 트랜잭션이 유저의 이름으로 수행될 수 있게 하기 위해, ㄱ에 대한 더욱 상세한 지식을 갖는 것이 예상된다.
6.1. 유저 이력 및 "수명 라이브러리"
시스템이 수행할 수 있는 가장 간명하고 유용한 기능중의 하나는 유저가 캡쳐한 텍스트에 대한 유저의 레코드 및, 발견된 임의의 문서에 대한 상세사항, 이 문서내의 위치 및 결과적으로 취해진 임의의 액션을 포함하는, 그 캡쳐에 관련된 임의 추가 정보를 유지하는 것이다.
이 저장된 이력은 유저 및 시스템 모두에 유익하다.
6.1.1 유저를 위해
유저에게는, 유저가 판독 및 캡쳐한 모든 것에 대한 레코드인, "수명 라이브러리"가 주어질 수 있다. 이것은 단순히 개인적인 관심사일 수 있지만, 예로서 그의 다음 페이퍼의 섹인을 위한 자료를 수집하는 학자에 의해 라이브러리에 사용될 수 도 있다.
몇몇 환경에서, 유저는 다른 사람들이 판독하는 알고 관심사항을 발견할 수 있도록, 웹로그에 마찬가지 방식으로 웹상에서 그것을 출판함에 의해, 라이브러리가 공표되길 바랄 수 있다.
마지막으로, 유저가 일부 텍스트를 획득하고 시스템이 이 캡쳐에 대해 즉시 작용할 수 없는 경우에(예로서, 문서의 전자 버젼이 아직 이용블가능하기 때문에) 캡쳐는 라이브러리에 저장될 수 있고 유저의 요구에 따라 또는 자동으로, 이후에 처리될 수 있다. 유저는 새로운 마크업 서비스에 가입할 수 있고 이것들을 이전에 캡쳐된 스캔에 적용할 수 있다.
6.1.2. 시스템을 위해
유저의 과거 캡쳐에 대한 레코드는 시스템을 위해서도 유용하다. 시스템 동작의 대다수 태양은 유저의 판독 습관 및 이력을 앎으로써 향상될 수 있다. 가장 간명한 예는 유저에 의해 행해진 임의의 스캔은 유저가 가장 최근에 스캔한 문서로부터 올 가능성이 높고 특히 이전 스캔이 최종 수분 전에 행해졌다면 그것은 동일 한 문서로부터 올 가능성이 매우 높다. 마찬가지로, 문서는 시작-끈 순서로 판독될 가능성이 더 높다, 따라서, 예로서, 영어 문서인 경우, 나중의 스캔은 문서에서 더욱 멀리 아래로 발생할 가능성이 높다. 그러한 요인들은 모호성의 경우에 시스템이 캡쳐의 위치를 수립하는 데에 도움을 줄 수 있고, 또한 캡쳐되어야 할 텍스트의 양을 감소시킬 수 있다.
6.2 지불 , 아이덴티티 및 인증 디방스와 같은 스캐너
캡쳐 프로세스는 광학 스캐너 또는 음성 레코더와 같은 일정 종류의 디바이스로 시작하기 때문에, 이 디바이스는 유저를 식별하고 일정한 액션을 인증하는 키로서 사용될 수 있다.
6.2.1. 스캐너와 전화 또는 기타 계정과의 연관
디바이스는 모바일 폰에 내장되거나 또는 기타 방식으로 모바일 폰 계정과 연관될 수 있다. 예로서, 스캐너는 모바일 폰 계정과 연관된 SIM 카드를 스캐너에 삽입함에 의해 모바일 폰 계정과 연관될 수 있다. 마찬가지로, 디바이스는 크레딧 카드 또는 기타 지불 카드에 내장되거나 또는 그것에 연결되는 카드를 위한 기능설비를 가질 수 있다. 디바이스는 지불 토큰으로 사용될 수 있고, 지불 트랜잭션은 렌더링된 문서로부터의 캡쳐에 의해 개시될 수 있다.
6.2.2. 인증을 위해 스캐너 입력 사용
스캐너는 유저 또는 계정과 연관된 몇몇 토큰, 심볼 또는 텍스트를 스캐닝하는 프로세스를 통해 특정 유저또는 계정과도 연관될 수 있다. 또한, 스캐너는 예로서 유저의 지문을 스캐닝함에 의해, 생체정보를 위해 사용될 수 있다. 오디오- 기잔 캡쳐 디바이스의 경우에, 시스템은 유저의 음성 패턴을 매칭함에 의해 또는 유저가 일정한 암호 또는 구절을 말하도록 요구함에 의해 유저를 식별할 수 있다.
예로서, 유저가 책으로부터 일정한 인용구를 스캐너하거나 온라인 판매자로부터 책을 구입할 옵션이 제공된다면, 유저는 이 옵션을 선택할 수 있고, 그후 트랜잭션을 확인하기 위해 유저의 지문을 스캔하도록 프롬프팅한다.
섹션 15.5. 및 15.6.도 참조 하시요
6.2.3. 보안 스캐닝 디바이스
캡쳐 디바이스가 유저를 인증 및 식별하기 위해 그리고 유저를 대신하여 트랜잭션을 개시시키기 위해 사용되는 경우, 시스템의 다른 부분과 디바이스간의 통신이 보안유지되는 것이 매우 중요하다. 또한 다른 디바이스가 스캐너를 대역하는 상황, 또는 다른 컴포넌트와 디바이스간의 통신이 인터셉트되는 소위 "중간에 낀 사람" 공격에 대해 보호하는 것이 매우 중요하다.
그러한 보안을 제공하기 위한 기술은 당업계에서 양호하게 잘 이해되고; 다양한 실시예, 디바이스에서의 하드웨어 및 소프트웨어 및 시스템네의 다른 곳은 그런 기술을 구현하기 위해 구성된다.
7. 모델 및 엘리먼트 출판
상기한 시스템의 이점은 시스템의 다수의 이점을 얻기 위해 문서를 생성, 인쇄 및 출판하는 종래의 프로세스를 변경할 필요가 없다는 것이다. 문서의 생성자 또는 출판자-이후엔 단순히 "출판자"로서 참조됨-는 상기한 시스템을 지원하는 기 능을 생성하길 원하는 이유가 있다.
이 섹션은 주로 출판된 문서와 관련된다. 광고와 같은, 기타 상용 트랜잭션에 관한 정보에 대해서는 " P-커머스"라는 제목의 섹션 10을 참조하시요.
7.1. 인쇄된 문서에 대한 전자 컴패니언
시스템은 문서가 연관된 전자 프레즌스를 갖는 것을 허용한다. 종ㅎ래에 출판자는 CD-ROM에 추가 디지털 정보, 교습 영화 및 기타 멀티미디어 데이터, 샘플 코드 또는 문서, 또는 추가의 기준 재료등을 포함하는 북을 탑재한다. 또한, 몇몇 출판자는 출판 시점 후 갱신될 수 있는 정보 및, 오자, 추가 코멘트, 갱산된 기준 재료, 색인 및 관련 데이터의 추가 소스, 및 다른 언어로의 번역과 같은, 그러한 재료를 제공하는 특정 출판물과 연관된 웹사이트를 유지한다. 온라인 포럼은 독자가 출판물에 대해 그들의 코멘트를 달 수 있도록 한다.
상기한 시스템은 그러한 재료들이 이전 것 보다 렌더링된 문서에 더욱 밀접하게 결합되는 것을 허용하고, 그리고 그들의 발견과 그들과의 상호작용이 유저에 대해 더욱 용이하게 될 수 있도록 한다. 문서로부터의 텍스트의 일부를 캡쳐함에 의해, 시스템은 자동적으로 유저를 문서와 연관된 디지털 재료에 자동적으로 연결시킬 수 있고, 더욱 상세히는 문서의 특정 부분과 연관된다. 마찬가지로, 유저는 텍스트의 그 섹션을 토의하는 온라인 커뮤니티에, 그리고 다른 독자에 의해 주석 및 해석에 연결될 수 있다. 과거에, 그러한 정보는 통상적으로 특정 쪽전호 또는 장을 탐색함에 의해 차아질 필요가 있곤 했다.
이러한 예시적 애플리케이션은 학문적 교재 분야이다(섹션 17.5).
7.2. 인쇄된 문서에 대한 "가입"
몇몇 출판자는 독자들이 새로운 관련 자료를 통지받기 원한다면 또는 책의 새로운 판이 출판되는 경우 가입할 수 있는 메일링 리스트를 가질 수 있다. 설명된 시스템으로, 유저는 특정 문서 또는 문서의 일부분에서 관심사항을 등록할 수 있고, 출판자가 임의의 그러한 기능을 제공하는 것을 고려하기 이전인 경우에도 등록할 수 있다. 독자의 관심사항은 출판자에게 제공될 수 있고, 언제 및 어느 때 갱신본, 추가 정보, 세로운 판 또는 기존 책에서 관심있는 것으로 wmd명된 주제에 관한 완전히 새로운 출판물을 제공할 지에 대한 그들의 결정에 영향을 미칠 수 있다.
7.3. 특정한 의미를 갖춘 또는 특정한 데이터를 포함하는 인쇄된 마크
시스템의 다수의 태양은 문서에 이미 존재하는 텍스트의 사용을 통해 단순히 인에이블된다. 문서가, 시스템과 연관지어 사용될 수 있다는 지식하에서 산출된다면, 여분의 기능은 특정 마크 형태로 여분의 정보를 인쇄함에 의해 추가될 수 있고, 이것은 텍스트 또는 필요한 액션을 식별하는 데에 사용될 수 있고, 또는 그렇지않으면 시스템과 문서의 상호작용을 향상시킨다. 가명하고 가장 중요한 예는 문서가 명확하게 시스템을 통해 액세스가능하다는 것을 독자에게 지시하는 것이다. 특정항 아이콘이, 그 문서가 그것과 연관된 온라인 포럼을 갖는다는 것을 지시하는 데에 사용될 수 있다.
그러한 심볼은 순전히 독자를 의도한 것일 수 있거나, 일정한 액션을 개시시키는 데에 사용되고 스캐닝된 경우 시스템에 의해 인식될 수 있다. 충ㅂ준한 데이 터는 심볼 이상의 것을 식별하기 위해 심볼로 인코딩 될 수 있고; 그것은 또한 시에 의해 인식 및 판독될 수 있는, 심볼의 위치, 판, 문서에 관한 정보를 저장할 수 있다.
7.4. 페이퍼 문서의 소유를 통한 인증
인쇄 문서의 소유 또는 그에 대한 액세스가, 예로서 문서의 전자 복사본 또는 추가 재료로의 액세스와 같은, 일정한 특권을 유저에게 부여하는 몇몇 상황이 있다. 상기한 시스템으로, 그러한 특권은 유저가 문서로부터 텍스트의 일부분을 캡쳐링하거나, 또는 특정하게 인쇄된 심볼을 스캐닝함에 의한 결과로서 간단하게 허여될 수 있다. 시스템이, 유저가 전체 문서를 소유하고 있었다는 것을 보장할 것이 필요로 되는 경우에, 유저에게 특정 페이지로부터 특정 항목 또는 어구, 예로서 " 페이지 46의 두번째 라인"과 같은 것을 스캐닝하도록 프롬프팅할 수 있다.
7.5. 만료하는 문서
인쇄 문서가 여분의 재료 및 기능으로의 게이트웨이이면, 그러한 특징으로의 액세스는 시간제약에 놓일 수 있다. 만료날짜 후, 유저는 요금을 지불하거나 상기와 같은 특징들을 다시 액세스하기 위해 문서의 새로운 버젼을 획득하는 것이 요구될 수 있다. 페이퍼 문서는 물론 여전히 사용가능하지만, 그 향상된 전자 기능의 일부를 손실하게 된다. 이것은, 출판자가 전자 재료로의 액세스를 위한 요금을 수납하는 경우, 또는 유저가 때때로 새로운 버젼을 획득힐 필요가 있는 경우, 이점이 있기 때문에, 또는 배포중 남아있는 인쇄된 문서의 오래된 버젼과 연관된 단점이 있기 때문에, 소망된다.
7.6. 인기도 분석 및 출판 결정
섹션 10.5는 광고 가격 및 저자의 보상에 영향을 미치는 시스템의 통계치의 사용을 토의한다.
몇몇 실시예에서, 시스템은 페이퍼 문서뿐 아니라 그것과 연관된 전자 커뮤니팅서의 활동으로부터 출판물의 인기도를 추론한다. 이들 요인들은 출판자 미래에 출판할 것에 대한 결정을 행하는 데에 조력한다. 기존의 책에서 장이 지나치게 인기 있는 것으로 판명되면, 별개의 출판으로 확대될 가치가 있을 것이다.
8. 문서 액세스 서비스
설명된 시스템의 중요한 태양은 문서의 렌더링된 카피에 대한 액세스를 갖는 유저에게 그 문서의 전자 버젼에의 액세스 능력을 부여하는 것이다. 몇몇 경우에, 문서는 유저가 액세스하는 개인 네트워크 또는 공중 네트워크상에서 자유로이 이용가능하다. 시스템은 문서를 식별, 탐지 및 검색하기 위해 캡쳐된 텍스트를 사용하고, 몇몇 경우엔 그것을 유저의 스크린에 디스플레이하거나 그것을 유저의 이메일 박스에 위치시킨다.
몇몇 경우에, 문서는 전자 형태로 이용가능하지만 여러 이유로 유저에게 액세스불가능할 수 있다. 문서를 검색하는 데에 충분한 연결이 없을 수 있고, 유저는 그것을 검색할 권한이 없을 수 있고, 그것을 액세스하는 권한관과 연관된 비용이 들 수 있고, 또는 문서는 단지 여러 간으성을 지명하기위해, 새로운 버젼으로 대체가능하고 철회될 수 있다. 시스템은 통통상적으로 피드백을 이들 상황에 대해 유저에게 제공한다.
섹션 7.4에 설명된 바와 같이, 특정 유저에게 허영된 액세스의 정도 또는 특성은 유저가 이미 문서의 인쇄된 카피에 대한 액세스를 갖는다면 상이할 수 있다.
8.1. 인증된 문서 액세스
문서로의 액세스는 특정 유저 또는 특정 기준을 충족하는 유저에게로 제한적일 수 있거나, 유저가 보안 네트워크에 연결된 경우와 같은 일정 환경에서만 이용가능하다. 섹션 6은 유저의 신뢰도 및 스캐너가 수립될 수 있는 몇몇 방식을 설명한다.
8.2. 문서 구입-복제권-소유 보상
일반공중에 자유로이 사용가능한 전자 문서는 비용지불, 또는 출판자 또는 복제권자에 대한 보상으로 액세스가능할 수 있다. 유저은 지불 설비를 구현할 수 있거나 섹션 6.2에 설명된 것을 포함하여, 유저와 연관된 지불 방법을 사용할 수 있다.
8.3 문서 에스크로우 및 프로액티브 검색
전자 문서는 흔히 일시적이고; 렌더링된 문서의 디지털 소스 버젼은 현재 이용가능하지만 미래에는 액세스불가능할 수 있다. 시스템은 유저가 요구받지 않은 경우에도, 유저를 대신하여 기존 버젼을 검색 및 저장하고, 따라서 ㅅ가 미래에 그성르요구하면 그거의 이용가능성을 보장한다. 이것은 또한 미래 캡쳐를 식별하는 프로세스의 일부로서 탐색하는 것과 같은, 시스템의 사용에 이용가능하다.
문서로의 액세스를 위해 지불이 요구되는 경우에, 신뢰된 "문서 에스크로우" 서비스는, 유저가 서비스로부터 문서를 요구해야한다면 복제권자가 미래에 충분히 보상된다는 보장으로, 가장 적합한 요금의 지불과 같은 경우에서와 같이, 유저를 대신하여 문서를 검색할 수 있다.
이 주제에 관한 변형들은 문서가 캡쳐시점에 전자 형태로 이용불가능하다면 구현될 수 있다. 유저는 전자 문서가 이후 날짜에 이용가능하게 되어야한다면 유저를 대신하여 문서를 위한 지불을 행하거나 요구를 제출하도록 하는 서비스를 허가할 수 있다.
8.4. 기타 가입 및 계정과의 연관
때때로 지불은 다른 계정 또는 가입과의 기존 연관에 기초하여 포기, 감소 또는 충족될 수 있다. 신문의 인쇄된 버젼에 대한 가입자는 예로서, 전자 버젼을 검색할 자격이 자동으로 부여될 수 있다.
그밖의 경우에, 연관은 덜 직접적일 수 있는 데; 유저는 그들의 고용주에 의해 수립된 계정에 기초하여, 또는 가입자인 친구에 의해 소우된 인쇄된 카피의 스캐닝을 기초로 하여 액세스권한이 부여될 수구 있다,
8.5 포토카핑을 스캔 및 인쇄로 대체하기
페이퍼 문서로부터 텍스트를 캡쳐링하고, 전자적 원본을 식별하고, 캡쳐와 연관된 원본의 일부 또는 원본을 인쇄된하는 프로세스는 다양한 이점을 지닌 채 종래의 포토카핑에 대한 대안을 형성한다.
?페이퍼 문서는 최종 인쇄본과 동일 위치에 있을 필요가 없고, 임의 경우에 동일 시간에 그곳에 있을 필요가 없다.
?포토카핑 프로세스에 의해 페이퍼 문서, 특히 오래되고, 약하고 값어치 있는 문서에 야기된 마모 및 손상은 방지도리 수 있다.
?복사본의 품질은 통상적으로 더욱 높다.
?어느 문서 또는 가장 빈번히 복사되는 문서의 일부분에 관한 레코드가 유지될 수 있다.
?지불은 프로세스의 일부로서 복제권자에 행해질 수 있다.
?승인되지 않은 복사는 금지된다.
8.6 포토카피로부터 귀중한 원본을 위치지정함
문서가 법적 문서 또는 역사적 또는 기타 특정 중요성을 가는 문서인 경우와 같이 특히 귀중한 경우에, 사람들은 원본은 안전한 위치에 보관한 채 흔히 ㅅ년 동안 이들 문서의 복사본을 이용한다.
설명된 시스템은, 누군가가 보관된 원본 페이퍼 문서를 찾기위해 복사본에 대한 액세스를 용이하게 하는, 예로서 보관 창고에, 원본 문서의 위치를 기록하는 데이터베이스에 연결될 수있다.
9. 텍스트 인식 기술
광학식 문자 인식(OCR) 기술은 전통적으로 전체 페이지를 캡쳐링하는 플랫-베드 스캐너로부터, 대량의 텍스트를 포함하는 이미지에 집중되어왔다. OCR 기술은 흔히 유용한 텍스트를 생성하기 위해 유저에 의한 상당한 훈련 및 보정을 필요로 한다. OCR 기술은 흔히 OCR을 수행하는 머신에 대한 상당한 처리 능력을 필요로 하는 한편, 다수의 시스템은 사전을 사용하는 데, 그들은 효과적으로 무한한 용 어로 동작하는 것이 예상된다.
상기한 종래의 모든 특징들은 상기한 시스템으로 개선될 수 있다.
이 섹션이 OCR에 대해 집중된 반면에, 토의된 다수의 이슈들은 특히 음성 이닛과 같은, 기타 인식 기술에 직접 매핑된다. 섹션3.1에서 설명된 바와 같이, 페이퍼로부터 클링하는 프로세스는 오디오를 캡쳐링하는 디바이스내로 텍스트를 판독함에 의해 유저에 의해 달성된다. 당업자는 이미지, 폰트 및 텍스트 조각에 대해 여기에서 설명된 원리가 흔히 오디오 샘플, 유저 음성 모델 및 음소에 대해 적용됨을 이해할 것이다.
9.1 적절한 디바이스를 위한 최적화
상기한 시스템에 사용을 위한 스캐닝 디바이스는 소형, 휴대형 및 저전력이다. 스캐닝 디바이스는 한 타임에 단지 몇개의 워드만 캡쳐할 수 있고, 몇몇 구현에선 한번에 완전한 한 문자를 캡쳐하지 못할 수 있는 반면에 텍스트를 통해 한 수평 슬라이스를 캡쳐할 수 있는 데, 다수의 그러한 수평 슬라이스는 텍스트가 유추될 수 있는 인식가능한 신호를 함께 형성한다. 스캐닝 디바이스는 또한 매우 제한적인 프로세싱 파워 또는 저장을 갖고 따라서, 몇몇 실시예에서 모든 OCR 프로세스를 수행ㅎㄹ 수 있는 반면에, 다수의 실시예는 캡쳐된 신호를 텍스트로 변환하기 위해, 가능하면 나중에, 더욱 강력한 디바이스로의 연결에 좌우되게 된다. 마지막으로, 그것은 유저 상호작용을 위한 매우 제한된 기능을 갖고, 따라서 이후의 유저 입력을 위해 임의 요구를 지연시킬 필요가 있거나, 지금 보다 더욱 큰 정도로 "최선-추측" 모드로 동작할 필요가 있다.
9.2 "일정치않은" OCR
상기한 시스템내의 OCR의 주요한 새로운 특징은 일반적으로, 그것이 디지털 형태로 검색될 수 있고 어느 곳에 존재하는 텍스트의 이미지를 검사할 것이라는 사실이다. 텍스트의 정확한 트랜스크립션은 반드시 OCR 엔진으로부터 요구되는 것은 아니다. OCR 시스템은 몇몇 경우엔 확률 가중치를 포함하는 가능한 매치의 행렬 또는 집합을 출력하고, 그것은 디지털 원본을 탐색하기 위해 사용될 수 있다.
9.3 반복적 OCR-추측, 명확화, 추측...
인식을 수행하는 디바이스가 프로세싱시 문서 인덱스를 접촉할 수 있다면, OCR 프로세스는 그것이 진행함에 따라 문서 본체의 콘텐츠에 의해 통지될 수 있고, 잠재적으로 상당히 큰 인식 정확도를 제공한다.
그러한 연결은 충분한 텍스트가 디지털 소스를 식별하기 위해 캡쳐된 경우에 디바이스가 유저에게 통지할 수 있게 한다.
9.4. 유사한 렌더링 지식 이용
시스템이 문서의 유사하게 인쇄된 렌더링의 여러 태양-페이지의 레이아웃 또는 인쇄에 사용된 폰트 타이프페이스와 같은, 또는 어느 섹션이 이탤릭체인지와 같은-, 이것은 역시 인식 프로세스에 조력할 수 있다(섹션 4.1.1).
9.5. 폰트 캐싱- 호스트상의 폰트 결정, 클라이언트로의 다운로드
문서 커퍼스내에서의 후보자 소스 텍스트가 확인됨에 따라, 그것의 폰트, 또는 렌더링은 인식으로 도움을 주기위해 디바이스에 다운로드될 수 있다.
9.6. 자동보정 및 문자 오프셋트
텍스트 프래그먼트의 컴포넌트 문자가 문서 서명으로서 사용될 수 있는 텍스트의 프래그먼트를 표현하는 가장 잘 인식된 방법일 수 있 반면에, 텍스트의 다른 표현들은, 텍스트 프래그먼트를 디지털 문서 및/또는 데이터베이스에 위치시키고 시도하는 경우, 또는 텍스트 프래그먼트의 표현을 판독가능형태로 명확하하는 경우에, 텍스트 프래그먼트의 실제 텍스트가 사용될 필요가 없다는 것을 충분히 잘 나타낼 수 있다. 텍스트 프래그먼트의 기타 표현은 실제 텍스트 표현이 부족하다는 이점을 제공할 수 있다. 예로서, 텍스트 프래그먼트의 광학식 문자 인식은 흔히, 전체 프래그먼트에 대해 광학식 문자 인식에 의존함이 없이 텍스트 프래그먼트를 재생성하기 위해 탐색하는 데에 사용될 수 있는 캡쳐된 텍스트 프래그먼트의 기타 표현과는 다르게, 에러가 되기 쉬운 경향이 있다. 현재 시스템에 사용되는 몇몇 디바이스에 대해 더욱 적절할 수 있다.
당업자는 텍스트 프래그먼트의 외양을 기술하는 많은 방법이 있다는 것을 인식할 것이다. 텍스트 프래그먼트의 그러한 특징화는 다음과 같은 것에 제한되진 않지만, 워드 길이, 상대적 워드 길이, 문자 높이, 문자 폭, 문자 형태, 문자 빈도, 토큰 빈도등과 같은 것을 포함한다. 몇몇 실시예에서, 매칭 텍스트 토큰간의 오프셋트(즉, 간섭 토큰의 수에다 일을 더한 것)는 텍스트의 프래그먼트를 특징화하는 데에 사용된다.
종래의 OCR은 스캐닝된 텍스트의 문자를 결정하기 위한 시도로 폰트, 글자 구조 및 형태에 관한 지식을 이용한다. 본 발명의 실시예는 상이하고; 그것들은 인식 프로세스에서 조력하기 위해 렌더링된 텍스트 자체를 사용하는 다양한 방법을 채용한다. 이들 실시예는 "서로를 인식하기 위해" 문자(또는 토큰)을 사용한다. 그라러 자체-인식을 일컫는 한 예는 "템플릿 매칭", 이고 "컨볼루션"과 유사하다. 그러한 자체-인식을 수행하기 위해, 시스템은 텍스트의 복사본을 그 자체에 대해 수평으로 슬라이스하고 텍스트 이미지의 매칭 지역을 노트한다. 종래의 템플릿 매칭 및 컨볼루션 기술은 다양한 관련 기술을 포함한다. 문자/토큰을 토큰화 및/또는 인식하기 위한 기술은 문자/토큰이 매칭하는 경우 그 자신의 컴포넌트와 상관시키는 데에 사용된다.
자동보정의 경우, 매치하는 완전 연결된 지역은 관심있는 것이다. 이것은 문자(또는 문자의 그룹)이 동일 문자(또는 그룹)의 다른 인스턴스를 오버레이하는 경우 발생한다. 매치하는 완전 연결된 지역은 컴포넌트 토큰내에 텍스트의 토큰화를 자동으로 제공한다. 텍스트의 두 개의 복사본이 서로를 지나 슬라이딩됨에 따라, 완전한 매칭이 발생(즉, 수직 슬라이스의 모든 픽셀들이 매칭된다)하는 지역이 노트된다. 문자/토큰이 스스로 매칭하는 경우, 이 매칭의 수평 범위(예로서, 텍스트의 연결된 매칭부)도 매칭한다.
이 스테이지에서 각각의 토큰의 실제 아이덴티티즉, 토큰 이미지에 대응하는, 특정 글자, 숫자 또는 심볼, 또는 이들의 그룹)를 결정할 필요가 없고, 단지 스캐닝된 텍스트에서의 동일 토큰의 다음 발생에 대한 오프셋트만을 결정할 필요가 있다. 오프셋트 수는 동일 토큰의 다음 발생까지의 거리(토큰의 수)이다. 토큰이 텍스트 스트링내에서 고유하면, 오프셋트는 제로(0)이다. 이렇게 발생된 토큰 오프셋트의 시퀀스는 스캐닝된 텍스트를 식별하기 위해 사용될 수 있는 서명이다.
몇몇 실시예에서, 스캐닝된 토큰의 스트링에 대하여 결정된 토큰 오프셋트는 그것들의 콘텐츠의 토큰 오프셋트에 기초하여 전자 문서의 본체를 색인하는 인덱스에 비교된다(섹션 4.1.2). 다른 실시예에서, 스캐닝된 토큰의 스트링에 대하여 결정된 토큰 오프셋트는 텍스트로 변환되고, 그것들의 콘텐츠에 기초하여 전자 문서의 본체를 색인하는 더욱 종래의 인덱스에 비교된다.
상기한 바와 같이, 유사한 토큰-상관 프로세스는 캡쳐 프로세스가 음성 워드의 오디오 샘플로 이루어지는 경우 음성 프래그먼트에 적용될 수 있다.
9.7. 폰트/문자 "자기-인식"
종래의 템플릿-매칭 OCR은 문자 이미지의 라이브러리에 스캐닝된 이미지를 비교한다. 본질적으로, 알파벳은 각각의 폰트에 대해 저장되고 새로이 스캐닝된 이미지는 매칭 문자를 발견하기위해 저장된 이미지와 비교된다. 이 프로세스는 올바른 폰트가 식별될 때 까지 초기 지연이 계속된다. 그후, OCR 프로세스는 비교적 고속인데 이는 대부분의 문서가 동이 폰트를 전체적으로 사용하기 때문이다. 후속 이미지는 따라서 최근 식별된 폰트 라이브러리와의 비교에 의해 텍스트로 변환될 수 있다.
가장 흔히 사용되는 폰트의 문자의 형태는 관련된다. 예로서 대부분의 폰트에서, 글자 "C" 및 글자 "e" 는 시각적으로 관련되고-"t" "f"등도 마찬가지이다. OCR 프로세스는 아직 스캐닝되지 않은 글자들에 대한 템플릿을 구성하기 위해 상기 관계를 사용함에 의해 향상된다. 예로서 판독기가 이전에 보지못한 폰트의 페이퍼 문서로부터 텍스트의 짧은 스트링을 스캔하여 시스템은 스캐닝된 이미지와 비교하 는 이미지 템플릿의 셋트를 갖지 않는 경우, 시스템은 그것이 알파벳의 모든 글자를 아직 보지 못한 경우에도 폰트 템플릿 라이브러리를 구성하기 위해 일정한 문자들간에 가능한 관계를 레버리지할 수 있다. 시스템은 그러면 후속 스캐닝된 텍스트를 인식하기 위해 그리고 구성된 폰트 라이브러리를 더욱 정교하게 하기 위해 구성된 폰트 템플릿 라이브러리를 사용할 수 있다.
9.8. 인식되지 않은 것(그래픽을 포함한)은 어느 것이나 서버로 전송
이미지가 탐색 프로세스에서의 사용을 위한 적절한 형태로 기계 트랜스크립션될 수 없는 경우에, 이미지는 스스로 유저에 의한 나중의 사용을 위해, 가능한 수동 트랜스크립션을 위해, 또는 상이한 자원이 시스템에 이용가능할 수 있을 때 나중 날짜에서의 프로세싱을 위해, 보관될 수 있다.
10. P- 커머스
시스템에 의해 가능한 행해진 다수의 액션들은 몇몇 상용 트랜잭션이 발생하는 결과로 된다. 어구 P-커머스는 본원에서 시스템을 통한 페이퍼로부터 개시된 상용 액티비티들을 설명하기 위해 사용된다.
10.1. 물리적 인쇄된 복사본에 의한 문서의 판매
유저가 텍스트를 문서로부터 캡쳐하는 경우, 유저는 페이퍼 또는 전자 형태로 구입을 위한 그 문서가 제공된다. 유저는 페이퍼 문서에 인용된 또는 언급된 문서, 또는 동일 저자에 의한 문서 또는 유사한 주제와 같은 관련 문서들이 제공된다.
10.2. 페이퍼에 의해 개시되거나 도움을 받은 것들의 판매
텍스트의 캡쳐는 다양한 방식으로 사용 액티비티에 링크될 수 있다. 캡쳐된 텍스트는 아이템을 판매하도록 디자인된 카탈로그일 수 있고, 이경우 텍스트는 아이템의 구입과 매우 직접적으로 연관될 수 있다(섹션 18.2). 텍스트는 또한 광고의 일부분일 수 있고, 이 경우 광고되는 아이템의 판매는 계속이어질 수 있다.
그 밖의 경우에, 유저는 상용 트랜잭션에서 그들의 잠재적 관심사항이 유추될 수 있는 기타 텍스트를 캡쳐한다. 특정 국가의 소설 셋트의 독자는 그곳의 휴일에 관심이 갈 수 있다. 유저는 그들에게 몇몇 상용 기회가 결과적으로 제시될 수 있것을 아는 텍스트의 특정 프래그먼트를 캡쳐할 수 있고, 또는 그것은 그들의 캡쳐 활동의 부수적인 것일 수 있다.
10.3. 판매되어지는 아이템상의 레이블 , 아이콘, 일련번호, 바코드의 캡쳐
때때로 텍스트 또는 심볼은 실제로 아이템상에 또는 그것의 포장에 인쇄된다. 그 예로는 일련번호 또는 제품 id는 흔히 전자 방비의 피스의 바닥부 또는 후면상의 레이블에서 찾을 수 있다. 시스템은 유저에게 그 텍스트를 캡쳐링함에 의해 하나 이상의 동일 아이템을 구입하는 편리한 방법을 제공한다.
10.4. 콘텍스추얼 광고
광고로부터 텍스트의 직접적 캡쳐외에, 시스템은 렌더링된 문서에서 반드시 명시적일 필요가 없는 새로운 종류의 광고를 허용하지만, 그럼에도 그것은 사람들이 판독하는 것에 기초하고 있다.
10.4.1. 스캔 콘텍스트 및 이력에 기초한 광고
종래의 페이퍼 출판에서, 광고는 신문 기사의 텍스트에 비해 큰 공간을 소비 하고, 그리고 이것들의 제한돈 수가 특정 기사 주변에 배치될 수 있다. 상기한 시스템에서, 광고는 개별적인 워드 또는 구와 연관될 수 있고, 그 텍스트를 캡쳐링함에 의해 그리고 과거 스캔에 대한 그들의 이력을 고려함에 의해 유저가 도시한 특정 관심사에 따라 선택될 수 있다.
상기한 시스템으로, 특정 인쇄된 문서에 밀접하게되는 구입을 위해 그리고 특정 인쇄 출판물에서의 그들의 광고의 유효성에 대한 상당히 많은 피드백을 광고자가 얻는 것이 가능하다.
10.5. 보상의 모델
시스템은 광고자 및 시장판매자에 대한 보상의 몇몇 새로운 모델을 가능케 한다. 광고를 포함하는 인쇄된 문서의 발행자는 그들의 문서로부터 발생된 구입으로부터 약간의 수입을 얻을 수 있다. 이것은 광고가 원본 인쇄된 형태에 존재하는 지의 여부에 관계없이 트루이고; 그것은 전자적으로 출판자에 의해 또는 강고주 또는 제3자에 의해 추가되어질 수 있고, 그러한 광고의 소스는 유저에 의해 가입되어질 수 있다.
10.5.1. 인기도-기반 보상
시스템에 의해 발생된 통계치에 대한 분석은 출판물의 ㅇ리정 부분에 대한 인기도를 나타낼 수 있다(섹션 14.2.). 신문에서, 독자가 특정 페이지 또는 기사, 또는 특정 문서의 인기도를 보는 데 소비한 시간의 양을 나타낼 수 있다. 몇몇 환경에서, 작가 또는 출판업자는 반포된 복사본의 수 또는 기록된 워드와 같은 더욱 전통적인 메트릭스 보단 독자의 액티비티에 기초하여 보상을 받기에 적합할 수 있 다. 그의 작품이 주제에 대한 권위가 빈번하게 판독되는 작가는 그의 착이 복사본 만큼 판매되지만 드믈게 열람되는 작가와는 미래의 계약에서 상이하게 고려될 수 있다.
10.5.2. 인기도-기반 광고
문서에서의 광고에 관한 결정은 독자관계에 대한 통계치에 기초할 수 있다. 가장 인기있는 컬럼니스트주변의 광고는 프리미엄 레이트로 판매될 수 있다. 광고자들은 문서가 그것이 어떻게 수용되는지에 대한 지식에 기초하여 출판된 후 일정 시간에 요금청구되거나 보상될 수 있다.
10.6. 수명 라이브러리에 기초한 마켓팅
섹션 6.1 및 16.1에 설명된 스캔 이력 또는 "수명 라이브러리"는 유저의 습관 또는 관심사항에 대한 정보의 극히 값어치 있는 소스일 수 있다. 적절한 동의 및 프라이버시 이슈에 종속하여, 그러한 데이터는 유저에게 상품 또는 서비스의 제공을 통지한다. 익명 형태의 경우에도, 수집된 통계치는 매우 유용할 수 있다.
10.7. (이용가능한 때)이후 날짜에서의 판매/정보
상용 트랜잭션을우한 광고 및 기타 기회들은 텍스트 캡쳐시에 유저에게 즉시 제공되지 않을 수 있다. 예로서, 소설에 대한 시퀄을 구입할 기회는 유저가 소설을 읽는 시점에 이용불가능할 수 있지만, 시스템은 시퀄이 출판된 경우 그것들에게 기회를 제공할 수 있다.
유저는 구입 또는 기타 상용 트랜잭션에 관련한 데이터를 캡쳐할 수 있지만, 캡쳐가 행해진 시점에서 트랜잭션을 개시 및/또는 완료하는 것을 선택하지 않을 수 있다. 몇몇 실시예에서, 캡쳐와 관련한 데이터는 수명 라이브러리에 저장되고, 이들 수명 라이브러리 엔트리는 "액티브"상태(즉, 캡쳐가 행해졌었던 시점에서 이용가능한 것들과 유사한 후속 상호작용할 수 있는)에 있을 수 있다. 따라서 유저는 어떤 나중 시점에 캡쳐를 리뷰할 수 있고, 선택적으로 그 캡쳐에 기초하여 트랜잭션을 완료할 수 있다. 시스템은 원래 캡쳐가 언제 어디서 발생했는 지를 추적할 수 있기 때문에, 트랜잭션에 포함된 모든 당사자들은 적절하게 보상받을 수 있다. 예로서 유저가 데이터를 캡쳐하는 광고의 바로 다음에 나타나는 -이야기를 출판한 출판자- 및- 이야기를 쓴 작가는 유저가, 6개월 후, 그들의 수명 라이브러리를 방문한 경우, 이력으로부터 특정한 캡쳐를 선택한 경우, 및 팝업 메뉴로부터 "이 아이템을 Amazon으로부터 구입"을 결정함에 의해 보상될 수 있다(이것은 캡쳐의 시점에서 선택적으로 제시된 메뉴와 동일 또는 유사할 수 있다).
11. 운영체제 및 애플리케이션 통합
현대 운영체제(OS) 및 기타 소프트웨어 패키지는 상기 시스템으로 유익하게 이용될 수 있는 다수의 특징을 가지며, 그것의 사용을 위해 더욱 양호한 플랫폼을 제공하기 위해 다양한 방식으로도 수정될 수 있다.
11.1. 메타데이터 및 인덱싱에서 스캔 및 인쇄-관련된 정보의 통합
새롭고 머지않아 다가오는 파일 시스템 및 그들의 연관된 데이터베이스는 흔히 각각의 파일과 연관된 다양한 메타데이터를 저장할 능력을 갖는다. 통상적으로, 이 메타데이터는 파일을 생성한 유저의 ID, 생성일짜, 최종 수정 및 최종 사용과 같은 것들을 포함한다. 더욱 새로운 파일 시스템은 키워드, 이미지 특징, 문서 소스 및 유저 코멘트와 같은 여분의 정보들이 저장되는 것을 허용하고 몇몇 시스템에서 이 메타데이터는 임의의로 확장될 수 있다. 파일 시스템은 그러므로 현재 시스템을 구현하는 데에 유용한 정보를 저장하는 데에 사용할 수 있다. 예로서, 데이터는, 상기 시스템을 사용하여 페이퍼로부터 어느 텍스트가 그리고 언제 누구에 의해 캡쳐되었는지에 대한 상세히 나타낼 수 있는 바와 같은 데이터는, 주어진 문서가 최종 인쇄되었을 때 파일 시스템에 의해 저장될 수 있다.
운영체제는 또는 유저가 로컬 파일을 더욱 용이하게 발견할 수 있게하는 탐색 엔진 기능을 통합하기 시작한다. 이들 기능들은 시스템에 의해 유익하게사용될 수 있다. 그것은 섹션 3 및 4에서 토의된, 다수의 탐색-관련 개념들은 오늘날의 인터넷-기반 및 유사한 탐색 엔진에 뿐만아니라 모든 개인용 컴퓨터에 적용되는 것을 의미한다.
몇몇 경우에 특정 소프트웨어 애플리케이션은 OS에 의해 제공된 기능 이강 및 그것을 넘어서는 시스템을 위한 지원을 포함하게 된다.
11.2. 캡쳐 디바이스를 위한 OS 지원
펜 스캐너와 같은 캡쳐 디바이스의 사용이 점점 일반화됨에 따라, 마우스 및 프린터에 제공되는 지원과 많이 유사한 방식으로, 지원체계를 운영체제에 구축하는 것이 바람직한 데, 이는 캡쳐 디바이스의 적용가능성이 단일 소프트웨어 애플리케이션 범위를 넘어 확장하기 때문이다. 시스템의 동작에 대한 기타 태양에 대해서도 마찬가지로 옳다. 몇몇 샘플이 이하에 설명된다. 몇몇 실시예에서, 전체 설명된 시스템, 또는 그 핵심부분이 OS에 의해 제공된다. 몇몇 실시예에서, 시스템을 우한 지원은 시스템의 태양을 직접 구현하는 것을 포함하는, 기타 소프트웨어 패키지에 의해 사용될 수 있는 애플리케이션 프로그래밍 인터페이스(APIs)에 의해 제공된다.
11.2.1. OCR 및 기타 인식 기술을 위한 지원
렌더링된 문서를 캡쳐링하기 위한 대부분의 방법은 시스템에 사용하기에 적합 텍스트와 같은, 스캐닝된 이미지 또는 몇몇 음성 워드등과 같은 소스 데이터를 해석하기 위해 몇몇 인식 소프트웨어를 필요로 한다. 어떤 OS는 그것이 OCR을 위한 지원을 포함하기엔 OS에 대해 덜 일반적일 지라도, 음성 또는 수기 인식을 위한 지원을 포함하는 데, 이는 과거에 OCR의 사용은 적은 범위의 애플리케이션에 제한되어왔기 때문이다.
인식 컴포넌트가 OS의 일부분이 되어짐에 따라, 드것들은 OS에 의해 제공된 기타 기능설비의 이점을 취할 수 있다. 대부분의 시스템은 철자 사전, 문법 분석 툴, 구제화 및 국부화 기능설비를 포함하는 데 이들 모두는 상기한 시스템의 인식 프로세스를 위해 상기 시스템에 의해 유익하게 채용될 수 있는 데, 이는 그것들이 특정 유저가 흔히 만나게 되는 단어 및 어구를 포함하도록 특정 유저를 위해 맞춤식으로 될 수 있기 때문이다.
운영체제가 전체-텍스트 인덱싱 기능설비를 포함한다면, 이것들은 또한 섹션 9.3에 설명된 바와 같은, 인식 프로세스를 통지하는 데에 사용될 수 있다.
11.2.2. 스캔에 취해져야 할 액션
광학 스캔 또는 기타 캡쳐가 발생하고 OS에 주어진다면, 어떠한 다른 시스템 도 캡쳐에 대한 소유권을 주장하지 않는 경우의 환경하에서 취해져야 할 디폴트 액션을 갖는다. 디폴트 액션의 예는 유저에게 대안 선택권을 제시하는 것이거나, 캡쳐된 텍스트를 OS의 내장된 탐색기능설비에 전송하는 것이다.
11.2.3. OS는 특정 문서 또는 문서 유형에 대한 디폴트 액션을 갖는다
렌더링된 문서의 디지털 소스가 발견된다면, OS는 그 특정 문서 또는 그 부류의 문서가 스캔되었을 때 취해질 표준 액션을 가질 수 있다. 애플리케이션 및 기타 서브시스템은 일정한 파일 유형을 취급하는 그들의 능력에 대해 애플리케이션에 의한 방송과 유사한 방식으로, 특정 캡쳐 유형의 잠재적 핸들러로서 OD네 등록할 수 있다.
렌더링된 문서, 또는 문서로부터의 캡쳐와 연관된 마크업 데이터는 운영체제에 특정 애플리케이션을 런칭하고, 애플리케이션 인수, 파라미터, 또는 데이터등을 전달하게하는 명령을 포함할 수 있다.
11.2.4. 표준 액션내로의 매핑 및 제스처의 해석
섹션 12.1.3에서 "제스춰"의 사용이 설명되고, 특히 광학 스캐닝의 경우에, 핸드헬드 스캐너로 특정한 이동이 행해진 장소는 텍스트의 영역의 시작 및 끝을 표시하는 바와 같은 표준 액션을 표현한다.
이것은 텍스트의 영역을 선택하기 위해 커서 키를 사용하는 한편, 또는 문서를 스크롤하기 위해 마우스상의 휘을 사용하는 한편 키보드상의 시프트 키를 프레싱하는 바와 같은 액션과 유사하다. 유저에 의한 그러한 액션은 그것들이 OS에 의해 시스템-와이드 방식으로 해삭되는 충분히 표준이고, 이에따라 일정한 작용을 보 장한다. 동일한 작용이 스캐너 제스춰 및 기타 스캐너-관련 액션에 바람직하다.
11.2.5. 표준(및 비-표준) 아이콘/텍스트 인쇄된 메뉴 아이템에 대한 셋트 응답
마찬가지 방식으로, 어떤 텍스트의 아이템 또는 기타 심볼은, 스캐닝되었을 때, 표준 액션이 발생하게 하고, OS는 이들에 대한 선택을 제공할 수 있다. 예로서는 임의의 문서에서 텍스트 "[인쇄]"를 스캐닝하는 것은 OS로 하여금 그 문서의 복사본을 검색 및 인쇄하게 할 수 있다는 것이다. OS는 그러한 액션을 등록하는 방법을 제공하고 그것들을 특정한 스캔과 연관시킬 수 있다.
11.3. 전형적인 스캔-개시된 액티비티를 위한 시스템 GUI 컴포넌트에서의 지원
대부분의 소프트웨어 애플리케이션은 OS에 의해 제공된 표준 그래픽 유저 인터페이스에 기초한다.
디벨로퍼에 의한 이들 컴포넌트의 사용은, 예로서, 모든 프로그래머가 동일 기능을 독립적으로 이행함이 없이, 임의의 텍스트-에디팅 콘텍스에서의 좌측-커서의 누름이 그 커서를 좌측으로 이동시키는 바와 같은, 복수의 패키지에 걸쳐 일관된 작용을 보장하는 데에 도움을 준다.
이들 컴포넌트에서의 유사한 일관성은 액티비티가 상기한 시스템의 텍스트-캡쳐 또는 기타 태양에 의해 개시되는 경우에 바람직하다. 몇몇 예가 하기에 주어진다.
11.3.1. 특정 텍스트 콘테트를 찾기 위한 인터페이스
이 시스템의 전형적인 사용은 페이퍼 문서의 일정 영역을 유저를 위해 스캐닝하는 것일 수 있고, 시스템을 위해 디스플레이 또는 편잡할 수 있는 소프트웨어 패키지에서 전자 카운터파트를 개봉하는 것과, 그 패키지가 스캐닝된 텍스트를 스크롤 및 하이라이트하게 하는 것일 수 있다(섹션 12.2.1.). 전자 문서를 발견 및 개방하는, 이 프로세스의 제1 부분은 통상적으로 OS에 의해 제공되고 패키지에 걸쳐 표준이다. 그러나, 제2 부분-문서내에 텍스트의 특정 부분을 위치시키고 패키지가 그것을 스크롤하고 하이라이트하게 하는-은 아직 표준화되지 않았고 흔히 각각의 패키지에 의해 상이하게 구현된다. 이 기능을 위한 표준 API의 이용가능성은 시스템의 이러한 태양의 동자을 상당히 향상시킨다.
11.3.2. 텍스트 상호작용
텍스트의 일부분이 문서내에 위치되었다면, 시스템은 그 텍스트에 대해 다양한 동작을 수행하길 바랄 것이다. 예로서, 시스템은 주위 텍스트를 요구할 수 있고, 따라서 몇 개 워드에 대한 유저의 캡쳐는 시스템에서 그것들을 포함하는 전체 문장 또는 단락을 액세싱하는 결과로 된다. 다시, 이 기능은 텍스트를 취급하는 소프트웨어의 모든 부분에 구현되는 것에 의하기 보단 OS에 의해 유용하게 제공될 수 있다.
11.3.3. 콘텍스추얼 ( 팝업 ) 메뉴
시스템에 의해 인에이블되는 동작의 몇몇은 유저 피드백을 요구하고, 그갓은 데이터를 취급하는 애의 콘텍스트내에서 최적으로 요구될 수 있다. 몇몇 실시예에서, 시스템은 통상적으로 몇몇 텍스트상에 우측 마우스 버튼을 클림하는 것과 연관 된 애플리케이션 팝업 메뉴를 사용한다. 시스템은 그러한 메뉴에 여분의 옵션을 삽입하고, 그것들이 페이퍼 문서를 스캐닝하는 바와 같은 액티비티의 결과로서 디스플레이되어지게 한다.
11.4. 웹/네트워크 인터페이스
오늘날의 증대하는 네트워크화된 세계에서, 개별적인 머신에서 이용가능한 기능의 대부분은 네트워크를 통하여 액세스될 수 있고, 상기한 시스템과 연관된 기능은 어떠한 예외도 없다. 예로서, 사무실 환경에서 유저에 의해 수신된 다수의 페이퍼 문서는 동일한 합동 네트워크상에서 다른 유저의 기게에 의해 인쇄되어질 수 있다. 한 컴퓨터상의 시스템은, 캡쳐에 응답하여, 적절한 허가 컨트롤에 종속되어, 그 캡쳐에 대응할 수 있는 문서에 대해 다른 머신에 질의할 수 있다.
11.5. 보관을 야기하는 문서의 인쇄
페이퍼 및 문서의 통합에서의 중요한 한 요인은 둘사이에서의 변환에 대해 가능한한 많은 정보를 유지하는 것이다. 몇몇 실시예에서, OS는 문서가 언제 눅에 의해서 인쇄었는 지에 대한 단일 레코드를 유지한다. 몇몇 실시예에서, OS는 시스템의 사용에 더욱 양호하게 적합하게 하는 하나이상의 추가 액션을 취한다. 그 예들은 다음사항들을 포함한다.
?문서가 인쇄되었던 소스에 대한 정보와 함께 인쇄된 모든 문서의 디지털 렌더링된 버젼을 보관
?미래의 스캔 해석에 도움을 줄 수 있는-예로서 사용된 폰트 및 라인 끊김이 발생한 곳-인쇄된 버젼에 대한 유용한 정보의 서브셋트를 보관
?임의의 인쇄된 복사본과 연관된 소스 문서의 버젼을 보관
? 미래의 탐색을 위해 결과를 인쇄 및 저장시 자동적으로 문서를 인덱싱
11.6. 나의(인쇄된/ 스캐닝된 ) 문서
OS는 흔히 특정 중요도를 갖는 파일 또는 폴더의 일정한 카테고리를 유지한다. 유저의 문서는, 정해진 방식에 의해 또는 설계에 의해, 예로서 "나의 문서" 폴더에서 발견될 수 있다. 표준 파일-열기 다이얼로그는 자동적으로 최근에 열려진 문서의 리스트를 포함할 수 있다.
상기한 시스템에의 사용을 위해 최적화된 OS상에서, 그러한 카테고리는 저장된 파일의 페이퍼 버젼과 유저의 상호작용을 고려하는 방식으로 향상 또는 증대될 수 있다. "나의 문서" 또는 "나의 최근-판독 문서"와 같은 카테고리는 유용하게 식별될 수 있고 그의 동작에 통합될 수 있다.
11.7. OS-레벨 마크업 계층구조
시스템의 중용한 태양은 섹션5에서 토의된 "마크업" 개념을 이용하여 제공되므로, OS 자체 및 복수 애플리케이션에 액세스가능했던 방식으로 OS에 의해 제공된 그런 마크업을 위한 지원체계를 갖는 것이 유익하다. 또한, 마크업의 층들은 OS가 제공할 수 있는 기능 및 그것의 제어하에서 문서에 대한 그것의 지식에 기초하여, OS에 의해 제공될 수 있다.
11.8. OS DRM 기능의 사용
증가하는 운영체제의 수는 "디지털 권한 관리"; 특정 유저에게 허여된 권한에 따라 특정 데이터의 사용에 대한 제어 능력, 소프트웨어 엔티티 또는 머신의 몇 몇 형태를 지원한다. 예로서, 특정 문서의 비인가된 복사 또는 배포를 금지할 수 있다.
12. 유저 인터페이스
시스템의 유저 인터페이스는 캡쳐 디바이스가 상대적으로 기능이 떨어지거나 케이블에 의해 연결된다면 전체적으로 PC상에 있을 수 있고, 그것이 정교하거나 그것 자체가 상당한 프로세싱 능력을 갖는다면 전체적으로 디바이스상에 있을 수 있다. 시스템의 기능의 일부 또는 전부는 모바일 폰 또는 PDA와 같은 기타 디바이스상에서 구현될 수 있다.
다음 섹션에서의 기술은 어떤 구현에서 바람직할 수 있는 것인가에 대한 것이지만, 그것이 모든 경우에 반드시 적절한 것은 아니고 여러 방식으로 수정될 수 있다.
12.1. 캡쳐 디바이스에서
모든 캡쳐 디바이스로, 그러나 특히 광학 스캐너인 경우에, 유저의 주의는 일반적으로 그 디바이스 및 스캐닝시의 페이퍼에 있게된다. 스캐닝의 프로세스의 일부로서 필요로되는 피드백과 임의의 입력은, 필요로 되는 것 이상으로, 예로서 컴퓨터의 스크린에서와 같은 곳에, 유저의 주의를 돌릴 것을 필요로 하지 않는 것이 바람직하다.
12.1.1. 스캐너에 의한 피드백
휴대형 스캐너는 특정 조건에 대해 유저에게 피드백을 제공하는 다양한 방식을 갖는다. 가장 분명한 유형은 스캐너가 인디케이터 라이트 또는 풀 디스플레이 를 갖는 경우에, 다이렉트 비주얼 유형, 및 스캐너가 경보음, 클릭 또는 기타 사운드를 갖는 경우에, 청각적 유형이다. 중요한 대안은 스캐너가 진동, 신호음, 또는 그렇지않으면 유저의 터치 센스를 흉내내는 경우에서의, 촉각 피드백, 및 컬러화된 광 스폿 내지 정교한 디스플레이까지의 어떤 것을 페이퍼에 트사함에 의해 싱태를 지시하는 투사 피드백을 포함한다.
디바이스에 제공될 수 있는 중요한 직접적 피드백은 다음 것들을 포함한다.
?스캐닝 프로세스에 의한 피드백 - 유저의 스캐닝이 과속, 지나치게 큰 각도이거나, 또는 특정 라인에서 지나치게 높거나 낮게 표류함
?충분한 콘텐트 - 연결해제 동작에 중요한- 매치가 존재한다면 하나의 매치에 대한 발견이 매우 확실한 정도가 되도록 충분히 스캐닝되었음
?공지된 콘텍스트 - 텍스트의 소스가 찾아졌음
?공지된 고유 콘텍스트 - 텍스트의 하나의 고유 소스가 찾아졌음
?콘텐트의 이용가능성 - 콘텐트가 유저에게 무료로 또는 유료로 이용가능한 지에 대한 지시
예컨대 문서의 일부나 전부를 디스플레이하는데 충분한 성능을 가지고 있다면 시스템의 이후의 단계와 정상적으로 연관된 사용자 상호작용의 많은 부분이, 캡처 장치에서 일어날 수도 있다.
12.1.2. 스캐너 제어
본 장치는 사용자가 기본적인 텍스트 캡처에 더하여 입력을 하기 위한 다양 한 방법을 제공할 수 있다. 본 장치가 키보드와 마우스 같은 입력 옵션을 갖는 호스트 장치와 밀접히 연관되어 있을 때조차, 예컨대 스캐너를 조작하고 마우스를 사용하는 것 사이의 전후를 사용자가 스위칭하는 것이 파괴적일 수 있다.
핸드헬드 스캐너는 버튼, 스크롤/조그 휠, 터치 감응면, 및/또는 장치의 움직임을 감지하기 위한 가속도계를 포함할 수 있다. 이 중 몇몇은 스캐너를 계속 유지하면서 보다 풍부한 상호작용 세트를 가능하게 한다.
예컨대, 어떠한 텍스트를 스캐닝하는데 응하여, 본 시스템은 사용자에게 몇몇 가능한 매칭 문서 세트를 제공한다. 사용자는 스캐너 측면의 스크롤 휠을 사용하여 리스트중 하나를 선택하고 버튼을 클릭하여 선택을 확인한다.
12.1.3. 제스처
종이 가운데로 스캐너를 이동시키는 주된 이유는 텍스트를 캡처하기 위한 것이지만, 몇몇 움직임은 장치로 탐지될 수 있고 사용자의 다른 의도를 나타내는데 사용될 수 있다. 이러한 움직임을 본 명세서에서는 '제스처'라고 한다.
예컨대, 사용자는 종래 좌-우 순으로 처음 몇 단어를 스캐닝하고 마지막 몇단어를 역순, 즉 우-좌 순으로 스캐닝함으로써 넓은 영역의 텍스트를 지시할 수 있다. 사용자는 또한 스캐너를 몇 라인 위에서 페이지 아래로 이동시킴으로써 대상 텍스트의 수직 범위를 지시할 수도 있다. 이후 스캔은 이전에 스캔한 동작의 취소를 지시할 수 있다.
12.1.4. 온라인/오프라인 동작
본 시스템의 많은 태양은 스캐너와 호스트 랩탑 같은 시스템 컴포넌트 사이 또는 회사의 데이터베이스와 인터넷 검색으로의 접속의 형태로 외부 세계와의 네트워크 접속성에 의존적일 수 있다. 그러나, 이러한 접속성은 항상 존재할 수 있는 것은 아니고 따라서 시스템의 일부 또는 전부가 "오프라인"이 되도록 간주될 수 있는 경우가 일을 것이다. 본 시스템을 이러한 상황에서 유용하게 계속 기능하도록 하는 것이 바람직하다.
본 장치는 다른 부분과 접촉하고 있지 않을 때 텍스트를 캡처하는데 사용될 수 있다. 매우 간단한 장치는 단순히 캡처, 이상적으로는 캡처된 때를 지시하는 타임스탬프와 연관된 이미지 또는 오디오 데이터를 저장할 수 있다. 본 장치가 본 시스템의 나머지 부분과 접촉하여 있을때 다양한 캡처가 여기에 업로드될 수 있고 이후 처리될 수 있다. 본 장치는 예컨대 광학 스캔과 연관된 음성 주석이나 위치 정보등 캡처와 연관된 기타 데이터를 업로드할 수도 있다.
보다 복잡한 장치는 연결되어 있지 않을때에도 시스템 동작의 일부 또는 전부를 스스로 수행할 수 있다. 이렇게 하는 성능을 개선시키기 위한 다양한 기술이 15.3.절에 설명되어 있다. 때로는 원하는 동작의 전부가 아닌 일부가 오프라인에 있는동안에 수행될 수 있는 경우가 있다. 예컨대, 텍스트는 인식될 수 있지만, 소스 식별은 인터넷 기반 검색 엔진과의 접속에 의존적일 수 있다. 따라서, 몇몇 실시예에서는, 본 장치는 본 시스템의 나머지 부분이 연결이 복구될때 효과적으로 진행하도록 각각의 동작이 얼마나 많이 진행했는지에 대한 충분한 정보를 저장한다.
본 시스템의 동작은 일반적으로 즉시 이용가능한 연결에 의하여 유용하지만, 몇몇 캡처를 수행하여 이것을 배치로 처리하는 것이 이로울 수 있는 몇몇 상황이 있다. 예컨대, 아래 13절에서 설명되어 있는 바와 같이, 특정 캡처 원의 식별은 거의 동시에 사용자에 의해 수행된 다른 캡처를 검사함으로써 크게 강화될 수 있다. 사용자에게 라이브 피드백이 제공되는 완전 연결 시스템에서는, 시스템이 현재의 캡처를 처리할 때 과거의 캡처를 이용할 수 있을 뿐이다. 그러나 캡처가 오프라인에 있을 때 장치에 의해 저장된 배치 중 하나이면, 본 시스템은 이러한 분석을 수행할때 이전의 것은 물론 이후의 캡처로부터 이용가능한 임의의 데이터를 고려할 수 있을 것이다.
12.2. 호스트 장치로
스캐너는 종종 사용자와 보다 상세한 상호작용을 포함한 시스템의 많은 기능을 수행하기 위하여 PC, PDA, 전화기 또는 디지털 카메라등의 몇몇 다른 장치와 통신한다.
12.2.1. 캡처에 응해 수행된 동작
호스트 장치가 캡처를 수신할 때, 다양한 동작을 개시할 수 있다. 로케이팅이후 시스템이 수행한 가능한 동작의 불완전 목록과 이러한 캡처와 연관된 전자 문서 사본 및 문서내 위치가 잇따른다.
● 캡처의 상세한 정보를 사용자 내역에 저장할 수 있다.(6.1 절)
● 로컬 스토리지 또는 원격지에서 문서를 검색할 수 있다.(8절)
● 동작 시스템의 메타데이터 및 문서와 연관된 기타 기록을 업데이트할 수 있다(11.1 절)
● 다음의 적절한 동작을 결정하기 위해 문서와 연관된 마크업을 검사할 수 있다.(5 절)
● 소프트웨어 애플리케이션을 개시하여 문서 편집, 보기 또는 기타 동작을 수행할 수 있다. 애플리케이션 선택은 소스 문서 또는 스캔의 콘텐츠이거나 캡처의 몇몇 다른 태양에 좌우된다.(11.2.2, 11.2.3 절)
● 애플리케이션을 스크롤하여 하이라이트하거나 삽입점을 이동시키거나 캡처 위치를 지시할 수 있다.(11.3 절)
● 캡처된 텍스트의 정확한 경계를 수정하여, 예컨대 캡처된 텍스트 주위의 전체 단어, 문장 또는 절을 선택할 수 있다.(11.3.2 절)
● 사용자에게 캡처 텍스트를 클립보드에 복사하거나 기타 표준 동작 시스템 또는 이에 대한 애플리케이션 특정 동작을 수행하기 위한 옵션을 제공할 수 있다.
● 문서 또는 캡처된 텍스트에 주석을 연관시킬 수 있다. 이것은 사용자 입력을 통해 바로 되거나 예컨대 광학 스캔과 연관된 음성 주석의 경우에는 먼저 캡처되었을 수 있다.(19.4 절)
● 사용자가 선택하는 또 다른 가능한 동작 세트를 결정하기 위하여 마크업을 검사할 수 있다.
12.2.2. 상황 팝업 메뉴
때로는 시스템이 취하는 적당한 동작이 명확하지만, 어떤 경우는 사용자의 선택을 요한다. 이를 수행하는 하나의 좋은 방법은 "팝업 메뉴"를 사용하거나, 콘텐츠가 스크린상에 디스플레이되는 경우에는 콘텐츠에 가까이 나타나는 소위 "컨텍스트 메뉴"에 의하는 것이다.(11.3.3 절 참조). 몇몇 실시예에서는, 스캐너 장치 가 종이 문서사아에 팝업 메뉴를 띄운다. 사용자는 키보드와 마우스등의 전통적인 방법을 사용하는 메뉴로부터 또는 캡처 장치상의 제어부를 사용함으로써(12.1.2 절), 제스처를 사용함으로써(12.1.3 절), 또는 스캐너를 사용하는 컴퓨터 디스플레이와의 상호작용에 의해서(12.2.4 절) 선택할 수 있다. 몇몇 실시예에서는, 캡처 결과로 나타날 수 있는 팝업 메뉴는 사용자가 응답하지 않으면 나타나는, 예컨대 사용자가 메뉴를 무시하고 또 다른 캡처를 수행하는 경우에 일어나는 동작을 나타내는 디폴트 항목을 포함한다.
12.2.3. 명확화에 대한 피드백
사용자가 텍스트 캡처를 개시하면, 먼저 매칭할 수 있는 몇몇 문서나 기타 텍스트의 위치가 있을 것이다. 보다 많은 텍스트가 캡처되고 기타 요인을 고려하면(13절), 후보 위치의 수는 실제 위치가 식별될때까지 줄어들거나 사용자의 입력이 없이는 더이상의 명확화는 가능하지 않다. 몇몇 실시예에서, 시스템은, 문서 또는 예컨대 리스트, 썸네일 이미지 또는 텍스트 세그먼트 형태로 그리고 캡처가 계속될때 수를 줄이기 위해 디스플레이내의 엘리먼트 수에 대하여 발견되는 위치를 실시간으로 디스플레이한다. 몇몇 실시예에서는, 시스템은 모든 후보 문서의 썸네일을 디스플레이하는데, 이러한 썸네일의 크기와 위치는 정확한 매칭이 있는 확률에 좌우된다.
캐처가 명확하게 식별되면, 예컨대 청각적 피드백을 사용하여 이 사실을 사용자에게 강조할 수 있다.
때때로 캡처된 텍스트는 많은 문서에서 나타나고 인용구가 되도록 인식될 것 이다. 본 시스템은 예컨대, 원본 소스 문서주위에 인용 참조를 포함하는 문서를 그룹화함으로써 스크린상에 이것을 지시할 수 있다.
12.2.4. 스크린으로부터 스캐닝
몇몇 광학 스캐너는 종이는 물론 스크린상에 디스플레이된 텍스트를 캡처할 수 있다. 따라서, '렌더링된 문서'라는 말은 본 명세서에서 종이 인쇄물이 렌더링의 유일한 형태가 아니고 시스템에서 사용하기 위한 텍스트나 심볼의 캡처 또한 텍스트가 전자 디스플레이상에 디스플레이될 때 똑같이 가치있을 수 있다는 것을 나타내는데 사용된다.
상기한 시스템의 사용자는 옵션 리스트를 선택하는 등 다양한 다른 이유로 컴퓨터 스크린과 상호작용할 필요가 있을 수 있다. 사용자가 스캐너를 두고 마우스나 키보드를 사용하여 개시하는 것은 불편할 수 있다. 다른 절에서 이러한 툴을 변화시킬 필요없이 입력하는 방법으로서 스캐너(12.1.2 절에서 설명) 또는 제스처(12.1.3절에서 설명)의 물리적 제어부를 설명했지만, 스크린 자체에 있는 스캐너를 사용하여 몇몇 텍스트나 심볼을 스캐닝하는 것은 본 시스템이 제공하는 중요한 대안이다.
몇몇 실시예에서, 스캐너의 광학부에 의해 라이트펜과 마찬가지 방식으로 사용되어, 컴퓨터의 특별한 하드웨어나 소프트웨어의 도움으로 텍스트를 실제로 스캐닝할 필요없이 스크린상의 위치를 바로 감지할 수 있다.
13. 컨텍스트 설명
상기 시스템의 중요한 태양은 사용하는 문서를 식별하는데 도움이되도록 텍 스트열의 단순 캡처이상의 다른 요인을 사용한다는 것이다. 적당한 양의 텍스트의 캡처는 종종 문서를 유일하게 식별할 수 있지만 많은 경우에는 몇몇 후보 문서를 식별할 것이다. 하나의 해결책은 사용자가 스캔되는 문서를 확인하도록 하는 것이지만 바람직한 대안의 방법은 자동적으로 가능성을 좁히도록 하는 기타 요인을 사용하는 것이다. 이러한 보충 정보에 의해 캡처를 요하는 문서의 양을 상당히 줄일 수 있고 그리고/또는 전자 사본의 위치가 식별될 수 있는 신뢰성과 속도를 상당히 증가시킬 수 있다. 이러한 여분의 재료를 "컨텍스트"라고 부르고 4.2.2.절에서 간단히 설명하였다. 이후 보다 깊이 알아보기로 한다.
13.1. 시스템 및 캡처 컨텍스트
아마도 이러한 정보의 가장 중요한 예는 사용자의 캡처 내역일 것이다.
소정의 캡처는 이전의 것과 같은 문서에서 오거나, 이전의 캡처가 마지막 몇분내에 일어난다면 특히 연관된 문서에서 왔을 가능성이 높다(6.1.2 절). 반대로, 시스템이 두 스캔간에 폰트가 변했다는 것을 감지하면, 다른 문서에서 왔을 가능성이 높다.
사용자의 장기간의 캡처 내역 및 독서 습관 또한 유용하다. 이것은 사용자의 관심과 연관성 모델을 개발하는데 사용할 수도 있다.
13.2. 사용자의 실세상 컨텍스트
유용한 컨텍스트의 또 다른 예는 사용자의 지리적 위치이다. 예컨대, 파리의 사용자는 시애틀 타임즈보다는 르몽드를 읽을 확율이 훨씬 더 높다. 따라서 문서의 인쇄 버전의 타이밍, 크기 그리고 지리적 배포는 중요할 수 있고, 시스템의 동작에서 어느 정도 추측할 수 있다.
예컨대 출근하는 동안 항상 하나의 타입의 출판물을 읽고, 점심시간이나 퇴근하는 동안 열차안에서 다른 것을 읽는 사용자의 경우에는 하루의 시간이 또한 관련될 수 있다.
13.3. 관련 디지털 컨텍스트
보다 종래적 수단에 의해 써칭되고 검색된 것을 포함하는 사용자의 최근의 전자 문서 사용 또한 유용한 지시자일 수 있다.
회사 네트워크등 몇몇 경우에는 다음과 같이 다른 요인이 유용한 것으로 간주될 수 있다.
● 문서가 최근에 인쇄되었는가?
● 문서가 최근에 회사 파일 서버에서 수정되었는가?
● 문서가 최근에 이메일로 송부되었는가?
이러한 예 전부는 사용자가 종이 버전 문서를 더 많이 읽는 것같다는 것을 암시하고 있을 수 있다. 반대로, 문서가 있는 매점이 인쇄되었을 수 있는 임의의 장소로 송부되었거나 결코 문서가 인쇄되지 않았음을 확인할 수 있으면, 종이에서 기원하는 임의의 검색에서 안전하게 제거될 수 있다.
13.4. 기타 통계-글로벌 컨텍스트
14절은 종이 기반 검색에서 나온 데이터열의 분석을 다루고 있지만, 여기서 다른 독자가 있는 문서의 평판, 이러한 평판의 타이밍, 그리고 가장 빈번히 스캔되는 문서의 일부에 대한 통계의 전부는 검색 프로세스에 유용할 수 있는 더많은 요 인의 예임을 인식하여야한다. 본 시스템은 종이 세상에 구글 형태의 페이지 랭킹을 가능하게 한다.
검색 엔진에 대한 컨텍스트의 몇몇 다른 의미에 대하여 4.2.2절을 또한 참조하자.
14. 데이터열 분석
본 시스템의 사용의 부작용으로서 지나치게 가치있는 데이터열을 생성한다. 이러한 데이터열은 사용자가 무엇을 언제 읽는지에 대한 기록이고 많은 경우에 있어서는 사용자가 읽고 있는 것에서 특히 가치있다고 발견하는 것에 대한 기록이다. 이러한 데이터는 이전에 종이 문서에서는 결코 진정으로 이용될 수 없었다.
이러한 데이터가 시스템 및 시스템의 사용에 유용할 수 있는 몇가지 방식을 6.1절에서 설명하고 있다. 이 절에서는 기타 사용에 대하여 중점을 두고 있다. 물론 사람들이 읽고 있는 것에 대한 임의의 데이터 배포로 고려될 수 있는 중요한 프라이버시 문제가 있지만, 데이터의 익명을 보존하는 것과 같은 문제는 당업자에게 주지된 사실이다.
14.1. 문서 추적
소정의 사용자가 어떤 문서를 읽고 있는지를 시스템이 알고 있다면 누가 소정의 문서를 읽고 있는지 또한 시스템이 추론할 수 있다. 이것은 조직을 통한 문서의 추적을 가능하게 하여, 예컨대 누가 언제 문서를 읽는지, 얼마나 널리 배포되어 있는지, 배포에 얼마나 오래 걸리는지, 그리고 철지난 사본으로부터 다른 사람들이 작업하고 있는 한편 현재의 버전을 누가 보았는지의 분석을 가능하게 한다.
보다 넓은 분포를 갖는 출판 문서에 대하여, 개개의 사본의 추적은 보다 어렵지만, 독자층의 분포 분석은 여전히 가능하다.
14.2. 읽기 랭킹-문서 및 소구역의 인기
사용자가 그들에게 특별한 관심이 있는 텍스트나 데이터를 캡처하는 상황에서, 본 시스템은 특정 문서의 인기와 이러한 문서의 소구역의 인기를 추론할 수 있다. 이것은 시스템 자체(4.2.2 절)와 작가, 출판업자 그리고 광고자(7.6절, 10.5절)에 대한 중요한 정보원에 가치있는 입력을 형성한다. 이러한 데이터는 또한, 예컨대 렌더링된 문서로부터의 조회에 대한 검색 결과에 순위를 매기는 것을 돕고, 그리고/또는 웹브라우저내에 타이핑된 종래의 조회에 순위를 매기는 것을 돕기 위해 검색 엔진과 검색 인덱스에서 통합될 때 유용하다.
14.3. 사용자 분석-프로파일 생성
사용자가 무엇을 읽고 있는지를 앎으로써 시스템이 사용자의 관심과 활동의 상당히 상세한 모델을 생성하게 할 수 있게 한다. 이것은 개괄적 통계 기초에 유용할 수 있지만-예컨대, "이러한 신문을 구매하는 사용자의 35%가 그 작가의 최근의 책 또한 읽는다"따위, 하기하는 바와 같이 개인 사용자와 기타 상호작용을 가능하게할 수도 있다.
14.3.1. 사회적 네트워킹
일 예는 일 사용자를 관련된 관심을 가진 다른 사람과 연결하는 것이다. 이것은 사용자에게 이미 알려진 사람일 수 있다. 본 시스템은 한 대학 교수에게, "XYZ대학에 있는 당신 동료도 이 신문을 읽고 있다는 것을 알았습니까?"라고 물을 수 있다. 본 시스템은 사용자에게 "당신은 또한 제인에어를 읽고있는 당신의 이웃과 연결되기를 원합니까?"라고 물을 수 있다. 이러한 연결은 물리적인 세계에서나 온라인에서 북클럽과 친밀한 사회적 구조를 자동적으로 형성하는데 기반이 될 수 있다.
14.3.2. 마케팅
10.6절에서 이미 시스템과의 상호작용에 기초하여 제품과 서비스를 개별 사용자에게 제공하는 아이디어에 대하여 언급하였다. 예컨대 현재의 온라인 책판매자는 종종 책판매자와의 이전의 상호작용에 기초하여 사용자에게 추전한다. 이러한 추천은 실제의 책과의 상호작용에 기초될 때 훨씬 더 유용하게 된다.
14.4. 데이터열의 기타 태양에 기초한 마케팅
본 시스템이 문서를 출판하는 사람, 문서를 통해 광고하는 사람, 그리고 종이로 개시된 기타 판매에 영향을 미칠 수 있는 방법 중 몇 가지가 설명되었다(10 절). 몇몇 상업적 활동은 결국 종이 문서와 직접적 상호작용을 가지지는 않지만 영향을 받을 수는 있다. 예컨대, 하나의 커뮤니티의 사람들이 보다 많은 시간을 신문의 금융부문보다 스포츠부문을 읽는데 할애하고 있다는 것을 아는 것이 헬쓰클럽을 하려고하는 사람에게 관심이 있을 수 있다.
14.5. 캡처될 수 있는 데이터 타입
누가 어떤 문서의 어느 정도를 언제 어디서 읽는지와 같은 상기 통계에 더하여, 문서가 위치되었는지 여부에 관계없이 캡처된 문서의 실제 콘텐츠를 검사하는 것이 관심있을 수 있다.
많은 경우에, 사용자는 몇몇 문서를 캡처할 뿐만 아니라 결과로서 몇몇 활동이 일어나게 할 것이다. 이것은, 예컨대 아는 사람에게 문서에 대한 레퍼런스를 이메일로보내는 것일 수 있다. 사용자나 이메일 수신자의 식별 정보가 없을때에도 누군가 이 문서를 이메일보낼 가치가 있는 것으로 간주했다는 것을 아는 것은 매우 유용하다.
텍스트의 특정 문서나 일부의 가치를 추론하기 위하여 설명한 다양한 방법에 더하여, 몇몇 경우에는 사용자가 이에 등급을 할당함으로써 가치를 외부적으로 지시할 것이다.
마지막으로, 특정 사용자 세트가 그룹을 형성하기 위해 알려져 있다면, 예컨대 그 사용자들이 특정 회사의 사원에게 알려져 있다면, 상기 그룹의 집합적 통계가 그 그룹에 대한 특정 문서의 중요성을 추론하는데 사용될 수 있다.
15. 장치 특징 및 기능
시스템에 사용하기 위한 캡처 장치는 문서의 렌더링된 버전으로부터 텍스트를 캡처하는 방식 정도만을 필요로 한다. 상기한 바와 같이(1.2 절), 이러한 캡처는 문서의 일부의 사진을 찍거나 이동 전화 키보드에 몇몇 문자를 타이핑하는 것을 포함한 다양한 방법을 통해 수행될 수 있다. 이러한 캡처는 한번에 한 라인 또는 두 텍스트를 기록할 수 있는 소형 핸드헬드 광학 스캐너이거나 사용자가 문서로부터 텍스트를 판독하는 음성 레코드 등의 음성 캡처 장치를 사용하여 수행될 수 있다. 사용된 장치는 이들, 예컨대 음성 주석 또한 기록할 수 있는 광학 스캐너,의 조합일 수 있고 캡처링 기능은 이동 전화, PDA, 디지털 카메라 또는 휴대용 뮤직 플레이어등의 몇몇 다른 장치에 내장될 수 있다.
15.1. 입출력
본 장치용의 많은 유용한 부가 입출력 장치를 12.1절에서 설명하였다. 이것은 입력을 위하여 버튼, 스크롤 휠 및 터치 패드를 포함하고 출력을 위해 디스플레이, 지시광, 음성 및 촉각 변환기를 포함한다. 때때로 본 장치는 이들의 대부분을 부가하거나 거의 부가하지 않을 수 있다. 때로는 캡처 장치는, 예컨대 무선 링크를 사용하여 이것을 이미 구비하고 있는 다른 장치와 통신할 수 있을 것이고(15.6절), 때로는 캡처 기능이 이러한 기타 장치에 부가될 것이다(15.7절).
15.2. 연결성
몇몇 실시예에서, 본 장치는 시스템 자체의 대부분을 구현한다. 그러나 몇몇 실시예에서는 본 장치는 종종 PC나 다른 컴퓨팅 장치와 통신하고 통신 시설을 사용하여 보다 넓은 세계와 통신한다.
대개 이러한 통신 시설은 이더넷, 802.11 또는 UWB등의 범용 데이터망의 형태이거나 USB, IEEE-1394(파이어와이어), 블루투스TM 또는 적외선등의 표준 주변접속망의 형태로 된다. 파이어와이어나 USB등의 유선 접속이 사용되면, 본 장치는 동 접속을 통해 전기를 공급받을 수 있다. 몇몇 경우에는, 캡처 장치가 접속된 기계에 나타나서 USB저장 장치등 종래의 주변장치로 될 수 있다.
마지막으로, 본 장치는 몇몇 경우에 이 장치와 결합하여 사용되거나 편리한 저장을 위해 또 다른 장치와 "도킹"할 수 있다.
15.3. 캐싱 및 기타 온라인/오프라인 기능
3.5절 및 12.1.4절은 분리된 동작을 주로 다루었다. 캡처 장치가 전체 시스템 기능의 제한된 서브셋을 가지고 시스템의 다른 부분과 통신하지 않는다면, 이용가능한 기능이 때로 줄어들더라도 본 장치는 여전히 유용할 수 있다. 가장 간단한 단계에서, 본 장치는 캡처되는 원 이미지나 음성 데이터를 기록할 수 있고 이후 이것은 처리될 수 있다. 그러나 사용자를 위하여, 캡처된 데이터가 손작업에 충분할 것같은지 여부, 인식될 수 있는지 또는 인식될 수 있을 것 같은지 여부, 그리고 데이터원이 식별될 수 있는지 또는 이후 식별될 수 있을 것 같은지에 대하여 가능한 곳에 피드백을 제공하는 것이 중요할 수 있다. 사용자는 이후 캡처링 활동이 가치있는 것인지를 알 것이다. 상기한 모든것이 알려지지않더라도, 원데이터는 여전히 저장될 수 있고 따라서, 적어도 사용자는 이후 이것을 참조할 수 있다. 사용자는 예컨대 스캔이 OCR프로세스에 의해 인식될 수 없을때 스캔 이미지를 제공받을 수 있다.
이용가능한 옵션의 범위의 일부를 설명하기 위해, 오히려 최소 광학 스캐닝 장치와 이후 훨씬 많은 풀기능의 스캐닝 장치 둘을 이하에 설명하고 있다. 많은 장치는 이러한 두개 사이의 중간 지점을 차지하고 있다.
15.3.1. 심플 스캐너-보급형 오프라인 예
심플 스캐너는 텍스트 라인의 길이를 따라 이동할때 페이지에서 픽셀을 판독할 수 있는 스캐닝 헤드를 구비하고 있다. 이것은 페이지를 따라 움직임을 탐지하여 이러한 움직임에 대한 몇몇 정보로 픽셀을 기록할 수 있다. 또한 각각의 스캔 이 타임스탬프되도록 할 수 있는 클록 또한 구비한다. 클록은 심플 스캐너가 연결되어있을때 호스트 장치와 동기된다. 클록은 하루의 실제 시간을 나타낼 수는 없지만 상대 시간이 결정될 수 있고 따라서 호스트는 스캔의 실제 시간을 추론할 수 있거나 최악의 경우 스캔간 경과 시간을 추론할 수 있다.
심플 스캐너는 OCR자체를 수행하기 위한 충분한 처리 전력을 가지고 있지 않지만, 전형적인 단어길이, 단어 간격, 및 폰트 크기와의 관계에 대한 몇몇 기초 지식을 가지고 있다. 이것은 스캔이 판독가능할 수 있는지, 페이퍼를 가로질러 헤드가 너무 빨리, 너무 느리게 또는 너무 부적절하게 이동하고 있는지, 그리고 소정 크기의 충분한 단어가 식별될 문서에 대하여 스캔되었을것 같은 것을 결정하는때를 사용자에게 알려주는 기본적인 몇몇 지시광을 포함한다.
심플 스캐너는 USB접속을 갖고 컴퓨터상의 USB포트에 플러깅될 수 있고, 여기서 충전될 것이다. 컴퓨터에서는 심플 스캐너는 타임 스탬핑된 데이터 파일이 기로고딘 USB저장장치가 되도록 나타나고 시스템 소프트웨어의 나머지는 이 지점에서부터 인수한다.
15.3.2. 수퍼스캐너-고급형 오프라인 예
수퍼스캐너 또한 그 전체 동작에 대하여 연결성에 좌우되지만, 이것은 오프라인인 동안 캡처되는 데이터에 대한 더나은 판단을 하는 것을 도울 수 있는 상당한 량의 온보드 저장 및 프로세싱을 구비한다.
수퍼스캐너가 텍스트의 라인을 따라 이동하면, 캡처된 픽셀은 함께 스티칭되어 텍스트를 인식하려고 시도하는 OCR엔진에 전달된다. 사용자의 가장 많이 판독 된 출판물로부터 온 것을 포함하는 많은 폰트가 다운로드되어 PC상의 사용자 스펠링 체커 사전과 동기되고 따라서 사용자가 빈번히 마주치는 많은 단어를 포함하는 사전을 구비한 것 처럼, 이러한 작업을 수행하는데 도움을 준다. 또한 사용 빈도를 구비한 단어 및 표현 리스트가 스캐너상에 저장될 수 있는데 이것은 사전과 결합될 수 있다. 스캐너는 인식 프로세스에 도움을 주고 언제 충분한 량의 텍스트가 캡처되었는지에 대한 판단을 알려주기 위해 빈도 통계를 사용할 수 있다. 보다 빈번히 사용된 표현이 검색 질문의 기초로 덜 유용할 것 같다.
또한, 사용자가 가장 일반적으로 읽었던 신문과 정기간행물의 최근 이슈의 기사에 대한 풀 인덱스를 사용자가 온라인 책판매자로부터 최근 구매한 책에 대한 또는 사용자가 지난 몇달 내에 무엇인가를 스캔한 인덱스인 것처럼 장치에 저장한다. 마지막으로, 시스템에 이용가능한 데이터를 갖는 수천개의 가장 인기있는 출판물의 제목이 저장되어 기타 정보가 없을때에 사용자가 제목을 스캔할 수 있고 특정 작업으로부터의 캡처가 이후 전자적 형태로 검색될 수 있을 것 같은지에 대한 좋은 생각을 가질 수 있다.
스캐닝 프로세스동안, 본 시스템은 사용자에게 캡처된 데이터가 충분한 품질을 갖고 있고 전자 사본이 연결이 복구될때 검색될 수 있도록 하기 위해 충분한 특성을 가지고 있다고 알린다. 종종 본 시스템은 사용자에게 스캔이 성공적이었던 것으로 알려지고 컨텍스트가 온보드 인덱스중 하나에서 인식되었고, 또한 관심 출판물이 그 데이터가 시스템에서 이용가능한 것으로 알려지고 따라서 이후의, 검색이 성공적어야한다는 것을 알린다.
수퍼스캐너는 PC의 파이어와이어나 USB포트에 연결된 크래들에 도킹되고, 이때 캡처된 데이터의 업로드에 더하여, 다양한 온보드 인덱스 및 기타 데이터베이스가 최근의 사용자의 활동과 새로운 출판물에 기초하여 업데이트된다. 또한 무선 공중망에 접속하거나 블루투스를 통해 이동 전화로 통신하기 위한 장치를 구비하고, 이 장치가 이용가능한 때 여기서 공중망과 통신할 수 있다.
15.4. 광학 스캐닝을 위한 구조
광학 스캐너 장치에 특히 바람직할 수 있는 몇몇 구조를 이하 살펴본다.
15.4.1. 플렉시블한 포지셔닝 및 편리한 광학기기
종이가 계속 인기있는 이유중 하나는 예컨대 컴퓨터가 실용될 수 없거나 불편한 다양한 상황에서도 사용이 편리하기 때문이다. 따라서 종이와 사용자의 상호작용의 상당한 부분을 캡처하기 위한 장치 또한 마찬가지로 사용이 편리해야한다. 과거에는 스캐너의 경우는 이러하지 않았는데 가장 작은 핸드헬드 장치조차 다소 다루기가 힘들었다. 페이지와 접촉하게 되도록 설계된 것은 종이와 정확한 각으로 유지되어 스캔될 텍스트의 길이를 따라 매우 정확하게 이동되어야했다. 이것은 사무실 책상위에 비지니스 보고서를 스캐닝할때는 허용될 수 있지만, 기차를 기다리면서 소설의 표현을 스캐닝할때는 비실용적일 수 있다. 종이에서 떨어진 거리이ㅔ서 동작하는 카메라 타입 광학기기에 기초한 스캐너는 마찬가지로 몇몇 상황에서 유용할 수 있다.
본 시스템의 일부 실시예는 종이와 접촉하여 스캔하고 렌즈 대신 페이지에서 광센서 장치로 이미지를 전송하기 위한 광섬유 다발인 이미지 콘딧을 사용하는 스 캐너를 사용한다. 이러한 장치는 자연적 위치에 유지되도록 할 수 있도록 형성될 수 있다. 예컨대, 몇몇 실시예에서, 페이지와 접촉하고 있는 부분이 쐐기형으로 되어있고, 이것은 사용자의 손이 하이라이터 펜의 사용과 마찬가지의 움직임으로 페이지 위에서 보다 자연적으로 움직이게 할 수 있다. 콘딧은 종이와 직접 접촉하거나 근접하여 있고, 발생할 수 있는 손상으로부터 이미지 콘딧을 보호할 수 있는 대체가능한 투명 팁을 구비할 수 있다. 12.2.4절에 설명한 바와 같이, 스캐너는 종이는 물론 스크린에서부터 스캔하는데 사용될 수 있고 팁의 재질은 이러한 디스플레이의 손상 가능성을 줄이도록 선택될 수 있다.
마지막으로, 본 장치의 몇몇 실시예는 스캐닝 프로세스동안 사용자가 너무 빠르게, 너무 느리게, 너무 비균일하게 스캐닝하거나 스캐닝 라인상에서 너무 높거나 낮게 드리프트할 때 빛, 소리 또는 촉각적 피드백을 사용함으로써 사용자에게 지시할 것이다.
15.5. 보안, 식별, 인증, 개인화 및 빌링
6절에서 설명한 바와 같이, 캡처 장치는 보안 거래, 구매, 및 다양한 기타 동작에 대한 식별 및 인증의 중요한 부분을 형성할 수 있다. 따라서, 이러한 역할에 필요한 회로 및 소프트웨어에 더하여, 스마트카드 리더, RFID, 또는 PIN을 타이핑하기 위한 키패드 등 보다 보안을 강화할 수 있는 다양한 하드웨어 구조를 ㅜㅂ가할 수 있다.
또한 사용자 식별을 돕기 위한 다양한 생체인식 센서를 포함할 수도 있다. 예컨대 광학 스캐너의 경우 스캐닝 헤드는 지문을 판독할 수도 있다. 음성 레코더 에 대하여 사용자의 음성 패턴이 사용될 수 있다.
15.6. 장치 연관
몇몇 실시예에서, 본 장치는 기타 부근 장치와의 연관을 형성하여 자체 또는 그것들의 기능을 증가시킬 수 있다. 예컨대 몇몇 실시예에서, 본 장친,ㅡㄴ 동작에 대한 보다 상세한 피드백을 제공하기 위해 근처의 PC나 전화기의 디스플레이를 사용하거나 네트워크 접속을 사용한다. 한편 본 장치는 다른 장치에 의해 수행된 동작을 인정하기 위한 보안 및 식별 장치로서 역할을 수행할 수 있다. 또한 장치의 주변장치로서 기능하기 위하여 단순히 연관을 형성할 수 있다.
이러한 연관의 흥미로운 태양은 본 장치의 캡처 장치를 사용하여 개시되고 인증될 수 있다는 것이다. 예컨대 자신을 보안적으로 공중 컴퓨터 단말에 식별하기 원하는 사용자는 단말의 스크린의 특정 영역에 디스플레이된 코드나 심볼을 스캔하여 키 전송을 유효하게 하기 위하여 본 장치의 스캐닝 장치를 사용할 수 있다. 음성 기록 장치에 의해 추출된 음성 신호를 사용하여 유사한 프로세스를 수행할 수 있다.
15.7. 기타 장치와의 통합
몇몇 실시예에서, 캡처 장치의 기능은 이미 사용중인 몇몇 다른 장치와 통합된다. 통합 장치는 전력공급, 데이터 캡처 및 저장 용량, 및 네트워크 인터페이스를 공유할 수 있다. 이러한 통합은 단순히 편리를 위함이거나, 비용을 줄이거나, 또는 이러한 통합이 없다면 이용가능하지 않을 기능을 가능하게 하기 위해 수행될 수 있다.
캡처 기능이 통합될 수 있는 장치의 몇몇 예는 다음과 같다.
● 마우스, 스타일러스, USB "웹캠" 카메라, 블루투스TM 헤드셋 또는 원격 제어등의 기존 주변장치
● PDA, MP3플레이어, 음성 레코더, 디지털 카메라 또는 이동 전화등 또 다른 프로세싱/저장 장치
● 시계, 보석류, 펜, 자동차 키 장식물등 편리만을 위한 기타 휴대품
15.7.1. 이동 전화 통합
통합의 장점의 예와 같이, 캡처 장치와 같은 수정된 이동 전화의 사용을 살펴본다.
몇몇 실시예에서, 전화기 하드웨어는, 텍스트 캡처가 음성 인식을 통해 적절히 수행될 수 있는 경우, 전화기 자체에 의해 프로세싱될 수 있거나 전화 호의 타단부에서 시스템에 의해 처리되거나 또는 미래의 프로세싱을 위해 전화기의 메모리내에 저장될 수 있는 경우 처럼 본 시스템을 지원하도록 수정되지 않는다. 현대의 많은 전화기는 시스템의 일부를 구현할 수 있는 소프트웨어를 다운로드할 수 있는 기능을 갖고 있다. 그러나 이러한 음성 캡처는, 예를들어 상당한 배경 노이즈가 있는 많은 상황에서 차선책일 것 같고 정확한 음성 인식이 최적의 때에서도 어려운 일이다. 오디오 장치는 음성 주석을 캡처하는데 최적으로 이용될 수 있다.
몇몇 실시예에서, 많은 이동 전화기에 내장된 카메라는 텍스트의 이미지를 캡처하는데 이용된다. 보통 카메라의 뷰파인더로 기능하는 전화기 디스플레이는 이미지의 품질과 텍스트의 세그먼트가 캡처되는 OCR에 대한 적합성에 관한 정보 및 OCR이 전하기에서 수행될 수 있다면 텍스트의 사본을 라이브 카메라 이미지상에 겹칠 수 있다.
몇몇 실시예에서, 전화기는 전용 캡처 장치를 부가하거나 전화기와 통신하는 별개의 블루투스 접속 주변장치나 클립온 어댑터로 이러한 기능을 제공하도록 수정된다. 캡처 메커니즘의 특성이 어떠한 것이라도, 현대의 이동전화와의 통합은 많은 다른 장점을 제공한다. 전화기는 보다 광범위한 세계와 접속을 갖는데, 이것은 쿼리가 원거리 검색 엔진이나 시스템의 기타 부분으로 제공될 수 있고 즉시 저장이나 뷰잉을 위하여 문서 사본이 검색될 수 있음을 의미한다. 전화기는 일반적으로 시스템의 많은 기능이 로컬적으로 수행되도록 하는 충분한 프로세싱 전력과 합리적인 량의 데이터를 캡처하는데 충분한 저장장치를 구비하고 있다. 저장량은 또한 종종 사용자가 확장할 수 있다. 전화기는 합리적으로 양호한 디스플레이와 음성 장치를 구비하여 사용자 피드백 및 촉각적 피드백을 위한 진동 기능을 제공한다. 또한 양호한 전력 공급장치도 구비한다.
가장 중요한 점은, 전화기는 대부분의 사용자들이 이미 휴대하고 있는 장치라는 점이다.
III장-본 시스템의 응용예
본 장은 본 시스템의 사용과 이에 가능한 응용예의 리스트를 기술한다. 이러한 리스트는 순수하게 설명을 위한 것이고 이것만을 포함하는 것은 아니다.
16. 개인적 응용
16.1. 라이프 도서관
라이프 도서관(6.1.1절 참조)은 가입자가 저장하기를 바라는 임의의 중요한 문서의 디지털 아카이브이며 본 시스템의 서비스의 실시예의 세트이다. 중요한 책, 잡지 기사, 신문 클리핑등 전부를 라이프 도서관에 디지털 형태로 저장할 수 있다. 또한, 문서와 함께 가입자의 주석, 코멘트, 및 유의사항을 저장할 수 있다. 라이프 도서관은 인터넷과 월드와이드웹을 거쳐 접속될 수 있다.
본 시스템은 가입자를 위한 라이프 도서관 문서 아카이브를 생성하고 관리한다. 가입자는 문서로부터 정보를 스캔함으로써 또는 특정 문서가 가입자의 라이프 도서관에 부가되도록 시스템에 지시함으로써 어떤 문서를 자신의 라이프 도서관에 저장했었기를 바라는지 지시한다. 스캔된 정보는 일반적으로 문서에서온 텍스트이지만 문서를 식별하는 바코드나 기타 코드일 수도 있다. 본 시스템은 이러한 코드를 받아들이고 소스 문서를 식별하기 위해 이것을 사용한다. 문서가 식별된이후 시스템은 사용자의 라이프 도서관에 문서 사본을 저장하거나 문서를 얻을 수 있는 소스로의 링크를 저장할 수 있다.
라이프 도서관 시스템의 일 실시예는 가입자가 전자 사본을 얻도록 승인되는지를 확인할 수 있다. 예컨대, 독자가 뉴욕 타임즈(NYT)내의 기사 사본으로부터 텍스트나 식별자를 스캔하여 그 기사가 독자의 라이프 도서관에 부가된다면, 라이프 도서관 시스템은 독자가 NYT의 온라인 버전에 가입되어 있는지 NYT에 확인할 것이고, 가입되어 있으면 독자는 자신의 라이프 도서관 계정에 저장되어 있는 기사 사본을 얻고 그렇지 않다면 문서를 식별하는 정보와 이를 주문하는 방법이 자신의 라이프 도서관 계정에 저장된다.
몇몇 실시예에서, 본 시스템은 접근 권한 정보를 포함하는 각각의 가입자를 위한 가입자 프로파일을 유지한다. 문서 접근 정보는 몇가지 방식으로 컴파일될 수 있는데, 그 중 두가지는 1) 가입자가 자신의 계정명과 암화등과 함께 라이프 도서관 시스템에 문서 접근 정보를 공급하는 것과 2) 라이프 도서관 서비스 프로바이더가 가입자의 정보를 갖는 출판업자에게 조회하여 출판업자가 라이프 도서관 가입자가 기사에 접근하도록 승인되면 전자 사본으로의 접근을 제공함으로써 응답하는 것이다. 라이프 도서관 가입자가 문서의 전자 사본을 갖도록 승인되지 않으면, 출판업자는 라이프 도서관 서비스 프로바이더에게 가격을 제공하고, 이후 고객에게 전자 문서를 구매하는 옵션을 제공한다. 그럴 경우, 라이프 도서관 서비스 프로바이더는 출판업자에게 바로 지불하고 이후 라이프 도서관 고객에게 과금시키거나 라이프 도서관 서비스 프로바이더가 구매에 대하여 고객의 크레디트 카드로 즉시 과금한다. 라이프 도서관 서비스 프로바이더는 거래를 용이하게 하는데 대한 소액의 고정 비용 또는 구매 가격의 몇프로를 얻는다.
본 시스템은 가입자의 개별 도서관 및/또는 가입자가 기록 보관 권한을 갖는임의의 다른 도서관내에 문서를 보관할 수 있다. 예컨대, 사용자가 인쇄된 문서에서 텍스트를 스캔하면, 라이프 도서관 시스템은 렌더링된 문서와 그 전자 사본을 식별할 수 있다. 원본 문서가 식별되면, 라이프 도서관 시스템은 사용자의 개별 도서관과 가입자가 기록 보관 권한을 갖는 그룹 도서관내에 원본 문서에 관한 정보를 기록할 수 있다. 그룹 도서관은 프로젝트에서 함께 작업하는 그룹, 학술 연구 원 그룹, 그룹 웹로그등을 위한 문서 저장소와 같은 합동 아카이브이다.
라이프 도서관은, 연대순으로, 토픽별로, 가입자 관심 수준별로, 출판 유형(신문, 책, 잡지, 기술 논문등)별로, 읽는 장소 또는 시간 별로, ISBN이나 십진 분류법등 많은 방식으로 조직될 수 있다. 일 대안으로, 본 시스템은 다른 가입자가 동 문서를 어떻게 분류했는지에 기초하여 분류법을 알 수 있다. 본 시스템은 사용자에게 분류법을 제안하거나 사용자를 위하여 문서를 자동적으로 분류할 수 있다.
다양한 실시예에서, 문서에 주석이 바로 삽입되거나 별개 파일로 유지될 수 있다. 예컨대, 가입자가 신문 기사에서 텍스트를 스캔하면, 그 기사는 하이라이트되고 스캔된 텍스트와 함께 자신의 라이프 도서관에 보관된다. 대안으로, 연관된 주석 파일과 함께 라이프 도서관에 기사를 보관한다(따라서 보관된 문서를 수정되지 않은 채 유지한다). 본 시스템의 실시예는 각각의 가입자의 도서관에 원본 문서 사본을, 많은 가입자가 접근할 수 있는 마스터 도서관에 사본을, 또는 출판업자에 의해 유지된 사본에 링크를 유지할 수 있다.
몇몇 실시예에서, 라이프 도서관은 문서 수정본(예컨대, 하이라이트한 부분등)과 (그밖에 어디에 저장된) 문서의 온라인 버전으로의 링크만을 저장한다. 본 시스템 또는 가입자는 가입자가 이어서 문서를 검색할때 변화와 문서를 합친다.
주석이 별개 파일로 유지되면, 원본 문서와 주석 파일이 가입자에게 제공되고 가입자는 이들을 결합하여 수정된 문서를 생성한다. 대안으로, 본 시스템은 가입자에게 상기 두 파일을 제공하기 전에 결합한다. 또 다른 대안으로, 주석 파일은 문서 파일에 대한 오버레이이고 가입자 컴퓨터내의 소프트웨어에 의해 문서에 겹쳐질 수 있다.
라이프 도서관 서비스의 가입자는 본 시스템이 가입자의 아카이브를 유지하도록 하기 위해 매월 요금을 지불한다. 대안으로, 가입자는 아카이브에 저장된 각 문서에 대하여 소액(예컨대, 소액 지불)을 지불한다. 대안으로, 가입자는 액세스당 요금으로 가입자의 아카이브에 접근하기 위하여 지불한다. 대안으로, 가입자는 도서관을 컴파일하여 다른 사람이 라이프 도서관 서비스 프로바이더와 저작권자와 같이 수익 공유 모델에 대한 기사/주석에 접근하게할 수 있다. 대안으로, 라이프 도서관 서비스 프로바이더는 라이프 도서관의 가입자가 문서를 주문할때 출판업자로부터 지불을 받는다(출판업자와의 수익 공유 모델. 여기서 라이프 도서관 서비스 프로바이더는 출판업자의 수익의 일부 몫을 얻는다).
몇몇 실시예에서, 라이프 도서관 서비스 프로바이더는 저작권있는 기사의 과금과 지불을 용이하게 하기 위하여 가입자와 저작권자(또는 저작권 청산 센터, 약자로 CCC)간의 중개자로 작용한다. 라이프 도서관 서비스 프로바이더는 가입자의 빌링 정보와 기타 사용자의 계정 정보를 사용하여 이러한 중간 서비스를 제공한다. 필수적으로, 라이프 도서관 서비스 프로바이더는 가입자와의 앞에 존재하는 관계를 레버리징하여 가입자 대신 저작권있는 기사의 구매를 가능하게 한다.
몇몇 실시예에서, 라이프 도서관 시스템은 문서로부터의 발췌문을 저장할 수 있다. 예컨대, 가입자가 종이 문서로부터 텍스트를 스캔할때, 라이프 도서관내에 전체 문서가 보관되기 보다는 스캔된 텍스트 주변의 영역은 발췌되고 라이프 도서관에 위치된다. 원본 스캔의 상태를 보존함으로써 가입자가 흥미있는 부분을 발견 하기 위해 문서를 다시 읽는 것을 방지하기 때문에 문서가 긴 경우 이것은 특히 유용하다. 물론, 종이 문서의 전체 전자 사본으로의 하이퍼링크가 발췌 기사와 함께 포함될 수 있다.
몇몇 실시예에서, 본 시스템은 작가, 출판물 제목, 출판일, 출판업자, 저작권자(또는 저작권자의 라이센싱 대리인), ISBN, 문서의 공공의 주석으로의 링크, 리드랭크등, 라이프 도서관내의 문서에 대한 정보를 저장하기도 한다. 문서에 대한 이러한 부가적인 정보의 몇몇은 종이 문서 메타데이터의 형태이다. 일반 공중과 같은 자신들외의 사람에 의한 접근을 위하여 제3자는 공공의 주석을 생성할 수 있다. 문서상의 제3자의, 주석으로의 링크는 유용한데 이는 다른 사용자의 주석 파일을 읽음으로써 가입자의 문서의 이해를 강화하기 때문이다.
몇몇 실시예에서, 본 시스템은 클래스별로 기사를 보관한다. 이러한 특징은 라이프 도서관 가입자가 각각의 종이 문서로의 접근없이 종이 문서의 전체 클래스로 전자 사본을 신속히 저장할 수 있게한다. 예컨대, 가입자가 내셔널 지오그래픽 잡지의 사본으로부터 몇몇 텍스트를 스캔할때, 시스템은 가입자게게 내셔널 지오그래픽의 모든 백 이슈를 보관하기 위한 옵션을 제공한다. 가입자가 모든 백 이슈를 보관하도록 결정하면, 라이프 도서관 서비스 프로바이더는 가입자가 이렇게 하도록 승인되어 있는지를 내셔널 지오그래픽 소사이어티에 확인한다. 승인되어 있지 않으면, 라이프 도서관 서비스 프로바이더는 내셔널 지오그래픽 잡지 컬렉션을 보관할 권리의 구매를 중개할 수 있다.
16.2. 라이프 세이버
라이프 도서관 개념을 변형 또는 개선한 것이 "라이프 세이버"인데, 본 시스템은 다른 활동에 대하여 보다 많이 추론하기 위하여 사용자에 의해 캡처된 텍스트를 사용한다. 특정 식당의 메뉴, 특정 극장 공연의 프로그램, 특정 기차역에서의 시간표, 또는 지역 신문의 기사를 스캐닝함으로써 본 시스템이 사용자의 위치와 사회 활동에 대한 추론을 가능하게 하고, 예컨대 웹사이트로서 그들에 대한 자동 다이어리를 구성할 수 있다. 사용자는 이 다이어리를 편집하고 수정하고, 사진등 부가 기사를 부가하며 스캔된 항목을 다시 볼 수 있을 것이다.
17. 학술적 응용
상기한 시스템이 지원하는 휴대용 스캐너는 학술적 설정에 있어서 많은 어쩔 수 없는 용도를 갖는다. 이러한 스캐너는 학생/선생님간 상호작용을 향상시킬 수 있고 배우는 경험을 증대시킬 수 있다. 이러한 용도중, 학생들은 그들의 독특한 필요에 맞추기 위해 학습 기사에 주석을 달 수 있고 선생님들은 학업 성과를 모니터링할 수 있으며 학생들의 과제물에 인용된 소스 기사를 자동적으로 확인할 수 있다.
17.1. 아이들용 책
책과 같은 종이 문서와 아이들의 상호작용은 본 시스템의 특정 실시예 세트를 채용하는 문해 습득 시스템에 의해 모니터링된다. 아이들은 문해 습득 시스템의 다른 엘리먼트와 통신하는 휴대용 스캐너를 사용한다. 휴대용 스캐너에 더하여, 문해 습득 시스템은 디스플레이 및 스피커를 구비한 컴퓨터와 이 컴퓨터에 의해 액세스가능한 데이터베이스를 포함한다. 본 스캐너는 컴퓨터와 (유선, 단거리 RF등으로) 연결된다. 아이가 책에서 모르는 단어를 보면, 그것을 스캐너로 스캔한다. 일 실시예에서, 문해 습득 시스템은 스캔된 텍스트와 데이터베이스내의 리소스를 비교하여 단어를 식별한다. 데이터베이스는 사전, 시소러스, 및/또는 멀티미디어 파일(예컨대 소리, 그래픽등)을 포함한다. 단어가 식별된후, 이 시스템은 컴퓨터 스피커를 사용하여 그 단어와 정의를 아이들에게 발음해준다. 또 다른 실시예에서, 이 단어와 정의가 문해 습득 시스템에 의해 컴퓨터 모니터상에 디스플레이된다. 스캔된 단어에 대한 멀티미디어 파일은 컴퓨터 모니터와 스피커를 통해 재생될 수도 있다. 예컨대, "금발의 미녀와 세마리의 곰"을 읽고있는 아이가 단어 "곰"을 스캔하면, 시스템은 단어 "곰"을 발음하고 컴퓨터 모니터상에 곰에 대한 짧은 동영상을 재생할 수 있다. 이런식으로, 아이들은 씌여진 단어를 발음하는 것을 배우고 그 단어가 의미하는 바를 멀티미디어 소개를 통해 시각적으로 습득한다.
문해 습득 시스템은 배움 프로세스를 강화하기 위하여 즉각적인 청각적 및/또는 시각적 정보를 제공한다. 아이들은 이러한 보충 정보를 사용하여 기록된 문서의 보다 깊은 이해를 신속히 얻는다. 본 시스템은 초심 독자가 독서하는 것을 가르치는데 사용될 수 있고 아이들이 보다 넓은 어휘력등을 얻는데 돕기위해 사용될 수 있다. 이 시스템은 아이들에게 친밀하지 않은 단어나 아이들이 보다 많은 정보를 원하는 정보를 제공한다.
17.2. 문해 습득
몇몇 실시예에서, 본 시스템은 개인 사전을 컴파일한다. 독자가 새롭거나, 재미있거나, 특히 유용하거나 성가신 단어를 보면, 컴퓨터 파일로 (정의와 함께) 저장한다. 이러한 컴퓨터 파일은 독자의 개인화된 사전이 된다. 이러한 사전은 일반적으로 보통의 사전보다 사이즈가 작고 따라서 이동 단말 또는 연관된 장치로 다운로드될 수 있고 따라서 시스템이 즉시 액세스될 수 없는 경우에도 이용가능하게 된다. 몇몇 실시예에서, 개인 사전 입력은 적당한 단어의 발음을 돕기 위한 음성 파일과 단어가 스캔된 종이 문서를 식별하는 정보를 포함한다.
몇몇 실시예에서, 본 시스템은 학생들을 위한 커스터마이징된 스펠링 밍 어휘 테스트를 생성한다. 예컨대, 학생이 과제물을 읽을때, 그 학생은 휴대용 스캐너로 낯선 단어를 스캔할 수 있다. 이 시스템은 그 학생이 스캔한 모든 단어 목록을 저장한다. 이후, 시스템은 커스터마이징된 스펠링/어휘 테스트를 학생에게 연관된 모니터상에 제공한다(또는 이러한 테스트를 연관된 프린터에 인쇄한다).
17.3. 음악 교습
악보의 배치는 텍스트 라인에 문자를 배치하는 것과 유사하다. 본 시스템에서 텍스트를 캡처하기 위하여 상기한 같은 스캐닝 장치를 이용하여 악보를 캡처할 수 있고, 알려진 악곡의 데이터베이스에 검색를 구성하는 유사한 프로세스가 캡처가 일어나는 악곡이 식별될 수 있도록 하여 이후 검색, 재생, 또는 몇몇 다른 활동의 기초가 될 수 있게된다.
17.4. 표절 탐지
선생님들은 본 시스템을 사용하여 학생들의 과제물에서 텍스트를 스캐밍하고 스캔된 텍스트를 본 시스템에 제공함으로써 표절을 탐지하거나 원본을 확인할 수 있다. 예컨대, 학생의 과제물에 있는 발췌문이 학생이 인용한 소스로부터 왔다는 것을 확인하기를 원하는 선생님은 그 발췌문의 일부를 스캔하고 시스템에 의해 식별된 문서의 제목과 학생이 인용한 문서의 제목을 비교할 수 있다. 마찬가지로, 본 시스템은 그 학생의 원래의 작업물로 제출된 과제물로부터의 텍스트의 스캔을 사용하여 그 텍스트가 카피되었는지를 보일 수 있다.
17.5 개선된 텍스트상자
일부 실시예에서, 학술 교재로부터 텍스트를 캡쳐하는 것은 학생 또는 스태프을 보다 상세한 설명, 추가적인 연습, 자료에 대한 학생 및 스태프의 논의, 관련된 모범적인 과거의 시험 문제, 주제에 대해 추가적인 논문, 주제에 대한 강의 기록, 등에 연결시킨다.(섹션 7.1을 보라)
17.6 언어 학습
일부 실시예에서, 시스템은 외국어를 가르치기 위해 사용된다. 예를 들면 스페인어 단어를 스캐닝하는 것은 그 단어의 영어 정의와 함께 스페인어로 상기 단어를 크게 읽도록 할 수 있다.
시스템은 새로운 언어 습득 프로세스를 개선시키기 위해 즉각적인 청각 및/또는 시각 정보를 제공한다. 독자는 자료의 보다 깊은 이해를 빨리 습득하기 위해 이러한 보충 정보를 이용한다. 시스템은 외국어를 읽으려하는 초보 학생을 가르치고, 학생들이 보다 많은 어휘 등을 습득하는 것을 돕는 데에 사용될 수 있다, 시스템은 독자에게 낯설거나 또는 독자가 더 많은 정보를 원하는 외국어 단어에 관한 정보를 제공한다.
신문 또는 책과 같은 페이퍼 문서와의 독자의 상호작용은 언어 스킬 시스템 에 의해 모니터링된다. 상기 독자는 언어 스킬 시스템과 통신하는 휴대가능한 스캐너를 갖는다. 일부 실시예에서, 언어 스킬 시스템은 디스플레이 및 스피커를 구비한 컴퓨터 및, 상기 컴퓨터에 의해 액세스가능한 데이터베이스를 포함한다. 상기 스캐너는 컴퓨터와 통신한다(배선에 의해 접속된, 단거리 범위 RF, 등). 독자가 기사에서 모르는 단어를 보았을 때, 독자는 스캐너로 그것을 스캔한다. 데이터베이스는 외국어 사전, 유의어반의어사전, 및/또는 멀티미디어 파일(음성, 그래픽 등)을 포함한다. 일 실시예에서, 시스템은 스캔된 단어를 식별하기 위해 스캔된 텍스트를 자신의 데이터베이스에서의 리소스와 비교한다. 단어가 식별된 후에, 시스템은 컴퓨터 스피커를 사용하여 단어와 그 정의를 독자에게 전달한다. 일부 실시예에서, 단어와 그 정의 모두가 컴퓨터 모니터 상에 디스플레이된다. 스캔된 단어에 연관된 문법 팁에 관한 멀티미디어 파일 또한 컴퓨터 모니터와 스피커를 통해서 재생될 수 있다. 예를 들면, "to speak" 라는 단어가 스캔되면, 시스템은 "hablar"라는 단어를 발음하고, 적절한 스페인어 발음을 나타내는 짧은 오디오 클립을 재생시키고, "hablar"의 다양한 동사 변화형의 완벽한 목록을 디스플레이한다. 이러한 방식으로, 학생은 문자로 쓰여진 단어를 발음하는 것을 배우고, 멀티미디어 프리젠테이션에 의해 단어의 철자법을 시각적으로 배우고, 동사를 변화시키는 방법을 배운다. 시스템은 또한 공통적인 문구와 함께 적절한 "hablar"의 사용법에 관한 문법팁을 설명한다.
일부 실시예에서, 유저는 유저의 모국어(또는 유저가 합리적으로 잘아는 언어)가 아닌 언어로 된 렌더링된 문서로부터 단어 또는 짧은 문구를 스캔한다. 일 부 실시예에서, 시스템은 유저의 "선호하는" 언어의 우선 순위 목록을 관리한다. 시스템은 렌더링된 문서의 전자 사본을 식별하고, 문서 내의 스캔 위치를 판정한다. 시스템은 또한 유저의 선호하는 언어 중 어느 하나로 번역된 문서의 제 2 전자 사본을 식별하고, 원문서에서의 스캔 위치에 상응하는 번역된 문서에서의 위치를 판정한다. 상응 위치가 정확하게 알려지지 않을 때, 시스템은 스캔된 위치의 상응 위치를 포함하는 작은 영역(예를 들면, 문단)을 식별한다. 그런 다음, 상기 상응하는 번역된 위치가 유저에게 제시된다. 이것은, 흔히 단어-당-단어 기반으로 정확하게 번역하기 어려운 은어 또는 다른 관용어법을 포함하는, 스캔된 위치에서의 특정한 어법의 정확한 번역을 유저에게 제공한다.
17.7 연구자료의 수집
특정한 토픽을 연구하는 유저는, 그들이 일련의 개인적인 아카이브에 토픽에 관련된 것으로 기록하기를 원하는, 인쇄된 그리고 화면 상의 모든 종류의 자료를 만날 수 있다. 시스템은 이러한 프로세스가 임의의 하나의 자료에서 짧은 문구를 스캐닝하는 결과로써 자동화될 수 있고, 또한 주제에 대한 간행물에 삽입하기에 적합한 참고문헌을 생성할 수도 있다.
18. 상업적 적용
명백하게, 상업적 활동이 본 문에서 논의된 거의 모든 프로세스로부터 만들어질 수 있지만, 여기서 우리는 소수의 명확한 수입 흐름에 집중하자.
18.1 요금기반 검색 및 인덱싱
종래 인터넷 검색 엔진은 일반적으로 전자문서의 무료 검색을 제공하고, 또한 인덱스에 콘텐트 공급자의 콘텐트를 포함하는 것에 대해 콘텐트 공급자에게 요금을 청구하지 않는다. 일부 실시예에서, 시스템은 유저에 대한 비용 청구 및/또는 검색 엔진에 대한 비용지급 및/또는 시스템의 운용 및 사용과 연결하여 컨텐츠 공급자에 대한 비용을 청구한다.
일부 실시예에서, 시스템 서비스에 대한 가입자는 페이퍼 문서의 스캔에 기원한 검색을 위한 요금을 지불한다. 예를 들면, 증권중개인은 컴파니 X에 의해 제공된 새로운 제품에 관한 월스트리트 저널의 기사를 읽을 수 있을 것이다. 페이퍼 문서로부터 컴파니 X의 명칭을 스캐닝하고, 필요한 요금의 지불에 동의함으로써, 증권 중개인은 애널리스트의 보고서와 같은 상기 회사에 관한 프리미엄 정보를 취득하기 위해 특별한 또는 독점적인 데이터베이스를 검색하기위해 시스템을 이용한다. 시스템은 또한, 예를 들면 특정한 날에 발간된 모든 신문들이 인덱싱되고 그것들이 기사가 게재될 때까지 사용가능한 것을 보장함으로써, 페이퍼 형태로 가장 많이 읽혀지는 문서가 인덱싱의 우선순위를 가지도록 배치한다.
콘텐트 공급자는 페이퍼 문서로부터 제시된 검색 문의에서 특정한 용어에 연관된 요금을 지불한다. 예를 들면, 일 실시예에서, 시스템은 공급자에 관한 추가적인 컨텍스트에 기초한(이 경우, 컨텍스트는 콘텐트 공급자가 결과 목록을 위로 올리기 위한 요금을 지급한 것임) 가장 선호되는 콘텐트 공급자를 선택한다. 근본적으로, 검색 공급자는 콘텐트 공급자와의 사전의 재정 계약에 기초하여 페이퍼 문서 검색 결과를 조정한다. 섹션 5.2에서의 키워드 및 주요 어구의 상세를 보라.
특정한 콘텐트에 대한 액세스가 특정한 그룹의 사람(클라이언트 또는 피고용자 등)에 한정되는 경우, 이러한 콘텐트는 방화벽에 의해 보호될 수 있고, 그 결과 일반적으로 제 3자에 의해 인덱싱할 수 없게된다. 콘텐트 공급자는 그럼에도 불구하고 보호된 콘텐트에 대한 인덱스를 공급하기를 원할 수 있다. 그러한 경우, 콘텐트 공급자는 시스템 가입자들에게 콘텐트 공급자의 인덱스를 제공하도록 서비스 공급자에 요금을 지급할 수 있다. 예를 들면, 법률회사는 클라이언트의 문서 모두를 인덱스할 수 있다. 상기 문서들은 법률회사의 방화벽 뒤에 저장된다. 그러나 법률회사는 자신의 피고용인과 클라이언트가 휴대가능한 스캐너를 통해 상기 문서들에 액세스하여 서비스 공급자에게 인덱스(또는 인덱스에 대한 포인터)를 제공하고, 법률회사의 피고용자 또는 클라이언트가 그들의 휴대가능한 스캐너를 통해 페이퍼-스캔된 검색 용어를 제시할 때, 서비스 공급자가 차례로 법률회사의 인덱스를 검색하기를 원한다. 법률회사는 상기 기능을 가능하게 하기 위해 서비스 공급자의 시스템에 피고용인 및/또는 클라이언트의 목록을 제공할 수 있거나, 또는 시스템이 상기 법률회사의 인덱스를 검색하기 전에 법률회사에 문의함으로써 액세스 권한을 검증할 수 있다. 상술한 예에서, 법률회사에 의해 제공된 인덱스는 그 클라이언트의 문서에 한정되는 것이지, 법률회사의 모든 문서의 인덱스가 아님에 유의하라. 따라서, 서비스 공급자는 법률회사가 그 클라이언트를 위해 인덱싱한 문서에 대해서만 법률회사의 클라이언트가 액세스하도록 승인할 수 있다.
페이퍼 문서에 기원한 검색으로부터 야기될 수 있는 적어도 2 가지의 개별 수입흐름이 있는데: 하나는 검색 기능으로부터의 수입 흐름이고, 다른 하나는 콘텐트 전달 기능으로부터의 수입흐름이다. 상기 검색 기능의 수입은 스캐너 유저의 유료 가입으로부터 생성되지만, 또한 검색당 요금에 따라 생성될 수도 있다. 콘텐트 전달 수입은 콘텐트 공급자 또는 저작권 소유자와 공유될 수 있지만(서비스 공급자는 각 전달에 대해 일정한 매매의 퍼센트 또는 최소지불액과 같은 고정된 요금을 취할 수 있다.), 또한 서비스 공급자가 거래를 중개하는 지의 여부를 고려하지 않고, 가입자가 온라인 카탈로그로부터 주문을 하고, 시스템에 그에 배송 또는 제공하는 모든 아이템에 대해 시스템이 요금 또는 퍼센트를 취하는 "위탁" 모델에 의해 생성될 수도 있다. 일부 실시예에서, 시스템 서비스 공급자는 소정의 시간 동안 또는 식별된 제품의 구매가 이루어진 임의의 후속하는 시간에 가입자가 콘텐트 공급자로부터 행한 모든 구매에 대한 수입을 받는다.
18.2 카탈로그
소비자는 페이퍼 카탈로그로부터 구매를 행하기 위해 휴대가능한 스캐너를 이용할 수 있다. 가입자는 상기 카탈로그를 식별하는 정보를 카탈로그로부터 스캔한다. 이러한 정보는 카탈로그로부터의 텍스트, 바코드, 또는 카탈로그의 또다른 식별자이다. 가입자는 그녀/그가 구매하기를 원하는 제품을 식별하는 정보를 스캔한다. 카탈로그 메일링 라벨은 카탈로그 벤더에 대해 소비자를 식별하는 소비자 식별 번호를 포함할 수 있다. 만약 그렇다면, 가입자는 이러한 소비자 식별 번호도 스캔할 수 있다. 시스템은 소비자의 선택과 소비자 식별 번호를 벤더에게 제공함으로써 카탈로그 구매를 돕기위해 가입자와 벤더 사이에서 중개자로서의 역할을 한다.
18.3 쿠폰
소비자는 페이퍼 쿠폰을 스캔하여, 추후의 복구와 사용을 위해 스캐너, 또는 컴퓨터와 같은 원격 디바이스에 쿠폰의 전자 복사본을 저장한다. 전자적 저장의 장점은 소비자가 페이퍼 쿠폰을 가지고 다니는 번거로움으로부터 자유롭다는 것이다. 추가적인 장점은 전자 쿠폰은 어떠한 위치에서건 가져올 수 있다는 것이다. 일부 실시예에서, 시스템은 쿠폰의 만료 기일을 추적하고, 곧 만료되는 쿠폰에 관해 소비자에게 경고하고, 및/또는 기한이 만료된 쿠폰을 저장에서 삭제할 수 있다. 쿠폰 발급자에 대한 장점은 누가 쿠폰을 사용하고 있는지, 그리고 언제 어디서 그것들이 캡쳐되고 사용되는지에 관해 보다 많은 피드백을 받을 가능성이 있다는 것이다.
19. 일반적인 응용
19.1 폼
시스템은 페이퍼 폼에 상응하는 전자 문서를 자동으로 채우는(auto-populate) 데에 사용될 수 있다. 유저는 페이퍼 폼을 고유하게 식별하는 일련의 텍스트 또는 바코드를 스캔한다. 스캐너는 인접한 컴퓨터에 유저를 식별하는 폼과 정보의 신원을 통신한다. 인접한 컴퓨터는 인터넷 연결을 가진다. 인접한 컴퓨터는 폼의 제 1 데이터베이스와 스캐너의 유저에 관한 정보(서비스 공급자의 가입자 정보 데이터베이스와 같은)를 구비한 제 2 데이터베이스에 액세스할 수 있다. 인접한 컴퓨터는 제 1 데이터베이스로부터의 페이퍼 폼의 전자적 버전에 액세스하고, 제 2 데이터베이스로부터 취득된 유저 정보로부터 폼의 필드를 자동으로 채운다. 그런다음 인접한 컴퓨터는 완료된 폼을 의도한 수취인에게 이메일로 전송한다. 대안으로, 상기 컴퓨터는 인접한 프린터에서 완료된 폼을 인쇄할 수 있다.
외부 데이터베이스에 액세스하는 것이 아닌, 일부 실시예에서, 시스템은 신원 모듈, SIM, 또는 보안 카드에서와 같이, 유저 정보를 포함하고 있는 휴대가능한 스캐너를 구비한다. 상기 스캐너는 인접한 PC로 폼을 식별하는 정보를 제공한다. 인접한 PC는 전자 폼에 액세스하여, 상기 폼을 채우기 위해 필요한 정보를 스캐너에게 문의한다.
19.2 업무용 명함
시스템은 페이퍼 문서로부터 전자 주소록 또는 다른 컨택트 목록을 자동으로 채우는 데에 사용될 수 있다. 예를 들면, 새롭게 만난 사람의 업무용 명함을 받았을 때, 유저는 그/그녀의 휴대폰으로 상기 명함의 이미지를 캡쳐할 수 있다. 시스템은 상기 명함의 전자 복사본을 위치지정하고, 이것은 새롭게 만난 사람의 컨택트 정보를 가진 휴대폰의 온보드 주소록을 업데이트하는 데에 사용될 수 있다. 상기 전자 복사본은 업무용 명함에 압축될 수 있는 새롭게 만난 사람에 관한 보다 많은 정보를 담을 수 있다. 또한, 온보드 주소록은 전자 복사본에 대한 임의의 변경사항이 휴대폰의 주소록에서 자동으로 업데이트되도록 전자 복사본에 대한 링크도 저장할 수 있다. 본 예에서, 업무용 명함은 전자 복사본이 있음을 가리키는 심볼 또는 텍스트를 선택적으로 포함한다. 전자 복사본이 없다면, 휴대폰은 새롭게 만난 사람에 대해 주소록에 기입사항을 채워 놓기 위해 OCR 및 표준 업무용 명함 포맷의 지식을 이용할 수 있다. 심볼은 또한 상기 이미지로부터 직접 정보를 추출하는 프 로세스를 도울 수도 있을 것이다. 예를 들면, 업무용 명함 상의 전화번호 다음에 있는 전화 아이콘은 전화 번호의 위치를 판정하기 위해 인식될 수 있다.
19.3 교정/편집
시스템은 교정 및 편집 프로세스를 개선시킬수 있다. 시스템이 편집 프로세스를 개선시킬 수 있는 한가지 방식은 페이퍼 문서와 편집자의 상호작용을 그의 전자 사본에 링크하는 것에 의한 것이다. 편집자가 페이퍼 문서를 읽고, 그 문서의 여러 부분을 스캔할 때, 시스템은 상기 페이퍼 문서의 전자 사본에 대한 적절한 주석과 편집을 할 것이다. 예를 들면, 편집자가 텍스트 부분을 스캔하고 스캐너로 "새로운 문단"의 제어 제스쳐를 하면, 스캐너와 통신하는 컴퓨터는 상기 문서의 전자 복사본에서의 스캔된 텍스트의 위치에 "새로운 문단"의 브레이크를 삽입할 것이다.
19.4 음성 주석
유저는 상기 문서로부터 텍스트 부분을 스캐닝하고, 스캔된 텍스트에 연관된 음성 녹음을 함으로써 문서에 대한 음성 주석을 달 수 있다. 일부 실시예에서, 스캐너는 유저의 구두 주석을 녹음하기 위한 마이크로폰을 구비한다. 구두 주석이 녹음된 후에, 시스템은 텍스트가 스캔된 문서를 식별하고, 상기 문서내에 스캔된 텍스트를 위치시키고, 그 지점에 음성 주석을 첨부한다. 일부 실시예에서, 시스템은 스피치를 텍스트로 변환하고, 텍스트의 코멘트로서 주석을 첨부한다.
일부 실시예에서, 시스템은 상기 문서에 포함된 주석에 대한 참조로서만 상기 주석을 상기 문서와 분리시켜 유지한다. 그런 다음 주석은 지정된 가입자 또는 유저 그룹을 위한 문서에 대한 주석 마크업 층이 된다.
일부 실시예에서, 각각의 캡쳐 및 연관된 주석에 대해, 시스템은 문서를 식별하고, 소프트웨어패키지를 이용하여 그것을 열고, 스캔 위치로 스크롤하고, 음성 주석을 재생한다. 그런 다음, 유저는 음성 주석, 그들 자신 또는 다른 사람에 의해 제시된 변경 또는 기타 기록된 코멘트를 참조하면서 문서와 상호작용한다.
19.5 텍스트로 된 도움말
상술한 시스템은 전자 도움말 메뉴로 페이퍼 문서를 개선시키는 데에 사용될 수 있다. 일부 실시예에서, 페이퍼 문서에 연관된 마크업 층은 상기 문서에 대한 도움말 메뉴 정보를 포함한다. 예를 들면, 유저가 문서의 특정한 부분으로부터 텍스트를 스캔할 때, 시스템은 상기 문서에 연관된 마크업을 체크하고, 도움말 메뉴를 유저에게 제공한다. 도움말 메뉴는 스캐너의 디스플레이 또는 연관된 인접한 디스플레이 상에 표시된다.
19.6 디스플레이 사용
일부 상황에서, 텔레비전, 컴퓨터 모니터, 또는 다른 유사한 디스플레이로부터 정보를 스캔할 수 있는 것이 유리하다. 일부 실시예에서, 휴대가능한 스캐너가 컴퓨터 모니터와 텔레비전으로부터 정보를 스캔하는 데에 사용된다. 일부 실시예에서, 휴대가능한 광학 스캐너는 래스터라이징, 스크린 브랭킹 등과 같은 전형적인 음극선 튜브(CRT) 디스플레이 기술로 작업하기에 최적화된 조명 센서를 가진다.
문서로부터 텍스트를 읽는 유저의 오디오를 캡쳐함으로써 동작하는 음성 캡쳐 디바이스는 일반적으로 문서가 페이퍼 상에 있는지, 디스플레이 상인지, 또는 기타 다른 매체 상인지의 여부에 상관없이 작동한다.
19.6.1. 공공 키오스크 및 동적 세션 IDs
디스플레이의 직접 스캐닝의 일 사용은 섹션 15.6에 기술된 것과 같은 디바이스에 연관된 것이다. 예를 들면, 일부 실시예에서, 공공 키오스크는 동적 세션 ID를 자신의 모니터 상에 표시한다. 상기 키오스크는 인터넷 또는 회사 인트라넷과 같은 통신 네트워크에 연결된다. 세션 ID는 주기적으로, 하지만, 적어도 새로운 세션 ID가 모든 유저에게 표시되도록 하기 위해 키오스크가 사용될 때는 항상 변화한다. 상기 키오스크를 사용하기 위해, 가입자는 키오스크 상에 표시된 세션 ID를 스캔한다; 상기 세션 ID를 스캐닝함으로써 유저는, 자신이 인쇄된 문서의 스캔 또는 키오스크 스크린 자체로부터 발생한 콘텐트의 전달을 위해 상기 키오스크를 자신의 스캐너에 임시로 연결시키기를 원한다는 것을 시스템에 표현한다. 상기 스캐너는 세션 ID와 스캐너를 인증하는 다른 정보(시리얼 번호, 계정 번호, 또는 기타 식별 정보)를 직접 시스템에 통신할 수 있다. 예를 들면, 스캐너는 유저의 휴대폰(블루투스™를 통해 유저의 스캐너와 쌍을 이루는)을 통해 세션 초기화 메시지를 전송함으로써 시스템과 직접(여기서 "직접"은 키오스크를 통해 메시지를 통과시키지 않는 것을 의미함) 통신할 수 있다. 대안으로, 스캐너는 키오스크와 무선 링크를 구축하고, 세션 초기화 정보를 키오스크에 전송함으로써(아마도 블루투스™, 등과 같은 짧은 범위의 RF를 통해) 키오스크의 통신 링크를 이용할 수 있다; 응답하여, 키오스크는 자신의 인터넷 연결을 통해 시스템에 세션 초기화 정보를 전송한다.
시스템은 디바이스가 스캐너와 연결되어 있는 기간(또는 세션) 동안 스캐너에 이미 연결된 디바이스를 다른 사람이 이용하는 것을 방지할 수 있다. 이러한 특징은 또다른 사람의 세션이 끝나기 전에 다른 사람이 공공 키오스크를 이용하는 것을 방지하는 데에 유용하다. 인터넷 카페에서 컴퓨터를 이용하는 것에 관련된 이러한 개념의 예로서, 유저는 그녀/그가 사용하기를 원하는 PC의 모니터 상의 바코드를 스캔하고; 응답하여, 시스템이 그것이 디스플레이되는 모니터로 세션 ID를 전송하고; 유저는 모니터로부터 세션 ID를 스캔함으로써(또는 그것을 휴대가능한 스캐너 상의 키패드 또는 터치 스크린 또는 마이크로폰을 통해 입력함으로써) 세션을 초기화하고; 다른 스캐너가 세션 ID를 스캔하고 그/그녀의 세션 동안 모니터를 이용할 수 없도록 시스템이 자신의 데이터베이스에서 세션 ID를 그/그녀의 스캐너의 시리얼 번호(또는 유저 스캐너를 고유하게 식별하는 다른 식별자)와 연결시킨다. 스캐너는 모니터와 연결된 PC와 통신하거나(블루투스™와 같은 무선 링크, 또는 도킹 스테이션과 같은 배선 연결을 통해), 또는 휴대폰 등과 같은 다른 수단을 통해 시스템과 직접(즉, PC를 통하지 않고) 통신한다.
제 4 파트 - 시스템 디테일
도 4는 시스템(420)의 일예의 컴포넌트를 도시하는 블록도이다. 이 시스템(420)은 렌더링된 문서(426)를 스캐닝하고 컴퓨팅 디바이스(430)에 연결된 스캐너(428)를 포함한다. 컴퓨팅 디바이스(430)의 예는 (데스크톱, 랩톱 및 팜 컴퓨터를 포함하는) 퍼스널 컴퓨터, 퍼스널 디지털 어시스턴트, 휴대폰, 또는 처리 또는 전송 기능을 수행하는 컴포넌트를 포함하는 임의의 다른 디바이스이다. 이 컴퓨팅 디바이스(430)는 광학식 문자 인식(OCR) 로직(438), 스캐너(428)에 의해 생성된 데이터를 분석하거나 처리하기 위한 다른 로직(440)을 포함할 수 있다. 이 컴퓨팅 디바이스(430)는 또한 디스플레이(442), 및 예를 들어, 마우스, 터치패드, 키보드, 스피커, 마이크로폰, 및/또는 전화 라인 인터페이스와 같은 가능한 추가 입출력 디바이스를 포함할 수 있다.
스캐너(428)는 작고, 휴대가능한 디바이스, 예를 들어, 열쇠 장식물, 신용카드, 또는 포켓, 키체인, 지갑등에 의해 용이하게 휴대되는 다른 디바이스내에 포함되거나 패키지화될 수 있다. 스캐닝 능력을 포함할 수 있는 디바이스의 예는 펜 타입의 디바이스, 폰, 퍼스널 디지털 어시스턴트, 리모트 컨트롤, 및 마우스를 포함한다. 스캐너(428)는 유선 또는 무선 기능, 예를 들어, 블루투스™ 무선 기술을 사용하여 컴퓨팅 디바이스(430)와 상호작용할 수 있다.
스캐너(428)는 문서가 렌더링되는 배경으로부터 심볼 및 다른 정보를 구별하기에 충분한 렌더링된 문서내의 컨트라스트를 검출하는 검출 컴포넌트(444)를 포함한다. 예로서 밀착형 이미지 센서(CIS) 또는 전하 결합 소자(CCD)를 포함한다. 또한, 스캐너(428)는 스캐닝된 정보, 연관된 컨텍스트, 및/또는 다른 신호를 위한 저장부를 제공하는 메모리(446)를 포함한다. 또한, 스캐너(428)는 스캐닝된 정보에 대한 시간 주기 스탬프의 형태로 스캔 컨텍스트를 제공하는 스캔 컨텍스트 컴포넌트(447)를 포함할 수 있다.
검색 엔진 디바이스(448) 및 다른 로직 디바이스(450)는 인터넷 또는 인트라 넷과 같은 네트워크(432)를 통해 컴퓨팅 디바이스에 연결되어 있다. 스캐너(428)는 네트워크(432)를 통해 디바이스(448, 450)와 통신하는 컴퓨팅 디바이스(430)와 통신한다.
저장 디바이스(454)는 네트워크(432)를 통해 디바이스(448,450)에 직접적으로 또는 간접적으로 연결되어 있다. 저장 디바이스(454)는 사용자 정보, 렌더링된 문서의 디지털 카피, 상기 디지털 카피의 내용에 대한 정보(예를 들어, 인덱스)를 다양한 데이터베이스에 저장한다. 이 데이터베이스는 네트워크(432)를 통해 다른 저장 디바이스에 분배될 수 있다.
일실시예에서, 스캐너(428)는 렌더링된 문서(426)로부터 정보를 스캐닝하기 위해 사용자에 의해 채용된다. 렌더링된 문서(426)로부터 스캐닝된 정보는 렌더링된 문서(426)에 상응하는 전자 콘텐트를 유일하게 식별하는 "서명"을 형성할 수 있다. 이 "서명"은 10개 미만의 단어, 또는 아이콘, 심볼, 또는 마크를 포함할 수 있다. 검색 엔진 디바이스(448)는 네트워크(432)를 통해 액세스가능하거나 저장 디바이스(454)에 저장된 콘텐트중에서 디지털 콘텐트를 고유하게 식별하기 위해 "서명"을 사용한다.
스캔으로부터 수집된 정보량은 공지된 스캔 컨텍스트의 정보에 종속될 수 있다. 따라서, 상기 문서로부터 상대적으로 적은 양의 정보를 스캐닝함으로써 그리고 스캔 컨텍스트를 적용함으로써, 렌더링된 문서(426) 및/또는 그 일부에 상응하는 전자 콘텐트를 위치시키는 것이 가능할 수 있다. 스캔 컨텍스트에 대해 보다 많이 공지되거나 예측될 때, 렌더링된 문서(426)로부터 보다 적은 스캐닝된 정보라도 충분할 수 있다.
스캐닝된 정보는 OCR 로직(438)에 의해 문자로 전환되거나 검색 문의의 형태로 검색 엔진(448)에 제출될 수 있다. 일실시예에서, 특징 추출 또는 템플릿 매칭 기술이 스캐닝된 정보에 상응하는 문자를 식별하기 위해 채용된다. 또한, 이미지 매칭 기술이 렌더링된 문서 또는 그 일부에 상응하는 전자 이미지와 렌더링된 문서의 스캐닝된 영역을 매칭하기 위해 채용될 수 있다.
스캐너(428), 컴퓨팅 디바이스(430), 및/또는 로직(450)은 스캐닝된 정보를 다른 사용가능한 형태의 데이터로 전환하거나 사전처리할 수 있다. 컴퓨터 프로세서 데이터 및 명령어(예를 들어, 소프트웨어)는 이러한 로직의 일예이다. 로직은 회로로, 또는 소프트웨어 및 회로의 조합으로 포함될 수 있다.
OCR 로직(438)에 의해 생성된 문자는 구글™ 및 야후™에 의해 제공된 것과 같은 월드 와이드 웹 검색 엔진에 또는 인트라넷 검색 엔진에 통신될 수 있다. 이 검색 엔진 기능은 네트워크(432)에 의해 액세스가능하거나 컴퓨팅 디바이스(430) 또는 스캐너(428)내에 포함될 수 있다.
컴퓨팅 디바이스(430)는 검색 엔진(448)으로부터 검색 결과를 수신할 수 있다. 이 결과는 렌더링된 문서(426)에 상응하는 특정 콘텐트를 식별할 수 있다. 이 결과는 디지털 카피 또는 전자 콘텐트, 또는 단지, 상기 디지털 카피 또는 전자 콘텐트가 존재하는 인디케이션으로의 실제 링크를 포함할 수 있다. 렌더링된 문서(426)에 상응하는 디지털 카피 또는 전자 콘텐트는 워드 프로세서 파일, 하이퍼텍스트 마크업 랭귀지, 텍스트 파일, 아도브 포터블 도큐먼트 포맷™ 파일, 또는 수많은 파일 포맷중 하나의 형태를 가질 수 있다.
도 5는 스캐너와 리모트 서버 사이의 암호화된 정보를 통신하기 위한 다양한 컴포넌트를 포함하는 시스템의 구성을 도시하는 블록도이다. 이러한 구성에서, 시스템(570)은 스캐너(528), 컴퓨팅 디바이스(530), 데이터 네트워크(532), 및 저장 디바이스(502)와 연관된 서버(500)를 포함한다. 일실시예에서, 컴퓨팅 디바이스(530) 및 서버(500)는 네트워크(532)를 통해 통신한다. 일실시예에서, 아노니마이저 서버(506)는 데이터 네트워크(532)를 통해 통신한다. 스캐너(528), 컴퓨팅 디바이스(530), 및 네트워크(532)는 도 4에 도시된 상응하여 번호부여된 컴포넌트와 유사하다.
스캐너(528)는 서버(500)에 주어질 때 식별될 인쇄 문서(526)와 연관된 디지털 콘텐트(예를 들어, 디지털 카피, 인덱스)를 서버(500)가 고유하게 식별할 수 있도록 하는 인쇄 문자(526)의 임의의 문자, 심볼, 아이콘 마크 또는 임의의 다른 스캐닝가능한 영역을 하이라이팅하기 위해 인쇄 문서(526)의 독자에 의해 제어된다. 사용자는 다양한 이유로 인쇄 문서(526)내의 기사(522) 또는 광고(524)를 식별하기를 원할 수 있다.
스캐너(528)는 스캐닝된 모든 것의 신호를 생성하고 이것을 디바이스(530)에 나중에 전달하기 위해 로컬 메모리에 저장할 수 있거나 이 신호를 즉시 디바이스(530)에 전송할 수 있다. 일단, 디바이스(530)가 스캐닝된 정보를 가지고 있다면, 디바이스(530)는 이것을 서버(500)에 전송하기 위해 준비한다. 이 스캐닝된 정보는 스캐너(528) 또는 디바이스(530)에 의해 대칭 또는 비대칭 스캐닝 기술을 사용하여 암호화된다. 서버(500)는 이 암호화된 스캐닝된 정보를 이전에 공유된 복호 정보에 기초하여 복호한다.
스캐닝된 정보의 암호화 및 복호는 다양한 대칭 또는 비대칭 암호화 기술에 의해 수행된다. 일예의 대칭 암호화 방법은 세션 키를 사용한다. 이 세션 키는 단일 메시지의 전송동안과 같은 제한된 시간 동안 또는 오직 한번만 사용된다. 예를 들어, 캘리포니아주의 팔로 알토의 PGP 코포레이션의 데이터 암호화 프로그램인 PGP(프레티 굳 프라이버시)는 세션 키를 정의하고, 대칭 (비밀키) 암호화 알고리즘을 사용하여 텍스트를 암호화하고 수신자의 공개키를 사용하여 상기 세션 키를 암호화함으로써 메시지를 암호화한다. 이러한 기술에 의해 단일 메시지가 한번에 암호화되어 필요한 대로 많은 PGP 사용자에게 분배될 수 있다. 사용자의 각각은 사용자의 공개키로 암호화된 세션 키를 수신한다.
대칭 암호화 기술의 일예는 공개/비밀 키 암호화이다. 공개/비밀 키 암호화는 공개 및 비밀 컴포넌트로 구성된 2개 파트의 키(코드)를 사용한다. 메시지를 암호화하기 위해, 공개된 수신자의 공개키가 사용된다. 메시지를 복호하기 위해, 수신자는 수신자에게만 공지된 공개되지 않은 비밀키를 사용한다.
공개/비밀 키 암호화에 사용된 세션 키 또는 비밀 키는 제조시에 스캐너내에 내장된 하드웨어에서 구현될 수 있다. 일실시예에서, 상기 키는 네트워크(532)를 통한 웹페이지를 통해 서버(500)에게 액세스하는 사용자에 의해 제공된다. 일단 등록이 완료되면, 사용자에게는 네트워크(532)를 통해 서버(500)에게 전송되는 데이터 (스캐닝된 정보 및/또는 식별 정보)를 암호화하기 위해 사용자의 컴퓨팅 디바 이스(530)에서 또는 사용자의 스캐너(528)에서 사용자가 사용하는 암호키가 사용자에게 공급된다.
도 6은 스캐너(528) 또는 디바이스(530)와 서버(500) 사이의 데이터의 암호화된 전송 및 수신을 보장하기 위한 프로세스(600)의 일예를 도시하는 순서도이다. 블록(608)에서, 사용자는 호스팅되거나 다소 서버와 연관된 보안 웹사이트에 액세스한다. 액세스는 등록 프로세스를 통해 얻어진 패스워드 (퍼스널 식별 번호 (PIN))의 입력을 통해 이루어진다. 블록(612)에서, 사용자는 보안 코드(비밀키)를 수신한다. 블록(614)에서, 사용자는 이 보안 코드를 스캐너(528) 또는 디바이스(530)내에 입력한다. 블록(616)에서, 스캐너(528) 또는 디바이스(530)가 보안 코드를 사용하여 스캐너(528)에 의해 생성된 데이터를 암호화한다. 블록(620)에서, 암호화된 데이터 (스캐닝된 정보)는 복호 및 연속 공정을 위해 서버(500)에 전송된다.
또한, 상기 키는 스캐너에 대한 영구 식별 정보일 수 있는 스캐너의 고유 식별자일 수 있거나 나중에 변경가능할 수 있다. 일실시예에서, 사용자 정보는 스캐닝된 정보를 암호화하기 위한 키로서 사용될 수 있다. 이 사용자 정보는 사용자를 구체적으로 식별하는 바코드의 스캔, 사용자 또는 스캐너를 고유하게 식별하는 서버(500)의 운영자에 의해 공급되는 고유의 식별 카드의 스캔, 또는 스캐너의 사용자를 고유하게 식별하는 운전면허증, 신용카드 또는 다른 스캐닝가능한 디바이스와 같은 또 다른 고유 형태의 식별의 스캔을 포함할 수 있다. 일실시예에서, 사용자 정보는 사용자에 대한 고유 생체 정보를 생성하는 지문 판독기 또는 다른 디바이스 에 의해 생성된 것과 같은 생체 정보일 수 있다.
상기 시스템은 또한, 다양한 형태의 사용자 식별 정보 또는 다양한 형태의 스캐너 식별 정보를 사용하여 고유의 암호/복호 키를 생성할 수 있다.
일실시예에서, 도 5에 도시된 바와 같이, 아노니마이저 서버(506)는 디바이스(530)로부터 스캐닝된 정보를 수신하고, 데이터 패킷내에 포함되어 있고 그 안에 프록시(IP) 주소를 삽입한 리턴 어드레스 정보(예를 들어, 인터내셔널 프로토콜(IP) 정보)를 스트립핑한다. 이 프록시(IP) 어드레스는 아노니마이저 서버(506)에 대한 어드레스이다. 이 아노니마이저 서버(506)는 상기 데이터의 암호화를 실행하지 않고, 단지 서버(500)로부터 리턴 (IP) 어드레스 정보를 숨겨서 서버(500)가 연관된 스캐닝된 정보를 누가 생성하였는지에 대해 모르도록 보장한다. 이 아노니마이저 서버(506)는 서버(500) 및 컴퓨터 디바이스(530) (또는 스캐너(528))와 데이터 패킷을 적합하게 통신하기 위해 정보의 패킷의 전송자 및 수신자의 레코드를 보관하고 있다. 아노니마이저 서버(506)의 일예는 Anonymizerⓒ (www.anonymizer.com)이다.
상기로부터 시스템의 특정 실시예가 설명을 위해 여기에 기술되었지만 다양한 수정이 본 발명의 정신 및 범위로부터 벗어남 없이 가능하다는 것을 이해할 것이다. 따라서, 본 발명은 첨부된 청구범위에 의해 한정된다.

Claims (73)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 모바일 디바이스를 사용하여 정보의 디스플레이로부터 텍스트를 포착하는 단계;
    상기 포착된 텍스트와 연관된 제품을 식별하는 단계;
    보안 코드를 사용하여, 상기 모바일 디바이스에 의해, 제품에 대한 지불과 연관된 정보 및 상기 식별된 제품과 연관된 정보를 암호화하는 단계 - 상기 보안 코드는 등록 프로세스의 일부로서 상기 모바일 디바이스에서 수신됨 -; 및
    상기 암호화된 정보를 전송하는 단계;
    를 포함하는 방법.
  54. 제53항에 있어서,
    상기 식별된 제품과 연관된 정보를 암호화하는 단계는 상기 보안 코드를 사용하여 상기 포착된 텍스트를 상기 모바일 디바이스에서 암호화하는 단계를 포함하고,
    상기 암호화된 정보를 전송하는 단계는, 상기 암호화된 텍스트를 전송하는 단계, 및 상기 식별된 제품과 연관된 정보를 전송하는 단계를 포함하는 방법.
  55. 제53항에 있어서,
    상기 제품이 디지털 콘텐트인 경우, 상기 모바일 디바이스에서 그 디지털 제품의 카피를 수신하는 단계, 및 상기 모바일 디바이스를 사용하여 상기 디지털 제품을 제공하는 단계를 더 포함하는 방법.
  56. 제53항에 있어서,
    상기 제품이 전자북인 경우, 상기 모바일 디바이스에서 상기 전자북의 카피를 수신하는 단계, 및 상기 모바일 디바이스를 사용하여 상기 전자북을 제공하는 단계를 더 포함하는 방법.
  57. 제53항에 있어서,
    상기 제품이 오디오 파일인 경우, 상기 모바일 디바이스에서 상기 오디오 파일의 카피를 수신하는 단계, 및 상기 모바일 디바이스를 사용하여 상기 오디오 파일을 제공하는 단계를 더 포함하는 방법.
  58. 제53항에 있어서, 상기 정보의 디스플레이로부터 텍스트를 포착하는 단계는 페이퍼 문서에 인쇄된 텍스트를 포착하는 단계를 포함하는 방법.
  59. 제53항에 있어서, 상기 정보의 디스플레이로부터 텍스트를 포착하는 단계는 디스플레이에 의해 제공된 렌더링된 문서의 텍스트를 포착하는 단계를 포함하는 방법.
  60. 제53항에 있어서, 상기 정보의 디스플레이로부터 텍스트를 포착하는 단계는 상기 정보의 디스플레이의 텍스트 부분을 포착하는 단계를 포함하는 방법.
  61. 제53항에 있어서, 상기 정보의 디스플레이로부터 텍스트를 포착하는 단계는 텍스트를 포함하는 디스플레이된 폼으로부터의 폼 필드의 일부를 포착하는 단계를 포함하는 방법.
  62. 제53항에 있어서, 상기 정보를 암호화하는 단계는 세션 키 암호화 기술을 사용하여 정보를 암호화하는 단계를 포함하는 방법.
  63. 제53항에 있어서, 상기 정보를 암호화하는 단계는 공개키/비밀키 암호화 기술을 사용하여 정보를 암호화하는 단계를 포함하는 방법.
  64. 모바일 디바이스의 프로세서에 의해 실행될 때 상기 모바일 디바이스가 기능들을 실행하도록 하는 컨텐츠를 갖는 컴퓨터 판독가능 매체로서, 상기 기능들은,
    정보의 디스플레이로부터 텍스트를 포착하는 기능;
    상기 포착된 텍스트와 연관된 제품을 식별하는 기능;
    보안 코드를 사용하여, 상기 제품에 대한 지불과 연관된 정보 및 식별된 제품과 연관된 정보를 암호화하는 기능 - 상기 보안 코드는 등록 프로세스의 일부로서 상기 모바일 디바이스에서 수신됨 -; 및
    상기 암호화된 정보를 전송하는 기능
    을 포함하는 컴퓨터 판독가능 매체.
  65. 제64항에 있어서, 상기 제품을 식별하는 기능은,
    다수의 선택가능한 옵션을 제공하는 기능; 및
    상기 다수의 선택가능한 옵션 중에서 하나 이상의 선택가능한 옵션의 선택을 수신하는 기능
    을 포함하는 컴퓨터 판독가능 매체.
  66. 제64항에 있어서, 상기 제품을 식별하는 기능은,
    옵션들의 그룹을 제공하는 기능 - 상기 옵션들의 그룹은 상기 식별된 제품을 구매하는 옵션, 상기 식별된 제품에 관한 정보를 요청하는 옵션, 및 상기 식별된 제품에 관한 정보를 데이터베이스에 저장하는 옵션을 포함함 -; 및
    상기 옵션들의 그룹으로부터 하나 이상의 옵션의 선택을 수신하는 기능
    을 포함하는 컴퓨터 판독가능 매체.
  67. 모바일 디바이스를 사용하여, 렌더링된 문서로부터 텍스트를 포착하는 단계;
    비밀 통신 세션을 달성하는 단계 - 상기 비밀 통신 세션을 달성하는 단계는 보안 코드를 사용하여, 통신 세션을 암호화하는 단계를 포함하고, 상기 보안 코드는 등록 프로세스의 일부로서 상기 모바일 디바이스에서 수신됨 -;
    상기 비밀 통신 세션을 사용하여 상기 포착된 텍스트를 전송하는 단계; 및
    상기 비밀 통신 세션을 사용하여, 상기 모바일 디바이스를 사용하여 포착된 택스트와 연관된 정보를 수신하는 단계
    를 포함하는 방법.
  68. 삭제
  69. 삭제
  70. 삭제
  71. 등록 프로세스의 일부로서 서버에 보안 코드를 생성하는 단계;
    상기 서버로부터 상기 보안 코드를 전송하는 단계;
    상기 보안 코드를 전송한 후에, 상기 서버에서, 렌더링된 문서로부터 포착된 텍스트의 암호화를 포함하는 데이터를 수신하는 단계 - 상기 텍스트의 암호화는 상기 보안 코드를 사용하여 암호화됨 -; 및
    상기 보안 코드를 사용하여, 상기 수신된 데이터에 포함된 상기 포착된 텍스트를 복호화하는 단계
    를 포함하는 방법.
  72. 제71항에 있어서,
    상기 텍스트의 암호화를 포함하는 데이터를 수신하는 단계는 리턴 어드레스 정보가 숨겨진 텍스트의 암호화를 포함한 데이터를 수신하는 단계를 포함하는 방법.
  73. 제72항에 있어서,
    상기 포착된 텍스트를 복호화하는 단계는 세션 키를 사용하여 상기 포착된 텍스트를 복호화하는 단계를 포함하고,
    상기 세션 키는 포착에 관한 정보를 포함하고, 상기 포착에 관한 정보는 생체 정보를 포함하는 방법.
KR1020077009691A 2004-09-27 2005-09-27 렌더링된 문서로부터의 보안 데이터 수집 KR101212929B1 (ko)

Applications Claiming Priority (151)

Application Number Priority Date Filing Date Title
US61345404P 2004-09-27 2004-09-27
US61346004P 2004-09-27 2004-09-27
US61333904P 2004-09-27 2004-09-27
US61363304P 2004-09-27 2004-09-27
US61334004P 2004-09-27 2004-09-27
US61334104P 2004-09-27 2004-09-27
US61336104P 2004-09-27 2004-09-27
US61346104P 2004-09-27 2004-09-27
US61324304P 2004-09-27 2004-09-27
US61324204P 2004-09-27 2004-09-27
US61363204P 2004-09-27 2004-09-27
US61345604P 2004-09-27 2004-09-27
US61340004P 2004-09-27 2004-09-27
US61358904P 2004-09-27 2004-09-27
US61363404P 2004-09-27 2004-09-27
US61360204P 2004-09-27 2004-09-27
US61345504P 2004-09-27 2004-09-27
US61362804P 2004-09-27 2004-09-27
US60/613,454 2004-09-27
US60/613,243 2004-09-27
US60/613,632 2004-09-27
US60/613,460 2004-09-27
US60/613,341 2004-09-27
US60/613,339 2004-09-27
US60/613,361 2004-09-27
US60/613,456 2004-09-27
US60/613,461 2004-09-27
US60/613,400 2004-09-27
US60/613,633 2004-09-27
US60/613,242 2004-09-27
US60/613,628 2004-09-27
US60/613,589 2004-09-27
US60/613,455 2004-09-27
US60/613,602 2004-09-27
US60/613,634 2004-09-27
US60/613,340 2004-09-27
US61537804P 2004-10-01 2004-10-01
US61511204P 2004-10-01 2004-10-01
US61553804P 2004-10-01 2004-10-01
US60/615,112 2004-10-01
US60/615,378 2004-10-01
US60/615,538 2004-10-01
US61712204P 2004-10-07 2004-10-07
US60/617,122 2004-10-07
US62290604P 2004-10-28 2004-10-28
US60/622,906 2004-10-28
US11/004,637 US7707039B2 (en) 2004-02-15 2004-12-03 Automatic modification of web pages
US11/004,637 2004-12-03
US63345304P 2004-12-06 2004-12-06
US63348604P 2004-12-06 2004-12-06
US63345204P 2004-12-06 2004-12-06
US63367804P 2004-12-06 2004-12-06
US60/633,453 2004-12-06
US60/633,486 2004-12-06
US60/633,452 2004-12-06
US60/633,678 2004-12-06
US63473904P 2004-12-09 2004-12-09
US63462704P 2004-12-09 2004-12-09
US60/634,739 2004-12-09
US60/634,627 2004-12-09
US64768405P 2005-01-26 2005-01-26
US60/647,684 2005-01-26
US64874605P 2005-01-31 2005-01-31
US60/648,746 2005-01-31
US65337205P 2005-02-15 2005-02-15
US60/653,372 2005-02-15
US65367905P 2005-02-16 2005-02-16
US65384705P 2005-02-16 2005-02-16
US65389905P 2005-02-16 2005-02-16
US65366905P 2005-02-16 2005-02-16
US65366305P 2005-02-16 2005-02-16
US60/653,669 2005-02-16
US60/653,899 2005-02-16
US60/653,679 2005-02-16
US60/653,847 2005-02-16
US60/653,663 2005-02-16
US65437905P 2005-02-17 2005-02-17
US60/654,379 2005-02-17
US65436805P 2005-02-18 2005-02-18
US65432605P 2005-02-18 2005-02-18
US65419605P 2005-02-18 2005-02-18
US60/654,326 2005-02-18
US60/654,196 2005-02-18
US60/654,368 2005-02-18
US65598705P 2005-02-22 2005-02-22
US65528105P 2005-02-22 2005-02-22
US65569705P 2005-02-22 2005-02-22
US65528005P 2005-02-22 2005-02-22
US65527905P 2005-02-22 2005-02-22
US60/655,281 2005-02-22
US60/655,987 2005-02-22
US60/655,280 2005-02-22
US60/655,697 2005-02-22
US60/655,279 2005-02-22
US65730905P 2005-02-28 2005-02-28
US60/657,309 2005-02-28
US11/097,093 US20060041605A1 (en) 2004-04-01 2005-04-01 Determining actions involving captured information and electronic content associated with rendered documents
US11/097,828 2005-04-01
US11/097,833 2005-04-01
USPCT/US05/11533 2005-04-01
US11/098,038 US7599844B2 (en) 2004-02-15 2005-04-01 Content access with handheld document data capture devices
US11/097,836 2005-04-01
US11/097,981 2005-04-01
US11/097,835 2005-04-01
US11/097,089 2005-04-01
US11/098,016 2005-04-01
US11/097,089 US8214387B2 (en) 2004-02-15 2005-04-01 Document enhancement system and method
US11/098,042 US7593605B2 (en) 2004-02-15 2005-04-01 Data capture from rendered documents using handheld device
US11/097,093 2005-04-01
US11/098,038 2005-04-01
US11/097,103 US7596269B2 (en) 2004-02-15 2005-04-01 Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US11/098,042 2005-04-01
PCT/US2005/011533 WO2005098609A2 (en) 2004-04-01 2005-04-01 A method and system for character recognition
US11/097,981 US7606741B2 (en) 2004-02-15 2005-04-01 Information gathering system and method
US11/096,704 US7599580B2 (en) 2004-02-15 2005-04-01 Capturing text from rendered documents using supplemental information
US11/097,836 US20060041538A1 (en) 2004-02-15 2005-04-01 Establishing an interactive environment for rendered documents
US11/098,016 US7421155B2 (en) 2004-02-15 2005-04-01 Archive of text captures from rendered documents
US11/098,014 US8019648B2 (en) 2004-02-15 2005-04-01 Search engines and systems with handheld document data capture devices
US11/098,014 2005-04-01
US11/098,043 2005-04-01
US11/096,704 2005-04-01
US11/097,103 2005-04-01
US11/098,043 US20060053097A1 (en) 2004-04-01 2005-04-01 Searching and accessing documents on private networks for use with captures from rendered documents
US11/097,835 US7831912B2 (en) 2004-02-15 2005-04-01 Publishing techniques for adding value to a rendered document
US11/097,828 US7742953B2 (en) 2004-02-15 2005-04-01 Adding information or functionality to a rendered document via association with an electronic counterpart
US11/097,961 2005-04-01
US11/097,833 US8515816B2 (en) 2004-02-15 2005-04-01 Aggregate analysis of text captures performed by multiple users from rendered documents
US11/097,961 US20060041484A1 (en) 2004-04-01 2005-04-01 Methods and systems for initiating application processes by data capture from rendered documents
PCT/US2005/013586 WO2005101193A2 (en) 2004-04-06 2005-04-06 Scanning apparatus and related techniques
USPCT/US05/13586 2005-04-06
USPCT/US05/12510 2005-04-12
PCT/US2005/012510 WO2005106643A2 (en) 2004-04-12 2005-04-12 Adding value to a rendered document
US11/110,353 US7702624B2 (en) 2004-02-15 2005-04-19 Processing techniques for visual capture data from a rendered document
US11/110,353 2005-04-19
US11/131,945 US7818215B2 (en) 2004-02-15 2005-05-17 Processing techniques for text capture from a rendered document
US11/131,945 2005-05-17
US11/185,908 US20060104515A1 (en) 2004-07-19 2005-07-19 Automatic modification of WEB pages
US11/185,908 2005-07-19
US11/208,408 2005-08-18
US11/208,461 US8005720B2 (en) 2004-02-15 2005-08-18 Applying scanned information to identify content
US11/208,458 2005-08-18
US11/208,457 US20060122983A1 (en) 2004-12-03 2005-08-18 Locating electronic instances of documents based on rendered instances, document fragment digest generation, and digest based document fragment determination
US11/208,457 2005-08-18
US11/208,458 US7437023B2 (en) 2004-02-15 2005-08-18 Methods, systems and computer program products for data gathering in a digital and hard copy document environment
US11/208,408 US20060136629A1 (en) 2004-08-18 2005-08-18 Scanner having connected and unconnected operational behaviors
US11/208,461 2005-08-18
US11/210,260 US7706611B2 (en) 2004-02-15 2005-08-23 Method and system for character recognition
US11/210,260 2005-08-23
US11/209,333 2005-08-23
US11/209,333 US20060081714A1 (en) 2004-08-23 2005-08-23 Portable scanning device
PCT/US2005/034734 WO2006037011A2 (en) 2004-09-27 2005-09-27 Secure data gathering from rendered documents

Publications (2)

Publication Number Publication Date
KR20070083841A KR20070083841A (ko) 2007-08-24
KR101212929B1 true KR101212929B1 (ko) 2012-12-14

Family

ID=38612787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077009691A KR101212929B1 (ko) 2004-09-27 2005-09-27 렌더링된 문서로부터의 보안 데이터 수집

Country Status (3)

Country Link
EP (1) EP1810496A4 (ko)
KR (1) KR101212929B1 (ko)
WO (2) WO2006037011A2 (ko)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US20060041484A1 (en) 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US8799303B2 (en) 2004-02-15 2014-08-05 Google Inc. Establishing an interactive environment for rendered documents
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US20080313172A1 (en) 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US8793162B2 (en) 2004-04-01 2014-07-29 Google Inc. Adding information or functionality to a rendered document via association with an electronic counterpart
US8081849B2 (en) 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US8621349B2 (en) 2004-04-01 2013-12-31 Google Inc. Publishing techniques for adding value to a rendered document
US20070300142A1 (en) 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US9460346B2 (en) 2004-04-19 2016-10-04 Google Inc. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
EP2067119A2 (en) 2006-09-08 2009-06-10 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US20100278453A1 (en) * 2006-09-15 2010-11-04 King Martin T Capture and display of annotations in paper and electronic documents
US8638363B2 (en) 2009-02-18 2014-01-28 Google Inc. Automatically capturing information, such as capturing information using a document-aware device
US20090245532A1 (en) * 2008-03-26 2009-10-01 Sony Ericsson Mobile Communications Ab Headset
US7483552B1 (en) 2008-05-29 2009-01-27 International Business Machines Corporation Preventing signature repudiation in paper documents using smart pens
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
WO2010105246A2 (en) 2009-03-12 2010-09-16 Exbiblio B.V. Accessing resources based on capturing information from a rendered document
US9317116B2 (en) 2009-09-09 2016-04-19 Immersion Corporation Systems and methods for haptically-enhanced text interfaces
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US8781152B2 (en) 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
US8185448B1 (en) 2011-06-10 2012-05-22 Myslinski Lucas J Fact checking method and system
US9176957B2 (en) 2011-06-10 2015-11-03 Linkedin Corporation Selective fact checking method and system
US9015037B2 (en) 2011-06-10 2015-04-21 Linkedin Corporation Interactive fact checking system
US9087048B2 (en) 2011-06-10 2015-07-21 Linkedin Corporation Method of and system for validating a fact checking system
US20130277422A1 (en) * 2012-04-22 2013-10-24 Abb Inc. System and method for requesting and delivering targeted information
US9891709B2 (en) 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
US9483159B2 (en) 2012-12-12 2016-11-01 Linkedin Corporation Fact checking graphical user interface including fact checking icons
US20150095320A1 (en) 2013-09-27 2015-04-02 Trooclick France Apparatus, systems and methods for scoring the reliability of online information
US10169424B2 (en) 2013-09-27 2019-01-01 Lucas J. Myslinski Apparatus, systems and methods for scoring and distributing the reliability of online information
KR102130798B1 (ko) 2014-01-13 2020-07-03 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US8990234B1 (en) 2014-02-28 2015-03-24 Lucas J. Myslinski Efficient fact checking method and system
US9643722B1 (en) 2014-02-28 2017-05-09 Lucas J. Myslinski Drone device security system
US9972055B2 (en) 2014-02-28 2018-05-15 Lucas J. Myslinski Fact checking method and system utilizing social networking information
US9189514B1 (en) 2014-09-04 2015-11-17 Lucas J. Myslinski Optimized fact checking method and system
RU2601140C2 (ru) * 2015-01-20 2016-10-27 Общество С Ограниченной Ответственностью "Лаборатория Эландис" Способ обеспечения доверенной среды выполнения аналого-цифровой подписи и устройство, его реализующее

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126780A1 (en) 2000-12-06 2002-09-12 Matsushita Electric Industrial Co., Ltd. OFDM signal transmissions system, porable terminal, and E-commerce system
US20040181688A1 (en) 2002-08-06 2004-09-16 Brainshield Technologies, Inc. Systems and methods for the copy-protected distribution of electronic documents

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5012349A (en) * 1986-10-06 1991-04-30 Fay Stefan G De Method and portable device for detection, storage and for eventual processing and reproduction of graphic symbols appearing on any type of carrier
US5852676A (en) * 1995-04-11 1998-12-22 Teraform Inc. Method and apparatus for locating and identifying fields within a document
WO1997027553A1 (en) * 1996-01-29 1997-07-31 Futuretense, Inc. Distributed electronic publishing system
US6208435B1 (en) * 1997-03-25 2001-03-27 Jan Scott Zwolinski Method and apparatus for providing a handheld scanner-dictionary apparatus
US6081629A (en) * 1997-09-17 2000-06-27 Browning; Denton R. Handheld scanner and accompanying remote access agent
US6307955B1 (en) * 1998-12-18 2001-10-23 Topaz Systems, Inc. Electronic signature management system
US6543052B1 (en) * 1999-07-09 2003-04-01 Fujitsu Limited Internet shopping system utilizing set top box and voice recognition
US6546385B1 (en) * 1999-08-13 2003-04-08 International Business Machines Corporation Method and apparatus for indexing and searching content in hardcopy documents
US6297491B1 (en) * 1999-08-30 2001-10-02 Gateway, Inc. Media scanner
WO2001052110A2 (en) * 2000-01-13 2001-07-19 Orbidex, Inc. System and method of searching and gathering information on-line and off-line
US6792112B1 (en) * 2000-03-17 2004-09-14 Denso Corporation Encrypting communications between wireless mobile units
US7117374B2 (en) * 2000-03-24 2006-10-03 Intermec Ip Corp Apparatus and method for gathering and utilizing data
WO2002003189A1 (en) * 2000-06-30 2002-01-10 Zinio Systems, Inc. System and method for encrypting, distributing and viewing electronic documents
US6704024B2 (en) * 2000-08-07 2004-03-09 Zframe, Inc. Visual content browsing using rasterized representations
US6671684B1 (en) * 2000-09-01 2003-12-30 Ricoh Co., Ltd. Method and apparatus for simultaneous highlighting of a physical version of a document and an electronic version of a document
US20020135815A1 (en) * 2001-01-22 2002-09-26 Time Domain Corporation Hand-held scanner with impulse radio wireless interface
JP4245883B2 (ja) * 2002-09-13 2009-04-02 株式会社日立製作所 電子文書およびこれの印刷媒体の真正性管理方法およびシステム、ならびにプログラム、記録媒体
KR20040076757A (ko) * 2003-02-26 2004-09-03 한국조폐공사 신분증 인식 시스템 및 그 방법
JP2004348591A (ja) * 2003-05-23 2004-12-09 Canon Inc 文書検索方法及び装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126780A1 (en) 2000-12-06 2002-09-12 Matsushita Electric Industrial Co., Ltd. OFDM signal transmissions system, porable terminal, and E-commerce system
US20040181688A1 (en) 2002-08-06 2004-09-16 Brainshield Technologies, Inc. Systems and methods for the copy-protected distribution of electronic documents

Also Published As

Publication number Publication date
EP1810496A2 (en) 2007-07-25
WO2006037011A2 (en) 2006-04-06
WO2006036853A2 (en) 2006-04-06
KR20070083841A (ko) 2007-08-24
WO2006036853A3 (en) 2006-06-01
WO2006037011A3 (en) 2006-10-05
EP1810496A4 (en) 2013-05-29

Similar Documents

Publication Publication Date Title
KR101212929B1 (ko) 렌더링된 문서로부터의 보안 데이터 수집
KR101174536B1 (ko) 렌더링된 문서로부터의 비주얼 캡쳐 데이터 처리 기술
US10318995B2 (en) Contextual dynamic advertising based upon captured rendered text
US9684902B2 (en) Processing techniques for text capture from a rendered document
JP5752200B2 (ja) 取り込まれたレンダリングテキストに基づくコンテキスト動的広告
KR101328766B1 (ko) 렌더링된 문서를 식별하기 위한 시스템 및 방법
US9811728B2 (en) Adding value to a rendered document
US20180096203A1 (en) Adding value to a rendered document
US8713418B2 (en) Adding value to a rendered document
KR101443404B1 (ko) 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이
US8261094B2 (en) Secure data gathering from rendered documents
JP2008516297A6 (ja) レンダリングされた文書からの視覚的取得データに対する処理技術
US10504162B2 (en) Processing techniques for text capture from a rendered document
KR101178302B1 (ko) 헨드헬드 디바이스를 사용한, 렌더링된 문서로부터의데이터 캡쳐

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161125

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 6