KR101178302B1 - 헨드헬드 디바이스를 사용한, 렌더링된 문서로부터의데이터 캡쳐 - Google Patents

헨드헬드 디바이스를 사용한, 렌더링된 문서로부터의데이터 캡쳐 Download PDF

Info

Publication number
KR101178302B1
KR101178302B1 KR1020067022973A KR20067022973A KR101178302B1 KR 101178302 B1 KR101178302 B1 KR 101178302B1 KR 1020067022973 A KR1020067022973 A KR 1020067022973A KR 20067022973 A KR20067022973 A KR 20067022973A KR 101178302 B1 KR101178302 B1 KR 101178302B1
Authority
KR
South Korea
Prior art keywords
document
text
user
delete delete
portable
Prior art date
Application number
KR1020067022973A
Other languages
English (en)
Other versions
KR20070043926A (ko
Inventor
마틴 티. 킹
클리포드 에이. 쿠실러
프레이저 제임즈 퀀틴 스태포드
데일 로렌스 그로버
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/004,637 external-priority patent/US7707039B2/en
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20070043926A publication Critical patent/KR20070043926A/ko
Application granted granted Critical
Publication of KR101178302B1 publication Critical patent/KR101178302B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/174—Form filling; Merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0016—Selecting or retrieving of images by means of their associated code-marks, e.g. coded microfilm or microfiche
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/04—Billing or invoicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0603—Catalogue ordering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/40—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for devices for accepting orders, advertisements, or the like

Abstract

스캐닝, 이미징 또는 다른 데이터 캡쳐링 능력을 갖는 휴대용 디바이스가 기술되어 있다. 일부의 경우에, 이 휴대가능한 디바이스는 소스 문서를 고유하게 식별하기 위해 충분한 정보가 캡쳐링된 때를 사용자에게 나타낼 수 있다. 일부의 경우에, 휴대가능한 디바이스가 언제 및 어디에서 데이터 캡쳐가 일어났는지를 지시하는 타임스탬프 및 위치스탬프를 계산한다. 일부의 경우에, 휴대가능한 디바이스가 제스쳐에 의해 제어된다. 일부의 경우에, 휴대가능한 스캐닝 디바이스는 연관된 빌링 및 컨텐트/서비스 가입 정보를 가지고 있다.
휴대가능한 디바이스, 스캐닝, 이미징, 데이터 캡쳐링, 타임스탬프, 위치스탬프, 제스쳐, 빌링, 컨텐트

Description

헨드헬드 디바이스를 사용한, 렌더링된 문서로부터의 데이터 캡쳐{DATA CAPTURE FROM RENDERED DOCUMENTS USING HANDHELD DEVICE}
본 발명은 일반적으로 휴대가능한 데이터 캡쳐링 디바이스에 관련되고, 더 구체적으로는, 이미지 및/또는 오디오 클립을 캡쳐할 수 있는 휴대가능한 디바이스에 관한 것이다.
컴퓨터의 시대에도 페이퍼 문서가 증가하는 것으로부터 알 수 있듯이, 페이퍼 문서에 대한 지속적인 수요가 있다. 오늘날은 그 어느 때 보다도 페이퍼 문서를 프린트하고 출판하는 것이 쉽다. 복제, 전사, 검색 및 편집을 함에 있어서 전자 문서가 더 간편함에도 불구하고 페이퍼 문서는 여전히 널리 이용되고 있다.
페이퍼 문서의 인기와 전자 문서의 장점을 고려할 때, 이 두 장점을 결합한다면 유용할 것이다.
도1은 코어 시스템의 일 실시예에서의 정보 흐름을 도시하는 데이터 흐름도,
도2는 전형적인 작동환경의 컨텍스트에서 시스템의 전형적인 구현에 포함되는 구성요소들을 나타내는 도면,
도3은 스캐너의 실시예를 나타내는 블록도,
도4는 휴대가능한 스캐닝 디바이스의 전형적인 사용을 도시한 개략도,
도5는 전형적인 휴대가능 스캐닝 디바이스의 실시예의 기능블록도,
도6은 전형적으로 본 시스템에 의해 사용되는 데이터 기록용 포맷을 도시하는 데이터 구조도,
도7은 휴대가능한 디바이스를 사용하여 문서가 스캐닝될 때의 위치 및/또는 시간에 대한 정보를 검출하고 저장하기 위해 본 시스템에서 전형적으로 실행되는 단계를 나타내는 흐름도,
도8은 사용자가 원형상 제스쳐를 하는 것을 검출하기 위해 본 시스템에 의해 전형적으로 실행되는 단계를 나타내는 흐름도,
도9는 원형상 제스쳐를 행할 때의 사용자의 시도(attempt)에 대한 일례들을 나타내는 도면,
도10은 러빙 제스쳐(rubbing gesture)를 검출하기 위해 시스템에 의해 전형적으로 실행되는 단계를 나타내는 흐름도,
도11은 스캐너가 문서의 후방(우측에서 좌측으로) 방향으로 움직이는 것을 도시하는 도면,
도12는 디바이스 근처에서 휴대가능한 스캐너와 연관시키기 위한 일 시스템 배치(configuration)의 블록도,
도13은 스캐닝 디바이스 및 서비스 프로바이더에 연관된 전형적인 문의 세션(query session)을 도시하는 블록도,
도14는 컨텐트를 스캐너-관련 디바이스로 제공하기 위해 본 시스템에 의해 디바이스들간에 전형적으로 실행되는 인터랙션을 도시하는 동작 흐름도,
도15는 문서의 두 라인으로부터 텍스트를 캡쳐하는 휴대가능한 스캐너를 나타내는 도면,
도16은 캐릭터 오프셋을 결정하는 컨벌루션의 일 실시예를 나타내는 도면,
도17은 컨벌루션 프로세스를 개념화하기 위한 방법을 도시한 설명도,
도18은 또 다른 설명도로서, 메모리의 카피 위에 슬라이스 카피(slice copy)가 도시되어 있어서 매치가 왜 발견되는지를 더 확실히 알 수 있다,
도19는 이미지 상에서 컨벌루션 프로세스를 실행하기 위해 본 시스템에 의해 전형적으로 실행되는 단계를 나타내는 흐름도,
도20은 마우스 아래 표면을 나타내기 위해 뷰잉 윈도우를 갖는 스캐너/마우스를 나타내는 도면,
도21은 사용자가 무엇이 스캐닝되고 있는지 알 수 있도록 하우징 상부에 장착된 디스플레이(LCD, LED 등)를 갖는 스캐너/마우스를 나타내는 도면,
도22는 종래의 기계식 x/y 메커니즘을 갖는 마우스 및 광학 스캐너 등과 같이, 별개의 포지션-감지 및 스캐닝 메커니즘을 갖는 마우스의 블록도,
도23은 렌더링된 문서로부터 x/y 이동을 검출하고 데이터를 스캐닝하기 위해 사용될 수 있는 광학 센서 어셈블리를 갖는 마우스를 나타내는 블록도,
도24는 스캐너 헤드 아래에 있는 것의 이미지를 뷰파인더로 반영하기 위해 일련의 거울을 사용하는 마우스/스캐너의 측면도,
도25는 감광성 반도체칩(CMOS, CCD 등)과 작동적으로 연결된 이미지 도 관(image conduit)을 사용하는 마우스/스캐너의 실시예를 나타내는 도면,
도26은 스캐닝 헤드의 아래로 지나가는 텍스트를 사용자가 볼 수 있도록, 스캐닝 메커니즘의 어느 한쪽 측면상에 필수적으로 있는 윈도우인 뷰파인더를 갖는 마우스/스캐너의 상면도,
도27은 예시적인 핸드헬드 문서 데이터 캡쳐 디바이스의 모양을 보여주는 개략도,
도28은 주석 디바이스(annotator)의 일 실시예를 나타내는 블록도,
도29는 전형적으로 USB 포트와 같은 통신 포트를 통해 PC 등과 같은 프로세싱 디바이스와 연결된 디바이스를 나타내는 도면,
도30은 본 시스템이 실행되고 있는 컴퓨터 시스템 및 다른 디바이스의 적어도 일부에 전형적으로 결합되어 있는 구성요소의 일부를 도시하는 블록도,
도31은 전자 문서를 주석(annotate)하기 위해 본 시스템에 의해 사용되는 전형적인 프로세스를 나타내는 흐름도,
도32는 사용자에 의해 입력된 주석을 나타내기 위해 본 시스템에 의해 사용되는 예시적인 주석 테이블을 도시한 테이블도 이다.
개요
렌더링된 문서에 포함된 텍스트 상에서 캡쳐하고 작동하기 위한 휴대가능한 디바이스("디바이스")가 설명되고, 몇몇 경우에는, 휴대가능한 디바이스에 의해 캡쳐된 텍스트를 처리하는 더 광범위한 시스템("시스템")의 일부로서 설명된다.
일부 실시예에서, 스캐닝 능력을 갖춘 휴대가능 디바이스는 사용자가 문서를 다른 것과 구별될 정도로 인식하기에 충분한 텍스트 또는 다른 정보를 스캐닝하였다는 것을 사용자에게 알려준다. 일부 실시예에서는 휴대가능 디바이스가, 이미지를 획득하기 위한 이미지 캡쳐 디바이스, 이미지를 처리하기 위한 프로세서, 데이터 및/또는 (컴퓨터 프로그램 등과 같은) 로직을 저장하기 위한 메모리, 다른 디바이스들과 통신하기 위한 입력/출력 통신 인터페이스, 전원, 스캐닝되고 있는 정보를 설명하기 위한 일러스트레이션 소스, 및 로케이션 모듈을 포함하고 있다.
몇몇 실시예에서는, 비주얼 스캐닝 능력 외에 혹은 이에 더하여, 휴대가능 디바이스가 오디오 텍스트 캡쳐 능력을 가지고 있어서, 사용자가 렌더링된 문서로부터 큰 소리로 읽고 있는 동안 디바이스가 오디오 클립을 캡쳐할 수 있도록 한다. 전형적으로 이 시스템은 오디오 클립에 음성인식기술을 적용함으로써 오디오 텍스트 캡쳐 동작으로부터 텍스트 콘텐트를 도출한다.
비록 여기에서 언급하고 있는 휴대가능 텍스트 캡쳐 디바이스가 때로는 구체적으로 비주얼 스캐닝에 대한 것이긴 하지만, 당업자라면 그러한 언급이 오디오 텍스트 캡쳐 등과 같은 다른 텍스트 캡쳐 기술을 사용한 휴대가능 텍스트 캡쳐 디바이스에도 동일하게 적용될 수 있음을 이해할 것이다.
일부 실시예에서, 스캐너에 의해 스캔된 텍스트 또는 심볼이 사용되어 스캐너의 제어 로직 또는 제어 소프트웨어에 의해 제어 커맨드로 해석되어, 스캐너로 하여금 소프트웨어 프로그램을 실행하게 하거나, 혹은 그렇지 않으면 미리 지정된 어느 특정 액션(예컨대 메모리로부터의 데이터 삭제, 턴 온/오프, 금융 인터랙션의 개시 및/또는 완료 등)을 실행하게 한다.
일부 실시예에서 휴대가능 스캐너는, 문서를 식별하기에 충분한 텍스트가 스캐닝되어 전자 카피가 위치지정될 수 있다는 것을 사용자에게 알려준다. 휴대가능 스캐너는 스캐닝된 정보의 양을 소정의 임계 레벨과 비교하여 충분한 정보가 스캐닝되었는지 여부를 결정한다. (이러한 임계 방법은 스캐너가 컴퓨터와 통신하고 있지 않을 때 특히 유용하다.) 휴대가능 스캐너가 원격 컴퓨터와 통신할 때, 원격 컴퓨터는 텍스트가 스캐닝되고 있는 문서를 식별하였다는 것을 나타내는 메시지를 스캐너에게 전송할 수 있다. 이 메시지의 수신에 응답하여, 휴대가능 스캐너는 문서가 식별되었고 사용자가 스캐닝을 중단할 수 있다는 것을 사용자에게 알려준다. 다양한 실시예에서, 이러한 알림은 시각적(예컨대 발광디바이스(LED), 디스플레이 등), 청각적(예컨대 스피커, 비퍼 등), 또는 촉각적(촉감을 자극하는 것)이다.
일부 실시예에서, 휴대가능 스캐너는 위치 및/또는 시간 결정능력을 가지고 있어서, 스캐닝된 데이터와 함께 스캔이 언제 및/또는 어디에서 일어나는지에 대한 위치 및/또는 시간 정보를 저장할 수 있다. 시간 정보는 특정 스캐닝 이벤트의 타임 스탬프(time stamp)일 수 있다. 위치 정보는 특정 스캐닝 이벤트의 위치 스탬프 일 수 있다.
일부 실시예에서, 휴대가능 스캐너와 같은 휴대가능 디바이스의 동작은 스캔의 특성, 예컨대 속도, 반복성, 방향 등에 의해 제어된다. 또한, 스캐너의 제어 프로그램 또는 로직이 특정 심볼에 반응될 수 있다. 이러한 특정 심볼은 휴대가능 디바이스에 의해 수행되어야 할 특정 액션 또는 실행되어야 할 프로그램에 연관될 수 있다.
일부 실시예에서, 휴대가능 스캐너가 빌링(billing), 가입, 및/또는 디바이스 식별자 정보를 메모리에 저장해 놓을 수 있다. 가입 정보는 식별된 문서의 전자 카피에 대한 사용자의 액세스 권한을 인증하는데 사용될 수 있다. 빌링 정보는 식별된 문서의 전자 카피에 대한 액세스를 위해 비용을 지불하는데 사용될 수 있다. 디바이스 식별자는 사용자 식별을 인증하는데 도움을 위해 보안 특성으로서 사용될 수 있다.
Ⅰ부 - 서 론
1. 시스템의 특성
그 대응되는 전자 부본(electronic counterpart)을 갖는 모든 페이퍼 문서의 각각에 대해, 전자 부본을 식별할 수 있는 페이퍼 문서 내에는 이산된 량의 정보가 존재한다. 일부 실시예에서, 본 시스템은 예컨대 핸드헬드 스캐너를 통해 페이퍼 문서에서 캡쳐된 텍스트의 샘플을 이용하여, 문서의 전자 부본을 식별하고 위치결정(locate) 한다. 대부분의 경우, 문서 텍스트의 약간의 단어가 페이퍼 문서에 대한 식별자로서 및 그의 전자 부본과의 링크로서 기능을 할 수 있다는 점에서, 기기에 의해 필요한 텍스트의 양은 매우 적다. 또한, 본 시스템은 이렇게 적은 단어들을 사용하여 문서를 식별할 뿐만 아니라 문서내에서의 위치도 식별할 수 있다.
따라서 페이퍼 문서 및 그의 디지털 부본은 이하에서 설명되는 본 시스템을 사용하여 많은 유용한 방식으로 연관될 수 있다.
1.1. 전망에 대한 간단한 개요
본 시스템이 일단 페이퍼 문서의 텍스트의 일부를 특정 디지털 엔티티와 연관시키는 것이 설정되면, 시스템은 그 연관성에 대해 대량의 기능성(functionality)을 구성할 수 있다.
점차적으로 대부분의 페이퍼 문서가, 월드와이드웹 상에서 또는 일부 다른 온라인 데이터 베이스 또는 문서 전집으로부터 액세스 가능하거나 혹은 요금납부 또는 가입 등에 의해 액세스될 수 있는 전자 부본을 가지고 있는 것이 사실이다. 그러면, 가장 간단한 수준에서, 사용자가 페이퍼 문서의 약간의 단어를 스캔하면 본 시스템이 전자 문서 또는 그 일부분을 검색하거나, 디스플레이 하거나, 다른 사람에게 이메일로 전송하거나, 구매하거나, 프린트하거나, 또는 웹페이지에 게시할 수 있다. 부수적인 예로서, 어떤 사람이 아침식사 동안 읽고 있는 책의 일부 단어를 스캐닝함으로써 그 사람의 자동차에 있는 오디오 북 버전은 그가 회사에 가려고 운전을 시작하는 순간부터 읽기동작을 개시할 수 있고, 또는 프린트 카트리지의 일련번호를 스캐닝함으로써 교체를 지시하는 프로세스를 개시할 수 있을 것이다.
본 시스템은 이와 같은 그리고 "페이퍼/디지털 통합"의 많은 다른 예들을 현재의 문서 읽기, 프린트, 및 출판 과정에 변화를 요하지 않으면서도 구현하여, 이러한 종래 방식으로 렌더링된 문서에 디지털 기능성의 완전히 새로운 장을 제공한다.
1.2. 용어
본 시스템의 전형적인 사용은 페이퍼 문서로부터 텍스트를 스캔하는 광스캐너를 사용하는 것에서부터 시작한다. 하지만 다른 형태의 문서로부터의 다른 캡쳐 방법도 동등하게 적용될 수 있다는 것에 유의해야 한다. 따라서 본 시스템은 때로는 렌더링된 문서로부터 텍스트를 스캐닝 또는 캡쳐링 하는 것으로 설명되며, 이러한 용어는 다음과 같이 정의된다:
렌더링된 문서는 프린트된 문서 또는 디스플레이나 모니터 상에 보여지는 문서이다. 또한 이것은 영구적 형태이든 또는 일시적인 디스플레이 상의 것이든, 사람에게 인식가능한 문서이다.
스캐닝 또는 캡쳐링은 렌더링된 문서로부터 정보를 얻기 위한 체계적 조사 프로세스이다. 이 프로세스는 스캐너 또는 카메라(예컨대 휴대폰에 장착된 카메라)를 이용하는 광학적 캡쳐를 포함할 수 있고, 문서를 소리내어 읽어 오디오 캡쳐 디바이스로 옮기는 것 또는 키패드나 키보드로 타이핑하는 것을 포함할 수 있다. 더 많은 예들은 섹션 15를 참조하라.
2. 본 시스템의 도입
이 부분은 페이퍼/디지털 통합을 위한 시스템을 구성하는 디바이스, 프로세스 및 시스템의 일부에 대해 설명한다. 다양한 실시예에서 본 시스템은 기본 기능성을 제공하는 이러한 기본 코어 위에서 매우 다양한 서비스와 애플리케이션을 구현한다.
2.1. 프로세스
도1은 코어 시스템의 일 실시예에서의 정보 흐름을 도시하는 데이터 흐름도이다. 다른 실시예들은 여기에 도시된 모든 단계나 구성요소를 전부 사용하지 않을 수도 있고, 일부 실시예들은 그보다 많이 사용할 수도 있다.
전형적으로 광스캐너에 의한 광학적 형식으로 또는 보이스 레코더에 의한 오디오 형식으로, 렌더링된 문서로부터 텍스트가 캡쳐링되고(100), 이 이미지 또는 사운드 데이터는 캡쳐 프로세스의 인위적 요소를 제거하거나 신호대 잡음비를 향상시키기 위해 처리된다(102). 그 후 OCR, 속도인식, 또는 오토 코릴레이션(autocorrelation) 등과 같은 인식 프로세스(104)가, 일부 실시예에서 텍스트, 텍스트 오프셋, 또는 다른 심볼로 구성되는 시그니처(signature)로 데이터를 변환시킨다. 대안적으로, 본 시스템은 렌더링된 문서로부터 문서 시그니처를 추출하는 대안적 형태를 수행한다. 일부 실시예에서 시그니처는 한 세트의 가능한 텍스트 전사(trnascription)를 나타낸다. 이 프로세스는 다른 단계로부터의 피드백에 의해 영향을 받을 수 있는데, 예컨대, 검색 프로세스 및 컨텍스트 해석(100)이 캡쳐가 유래한 일부 후보 문서들(candidate documents)을 식별하였다면, 최초 캡쳐의 가능한 해석(interpretation)은 범위가 좁혀진다.
후처리(106) 단계는 인식 처리의 출력을 취하여 이것을 필터링하거나 이에 대한 다른 작업을 수행하여 유용하게 한다. 구현되는 실시예에 따라, 이 단계에서 일부 직접 액션(107)이 후속 단계의 참조없이 즉시 취출되는데, 예컨대 사용자의 의도를 전달하기에 그 자체로 충분한 정보를 포함하는 프레이즈(phrase)나 심볼이 캡쳐된다. 이러한 경우 어떠한 디지털 부본 문서도 참조될 필요가 없고 심지어 본 시스템에 알려질 필요도 없다.
그러나, 전형적으로 다음 단계는 검색에 사용하기 위한 문의(query) 또는 한 세트의 문의를 구성하는 것이 될 것이다(108). 문의 구성의 일부 측면은 사용된 검색 프로세스에 의존할 수 있고, 따라서 다음 단계까지는 수행되지 못할 것이다. 그러나 전형적으로, 명백하게 잘못 인식된 또는 전혀 관련없는 캐릭터의 제거와 같이 미리 수행될 수 있는 일부 동작이 있을 수 있다.
그 후 문의 또는 문의들은 검색 및 컨텍스트 분석 단계(110)로 전달된다. 여기서, 시스템은 원본 데이터가 캡쳐된 문서를 식별하기 위해 선택적으로 시도한다. 그러기 위해, 시스템은 전형적으로 검색 인덱스 및 검색 엔진(112), 사용자에 대한 지식(114), 및 사용자의 컨텍스트 또는 캡쳐가 발생된 컨텍스트에 대한 지식(116)을 사용한다. 검색 엔진(112)은 구체적으로 렌더링된 문서에 대한, 이들의 디지털 부본 문서에 대한, 그리고 웹(인터넷)에 존재하고 있는 문서에 대한 정보를 사용 및/또는 인덱스 할 수 있다. 또한 이러한 많은 소스로부터 판독할 뿐만 아니라 이들을 기록할 수도 있고, 언급한 바와 같이, 예컨대 언어, 폰트, 렌더링, 및 후보 문서의 지식에 근거하여 가능한 다음 단어에 대한 정보를 인식 시스템(104)에게 제공함으로써, 정보를 프로세스의 다음 단계에 공급할 수 있다.
일부 환경에서, 다음 단계는 식별되었던 문서 또는 문서들의 카피를 검색하는 것이다(120). 문서(124)의 소스는 예컨대 로컬 파일링 시스템 또는 데이터베이스 또는 웹 서버로부터 직접 액세스될 수 있거나, 혹은, 인증, 보안 또는 지불을 실행할 수 있는 몇몇 액세스 서비스(122)를 통해 연결될 수 있거나 또는 소정 포맷으로의 문서의 변환 등과 같은 다른 서비스를 제공할 수 있다.
시스템의 애플리케이션은 여분의 기능성이나 데이터와 문서의 전부 또는 일부분과의 연관성을 이용할 수 있다. 예컨대, 섹션 10.4에서 논의하는 바와 같이 광고(advertising) 애플리케이션은 특정 광고 메시지 또는 주제와 문서의 일부분과의 연관성을 이용할 수 있다. 이 여분의 연관된 기능성 또는 데이터는 문서 상의 하나 이상의 오버레이(overlay)로서 고려될 수 있고, 여기서 "마크업(markup)"으로 언급된다. 그 후, 프로세스(130)의 다음 단계는 캡쳐링된 데이터에 관련된 임의의 마크업을 식별하는 것이다. 이러한 마크업은 사용자, 문서의 창작자 또는 출판자, 또는 다른 누군가에 의해 제공될 수 있고, 일부 소스(132)로부터 직접 액세스되거나 혹은 일부 서비스(134)에 의해 생성될 수 있다. 다양한 실시예에서, 마크업은 렌더링된 문서 및/또는 렌더링된 문서의 디지털 부본, 또는 이들 문서들 중 어느 하나 또는 둘 다의 그룹에 적용되거나 이들에 연관될 수 있다.
마지막으로, 초기 단계들의 결과, 일부 액션이 취해진다(140). 이들은 발견된 정보를 단순히 기록하는 것과 같은 디폴트(default) 액션이거나, 데이터 또는 문서에 의존하는 것일 수 있고, 또는 마크업 분석으로부터 유도될 수도 있다. 때로는 이 액션은 데이터를 다른 시스템으로 단순히 전달하는 것이다. 몇몇의 경우, 렌더링된 문서에서의 특정 지점의 캡쳐에 적합한 다양한 가능한 액션이, 예커대 로컬 디스플레이(332), 컴퓨터 디스플레이(212), 또는 모바일 폰이나 PDA 디스플레이(216) 등과 같은 관련 디스플레이 상에 메뉴로서 사용자에게 제공될 것이다. 만일 사용자가 이 메뉴에 응답하지 않는다면, 디폴트 액션이 취해질 수 있다.
2.2. 구성요소
도2는 전형적인 작동환경의 컨텍스트에서 시스템의 전형적인 구현에 포함되는 구성요소들을 나타내는 도면이다. 도시된 바와 같이 작동환경은 하나 이상의 광학적 스캐닝 캡쳐 디바이스(202) 또는 보이스 캡쳐 디바이스(204)를 포함하고 있다. 일부 실시예에서는, 동일한 디바이스가 양쪽 기능을 모두 수행한다. 각각의 캡쳐 디바이스는 직통 유선 또는 무선 연결중 하나를 사용하거나 네트워크(220)를 통해 컴퓨터(212) 및 모바일 스테이션(216)(예컨대, 모바일 폰 또는 PDA) 등과 같은 시스템의 다른 부분과 통신할 수 있고, 유선 및 무선 연결을 사용하여 통신하는 것은 전형적으로 무선 기지국(214)을 포함한다. 일부 실시예에서, 캡쳐 디바이스는 모바일 스테이션과 통합되고, 음성통신 및 사진촬영용 디바이스에 사용되는 오디오 및/또는 광학 구성요소의 일부와도 선택적으로 공유한다.
컴퓨터(212)는 스캐닝 디바이스(202 및 204)로부터의 오더(order)를 처리하기 위한 컴퓨터실행가능 명령어를 포함하고 있는 메모리를 가질 수 있다. 일 예로서, 오더는 (스캐닝 디바이스(202/204)의 일련번호 또는 스캐너 사용자를 부분적으로 또는 완전히 구별하여 식별하는 식별자 등과 같은) 식별자, 스캐닝 컨텍스트 정보(예컨대, 스캔 시간, 스캔 위치 등), 및/또는 스캐닝되고 있는 문서를 다른 것과 구별하여 식별하는데 사용되는 (텍스트 스트링(string)과 같은) 스캐닝 정보를 포함할 수 있다. 대안적인 실시예에서, 작동 환경은 보다 작거나 많은 구성요소를 포함할 수도 있다.
또한, 검색 엔진(232), 문서 소스(234), 사용자 계정(account) 서비스(236), 마크업 서비스(238), 및 다른 네트워크 서비스(239)가 네트워크(220) 상에서 이용가능하다. 네트워크(220)는 통합 인트라넷, 공중 인터넷, 모바일 폰 네트워크 또는 일부 다른 네트워크, 또는 이들의 임의의 상호접속일 수 있다.
디바이스가 서로 어떻게 연결되는지에 관계없이, 이들은 공지된 상업적 트랜잭션 및 통신 프로토콜(예컨대 인터넷 프로토콜(IP))에 따라 작동할 수 있다. 다양한 실시예에서, 스캐닝 디바이스(202), 컴퓨터(212), 및 모바일 스테이션(216)의 기능 및 용량은 전적으로 또는 부분적으로 하나의 디바이스에 통합될 수 있다. 따라서 스캐닝 디바이스, 컴퓨터, 및 모바일 스테이션 이라는 용어들은, 디바이스가 스캐닝 디바이스(202), 컴퓨터(212), 및 모바일 스테이션(216)의 기능과 용량을 결합하는지 여부에 따라, 동일한 디바이스를 언급하는 것일 수 있다. 더욱이, 검색 엔진(232), 문서 소스(234), 사용자 계정 서비스(236), 마크업 서비스(238), 및 다른 네트워크 서비스(239)의 일부 또는 전체 기능이 임의의 디바이스의 및/또는 다른 미도시된 디바이스 상에 구현될 수도 있다.
2.3. 캡쳐 디바이스
상술하였듯이, 캡쳐 디바이스는, 렌더링된 문서로부터 이미지 데이터를 캡쳐할 수 있는 광학적 스캐너를 사용하거나 또는 사용자가 텍스트를 소리내어 읽는 것을 캡쳐하는 오디오 레코딩 디바이스를 사용하거나 또는 다른 방법을 사용하여 텍스트를 캡쳐할 수 있다. 캡쳐 디바이스의 일부 실시예는 바코드와 같이 기계판독 가능한 코드를 비롯하여 이미지, 그래픽 심볼, 아이콘 등을 캡쳐할 수 있다. 디바이스는 시스템내의 어딘가에 위치하는 다른 기능성들에 따라서, 트랜스듀서, 일부 저장장치, 및 데이터 인터페이스 정도로 구성되어 극히 간단할 수 있고, 더 많이 완비된 디바이스일 수도 있다. 설명을 위해, 이 섹션에서는 광학적 스캐너 등에 기초하고 적절한 수의 특징을 갖는 디바이스에 대해 설명한다.
스캐너는 이미지를 캡쳐하고 디지털화하는 잘 알려진 디바이스 이다. 복사기 산업의 한 부류로서, 첫번째 스캐너는 한번에 전체 문서를 캡쳐하는 상대적으로 큰 디바이스 였고, 최근, 펜-타입 핸드헬드 디바이스 등과 같이 편리한 형태의 휴대가능 광학적 스캐너가 도입되었다.
일부 실시예에서, 휴대가능 스캐너는 렌더링된 문서로부터 텍스트, 그래픽, 또는 심볼을 스캔하기 위해 사용된다. 휴대가능 스캐너는 렌더링된 문서로부터 텍스트, 심볼, 그래픽 등을 캡쳐하는 스캐닝 소자를 포함한다. 종이로 프린트된 문서에 더하여, 일부 실시예에서는, 렌더링된 문서가 CRT 모니터 또는 LCD 디스플레이 등과 같은 스크린상에 디스플레이된 문서를 포함한다.
도3은 스캐너(302)의 일 실시예의 블록도이다. 스캐너(302)는 렌더링된 문서로부터 정보를 스캔하고 이것을 기계식(machine-compatible) 데이터로 변환하는 광학적 스캐닝 헤드(308), 및 전형적으로 렌즈, 개구, 또는 렌더링된 문서의 이미지를 스캐닝 헤드로 전달하기 위한 이미지 도관(conduit)인 광학적 경로(306)를 포함한다. 스캐닝 헤드(308)는 전하결합소자(CCD), 상보형 금속산화 반도체(CMOS) 이미지 디바이스, 또는 다른 형태의 광학 센서를 결합할 수 있다.
마이크(310) 및 연관된 회로는 (소리내어 읽혀진 단어를 포함한) 주위환경의 사운드를 기계식 신호로 변환하며, 다른 입력 기능들도 버튼, 스크롤-휠 또는 터치패드(314)와 같은 다른 촉감센서의 형태로 존재한다.
사용자에 대한 피드백은 시각적 디스플레이 또는 지시등(332)를 통해, 또는 스피커나 다른 오디오 트랜스듀서(334)를 통해, 및 진동 모듈(336)을 통해 가능하 게 된다.
스캐너(302)는, 다른 포맷 및/또는 해석으로 수신된 신호를 처리하며 다른 다양한 구성요소들과 상호작용하는 로직(326)을 포함한다. 로직(326)은 RAM, ROM, 플래쉬, 또는 다른 적당한 메모리 등의 관련 저장장치(330)에 저장된 데이터 및 프로그램 명령어를 읽고 기록하도록 동작될 수 있고, 클록 유닛(328)로부터 시간 신호를 읽을 수 있다. 스캐너(302)는 스캐닝된 정보 및 다른 신호들을 네트워크 및/또는 관련 컴퓨팅 디바이스와 통신하는 인터페이스(316)를 또한 포함한다. 일부 실시예에서, 스캐너(302)는 온-보드 전원(332)를 가질 수 있다. 다른 실시예에서, 스캐너(302)는 유니버셜 시리얼 버스(USB) 연결과 같이 다른 디바이스와의 유선 연결로부터 전원이 공급될 수 있다.
스캐너(302)의 사용에 대한 예시로서, 독자가 스캐너(302)를 사용하여 신문기사의 일부 텍스트를 스캔할 수 있다. 텍스트는 스캐닝 헤드(308)을 통해 비트맵 이미지로 스캔된다. 로직(326)은 비트맵 이미지가, 클록 유닛(328)으로부터 읽혀진 관련 타임-스탬프와 함께, 메모리(330)에 저장되도록 한다. 또한 로직(326)은 광학적 문자인식(OCR)을 수행하거나, 또는 비트맵 이미지를 텍스트로 변환하기 위한 스캔후(post-scan) 프로세스를 수행할 수 있다. 또한 로직(326)은, 예컨대 문자, 심볼, 또는 대상물의 반복적 발생을 발견하고 이들 반복되는 요소들 사이의 다른 문자, 심볼, 또는 대상물의 숫자 또는 거리를 결정하기 위해 컨벌루션과 유사한 프로세스를 행함으로써, 이미지로부터 시그니처를 선택적으로 추출할 수 있다. 그러면, 독자는 인터페이스(316)를 통해 관련 컴퓨터에 비트맵 이미지(스캔후 프로세스가 로직(326)에 의해 행해진다면, 텍스트 또는 다른 시그니처)를 업로드할 수 있다.
스캐너(302)의 또다른 사용의 일 예로서, 마이크(310)를 음성 캡쳐 포트로 사용하여 독자가 신문기사의 일부 텍스트를 오디오 파일로서 캡쳐할 수 있다. 로직(326)은 오디오 파일이 메모리(328)에 저장되도록 한다. 로직(326)은 또한 오디오 파일을 텍스트로 변환하기 위해 음성인식 또는 다른 스캔후 프로세스를 수행할수 있다. 그 후, 위에 설명하였듯이 독자는 인터페이스(316)를 통해 관련 컴퓨터에 오디오 파일(또는, 로직(326)에 의해 수행된 스캔후 프로세스에 의해 생성된 텍스트)을 업로드할 수 있다.
2부 - 코어 시스템의 범위의 개요
페이퍼-디지털 통합이 점점 흔해지면서, 이 통합을 더 잘 이용하기 위해 변화될 수 있거나 또는 보다 효율적으로 구현할 수 있게 하는 기존 기술의 많은 측면이 있다. 이 섹션은 이러한 이슈들 중 일부에 대한 것이다.
3. 검색
문서 전집의 검색, 심지어는 월드와이드웹과 같이 거대한 전집에 대한 검색은, 검색엔진에 입력된 검색식을 만들기 위해 키보드를 사용하는 평범한 사용자에게도 이제는 흔한 일이 되었다. 이 섹션 및 다음 섹션은, 캡쳐에 의해 렌더링된 문서에서 유래된 문의(query)의 구성 및 이러한 문의를 다루는 검색엔진의 양 측면에 대해 논의한다.
3.1. 검색 문의로서의 스캔/ 스피크 /타입
상술한 시스템의 사용은 전형적으로 상기 섹션 1.2에서 언급한 것을 비롯한 여러 방법중 임의의 것을 사용하여 렌더링된 문서로부터 캡쳐되고 있는 몇몇 단어를 가지고 시작한다. 예컨대 OCR 또는 음성 입력의 경우와 같이 입력이 텍스트로의 변환을 위해 약간의 해석이 필요할 때, 인식 프로세스를 확장하기 위해 문서 전집이 사용되도록, 시스템내에 엔드-투-엔드(end-to-end) 피드백이 있을 수 있다. 엔드-투-엔드 피드백은, 인식 또는 해석의 근사를 수행함으로써, 하나 이상의 후보 매칭 문서의 세트를 식별함으로써, 그리고 그 후, 인식과 해석을 더 정제하고 제한하기 위해 후보 문서에서의 가능한 매치들로부터 정보를 사용함으로써, 적용될 수 있다. 후보 문서는 예상되는 관련성에 따라(예컨대, 이들 문서에서 스캔하였던 사람의 숫자, 또는 인터넷상의 인기도에 근거하여) 가중치가 정해질 수 있고, 이러한 가중치는 이러한 반복되는 인식 프로세스에서 적용될 수 있다.
3.2. 단문 검색
단어들의 상대적 위치가 알려져 있을 때 일부 단어에 기초한 검색 문의의 선별능력이 매우 커지기 때문에, 본 시스템이 전집에서 텍스트의 위치를 식별하기 위해서는 적은 양의 텍스트만이 캡쳐되어도 된다. 매우 일반적으로, 짧은 문구와 같이 인접하는 시퀀스가 입력 텍스트가 될 수 있다.
3.2.1. 단문 캡쳐로부터 문서 및 문서내의 위치를 발견
어떤 문구가 유래하였던 문서를 찾는 것에 더하여, 본 시스템은 그 문서 내에서 위치를 식별할 수 있고 또한 이 지식에 근거하여 액션을 취할 수 있다.
3.2.2. 위치를 찾는 다른 방법
또한 본 시스템은, 워터마크(watermark), 또는 렌더링된 문서상의 다른 특수 한 마크를 사용하는 것 등에 의해, 문서와 위치를 발견하는 다른 방법을 사용할 수 있다.
3.3. 다른 요소를 검색 문의에 결합
캡쳐된 텍스트에 더하여, 다른 요소(즉, 사용자 식별, 프로파일, 및 컨텍스트에 관한 정보)가, 캡쳐 시간, 사용자의 지리적 위치 및 식별, 사용자의 습관 및 최근 활동에 대한 지식 등과 같이, 검색 문의의 일부를 형성할 수 있다.
특히 이러한 것들이 아주 최근이라면, 문서 식별, 및 이전의 캡쳐에 관한 다른 정보가 검색 문의의 일부를 형성할 수 있다.
사용자의 식별은 캡쳐링 디바이스, 및/또는 바이오메트릭(biometric) 또는 다른 보충적 정보(음성 속도, 지문 등)와 연관된 특유의 식별자로부터 결정될 수 있다.
3.4. 검색 문의의 신뢰불능 특성의 지식(OCR 에러 등)
검색 문의는 사용되는 특정 캡쳐 방법에서 발생하기 쉬운 에러 타입을 고려하여 구성될 수 있다. 이것의 일 예로는 특정 문자의 인식시에 의심되는 에러를 지시하는 것인데, 이 경우 검색엔진은 이러한 문자들을 와일드 카드로서 처리하거나 또는 이들 문자에 더 낮은 우선순위를 부여할 수 있다.
3.5. 실행/오프라인 사용을 위한 인덱스의 로컬 캐쉬
때때로 캡쳐링 디바이스가 데이터 캡쳐를 할 때 검색엔진이나 전집과 통신하고 있지 않을 수 있다. 이러한 이유로, 디바이스의 오프라인 사용에 도움이 되는 정보가 미리 이 디바이스에 혹은 이 디바이스가 통신하는 일부 엔티티에 다운로드 될 수 있다. 몇몇 경우에, 전집에 관련된 인덱스의 상당 부분 혹은 전부가 다운로드 될 수 있다. 이에 대해서는 섹션 15.3에서 더 논의될 것이다.
3.6. 어떤 형태를 갖든 문의는 나중에 기록되거나 실행될 수 있다
만약 문의와 통신하거나 결과를 수신하는 것과 관련된 비용이나 지연이 있을 수 있다면, 이러한 사전-로드된(pre-loaded) 정보는 로컬 디바이스의 성능을 향상시키고, 통신 비용을 낮추며, 또한 유용하고 시의적절한 사용자 피드백을 제공할 수 있다.
어떠한 통신도 가능하지 않은 경우(로컬 디바이스가 "오프라인"인 경우), 문의가 저장되었다가 통신이 복구되었을 때 시스템의 나머지 부분으로 전송될 수 있다.
이러한 경우 각각의 문의와 함께 타임 스탬프를 전송하는 것이 중요하다. 문의를 해석함에 있어서 캡쳐 시간은 매우 중요한 요소가 될 수 있다. 예컨대, 섹션 13.1은 이전의 캡쳐와 관련하여 캡쳐 시간의 중요성에 대해 논의한다. 캡쳐 시간이 문의가 실행되는 시간과 항상 동일한 것은 아니라는 점에 유의해야 한다.
3.7. 병렬 검색
성능상의 이유로, 단일 캡쳐에 응답하여 다수개의 문의가 일렬 혹은 병렬 중 하나로 개시될 수 있다. 예컨대 새로운 단어가 캡쳐에 추가되거나 혹은 병렬로 다수의 검색엔진에 문의하기 위해, 여러개의 문의가 단일 캡쳐에 응답하여 전송될 수 있다.
예컨대, 일부 실시예에서, 본 시스템은 현재 문서에 대한 특별 인덱스의 문 의를, 로컬 머신 상의 검색엔진으로, 통합 네트워크 상의 검색엔진으로, 및 인터넷상의 원격 검색엔진으로 전송한다.
어느 특별한 검색의 결과에 다른 것보다 더 높은 우선순위를 부여할 수도 있다.
주어진 문의에 대한 응답이 현재 진행중인 문의가 불필요하다는 것을 나타낼 수도 있고, 이 경우 진행중인 문의는 완료전에 취소될 수 있다.
4. 페이퍼 및 검색엔진
전통적인 온라인 문의를 다루는 검색엔진이 렌더링된 문서에서 유래하는 것들도 다루는 것이 바람직한 경우가 종종 있다. 상술된 본 시스템에서 사용하기에 더 적절하도록 만들기 위한 많은 방법에 의해서 기존의 검색엔진이 확장되거나 변경될 수 있다.
본 시스템의 검색엔진 및/또는 다른 구성요소가, 여분의 또는 상이한 특성을 갖는 인덱스를 생성하고 유지할 수 있다. 본 시스템은 유입 페이퍼-유래된 문의를 변경하거나, 혹은 문의가 결과 검색에서 취급되는 방법을 변경할 수 있고, 따라서, 이러한 페이퍼-유래된 문의를 웹 브라우저 및 다른 소스에 타이핑 입력된 문의에서 유입된 것들과 구별할 수 있다. 또한, 다른 소스로부터의 것들과 비교하여 결과들이 페이퍼에서 유래된 검색에 의해 되돌아왔을 때, 본 시스템은 다른 액션을 취하거나 다른 옵션을 제공할 수 있다. 이러한 각각의 접근법이 이하에서 설명된다.
4.1. 인덱싱
종종, 페이퍼-유래된 문의 또는 전통적인 문의 중 하나를 사용하여 동일한 인덱스가 검색될 수 있지만, 다양한 방법으로 현재 시스템에서의 사용을 위해 인덱스가 강화될 수 있다.
4.1.1. 페이퍼 형식에 대한 지식
페이퍼-기반 검색의 경우에 도움을 줄 수 있는 이러한 인덱스에 여분의 필드가 추가될 수 있다.
페이퍼 형식에서 문서 유효성(availability)을 나타내는 인덱스 엔트리
첫번째 예는, 문서가 존재하거나 혹은 페이퍼 형식으로 배포되었다고 알려졌다는 것을 나타내는 필드이다. 문의가 페이퍼로부터 온 경우, 본 시스템은 이러한 문서에 더 높은 우선순위를 부여할 수 있다.
인기 페이퍼 형식의 지식
이 예에서는 페이퍼 문서의 인기도에 관련된(및, 선택적으로는, 이들 문서내에서의 세부 영역에 관련된) 통계적 데이터 -예컨대, 스캐닝 동작의 양, 출판자 또는 다른 소스에 의해 제공된 발행부수 등- 가 사용되어, 그러한 문서에 더 높은 우선순위를 부여하고, (예컨대, 브라우저-기반 문의 또는 웹 검색에 대한) 디지털 부본의 우선순위도 올려준다.
렌더링된 포맷의 지식
또다른 중요한 예는 문서의 특정 렌더링의 레이아웃에 관한 정보를 기록하는 것일 수 있다.
예컨대 서적의 어느 특정 판(edition)과 관련하여, 인덱스는, 어디에서 줄이 끊기고 페이지가 끊기는지, 어떤 폰트가 사용되었는지, 보통과 다른 대문자가 있는 지 등에 대한 정보를 포함할 수 있다.
또한 인덱스는, 이미지, 텍스트 박스, 표, 및 광고 등과 같은 페이지 상의 다른 항목과의 근접성에 대한 정보도 포함할 수 있다.
원본에 대한 의미론적 정보의 사용
마지막으로, 의미론적(semantic) 정보가 소스 마크업으로부터 추론될 수 있지만, 그러나 페이퍼 문서에서는 명확하지 않은데, 이를테면, 텍스트의 특정 조각이 판매를 위해 제공된 항목을 언급하거나 또는 어느 특정 문장이 프로그램 코드를 포함하고 있다는 사실이 또한 인덱스에 기록될 수 있다.
4.1.2. 캡쳐 방법에 대한 지식으로 인덱싱
인덱스의 특성을 변경할 수 있는 두번째 요소는, 사용될 가능성이 있는 캡쳐 타입에 대한 지식이다. 만약, 인덱스가 OCR 프로세스에서 쉽게 구별될 수 없는 문자를 고려한다거나 또는 문서에서 사용된 폰트에 대한 약간의 지식을 포함하고 있다면, 광학 스캔에 의해 개시된 검색을 하는 것이 유익할 것이다. 유사하게, 문의가 음성 인식에서 유래한다면, 유사한 사운드의 음소(phoneme)에 기초한 인덱스가 보다 더 효과적으로 검색될 것이다. 상술된 모델에서 인덱스의 사용에 영향을 줄 수 있는 또 다른 요소는, 인식 프로세스 동안의 반복 피드백의 중요성이다. 만약 텍스트가 캡쳐됨에 따라 검색엔진이 인덱스로부터 피드백을 제공할 수 있다면, 캡쳐의 정확성을 크게 향상시킬 수 있다.
오프셋을 이용한 인덱싱
인덱스가 섹션 9에서 상술한 오프셋-기반/오토코릴레이션 OCR 방법을 사용하여 검색될 가능성이 있을 경우, 일부 실시예에서는, 본 시스템이 적절한 오프셋이나 인덱스의 시그니처 정보를 저장하고 있다.
4.1.3. 다수의 인덱스
마지막으로, 상술된 시스템에서, 통상적으로 다수의 인덱스에 대해 검색을 수행할 수도 있다. 인덱스는 여러 장치나 통합 네트워크 상에서 유지될 수 있다. 일부 인덱스는 캡쳐 디바이스로 다운로드 될 수 있고, 또는 캡쳐 디바이스에 가까운 장치로 다운로드 될 수도 있다. 특별한 관심, 습관, 또는 허가를 갖는 사용자 또는 사용자 그룹에 대해서는 별도의 인덱스가 생성될 수 있다. 인덱스는 각 파일 시스템, 각 디렉토리, 심지어 사용자의 하드디스크 상의 각 파일에 대해 존재할 수 있다. 인덱스는 사용자 및 시스템에 의해 공개되고 서명(subscribe)될 수 있다. 그러면, 배포되고, 업데이트되고, 합병되고, 및 효과적으로 분리될 수 있는 인덱스를 구성하는 것이 중요할 것이다.
4.2. 문의의 취급
4.2.1. 캡쳐가 페이퍼로부터 온 것을 앎
검색엔진이 검색 문의가 페이퍼 문서로부터 유래한 것을 인식하였을 때, 검색엔진은 다른 액션을 취할 수 있다. 검색엔진은, 예컨대 특정 캡쳐 방법에 나타날 가능성이 있는 에러 형태에 대해 더 많은 허용을 두는 방식으로 문의를 취급할 수 있다.
검색엔진은 문의에 포함된 일부 지시자(예컨대 캡쳐의 특성을 나타내는 플래그)로부터 그것을 추론할 수 있고, 또는 문의 자체로부터도 추론할 수 있다(예컨 대, OCR 프로세스에 전형적인 에러나 불확실성을 인식할 수 있다).
대안적으로, 캡쳐 디바이스로부터의 문의는 다른 소스로부터의 그것과는 다른 연결 채널이나 포트나 형태에 의해 엔진에 도달할 수 있고, 그러한 방식으로 구별될 수 있다. 예컨대, 본 시스템의 일부 실시예는 전용 게이트웨이를 통해 문의를 검색엔진으로 보낼 것이다. 따라서, 검색엔진은 전용 게이트웨이를 지나가는 모든 문의가 페이퍼 문서로부터 유래한 것임을 알고 있다.
4.2.2. 컨텍스의 이용
아래의 섹션 13은, 캡쳐된 텍스트 자체의 외부에 있지만 그러나 문서를 식별하는데 중요한 도움이 될 수 있는 다양한 다른 요소들에 대해 설명한다. 이러한 것들에는 최근 스캔의 이력, 특정 사용자의 장기간 독서 습관, 사용자의 지리적 위치, 및 특정 전자 문서에 대한 사용자의 최근 사용 등이 포함된다. 이러한 요소들은 여기서 "컨텍스트"라고 언급된다.
컨텍스트의 일부는 검색엔진 자체에 의해 취급될 수 있고, 검색 결과에 변영될 수도 있다. 예컨대, 검색엔진은 사용자의 스캔 이력을 추적할 수 있고, 이 스캔 이력을 기존의 키보드-기반 문의와 상호-참조(cross-reference)시킬 수도 있다. 그러한 경우, 검색엔진은 각각의 개별 사용자에 대해 대부분의 기존 검색엔진이 하는 것보다 더 많은 상태 정보를 유지하고 사용하고 있으며, 검색엔진과의 각각의 인터랙션은 오늘날 전형적인 것보다 더 긴 기간 및 여러 검색들에 걸쳐 확장한다고 생각될 수 있다.
컨텍스트의 일부는 검색 문의시 검색엔진으로 전송될 수 있고(섹션 3.3), 장 래의 문의에서 일부로서 역할하기 위해 엔진에 저장될 수도 있고, 따라서 검색엔진으로부터의 결과에 적용되는 필터 또는 부차적 검색이 된다.
검색에의 데이터- 스트림 입력
검색 프로세스로의 중요한 입력은, 어떻게 사용자 커뮤니티가 문서의 렌더링된 버전과 인터랙팅하는가에 대한 더 넓은 컨텍스트 이다 -예컨대, 어떤 문서가 가장 널리 읽혀지고 누구에게 읽혀지는가. 이것은, 가장 자주 링크되는 페이지나 지난번 검색결과로부터 가장 자주 선택되는 페이지를 복귀시키는 웹 검색과 유사하다. 이에 대한 더 자세한 논의는 섹션 13.4 및 14.2를 참조.
4.2.3. 문서 서브-영역
상술된 본 시스템은 전체로서 문서에 대한 정보 뿐만 아니라 문서의 서브-영역에 대한, 심지어 개개의 단어까지에 대한 정보도 발행하고(emit) 사용한다. 기존의 많은 검색엔진들은 단지 특정 문의에 관련된 파일이나 문서를 찾는 것에 관심을 집중하고 있다. 더 미세한 것(finer grain)에도 작용하여 문서 내에서의 위치까지도 식별할 수 있는 검색엔진은 상술한 본 시스템에 큰 이익을 제공할 것이다.
4.3. 결과를 제공함
검색엔진은, 제공된 결과에 영향을 주기 위해 현재 유지하고 있는 추가 정보 중 일부를 사용할 수 있다.
또한 본 시스템은, 단지 페이퍼 카피에 속하고 있다는 것의 결과로서 사용자가 액세스하고 있는 특정 문서를 제공할 수도 있다(섹션 7.4 참조).
또한 검색엔진은, 텍스트의 간단한 검색을 넘어서, 상술한 시스템에 적합한 새로운 액션이나 옵션을 제공할 수도 있다.
5. 마크업, 주석, 및 메타데이터
캡쳐-검색-발견(retrieve) 프로세스를 수행하는 것에 더하여, 상술한 본 시스템은 여분의 기능성을 문서와 연관시키고, 보다 구체적으로는, 문서 내의 텍스트의 특정 위치나 세그먼트와 연관시킨다. 이 여분의 기능성은 종종, 전적으로 그런 것은 아니지만, 그의 전자 부본과 연관됨으로 인해 렌더링된 문서와 연관된다. 일 예로서, 웹 페이지의 하이퍼링크는 그 웹페이지의 프린트 출력물이 스캔될 때 동일한 기능성을 가질 수 있다. 몇몇의 경우, 이러한 기능성은 전자 문서에 한정되지 않고, 다른 곳에서도 저장되거나 생성된다.
이러한 부가 기능성의 층(layer)은 여기서 "마크업"이라고 언급된다.
5.1. 오버레이 , 정적 및 동적
마크업에 대해 생각하는 한가지 방법은 문서 상의 "오버레이"로서 인데, 이것은 문서 또는 문서의 일부분에 대한 추가 정보를 제공하거나, 문서 또는 문서의 일부분에 연관된 액션을 특정할 수 있다. 마크업은 사람이 판독할 수 있는 컨텐트를 포함할 수 있지만, 종종 사용자에게 보이지 않거나 및/또는 기계적 사용으로만 의도된다. 그러한 예로서, 사용자가 렌더링된 문서의 특정 영역으로부터 텍스트를 캡쳐하거나 혹은 특정 문구의 발음을 설명하는 오디오 샘플을 캡쳐할 때, 근처의 디스플레이 상에 팝업 메뉴가 디스플레이되는 옵션이 있다.
5.1.1. 여러 소스로부터 가능한 여러 층
임의의 문서는 다수의 오버레이를 동시에 가질 수 있고, 이들은 다양한 위치 로부터 유래될 수 있다. 마크업 데이터는 문서의 작가, 사용자, 또는 또다른 측에 의해 생성되거나 공급될 수 있다.
마크업 데이터는 전자 문서에 첨부되거나 또는 그에 내장될 수 있다. 마크업 데이터는 종래의 위치에서(예컨대, 동일한 문서이지만 다른 파일네임 접미사를 갖는 곳에) 발견될 수 있다. 마크업 데이터는 원본 문서의 위치를 찾은 문의의 검색결과에 포함될 수 있고, 또는 동일한 또는 상이한 검색엔진에서의 별개의 문의에 의해 발견될 수 있다. 마크업 데이터는 최초의 캡쳐된 텍스트 및 다른 캡쳐 정보 또는 컨텍스트 정보를 사용하여 발견될 수 있고, 또는 캡쳐의 위치와 문서에 대한 기존에 추론된 정보를 사용하여 발견될 수 있다. 마크업 그 자체가 문서에 포함되어 있지 않더라도, 마크업 데이터는 문서에 특정되어 있는 위치에서 발견될 수 있다.
종래의 html 웹페이지에 대한 링크가 html 문서 내에 정적 데이터(static data)로서 종종 내장되는 방식과 유사하게, 마크업은 문서에 대개 정적이고 특유한 것일 수 있다. 그러나 마크업은 많은 수의 문서에 대해 동적으로 생성 및/또는 적용 될 수도 있다. 동적 마크업의 일 예는, 문서에서 언급된 회사의 최신 주식가격을 포함하는 그 문서가 첨부되어 있는 정보이다. 널리 적용되는 마크업의 일 예는, 다수의 문서나 문서의 섹션에 대해 특정 언어로 자동적으로 이용가능한 번역 정보이다.
5.1.2. 개인 "플러그-인" 층
사용자는 또한 마크업 데이터를 인스톨하거나 그것의 특정 소스에 서명할 수 있고, 따라서 특정 캡쳐에 대한 시스템 반응을 개인화시킨다.
5.2. 키워드 및 문구, 상표 및 로고
문서의 일부 요소는, 특정 문서내의 위치 보다는 그들 자체의 특성에 기초하여 그들과 연관되어 있는 기능성 또는 특정 "마크업"을 가질 수 있다. 예로서, 사용자에게 어느 조직에 관한 추가 정보를 링크시킬 수 있는 로고 및 상표 뿐만 아니라, 순수하게 스캔될 목적으로 문서에서 프린트되는 특정 마크가 있다. 동일한 원리가 텍스트 내의 "키워드" 또는 "키 문구"에도 적용된다. 조직들은 그들이 연관되어 있는 혹은 그들이 연관되고 싶어하는 특정 문구들을 등록할 수 있고, 그 문구가 어디에서 스캔되든지 간에 이용가능하게 되는 특정 마크업을 부착한다.
어떤 단어, 문구 등도 연관 마크업을 가질 수 있다. 예컨대, 본 시스템은, 사용자가 언제 단어 "책" 또는 책제목 또는 책에 관련된 토픽을 캡쳐하든지 간에, 특정 항목을 팝업 메뉴에 추가할 수 있다(예컨대 온라인 서점으로의 링크). 본 시스템의 일부 실시예에서, 단어 "책", 책 제목, 또는 책에 관련된 토픽 근처에서 캡쳐가 발생하였는지를 판단하기 위해 디지털 부본 문서 또는 인덱스가 참조될 수 있고, 시스템의 움직임이 키워드 요소의 이러한 근접성에 따라 변경된다. 앞서의 일예에서, 마크업으로 인해, 비상업적 텍스트 또는 문서로부터 캡쳐된 데이터가 상업적 트랜잭션을 유발할 수 있다는 점에 유의하라.
5.3. 유저-공급된 콘텐트
5.3.1. 멀티미디어를 포함한, 유저 코멘트 및 주석
주석은 문서와 연관될 수 있느 다른 유형의 전자 정보이다. 예로서, 유저는 음성 주석으로서 이후의 검색을 위해 특정 문서에 대한 자신의 생각의 오디오 파일을 첨부할 수 있다. 멀티미디어 주석의 다른 예로서, 유저는 문서라 칭해지는 곳에 사진을 첨부할 수 있다. 유저는 문서를 위한 주석을 공급하지만 시스템은 다른 소스로부터의 주석을 연관시킬 수 있다(예로서, 워크 그룹내의 기타 유저를 공유한다).
5.3.2. 프루프 -판독으로부터의 노트
유저-소스화된 마크업의 중요한 예는 프루프-판독, 편집 또는 검토 목적의 일부분으로서 종이 문서로 된 주석이다.
5.4. 써드 -파티 콘텐트
상기한 바와 같이, 마크업 데이터는 문서의 다른 판독제에 의하는 바와 같이, 써드-파티에 의해 공급될 수 있다. 온라인 토의 및 검토인, 특정 작업, 자원봉사자에 의한 번역 및 설명에 관한 컴뮤니티-관리 정보와 같은 것은 좋은 예이다.
써드-파티 마크업의 다른 예는 광고주에 의해 제공된다.
5.5. 유저의 데이터 스트림에 기초한 동적 마크업
시스템의 여러 또는 모든 유저에 의해 문서로부터 획득된 데이터를 분석함에 의해, 마크업은 컴뮤니의 활동 및 관심사를 기초로 발생될 수 있다. 예로서는 "이 책을 즐긴 사람은 또한 ...도 즐긴다"라는 것을, 유저에게 말하는 ㅈ 또는 마크업을 생성하는 온라인 책방일 수 있다. 마크업은 익명성이 덜 할 수 있고, 유저에게 그의 계약 리스트의 어느 사람이 이 문서를 최근에 읽었는 지를 알려줄 수 있다. 데이터스트림 분석의 다른 예는 섹션 14에 포함되어 있다.
5.6. 외부 이벤트 및 데이터 소스에 기초한 마크업
마크업은 흔히, 통합된 데이터베이스로부터의 입력, 공중 인터넷으로부터의 정보 또는 로컹 운영체제에 의해 수집된 통계치와 같은, 데이터 소스 및 외부 이벤트에 기초한다.
데이터 소스는 더욱 로컬일 수 있고, 특히 유저의 신분, 지역 및 활동과 같은 유저의 콘텍스트에 대한 정보를 제공할 수 있다. 예로서, 시스템은 유저의 모바일 폰과 통신할 수 있고 유저가 최근에 전화로 통화나 누군가에게 문서를 전송할 옵션을 부여하는 마크업 층을 제공한다.
6. 인증, 개인유별화 및 보안
대부분의 상황에서, 유저의 신분은 공지되어진다. 때때로 이것은 "익명 신분"으로 되고, 요기서 유저는 예로서 캡쳐 디바이스의 일련번호에 의해서만 식별된다. 통상적으로, 시스템은 시스템을 개인유별화하는 데에 사용될 수 ㅣㅇㅆ고 활동 및 트랜잭션이 유저의 이름으로 수행될 수 있게 하기 위해, ㄱ에 대한 더욱 상세한 지식을 갖는 것이 예상된다.
6.1. 유저 이력 및 "수명 라이브러리"
시스템이 수행할 수 있는 가장 간명하고 유용한 기능중의 하나는 유저가 캡쳐한 텍스트에 대한 유저의 레코드 및, 발견된 임의의 문서에 대한 상세사항, 이 문서내의 위치 및 결과적으로 취해진 임의의 액션을 포함하는, 그 캡쳐에 관련된 임의 추가 정보를 유지하는 것이다.
이 저장된 이력은 유저 및 시스템 모두에 유익하다.
6.1.1 유저를 위해
유저에게는, 유저가 판독 및 캡쳐한 모든 것에 대한 레코드인, "수명 라이브러리"가 주어질 수 있다. 이것은 단순히 개인적인 관심사일 수 있지만, 예로서 그의 다음 페이퍼의 섹인을 위한 자료를 수집하는 학자에 의해 라이브러리에 사용될 수 도 있다.
몇몇 환경에서, 유저는 다른 사람들이 판독하는 알고 관심사항을 발견할 수 있도록, 웹로그에 마찬가지 방식으로 웹상에서 그것을 출판함에 의해, 라이브러리가 공표되길 바랄 수 있다.
마지막으로, 유저가 일부 텍스트를 획득하고 시스템이 이 캡쳐에 대해 즉시 작용할 수 없는 경우에(예로서, 문서의 전자 버젼이 아직 이용블가능하기 때문에) 캡쳐는 라이브러리에 저장될 수 있고 유저의 요구에 따라 또는 자동으로, 이후에 처리될 수 있다. 유저는 새로운 마크업 서비스에 가입할 수 있고 이것들을 이전에 캡쳐된 스캔에 적용할 수 있다.
6.1.2. 시스템을 위해
유저의 과거 캡쳐에 대한 레코드는 시스템을 위해서도 유용하다. 시스템 동작의 대다수 태양은 유저의 판독 습관 및 이력을 앎으로써 향상될 수 있다. 가장 간명한 예는 유저에 의해 행해진 임의의 스캔은 유저가 가장 최근에 스캔한 문서로부터 올 가능성이 높고 특히 이전 스캔이 최종 수분 전에 행해졌다면 그것은 동일한 문서로부터 올 가능성이 매우 높다. 마찬가지로, 문서는 시작-끈 순서로 판독될 가능성이 더 높다, 따라서, 예로서, 영어 문서인 경우, 나중의 스캔은 문서에서 더욱 멀리 아래로 발생할 가능성이 높다. 그러한 요인들은 모호성의 경우에 시스템이 캡쳐의 위치를 수립하는 데에 도움을 줄 수 있고, 또한 캡쳐되어야 할 텍스트의 양을 감소시킬 수 있다.
6.2 지불 , 아이덴티티 및 인증 디방스와 같은 스캐너
캡쳐 프로세스는 광학 스캐너 또는 음성 레코더와 같은 일정 종류의 디바이스로 시작하기 때문에, 이 디바이스는 유저를 식별하고 일정한 액션을 인증하는 키로서 사용될 수 있다.
6.2.1. 스캐너와 전화 또는 기타 계정과의 연관
디바이스는 모바일 폰에 내장되거나 또는 기타 방식으로 모바일 폰 계정과 연관될 수 있다. 예로서, 스캐너는 모바일 폰 계정과 연관된 SIM 카드를 스캐너에 삽입함에 의해 모바일 폰 계정과 연관될 수 있다. 마찬가지로, 디바이스는 크레딧 카드 또는 기타 지불 카드에 내장되거나 또는 그것에 연결되는 카드를 위한 기능설비를 가질 수 있다. 디바이스는 지불 토큰으로 사용될 수 있고, 지불 트랜잭션은 렌더링된 문서로부터의 캡쳐에 의해 개시될 수 있다.
6.2.2. 인증을 위해 스캐너 입력 사용
스캐너는 유저 또는 계정과 연관된 몇몇 토큰, 심볼 또는 텍스트를 스캐닝하는 프로세스를 통해 특정 유저또는 계정과도 연관될 수 있다. 또한, 스캐너는 예로서 유저의 지문을 스캐닝함에 의해, 생체정보를 위해 사용될 수 있다. 오디오-기잔 캡쳐 디바이스의 경우에, 시스템은 유저의 음성 패턴을 매칭함에 의해 또는 유저가 일정한 암호 또는 구절을 말하도록 요구함에 의해 유저를 식별할 수 있다.
예로서, 유저가 책으로부터 일정한 인용구를 스캐너하거나 온라인 판매자로부터 책을 구입할 옵션이 제공된다면, 유저는 이 옵션을 선택할 수 있고, 그후 트랜잭션을 확인하기 위해 유저의 지문을 스캔하도록 프롬프팅한다.
섹션 15.5. 및 15.6.도 참조 하시요
6.2.3. 보안 스캐닝 디바이스
캡쳐 디바이스가 유저를 인증 및 식별하기 위해 그리고 유저를 대신하여 트랜잭션을 개시시키기 위해 사용되는 경우, 시스템의 다른 부분과 디바이스간의 통신이 보안유지되는 것이 매우 중요하다. 또한 다른 디바이스가 스캐너를 대역하는 상황, 또는 다른 컴포넌트와 디바이스간의 통신이 인터셉트되는 소위 "중간에 낀 사람" 공격에 대해 보호하는 것이 매우 중요하다.
그러한 보안을 제공하기 위한 기술은 당업계에서 양호하게 잘 이해되고; 다양한 실시예, 디바이스에서의 하드웨어 및 소프트웨어 및 시스템네의 다른 곳은 그런 기술을 구현하기 위해 구성된다.
7. 모델 및 엘리먼트 출판
상기한 시스템의 이점은 시스템의 다수의 이점을 얻기 위해 문서를 생성, 인쇄 및 출판하는 종래의 프로세스를 변경할 필요가 없다는 것이다. 문서의 생성자 또는 출판자-이후엔 단순히 "출판자"로서 참조됨-는 상기한 시스템을 지원하는 기능을 생성하길 원하는 이유가 있다.
이 섹션은 주로 출판된 문서와 관련된다. 광고와 같은, 기타 상용 트랜잭션에 관한 정보에 대해서는 " P-커머스"라는 제목의 섹션 10을 참조하시요.
7.1. 인쇄된 문서에 대한 전자 컴패니언
시스템은 문서가 연관된 전자 프레즌스를 갖는 것을 허용한다. 종ㅎ래에 출판자는 CD-ROM에 추가 디지털 정보, 교습 영화 및 기타 멀티미디어 데이터, 샘플 코드 또는 문서, 또는 추가의 기준 재료등을 포함하는 북을 탑재한다. 또한, 몇몇 출판자는 출판 시점 후 갱신될 수 있는 정보 및, 오자, 추가 코멘트, 갱산된 기준 재료, 색인 및 관련 데이터의 추가 소스, 및 다른 언어로의 번역과 같은, 그러한 재료를 제공하는 특정 출판물과 연관된 웹사이트를 유지한다. 온라인 포럼은 독자가 출판물에 대해 그들의 코멘트를 달 수 있도록 한다.
상기한 시스템은 그러한 재료들이 이전 것 보다 렌더링된 문서에 더욱 밀접하게 결합되는 것을 허용하고, 그리고 그들의 발견과 그들과의 상호작용이 유저에 대해 더욱 용이하게 될 수 있도록 한다. 문서로부터의 텍스트의 일부를 캡쳐함에 의해, 시스템은 자동적으로 유저를 문서와 연관된 디지털 재료에 자동적으로 연결시킬 수 있고, 더욱 상세히는 문서의 특정 부분과 연관된다. 마찬가지로, 유저는 텍스트의 그 섹션을 토의하는 온라인 커뮤니티에, 그리고 다른 독자에 의해 주석 및 해석에 연결될 수 있다. 과거에, 그러한 정보는 통상적으로 특정 쪽전호 또는 장을 탐색함에 의해 차아질 필요가 있곤 했다.
이러한 예시적 애플리케이션은 학문적 교재 분야이다(섹션 17.5).
7.2. 인쇄된 문서에 대한 "가입"
몇몇 출판자는 독자들이 새로운 관련 자료를 통지받기 원한다면 또는 책의 새로운 판이 출판되는 경우 가입할 수 있는 메일링 리스트를 가질 수 있다. 설명 된 시스템으로, 유저는 특정 문서 또는 문서의 일부분에서 관심사항을 등록할 수 있고, 출판자가 임의의 그러한 기능을 제공하는 것을 고려하기 이전인 경우에도 등록할 수 있다. 독자의 관심사항은 출판자에게 제공될 수 있고, 언제 및 어느 때 갱신본, 추가 정보, 세로운 판 또는 기존 책에서 관심있는 것으로 wmd명된 주제에 관한 완전히 새로운 출판물을 제공할 지에 대한 그들의 결정에 영향을 미칠 수 있다.
7.3. 특정한 의미를 갖춘 또는 특정한 데이터를 포함하는 인쇄된 마크
시스템의 다수의 태양은 문서에 이미 존재하는 텍스트의 사용을 통해 단순히 인에이블된다. 문서가, 시스템과 연관지어 사용될 수 있다는 지식하에서 산출된다면, 여분의 기능은 특정 마크 형태로 여분의 정보를 인쇄함에 의해 추가될 수 있고, 이것은 텍스트 또는 필요한 액션을 식별하는 데에 사용될 수 있고, 또는 그렇지않으면 시스템과 문서의 상호작용을 향상시킨다. 가명하고 가장 중요한 예는 문서가 명확하게 시스템을 통해 액세스가능하다는 것을 독자에게 지시하는 것이다. 특정항 아이콘이, 그 문서가 그것과 연관된 온라인 포럼을 갖는다는 것을 지시하는 데에 사용될 수 있다.
그러한 심볼은 순전히 독자를 의도한 것일 수 있거나, 일정한 액션을 개시시키는 데에 사용되고 스캐닝된 경우 시스템에 의해 인식될 수 있다. 충ㅂ준한 데이터는 심볼 이상의 것을 식별하기 위해 심볼로 인코딩 될 수 있고; 그것은 또한 시에 의해 인식 및 판독될 수 있는, 심볼의 위치, 판, 문서에 관한 정보를 저장할 수 있다.
7.4. 페이퍼 문서의 소유를 통한 인증
인쇄 문서의 소유 또는 그에 대한 액세스가, 예로서 문서의 전자 복사본 또는 추가 재료로의 액세스와 같은, 일정한 특권을 유저에게 부여하는 몇몇 상황이 있다. 상기한 시스템으로, 그러한 특권은 유저가 문서로부터 텍스트의 일부분을 캡쳐링하거나, 또는 특정하게 인쇄된 심볼을 스캐닝함에 의한 결과로서 간단하게 허여될 수 있다. 시스템이, 유저가 전체 문서를 소유하고 있었다는 것을 보장할 것이 필요로 되는 경우에, 유저에게 특정 페이지로부터 특정 항목 또는 어구, 예로서 " 페이지 46의 두번째 라인"과 같은 것을 스캐닝하도록 프롬프팅할 수 있다.
7.5. 만료하는 문서
인쇄 문서가 여분의 재료 및 기능으로의 게이트웨이이면, 그러한 특징으로의 액세스는 시간제약에 놓일 수 있다. 만료날짜 후, 유저는 요금을 지불하거나 상기와 같은 특징들을 다시 액세스하기 위해 문서의 새로운 버젼을 획득하는 것이 요구될 수 있다. 페이퍼 문서는 물론 여전히 사용가능하지만, 그 향상된 전자 기능의 일부를 손실하게 된다. 이것은, 출판자가 전자 재료로의 액세스를 위한 요금을 수납하는 경우, 또는 유저가 때때로 새로운 버젼을 획득힐 필요가 있는 경우, 이점이 있기 때문에, 또는 배포중 남아있는 인쇄된 문서의 오래된 버젼과 연관된 단점이 있기 때문에, 소망된다.
7.6. 인기도 분석 및 출판 결정
섹션 10.5는 광고 가격 및 저자의 보상에 영향을 미치는 시스템의 통계치의 사용을 토의한다.
몇몇 실시예에서, 시스템은 페이퍼 문서뿐 아니라 그것과 연관된 전자 커뮤니팅서의 활동으로부터 출판물의 인기도를 추론한다. 이들 요인들은 출판자 미래에 출판할 것에 대한 결정을 행하는 데에 조력한다. 기존의 책에서 장이 지나치게 인기 있는 것으로 판명되면, 별개의 출판으로 확대될 가치가 있을 것이다.
8. 문서 액세스 서비스
설명된 시스템의 중요한 태양은 문서의 렌더링된 카피에 대한 액세스를 갖는 유저에게 그 문서의 전자 버젼에의 액세스 능력을 부여하는 것이다. 몇몇 경우에, 문서는 유저가 액세스하는 개인 네트워크 또는 공중 네트워크상에서 자유로이 이용가능하다. 시스템은 문서를 식별, 탐지 및 검색하기 위해 캡쳐된 텍스트를 사용하고, 몇몇 경우엔 그것을 유저의 스크린에 디스플레이하거나 그것을 유저의 이메일 박스에 위치시킨다.
몇몇 경우에, 문서는 전자 형태로 이용가능하지만 여러 이유로 유저에게 액세스불가능할 수 있다. 문서를 검색하는 데에 충분한 연결이 없을 수 있고, 유저는 그것을 검색할 권한이 없을 수 있고, 그것을 액세스하는 권한관과 연관된 비용이 들 수 있고, 또는 문서는 단지 여러 간으성을 지명하기위해, 새로운 버젼으로 대체가능하고 철회될 수 있다. 시스템은 통통상적으로 피드백을 이들 상황에 대해 유저에게 제공한다.
섹션 7.4에 설명된 바와 같이, 특정 유저에게 허영된 액세스의 정도 또는 특성은 유저가 이미 문서의 인쇄된 카피에 대한 액세스를 갖는다면 상이할 수 있다.
8.1. 인증된 문서 액세스
문서로의 액세스는 특정 유저 또는 특정 기준을 충족하는 유저에게로 제한적일 수 있거나, 유저가 보안 네트워크에 연결된 경우와 같은 일정 환경에서만 이용가능하다. 섹션 6은 유저의 신뢰도 및 스캐너가 수립될 수 있는 몇몇 방식을 설명한다.
8.2. 문서 구입-복제권-소유 보상
일반공중에 자유로이 사용가능한 전자 문서는 비용지불, 또는 출판자 또는 복제권자에 대한 보상으로 액세스가능할 수 있다. 유저은 지불 설비를 구현할 수 있거나 섹션 6.2에 설명된 것을 포함하여, 유저와 연관된 지불 방법을 사용할 수 있다.
8.3 문서 에스크로우 및 프로액티브 검색
전자 문서는 흔히 일시적이고; 렌더링된 문서의 디지털 소스 버젼은 현재 이용가능하지만 미래에는 액세스불가능할 수 있다. 시스템은 유저가 요구받지 않은 경우에도, 유저를 대신하여 기존 버젼을 검색 및 저장하고, 따라서 ㅅ가 미래에 그성르요구하면 그거의 이용가능성을 보장한다. 이것은 또한 미래 캡쳐를 식별하는 프로세스의 일부로서 탐색하는 것과 같은, 시스템의 사용에 이용가능하다.
문서로의 액세스를 위해 지불이 요구되는 경우에, 신뢰된 "문서 에스크로우" 서비스는, 유저가 서비스로부터 문서를 요구해야한다면 복제권자가 미래에 충분히 보상된다는 보장으로, 가장 적합한 요금의 지불과 같은 경우에서와 같이, 유저를 대신하여 문서를 검색할 수 있다.
이 주제에관한 변형들은 문서가 캡쳐시점에 전자 형태로 이용불가능하다면 구현될 수 있다. 유저는 전자 문서가 이후 날짜에 이용가능하게 되어야한다면 유저를 대신하여 문서를 위한 지불을 행하거나 요구를 제출하도록 하는 서비스를 허가할 수 있다.
8.4. 기타 가입 및 계정과의 연관
때때로 지불은 다른 계정 또는 가입과의 기존 연관에 기초하여 포기, 감소 또는 충족될 수 있다. 신문의 인쇄된 버젼에 대한 가입자는 예로서, 전자 버젼을 검색할 자격이 자동으로 부여될 수 있다.
그밖의 경우에, 연관은 덜 직접적일 수 있는 데; 유저는 그들의 고용주에 의해 수립된 계정에 기초하여, 또는 가입자인 친구에 의해 소우된 인쇄된 카피의 스캐닝을 기초로 하여 액세스권한이 부여될 수구 있다,
8.5 포토카핑을 스캔 및 인쇄로 대체하기
페이퍼 문서로부터 텍스트를 캡쳐링하고, 전자적 원본을 식별하고, 캡쳐와 연관된 원본의 일부 또는 원본을 인쇄된하는 프로세스는 다양한 이점을 지닌 채 종래의 포토카핑에 대한 대안을 형성한다.
?페이퍼 문서는 최종 인쇄본과 동일 위치에 있을 필요가 없고, 임의 경우에 동일 시간에 그곳에 있을 필요가 없다.
?포토카핑 프로세스에 의해 페이퍼 문서, 특히 오래되고, 약하고 값어치 있는 문서에 야기된 마모 및 손상은 방지도리 수 있다.
?복사본의 품질은 통상적으로 더욱 높다.
?어느 문서 또는 가장 빈번히 복사되는 문서의 일부분에 관한 레코드가 유 지될 수 있다.
?지불은 프로세스의 일부로서 복제권자에 행해질 수 있다.
?승인되지 않은 복사는 금지된다.
8.6 포토카피로부터 귀중한 원본을 위치지정함
문서가 법적 문서 또는 역사적 또는 기타 특정 중요성을 가는 문서인 경우와 같이 특히 귀중한 경우에, 사람들은 원본은 안전한 위치에 보관한 채 흔히 ㅅ년 동안 이들 문서의 복사본을 이용한다.
설명된 시스템은, 누군가가 보관된 원본 페이퍼 문서를 찾기위해 복사본에 대한 액세스를 용이하게 하는, 예로서 보관 창고에, 원본 문서의 위치를 기록하는 데이터베이스에 연결될 수있다.
9. 텍스트 인식 기술
광학식 문자 인식(OCR) 기술은 전통적으로 전체 페이지를 캡쳐링하는 플랫-베드 스캐너로부터, 대량의 텍스트를 포함하는 이미지에 집중되어왔다. OCR 기술은 흔히 유용한 텍스트를 생성하기 위해 유저에 의한 상당한 훈련 및 보정을 필요로 한다. OCR 기술은 흔히 OCR을 수행하는 머신에 대한 상당한 처리 능력을 필요로 하는 한편, 다수의 시스템은 사전을 사용하는 데, 그들은 효과적으로 무한한 용어로 동작하는 것이 예상된다.
상기한 종래의 모든 특징들은 상기한 시스템으로 개선될 수 있다.
이 섹션이 OCR에 대해 집중된 반면에, 토의된 다수의 이슈들은 특히 음성 이닛과 같은, 기타 인식 기술에 직접 매핑된다. 섹션3.1에서 설명된 바와 같이, 페이퍼로부터 클링하는 프로세스는 오디오를 캡쳐링하는 디바이스내로 텍스트를 판독함에 의해 유저에 의해 달성된다. 당업자는 이미지, 폰트 및 텍스트 조각에 대해 여기에서 설명된 원리가 흔히 오디오 샘플, 유저 음성 모델 및 음소에 대해 적용됨을 이해할 것이다.
9.1 적절한 디바이스를 위한 최적화
상기한 시스템에 사용을 위한 스캐닝 디바이스는 소형, 휴대형 및 저전력이다. 스캐닝 디바이스는 한 타임에 단지 몇개의 워드만 캡쳐할 수 있고, 몇몇 구현에선 한번에 완전한 한 문자를 캡쳐하지 못할 수 있는 반면에 텍스트를 통해 한 수평 슬라이스를 캡쳐할 수 있는 데, 다수의 그러한 수평 슬라이스는 텍스트가 유추될 수 있는 인식가능한 신호를 함께 형성한다. 스캐닝 디바이스는 또한 매우 제한적인 프로세싱 파워 또는 저장을 갖고 따라서, 몇몇 실시예에서 모든 OCR 프로세스를 수행ㅎㄹ 수 있는 반면에, 다수의 실시예는 캡쳐된 신호를 텍스트로 변환하기 위해, 가능하면 나중에, 더욱 강력한 디바이스로의 연결에 좌우되게 된다. 마지막으로, 그것은 유저 상호작용을 위한 매우 제한된 기능을 갖고, 따라서 이후의 유저 입력을 위해 임의 요구를 지연시킬 필요가 있거나, 지금 보다 더욱 큰 정도로 "최선-추측" 모드로 동작할 필요가 있다.
9.2 "일정치않은" OCR
상기한 시스템내의 OCR의 주요한 새로운 특징은 일반적으로, 그것이 디지털 형태로 검색될 수 있고 어느 곳에 존재하는 텍스트의 이미지를 검사할 것이라는 사실이다. 텍스트의 정확한 트랜스크립션은 반드시 OCR 엔진으로부터 요구되는 것은 아니다. OCR 시스템은 몇몇 경우엔 확률 가중치를 포함하는 가능한 매치의 행렬 또는 집합을 출력하고, 그것은 디지털 원본을 탐색하기 위해 사용될 수 있다.
9.3 반복적 OCR-추측, 명확화, 추측...
인식을 수행하는 디바이스가 프로세싱시 문서 인덱스를 접촉할 수 있다면, OCR 프로세스는 그것이 진행함에 따라 문서 코퍼스의 콘텐츠에 의해 통지될 수 있고, 잠재적으로 상당히 큰 인식 정확도를 제공한다.
그러한 연결은 충분한 텍스트가 디지털 소스를 식별하기 위해 캡쳐된 경우에 디바이스가 유저에게 통지할 수 있게 한다.
9.4. 유사한 렌더링 지식 이용
시스템이 문서의 유사하게 인쇄된 렌더링의 여러 태양-페이지의 레이아웃 또는 인쇄에 사용된 폰트 타이프페이스와 같은, 또는 어느 섹션이 이탤릭체인지와 같은-, 이것은 역시 인식 프로세스에 조력할 수 있다(섹션 4.1.1).
9.5. 폰트 캐싱- 호스트상의 폰트 결정, 클라이언트로의 다운로드
문서 커퍼스내에서의 후보자 소스 텍스트가 확인됨에 따라, 그것의 폰트, 또는 렌더링은 인식으로 도움을 주기위해 디바이스에 다운로드될 수 있다.
9.6. 자동보정 및 문자 오프셋트
텍스트 프래그먼트의 컴포넌트 문자가 문서 서명으로서 사용될 수 있는 텍스트의 프래그먼트를 표현하는 가장 잘 인식된 방법일 수 있 반면에, 텍스트의 다른 표현들은, 텍스트 프래그먼트를 디지털 문서 및/또는 데이터베이스에 위치시키고 시도하는 경우, 또는 텍스트 프래그먼트의 표현을 판독가능형태로 명확하하는 경우 에, 텍스트 프래그먼트의 실제 텍스트가 사용될 필요가 없다는 것을 충분히 잘 나타낼 수 있다. 텍스트 프래그먼트의 기타 표현은 실제 텍스트 표현이 부족하다는 이점을 제공할 수 있다. 예로서, 텍스트 프래그먼트의 광학식 문자 인식은 흔히, 전체 프래그먼트에 대해 광학식 문자 인식에 의존함이 없이 텍스트 프래그먼트를 재생성하기 위해 탐색하는 데에 사용될 수 있는 캡쳐된 텍스트 프래그먼트의 기타 표현과는 다르게, 에러가 되기 쉬운 경향이 있다. 현재 시스템에 사용되는 몇몇 디바이스에 대해 더욱 적절할 수 있다.
당업자는 텍스트 프래그먼트의 외양을 기술하는 많은 방법이 있다는 것을 인식할 것이다. 텍스트 프래그먼트의 그러한 특징화는 다음과 같은 것에 제한되진 않지만, 워드 길이, 상대적 워드 길이, 문자 높이, 문자 폭, 문자 형태, 문자 빈도, 토큰 빈도등과 같은 것을 포함한다. 몇몇 실시예에서, 매칭 텍스트 토큰간의 오프셋트(즉, 간섭 토큰의 수에다 일을 더한 것)는 텍스트의 프래그먼트를 특징화하는 데에 사용된다.
종래의 OCR은 스캐닝된 텍스트의 문자를 결정하기 위한 시도로 폰트, 글자 구조 및 형태에 관한 지식을 이용한다. 본 발명의 실시예는 상이하고; 그것들은 인식 프로세스에서 조력하기 위해 렌더링된 텍스트 자체를 사용하는 다양한 방법을 채용한다. 이들 실시예는 "서로를 인식하기 위해" 문자(또는 토큰)을 사용한다. 그라러 자체-인식을 일컫는 한 예는 "템플릿 매칭", 이고 "컨볼루션"과 유사하다. 그러한 자체-인식을 수행하기 위해, 시스템은 텍스트의 복사본을 그 자체에 대해 수평으로 슬라이스하고 텍스트 이미지의 매칭 지역을 노트한다. 종래의 템플릿 매 칭 및 컨볼루션 기술은 다양한 관련 기술을 포함한다. 문자/토큰을 토큰화 및/또는 인식하기 위한 기술은 문자/토큰이 매칭하는 경우 그 자신의 컴포넌트와 상관시키는 데에 사용된다.
자동보정의 경우, 매치하는 완전 연결된 지역은 관심있는 것이다. 이것은 문자(또는 문자의 그룹)이 동일 문자(또는 그룹)의 다른 인스턴스를 오버레이하는 경우 발생한다. 매치하는 완전 연결된 지역은 컴포넌트 토큰내에 텍스트의 토큰화를 자동으로 제공한다. 텍스트의 두 개의 복사본이 서로를 지나 슬라이딩됨에 따라, 완전한 매칭이 발생(즉, 수직 슬라이스의 모든 픽셀들이 매칭된다)하는 지역이 노트된다. 문자/토큰이 스스로 매칭하는 경우, 이 매칭의 수평 범위(예로서, 텍스트의 연결된 매칭부)도 매칭한다.
이 스테이지에서 각각의 토큰의 실제 아이덴티티즉, 토큰 이미지에 대응하는, 특정 글자, 숫자 또는 심볼, 또는 이들의 그룹)를 결정할 필요가 없고, 단지 스캐닝된 텍스트에서의 동일 토큰의 다음 발생에 대한 오프셋트만을 결정할 필요가 있다. 오프셋트 수는 동일 토큰의 다음 발생까지의 거리(토큰의 수)이다. 토큰이 텍스트 스트링내에서 고유하면, 오프셋트는 제로(0)이다. 이렇게 발생된 토큰 오프셋트의 시퀀스는 스캐닝된 텍스트를 식별하기 위해 사용될 수 있는 서명이다.
몇몇 실시예에서, 스캐닝된 토큰의 스트링에 대하여 결정된 토큰 오프셋트는 그것들의 콘텐츠의 토큰 오프셋트에 기초하여 전자 문서의 코퍼스를 색인하는 인덱스에 비교된다(섹션 4.1.2). 다른 실시예에서, 스캐닝된 토큰의 스트링에 대하여 결정된 토큰 오프셋트는 텍스트로 변환되고, 그것들의 콘텐츠에 기초하여 전자 문 서의 코퍼스를 색인하는 더욱 종래의 인덱스에 비교된다.
상기한 바와 같이, 유사한 토큰-상관 프로세스는 캡쳐 프로세스가 음성 워드의 오디오 샘플로 이루어지는 경우 음성 프래그먼트에 적용될 수 있다.
9.7. 폰트/문자 "자기-인식"
종래의 템플릿-매칭 OCR은 문자 이미지의 라이브러리에 스캐닝된 이미지를 비교한다. 본질적으로, 알파벳은 각각의 폰트에 대해 저장되고 새로이 스캐닝된 이미지는 매칭 문자를 발견하기위해 저장된 이미지와 비교된다. 이 프로세스는 올바른 폰트가 식별될 때 까지 초기 지연이 계속된다. 그후, OCR 프로세스는 비교적 고속인데 이는 대부분의 문서가 동이 폰트를 전체적으로 사용하기 때문이다. 후속 이미지는 따라서 최근 식별된 폰트 라이브러리와의 비교에 의해 텍스트로 변환될 수 있다.
가장 흔히 사용되는 폰트의 문자의 형태는 관련된다. 예로서 대부분의 폰트에서, 글자 "C" 및 글자 "e" 는 시각적으로 관련되고-"t" "f"등도 마찬가지이다. OCR 프로세스는 아직 스캐닝되지 않은 글자들에 대한 템플릿을 구성하기 위해 상기 관계를 사용함에 의해 향상된다. 예로서 판독기가 이전에 보지못한 폰트의 페이퍼 문서로부터 텍스트의 짧은 스트링을 스캔하여 시스템은 스캐닝된 이미지와 비교하는 이미지 템플릿의 셋트를 갖지 않는 경우, 시스템은 그것이 알파벳의 모든 글자를 아직 보지 못한 경우에도 폰트 템플릿 라이브러리를 구성하기 위해 일정한 문자들간에 가능한 관계를 레버리지할 수 있다. 시스템은 그러면 후속 스캐닝된 텍스트를 인식하기 위해 그리고 구성된 폰트 라이브러리를 더욱 정교하게 하기 위해 구 성된 폰트 템플릿 라이브러리를 사용할 수 있다.
9.8. 인식되지 않은 것(그래픽을 포함한)은 어느 것이나 서버로 전송
이미지가 탐색 프로세스에서의 사용을 위한 적절한 형태로 기계 트랜스크립션될 수 없는 경우에, 이미지는 스스로 유저에 의한 나중의 사용을 위해, 가능한 수동 트랜스크립션을 위해, 또는 상이한 자원이 시스템에 이용가능할 수 있을 때 나중 날짜에서의 프로세싱을 위해, 보관될 수 있다.
10. P- 커머스
시스템에 의해 가능한 행해진 다수의 액션들은 몇몇 상용 트랜잭션이 발생하는 결과로 된다. 어구 P-커머스는 본원에서 시스템을 통한 페이퍼로부터 개시된 상용 액티비티들을 설명하기 위해 사용된다.
10.1. 물리적 인쇄된 복사본에 의한 문서의 판매
유저가 텍스트를 문서로부터 캡쳐하는 경우, 유저는 페이퍼 또는 전자 형태로 구입을 위한 그 문서가 제공된다. 유저는 페이퍼 문서에 인용된 또는 언급된 문서, 또는 동일 저자에 의한 문서 또는 유사한 주제와 같은 관련 문서들이 제공된다.
10.2. 페이퍼에 의해 개시되거나 도움을 받은 것들의 판매
텍스트의 캡쳐는 다양한 방식으로 사용 액티비티에 링크될 수 있다. 캡쳐된 텍스트는 아이템을 판매하도록 디자인된 카탈로그일 수 있고, 이경우 텍스트는 아이템의 구입과 매우 직접적으로 연관될 수 있다(섹션 18.2). 텍스트는 또한 광고의 일부분일 수 있고, 이 경우 광고되는 아이템의 판매는 계속이어질 수 있다.
그 밖의 경우에, 유저는 상용 트랜잭션에서 그들의 잠재적 관심사항이 유추될 수 있는 기타 텍스트를 캡쳐한다. 특정 국가의 소설 셋트의 독자는 그곳의 휴일에 관심이 갈 수 있다. 유저는 그들에게 몇몇 상용 기회가 결과적으로 제시될 수 있것을 아는 텍스트의 특정 프래그먼트를 캡쳐할 수 있고, 또는 그것은 그들의 캡쳐 활동의 부수적인 것일 수 있다.
10.3. 판매되어지는 아이템상의 레이블 , 아이콘, 일련번호, 바코드의 캡쳐
때때로 텍스트 또는 심볼은 실제로 아이템상에 또는 그것의 포장에 인쇄된다. 그 예로는 일련번호 또는 제품 id는 흔히 전자 방비의 피스의 바닥부 또는 후면상의 레이블에서 찾을 수 있다. 시스템은 유저에게 그 텍스트를 캡쳐링함에 의해 하나 이상의 동일 아이템을 구입하는 편리한 방법을 제공한다.
10.4. 콘텍스추얼 광고
광고로부터 텍스트의 직접적 캡쳐외에, 시스템은 렌더링된 문서에서 반드시 명시적일 필요가 없는 새로운 종류의 광고를 허용하지만, 그럼에도 그것은 사람들이 판독하는 것에 기초하고 있다.
10.4.1. 스캔 콘텍스트 및 이력에 기초한 광고
종래의 페이퍼 출판에서, 광고는 신문 기사의 텍스트에 비해 큰 공간을 소비하고, 그리고 이것들의 제한돈 수가 특정 기사 주변에 배치될 수 있다. 상기한 시스템에서, 광고는 개별적인 워드 또는 구와 연관될 수 있고, 그 텍스트를 캡쳐링함에 의해 그리고 과거 스캔에 대한 그들의 이력을 고려함에 의해 유저가 도시한 특정 관심사에 따라 선택될 수 있다.
상기한 시스템으로, 특정 인쇄된 문서에 밀접하게되는 구입을 위해 그리고 특정 인쇄 출판물에서의 그들의 광고의 유효성에 대한 상당히 많은 피드백을 광고자가 얻는 것이 가능하다.
10.5. 보상의 모델
시스템은 광고자 및 시장판매자에 대한 보상의 몇몇 새로운 모델을 가능케 한다. 광고를 포함하는 인쇄된 문서의 발행자는 그들의 문서로부터 발생된 구입으로부터 약간의 수입을 얻을 수 있다. 이것은 광고가 원본 인쇄된 형태에 존재하는 지의 여부에 관계없이 트루이고; 그것은 전자적으로 출판자에 의해 또는 강고주 또는 제3자에 의해 추가되어질 수 잇고, 그러한 광고의 소스는 유저에 의해 가입되어질 수 있다.
10.5.1. 인기도-기반 보상
시스템에 의해 발생된 통계치에 대한 분석은 출판물의 ㅇ리정 부분에 대한 인기도를 나타낼 수 있다(섹션 14.2.). 신문에서, 독자가 특정 페이지 또는 기사, 또는 특정 문서의 인기도를 보는 데 소비한 시간의 양을 나타낼 수 있다. 몇몇 환경에서, 작가 또는 출판업자는 반포된 복사본의 수 또는 기록된 워드와 같은 더욱 전통적인 메트릭스 보단 독자의 액티비티에 기초하여 보상을 받기에 적합할 수 있다. 그의 작품이 주제에 대한 권위가 빈번하게 판독되는 작가는 그의 착이 복사본 만큼 판매되지만 드믈게 열람되는 작가와는 미래의 계약에서 상이하게 고려될 수 있다.
10.5.2. 인기도-기반 광고
문서에서의 광고에 관한 결정은 독자관계에 대한 통계치에 기초할 수 있다. 가장 인기있는 컬럼니스트주변의 광고는 프리미엄 레이트로 판매될 수 있다. 광고자들은 문서가 그것이 어떻게 수용되는지에 대한 지식에 기초하여 출판된 후 일정 시간에 요금청구되거나 보상될 수 있다.
10.6. 수명 라이브러리에 기초한 마켓팅
섹션 6.1 및 16.1에 설명된 스캔 이력 또는 "수명 라이브러리"는 유저의 습관 또는 관심사항에 대한 정보의 극히 값어치 있는 소스일 수 있다. 적절한 동의 및 프라이버시 이슈에 종속하여, 그러한 데이터는 유저에게 상품 또는 서비스의 제공을 통지한다. 익명 형태의 경우에도, 수집된 통계치는 매우 유용할 수 있다.
10.7. (이용가능한 때)이후 날짜에서의 판매/정보
상용 트랜잭션을우한 광고 및 기타 기회들은 텍스트 캡쳐시에 유저에게 즉시 제공되지 않을 수 있다. 예로서, 소설에 대한 시퀄을 구입할 기회는 유저가 소설을 읽는 시점에 이용불가능할 수 있지만, 시스템은 시퀄이 출판된 경우 그것들에게 기회를 제공할 수 있다.
유저는 구입 또는 기타 상용 트랜잭션에 관련한 데이터를 캡쳐할 수 있지만, 캡쳐가 행해진 시점에서 트랜잭션을 개시 및/또는 완료하는 것을 선택하지 않을 수 있다. 몇몇 실시예에서, 캡쳐와 관련한 데이터는 수명 라이브러리에 저장되고, 이들 수명 라이브러리 엔트리는 "액티브"상태(즉, 캡쳐가 행해졌었던 시점에서 이용가능한 것들과 유사한 후속 상호작용할 수 있는)에 있을 수 있다. 따라서 유저는 어떤 나중 시점에 캡쳐를 리뷰할 수 있고, 선택적으로 그 캡쳐에 기초하여 트랜잭 션을 완료할 수 있다. 시스템은 원래 캡쳐가 언제 어디서 발생했는 지를 추적할 수 있기 때문에, 트랜잭션에 포함된 모든 당사자들은 적절하게 보상받을 수 있다. 예로서 유저가 데이터를 캡쳐하는 광고의 바로 다음에 나타나는 -이야기를 출판한 출판자- 및- 이야기를 쓴 작가는 유저가, 6개월 후, 그들의 수명 라이브러리를 방문한 경우, 이력으로부터 특정한 캡쳐를 선택한 경우, 및 팝업 메뉴로부터 "이 아이템을 Amazon으로부터 구입"을 결정함에 의해 보상될 수 있다(이것은 캡쳐의 시점에서 선택적으로 제시된 메뉴와 동일 또는 유사할 수 있다).
11. 운영체제 및 애플리케이션 통합
현대 운영체제(OS) 및 기타 소프트웨어 패키지는 상기 시스템으로 유익하게 이용될 수 있는 다수의 특징을 가지며, 그것의 사용을 위해 더욱 양호한 플랫폼을 제공하기 위해 다양한 방식으로도 수정될 수 있다.
11.1. 메타데이터 및 인덱싱에서 스캔 및 인쇄-관련된 정보의 통합
새롭고 머지않아 다가오는 파일 시스템 및 그들의 연관된 데이터베이스는 흔히 각각의 파일과 연관된 다양한 메타데이터를 저장할 능력을 갖는다. 통상적으로, 이 메타데이터는 파일을 생성한 유저의 ID, 생성일짜, 최종 수정 및 최종 사용과 같은 것들을 포함한다. 더욱 새로운 파일 시스템은 키워드, 이미지 특징, 문서 소스 및 유저 코멘트와 같은 여분의 정보들이 저장되는 것을 허용하고 몇몇 시스템에서 이 메타데이터는 임의의로 확장될 수 있다. 파일 시스템은 그러므로 현재 시스템을 구현하는 데에 유용한 정보를 저장하는 데에 사용할 수 있다. 예로서, 데이터는, 상기 시스템을 사용하여 페이퍼로부터 어느 텍스트가 그리고 언제 누구에 의해 캡쳐되었는지에 대한 상세히 나타낼 수 있는 바와 같은 데이터는, 주어진 문서가 최종 인쇄되었을 때 파일 시스템에 의해 저장될 수 있다.
운영체제는 또는 유저가 로컬 파일을 더욱 용이하게 발견할 수 있게하는 탐색 엔진 기능을 통합하기 시작한다. 이들 기능들은 시스템에 의해 유익하게사용될 수 있다. 그것은 섹션 3 및 4에서 토의된, 다수의 탐색-관련 개념들은 오늘날의 인터넷-기반 및 유사한 탐색 엔진에 뿐만아니라 모든 개인용 컴퓨터에 적용되는 것을 의미한다.
몇몇 경우에 특정 소프트웨어 애플리케이션은 OS에 의해 제공된 기능 이강 및 그것을 넘어서는 시스템을 위한 지원을 포함하게 된다.
11.2. 캡쳐 디바이스를 위한 OS 지원
펜 스캐너와 같은 캡쳐 디바이스의 사용이 점점 일반화됨에 따라, 마우스 및 프린터에 제공되는 지원과 많이 유사한 방식으로, 지원체계를 운영체제에 구축하는 것이 바람직한 데, 이는 캡쳐 디바이스의 적용가능성이 단일 소프트웨어 애플리케이션 범위를 넘어 확장하기 때문이다. 시스템의 동작에 대한 기타 태양에 대해서도 마찬가지로 옳다. 몇몇 샘플이 이하에 설명된다. 몇몇 실시예에서, 전체 설명된 시스템, 또는 그 핵심부분이 OS에 의해 제공된다. 몇몇 실시예에서, 시스템을 우한 지원은 시스템의 태양을 직접 구현하는 것을 포함하는, 기타 소프트웨어 패키지에 의해 사용될 수 있는 애플리케이션 프로그래밍 인터페이스(APIs)에 의해 제공된다.
11.2.1. OCR 및 기타 인식 기술을 위한 지원
렌더링된 문서를 캡쳐링하기 위한 대부분의 방법은 시스템에 사용하기에 적합 텍스트와 같은, 스캐닝된 이미지 또는 몇몇 음성 워드등과 같은 소스 데이터를 해석하기 위해 몇몇 인식 소프트웨어를 필요로 한다. 어떤 OS는 그것이 OCR을 위한 지원을 포함하기엔 OS에 대해 덜 일반적일 지라도, 음성 또는 수기 인식을 위한 지원을 포함하는 데, 이는 과거에 OCR의 사용은 적은 범위의 애플리케이션에 제한되어왔기 때문이다.
인식 컴포넌트가 OS의 일부분이 되어짐에 따라, 드것들은 OS에 의해 제공된 기타 기능설비의 이점을 취할 수 있다. 대부분의 시스템은 철자 사전, 문법 분석 툴, 구제화 및 국부화 기능설비를 포함하는 데 이들 모두는 상기한 시스템의 인식 프로세스를 위해 상기 시스템에 의해 유익하게 채용될 수 있는 데, 이는 그것들이 특정 유저가 흔히 만나게 되는 단어 및 어구를 포함하도록 특정 유저를 위해 맞춤식으로 될 수 있기 때문이다.
운영체제가 전체-텍스트 인덱싱 기능설비를 포함한다면, 이것들은 또한 섹션 9.3에 설명된 바와 같은, 인식 프로세스를 통지하는 데에 사용될 수 있다.
11.2.2. 스캔에 취해져야 할 액션
광학 스캔 또는 기타 캡쳐가 발생하고 OS에 주어진다면, 어떠한 다른 시스템도 캡쳐에 대한 소유권을 주장하지 않는 경우의 환경하에서 취해져야 할 디폴트 액션을 갖는다. 디폴트 액션의 예는 유저에게 대안 선택권을 제시하는 것이거나, 캡쳐된 텍스트를 OS의 내장된 탐색기능설비에 전송하는 것이다.
11.2.3. OS는 특정 문서 또는 문서 유형에 대한 디폴트 액션을 갖는다
렌더링된 문서의 디지털 소스가 발견된다면, OS는 그 특정 문서 또는 그 부류의 문서가 스캔되었을 때 취해질 표준 액션을 가질 수 있다. 애플리케이션 및 기타 서브시스템은 일정한 파일 유형을 취급하는 그들의 능력에 대해 애플리케이션에 의한 방송과 유사한 방식으로, 특정 캡쳐 유형의 잠재적 핸들러로서 OD네 등록할 수 있다.
렌더링된 문서, 또는 문서로부터의 캡쳐와 연관된 마크업 데이터는 운영체제에 특정 애플리케이션을 런칭하고, 애플리케이션 인수, 파라미터, 또는 데이터등을 전달하게하는 명령을 포함할 수 있다.
11.2.4. 표준 액션내로의 매핑 및 제스처의 해석
섹션 12.1.3에서 "제스춰"의 사용이 설명되고, 특히 광학 스캐닝의 경우에, 핸드헬드 스캐너로 특정한 이동이 행해진 장소는 텍스트의 영역의 시작 및 끝을 표시하는 바와 같은 표준 액션을 표현한다.
이것은 텍스트의 영역을 선택하기 위해 커서 키를 사용하는 한편, 또는 문서를 스크롤하기 위해 마우스상의 휘을 사용하는 한편 키보드상의 시프트 키를 프레싱하는 바와 같은 액션과 유사하다. 유저에 의한 그러한 액션은 그것들이 OS에 의해 시스템-와이드 방식으로 해삭되는 충분히 표준이고, 이에따라 일정한 작용을 보장한다. 동일한 작용이 스캐너 제스춰 및 기타 스캐너-관련 액션에 바람직하다.
11.2.5. 표준(및 비-표준) 아이콘/텍스트 인쇄된 메뉴 아이템에 대한 셋트 응답
마찬가지 방식으로, 어떤 텍스트의 아이템 또는 기타 심볼은, 스캐닝되었을 때, 표준 액션이 발생하게 하고, OS는 이들에 대한 선택을 제공할 수 있다. 예로서는 임의의 문서에서 텍스트 "[인쇄]"를 스캐닝하는 것은 OS로 하여금 그 문서의 복사본을 검색 및 인쇄하게 할 수 있다는 것이다. OS는 그러한 액션을 등록하는 방법을 제공하고 그것들을 특정한 스캔과 연관시킬 수 있다.
11.3. 전형적인 스캔-개시된 액티비티를 위한 시스템 GUI 컴포넌트에서의 지원
대부분의 소프트웨어 애플리케이션은 OS에 의해 제공된 표준 그래픽 유저 인터페이스에 기초한다.
디벨로퍼에 의한 이들 컴포넌트의 사용은, 예로서, 모든 프로그래머가 동일 기능을 독립적으로 이행함이 없이, 임의의 텍스트-에디팅 콘텍스에서의 좌측-커서의 누름이 그 커서를 좌측으로 이동시키는 바와 같은, 복수의 패키지에 걸쳐 일관된 작용을 보장하는 데에 도움을 준다.
이들 컴포넌트에서의 우사한 일관성은 액티비티가 상기한 시스템의 텍스트-캡쳐 또는 기타 태양에 의해 개시되는 경우에 바람직하다. 몇몇 예가 하기에 주어진다.
11.3.1. 특정 텍스트 콘테트를 찾기 위한 인터페이스
이 시스템의 전형적인 사용은 페이퍼 문서의 일정 영역을 유저를 위해 스캐닝하는 것일 수 잇고, 시스템을 위해 디스플레이 또는 편잡할 수 있는 소프트웨어 패키지에서 전자 카운터파트를 개봉하는 것과, 그 패키지가 스캐닝된 텍스트를 스크롤 및 하이라이트하게 하는 것일 수 있다(섹션 12.2.1.). 전자 문서를 발견 및 개방하는, 이 프로세스의 제1 부분은 통상적으로 OS에 의해 제공되고 패키지에 걸쳐 표준이다. 그러나, 제2 부분-문서내에 텍스트의 특정 부분을 위치시키고 패키지가 그것을 스크롤하고 하이라이트하게 하는-은 아직 표준화되지 않았고 흔히 각각의 패키지에 의해 상이하게 구현된다. 이 기능을 위한 표준 API의 이용가능성은 시스템의 이러한 태양의 동자을 상당히 향상시킨다.
11.3.2. 텍스트 상호작용
텍스트의 일부분이 문서내에 위치되었다면, 시스템은 그 텍스트에 대해 다양한 동작을 수행하길 바랄 것이다. 예로서, 시스템은 주위 텍스트를 요구할 수 있고, 따라서 몇 개 워드에 대한 유저의 캡쳐는 시스템에서 그것들을 포함하는 전체 문장 또는 단락을 액세싱하는 결과로 된다. 다시, 이 기능은 텍스트를 취급하는 소프트웨어의 모든 부분에 구현되는 것에 의하기 보단 OS에 의해 유용하게 제공될 수 있다.
11.3.3. 콘텍스추얼 ( 팝업 ) 메뉴
시스템에 의해 인에이블되는 동작의 몇몇은 유저 피드백을 요구하고, 그갓은 데이터를 취급하는 애의 콘텍스트내에서 최적으로 요구될 수 있다. 몇몇 실시예에서, 시스템은 통상적으로 몇몇 텍스트상에 우측 마우스 버튼을 클림하는 것과 연관된 애플리케이션 팝업 메뉴를 사용한다. 시스템은 그러한 메뉴에 여분의 옵션을 삽입하고, 그것들이 페이퍼 문서를 스캐닝하는 바와 같은 액티비티의 결과로서 디스플레이되어지게 한다.
11.4. 웹/네트워크 인터페이스
오늘날의 증대하는 네트워크화된 세계에서, 개별적인 머신에서 이용가능한 기능의 대부분은 네트워크를 통하여 액세스될 수 있고, 상기한 시스템과 연관된 기능은 어떠한 예외도 없다. 예로서, 사무실 환경에서 유저에 의해 수신된 다수의 페이퍼 문서는 동일한 합동 네트워크상에서 다른 유저의 기게에 의해 인쇄되어질 수 있다. 한 컴퓨터상의 시스템은, 캡쳐에 응답하여, 적절한 허가 컨트롤에 종속되어, 그 캡쳐에 대응할 수 있는 문서에 대해 다른 머신에 질의할 수 있다.
11.5. 보관을 야기하는 문서의 인쇄
페이퍼 및 문서의 통합에서의 중요한 한 요인은 둘사이에서의 변환에 대해 가능한한 많은 정보를 유지하는 것이다. 몇몇 실시예에서, OS는 문서가 언제 눅에 의해서 인쇄었는 지에 대한 단일 레코드를 유지한다. 몇몇 실시예에서, OS는 시스템의 사용에 더욱 양ㅎ하게 적합하게 하는 하나이상의 츠가 액션을 취한다. 그 예들은 다음사항들을 포함한다.
?문서가 인쇄되었던 소스에 대한 정보와 함께 인쇄된 모든 문서의 디지털 렌더링된 버젼을 보관
?미래의 스캔 해석에 도움을 줄 수 있는-예로서 사용된 폰트 및 라인 끊김이 발생한 곳-인쇄된 버젼에 대한 유용한 정보의 서브셋트를 보관
?임의의 인쇄된 복사본과 연관된 소스 문서의 버젼을 보관
? 미래의 탐색을 위해 결과를 인쇄 및 저장시 자동적으로 문서를 인덱싱
11.6. 나의(인쇄된/ 스캐닝된 ) 문서
OS는 흔히 특정 중요도를 갖는 파일 또는 폴더의 일정한 카테고리를 유지한 다. 유저의 문서는, 정해진 방식에 의해 또는 설계에 의해, 예로서 "나의 문서" 폴더에서 발견될 수 있다. 표준 파일-열기 다이얼로그는 자동적으로 최근에 열려진 문서의 리스트를 포함할 수 있다.
상기한 시스템에의 사용을 위해 최적화된 OS상에서, 그러한 카테고리는 저장된 파일의 페이퍼 버젼과 유저의 상호작용을 고려하는 방식으로 향상 또는 증대될 수 있다. "나의 문서" 또는 "나의 최근-판독 문서"와 같은 카테고리는 유용하게 식별될 수 있고 그의 동작에 통합될 수 있다.
11.7. OS-레벨 마크업 계층구조
시스템의 중용한 태양은 섹션5에서 토의된 "마크업" 개념을 이용하여 제공되므로, OS 자체 및 복수 애플리케이션에 액세스가능했던 방식으로 OS에 의해 제공된 그런 마크업을 위한 지원체계를 갖는 것이 유익하다. 또한, 마크업의 층들은 OS가 제공할 수 있는 기능 및 그것의 제어하에서 문서에 대한 그것의 지식에 기초하여, OS에 의해 제공될 수 있다.
11.8. OS DRM 기능의 사용
증가하는 운영체제의 수는 "디지털 권한 관리"; 특정 유저에게 허여된 권한에 따라 특정 데이터의 사용에 대한 제어 능력, 소프트웨어 엔티티 또는 머신의 몇몇 형태를 지원한다. 예로서, 특정 문서의 비인가된 복사 또는 배포를 금지할 수 있다.
12. 유저 인터페이스
시스템의 유저 인터페이스는 캡쳐 디바이스가 상대적으로 기능이 떨어지거나 케이블에 의해 연결된다면 전체적으로 PC상에 있을 수 있고, 그것이 정교하거나 그것 자체가 상당한 프로세싱 능력을 갖는다면 전체적으로 디바이스상에 있을 수 있다. 시스템의 기능의 일부 또는 전부는 모바일 폰 또는 PDA와 같은 기타 디바이스상에서 구현될 수 있다.
다음 섹션에서의 기술은 어떤 구현에서 바람직할 수 있는 것인가에 대한 것이지만, 그것이 모든 경우에 반드시 적절한 것은 아니고 여러 방식으로 수정될 수 있다.
12.1. 캡쳐 디바이스에서
모든 캡쳐 디바이스로, 그러나 특히 광학 스캐너인 경우에, 유저의 주의는 일반적으로 그 디바이스 및 스캐닝시의 페이퍼에 있게된다. 스캐닝의 프로세스의 일부로서 필요로되는 피드백과 임의의 입력은, 필요로 되는 것 이상으로, 예로서 컴퓨터의 스크린에서와 같은 곳에, 유저의 주의를 돌릴 것을 필요로 하지 않는 것이 바람직하다.
12.1.1. 스캐너에 의한 피드백
휴대형 스캐너는 특정 조건에 대해 유저에게 피드백을 제공하는 다양한 방식을 갖는다. 가장 분명한 유형은 스캐너가 인디케이터 라이트 또는 풀 디스플레이를 갖는 경우에, 다이렉트 비주얼 유형, 및 스캐너가 경보음, 클릭 또는 기타 사운드를 갖는 경우에, 청각적 유형이다. 중요한 대안은 스캐너가 진동, 신호음, 또는 그렇지않으면 유저의 터치 센스를 흉내내는 경우에서의, 촉각 피드백, 및 컬러화된 광 스폿 내지 정교한 디스플레이까지의 어떤 것을 페이퍼에 트사함에 의해 싱태를 지시하는 투사 피드백을 포함한다.
디바이스에 제공될 수 있는 중요한 직접적 피드백은 다음 것들을 포함한다.
?스캐닝 프로세스에 의한 피드백 - 유저의 스캐닝이 과속, 지나치게 큰 각도이거나, 또는 특정 라인에서 지나치게 높거나 낮게 표류함
?충분한 콘텐트 - 연결해제 동작에 중요한- 매치가 존재한다면 하나의 매치에 대한 발견이 매우 확실한 정도가 되도록 충분히 스캐닝되었음
?공지된 콘텍스트 - 텍스트의 소스가 찾아졌음
?공지된 고유 콘텍스트 - 텍스트의 하나의 고유 소스가 찾아졌음
?콘텐트의 이용가능성 - 콘텐트가 유저에게 무료로 또는 유료로 이용가능한 지에 대한 지시
예컨대 문서의 일부나 전부를 디스플레이하는데 충분한 성능을 가지고 있다면 시스템의 이후의 단계와 정상적으로 연관된 사용자 상호작용의 많은 부분이, 캡처 장치에서 일어날 수도 있다.
12.1.2. 스캐너 제어
본 장치는 사용자가 기본적인 텍스트 캡처에 더하여 입력을 하기 위한 다양한 방법을 제공할 수 있다. 본 장치가 키보드와 마우스 같은 입력 옵션을 갖는 호스트 장치와 밀접히 연관되어 있을 때조차, 예컨대 스캐너를 조작하고 마우스를 사용하는 것 사이의 전후를 사용자가 스위칭하는 것이 파괴적일 수 있다.
핸드헬드 스캐너는 버튼, 스크롤/조그 휠, 터치 감응면, 및/또는 장치의 움직임을 감지하기 위한 가속도계를 포함할 수 있다. 이 중 몇몇은 스캐너를 계속 유지하면서 보다 풍부한 상호작용 세트를 가능하게 한다.
예컨대, 어떠한 텍스트를 스캐닝하는데 응하여, 본 시스템은 사용자에게 몇몇 가능한 매칭 문서 세트를 제공한다. 사용자는 스캐너 측면의 스크롤 휠을 사용하여 리스트중 하나를 선택하고 버튼을 클릭하여 선택을 확인한다.
12.1.3. 제스처
종이 가운데로 스캐너를 이동시키는 주된 이유는 텍스트를 캡처하기 위한 것이지만, 몇몇 움직임은 장치로 탐지될 수 있고 사용자의 다른 의도를 나타내는데 사용될 수 있다. 이러한 움직임을 본 명세서에서는 '제스처'라고 한다.
예컨대, 사용자는 종래 좌-우 순으로 처음 몇 단어를 스캐닝하고 마지막 몇단어를 역순, 즉 우-좌 순으로 스캐닝함으로써 넓은 영역의 텍스트를 지시할 수 있다. 사용자는 또한 스캐너를 몇 라인 위에서 페이지 아래로 이동시킴으로써 대상 텍스트의 수직 범위를 지시할 수도 있다. 이후 스캔은 이전에 스캔한 동작의 취소를 지시할 수 있다.
12.1.4. 온라인/오프라인 동작
본 시스템의 많은 태양은 스캐너와 호스트 랩탑 같은 시스템 구성요소 사이 또는 회사의 데이터베이스와 인터넷 검색으로의 접속의 형태로 외부 세계와의 네트워크 접속성에 의존적일 수 있다. 그러나, 이러한 접속성은 항상 존재할 수 있는 것은 아니고 따라서 시스템의 일부 또는 전부가 "오프라인"이 되도록 간주될 수 있는 경우가 일을 것이다. 본 시스템을 이러한 상황에서 유용하게 계속 기능하도록 하는 것이 바람직하다.
본 장치는 다른 부분과 접촉하고 있지 않을 때 텍스트를 캡처하는데 사용될 수 있다. 매우 간단한 장치는 단순히 캡처, 이상적으로는 캡처된 때를 지시하는 타임스탬프와 연관된 이미지 또는 오디오 데이터를 저장할 수 있다. 본 장치가 본 시스템의 나머지 부분과 접촉하여 있을때 다양한 캡처가 여기에 업로드될 수 있고 이후 처리될 수 있다. 본 장치는 예컨대 광학 스캔과 연관된 음성 주석이나 위치 정보등 캡처와 연관된 기타 데이터를 업로드할 수도 있다.
보다 복잡한 장치는 연결되어 있지 않을때에도 시스템 동작의 일부 또는 전부를 스스로 수행할 수 있다. 이렇게 하는 성능을 개선시키기 위한 다양한 기술이 15.3.절에 설명되어 있다. 때로는 원하는 동작의 전부가 아닌 일부가 오프라인에 있는동안에 수행될 수 있는 경우가 있다. 예컨대, 텍스트는 인식될 수 있지만, 소스 식별은 인터넷 기반 검색 엔진과의 접속에 의존적일 수 있다. 따라서, 몇몇 실시예에서는, 본 장치는 본 시스템의 나머지 부분이 연결이 복구될때 효과적으로 진행하도록 각각의 동작이 얼마나 많이 진행했는지에 대한 충분한 정보를 저장한다.
본 시스템의 동작은 일반적으로 즉시 이용가능한 연결에 의하여 유용하지만, 몇몇 캡처를 수행하여 이것을 배치로 처리하는 것이 이로울 수 있는 몇몇 상황이 있다. 예컨대, 아래 13절에서 설명되어 있는 바와 같이, 특정 캡처 원의 식별은 거의 동시에 사용자에 의해 수행된 다른 캡처를 검사함으로써 크게 강화될 수 있다. 사용자에게 라이브 피드백이 제공되는 완전 연결 시스템에서는, 시스템이 현재의 캡처를 처리할 때 과거의 캡처를 이용할 수 있을 뿐이다. 그러나 캡처가 오프라인에 있을 때 장치에 의해 저장된 배치 중 하나이면, 본 시스템은 이러한 분석 을 수행할때 이전의 것은 물론 이후의 캡처로부터 이용가능한 임의의 데이터를 고려할 수 있을 것이다.
12.2. 호스트 장치로
스캐너는 종종 사용자와 보다 상세한 상호작용을 포함한 시스템의 많은 기능을 수행하기 위하여 PC, PDA, 전화기 또는 디지털 카메라등의 몇몇 다른 장치와 통신한다.
12.2.1. 캡처에 응해 수행된 동작
호스트 장치가 캡처를 수신할 때, 다양한 동작을 개시할 수 있다. 로케이팅이후 시스템이 수행한 가능한 동작의 불완전 목록과 이러한 캡처와 연관된 전자 문서 사본 및 문서내 위치가 잇따른다.
● 캡처의 상세한 정보를 사용자 내역에 저장할 수 있다.(6.1 절)
● 로컬 스토리지 또는 원격지에서 문서를 검색할 수 있다.(8절)
● 동작 시스템의 메타데이터 및 문서와 연관된 기타 기록을 업데이트할 수 있다(11.1 절)
● 다음의 적절한 동작을 결정하기 위해 문서와 연관된 마크업을 검사할 수 있다.(5 절)
● 소프트웨어 애플리케이션을 개시하여 문서 편집, 보기 또는 기타 동작을 수행할 수 있다. 애플리케이션 선택은 소스 문서 또는 스캔의 콘텐츠이거나 캡처의 몇몇 다른 태양에 좌우된다.(11.2.2, 11.2.3 절)
● 애플리케이션을 스크롤하여 하이라이트하거나 삽입점을 이동시키거나 캡 처 위치를 지시할 수 있다.(11.3 절)
● 캡처된 텍스트의 정확한 경계를 수정하여, 예컨대 캡처된 텍스트 주위의 전체 단어, 문장 또는 절을 선택할 수 있다.(11.3.2 절)
● 사용자에게 캡처 텍스트를 클립보드에 복사하거나 기타 표준 동작 시스템 또는 이에 대한 애플리케이션 특정 동작을 수행하기 위한 옵션을 제공할 수 있다.
● 문서 또는 캡처된 텍스트에 주석을 연관시킬 수 있다. 이것은 사용자 입력을 통해 바로 되거나 예컨대 광학 스캔과 연관된 음성 주석의 경우에는 먼저 캡처되었을 수 있다.(19.4 절)
● 사용자가 선택하는 또 다른 가능한 동작 세트를 결정하기 위하여 마크업을 검사할 수 있다.
12.2.2. 상황 팝업 메뉴
때로는 시스템이 취하는 적당한 동작이 명확하지만, 어떤 경우는 사용자의 선택을 요한다. 이를 수행하는 하나의 좋은 방법은 "팝업 메뉴"를 사용하거나, 콘텐츠가 스크린상에 디스플레이되는 경우에는 콘텐츠에 가까이 나타나는 소위 "컨텍스트 메뉴"에 의하는 것이다.(11.3.3 절 참조). 몇몇 실시예에서는, 스캐너 장치가 종이 문서사아에 팝업 메뉴를 띄운다. 사용자는 키보드와 마우스등의 전통적인 방법을 사용하는 메뉴로부터 또는 캡처 장치상의 제어부를 사용함으로써(12.1.2 절), 제스처를 사용함으로써(12.1.3 절), 또는 스캐너를 사용하는 컴퓨터 디스플레이와의 상호작용에 의해서(12.2.4 절) 선택할 수 있다. 몇몇 실시예에서는, 캡처 결과로 나타날 수 있는 팝업 메뉴는 사용자가 응답하지 않으면 나타나는, 예컨대 사용자가 메뉴를 무시하고 또 다른 캡처를 수행하는 경우에 일어나는 동작을 나타내는 디폴트 항목을 포함한다.
12.2.3. 명확화에 대한 피드백
사용자가 텍스트 캡처를 개시하면, 먼저 매칭할 수 있는 몇몇 문서나 기타 텍스트의 위치가 있을 것이다. 보다 많은 텍스트가 캡처되고 기타 요인을 고려하면(13절), 후보 위치의 수는 실제 위치가 식별될때까지 줄어들거나 사용자의 입력이 없이는 더이상의 명확화는 가능하지 않다. 몇몇 실시예에서, 시스템은, 문서 또는 예컨대 리스트, 썸네일 이미지 또는 텍스트 세그먼트 형태로 그리고 캡처가 계속될때 수를 줄이기 위해 디스플레이내의 엘리먼트 수에 대하여 발견되는 위치를 실시간으로 디스플레이한다. 몇몇 실시예에서는, 시스템은 모든 후보 문서의 썸네일을 디스플레이하는데, 이러한 썸네일의 크기와 위치는 정확한 매칭이 있는 확률에 좌우된다.
캐처가 명확하게 식별되면, 예컨대 청각적 피드백을 사용하여 이 사실을 사용자에게 강조할 수 있다.
때때로 캡처된 텍스트는 많은 문서에서 나타나고 인용구가 되도록 인식될 것이다. 본 시스템은 예컨대, 원본 소스 문서주위에 인용 참조를 포함하는 문서를 그룹화함으로써 스크린상에 이것을 지시할 수 있다.
12.2.4. 스크린으로부터 스캐닝
몇몇 광학 스캐너는 종이는 물론 스크린상에 디스플레이된 텍스트를 캡처할 수 있다. 따라서, '렌더링된 문서'라는 말은 본 명세서에서 종이 인쇄물이 렌더링 의 유일한 형태가 아니고 시스템에서 사용하기 위한 텍스트나 심볼의 캡처 또한 텍스트가 전자 디스플레이상에 디스플레이될 때 똑같이 가치있을 수 있다는 것을 나타내는데 사용된다.
상기한 시스템의 사용자는 옵션 리스트를 선택하는 등 다양한 다른 이유로 컴퓨터 스크린과 상호작용할 필요가 있을 수 있다. 사용자가 스캐너를 두고 마우스나 키보드를 사용하여 개시하는 것은 불편할 수 있다. 다른 절에서 이러한 툴을 변화시킬 필요없이 입력하는 방법으로서 스캐너(12.1.2 절에서 설명) 또는 제스처(12.1.3절에서 설명)의 물리적 제어부를 설명했지만, 스크린 자체에 있는 스캐너를 사용하여 몇몇 텍스트나 심볼을 스캐닝하는 것은 본 시스템이 제공하는 중요한 대안이다.
몇몇 실시예에서, 스캐너의 광학부에 의해 라이트펜과 마찬가지 방식으로 사용되어, 컴퓨터의 특별한 하드웨어나 소프트웨어의 도움으로 텍스트를 실제로 스캐닝할 필요없이 스크린상의 위치를 바로 감지할 수 있다.
13. 컨텍스트 설명
상기 시스템의 중요한 태양은 사용하는 문서를 식별하는데 도움이되도록 텍스트열의 단순 캡처이상의 다른 요인을 사용한다는 것이다. 적당한 양의 텍스트의 캡처는 종종 문서를 유일하게 식별할 수 있지만 많은 경우에는 몇몇 후보 문서를 식별할 것이다. 하나의 해결책은 사용자가 스캔되는 문서를 확인하도록 하는 것이지만 바람직한 대안의 방법은 자동적으로 가능성을 좁히도록 하는 기타 요인을 사용하는 것이다. 이러한 보충 정보에 의해 캡처를 요하는 문서의 양을 상당히 줄일 수 있고 그리고/또는 전자 사본의 위치가 식별될 수 있는 신뢰성과 속도를 상당히 증가시킬 수 있다. 이러한 여분의 재료를 "컨텍스트"라고 부르고 4.2.2.절에서 간단히 설명하였다. 이후 보다 깊이 알아보기로 한다.
13.1. 시스템 및 캡처 컨텍스트
아마도 이러한 정보의 가장 중요한 예는 사용자의 캡처 내역일 것이다.
소정의 캡처는 이전의 것과 같은 문서에서 오거나, 이전의 캡처가 마지막 몇분내에 일어난다면 특히 연관된 문서에서 왔을 가능성이 높다(6.1.2 절). 반대로, 시스템이 두 스캔간에 폰트가 변했다는 것을 감지하면, 다른 문서에서 왔을 가능성이 높다.
사용자의 장기간의 캡처 내역 및 독서 습관 또한 유용하다. 이것은 사용자의 관심과 연관성 모델을 개발하는데 사용할 수도 있다.
13.2. 사용자의 실세상 컨텍스트
유용한 컨텍스트의 또 다른 예는 사용자의 지리적 위치이다. 예컨대, 파리의 사용자는 시애틀 타임즈보다는 르몽드를 읽을 확율이 훨씬 더 높다. 따라서 문서의 인쇄 버전의 타이밍, 크기 그리고 지리적 배포는 중요할 수 있고, 시스템의 동작에서 어느 정도 추측할 수 있다.
예컨대 출근하는 동안 항상 하나의 타입의 출판물을 읽고, 점심시간이나 퇴근하는 동안 열차안에서 다른 것을 읽는 사용자의 경우에는 하루의 시간이 또한 관련될 수 있다.
13.3. 관련 디지털 컨텍스트
보다 종래적 수단에 의해 써칭되고 검색된 것을 포함하는 사용자의 최근의 전자 문서 사용 또한 유용한 지시자일 수 있다.
회사 네트워크등 몇몇 경우에는 다음과 같이 다른 요인이 유용한 것으로 간주될 수 있다.
● 문서가 최근에 인쇄되었는가?
● 문서가 최근에 회사 파일 서버에서 수정되었는가?
● 문서가 최근에 이메일로 송부되었는가?
이러한 예 전부는 사용자가 종이 버전 문서를 더 많이 읽는 것같다는 것을 암시하고 있을 수 있다. 반대로, 문서가 있는 매점이 인쇄되었을 수 있는 임의의 장소로 송부되었거나 결코 문서가 인쇄되지 않았음을 확인할 수 있으면, 종이에서 기원하는 임의의 검색에서 안전하게 제거될 수 있다.
13.4. 기타 통계-글로벌 컨텍스트
14절은 종이 기반 검색에서 나온 데이터열의 분석을 다루고 있지만, 여기서 다른 독자가 있는 문서의 평판, 이러한 평판의 타이밍, 그리고 가장 빈번히 스캔되는 문서의 일부에 대한 통계의 전부는 검색 프로세스에 유용할 수 있는 더많은 요인의 예임을 인식하여야한다. 본 시스템은 종이 세상에 구글 형태의 페이지 랭킹을 가능하게 한다.
검색 엔진에 대한 컨텍스트의 몇몇 다른 의미에 대하여 4.2.2절을 또한 참조하자.
14. 데이터열 분석
본 시스템의 사용의 부작용으로서 지나치게 가치있는 데이터열을 생성한다. 이러한 데이터열은 사용자가 무엇을 언제 읽는지에 대한 기록이고 많은 경우에 있어서는 사용자가 읽고 있는 것에서 특히 가치있다고 발견하는 것에 대한 기록이다. 이러한 데이터는 이전에 종이 문서에서는 결코 진정으로 이용될 수 없었다.
이러한 데이터가 시스템 및 시스템의 사용에 유용할 수 있는 몇가지 방식을 6.1절에서 설명하고 있다. 이 절에서는 기타 사용에 대하여 중점을 두고 있다. 물론 사람들이 읽고 있는 것에 대한 임의의 데이터 배포로 고려될 수 있는 중요한 프라이버시 문제가 있지만, 데이터의 익명을 보존하는 것과 같은 문제는 당업자에게 주지된 사실이다.
14.1. 문서 추적
소정의 사용자가 어떤 문서를 읽고 있는지를 시스템이 알고 있다면 누가 소정의 문서를 읽고 있는지 또한 시스템이 추론할 수 있다. 이것은 조직을 통한 문서의 추적을 가능하게 하여, 예컨대 누가 언제 문서를 읽는지, 얼마나 널리 배포되어 있는지, 배포에 얼마나 오래 걸리는지, 그리고 철지난 사본으로부터 다른 사람들이 작업하고 있는 한편 현재의 버전을 누가 보았는지의 분석을 가능하게 한다.
보다 넓은 분포를 갖는 출판 문서에 대하여, 개개의 사본의 추적은 보다 어렵지만, 독자층의 분포 분석은 여전히 가능하다.
14.2. 읽기 랭킹-문서 및 소구역의 인기
사용자가 그들에게 특별한 관심이 있는 텍스트나 데이터를 캡처하는 상황에서, 본 시스템은 특정 문서의 인기와 이러한 문서의 소구역의 인기를 추론할 수 있 다. 이것은 시스템 자체(4.2.2 절)와 작가, 출판업자 그리고 광고자(7.6절, 10.5절)에 대한 중요한 정보원에 가치있는 입력을 형성한다. 이러한 데이터는 또한, 예컨대 렌더링된 문서로부터의 조회에 대한 검색 결과에 순위를 매기는 것을 돕고, 그리고/또는 웹브라우저내에 타이핑된 종래의 조회에 순위를 매기는 것을 돕기 위해 검색 엔진과 검색 인덱스에서 통합될 때 유용하다.
14.3. 사용자 분석-프로파일 생성
사용자가 무엇을 읽고 있는지를 앎으로써 시스템이 사용자의 관심과 활동의 상당히 상세한 모델을 생성하게 할 수 있게 한다. 이것은 개괄적 통계 기초에 유용할 수 있지만-예컨대, "이러한 신문을 구매하는 사용자의 35%가 그 작가의 최근의 책 또한 읽는다"따위, 하기하는 바와 같이 개인 사용자와 기타 상호작용을 가능하게할 수도 있다.
14.3.1. 사회적 네트워킹
일 예는 일 사용자를 관련된 관심을 가진 다른 사람과 연결하는 것이다. 이것은 사용자에게 이미 알려진 사람일 수 있다. 본 시스템은 한 대학 교수에게, "XYZ대학에 있는 당신 동료도 이 신문을 읽고 있다는 것을 알았습니까?"라고 물을 수 있다. 본 시스템은 사용자에게 "당신은 또한 제인에어를 읽고있는 당신의 이웃과 연결되기를 원합니까?"라고 물을 수 있다. 이러한 연결은 물리적인 세계에서나 온라인에서 북클럽과 친밀한 사회적 구조를 자동적으로 형성하는데 기반이 될 수 있다.
14.3.2. 마케팅
10.6절에서 이미 시스템과의 상호작용에 기초하여 제품과 서비스를 개별 사용자에게 제공하는 아이디어에 대하여 언급하였다. 예컨대 현재의 온라인 책판매자는 종종 책판매자와의 이전의 상호작용에 기초하여 사용자에게 추전한다. 이러한 추천은 실제의 책과의 상호작용에 기초될 때 훨씬 더 유용하게 된다.
14.4. 데이터열의 기타 태양에 기초한 마케팅
본 시스템이 문서를 출판하는 사람, 문서를 통해 광고하는 사람, 그리고 종이로 개시된 기타 판매에 영향을 미칠 수 있는 방법 중 몇 가지가 설명되었다(10 절). 몇몇 상업적 활동은 결국 종이 문서와 직접적 상호작용을 가지지는 않지만 영향을 받을 수는 있다. 예컨대, 하나의 커뮤니티의 사람들이 보다 많은 시간을 신문의 금융부문보다 스포츠부문을 읽는데 할애하고 있다는 것을 아는 것이 헬쓰클럽을 하려고하는 사람에게 관심이 있을 수 있다.
14.5. 캡처될 수 있는 데이터 타입
누가 어떤 문서의 어느 정도를 언제 어디서 읽는지와 같은 상기 통계에 더하여, 문서가 위치되었는지 여부에 관계없이 캡처된 문서의 실제 콘텐츠를 검사하는 것이 관심있을 수 있다.
많은 경우에, 사용자는 몇몇 문서를 캡처할 뿐만 아니라 결과로서 몇몇 활동이 일어나게 할 것이다. 이것은, 예컨대 아는 사람에게 문서에 대한 레퍼런스를 이메일로보내는 것일 수 있다. 사용자나 이메일 수신자의 식별 정보가 없을때에도 누군가 이 문서를 이메일보낼 가치가 있는 것으로 간주했다는 것을 아는 것은 매우 유용하다.
텍스트의 특정 문서나 일부의 가치를 추론하기 위하여 설명한 다양한 방법에 더하여, 몇몇 경우에는 사용자가 이에 등급을 할당함으로써 가치를 외부적으로 지시할 것이다.
마지막으로, 특정 사용자 세트가 그룹을 형성하기 위해 알려져 있다면, 예컨대 그 사용자들이 특정 회사의 사원에게 알려져 있다면, 상기 그룹의 집합적 통계가 그 그룹에 대한 특정 문서의 중요성을 추론하는데 사용될 수 있다.
15. 장치 특징 및 기능
시스템에 사용하기 위한 캡처 장치는 문서의 렌더링된 버전으로부터 텍스트를 캡처하는 방식 정도만을 필요로 한다. 상기한 바와 같이(1.2 절), 이러한 캡처는 문서의 일부의 사진을 찍거나 이동 전화 키보드에 몇몇 문자를 타이핑하는 것을 포함한 다양한 방법을 통해 수행될 수 있다. 이러한 캡처는 한번에 한 라인 또는 두 텍스트를 기록할 수 있는 소형 핸드헬드 광학 스캐너이거나 사용자가 문서로부터 텍스트를 판독하는 음성 레코드 등의 음성 캡처 장치를 사용하여 수행될 수 있다. 사용된 장치는 이들, 예컨대 음성 주석 또한 기록할 수 있는 광학 스캐너,의 조합일 수 있고 캡처링 기능은 이동 전화, PDA, 디지털 카메라 또는 휴대용 뮤직 플레이어등의 몇몇 다른 장치에 내장될 수 있다.
15.1. 입출력
본 장치용의 많은 유용한 부가 입출력 장치를 12.1절에서 설명하였다. 이것은 입력을 위하여 버튼, 스크롤 휠 및 터치 패드를 포함하고 출력을 위해 디스플레이, 지시광, 음성 및 촉각 변환기를 포함한다. 때때로 본 장치는 이들의 대부분을 부가하거나 거의 부가하지 않을 수 있다. 때로는 캡처 장치는, 예컨대 무선 링크를 사용하여 이것을 이미 구비하고 있는 다른 장치와 통신할 수 있을 것이고(15.6절), 때로는 캡처 기능이 이러한 기타 장치에 부가될 것이다(15.7절).
15.2. 연결성
몇몇 실시예에서, 본 장치는 시스템 자체의 대부분을 구현한다. 그러나 몇몇 실시예에서는 본 장치는 종종 PC나 다른 컴퓨팅 장치와 통신하고 통신 시설을 사용하여 보다 넓은 세계와 통신한다.
대개 이러한 통신 시설은 이더넷, 802.11 또는 UWB등의 범용 데이터망의 형태이거나 USB, IEEE-1394(파이어와이어), 블루투스TM 또는 적외선등의 표준 주변접속망의 형태로 된다. 파이어와이어나 USB등의 유선 접속이 사용되면, 본 장치는 동 접속을 통해 전기를 공급받을 수 있다. 몇몇 경우에는, 캡처 장치가 접속된 기계에 나타나서 USB저장 장치등 종래의 주변장치로 될 수 있다.
마지막으로, 본 장치는 몇몇 경우에 이 장치와 결합하여 사용되거나 편리한 저장을 위해 또 다른 장치와 "도킹"할 수 있다.
15.3. 캐싱 및 기타 온라인/오프라인 기능
3.5절 및 12.1.4절은 분리된 동작을 주로 다루었다. 캡처 장치가 전체 시스템 기능의 제한된 서브셋을 가지고 시스템의 다른 부분과 통신하지 않는다면, 이용가능한 기능이 때로 줄어들더라도 본 장치는 여전히 유용할 수 있다. 가장 간단한 단계에서, 본 장치는 캡처되는 원 이미지나 음성 데이터를 기록할 수 있고 이후 이 것은 처리될 수 있다. 그러나 사용자를 위하여, 캡처된 데이터가 손작업에 충분할 것같은지 여부, 인식될 수 있는지 또는 인식될 수 있을 것 같은지 여부, 그리고 데이터원이 식별될 수 있는지 또는 이후 식별될 수 있을 것 같은지에 대하여 가능한 곳에 피드백을 제공하는 것이 중요할 수 있다. 사용자는 이후 캡처링 활동이 가치있는 것인지를 알 것이다. 상기한 모든것이 알려지지않더라도, 원데이터는 여전히 저장될 수 있고 따라서, 적어도 사용자는 이후 이것을 참조할 수 있다. 사용자는 예컨대 스캔이 OCR프로세스에 의해 인식될 수 없을때 스캔 이미지를 제공받을 수 있다.
이용가능한 옵션의 범위의 일부를 설명하기 위해, 오히려 최소 광학 스캐닝 장치와 이후 훨씬 많은 풀기능의 스캐닝 장치 둘을 이하에 설명하고 있다. 많은 장치는 이러한 두개 사이의 중간 지점을 차지하고 있다.
15.3.1. 심플 스캐너-보급형 오프라인 예
심플 스캐너는 텍스트 라인의 길이를 따라 이동할때 페이지에서 픽셀을 판독할 수 있는 스캐닝 헤드를 구비하고 있다. 이것은 페이지를 따라 움직임을 탐지하여 이러한 움직임에 대한 몇몇 정보로 픽셀을 기록할 수 있다. 또한 각각의 스캔이 타임스탬프되도록 할 수 있는 클록 또한 구비한다. 클록은 심플 스캐너가 연결되어있을때 호스트 장치와 동기된다. 클록은 하루의 실제 시간을 나타낼 수는 없지만 상대 시간이 결정될 수 있고 따라서 호스트는 스캔의 실제 시간을 추론할 수 있거나 최악의 경우 스캔간 경과 시간을 추론할 수 있다.
심플 스캐너는 OCR자체를 수행하기 위한 충분한 처리 전력을 가지고 있지 않 지만, 전형적인 단어길이, 단어 간격, 및 폰트 크기와의 관계에 대한 몇몇 기초 지식을 가지고 있다. 이것은 스캔이 판독가능할 수 있는지, 페이퍼를 가로질러 헤드가 너무 빨리, 너무 느리게 또는 너무 부적절하게 이동하고 있는지, 그리고 소정 크기의 충분한 단어가 식별될 문서에 대하여 스캔되었을것 같은 것을 결정하는때를 사용자에게 알려주는 기본적인 몇몇 지시광을 포함한다.
심플 스캐너는 USB접속을 갖고 컴퓨터상의 USB포트에 플러깅될 수 있고, 여기서 충전될 것이다. 컴퓨터에서는 심플 스캐너는 타임 스탬핑된 데이터 파일이 기로고딘 USB저장장치가 되도록 나타나고 시스템 소프트웨어의 나머지는 이 지점에서부터 인수한다.
15.3.2. 수퍼스캐너-고급형 오프라인 예
수퍼스캐너 또한 그 전체 동작에 대하여 연결성에 좌우되지만, 이것은 오프라인인 동안 캡처되는 데이터에 대한 더나은 판단을 하는 것을 도울 수 있는 상당한 량의 온보드 저장 및 프로세싱을 구비한다.
수퍼스캐너가 텍스트의 라인을 따라 이동하면, 캡처된 픽셀은 함께 스티칭되어 텍스트를 인식하려고 시도하는 OCR엔진에 전달된다. 사용자의 가장 많이 판독된 출판물로부터 온 것을 포함하는 많은 폰트가 다운로드되어 PC상의 사용자 스펠링 체커 사전과 동기되고 따라서 사용자가 빈번히 마주치는 많은 단어를 포함하는 사전을 구비한 것 처럼, 이러한 작업을 수행하는데 도움을 준다. 또한 사용 빈도를 구비한 단어 및 표현 리스트가 스캐너상에 저장될 수 있는데 이것은 사전과 결합될 수 있다. 스캐너는 인식 프로세스에 도움을 주고 언제 충분한 량의 텍스트가 캡처되었는지에 대한 판단을 알려주기 위해 빈도 통계를 사용할 수 있다. 보다 빈번히 사용된 표현이 검색 질문의 기초로 덜 유용할 것 같다.
또한, 사용자가 가장 일반적으로 읽었던 신문과 정기간행물의 최근 이슈의 기사에 대한 풀 인덱스를 사용자가 온라인 책판매자로부터 최근 구매한 책에 대한 또는 사용자가 지난 몇달 내에 무엇인가를 스캔한 인덱스인 것처럼 장치에 저장한다. 마지막으로, 시스템에 이용가능한 데이터를 갖는 수천개의 가장 인기있는 출판물의 제목이 저장되어 기타 정보가 없을때에 사용자가 제목을 스캔할 수 있고 특정 작업으로부터의 캡처가 이후 전자적 형태로 검색될 수 있을 것 같은지에 대한 좋은 생각을 가질 수 있다.
스캐닝 프로세스동안, 본 시스템은 사용자에게 캡처된 데이터가 충분한 품질을 갖고 있고 전자 사본이 연결이 복구될때 검색될 수 있도록 하기 위해 충분한 특성을 가지고 있다고 알린다. 종종 본 시스템은 사용자에게 스캔이 성공적이었던 것으로 알려지고 컨텍스트가 온보드 인덱스중 하나에서 인식되었고, 또한 관심 출판물이 그 데이터가 시스템에서 이용가능한 것으로 알려지고 따라서 이후의, 검색이 성공적어야한다는 것을 알린다.
수퍼스캐너는 PC의 파이어와이어나 USB포트에 연결된 크래들에 도킹되고, 이때 캡처된 데이터의 업로드에 더하여, 다양한 온보드 인덱스 및 기타 데이터베이스가 최근의 사용자의 활동과 새로운 출판물에 기초하여 업데이트된다. 또한 무선 공중망에 접속하거나 블루투스를 통해 이동 전화로 통신하기 위한 장치를 구비하고, 이 장치가 이용가능한 때 여기서 공중망과 통신할 수 있다.
15.4. 광학 스캐닝을 위한 구조
광학 스캐너 장치에 특히 바람직할 수 있는 몇몇 구조를 이하 살펴본다.
15.4.1. 플렉시블한 포지셔닝 및 편리한 광학기기
종이가 계속 인기있는 이유중 하나는 예컨대 컴퓨터가 실용될 수 없거나 불편한 다양한 상황에서도 사용이 편리하기 때문이다. 따라서 종이와 사용자의 상호작용의 상당한 부분을 캡처하기 위한 장치 또한 마찬가지로 사용이 편리해야한다. 과거에는 스캐너의 경우는 이러하지 않았는데 가장 작은 핸드헬드 장치조차 다소 다루기가 힘들었다. 페이지와 접촉하게 되도록 설계된 것은 종이와 정확한 각으로 유지되어 스캔될 텍스트의 길이를 따라 매우 정확하게 이동되어야했다. 이것은 사무실 책상위에 비지니스 보고서를 스캐닝할때는 허용될 수 있지만, 기차를 기다리면서 소설의 표현을 스캐닝할때는 비실용적일 수 있다. 종이에서 떨어진 거리이ㅔ서 동작하는 카메라 타입 광학기기에 기초한 스캐너는 마찬가지로 몇몇 상황에서 유용할 수 있다.
본 시스템의 일부 실시예는 종이와 접촉하여 스캔하고 렌즈 대신 페이지에서 광센서 장치로 이미지를 전송하기 위한 광섬유 다발인 이미지 콘딧을 사용하는 스캐너를 사용한다. 이러한 장치는 자연적 위치에 유지되도록 할 수 있도록 형성될 수 있다. 예컨대, 몇몇 실시예에서, 페이지와 접촉하고 있는 부분이 쐐기형으로 되어있고, 이것은 사용자의 손이 하이라이터 펜의 사용과 마찬가지의 움직임으로 페이지 위에서 보다 자연적으로 움직이게 할 수 있다. 콘딧은 종이와 직접 접촉하거나 근접하여 있고, 발생할 수 있는 손상으로부터 이미지 콘딧을 보호할 수 있는 대체가능한 투명 팁을 구비할 수 있다. 12.2.4절에 설명한 바와 같이, 스캐너는 종이는 물론 스크린에서부터 스캔하는데 사용될 수 있고 팁의 재질은 이러한 디스플레이의 손상 가능성을 줄이도록 선택될 수 있다.
마지막으로, 본 장치의 몇몇 실시예는 스캐닝 프로세스동안 사용자가 너무 빠르게, 너무 느리게, 너무 비균일하게 스캐닝하거나 스캐닝 라인상에서 너무 높거나 낮게 드리프트할 때 빛, 소리 또는 촉각적 피드백을 사용함으로써 사용자에게 지시할 것이다.
15.5. 보안, 식별, 인증, 개인화 및 빌링
6절에서 설명한 바와 같이, 캡처 장치는 보안 거래, 구매, 및 다양한 기타 동작에 대한 식별 및 인증의 중요한 부분을 형성할 수 있다. 따라서, 이러한 역할에 필요한 회로 및 소프트웨어에 더하여, 스마트카드 리더, RFID, 또는 PIN을 타이핑하기 위한 키패드 등 보다 보안을 강화할 수 있는 다양한 하드웨어 구조를 ㅜㅂ가할 수 있다.
또한 사용자 식별을 돕기 위한 다양한 생체인식 센서를 포함할 수도 있다. 예컨대 광학 스캐너의 경우 스캐닝 헤드는 지문을 판독할 수도 있다. 음성 레코더에 대하여 사용자의 음성 패턴이 사용될 수 있다.
15.6. 장치 연관
몇몇 실시예에서, 본 장치는 기타 부근 장치와의 연관을 형성하여 자체 또는 그것들의 기능을 증가시킬 수 있다. 예컨대 몇몇 실시예에서, 본 장친,ㅡㄴ 동작에 대한 보다 상세한 피드백을 제공하기 위해 근처의 PC나 전화기의 디스플레이를 사용하거나 네트워크 접속을 사용한다. 한편 본 장치는 다른 장치에 의해 수행된 동작을 인정하기 위한 보안 및 식별 장치로서 역할을 수행할 수 있다. 또한 장치의 주변장치로서 기능하기 위하여 단순히 연관을 형성할 수 있다.
이러한 연관의 흥미로운 태양은 본 장치의 캡처 장치를 사용하여 개시되고 인증될 수 있다는 것이다. 예컨대 자신을 보안적으로 공중 컴퓨터 단말에 식별하기 원하는 사용자는 단말의 스크린의 특정 영역에 디스플레이된 코드나 심볼을 스캔하여 키 전송을 유효하게 하기 위하여 본 장치의 스캐닝 장치를 사용할 수 있다. 음성 기록 장치에 의해 추출된 음성 신호를 사용하여 유사한 프로세스를 수행할 수 있다.
15.7. 기타 장치와의 통합
몇몇 실시예에서, 캡처 장치의 기능은 이미 사용중인 몇몇 다른 장치와 통합된다. 통합 장치는 전력공급, 데이터 캡처 및 저장 용량, 및 네트워크 인터페이스를 공유할 수 있다. 이러한 통합은 단순히 편리를 위함이거나, 비용을 줄이거나, 또는 이러한 통합이 없다면 이용가능하지 않을 기능을 가능하게 하기 위해 수행될 수 있다.
캡처 기능이 통합될 수 있는 장치의 몇몇 예는 다음과 같다.
● 마우스, 스타일러스, USB "웹캠" 카메라, 블루투스TM 헤드셋 또는 원격 제어등의 기존 주변장치
● PDA, MP3플레이어, 음성 레코더, 디지털 카메라 또는 이동 전화등 또 다 른 프로세싱/저장 장치
● 시계, 보석류, 펜, 자동차 키 장식물등 편리만을 위한 기타 휴대품
15.7.1. 이동 전화 통합
통합의 장점의 예와 같이, 캡처 장치와 같은 수정된 이동 전화의 사용을 살펴본다.
몇몇 실시예에서, 전화기 하드웨어는, 텍스트 캡처가 음성 인식을 통해 적절히 수행될 수 있는 경우, 전화기 자체에 의해 프로세싱될 수 있거나 전화 호의 타단부에서 시스템에 의해 처리되거나 또는 미래의 프로세싱을 위해 전화기의 메모리내에 저장될 수 있는 경우 처럼 본 시스템을 지원하도록 수정되지 않는다. 현대의 많은 전화기는 시스템의 일부를 구현할 수 있는 소프트웨어를 다운로드할 수 있는 기능을 갖고 있다. 그러나 이러한 음성 캡처는, 예를들어 상당한 배경 노이즈가 있는 많은 상황에서 차선책일 것 같고 정확한 음성 인식이 최적의 때에서도 어려운 일이다. 오디오 장치는 음성 주석을 캡처하는데 최적으로 이용될 수 있다.
몇몇 실시예에서, 많은 이동 전화기에 내장된 카메라는 텍스트의 이미지를 캡처하는데 이용된다. 보통 카메라의 뷰파인더로 기능하는 전화기 디스플레이는 이미지의 품질과 텍스트의 세그먼트가 캡처되는 OCR에 대한 적합성에 관한 정보 및 OCR이 전하기에서 수행될 수 있다면 텍스트의 사본을 라이브 카메라 이미지상에 겹칠 수 있다.
몇몇 실시예에서, 전화기는 전용 캡처 장치를 부가하거나 전화기와 통신하는 별개의 블루투스 접속 주변장치나 클립온 어댑터로 이러한 기능을 제공하도록 수정 된다. 캡처 메커니즘의 특성이 어떠한 것이라도, 현대의 이동전화와의 통합은 많은 다른 장점을 제공한다. 전화기는 보다 광범위한 세계와 접속을 갖는데, 이것은 쿼리가 원거리 검색 엔진이나 시스템의 기타 부분으로 제공될 수 있고 즉시 저장이나 뷰잉을 위하여 문서 사본이 검색될 수 있음을 의미한다. 전화기는 일반적으로 시스템의 많은 기능이 로컬적으로 수행되도록 하는 충분한 프로세싱 전력과 합리적인 량의 데이터를 캡처하는데 충분한 저장장치를 구비하고 있다. 저장량은 또한 종종 사용자가 확장할 수 있다. 전화기는 합리적으로 양호한 디스플레이와 음성 장치를 구비하여 사용자 피드백 및 촉각적 피드백을 위한 진동 기능을 제공한다. 또한 양호한 전력 공급장치도 구비한다.
가장 중요한 점은, 전화기는 대부분의 사용자들이 이미 휴대하고 있는 장치라는 점이다.
III장-본 시스템의 응용예
본 장은 본 시스템의 사용과 이에 가능한 응용예의 리스트를 기술한다. 이러한 리스트는 순수하게 설명을 위한 것이고 이것만을 포함하는 것은 아니다.
16. 개인적 응용
16.1. 라이프 도서관
라이프 도서관(6.1.1절 참조)은 가입자가 저장하기를 바라는 임의의 중요한 문서의 디지털 아카이브이며 본 시스템의 서비스의 실시예의 세트이다. 중요한 책, 잡지 기사, 신문 클리핑등 전부를 라이프 도서관에 디지털 형태로 저장할 수 있다. 또한, 문서와 함께 가입자의 주석, 코멘트, 및 유의사항을 저장할 수 있다. 라이프 도서관은 인터넷과 월드와이드웹을 거쳐 접속될 수 있다.
본 시스템은 가입자를 위한 라이프 도서관 문서 아카이브를 생성하고 관리한다. 가입자는 문서로부터 정보를 스캔함으로써 또는 특정 문서가 가입자의 라이프 도서관에 부가되도록 시스템에 지시함으로써 어떤 문서를 자신의 라이프 도서관에 저장했었기를 바라는지 지시한다. 스캔된 정보는 일반적으로 문서에서온 텍스트이지만 문서를 식별하는 바코드나 기타 코드일 수도 있다. 본 시스템은 이러한 코드를 받아들이고 소스 문서를 식별하기 위해 이것을 사용한다. 문서가 식별된이후 시스템은 사용자의 라이프 도서관에 문서 사본을 저장하거나 문서를 얻을 수 있는 소스로의 링크를 저장할 수 있다.
라이프 도서관 시스템의 일 실시예는 가입자가 전자 사본을 얻도록 승인되는지를 확인할 수 있다. 예컨대, 독자가 뉴욕 타임즈(NYT)내의 기사 사본으로부터 텍스트나 식별자를 스캔하여 그 기사가 독자의 라이프 도서관에 부가된다면, 라이프 도서관 시스템은 독자가 NYT의 온라인 버전에 가입되어 있는지 NYT에 확인할 것이고, 가입되어 있으면 독자는 자신의 라이프 도서관 계정에 저장되어 있는 기사 사본을 얻고 그렇지 않다면 문서를 식별하는 정보와 이를 주문하는 방법이 자신의 라이프 도서관 계정에 저장된다.
몇몇 실시예에서, 본 시스템은 접근 권한 정보를 포함하는 각각의 가입자를 위한 가입자 프로파일을 유지한다. 문서 접근 정보는 몇가지 방식으로 컴파일될 수 있는데, 그 중 두가지는 1) 가입자가 자신의 계정명과 암화등과 함께 라이프 도서관 시스템에 문서 접근 정보를 공급하는 것과 2) 라이프 도서관 서비스 프로바이 더가 가입자의 정보를 갖는 출판업자에게 조회하여 출판업자가 라이프 도서관 가입자가 기사에 접근하도록 승인되면 전자 사본으로의 접근을 제공함으로써 응답하는 것이다. 라이프 도서관 가입자가 문서의 전자 사본을 갖도록 승인되지 않으면, 출판업자는 라이프 도서관 서비스 프로바이더에게 가격을 제공하고, 이후 고객에게 전자 문서를 구매하는 옵션을 제공한다. 그럴 경우, 라이프 도서관 서비스 프로바이더는 출판업자에게 바로 지불하고 이후 라이프 도서관 고객에게 과금시키거나 라이프 도서관 서비스 프로바이더가 구매에 대하여 고객의 크레디트 카드로 즉시 과금한다. 라이프 도서관 서비스 프로바이더는 거래를 용이하게 하는데 대한 소액의 고정 비용 또는 구매 가격의 몇프로를 얻는다.
본 시스템은 가입자의 개별 도서관 및/또는 가입자가 기록 보관 권한을 갖는임의의 다른 도서관내에 문서를 보관할 수 있다. 예컨대, 사용자가 인쇄된 문서에서 텍스트를 스캔하면, 라이프 도서관 시스템은 렌더링된 문서와 그 전자 사본을 식별할 수 있다. 원본 문서가 식별되면, 라이프 도서관 시스템은 사용자의 개별 도서관과 가입자가 기록 보관 권한을 갖는 그룹 도서관내에 원본 문서에 관한 정보를 기록할 수 있다. 그룹 도서관은 프로젝트에서 함께 작업하는 그룹, 학술 연구원 그룹, 그룹 웹로그등을 위한 문서 저장소와 같은 합동 아카이브이다.
라이프 도서관은, 연대순으로, 토픽별로, 가입자 관심 수준별로, 출판 유형(신문, 책, 잡지, 기술 논문등)별로, 읽는 장소 또는 시간 별로, ISBN이나 십진 분류법등 많은 방식으로 조직될 수 있다. 일 대안으로, 본 시스템은 다른 가입자가 동 문서를 어떻게 분류했는지에 기초하여 분류법을 알 수 있다. 본 시스템은 사용 자에게 분류법을 제안하거나 사용자를 위하여 문서를 자동적으로 분류할 수 있다.
다양한 실시예에서, 문서에 주석이 바로 삽입되거나 별개 파일로 유지될 수 있다. 예컨대, 가입자가 신문 기사에서 텍스트를 스캔하면, 그 기사는 하이라이트되고 스캔된 텍스트와 함께 자신의 라이프 도서관에 보관된다. 대안으로, 연관된 주석 파일과 함께 라이프 도서관에 기사를 보관한다(따라서 보관된 문서를 수정되지 않은 채 유지한다). 본 시스템의 실시예는 각각의 가입자의 도서관에 원본 문서 사본을, 많은 가입자가 접근할 수 있는 마스터 도서관에 사본을, 또는 출판업자에 의해 유지된 사본에 링크를 유지할 수 있다.
몇몇 실시예에서, 라이프 도서관은 문서 수정본(예컨대, 하이라이트한 부분등)과 (그밖에 어디에 저장된) 문서의 온라인 버전으로의 링크만을 저장한다. 본 시스템 또는 가입자는 가입자가 이어서 문서를 검색할때 변화와 문서를 합친다.
주석이 별개 파일로 유지되면, 원본 문서와 주석 파일이 가입자에게 제공되고 가입자는 이들을 결합하여 수정된 문서를 생성한다. 대안으로, 본 시스템은 가입자에게 상기 두 파일을 제공하기 전에 결합한다. 또 다른 대안으로, 주석 파일은 문서 파일에 대한 오버레이이고 가입자 컴퓨터내의 소프트웨어에 의해 문서에 겹쳐질 수 있다.
라이프 도서관 서비스의 가입자는 본 시스템이 가입자의 아카이브를 유지하도록 하기 위해 매월 요금을 지불한다. 대안으로, 가입자는 아카이브에 저장된 각 문서에 대하여 소액(예컨대, 소액 지불)을 지불한다. 대안으로, 가입자는 액세스당 요금으로 가입자의 아카이브에 접근하기 위하여 지불한다. 대안으로, 가입자는 도서관을 컴파일하여 다른 사람이 라이프 도서관 서비스 프로바이더와 저작권자와 같이 수익 공유 모델에 대한 기사/주석에 접근하게할 수 있다. 대안으로, 라이프 도서관 서비스 프로바이더는 라이프 도서관의 가입자가 문서를 주문할때 출판업자로부터 지불을 받는다(출판업자와의 수익 공유 모델. 여기서 라이프 도서관 서비스 프로바이더는 출판업자의 수익의 일부 몫을 얻는다).
몇몇 실시예에서, 라이프 도서관 서비스 프로바이더는 저작권있는 기사의 과금과 지불을 용이하게 하기 위하여 가입자와 저작권자(또는 저작권 청산 센터, 약자로 CCC)간의 중개자로 작용한다. 라이프 도서관 서비스 프로바이더는 가입자의 빌링 정보와 기타 사용자의 계정 정보를 사용하여 이러한 중간 서비스를 제공한다. 필수적으로, 라이프 도서관 서비스 프로바이더는 가입자와의 앞에 존재하는 관계를 레버리징하여 가입자 대신 저작권있는 기사의 구매를 가능하게 한다.
몇몇 실시예에서, 라이프 도서관 시스템은 문서로부터의 발췌문을 저장할 수 있다. 예컨대, 가입자가 종이 문서로부터 텍스트를 스캔할때, 라이프 도서관내에 전체 문서가 보관되기 보다는 스캔된 텍스트 주변의 영역은 발췌되고 라이프 도서관에 위치된다. 원본 스캔의 상태를 보존함으로써 가입자가 흥미있는 부분을 발견하기 위해 문서를 다시 읽는 것을 방지하기 때문에 문서가 긴 경우 이것은 특히 유용하다. 물론, 종이 문서의 전체 전자 사본으로의 하이퍼링크가 발췌 기사와 함께 포함될 수 있다.
몇몇 실시예에서, 본 시스템은 작가, 출판물 제목, 출판일, 출판업자, 저작권자(또는 저작권자의 라이센싱 대리인), ISBN, 문서의 공공의 주석으로의 링크, 리드랭크등, 라이프 도서관내의 문서에 대한 정보를 저장하기도 한다. 문서에 대한 이러한 부가적인 정보의 몇몇은 종이 문서 메타데이터의 형태이다. 일반 공중과 같은 자신들외의 사람에 의한 접근을 위하여 제3자는 공공의 주석을 생성할 수 있다. 문서상의 제3자의, 주석으로의 링크는 유용한데 이는 다른 사용자의 주석 파일을 읽음으로써 가입자의 문서의 이해를 강화하기 때문이다.
몇몇 실시예에서, 본 시스템은 클래스별로 기사를 보관한다. 이러한 특징은 라이프 도서관 가입자가 각각의 종이 문서로의 접근없이 종이 문서의 전체 클래스로 전자 사본을 신속히 저장할 수 있게한다. 예컨대, 가입자가 내셔널 지오그래픽 잡지의 사본으로부터 몇몇 텍스트를 스캔할때, 시스템은 가입자게게 내셔널 지오그래픽의 모든 백 이슈를 보관하기 위한 옵션을 제공한다. 가입자가 모든 백 이슈를 보관하도록 결정하면, 라이프 도서관 서비스 프로바이더는 가입자가 이렇게 하도록 승인되어 있는지를 내셔널 지오그래픽 소사이어티에 확인한다. 승인되어 있지 않으면, 라이프 도서관 서비스 프로바이더는 내셔널 지오그래픽 잡지 컬렉션을 보관할 권리의 구매를 중개할 수 있다.
16.2. 라이프 세이버
라이프 도서관 개념을 변형 또는 개선한 것이 "라이프 세이버"인데, 본 시스템은 다른 활동에 대하여 보다 많이 추론하기 위하여 사용자에 의해 캡처된 텍스트를 사용한다. 특정 식당의 메뉴, 특정 극장 공연의 프로그램, 특정 기차역에서의 시간표, 또는 지역 신문의 기사를 스캐닝함으로써 본 시스템이 사용자의 위치와 사회 활동에 대한 추론을 가능하게 하고, 예컨대 웹사이트로서 그들에 대한 자동 다 이어리를 구성할 수 있다. 사용자는 이 다이어리를 편집하고 수정하고, 사진등 부가 기사를 부가하며 스캔된 항목을 다시 볼 수 있을 것이다.
17. 학술적 응용
상기한 시스템이 지원하는 휴대용 스캐너는 학술적 설정에 있어서 많은 어쩔 수 없는 용도를 갖는다. 이러한 스캐너는 학생/선생님간 상호작용을 향상시킬 수 있고 배우는 경험을 증대시킬 수 있다. 이러한 용도중, 학생들은 그들의 독특한 필요에 맞추기 위해 학습 기사에 주석을 달 수 있고 선생님들은 학업 성과를 모니터링할 수 있으며 학생들의 과제물에 인용된 소스 기사를 자동적으로 확인할 수 있다.
17.1. 아이들용 책
책과 같은 종이 문서와 아이들의 상호작용은 본 시스템의 특정 실시예 세트를 채용하는 문해 습득 시스템에 의해 모니터링된다. 아이들은 문해 습득 시스템의 다른 엘리먼트와 통신하는 휴대용 스캐너를 사용한다. 휴대용 스캐너에 더하여, 문해 습득 시스템은 디스플레이 및 스피커를 구비한 컴퓨터와 이 컴퓨터에 의해 액세스가능한 데이터베이스를 포함한다. 본 스캐너는 컴퓨터와 (유선, 단거리 RF등으로) 연결된다. 아이가 책에서 모르는 단어를 보면, 그것을 스캐너로 스캔한다. 일 실시예에서, 문해 습득 시스템은 스캔된 텍스트와 데이터베이스내의 리소스를 비교하여 단어를 식별한다. 데이터베이스는 사전, 시소러스, 및/또는 멀티미디어 파일(예컨대 소리, 그래픽등)을 포함한다. 단어가 식별된후, 이 시스템은 컴퓨터 스피커를 사용하여 그 단어와 정의를 아이들에게 발음해준다. 또 다른 실시 예에서, 이 단어와 정의가 문해 습득 시스템에 의해 컴퓨터 모니터상에 디스플레이된다. 스캔된 단어에 대한 멀티미디어 파일은 컴퓨터 모니터와 스피커를 통해 재생될 수도 있다. 예컨대, "금발의 미녀와 세마리의 곰"을 읽고있는 아이가 단어 "곰"을 스캔하면, 시스템은 단어 "곰"을 발음하고 컴퓨터 모니터상에 곰에 대한 짧은 동영상을 재생할 수 있다. 이런식으로, 아이들은 씌여진 단어를 발음하는 것을 배우고 그 단어가 의미하는 바를 멀티미디어 소개를 통해 시각적으로 습득한다.
문해 습득 시스템은 배움 프로세스를 강화하기 위하여 즉각적인 청각적 및/또는 시각적 정보를 제공한다. 아이들은 이러한 보충 정보를 사용하여 기록된 문서의 보다 깊은 이해를 신속히 얻는다. 본 시스템은 초심 독자가 독서하는 것을 가르치는데 사용될 수 있고 아이들이 보다 넓은 어휘력등을 얻는데 돕기위해 사용될 수 있다. 이 시스템은 아이들에게 친밀하지 않은 단어나 아이들이 보다 많은 정보를 원하는 정보를 제공한다.
17.2. 문해 습득
몇몇 실시예에서, 본 시스템은 개인 사전을 컴파일한다. 독자가 새롭거나, 재미있거나, 특히 유용하거나 성가신 단어를 보면, 컴퓨터 파일로 (정의와 함께) 저장한다. 이러한 컴퓨터 파일은 독자의 개인화된 사전이 된다. 이러한 사전은 일반적으로 보통의 사전보다 사이즈가 작고 따라서 이동 단말 또는 연관된 장치로 다운로드될 수 있고 따라서 시스템이 즉시 액세스될 수 없는 경우에도 이용가능하게 된다. 몇몇 실시예에서, 개인 사전 입력은 적당한 단어의 발음을 돕기 위한 음성 파일과 단어가 스캔된 종이 문서를 식별하는 정보를 포함한다.
몇몇 실시예에서, 본 시스템은 학생들을 위한 커스터마이징된 스펠링 밍 어휘 테스트를 생성한다. 예컨대, 학생이 과제물을 읽을때, 그 학생은 휴대용 스캐너로 낯선 단어를 스캔할 수 있다. 이 시스템은 그 학생이 스캔한 모든 단어 목록을 저장한다. 이후, 시스템은 커스터마이징된 스펠링/어휘 테스트를 학생에게 연관된 모니터상에 제공한다(또는 이러한 테스트를 연관된 프린터에 인쇄한다).
17.3. 음악 교습
악보의 배치는 텍스트 라인에 문자를 배치하는 것과 유사하다. 본 시스템에서 텍스트를 캡처하기 위하여 상기한 같은 스캐닝 장치를 이용하여 악보를 캡처할 수 있고, 알려진 악곡의 데이터베이스에 검색를 구성하는 유사한 프로세스가 캡처가 일어나는 악곡이 식별될 수 있도록 하여 이후 검색, 재생, 또는 몇몇 다른 활동의 기초가 될 수 있게된다.
17.4. 표절 탐지
선생님들은 본 시스템을 사용하여 학생들의 과제물에서 텍스트를 스캐밍하고 스캔된 텍스트를 본 시스템에 제공함으로써 표절을 탐지하거나 원본을 확인할 수 있다. 예컨대, 학생의 과제물에 있는 발췌문이 학생이 인용한 소스로부터 왔다는 것을 확인하기를 원하는 선생님은 그 발췌문의 일부를 스캔하고 시스템에 의해 식별된 문서의 제목과 학생이 인용한 문서의 제목을 비교할 수 있다. 마찬가지로, 본 시스템은 그 학생의 원래의 작업물로 제출된 과제물로부터의 텍스트의 스캔을 사용하여 그 텍스트가 카피되었는지를 보일 수 있다.
17.5 개선된 텍스트상자
일부 실시예에서, 학술 교재로부터 텍스트를 캡쳐하는 것은 학생 또는 스태프을 보다 상세한 설명, 추가적인 연습, 자료에 대한 학생 및 스태프의 논의, 관련된 모범적인 과거의 시험 문제, 주제에 대해 추가적인 논문, 주제에 대한 강의 기록, 등에 연결시킨다.(섹션 7.1을 보라)
17.6 언어 학습
일부 실시예에서, 시스템은 외국어를 가르치기 위해 사용된다. 예를 들면 스페인어 단어를 스캐닝하는 것은 그 단어의 영어 정의와 함께 스페인어로 상기 단어를 크게 읽도록 할 수 있다.
시스템은 새로운 언어 습득 프로세스를 개선시키기 위해 즉각적인 청각 및/또는 시각 정보를 제공한다. 독자는 자료의 보다 깊은 이해를 빨리 습득하기 위해 이러한 보충 정보를 이용한다. 시스템은 외국어를 읽으려하는 초보 학생을 가르치고, 학생들이 보다 많은 어휘 등을 습득하는 것을 돕는 데에 사용될 수 있다, 시스템은 독자에게 낯설거나 또는 독자가 더 많은 정보를 원하는 외국어 단어에 관한 정보를 제공한다.
신문 또는 책과 같은 페이퍼 문서와의 독자의 상호작용은 언어 스킬 시스템에 의해 모니터링된다. 상기 독자는 언어 스킬 시스템과 통신하는 휴대가능한 스캐너를 갖는다. 일부 실시예에서, 언어 스킬 시스템은 디스플레이 및 스피커를 구비한 컴퓨터 및, 상기 컴퓨터에 의해 액세스가능한 데이터베이스를 포함한다. 상기 스캐너는 컴퓨터와 통신한다(배선에 의해 접속된, 단거리 범위 RF, 등). 독자 가 기사에서 모르는 단어를 보았을 때, 독자는 스캐너로 그것을 스캔한다. 데이터베이스는 외국어 사전, 유의어반의어사전, 및/또는 멀티미디어 파일(음성, 그래픽 등)을 포함한다. 일 실시예에서, 시스템은 스캔된 단어를 식별하기 위해 스캔된 텍스트를 자신의 데이터베이스에서의 리소스와 비교한다. 단어가 식별된 후에, 시스템은 컴퓨터 스피커를 사용하여 단어와 그 정의를 독자에게 전달한다. 일부 실시예에서, 단어와 그 정의 모두가 컴퓨터 모니터 상에 디스플레이된다. 스캔된 단어에 연관된 문법 팁에 관한 멀티미디어 파일 또한 컴퓨터 모니터와 스피커를 통해서 재생될 수 있다. 예를 들면, "to speak" 라는 단어가 스캔되면, 시스템은 "hablar"라는 단어를 발음하고, 적절한 스페인어 발음을 나타내는 짧은 오디오 클립을 재생시키고, "hablar"의 다양한 동사 변화형의 완벽한 목록을 디스플레이한다. 이러한 방식으로, 학생은 문자로 쓰여진 단어를 발음하는 것을 배우고, 멀티미디어 프리젠테이션에 의해 단어의 철자법을 시각적으로 배우고, 동사를 변화시키는 방법을 배운다. 시스템은 또한 공통적인 문구와 함께 적절한 "hablar"의 사용법에 관한 문법팁을 설명한다.
일부 실시예에서, 유저는 유저의 모국어(또는 유저가 합리적으로 잘아는 언어)가 아닌 언어로 된 렌더링된 문서로부터 단어 또는 짧은 문구를 스캔한다. 일부 실시예에서, 시스템은 유저의 "선호하는" 언어의 우선 순위 목록을 관리한다. 시스템은 렌더링된 문서의 전자 사본을 식별하고, 문서 내의 스캔 위치를 판정한다. 시스템은 또한 유저의 선호하는 언어 중 어느 하나로 번역된 문서의 제 2 전자 사본을 식별하고, 원문서에서의 스캔 위치에 상응하는 번역된 문서에서의 위치 를 판정한다. 상응 위치가 정확하게 알려지지 않을 때, 시스템은 스캔된 위치의 상응 위치를 포함하는 작은 영역(예를 들면, 문단)을 식별한다. 그런 다음, 상기 상응하는 번역된 위치가 유저에게 제시된다. 이것은, 흔히 단어-당-단어 기반으로 정확하게 번역하기 어려운 은어 또는 다른 관용어법을 포함하는, 스캔된 위치에서의 특정한 어법의 정확한 번역을 유저에게 제공한다.
17.7 연구자료의 수집
특정한 토픽을 연구하는 유저는, 그들이 일련의 개인적인 아카이브에 토픽에 관련된 것으로 기록하기를 원하는, 인쇄된 그리고 화면 상의 모든 종류의 자료를 만날 수 있다. 시스템은 이러한 프로세스가 임의의 하나의 자료에서 짧은 문구를 스캐닝하는 결과로써 자동화될 수 있고, 또한 주제에 대한 간행물에 삽입하기에 적합한 참고문헌을 생성할 수도 있다.
18. 상업적 적용
명백하게, 상업적 활동이 본 문에서 논의된 거의 모든 프로세스로부터 만들어질 수 있지만, 여기서 우리는 소수의 명확한 수입 흐름에 집중하자.
18.1 요금기반 검색 및 인덱싱
종래 인터넷 검색 엔진은 일반적으로 전자문서의 무료 검색을 제공하고, 또한 인덱스에 컨텐트 공급자의 컨텐트를 포함하는 것에 대해 컨텐트 공급자에게 요 금을 청구하지 않는다. 일부 실시예에서, 시스템은 유저에 대한 비용 청구 및/또는 검색 엔진에 대한 비용지급 및/또는 시스템의 운용 및 사용과 연결하여 컨텐츠 공급자에 대한 비용을 청구한다.
일부 실시예에서, 시스템 서비스에 대한 가입자는 페이퍼 문서의 스캔에 기원한 검색을 위한 요금을 지불한다. 예를 들면, 증권중개인은 컴파니 X에 의해 제공된 새로운 제품에 관한 월스트리트 저널의 기사를 읽을 수 있을 것이다. 페이퍼 문서로부터 컴파니 X의 명칭을 스캐닝하고, 필요한 요금의 지불에 동의함으로써, 증권 중개인은 애널리스트의 보고서와 같은 상기 회사에 관한 프리미엄 정보를 취득하기 위해 특별한 또는 독점적인 데이터베이스를 검색하기위해 시스템을 이용한다. 시스템은 또한, 예를 들면 특정한 날에 발간된 모든 신문들이 인덱싱되고 그것들이 기사가 게재될 때까지 사용가능한 것을 보장함으로써, 페이퍼 형태로 가장 많이 읽혀지는 문서가 인덱싱의 우선순위를 가지도록 배치한다.
컨텐트 공급자는 페이퍼 문서로부터 제시된 검색 문의에서 특정한 용어에 연관된 요금을 지불한다. 예를 들면, 일 실시예에서, 시스템은 공급자에 관한 추가적인 컨텍스트에 기초한(이 경우, 컨텍스트는 컨텐트 공급자가 결과 목록을 위로 올리기 위한 요금을 지급한 것임) 가장 선호되는 컨텐트 공급자를 선택한다. 근본적으로, 검색 공급자는 컨텐트 공급자와의 사전의 재정 계약에 기초하여 페이퍼 문서 검색 결과를 조정한다. 섹션 5.2에서의 키워드 및 주요 어구의 상세를 보라.
특정한 컨텐트에 대한 액세스가 특정한 그룹의 사람(클라이언트 또는 피고용자 등)에 한정되는 경우, 이러한 컨텐트는 방화벽에 의해 보호될 수 있고, 그 결과 일반적으로 제 3자에 의해 인덱싱할 수 없게된다. 컨텐트 공급자는 그럼에도 불구하고 보호된 컨텐트에 대한 인덱스를 공급하기를 원할 수 있다. 그러한 경우, 컨텐트 공급자는 시스템 가입자들에게 컨텐트 공급자의 인덱스를 제공하도록 서비스 공급자에 요금을 지급할 수 있다. 예를 들면, 법률회사는 클라이언트의 문서 모두를 인덱스할 수 있다. 상기 문서들은 법률회사의 방화벽 뒤에 저장된다. 그러나 법률회사는 자신의 피고용인과 클라이언트가 휴대가능한 스캐너를 통해 상기 문서들에 액세스하여 서비스 공급자에게 인덱스(또는 인덱스에 대한 포인터)를 제공하고, 법률회사의 피고용자 또는 클라이언트가 그들의 휴대가능한 스캐너를 통해 페이퍼-스캔된 검색 용어를 제시할 때, 서비스 공급자가 차례로 법률회사의 인덱스를 검색하기를 원한다. 법률회사는 상기 기능을 가능하게 하기 위해 서비스 공급자의 시스템에 피고용인 및/또는 클라이언트의 목록을 제공할 수 있거나, 또는 시스템이 상기 법률회사의 인덱스를 검색하기 전에 법률회사에 문의함으로써 액세스 권한을 검증할 수 있다. 상술한 예에서, 법률회사에 의해 제공된 인덱스는 그 클라이언트의 문서에 한정되는 것이지, 법률회사의 모든 문서의 인덱스가 아님에 유의하라. 따라서, 서비스 공급자는 법률회사가 그 클라이언트를 위해 인덱싱한 문서에 대해서만 법률회사의 클라이언트가 액세스하도록 승인할 수 있다.
페이퍼 문서에 기원한 검색으로부터 야기될 수 있는 적어도 2 가지의 개별 수입흐름이 있는데: 하나는 검색 기능으로부터의 수입 흐름이고, 다른 하나는 컨텐트 전달 기능으로부터의 수입흐름이다. 상기 검색 기능의 수입은 스캐너 유저의 유료 가입으로부터 생성되지만, 또한 검색당 요금에 따라 생성될 수도 있다. 컨텐 트 전달 수입은 컨텐트 공급자 또는 저작권 소유자와 공유될 수 있지만(서비스 공급자는 각 전달에 대해 일정한 매매의 퍼센트 또는 최소지불액과 같은 고정된 요금을 취할 수 있다.), 또한 서비스 공급자가 거래를 중개하는 지의 여부를 고려하지 않고, 가입자가 온라인 카탈로그로부터 주문을 하고, 시스템에 그에 배송 또는 제공하는 모든 아이템에 대해 시스템이 요금 또는 퍼센트를 취하는 "위탁" 모델에 의해 생성될 수도 있다. 일부 실시예에서, 시스템 서비스 공급자는 소정의 시간 동안 또는 식별된 제품의 구매가 이루어진 임의의 후속하는 시간에 가입자가 컨텐트 공급자로부터 행한 모든 구매에 대한 수입을 받는다.
18.2 카탈로그
소비자는 페이퍼 카탈로그로부터 구매를 행하기 위해 휴대가능한 스캐너를 이용할 수 있다. 가입자는 상기 카탈로그를 식별하는 정보를 카탈로그로부터 스캔한다. 이러한 정보는 카탈로그로부터의 텍스트, 바코드, 또는 카탈로그의 또다른 식별자이다. 가입자는 그녀/그가 구매하기를 원하는 제품을 식별하는 정보를 스캔한다. 카탈로그 메일링 라벨은 카탈로그 벤더에 대해 소비자를 식별하는 소비자 식별 번호를 포함할 수 있다. 만약 그렇다면, 가입자는 이러한 소비자 식별 번호도 스캔할 수 있다. 시스템은 소비자의 선택과 소비자 식별 번호를 벤더에게 제공함으로써 카탈로그 구매를 돕기위해 가입자와 벤더 사이에서 중개자로서의 역할을 한다.
18.3 쿠폰
소비자는 페이퍼 쿠폰을 스캔하여, 추후의 복구와 사용을 위해 스캐너, 또는 컴퓨터와 같은 원격 디바이스에 쿠폰의 전자 복사본을 저장한다. 전자적 저장의 장점은 소비자가 페이퍼 쿠폰을 가지고 다니는 번거로움으로부터 자유롭다는 것이다. 추가적인 장점은 전자 쿠폰은 어떠한 위치에서건 가져올 수 있다는 것이다. 일부 실시예에서, 시스템은 쿠폰의 만료 기일을 추적하고, 곧 만료되는 쿠폰에 관해 소비자에게 경고하고, 및/또는 기한이 만료된 쿠폰을 저장에서 삭제할 수 있다. 쿠폰 발급자에 대한 장점은 누가 쿠폰을 사용하고 있는지, 그리고 언제 어디서 그것들이 캡쳐되고 사용되는지에 관해 보다 많은 피드백을 받을 가능성이 있다는 것이다.
19. 일반적인 응용
19.1 폼
시스템은 페이퍼 폼에 상응하는 전자 문서를 자동으로 채우는(auto-populate) 데에 사용될 수 있다. 유저는 페이퍼 폼을 고유하게 식별하는 일련의 텍스트 또는 바코드를 스캔한다. 스캐너는 인접한 컴퓨터에 유저를 식별하는 폼과 정보의 신원을 통신한다. 인접한 컴퓨터는 인터넷 연결을 가진다. 인접한 컴퓨터는 폼의 제 1 데이터베이스와 스캐너의 유저에 관한 정보(서비스 공급자의 가입자 정보 데이터베이스와 같은)를 구비한 제 2 데이터베이스에 액세스할 수 있다. 인 접한 컴퓨터는 제 1 데이터베이스로부터의 페이퍼 폼의 전자적 버전에 액세스하고, 제 2 데이터베이스로부터 취득된 유저 정보로부터 폼의 필드를 자동으로 채운다. 그런다음 인접한 컴퓨터는 완료된 폼을 의도한 수취인에게 이메일로 전송한다. 대안으로, 상기 컴퓨터는 인접한 프린터에서 완료된 폼을 인쇄할 수 있다.
외부 데이터베이스에 액세스하는 것이 아닌, 일부 실시예에서, 시스템은 신원 모듈, SIM, 또는 보안 카드에서와 같이, 유저 정보를 포함하고 있는 휴대가능한 스캐너를 구비한다. 상기 스캐너는 인접한 PC로 폼을 식별하는 정보를 제공한다. 인접한 PC는 전자 폼에 액세스하여, 상기 폼을 채우기 위해 필요한 정보를 스캐너에게 문의한다.
19.2 업무용 명함
시스템은 페이퍼 문서로부터 전자 주소록 또는 다른 컨택트 목록을 자동으로 채우는 데에 사용될 수 있다. 예를 들면, 새롭게 만난 사람의 업무용 명함을 받았을 때, 유저는 그/그녀의 휴대폰으로 상기 명함의 이미지를 캡쳐할 수 있다. 시스템은 상기 명함의 전자 복사본을 위치지정하고, 이것은 새롭게 만난 사람의 컨택트 정보를 가진 휴대폰의 온보드 주소록을 업데이트하는 데에 사용될 수 있다. 상기 전자 복사본은 업무용 명함에 압축될 수 있는 새롭게 만난 사람에 관한 보다 많은 정보를 담을 수 있다. 또한, 온보드 주소록은 전자 복사본에 대한 임의의 변경사항이 휴대폰의 주소록에서 자동으로 업데이트되도록 전자 복사본에 대한 링크도 저장할 수 있다. 본 예에서, 업무용 명함은 전자 복사본이 있음을 가리키는 심볼 또 는 텍스트를 선택적으로 포함한다. 전자 복사본이 없다면, 휴대폰은 새롭게 만난 사람에 대해 주소록에 기입사항을 채워 놓기 위해 OCR 및 표준 업무용 명함 포맷의 지식을 이용할 수 있다. 심볼은 또한 상기 이미지로부터 직접 정보를 추출하는 프로세스를 도울 수도 있을 것이다. 예를 들면, 업무용 명함 상의 전화번호 다음에 있는 전화 아이콘은 전화 번호의 위치를 판정하기 위해 인식될 수 있다.
19.3 교정/편집
시스템은 교정 및 편집 프로세스를 개선시킬수 있다. 시스템이 편집 프로세스를 개선시킬 수 있는 한가지 방식은 페이퍼 문서와 편집자의 상호작용을 그의 전자 사본에 링크하는 것에 의한 것이다. 편집자가 페이퍼 문서를 읽고, 그 문서의 여러 부분을 스캔할 때, 시스템은 상기 페이퍼 문서의 전자 사본에 대한 적절한 주석과 편집을 할 것이다. 예를 들면, 편집자가 텍스트 부분을 스캔하고 스캐너로 "새로운 문단"의 제어 제스쳐를 하면, 스캐너와 통신하는 컴퓨터는 상기 문서의 전자 복사본에서의 스캔된 텍스트의 위치에 "새로운 문단"의 브레이크를 삽입할 것이다.
19.4 음성 주석
유저는 상기 문서로부터 텍스트 부분을 스캐닝하고, 스캔된 텍스트에 연관된 음성 녹음을 함으로써 문서에 대한 음성 주석을 달 수 있다. 일부 실시예에서, 스캐너는 유저의 구두 주석을 녹음하기 위한 마이크로폰을 구비한다. 구두 주석이 녹음된 후에, 시스템은 텍스트가 스캔된 문서를 식별하고, 상기 문서내에 스캔된 텍스트를 위치시키고, 그 지점에 음성 주석을 첨부한다. 일부 실시예에서, 시스템은 스피치를 텍스트로 변환하고, 텍스트의 코멘트로서 주석을 첨부한다.
일부 실시예에서, 시스템은 상기 문서에 포함된 주석에 대한 참조로서만 상기 주석을 상기 문서와 분리시켜 유지한다. 그런 다음 주석은 지정된 가입자 또는 유저 그룹을 위한 문서에 대한 주석 마크업 층이 된다.
일부 실시예에서, 각각의 캡쳐 및 연관된 주석에 대해, 시스템은 문서를 식별하고, 소프트웨어패키지를 이용하여 그것을 열고, 스캔 위치로 스크롤하고, 음성 주석을 재생한다. 그런 다음, 유저는 음성 주석, 그들 자신 또는 다른 사람에 의해 제시된 변경 또는 기타 기록된 코멘트를 참조하면서 문서와 상호작용한다.
19.5 텍스트로 된 도움말
상술한 시스템은 전자 도움말 메뉴로 페이퍼 문서를 개선시키는 데에 사용될 수 있다. 일부 실시예에서, 페이퍼 문서에 연관된 마크업 층은 상기 문서에 대한 도움말 메뉴 정보를 포함한다. 예를 들면, 유저가 문서의 특정한 부분으로부터 텍스트를 스캔할 때, 시스템은 상기 문서에 연관된 마크업을 체크하고, 도움말 메뉴를 유저에게 제공한다. 도움말 메뉴는 스캐너의 디스플레이 또는 연관된 인접한 디스플레이 상에 표시된다.
19.6 디스플레이 사용
일부 상황에서, 텔레비전, 컴퓨터 모니터, 또는 다른 유사한 디스플레이로부터 정보를 스캔할 수 있는 것이 유리하다. 일부 실시예에서, 휴대가능한 스캐너가 컴퓨터 모니터와 텔레비전으로부터 정보를 스캔하는 데에 사용된다. 일부 실시예에서, 휴대가능한 광학 스캐너는 래스터라이징, 스크린 브랭킹 등과 같은 전형적인 음극선 튜브(CRT) 디스플레이 기술로 작업하기에 최적화된 조명 센서를 가진다.
문서로부터 텍스트를 읽는 유저의 오디오를 캡쳐함으로써 동작하는 음성 캡쳐 디바이스는 일반적으로 문서가 페이퍼 상에 있는지, 디스플레이 상인지, 또는 기타 다른 매체 상인지의 여부에 상관없이 작동한다.
19.6.1. 공공 키오스크 및 동적 세션 IDs
디스플레이의 직접 스캐닝의 일 사용은 섹션 15.6에 기술된 것과 같은 디바이스에 연관된 것이다. 예를 들면, 일부 실시예에서, 공공 키오스크는 동적 세션 ID를 자신의 모니터 상에 표시한다. 상기 키오스크는 인터넷 또는 회사 인트라넷과 같은 통신 네트워크에 연결된다. 세션 ID는 주기적으로, 하지만, 적어도 새로운 세션 ID가 모든 유저에게 표시되도록 하기 위해 키오스크가 사용될 때는 항상 변화한다. 상기 키오스크를 사용하기 위해, 가입자는 키오스크 상에 표시된 세션 ID를 스캔한다; 상기 세션 ID를 스캐닝함으로써 유저는, 자신이 인쇄된 문서의 스캔 또는 키오스크 스크린 자체로부터 발생한 컨텐트의 전달을 위해 상기 키오스크를 자신의 스캐너에 임시로 연결시키기를 원한다는 것을 시스템에 표현한다. 상기 스캐너는 세션 ID와 스캐너를 인증하는 다른 정보(시리얼 번호, 계정 번호, 또는 기타 식별 정보)를 직접 시스템에 통신할 수 있다. 예를 들면, 스캐너는 유저의 휴대폰(블루투스™를 통해 유저의 스캐너와 쌍을 이루는)을 통해 세션 초기화 메시지를 전송함으로써 시스템과 직접(여기서 "직접"은 키오스크를 통해 메시지를 통과시키지 않는 것을 의미함) 통신할 수 있다. 대안으로, 스캐너는 키오스크와 무선 링크를 구축하고, 세션 초기화 정보를 키오스크에 전송함으로써(아마도 블루투스™, 등과 같은 짧은 범위의 RF를 통해) 키오스크의 통신 링크를 이용할 수 있다; 응답하여, 키오스크는 자신의 인터넷 연결을 통해 시스템에 세션 초기화 정보를 전송한다.
시스템은 디바이스가 스캐너와 연결되어 있는 기간(또는 세션) 동안 스캐너에 이미 연결된 디바이스를 다른 사람이 이용하는 것을 방지할 수 있다. 이러한 특징은 또다른 사람의 세션이 끝나기 전에 다른 사람이 공공 키오스크를 이용하는 것을 방지하는 데에 유용하다. 인터넷 카페에서 컴퓨터를 이용하는 것에 관련된 이러한 개념의 예로서, 유저는 그녀/그가 사용하기를 원하는 PC의 모니터 상의 바코드를 스캔하고; 응답하여, 시스템이 그것이 디스플레이되는 모니터로 세션 ID를 전송하고; 유저는 모니터로부터 세션 ID를 스캔함으로써(또는 그것을 휴대가능한 스캐너 상의 키패드 또는 터치 스크린 또는 마이크로폰을 통해 입력함으로써) 세션을 초기화하고; 다른 스캐너가 세션 ID를 스캔하고 그/그녀의 세션 동안 모니터를 이용할 수 없도록 시스템이 자신의 데이터베이스에서 세션 ID를 그/그녀의 스캐너의 시리얼 번호(또는 유저 스캐너를 고유하게 식별하는 다른 식별자)와 연결시킨다. 스캐너는 모니터와 연결된 PC와 통신하거나(블루투스™와 같은 무선 링크, 또 는 도킹 스테이션과 같은 배선 연결을 통해), 또는 휴대폰 등과 같은 다른 수단을 통해 시스템과 직접(즉, PC를 통하지 않고) 통신한다.
제 4 파트 - 시스템 및 휴대가능한 디바이스의 상세
도 4는 휴대가능한 스캐닝 디바이스의 일반적인 사용을 도시한 사시도이다. 도시된 예에서, 유저는 스캐닝 능력을 가진 휴대가능한 디바이스(500)를 통해 신문(410)에서 텍스트를 스캔한다. 유저는 휴대가능한 스캐너(500)로 텍스트(420)의 라인의 일부를 스캔하였다. 텍스트(420)의 라인의 일부의 이미지는 스캐너(500)에 의해 저장되고, 원격 저장을 위해 다른 디바이스로 전송되고, 압축되고, 또는 다양한 방식으로 처리될 수 있다. 일부 실시예에서, 휴대가능한 스캐너(500)는 신문 기사를 고유하게 식별하기 위해서 언제 충분한 정보가 스캔되었는지를 가리킨다.
도 4에 도시된 예에서, 휴대가능한 디바이스(500)는 펜 폼-팩터의 스캐너이다. 그러나, 디지털 카메라와 같은 임의의 이미지 캡쳐링 능력을 가진 휴대가능한 디바이스가 도 4에 도시된 휴대가능한 디바이스(400)와 적절한 등가물이다.
도 5는 일반적인 휴대가능한 스캐닝 디바이스(500)의 실시예의 기능 블록도이다. 휴대가능한 스캐닝 디바이스(500)는 스캔될 그래픽 또는 텍스트 등의 대상물에 조광하는 광원(505)을 갖는다. 스캔된 대상물로부터 반사된 광이 렌즈(510)를 통과해서 지나고, 그의 특성(컬러, 강도 등)이 전하결합소자(Charge-Coupled Device)(CCD) 어레이(515)와 같은 적절한 디바이스에 의해 등록된다. CCD 어레이(515)에 저장된 아날로그 데이터는 아날로그-디지털(A/D) 컨버터(520)에 의해 디 지털 형태로 변환된다.
도 5에 도시된 실시예에서, DSP(575)는 전원(540)에 의해 전력이 공급되고, 시스템 클록(570), A/D 컨버터(520), 이미지 압축 로직(525), 메모리(530), 빌링/가입/디바이스 식별자 메모리(580), 전력 관리 로직(535), 위치 모듈(545), 통신 인터페이스(550) 및 유저 인터페이스(560)와 동작가능하게 연결된다. 이미지 데이터가 A/D 컨버터(520)에 의해 디지털화된 후, 디지털 신호 처리기(DSP)(575)는 메모리(530)에 저장된 프로그램에 따라 이미지 데이터에 대한 다양한 동작을 수행할 수 있다.
디지털 신호 처리기(575)는 메모리(530)에 디지털 이미지 데이터를 저장할 수 있다. 메모리(530) 공간을 절약하기 위해, DSP(575)는 저장 이전에 디지털 이미지 데이터를 압축하기 위해 이미지 압축 로직(525)에 액세스함으로써 이미지 압축 스킴을 구현할 수 있다. 잘알려진 JPEG 또는 JBIG 압축 스킴과 같은 많은 종류의 이미지 압축 스킴이 사용될 수 있다. 일부 경우에, DSP(575)는 광학 문자 인식(OCR)을 대안으로 사용하여, 메모리(530)에 저장하기 전에 스캔된 이미지 데이터를 텍스트로 변환한다.
전력 관리 로직(535)은 전원(540) 상태와 휴대가능한 스캐닝 디바이스(500)의 여러 컴포넌트에 의한 전력소비 속도를 모니터링한다. 전원(540)이 배터리와 같은 내부 전원이라면, 배터리 수명을 연장시키기 위해 전력관리 로직(535)은 특정한 컴포넌트를 휴지시키거나 또는 저전력 모드로 들어가게한다. 추가하여, 전력관리 로직(535)은 유저 인터페이스(560)로 하여금, 적색 LED를 조광하고, 가청 알람 을 소리나게하는 등의 "로우 배터리" 경고를 통신하거나, 또는 LCD 상에 "로우 배터리" 아이콘을 디스플레이하도록 할 수 있다.
메모리(530)는 DSP(575)에 대한 프로그램 명령어를 포함할 수 있다. 그것은 또한 압축 또는 비압축된 포맷의 텍스트 및/또는 이미지 데이터를 저장하는 데에 사용될 수도 있다. 추가로, 상기 이미지 데이터에 연관된 타임스탬프와 위치스탬프가 메모리(530)에 저장될 수 있다.
클록(570)은 휴대가능한 스캐너(500)의 다양한 컴포넌트의 동작을 동기화시키기 위한 클록 신호를 제공한다. 클록(570)은 또한 타임 스탬핑 이미지 데이터에 대한 참조시간을 제공할 수도 있다. 예를 들면, 유저가 텍스트의 일부를 스캔할 때, DSP(575)는 스캔 데이터에 대해 OCR을 실행하고, 그 결과인 텍스트를 클록(570)으로부터 습득된 타임 스탬프와 함께 메모리(530)에 저장한다. 대안으로, 특히 GPS 수신기가 위치 모듈(545)에 포함되어 있다면, 타임스탬프가 위치 모듈(545)로부터 습득될 수 있다.
위치 모듈(545)은 휴대가능한 디바이스(500)에 위치 판정 기능을 제공한다. 위치 모듈(545)은, 인공위성과 그라운드 기반의 전송기로 구성된 GPS 네트워크에 의한 신호 브로드캐스트를 모니터링함으로써 위치 및 시간 정보를 제공하는 GPS 수신기를 포함할 수 있다. 이러한 위치 정보는 특정한 스캔이 어디서 발생했는지를 가리키는 위치 스탬프를 제공하는 데에 사용될 수 있다. 예를 들면, 유저가 텍스트의 일부를 스캔할 때, DSP(575)는 스캔 데이터에 대한 OCR을 수행하고, 그결과인 텍스트를 위치 모듈(545)로부터 습득된 위치 스탬프와 함께 메모리(530)에 저장할 수 있다. 위치 스탬프는 국가, 주, 지역, 도시, 제공하는 네트워크 액세스 지점, 100미터 이내의 위치, 정확한 위치 등과 같이 한정하는 다양한 레벨에 있을 수 있다.
통신 인터페이스(550)는 휴대가능한 디바이스(500)가 다른 디바이스와 통신하도록 인가하는 송수신기를 포함한다. 통신 인터페이스(505)는 짧은 범위 RF(블루투스, IEEE 802.11 등), 휴대폰, 또는 광학(적외선 등)과 같은 무선 인터페이스가 될 수 있다. 통신 인터페이스(550)가 무선 능력을 포함하는 경우, 휴대가능한 스캐닝 디바이스는 또한 무선 기능을 구현하기위해 필요한 안테나 또는 렌즈를 포함한다.
통신 인터페이스(550)는 또한 USB 및 그와 유사한 스킴 등과 같은 유선 인터페이스를 포함할 수 있다. 통신 인터페이스(550)가 USB와 같은 유선 인터페이스인 경우, 통신 인터페이스(550)는 내부 전원(540)을 충전하거나 휴대가능한 스캐닝 디바이스(500)를 가동하기 위해 전력을 공급할 수 있다.
유저 인터페이스(560)는 스피커 및 마이크로폰과 같은 오디오 능력, LCD 디스플레이 또는 LEDs와 같은 시각 능력, 및/또는 버저 및 변환기와 같은 촉각(접촉) 능력을 포함할 수 있다.
도 6은 시스템에 의해 일반적으로 사용되는 데이터 레코드(600)용 포맷을 도시한 데이터 구조도이다. 데이터 레코드(600)는 스캔된 데이터(630)를 포함한다. 상기 스캔된 데이터(630)는 텍스트, 이미지, 심볼 또는 임의의 적절한 데이터 타입이 될 수 있다. 데이터 레코드(600)는 또한 스캔된 데이터(630)에 연관된 타임 스 탬프(610)를 포함한다. 일부 실시예에서, 타임 스탬프(610)는 스캔된 테이터(630)가 디바이스(500)에 의해 획득된 시간을 가리킨다. 데이터 레코드(600)는 스캔된 데이터(630)에 연관된 위치 스탬프(620)를 포함한다. 일부 실시예에서, 위치 스탬프(620)는 스캔된 데이터(630)가 획득된 위치를 가리킨다. 일부 실시예에서, 타임 스탬프(610)와 위치 스탬프(620)는 각각 시간과 위치에 의해 스캔된 데이터(630)를 인덱싱하고, 그에 의해 스캔 시간 및/또는 위치에 의해 저장된 데이터에 대한 검색을 가능하게 한다.
도 7은 휴대가능한 디바이스(500)를 이용하여 문서가 스캔된 위치 및/또는 시간에 관한 정보를 검출하고 저장하기 위해 시스템에 의해 일반적으로 수행되는 단계들을 도시하는 흐름도이다. 단계(710)에서, 휴대가능한 디바이스(500)는 스캔된 이미지 또는 텍스트와 같은 데이터(630)를 획득한다. 휴대가능한 디바이스(500)는 데이터 레코드(600)에 타임스탬프(610) 또는 위치 스탬프(620)를 포함할지 여부에 관한 미리정해진 명령어를 포함할 수 있다. 단계(715)에서 휴대가능한 디바이스(500)는 타임스탬프(610)가 데이터 레코드(600)에서 필요한지 여부를 판정한다. 타임스탬프가 데이터 레코드(600)에서 필요하다면, 단계(720)에서 휴대가능한 디바이스(500)는 클록(570)으로부터(GPS가 가능하다면, 위치 모듈(545)로부터 가능함) 타임스탬프 정보(610)를 습득하고, 단계(725)로 진행한다. 단계(715)에서 타임스탬프가 필요하지 않는다면, 휴대가능한 디바이스(500)는 단계(725)로 진행한다. 단계(725)에서, 휴대가능한 디바이스(500)는 위치 스템프(620)가 데이터 레코드(600)에서 필요한지 여부를 판정한다. 위치 스탬프가 데이터 레코드(600)에서 필요하다면, 휴대가능한 디바이스(500)는 위치 모듈(255)로부터 위치 스탬프 정보(620)를 습득하고, 단계(735)로 진행한다. 위치 스탬프가 단계(725)에서 필요하지않다면, 휴대가능한 디바이스(500)는 단계(735)로 진행한다. 단계(735)에서, 휴대가능한 디바이스(500)가 데이터(630)를 연관된 타임스탬프(610) 또는 위치 스탬프(620)와 함께 메모리(530)에 저장한다.
문서를 식별하기 위해 충분한 정보가 스캔되었음을 유저에게 표시함.
일부 실시예에서, 휴대가능한 스캐너(500)는 유저에게 문서를 식별하기에 충분한 정보가 스캔되었음을 가리킬 수 있다. 예를 들면, 휴대가능한 스캐너(500)는 문서를 고유하게 식별하는 특정한 스캔을 가리키는 미리정해진 임계값을 가질 수 있다. 임계값에 일치하거나, 초과할 때, 휴대가능한 스캐너(500)는 유저 인터페이스(560)를 통해 유저에게 문서를 식별하기에 충분한 정보가 스캔되었음을 가리킬 수 있다. 이러한 미리정해진 임계값들은 발견법(heuristics)(즉, 경험적 방법(rule of thumb)), 통계분석 또는 기타 적절한 방법에 기초하여 결정될 수 있다.
일부 실시예에서, 임계값을 결정하기 위해 시스템에 의해 사용된 하나의 발견방법은 문어적 표현의 고유한 문자의 관찰에 기초한다. 대부분의 문서는 4에서 10단어 사이(영어에서는 대략 20-50 문자 또는 심볼)의 스캔으로 매우 많은 집대성된 자료- 예를 들면, 1 백만개의 문서를 포함하는 자료-내에서 고유하게 식별될 수 있다. 이러한 발견방법은 그것이 테스트된 모든 언어를 수용한다. 4-10 단어의 범위에서의 스캔이 복제 문서를 만드는 경우, 유저는 그 결과를 보다 좁히기 위해 추가적인 단어들을 스캔하도록 프롬프트될 수 있다.
휴대가능한 디바이스(500)는 유저에게 유저 인터페이스(560)의 시각, 오디오, 또는 촉각 능력에 의해 충분한 정보가 스캔되었음을 가리킬 수 있다. 스캔된 정보가 미리정해진 임계값에 일치하거나 초과하는 지를 판정한 때, DSP(575)는, 유저에게 정보가 스캔된 문서를 식별하기에 충분한 정보가 스캔되었음을 통신하도록 유저 인터페이스(560)에 지시한다.
타임스탬프와 위치스탬프도 문서를 식별하기위해 사용될 수 있다. 예를 들면, AP 통신사의 기사가 많은 신문에 게재될 수 있지만, 정확한 신문이 위치 스탬프에 의해 판정될 수 있다. 위치스탬프가 스캔이 시애틀에서 실시되었음을 가리킨다면, 시애틀 신문이 스캔된 AP 기사의 소스일 가능성이 가장 높다. 유사하게 일부 실시예에서, 시스템은 타임스탬프 이전에 간행된 문서에 대한 후보자 문서의 범위를 줄이는 데에 타임스탬프를 사용한다.
유저에게 문서 또는 문서 그룹내의 위치를 식별하기에 충분한 정보가 스캔되었음을 가리킴.
일부실시예에서, 휴대가능한 스캐너(500)는 유저에게 문서 또는 문서 그룹내의 위치를 식별하기에 충분한 정보가 스캔되었음을 가리킬 수 있다. 예를 들면, 휴대가능한 스캐너(500)는 문서 또는 문서 그룹 내의 위치를 고유하게 식별하는 특정한 스캔을 가리키는 임계값을 가질 수 있다. 임계값에 일치하거나, 초과할 때, 휴대가능한 스캐너(500)는 유저 인터페이스(560)를 통해 유저에게 문서 또는 문서 그룹내의 위치를 식별하기에 충분한 정보가 스캔되었음을 가리킬 수 있다. 이러한 임계값들은 발견법(즉, 경험적 방법), 통계분석, 특정한 문서 또는 문서 그룹에 관한 정보(예를 들면 인덱스), 또는 기타 적절한 방법에 기초하여 결정될 수 있다.
상기 설비에 의해 사용되는 위치를 판정하는 한가지 접근방식은 문서 또는 문서 그룹을 나타내는 인덱스를 참고하는 것을 포함하고, 캡쳐가 상기 인덱스 내에서 고유한 것이 아니라면, 현재 캡쳐의 위치에 관한 추론을 수정하고, 개량하기 위해 추가적인 컨텍스트 정보(예를 들면, 최종 캡쳐 위치, 최종 캡쳐이후의 경과된 시간 등)를 이용하는 것이다.
일부 실시예에서, 시스템의 위치 결정은 확률적인 것이다. 특정한 캡쳐가 문서 또는 문서 그룹에서의 여러 위치에서 일치하는 경우, 시스템은 유저의 가장 최근의 캡쳐에 근접한 위치에 보다 높은 확률을 부여할 수 있다. 임계값은 캡쳐위치가 알려진 것에 연관된다. 이러한 임계값은 잠재적인 매칭 위치와 연관될 가능성을 포함할 수 있다. 예를 들면, 일부 실시예에서, 하나의 위치가 적어도 80%의 유저의 위치일 확률을 가진다면, 시스템은 그 위치를 선택한다.
휴대가능한 디바이스(500)는 유저에게 유저 인터페이스(560)의 시각, 오디오, 또는 촉각 능력을 통해 알려진 위치를 가리킬 수 있다. 스캔된 정보가 미리정해진 임계값과 일치하거나 초과하는 지를 판정한 때, DSP(575)는, 유저에게 정보가 스캔된 위치를 식별하기에 충분한 정보가 스캔되었음을 통신하도록 유저 인터페이스(560)에 지시한다.
스캔된 이미지 및/또는 제스쳐를 통한 스캐너 동작 제어
일부 실시예에서, 휴대가능한 스캐너(500)는 유저 인터페이스(560)를 통해 유저 입력에 의해 제어된다. 예를 들면, 유저 인터페이스(560)가 유저에게 메뉴가 표시될 수 있는 디스플레이를 포함하는 경우, 유저는 휴대가능한 스캐너(500)의 동작을 제어하기 위해 메뉴 선택을 선택할 수 있다.
일부 실시예에서, 휴대가능한 스캐너(500)는 유저에 의해 실시되는 제스쳐에 의해 제어된다. 예를 들면, 전방으로의 텍스트를 스캐닝하는 것은 유저가 메모리에 텍스트를 저장하기를 원한다는 것을 가리킬 수 있다. 동일한 텍스트를 반대방향으로 스캐닝하는 것은 유저가 텍스트를 메모리에서 삭제하기를 원한다는 것을 가리킬 수 있다. 문서의 텍스트 상에서 앞뒤로 러빙하는 것은 유저가 상기 문서의 전자 사본에서의 텍스트를 하이라이팅하기를 원한다는 것을 가리킬 수 있다. 시스템은 원 형상동작, 흔드는 동작 등과 같은 많은 제스쳐들이 휴대가능한 디바이스(500)의 동작을 제어하는 데에 사용될 수 있도록 한다. 가능한 동작들은 스캔 프로세스를 개시하고, 유저가 특정한 기사 또는 문서로부터(그리고, 그 결과 후속하는 스캔된 데이터가 새로운 기사 또는 문서로부터 나올것이라는) 스캐닝했다는 것을 신호하는 것 등을 포함한다.
일부 실시예에서, 휴대가능한 스캐너(500)는 속도 또는 방향 변화를 감지하여, 그에 의해 제어 제스쳐를 판정하기 위해 가속도계와 같은 가속 센서(간략화를 위해 도 5에 도시되지 않음)를 포함한다.
휴대가능한 스캐너(500)는 또한 이미지 캡쳐 메커니즘을 통해 DSP(575)로의 입력된 제어 코맨드들에 응답하기 위해 프로그래밍될 수도 있다.(도 5에 도시된 실시예에서, 이미지 캡쳐 메커니즘은 광원(505), 렌즈(510), CCD 어레이(515), 및 A/D 컨버터(520)를 포함한다.) 이들 코맨드들은 생체 정보(지문 등), 또는 통상의 텍스트를 스캐닝한 패턴(상술한 데이터 저장을 제어하기위해 역방향으로 텍스트를 스캐닝하는 것과 같은) 등의, 스캐너에 의해 인식된 특별한 심볼들이 될 수 있다. 예를 들면, 카탈로그와 같은 문서는 휴대가능한 디바이스(500)에 대해 특별한 으미를 가지는 명령어 심볼의 메뉴를 포함할 수 있다. 제어 프로그램을 실행시키기 위해, 유저는 상기 심볼 중에 하나를 스캔한다. 응답하여, DSP(575)는 특별한 제어 신호에 연관된 제어 프로그램에 액세스하고 그를 실행한다. 카탈로그의 예에서, 특별한 심볼 중에 하나는 스캐너를 통해 카탈로그로부터 제품을 주문하는 데에 사용될 수 있는 구매 프로그램을 초기화할 수 있다. 유저는 주문된 제품에 관한 정보를 스캔하고, 휴대가능한 스캐너는 인터넷과 통신 인터페이스(550) 사이의 연결을 통해 상기 제품과 판매를 완료하기 위해 필요한 다른 정보(빌링 및 배송 정보 등)를 카탈로그 벤더에게 통신한다.
빌링/가입/디바이스 식별자를 가진 스캐너
휴대가능한 디바이스(500)는 빌링, 가입, 및/또는 디바이스 식별자에 관한 정보를 저장하기 위한 메모리(580)를 포함할 수 있다. 이러한 메모리(580)는 가입자 식별 모듈(SIM) 또는 스마트 카드에서와 같이 착탈가능하거나, 또는 프로그래밍 가능 읽기용 메모리(PROM)과 같이 착탈불가능할 수 있다. 문서의 전자 사본이 스캔된 데이터에 기초하여 위치되는 경우, 가입 정보는 유저가 전자 사본에 액세스하 도록 인가되어야 하는지 여부를 검증하는 데에 사용될 수 있다. 예를 들면, 신문은 자신의 온라인 버전에 대한 액세스를 위해 추가 요금을 지불할 수 있다. 유저의 가입 정보는 유저가 온라인 버전에 가입했는 지를 가리키는 계정 번호를 포함할 수 있다.
유사하게, 빌링 정보는 휴대가능한 스캐너(500)로 구매를 수행하는 데에 사용될 수 있다. 일부 실시예에서, 메모리(580)는 유저의 신용 카드 또는 다른 금융 정보를 포함한다. 예를 들면, 유저가 문서로부터 텍스트를 스캔하고, 자신이 상기 문서의 전자 사본에 대한 액세스를 구매하기를 원한다는 것을 나타낼 때(상술한 유저 인터페이스(560) 또는 제스쳐 제어를 통해), 빌링 정보는 저작권 소유자 또는 컨텐트 공급자에 결제를 제공하기 위해 사용될 수 있다.
휴대가능한 디바이스(500)는 메모리(580)에 시리얼 번호와 같은 디바이스 식별자를 저장할 수 있다. 이러한 디바이스 식별자들은 휴대가능한 디바이스(500)를 고유하게 식별하는 역할을 하고, 그것들이 소거될 수 없도록 일반적으로 PROM에 저장된다. 거래를 위한 추가적인 보안은 휴대가능한 디바이스의 시리얼 번호를 네트워크 데이터베이스에서의 유저 계정 또는 가입에 연관시킴으로써 휴대가능한 디바이스를 하나의 유저에게만 관련시키는 것에 의해 습득될 수 있다. 일부 실시예에서, 추가적인 보안은 스캐너를 스마트 카드에 대해 락을 걸기 위해 스마트 카드에 디바이스 식별자를 저장함으로써(또는, 스마트 카드 식별자를 휴대가능한 스캐너(500)에 저장함으로써) 달성된다. 이러한 실시예에서, DSP(575)는 휴대가능한 스캐너(500)가 작동하기 전에 정확한 스마트 카드가 삽입되었는지를 검증한다.
등가 위치 기술
온-보드 GPS 수신기를 참조하여 위치 모듈(545)이 우선해서 논의되었지만, 많은 다른 위치 기술들이 사용될 수 있다. 이러한 기술들은 개선된 시간차 측위(Enhanced Observed Time Difference)(EOTD), GPS 지원 측위(Assisted GPS)(A-GPS), 차분 GPS(Differential GPS)(DGPS), 도착 시간 차이(Time Difference of Arrival)(TDOA), 도착각도, 국부 송수신기 파일럿 신호의 트라이앵귤레이션 및 모니터링을 포함한다. EOTD, TDOA, 및 도착각도는, 네트워크에서의 로직을 휴대가능한 디바이스의 위치를 측정하기 위해 각 베이스 스테이션에서 수신된 신호에 관한 데이터에 관련시키도록 상기 휴대가능한 디바이스가 네트워크된 베이스 스테이션으로 신호를 전송시킬 때 가장 적합한 것이다. 트라이앵귤레이션은 내부 또는 외부 중에 어느 하나가 될 수 있다. 휴대가능한 디바이스는 그것이 적어도 3개의 외부 송신기(IEEE 802.11 베이스 스테이션 등의)로부터 신호를 수신할 때 내부 트라이앵귤레이션을 수행하고, 상기 수신된 신호의 특성에 기초하여 대략적인 위치를 연산한다. 외부 트라이앵귤레이션은 휴대가능한 디바이스 외부의 네트워크된 수신기가 상기 휴대가능한 디바이스로부터 수신된 신호의 특성에 기초한 상기 휴대가능한 디바이스의 위치를 추정하기 위해 사용될 때 발생한다. 일부 실시예에서, 시스템은 외부 수신기로부터 휴대가능한 디바이스의 거리를 측정하기 위해 하나 이상의 외부 수신기에서의 수신된 신호의 강도를 이용한다. 모바일 수신기가 원하는 송신기로부터의 신호에 "락온" 시킬 수 있도록, 고정된 송신기가 자주 특정한 송신기를 식 별하는 파일럿 신호를 브로드캐스팅한다. 고정된 송신기의 위치와 대략적인 커버리지 영역이 알려지는 경우, 휴대가능한 디바이스의 위치는 송신기가 그것을 "분간하는" 것에 기초하여 추정될 수 있다. 예를 들면, 휴대가능한 디바이스가 IEEE 802.11 무선 액세스 포인트로부터 신호를 수신한다면, 휴대가능한 디바이스가 무선 액세스 포인트의 300피트 이내(현재 IEEE 802.11g 송신기의 대략적인 옥외 범위)에 있다는 것을 추정할 수 있다.
핸드헬드 문서 데이터 캡쳐 디바이스
여러 실시예에서 시스템과 사용되는 휴대가능 데이터 캡쳐 디바이스가 본문 전체에 걸쳐 다양한 관점에서 기술된다. 이러한 점에서 진행시켜, 다양한 타입의 휴대가능한 캡쳐 디바이스의 능력과 기능을 상세히 설명하기 위해 추가적인 논의가 제공된다.
일부 실시예에서, 데이터 캡쳐 능력을 가진 휴대가능한 디바이스가, 유저가 문서를 고유하게 식별하기 위해 충분한 텍스트 또는 기타 정보를 캡쳐했음을 유저에게 가리킬 수 있다. 휴대가능한 디바이스는 스캔된 정보의 양을 충분한 정보가 스캔되었는지를 판정하기 위해 미리정해진 임계 레벨과 비교할 수 있다(이 임계 방법은 상기 스캐너가 컴퓨터와 통신하지 않을 때 특히 유용하다.). 휴대가능한 디바이스가 원격 컴퓨터와 통신할 때, 상기 원격 컴퓨터는 텍스트가 스캔된 문서를 상기 컴퓨터가 식별했다는 것을 가리키는 메시지를 상기 디바이스에 전송할 수 있다. 상기 휴대가능 디바이스는 이미지를 획득하기 위한 이미지 캡쳐 디바이스, 상 기 이미지를 처리하기 위한 프로세서, 데이터를 저장하기 위한 메모리, 및/또는 로직(소프트웨어 프로그램), 다른 디바이스와 통신하기 위한 입/출력 통신 인터페이스, 전원, 스캔되는 정보에 조광하기 위한 조광원 및 위치 모듈을 포함할 수 있다.
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스에 의해 캡쳐된 텍스트 또는 심볼은 스캐너가 소프트웨어 프로그램을 실행시키거나 또는 특정한 미리 정해진 동작(메모리로부터 데이터를 소거, 턴온/오프, 금융 거래를 시작하고 및/또는 완료하는 등)을 실시하도록 상기 디바이스의 제어 로직 또는 제어 소프트웨어에 의한 제어 코맨드로서 사용되고 번역될 수 있다.
일부 실시예에서, 페이퍼 문서로부터 데이터를 캡쳐한 후에, 휴대가능한 데이터 캡쳐 디바이스는 유저에게 상기 페이퍼 문서의 하나 이상의 전자 사본이 인식되거나 위치되었음을 가리킨다. 휴대가능한 디바이스가 원격 컴퓨터와 통신할 때, 원격 컴퓨터는 텍스트가 스캔된 문서의 전자 사본을 상기 컴퓨터가 배치시켰음을 가리키는 메시지를 상기 휴대가능한 디바이스로 전송할 수 있다. 상기 메시지 수신에 응답하여, 상기 휴대가능한 스캐너는 유저에게 상기 전자 사본이 배치되고, 유저가 스캐닝을 정지시킬 수 있음을 가리킨다. 많은 가능한 것들 중에, 상기 지시자는 시각(예를 들면, LED, 디스플레이 등), 청각(예를 들면, 스피커, 비퍼 등) 또는 촉각(터치 감지를 자극함)이 될 수 있다.
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 위치 및/또는 시간 판정 능력을 가지고, 어디서 및/또는 언제 데이터 캡쳐가 발생하는지에 관한 위치 및/또는 시간 정보를 상기 캡쳐된 데이터와 함께 저장할 수 있다. 상기 시간 정보는 특정한 데이터 캡쳐 이벤트에 연관된 타임 스탬프가 될 수 있다. 위치 정보는 특정한 데이터 캡쳐 이벤트에 연관된 위치 스탬프가 될 수 있다.
일부 실시예에서, 휴대가능한 스캐너와 같은 휴대가능한 데이터 캡쳐 디바이스는 속도, 반복, 방향 등과 같은 스캔의 특성에 의해 제어된다. 추가로, 스캐너의 제어 프로그램 또는 로직은 상표 심볼과 같은 특별한 심볼에 반응할 수 있다. 이러한 특별한 심볼들은 휴대가능한 디바이스에 의해 실시될 특정 동작 또는 실행될 프로그램에 연관될 수 있다.
일부 실시예에서, 스캐너와 같은 휴대가능한 데이터 캡쳐 디바이스는 빌링/가입/디바이스 식별자 정보를 메모리에 저장 시킨다. 가입 정보는 예를 들면 선지급된 계좌와 같은 식별된 문서의 전자 사본에 액세스할 유저의 권한을 검증하는 데에 사용될 수 있다. 빌링 정보는 식별된 문서의 전자 사본에 대한 액세스를 위해 지급하는 데에 사용될 수 있다. 디바이스 식별자는 유저의 신원을 검증하는 것을 보조하는 보안 특징으로서 사용될 수 있다.
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 잉크 펜 및/또는 물리적 하이라이터와 조합된다. 이러한 조합은 유저가 동시에 페이퍼 문서와 전자 문서 상에 주석을 달고 하이라이팅할 수 있도록 한다. 추가로, 일부 실시예는 페이퍼 문서에 대한 디지털 서명을 추가하기 위해 잉크젯 프린터와 같은 인쇄 메커니즘에 통합된다.
입/출력
휴대가능한 데이터 캡쳐 디바이스는 정보 및 명령어를 입력 및 출력하기 위한 다양한 수단을 포함한다. 유저, 통신 서비스 공급자, 원격 네트워크 디바이스, 및 캡쳐된 정보는 정보 및 명령어(동작 명령어와 같은)의 잠재적인 소스 중 일부이다.
유저 인터페이스
일부 실시예에서, 유저 인터페이스(UI)는 유저가 휴대가능한 데이터 캡쳐 디바이스와 상호작용하는 주된 수단이다. 정보 및 제어 명령어가 유저-인터페이스를 통해 휴대가능한 데이터 캡쳐 디바이스로 들어간다. 유저는 유저-인터페이스를 통해 휴대가능한 데이터 캡쳐 디바이스와 상호작용한다. 유저는 UI를 통해 휴대가능한 데이터 캡쳐 디바이스로 제어 코맨드 및 정보를 제공한다. 유사한 방식으로, 유저는 UI를 통해 휴대가능한 데이터 캡쳐 디바이스로부터 정보를 수신한다. 예를 들면, 유저는 디바이스 상의 키패드를 통해 텍스트를 입력하고, 디바이스의 디스플레이 상에서 키패드 기입의 시각적 확인을 수신한다.
입력
데이터 입력을 위한 UI 수단은: 청각, 촉각, 제스쳐, 및 광학의 4 가지의 넓은 카테고리로 기술될 수 있다. 다양한 실시에에서, 휴대가능한 데이터 캡쳐 디바이스는 이러한 카테고리의 일부 또는 모두로부터 다양한 UI 수단의 조합을 갖는다.
청각
청각 UI는 스피치와 같은 음성 신호를 휴대가능한 데이터 캡쳐 디바이스에 입력하기 위한 수단으로 구성된다. 음성 신호를 전기 에너지로 변환하는 것은 마이크로폰과 같은 오디오-전기 변환기를 필요로 한다. 휴대가능한 디바이스는 디지털화된 파형으로 저장하고, 전송하거나, 또는 텍스트로 변환하고 디지털화된 텍스트로 저장하는 것을 포함하는 음성 신호에 대한 다수의 동작을 수행할 수 있다.
마이크로폰
일부 실시예에서, 휴대가능한 디바이스는 스피치를 캡쳐하기 위한 마이크로폰을 포함한다. 이러한 특징은 음성 주석을 문서에 집어넣고, 메시지를 기록하고, 다른 유저와 대화하는 데에 유용하다(예를 들면, 데이터 캡쳐 디바이스가 모바일 폰 기능을 가진다면).
촉각(접촉)
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 기계적 또는 촉각(접촉) 입력을 수용한다. 일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 유저가 데이터 캡쳐 프로세스를 시작하기 위해 누를 수 있는 스위치를 포함한다. 팁스위치를 가진 실시예에서, 유저는 스캐닝 프로세스를 시작하기 위해 페이퍼에 대해 디바이스를 누른다. 다른 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 스캐닝 타겟에 근접한 곳을 검출하기 위해 센서를 채용한다.
조그(엄지) 휠
컴퓨터 마우스 상의 휠과 유사한 조그 휠은 컴퓨터 전자기기 또는 메뉴와 상호작용하기에 유용하다. 예를 들면, 일부 실시예에서, 시스템은 스캐너 유저에게 인접한 디스플레이 상에 메뉴 선택을 제시한다. 문서로부터 휴대가능한 스캐너를 들어올리고 메뉴 아이템 중에 하나를 스캔하는 것이 아니라, 유저는 메뉴 선택을 스크롤 다운되도록 엄지 휠을 움직일 수 있다.
키패드
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 데이터를 디바이스에 입력시키기 위한 키패드 및/또는 버튼을 갖는다. 일부 실시예에서, 캡쳐 디바이스는 선택을 되돌리거나 소거하기 위한 취소 버튼과 선택을 확인하기 위한 (예를 들면 구매 확인) 확인 버튼을 갖는다. 일부 실시예에서, 캡쳐 디바이스는 컨텍스트 스위치를 가리키거나 컨텍스트를 설정하기를 원하는 버튼을 가진다. 예를 들면, 제 1 문서에서 텍스트를 스캐닝 한 후에, 유저는 컨텍스트 버튼을 누름으로써 자신이 제 1 문서로부터 스캐닝을 하였고 그 다음에 제 2 문서로부터 텍스트를 스캔할 것이라는 것을 가리킬 수 있고, 컨텍스트 버튼을 누름으로써 유저는 시스템에게 자신의 컨텍스트 스캐닝이 변하였음을 알린다.
팁 스위치/근접 센서
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 팁 스위치 또는 근접 센서를 갖는다. 펜-형상 스캐너에서, 팁 스위치는 상기 스캐너의 팁이 문서에 대해 눌려질 때 활성화되는 스위치이다. 상기 팁 스위치는, 유저가 페이퍼에 대해 스캐너를 얼마나 세게 누르느냐에 따라 스캐너가 자신의 행동을 수정할 수 있도록, 압력 감지 능력을 포함할 수 있다. 예를 들면, 스캐너는 (컴퓨터 및 단어 처리 소프트웨어와 조합하여) 그것이 페이퍼에 대해 심하게 눌려지면 하이라이팅 기능을 실시할 것이다. 다른 예로서, 스캐너는 스캐너 팁을 페이퍼에 대해 누름으로써 스위치를 온/오프하고 팁 스위치를 활성화시킬 수 있다.
미세(granule)/표면 텍스쳐 센서
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 문서 상의 표면의 변형을 검출하기 위해 2 개의 병렬 미세/표면 텍스쳐 센서를 포함한다. 이러한 종류의 입력 센서의 일반적인 사용은 점자 텍스트를 캡쳐하는 것이다. 병렬 표면 텍스쳐 센서는 상기 병렬 센서에 의해 이동된 상대적인 속도/거리로부터 센서의 각도를 판정할 수 있다. 비접촉 광학 센서는 휴대가능한 데이터 캡쳐 디바이스의 실시예의 사용에 잘 들어맞는 일반적인 타입의 표면 텍스쳐 센서이다.
제스쳐(모션 기반)
유저는 그것을 가지고 제스쳐를 취함으로서 휴대가능한 데이터 캡쳐 디바이스에 데이터와 코맨드를 입력할 수 있다. 상기 디바이스는 스캐닝 헤드하에서 통과하는 데이터를 관찰함으로써, 모션 센서에서의 변화를 모니터링함으로써, 또는 기계적 모션-감지 수단에 의해 제스쳐를 검출할 수 있다.
광학 데이터의 관찰
광학 엘리먼트 하에서 지나가는 표면 또는 데이터를 관찰함으로써, 휴대가능한 데이터 캡쳐 디바이스는 광학 컴퓨터 마우스가 하는 것과 매우 동일한 방식으로 상대적인 모션을 연산할 수 있다. 디바이스의 상대적인 동작을 분석함으로써, 상기 디바이스는 유저가 상기 디바이스로 어떠한 제스쳐를 하는 지를 판정할 수 있다. 일부 실시예에서, 광학 시스템은 또한 상기 렌더링된 문서의 표면 상의 패턴을 관찰함으로써 상대적인 모션을 검출할 수 있다. 일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 상기 렌더링된 문서의 표면상의 절대위치 코드를 체크함으로써 절대 위치를 검출할 수 있다.
자이로/가속도계 모션 센서
일부 실시예에서, 휴대가능한 캡쳐 디바이스는 속도나 방향의 변화를 감지하기 위해 가속도계와 같은 가속도 센서를 포함하고, 그에 의해 제어 제스쳐를 판정한다. 일부 실시예에서, 휴대가능한 캡쳐 디바이스는 모션 및 제스쳐를 검출하기 위해 자이로스코프를 사용한다. 단일 칩 링-레이저 자이로스코프는 특히 이러한 태스크에 적합하다.
기계(볼 포인트, 롤러 등)
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 광학적으로 인코딩되는 잉크 펜의 볼포인트와 유사한 롤링 엘리먼트나 볼을 포함한다. 볼이 페이퍼 표면을 따라 이동하면서, 광학 센서는 광학적으로 인코딩된 엘리먼트의 모션을 검출한다.
일부 실시예에서, 휴대가능한 캡쳐 디바이스는 상대적인 모션을 기록하기 위해 볼포인트 전체에 전기적으로 대전된 잉크의 흐름을 측정한다. 상기 볼에 흐르는 잉크에는 이러한 프로브에 의해 검출되는 전하가 주어진다. 볼포인트 하우징에 내장된 전류-감지 프로브는 볼 상의 잉크의 흐름을 검출한다. 복수의 프로브가 있다면, 잉크 흐름의 방향은, 그 결과의 볼의 모션, 및 그에 따른 표면을 지나는 실질적인 모션이 추측될 수 있다. 이 전기적으로 대전된 잉크 기술은 범용목적의 입력 기록 디바이스로서 역할을 할 수 있고, 여기서 유저는 종래 잉크로 기록하고, 반면에 모션이 기입되고 기록될 수 있다. 수신기에서 흘러나오는 대전된 잉크만 센서에 의해 감지되도록 볼이 자신의 하우징에서 드러나는 경계 또는 그 근방의 가드 링이 상기 대전된 잉크를 방전시키는 데에 사용될 수 있다.
광학
유저는 광학 감지 시스템에 의해 휴대가능한 데이터 캡쳐 디바이스로 데이터 및 코맨드를 입력할 수 있다.
스캐너/이미징 시스템
키워드 또는 심볼을 스캐닝함으로써, 유저는 코맨드와 데이터를 상기 디바이 스에 입력할 수 있다. 상기 휴대가능한 디바이스는 특정한 그래픽 심볼을 코맨드로 인식하도록 프로그래밍될 수 있다. 예를 들면, 유저가 "$"라는 심볼을 스캔할 때, 휴대가능한 디바이스는 그것을 구매와 같은 금융거래를 시작하라는 코맨드로 인식한다.
출력
휴대가능한 데이터 캡쳐 디바이스의 UI는 또한 정보를 유저에게 보여줄 수도 있다. 이러한 정보는 대개 디바이스의 동작 상태에 관한 것이다. 유저에게 정보를 보여주기위한 UI 출력 수단은: 청각, 촉각, 및 옵테컬의 3가지 넓은 카테고리로 분류될 수 있다. 휴대가능한 데이터 캡쳐 디바이스의 실시예는 이러한 카테고리의 일부 또는 모두로부터 UI 출력 수단의 다양한 조합을 가질 것이다.
일부 실시예에서, 휴대가능한 캡쳐 디바이스는 호스트 컴퓨터에 스캔 결과를 전송하고, 디스플레이의 방식으로 유저에게 동작 상태 또는 모드를 통신할 수 있다. 상기 디스플레이는 온보드 휴대가능한 캡쳐 디바이스이거나, 또는 호스트 컴퓨터에 연관될 수 있다. 일부 실시예에서, 휴대가능한 디바이스는 유선 또는 무선 통신 매체를 사용한다. 일부 실시예에서, 유저는 정보를 보여주기위해 호스트 컴퓨터에 연결된 모니터를 사용한다. 적절한 유선 연결의 예로는: RS-232; PS/2; 시리얼; USB; 이더넷; 토큰링; 프린터 연결(예를 들면 IEEE 1284); 방화벽; RJ45(전화선); 홈플러그 및 광섬유를 포함한다. 적절한 무선 연결의 예로는: 무선 이더넷(예를 들면, IEEE 802.11a,b,g); 블루투스™; 적외선(텔레비전 원격제어에서와 같은, IrDA); 및 초광대역을 포함한다. 휴대가능한 디바이스는 청각(예를 들면, 압전 스피커), 촉각(휴대폰의 진동을 포함), 또는 시각적 경고를 이용하여 유저에게 통신한다.
다양한 실시예에서, UI는, 오류가 발생하여 유저가 다시 스캔해야하는 것; 다른 디바이스로의 통신 링크가 개방되고 활성화된 것; 휴대가능한 디바이스가 턴온된 것; 제스쳐가 검출된 것; 또는 스캐너가 현재 어떠한 모드인지를 가리킬 수 있다. 예를 들면, 일부 실시예에서, 스캔이 반복될 필요가 있으면 스캐너는 단순히 진동을 한다.
청각
다수의 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 가청 경고음을 유저에게 제공할 수 있다. 이러한 가청 경고는 전기 신호를 사운드로 변환하는 스피커와 같은 전기-음향 변환기를 필요로한다.
스피커
일부 실시예에서, 휴대가능한 캡쳐 디바이스는 사운드를 생성하기 위해 스피커 또는 압전 엘리먼트를 갖는다. 이들 스피커는 유저에게 텍스트를 읽어주거나 또는 유저에게 디바이스의 상태 변화를 경고하기 위해 사용될 수 있다. 예를 들면, 일부 실시예에서, 상기 디바이스는 페이퍼 문서가 식별되었고, 상기 페이퍼 문서의 전자 사본이 배치되었음을 유저에게 경고하기 위해 스캐닝 동안 발신음을 낸 다. 다른 예로서, 텍스트가 페이퍼 문서로부터 스캔되면서, 캡쳐 디바이스는 텍스트-투-스피치 프로세스를 스캔된 텍스트에 적용하고, 그 결과물인 오디오를 재생한다.
접촉
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 진동에 의해 유저와 통신한다. 상기 접촉 UI는 가청 경고를 주변의 노이즈 레벨 때문에 들을 수 없는 환경, 또는 가청 경고가 사회적으로 수용되지 못하는 장소(예를 들면, 극장)에서 특히 유용하다.
진동
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 디바이스 상태의 변화를 유저에게 알리는 바이브레이트 엘리먼트를 갖추고 있다. 일부 모바일 폰의 실시예에서, 이러한 바이브레이트 엘리먼트는 폰의 배터리 팩에 포함되어 있다. 일부 실시예에서, 드라이버가 그들의 경로 외부로 드리프팅하고 있음을 드라이버에게 알리는 "럼블 스트립(rumble strip)"과 유사하게, 휴대가능한 데이터 캡쳐 디바이스는 스캐닝 헤드가 라인에서 벗어나면 바이브레이팅한다.
옵티컬
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 시각적 수단에 의해 UI를 통하여 유저와 통신한다. 일부 실시예에서, 이 디바이스는 스캐닝되는 페이퍼상에 메뉴 또는 다른 정보를 투영한다. 예를 들어, 캡쳐 디바이스가 컴퓨터상의 워드프로세싱 프로그램으로 작업하고 있을 때, 이 디바이스는 시스템이 그 워드프로세싱 프로그램내의 오픈 문서내의 노란부분에 스캐닝된 텍스트를 하일라이트할 것을 나타내기 위해 페이퍼상에 노란 빛을 투영할 수 있다.
디스플레이
휴대가능한 데이터 캡쳐 디바이스는 디스플레이를 포함할 수 있다. 일부 실시예에서, 니얼바이 디스플레이는 휴대가능한 데이터 캡쳐 디바이스에 대한 정보를 디스플레이에 라우팅하고, 디스플레이상에 정보를 나타내도록 휴대가능한 데이터 캡쳐 디바이스와 연관될 수 있다. 컴퓨터 모니터와 같은 니얼바이 디스플레이를 사용하는 것은 휴대가능한 데이터 캡쳐 디바이스가 디스플레이가 없거나, 정보가 휴대가능한 데이터 캡쳐 디바이스의 작은 디스플레이상에 나타내기 적합하지 않을 때, 특히 유용하다.
LEDs
또한, 발광 다이오드(LED)가 유저와 시각적으로 통신하기 위해 사용될 수 있다. 예를 들어, 일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 휴대가능한 데이터 캡쳐 디바이스가 켜져 있고 데이터를 캡쳐할 준비가 되었음을 나타내기 위해 녹색 LED를 가동한다.
다른 디바이스와의 통신
휴대가능한 데이터 캡쳐 디바이스의 통신 인터페이스는 휴대가능한 데이터 캡쳐 디바이스가 다른 디바이스들과 통신하게 하는 송수신기를 포함한다. 휴대가능한 데이터 캡쳐 디바이스는 컴퓨터, 모바일 폰, 무선 송수신기와 같은 다른 호환가능한 전자 디바이스와 통신할 수 있다.
유선
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 다른 전자 디바이스들과 통신하기 위해 유선 커넥션을 사용한다. 임의의 적합한 프로토콜이 컴퓨터와 연결될 때, 통신을 위해 사용될 수 있다. 일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 연결된 커넥션을 통해 호스트 컴퓨터와 통신하기 위해 유니버설 시리얼 버스(USB) 프로토콜을 사용한다.
USB
유니버설 시리얼 버스(USB)는 일부 실시예의 휴대가능한 데이터 캡쳐 디바이스에 의해 사용되는 프로토콜이다. 일부 실시예에서, 컴퓨터와 휴대가능한 데이터 캡쳐 디바이스 사이에 통신 채널을 제공하는 것과 더불어, USB는 휴대가능한 데이터 캡쳐 디바이스의 배터리를 재충전하는 전력을 제공한다. 일부 실시예에서, USB 인터페이스는 유저가 USB 메모리 디바이스를 휴대가능한 데이터 캡쳐 디바이스에 부착할 수 있게 한다.
광섬유
또한 광섬유 통신 채널이 휴대가능한 데이터 캡쳐 디바이스의 일부 실시예에 의해 사용될 수 있다. 다양한 실시예에 대하여 적합한 광섬유 타입은 단일모드 및 멀티모드이다. 멀티모드 광섬유의 일 장점은 값싼 LED 광원을 사용할 수 있다는 것이다. 또한, 커넥터 연결과 배열이 멀티모드 광섬유일 때 덜 중요하다.
무선
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스의 통신 인터페이스는 무선 인터페이스이다. 적합한 무선 테크놀로지는 근거리 RF(블루투스, IEEE 802.11, 등), 셀룰러, 또는 광(적외선 등) 등이다. 통신 인터페이스가 무선 능력을 포함하는 경우에, 무선 능력을 구현하기 위해 필수적인 안테나 또는 렌즈를 포함하는 것이 전형적이다.
WLAN, 셀룰러, BT, 등
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 IEEE 802.11 표준의 송수신기를 이용하여 무선 근거리 통신망(WLAN) 능력을 구현한다. 휴대가능한 데이터 캡쳐 디바이스는 원격 컴퓨터와 통신하기 위해 전형적으로 WLAN "핫스팟"을 사용한다. 일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 모바일 폰 또는 개인용 컴퓨터와 같은 니얼바이 디바이스와 쌍을 이루고 통신하기 위해 블루투스(BT) 근거리 RF 방법을 사용한다. 또한, 휴대용 데이터 캡쳐 기능을 구현하는 모바일 폰은 원격 컴퓨터에 캡쳐된 데이터를 전송하기 위해 셀룰러 통신 네트워크를 사용할 수 있다.
데이터 캡쳐 서브시스템
휴대가능한 데이터 캡쳐 디바이스는 데이터 캡쳐 서브시스템을 갖는다. 이 데이터 서브시스템은 일반적으로 보이스, 옵티컬, 및/또는 자성 스트립 데이터를 캡쳐하는 능력을 가진다. 캡쳐된 데이터는 후속 프로세싱 및 전송을 위해 메모리 내에 저장된다. 일부 실시예에서, 캡쳐된 정보는 압축될 수 있고, 그리고/또는 메모리 공간 및 통신 채널 대역폭을 절약하기 위해 자동으로 삭제될 수 있다. 자동 삭의제 일 예는 OCR 프로세스에 의해 텍스트로 전환된 후 스캐닝된 이미지를 삭제하는 것이다. 캡쳐된 정보의 모두를 포함하지 않는 이미지를 저장하는 것이 메모리를 절약할 수 있다. 예는 GIF 또는 JPG와 같은 압축 포맷을 포함한다. 다른 접근은 불필요한 색상 정보를 저장하지 않는 것이다. 예를 들어, 전형적인 CCD 이미지 센서는 각 픽셀당 24레벨의 색상 정보를 캡쳐할 수 있다(즉, 1600만 이상의 상이한 색상을 구별한다). 표준 OCR의 목적을 위해, 휴대가능한 데이터 캡쳐 디바이스는 단지 흰색, 거의 흰색, 거의 검은색, 검은색(2비트)을 구분할 수 있으면 된다. 이러한 24에서 2비트로의 감소는 대략 92%의 저장 공간을 절약하게 한다.
보이스
휴대가능한 데이터 캡쳐 디바이스가 광학 데이터 캡쳐 시스템을 가질 때, 일부 실시예에서, 보이스 캡쳐 서브시스템이 많은 환경에서 유용하다. 보이스 캡쳐 서브시스템은 전형적으로 유저가 렌더링된 문서로부터 텍스트를 읽을 수 있게 한다. 온보드 마이크로폰은 말한 단어를 캡쳐한다. 그 다음, 스피치-투-텍스트 어플리케이션은 스피치를 텍스트 형식으로 변환한다. 그 다음 텍스트는, 예를 들어, 렌더링된 문서의 전자 대응물을 로케이팅 하기 위해 사용된다. 일부 실시예에서, 이러한 데이터 캡쳐는 아래에 서술되는 모바일 폰 또는 스캐노테이터(scannotator)이다.
옵티컬 데이터 캡쳐 서브시스템
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 옵티컬 데이터 캡쳐 서브시스템을 포함한다. 옵티컬 데이터 캡쳐 시스템은 전형적으로 이미지 센서 및 옵티컬 경로를 포함한다. 옵티컬 경로는 휴대가능한 디바이스의 하우징 내에 애퍼쳐(aperture)를 통과한다. 일부 실시예에서, 옵티컬 엘리먼트는 디바이스의 하우징의 일부를 포함한다. 옵티컬 경로는 렌즈 또는 빛을 포커싱하기 위한 애퍼쳐, 및/또는 옵티컬 경로를 보호하기 위한 투명 커버를 포함할 수 있다. 일부 실시예에서, 이미지 콘딧은 렌더링된 문서로부터 이미지 센서로 빛을 가이드하는 옵티컬 경로의 일부이다.
일부 실시예에서, 휴대용 스캐너는 애퍼쳐 뒤에 이미지 센서를 가진다. 일부 실시예에서, 애퍼쳐는 이미지 센서 및 디바이스의 내부 옵티컬 경로를 먼지와 손상으로부터 보호하는 투명 커버를 가진다. 일부 실시예에서, 이 커버는 플라스틱 또는 유리이다. 휴대용 스캐너가 렌즈를 갖춘 경우, 렌즈는 전형적으로 애퍼쳐로부터 페이퍼까지의 거리가 애퍼쳐로부터 이미지 센서까지의 거리에 따라 변화가능하도록 포커싱할 수 있다. 이러한 관계는 1/f=1/u+1/v로 형성될 수 있다(f는 렌즈의 초첨거리, u는 애퍼쳐에서 문서까지의 거리, v는 센서에서 애퍼쳐까지의 거리이다). 일부 실시예에서, 휴대용 스캐너는 하나 이상의 포커싱 렌즈를 사용한다.
일부 실시예에서, 유저가 휴대가능한 데이터 캡쳐 디바이스를 렌더링된 문서로 움직일 때, 옵티컬 시스템은 데이터를 캡쳐할 수 있다. 휴대가능한 데이터 캡쳐 디바이스가 렌더링된 문서에 접근할 때 데이터를 캡쳐하는 것은 휴대가능한 데이터 캡쳐 디바이스에 넓은 시야를 제공할 수 있고, 그러므로 이 캡쳐의 시각적 컨 텍스트에 대한 부가적인 정보를 제공한다. 이러한 타입의 옵티컬 시스템을 가진 휴대용 스캐너에서, 스캐너가 문서의 표면과 접촉하기 전에도, 스캐너가 문서로부터 데이터를 캡쳐한다. 일부 경우에서, 스캐너가 문서에 접근할 때 데이터를 캡쳐하는 것은 유저가 텍스트의 라인을 따라 러빙하지 않고 터칭 또는 탭핑에 의해 페이퍼와 상호작용할 수 있게 한다. 유저 경험은 유저가 텍스트의 라인을 따라 스캐닝하기보다 ("터칭") 텍스트로 포인팅한다.
옵티컬 캡쳐 서브시스템 구성
옵티컬 캡쳐 서브시스템은 각각 특정 어플리케이션에 대한 특정 장점을 가진 다양한 구성으로 구현될 수 있다.
일차원 센서 어레이
일부 실시예에서, 광센싱 엘리먼트는 일차원 선형 센서 어레이이다. 일차원 어레이는 옵티컬 정보를 캡쳐하는 센서의 열(row)로 이루어진다. 일차원 어레이는 몇몇 생체 어플리케이션, 특히 지문 스캐닝에 매우 적합하다. 일부 실시예에서, 센서는 전하 결합 소자(CCD), 또는 상보성 금속 산화물 반도체(CMOS) 디바이스이다. 그러나, 임의의 적합한 광센싱 디바이스로 대체될 수 있다.
2차원 센서 어레이
2차원 센서 어레이는 일차원 어레이와 유사하지만, 센서 엘리먼트의 열이 서로로부터 2차원의 동일 평면 오프셋을 가진다. 2차원 어레이는 거리, 스캔 각, 스큐(skew)의 정보를 산출할 수 있다는 장점이 있다. 일부 실시예에서, 2차원 어레이는 센서 엘리먼트의 적어도 2개의 평행 열, 또는 행으로 이루어진다. 그러나, 2 차원 센서 어레이의 많은 토폴로지 변형이 가능하다.
옵티컬 센서 엘리먼트의 이차원 어레이는 문자 구조(팁, 어센더(ascender)/디센더(descender) 수직 엘리먼트), 타이밍, 및 위치의 코릴레이션에 의해 동일 시간에 동작 및 디-스큐(de-skew)를 검출할 수 있다. 어센더/디센더는 평균 텍스트 문자보다 텍스트의 열의 중간선의 위/아래로 더 뻗은 텍스트 문자이다. 어센더의 예는 문자 "t"이다. 디센더의 예는 문자 "p"이다.
로직 프로세싱은 옵티컬로 캡쳐된 데이터의 이미지 스큐를 결정할 수 있다. 예를 들어, 헤드 각은 옵티컬로 캡쳐된 데이터로 프린트된 텍스트의 스트롱 수직 엘리먼트를 코릴레이팅함으로써 결정된다. 폰트에 따라서, 스트롱 수직 엘리먼트는 "abcdefghijklmnopqrstuvwxyz"로 이루어진 알파벳 중에서 문자 "bdhiklmnpqrtu" 내에 있다. 또한, "y"는 수직 스트로크가 없는 유일한 어센더/디센더이다. 또한 디-스큐잉 프로세스에 사용될 수 있는 나머지 알파벳 문자의 왼쪽 및 오른쪽 에지와 연관된 수직 정보가 있다.
렌즈
일부 실시예에서, 옵티컬 데이터 캡쳐 서브시스템은 광센싱 엘리먼트에 빛을 포커싱하기 위해 렌즈를 사용한다. 렌즈 서브시스템은 2차원 어레이 광센서에 매우 유용한 추가가 될 수 있다.
광섬유 이미지 콘딧
일부 실시예에서, 이미지 콘딧은 옵티컬 캡쳐 시스템의 일부를 형성한다. 일부 실시예에서, 광섬유 이미지 콘딧은 캡쳐 정보가 있는 표면에 접촉한다. 일부 실시예에서, 광섬유 이미지 콘딧은 스캔 영역 내에 더 많은 환경광(ambient light)을 허용하도록 스캐닝되는 표면 위에 위치된다. 이러한 구성에서, 개별 광섬유의 제한된 수용각은 이미지 콘딧의 팁이 문서의 표면과 약간 떨어져 있더라도, 이미지가 매우 좋은 품질임을 보증한다. 데이터 캡쳐 끝부(스캐닝되는 표면과 가장 가까운 끝부)에 투명 플라스틱 분리자 또는 캡을 가진 이미지 콘딧은 광섬유 이미지 콘딧이 스캐닝되는 표면에 접촉하지 않고, 그 표면에 더 많은 환경광을 조명하게 하고, 유저에게 스캐닝된 재료의 더 좋은 화면(view)을 제공하는 일 실시예이다. 이미지 콘딧의 팁과 표면 사이의 간격은 전형적으로 0.001인치 내지 0.1인치 범위내이다. 이미지 콘딧은 렌더링된 문서를 수직으로 유지하지 않을 때도, 이미지 콘딧이 데이터 캡쳐가 가능하도록 조각(sculpt)될 수 있다. 일부 실시예에서, 이미지 콘딧은 쐐기형 팁을 가지도록 조각될 수 있다. 일부 실시예에서, 유저가 번들을 통해 렌더링된 문서를 볼 수 있도록, 광 경로를 역으로 보았을 때, 광섬유 이미지 콘딧은 투명하거나, 반투명일 수 있다. 그러므로, 이미지 콘딧은 스캐닝된 이미지를 옵티컬 센서로 전달하는 수단으로써 역할함과 더불어 뷰파인더(viewfinder)로서 역할할 수 있다.
일반적으로, 광섬유의 그룹이 이미지를 전달하는데 사용될 수 있다. 이것은 일차원 어레이에서와 같이, 광섬유의 단일 열(row); 광섬유의 다수의 열; 또는 엄격한 배열이 아닌 광섬유의 그룹 또는 다발일 수 있다. 또한, 많은 광섬유의 플렉시블 블러시가 사용될 수 있다. 광섬유의 고정된 배열이 없는 경우에, 몇몇 이미지를 캡쳐하는 개별 광섬유의 끝부와 센서 엘리먼트와 연결된 다른 끝부 사이의 관 계는 제조시에 또는 사용 동안에 실험적으로 결정될 수 있다.
외부 광섬유 조명
일반적으로, 광섬유 이미지 콘딧은 환경광을 통해 데이터를 캡쳐할 수 있으나, 일부 실시예에서, 이미지 콘딧 광섬유의 서브셋과 같은, 옵션의 엘리먼트가 광원으로부터 문서의 표면으로 빛을 운반할 수 있다. 이러한 광섬유는 필수적으로 렌더링된 문서의 표면을 조명하기 위한 소형의 플래시라이트로써 역할한다. 나머지 광섬유는 조명된 데이터를 캡쳐하고, 이미지 센서로 재전송한다. 전형적으로, 광섬유 이미지 콘딧이 문서의 표면을 따라 쉽게 드러깅되도록 조각된 실시예에서 필수적으로, 이미지 콘딧의 외부 광섬유는 문서로 빛을 전송하기 위해 사용된다.
CCD/CMOS 옵티컬 센서
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 이미지 센서를 포함한다. 솔리드 스테이트 옵티컬 이미지 센서는 컴퓨터 디스플레이로부터 정보를 캡쳐하며, 현대의 디지털 카메라의 주요 컴포넌트이다. 적합한 이미지 센서의 일 예는 CMOS 이미지 센서이다. 다른 예는 CCD 이미지 센서이다. 이러한 기술 모두는 전형적으로 센서의 그리드를 따라서 전기적 신호로써 컴퓨터 칩이 빛을 측정하게 한다. 다른 예는 광 센시티브 포토 트렌지스터의 선형 어레이이다.
비가시 스펙트럼
일부 실시예에서, 옵티컬 스캐닝 서브시스템은 비가시 스펙트럼에서 동작한다. 비가시 스펙트럼에서 빛을 검출하기 위한 능력으로, 휴대용 스캐닝 디바이스는 UV 또는 IR 특성을 가진 잉크로 프린트된 숨겨진 컨트롤 심벌을 캡쳐할 수 있 다. 적합한 "쓰기가능한" 영역을 포함한 문서에 대하여, 일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 이 영역의 (화학적, 온도적, 광학적) 상태를 읽고 변화하고, 그러므로 숨겨진 정보를 남긴다. 일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 문서 또는 문서의 일부를 스캔했음을 나타내는 스캐너에서 인식가능한 특수 잉크(예컨대, IR)를 사용한다.
인간/머신 판독가능성
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 인간 및 머신이 판독가능한 데이터를 캡쳐한다. 인간이 판독가능한 데이터의 예는 텍스트이다. 머신이 판독가능한 데이터의 예는 바코드, 아이콘, 및 (그래픽에 내장된, 또는 비가시 스펙트럼 특성을 가진 잉크로 쓰여진 것과 같은) 숨겨진 데이터이다.
디스플레이로부터의 데이터 캡쳐
일부 실시예에서, 또한, 휴대가능한 데이터 캡쳐 디바이스는 디스플레이 디바이스로부터 직접적으로 읽을 수 있고, 그러므로 디스플레이 스크린에 직접적으로 포인팅, 하일라이팅, 발췌, 언더라인, 복사, 붙이기, 삭제, 등을 위해 사용될 수 있다. 이러한 능력은 강력한 문서 편집 시스템을 이끌 수 있고, 이 시스템은 유저가 문서를 프린트하고, 휴대용 스캐너로 프린트된 버전상에서 직접 작업하고, (그리고 또한 다이나믹 디스플레이와 상호작용 가능하고), 그러므로 (수정된) 새로운 버전으로 프린트할 수 있다. 이러한 방법은 페이퍼와 디지털 세상의 최고의 특성의 일부를 결합한다.
스크린으로부터의 데이터 캡쳐는 디스플레이 상에 도시된 이미지를 광학적으 로 캡쳐함으로써, 또는 데이터 캡쳐를 시도하는 휴대가능한 디바이스를 위에 디스플레이 상에 위치를 결정함으로써 이루어질 수 있다. 이 위치 방법은 디스플레이와 연관된 메모리, 통상적으로 비디오 메모리로부터 이미지를 검색한다. 그 다음 컴퓨터는 그것의 비디오 메모리로부터의 스크린 위치에 디스플레이된 정보를 검색한다. 비디오 메모리내의 정보는 OCR 어플리케이션에 의해, 휴대가능한 디바이스에 의해 직접적으로 캡쳐된 이미지를 처리하는 것과 유사한 프로세싱될 수 있다.
생체 검출
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스 보안 및 인증을 위한 생체(보이스, 지문, 망막, DNA) 정보를 캡쳐하는 능력을 가진다. 앞서 언급한 바와 같이, 일차원 선형 옵티컬 어레이는 어레이에 대해 유저의 손가락을 스위핑하여 지문 스캐너로써 기능할 수 있다.
자성 스크립(신용카드)
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 P-커머스(구매) 어플리케이션에 대해 특히 유용할 수 있는, 신용카드에 통상적으로 사용되는 자성 스크립으로부터 데이터를 캡쳐할 수 있다.
기능/동작 행위
프로세서 또는 다른 컨트롤 로직은 휴대가능한 데이터 캡쳐 디바이스의 전체 동작을 조화시킨다. 통상적으로, 프로세서는 메모리에 저장된 프로그램으로부터 동작한다. 디바이스의 기능 및 동작 행위에 특별한 관계의, 메모리는 획득, 저장 및 옵티컬 센서에 의하여 획득된 데이터의 프로세싱에 관한 프로그램 명령어를 저 장한다. 프로세서는 렌더링된 문서로부터 데이터의 획득, 저장, 및 프로세싱을 위해 메모리로부터 명령어를 검색할 수 있다.
휴대가능한 데이터 캡쳐 디바이스의 다양한 실시예에서 프로세싱 능력은 데이터 캡쳐; 데이터, 특히 이미지 데이터 프로세싱; 데이터 압축 및 다른 이미지 처리; 메모리와 연관된 알고리즘 및 다른 기능 캐싱; 통신; 및 암호화/복호화 알고리즘과 같은 보안 어플리케이션을 위해 사용될 수 있다.
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 네트워크 및 연관된 컴퓨터와 상호작용을 위해 다양한 모드 및 상태를 가진다. 예를 들어, 일부 실시예에서, 컴퓨터 및 워드프로세싱 소프트웨어로 작업할 때, 휴대용 스캐너는 페이퍼 문서로부터 스캐닝된 텍스트가 전자문서내에서 하일라이팅되도록 하는 하일라이팅 모드; 페이퍼 문서로부터 스캐닝된 텍스트가 전자문서내에서 언더라인되도록 하는 언더라인 모드; 페이퍼 문서로부터 스캐닝된 텍스트가 전자문서내의 커서 위치에 삽입되게 하는 복사 모드 등을 가진다.
유저는 휴대가능한 데이터 캡쳐 디바이스를 유저 인터페이스를 통해 컨트롤할 수 있다. 예를 들어, 유저 인터페이스는 유저에게 메뉴를 디스플레이할 수 있는 디스플레이를 포함할 수 있다. 유저는 휴대용 스캐너의 작동을 컨트롤하기 위해 메뉴 옵션 중에서 선택한다.
휴대가능한 데이터 캡쳐 디바이스의 일부 주요 태스크는 렌더링된 문서로부터의 데이터 캡쳐; 다른 전자 디바이스의 컨트롤; 상태 표시; 데이터 보안 및 유저 프라이버시; 네트워크 데이터의 로컬 캐싱; 키워드 프로세싱; 검색; 및 OCR을 포함 한다.
캡쳐/스캔
일부 실시예에서, 프로세서는 옵티컬 센서에 의해 캡쳐된 이미지를 검색할 수 있고, 이 이미지 내에 나타난다면, 문자를 결정하기 위해 전통적인 OCR(옵티컬 문자 인식) 기술을 수행한다.
시간/위치 스탬프
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 특정 동작을 수행한 시간과 위치를 기록하기 위해 사용되는 시간 및/또는 위치 스탬프를 생성한다. 예를 들어, 유저가 문서로부터 텍스트를 스캔할 때, 휴대가능한 데이터 캡쳐 디바이스는 스캐닝된 문서와 연관된 시간 스탬프, 및/또는 위치 스탬프를 생성한다. 휴대가능한 데이터 캡쳐 디바이스는 스캔을 위한 컨텍스트를 만들기 위해 서비스 제공자의 네트워크 또는 호스트 컴퓨터에 스캐닝된 텍스트와 함께 이 시간/위치 스탬프를 전송한다. 휴대가능한 데이터 캡쳐 디바이스는 시간 데이터를 위한 내부 클록, 또는 네트워크로부터의 시간 신호가 사용가능하다면 네트워크 시간을 사용할 수 있다. GPS 및 많은 다른 방법이 휴대가능한 데이터 캡쳐 디바이스의 위치를 결정하기 위해 사용가능하다. 일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 시간/위치 데이터를 위해 내부 클록 및 GPS 기술을 사용한다.
위치 능력이 GPS 수신기의 컨텍스트에서 주로 서술되었지만, 많은 다른 위치 기술이 사용될 수 있다. 이러한 기술의 일부는 EOTD(Enhanced Observed Time Difference), A-GPS(Assisted GPS, DGPS(Differential GPS), TDOA(Time Difference of Arrival), 도착 각도, 트리앵귤레이션, 및 로컬 송수신기 파일럿 신호의 모니터링 등이다. 네트워크 내의 로직이 휴대가능한 데이터 캡쳐 디바이스의 위치를 추정하기 위해 각 베이스 스테이션에서 수신된 신호에 대한 데이터를 코릴레이팅하는 것과 같이, 휴대가능한 데이터 캡쳐 디바이스가 베이스 스테이션과 네트워킹된 신호를 전송할 때, EOTD, TDOA, 및 도각 각도가 가장 적합하다. 트리앵귤레이션은 내부적 또는 외부적일 수 있다. 일부 실시예에서, 적어도 3개의 (IEEE 802.11 베이스 스테이션과 같은) 외부 송수신기에서부터 신호를 수신하고, 수신된 신호의 특성을 기초로 대략적인 위치를 계산할 때, 휴대가능한 데이터 캡쳐 디바이스는 내부적 트리앵귤레이션을 수행한다. 휴대가능한 데이터 캡쳐 디바이스의 외부의 네트워킹된 수신기가 휴대가능한 데이터 캡쳐 디바이스로부터 수신된 신호의 특성을 기초로 휴대가능한 데이터 캡쳐 디바이스의 위치를 추정하기 위해 사용될 때, 외부적 트리앵귤레이션이 발생한다. 외부적 트리앵귤레이션의 일 예는 외부의 수신기로부터 휴대가능한 데이터 캡쳐 디바이스의 거리를 추정하기 위해 하나 이상의 외부의 수신기에서의 수신된 신호 강도를 사용하는 것이다. 고정된 송신기는 모바일 수신기가 원하는 송신기로부터의 신호를 "락 온" 하도록 특정 송신기를 식별하는 파일럿 신호를 방출한다. 이 고정된 송신기의 위치 및 대략적인 커버리지 영역을 알고 있으므로, 휴대가능한 데이터 캡쳐 디바이스의 위치는 송신기가 수신한 것을 기초로 추정될 수 있다. 예를 들어, 휴대가능한 데이터 캡쳐 디바이스가 IEEE802.11 무선 접근점으로부터 신호를 수신하고 있다면, 이 휴대가능한 데이터 캡쳐 디바이스는 무선 접근점의 300피트(현재 IEEE802.11 송신기의 대략적인 외부범위)이내에 있는 것으로 가정할 수 있다.
캡쳐된 데이터를 통한 컨트롤
캡쳐된 데이터는 앞서 언급된 문서 디스엠비규에이션(disambiguation) 및 전자 대응물 로케이션과 더불어 다양한 사용을 위해 놓여질 수 있다. 일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 스캐닝된 데이터를 통해 컨트롤되고 프로그래밍된다. 유저는 맵 키와 유사한 커맨드의 출력된 메뉴로부터 또는 간단한 텍스트로부터 커맨드를 스캔할 수 있다. 예를 들어, 유저는 다음의 캡쳐된 데이터가 컨트롤 커맨드로써 처리되어야 함을 휴대가능한 데이터 캡쳐 디바이스에 알리는 특수 아이콘을 스캔할 수 있다. 유저가 휴대가능한 데이터 캡쳐 디바이스가 커맨드와 미리 연관된 동작(이 예에서는 프레드로 호출을 발생시킴)을 수행하도록 하는 "프레드를 호출하라"와 같은 커맨드를 스캔한다. 이와 유사하게, 일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 유저가 P-커머스 구매 거래를 개시하기 원함을 나타내는 (스트링의 일부가 아닌) 디바이스 자체에 의해 스캐닝될 때,"구매하라"라는 단어를 인식하도록 프로그램될 수 있다.
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 유저에 의해 그려진 컨트롤 심벌을 인식한다. 그리하여, 유저는 원하는 커맨드 아이콘 또는 단어를 그림으로써 페이퍼의 임의의 부분상에 커맨드 메뉴를 간편하게 생성할 수 있다. 일부 실시예에서의 시스템에 의해 인식되는 컨트롤 아이콘은 (P-커머스 구매를 개시하기 위한) "$"; (하일라이트 모드로 들어가기 위한) "!"; 및 (다음 번호가 주소록내에 저장되거나 다이얼링될 수 있는 전화 번호임을 나타내기 위한) 폰 아이콘 등 이 있다.
휴대가능한 데이터 캡쳐 디바이스가 본 명세서에 언급된 것 이외의 키워드를 스캔할 때, 휴대가능한 데이터 캡쳐 디바이스의 행위는 캡쳐된 컨트롤 데이터를 사용함으로써 사용가능한 행위의 서브셋이다.
제스처를 통한 컨트롤
휴대가능한 데이터 캡쳐 디바이스와 상호작용하는 유저에 대한 직관적인 방법이 휴대가능한 데이터 캡쳐 디바이스와의 제스처에 의한 것이다. 유저 경험은 특정 제스처에 소정의 동작 및 행동을 연관지음으로써 크게 강화된다. 이러한 제스처의 일부는 제스처를 검출하는 방법과 함께 아래에 서술된다.
발명자는 충분한 길이의 텍스트 스트링이 문서의 풀(pool), 또는 "코퍼스(corpus)"로부터 문서를 디스엠비규에이팅하기 위해 사용될 수 있음을 발견했다. 휴대가능한 데이터 캡쳐 디바이스는 렌더링된 문서에서 피처(텍스트, 아이콘, 등)의 이미지를 캡쳐한다. 이 이미지는 온보드 휴대용 문서 이미지 디바이스에 의해 (예컨대, 피처 추출 테크닉을 적용함으로써) 프로세싱될 수 있고, 휴대용 이미지 디바이스와 통신하는 컴퓨터에 의해 프로세싱될 수 있다. 일반적으로, 캡쳐된 이미지는 알파벳과 숫자의 문자, 예컨대, 텍스트 프래그먼트의 연속 스트링과 대응한다. 이 시스템은 페이퍼 문서의 전자 대응물을 만들고, 페이퍼 문서를 식별하기 위해 텍스트 프래그먼트를 사용한다. 전형적으로, 이것은 적어도 최초의 소정의 길이의 텍스트 프래그먼트를 요구한다. 렌더링된 문서가 디스엠비규에이팅되고 난 후, 페이퍼 문서의 전자 대응물은 상호작용 가능하다. 상호작용의 범위는 유저에 게 전달되는 전자 문서의 대응물을 가지는 것부터, 소스 문서에 관한 부가적인 내용(subject matter)의 전송, 문서 맵(마크업) 정보의 전송, 전자 대응물 문서를 내비게이팅하기 위해 소스 문서를 사용하는 것, 전자 대응물의 편집, 복잡한 재정 처리를 수행하는 것이다. 바람직하게는, 이러한 상호작용은 커맨드 입력 디바이스와 같은 휴대용 문서 이미지 디바이스를 사용하여 이루어진다. 다수의 커맨드 입력을 제공하고, 컴팩트 사이즈를 유지하면서도 직관적으로 사용되는 유저 인터페이스를 가진 휴대용 문서 이미지 디바이스를 갖추는 것이 바람직하다.
일부 실시예에서, 휴대가능한 디바이스는 유저의 제스처에 의해 컨트롤된다. 예를 들어, 포워드 방향으로 텍스트를 스캐닝하는 것은 유저가 텍스트를 메모리에 저장하고자 함을 나타낼 수 있다. 동일한 텍스트를 역방향으로 스캐닝하는 것은 유저가 메모리로부터 텍스트를 지우고자 함을 나타낼 수 있다. 문서내의 텍스트를 앞뒤로 러빙하는 것은 유저가 문서의 전자 대응물내의 텍스트를 하일라이팅하기를 원함을 나타낼 수 있다. 이 시스템은 원형 동작, 스네이크 동작, 등과 같은 많은 제스처를 휴대가능한 디바이스의 작동을 컨트롤하기 위해 사용할 수 있다. 많은 행동이 스캐닝 프로세스 시작; 유저가 특정 기사 또는 문서로부터 스캐닝을 완료했다는(그러므로, 후속의 스캐닝된 데이터는 새로운 기사 또는 문서로부터 스캐닝될 것이라는) 신호; 하일라이팅; 이전 엔트리의 삭제; 등과 같은 소정의 제스처와 연관될 수 있다.
또한, 발명자는 문서가 디스엠비규에이팅된 (그러므로, 문서 내에서 후속 스캔을 위한 컨텍스트를 설정한) 후 , 더 짧은 텍스트 프래그먼트를 사용하는 문서 내의 위치를 식별이 가능함을 발견했다. 그 다음, 이러한 식별된 위치는, 예를 들어, 문서 주석달기, 문서 편집하기, 문서로부터의 텍스트 및/또는 이미지 추출하기와 같은 문서와의 상호작용을 위한 앵커 포인트로써 사용될 수 있다.
일부 실시예에서, 휴대용 문서 데이터 캡쳐 디바이스가 소스 문서의 표면을 따라 움직여질 때, 휴대용 문서 데이터 캡쳐 디바이스가 일련의 이미지 데이터의 프레임을 캡쳐하도록 구성될 수 있다. 일부 실시예에서, 휴대용 문서 데이터 캡쳐 디바이스는 소정의 제한된 속도내에서 사용될 때, 일련의 최소한 부분적으로 오버래핑된 이미지를 캡쳐하도록 구성될 수 있다. 오버랩의 크기는 전형적으로 프레임 사이의 X-Y 동작이 계산되기에 충분해야 한다. 이 휴대용 문서 데이터 캡쳐 디바이스는 캡쳐된 이미지 데이터의 프레임으로부터 피처를 추출하도록 구성되어 있다. 이 휴대용 문서 이미징 디바이스는 캡쳐된 이미지를 텍스트로 변환하기 위해 옵티컬 문자 인식 스킴을 사용하고, 그 다음 캡쳐된 이미지 데이터로부터 텍스트 스트링을 구성하기 위해 스티칭(stitching) 알고리즘을 사용할 수 있고, 또는 텍스트 스트링의 표현을 향상하기 위해서 이미지 데이터의 스티칭된 모든 프레임상의 문자 오프셋을 사용하거나, 또는 상대 위치를 계산하기 위해 이미지 데이터의 후속 프레임의 픽셀레이션 내의 차이를 사용할 수 있다. 옵티컬 문자 인식은 텍스트 스트링을 발생시키기 위해 사용되고, 텍스트 스트링은 그 페이지에 관하여 수평이거나 수직일 수 있다. 휴대용 문서 데이터 캡쳐 디바이스 커맨드 입력과 소스 문서에 관한 휴대용 문서 데이터 캡쳐 디바이스의 소정의 동작(제스처)을 연관시키는 데이터베이스에 동작적으로 연결된다. 휴대용 문서 데이터 캡쳐 디바이스는 제스처/커맨 드 입력 페어링 라이브러리와 함께 미리-구성되어 있을 수 있고, 유저에 의해 트레이닝이 가능할 수 있다. 부가적으로, 제스처는 동일한 제스처의 수행이 그 제스처의 컨텍스트, 예컨대, 문서 내의 시간 프레임 또는 위치에 의존하는 상이한 커맨드 입력의 실행을 일으키는 "오버로딩"될 수 있다.
일부 실시예에서, 유저는 소스 문서의 텍스트 라인을 따라 왼쪽에서 오른쪽으로 휴대용 문서 이미지 디바이스를 움직임으로써, 소스 문서의 일 섹션의 이미지를 캡쳐한다. 먼저, 휴대용 문서 이미지 디바이스는 소스 문서가 디스엠비규에이팅된 것인지 판정한다. 소스 문서가 디스엠비규에이팅되지 않았으면, 캡쳐된 이미지 데이터의 프레임으로부터 문서 피처를 추출하고, 소스 문서를 디스엠비규에이팅하기 위해 추출된 피처를 차례로 사용하는 컴퓨터로 추출된 피처를 통신한다. 소스 문서가 이미 디스엠비규에이팅되었으면, 휴대용 문서 이미지 디바이스는 문서 피처를 추출하고, 문서 내부에 위치를 정하기 위해 추출된 피처를 사용하고, 전자 문서내의 상응한 영역/텍스트를 선택한다.
제스처가 문서 내의 위치에 관하여 오버로딩되는 방법의 예로, 실질적으로 소스 문서의 동일한 영역 상에서 왼쪽에서 오른쪽으로 휴대용 문서 이미지 디바이스를 두 번 움직이는 것은 선택된 영역내의 텍스트가 언더라인되도록 한다. 동일한 제스처가 문서 내의 위치에 관하여 오버로딩되는 방법의 다른 예로, 실질적으로 소스 문서의 동일한 영역 상에서 왼쪽에서 오른쪽으로 휴대용 문서 이미지 디바이스를 세 번 움직이는 것은 선택된 영역 내의 텍스트를 굵게 한다.
일부 실시예에서, 실질적으로 소스 문서의 모든 이전에 선택된 영역 상에서 오른쪽에서 왼쪽으로 휴대용 문서 이미지 디바이스를 움직이는 것은 이전 커맨드 입력이 수행되지 않도록 한다. 예를 들어, 오버로딩된 왼쪽에서 오른쪽으로의 선형 제스처의 앞선 서술에 따라서, 유저가 굵게 된 선택된 영역을 가지고 선택된 영역 상에서 오른쪽에서 왼쪽으로 휴대용 문서 이미지 디바이스를 한 번 움직였다면, 선택된 영역 내의 텍스트는 굵은 상태에서 언더라인으로 변하게 될 것이다. 선택된 영역 상에서 오른쪽에서 왼쪽으로 휴대용 문서 이미지 디바이스를 한 번 움직이는 것은 선택된 영역내의 텍스트가 초기의 포맷으로 변하게 하고, 오른쪽에서 왼쪽으로의 동작을 3번 반복하는 것은 선택된 영역을 완전히 선택해제 한다.
오버로딩의 이점을 설명하기 위해, 일부 실시예에서, 소스 문서의 이전에 선택된 영역의 일부 위에서 오른쪽에서 왼쪽으로 휴대용 문서 이미지 디바이스를 움직이는 것은 이전에 선택된 영역/텍스트의 일부가 삭제되게 한다.
일부 예에서, 유저는, 예를 들어, 하나 또는 다수의 단락을 복사하거나 삭제하는 것과 같이 텍스트의 상대적으로 큰 블록과 상호작용하고자 할 수 있다. 일부 실시예에서, 유저는 시작 위치를 정하기 위해 왼쪽에서 오른쪽으로 휴대용 문서 이미지 디바이스를 움직이고, 끝 위치를 정하기 위해 왼쪽에서 오른쪽으로 휴대용 문서 이미지 디바이스를 움직인다. 휴대용 문서 이미지 디바이스는 선택된 영역의 시작과 끝을 정하기 위해 텍스트 스트링(또는 그것의 심볼적 표현)을 사용한다. 그 다음 후속 커맨드 입력이 선택된 영역에서 기능한다. 예를 들어, 일부 실시예에서, 유저가 휴대용 문서 이미지 디바이스를 시작과 끝 위치 사이에 "X"자 패턴으로 움직이면, 시작과 끝 위치 사이의 소스 문서의 영역은 삭제된다. 이와 유사하 게, 일부 실시예에서, 유저가 선택된 영역 내에서, 예컨대, 지그재그식과 같이 휴대용 문서 이미지 디바이스를 페이지 아래로 움직이면서 앞뒤로 움직인다면, 선택된 영역은 삭제된다. 유저가 선택된 영역 내에서 휴대용 문서 이미지 디바이스를 아래로 움직이면, 선택된 영역은 하일라이팅될 것이다. 일부 실시예에서, 유저가 선택된 영역에서 원형의 방식으로 휴대용 문서 이미지 디바이스를 움직이면, 선택된 영역은 복사된다.
일부 실시예에서, 유저는 소스 문서의 영역을 선택하기 위해 원형 동작을 사용한다. 이 시스템은 전형적으로 전자 문서 내에 있어야 하는 소스문서의 포맷을 실질적으로 유지하거나, 마크업 문서내의 번역 정보를 사용하여 전자 대응물에 페이퍼 문서의 레이아웃을 매핑한다. 휴대용 문서 이미지 디바이스는 휴대용 문서 이미지 디바이스가 원형 패턴으로 움직이는지를 판정하도록 일련의 이미지 데이터의 프레임으로부터 추출된 피처를 사용하고, 문자 매핑 스킴을 사용하는 전자 문서 내의 선택된 영역의 위치를 판정하기 위해 추출된 피처를 사용한다. 일부 실시예에서, 상이한 커맨드 입력은 시계방향의 원형동작 및 시계반대방향의 원형 동작과 각각 연관된다.
일부 실시예에서, 휴대용 스캐너는 제스처를 기초로 컨트롤을 인식하고 작동한다. 예를 들어, 일부 실시예에서, 휴대용 스캐너는 텍스트 위에서 옵티컬 센서를 패싱함으로써 텍스트를 스캔하고, 그 후 스캐너 내의 메모리에 저장한다. 반대 방향으로 텍스트 위에서 옵티컬 센서를 패싱함으로써, 텍스트는 메모리에서 삭제된다. 일부 실시예에서, 원형으로 스캐닝함으로써, 유저는 스캐너의 호스트 컴퓨터 상의 워드프로세싱 프로그램내의 전자 문서내의 원형 텍스트를 하일라이팅할 수 있다.
동작 검출
제스처 기반 커맨드를 검출하고 작동하기 위해, 휴대가능한 데이터 캡쳐 디바이스는 동작을 검출하고 해석할 수 있어야 한다. 동작을 검출하고 제스처 커맨드에 동작을 매핑하는 다양한 방법이 아래에 서술된다. 일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 제스처를 식별하기 위해 후속 이미지 캡쳐들 사이에 동작 벡터를 계산한다.
일부 실시예에서, 휴대용 스캐너는 동작이 검출될 때마다 제스처 해석 어플리케이션을 개시한다. 동작을 검출하는 일 방법은 옵티컬 마우스와 같이, 연속적으로 캡쳐된 이미지를 비교하는 것이다. 일부 실시예에서, 제1이미지가 패턴을 위해 분석된다. 프로세서는 이 이미지를 메모리로 가져오기 위해 소프트웨어 명령어를 사용하고, 그 다음 배경과 다른 이미지의 부분을 찾는다(예컨대, 흰 배경상에 검은 텍스트를 식별하는 것). 이 프로세서는 이 패턴의 위치와 무슨 패턴인지 메모리에 기록한다. 그 다음, 이 프로세서는 제2이미지를 로딩하고 오리지널 패턴의 검출을 시도한다. 그 다음, 그 패턴의 위치가 제1이미지와 어떻게 변했는지를 비교한다. 이 차이가 벡터로서 인코딩된다. 이러한 프로세스를 반복함으로써, 일련의 벡터가 형성된다. "점의 연결"과 유사하게, 이러한 라인 세그멘트, 또는 벡터는 동작 시퀀스를 알아낼 수 있다.
일부 실시예에서, 이 프로세서는 제1 및 제2이미지내의 픽셀(또는 몇몇 대표 픽셀) 사이에 벡터를 찾을 수 있다. 이미지 사이에 벡터를 계산하기 위해서, 프로세서는 제1 및 제2이미지의 캡쳐 사이의 기간 동안에 이 디바이스의 이동 경로를 판정하기 위해, 먼저 수평 축을 따라 이미지를 비교한 다음 수직 축을 따라 이미지를 비교한다. 그 다음 프로세서는 제1이미지 내의 모든 픽셀을 오른쪽으로 한 픽셀씩(일부 픽셀은 더 이상 이 이미지의 부분이 아닌 채로) 움직인다. 그 다음 프로세서는 이 벡터를 다시 계산한다. 이 벡터가 더 짧아졌다면, 프로세서는 픽셀 사이의 수평 거리가 없을 때까지, 픽셀을 이동시킨다. 이 벡터가 더 길어졌다면, 프로세서는 픽셀을 왼쪽으로 이동시킨다. 이동 벡터의 수평 컴포넌트가 결정되고 나면, 프로세서는 이동 벡터의 수직 컴포넌트를 결정하기 위해 수직축을 따라 비교를 반복한다. 프로세서가 이동 벡터의 수직 및 수평 컴포넌트를 계산했을 때, 제1 및 제2 이미지 사이의 상대적인 선형 동작을 알게 된다.
의도된 제스처의 판정
일부 실시예에서, 제스처가 의도된 것인지를 판정하기 위한 노력으로 동작 벡터의 계산이 따른다. 이 단계의 복잡도는 제스처 분류 존재에 의존할 수 있다. 예를 들어, 스캐너가 오직, 예컨대, 백워드의 한 제스처만 인식한다면, 분류는 동작의 임의의 수직 컴포넌트를 고려할 필요가 없을 것이다. 스캐너가 백워드의 제스처만 인식하는 실시예와 같은, 일부 실시예에서, 본 명세서에 서술된 바와 같이, 다수의 벡터가 단일 대표 벡터로 대체될 수 있다. 예를 들어, 유저가 완벽하게 수평으로 스캔하려 했지만 수직으로 약간 흔들렸다면, 이 스캐너는 이 유저가 수평 라인을 의도했음을 판정하고, 많은 벡터를 하나의 수평 벡터로 대체할 수 있다.
백워드 및 포워드
휴대가능한 데이터 캡쳐 디바이스와의 제스처의 직관적이고 기본적인 방법은 텍스트의 라인을 따라 포워드 및 백워드로 스캔하는 것이다. 일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 저장된 문자 탬플릿과 스캐닝된 텍스트 이미지를 비교함으로써, 텍스트의 라인을 따른 포워드 및 백워드의 움직임을 인식한다. 예로써, 영어 알파벳을 사용하여, 스캐닝된 문자가 탬플릿과 매칭한다면, 스캐너는 왼쪽에서 오른쪽(포워드)으로 움직인 것이다. 스캐닝된 문자가 탬플릿의 미러 이미지이면, 스캐너는 오른쪽에서 왼쪽(리버스)으로 움직인 것이다. 일부 실시예에서, 백워드 및 포워드 이동은 앞서 언급된 벡터 방법에 의해 판정된다.
원(Circle)
휴대가능한 데이터 캡쳐 디바이스와의 제스처의 직관적이고 기본적인 다른 방법은 텍스트의 영역에 원을 그리는 것이다. 일부 실시예에서, 원형상 제스처는 앞서 언급된 벡터 방법에 의해 식별된다. 일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 원형 이동을 검출하기 위해 절대위치 정보를 사용한다. 절대위치 정보를 얻는 일 방법은, 예컨대, 문서에 프린트된 인코딩된 그리드를 가진 문서로부터 정보를 얻는 것이다. 이 디바이스에 의해 취해진 각각의 이미지는 문서 표면에 관한 이 디바이스의 이동을 판정하기 위해 사용될 수 있는 절대위치 정보를 담고 있다.
벡터 접근을 사용할 때, 이 프로세서는 벡터가 다른 벡터, 특히, 제1벡터의 시작점을 교차하는지 판정하기 위해 동작 벡터를 모두 더한다. 원형상 제스처 검 출 테크닉과 결합하여, 교차가 있는지 판정하기 위해 벡터가 사용되고, 그 다음 그러한 교차가 실제로 일어났었는지 판정하기 위해 절대위치 분석이 사용된다.
도 8은 유저가 원형상 제스처를 만들었음을 검출하기 위해 시스템에 의해 전형적으로 수행되는 단계를 보여준다. 단계(800)에서, 이 시스템이 새로운 기본 제스처를 검출했을 때, 이 단계가 시작한다. 단계(810)에서, 이 시스템은 이 제스처 그 자체에 교차가 있는지 판정한다. 도 9는 원형상 제스처를 수행하려는 유저의 시도의 몇몇 예를 도시한다. 제1제스처(900)는 (910)에서 교차한다. 이 예에서, 이 동작의 시작과 끝은 실제로 서로 교차할 때이고, 그러므로 교차로써 검출된다. 제2제스처(920)는 원으로 판정될 수도 있는 제스처를 도시한다. 시작과 끝이 (930)에서 서로 가장 가깝다. 일부 실시예에서, 이러한 거리는 교차로 간주될 수 있는 오차 이내일 수 있다. 제3제스처(940)는 원으로 간주될 수 없는 제스처를 도시한다. 일부 실시예에서, 두 가까운 점(950, 960) 사이의 거리는 교차로 간주되기에 너무 멀다(그러나, 일부 실시예는 이것 조차도 인정하도록 프로그램될 수도 있다). 이러한 제스처가 그 자체와 교차되었다면, 원 검출의 프로세서는 시스템의 수직 컴포넌트를 고려하는 도 8의 단계(820)로 계속된다. 제스처가 자체와 교차되지 않았다면, 새로운 제스처를 기다리기 위해 이러한 반복으로 복귀한다. 일부 실시예에서, 수직 컴포넌트는 그 제스처가 유저가 원으로 해석되기 원하지 않는 러빙 제스처가 아닌지 확정하기 위해 고려될 수 있다. 일부 실시예에서, 수직 컴포넌트는 그 제스처 동안에 도달한 가장 높은 점과 낮은 점 사이의 차이일 수 있다. 일부 실시예에서, 이 스테이지는 이 차이와 임계값을 비교함으로써 판정될 수 있고, 이 프로세서는 그 제스처가 원이 아닌지 판정한다. 이 컴포넌트가 만족되면, 이 시스템은 수평 컴포넌트를 고려하는 단계(830)로 계속된다. 수평 평가는 수직 평가와 유사하게 수행된다. 제스처가 이러한 표준(교차, 수직 및 수평)을 모두 만족하면, 이 시스템은 단계(840)에서 그것을 원으로 분류한다. 이러한 표준 중 하나가 만족하지 않으면, 프로세스는 새로운 제스처를 기다리기 위해 단계(800)로 돌아간다.
러빙(Rubbing)
텍스트의 스트링을 앞뒤로 러빙하는 것은 휴대용 이미지 데이터 캡쳐 디바이스를 컨트롤하기 위해 사용될 수 있는 직관적이고 기본적인 또 다른 제스처이다. 일부 실시예에서, 앞뒤로 러빙 제스처는 하일라이팅 커맨드로 해석될 수 있다. 예를 들어, 유저가 포워드 제스처로 일련의 스캔을 하고, 러빙 제스처로 하나의 스캔 목표를 지정할 수 있다. 이에 응답하여, 이 스캐너는 후속의 검색시에 그 부분이 하일라이팅되도록 러빙 동작에 의해 식별된 텍스트를 플래그(flag)할 수 있다(예컨대, 이 "러빙된" 텍스트가 밝게 된 부분 위에 있다). 다른 실시예에서, 포워드 제스처로 표시된 텍스트는 언더라인될 수 있다.
도 10은 러빙 제스처를 검출하기 위해 시스템에 의해 전형적으로 수행되는 단계를 도시하는 플로우 다이어그램이다. 본 명세서에 서술된 바와 같이, 러빙 제스처는 수직으로 아래 위로의 동작; 일부 경우에는, 유저가 텍스트의 스트링을 수평으로 앞뒤로의 러빙 동작이다. 도 10에 도시된 프로세스에서, 새로운 기본 제스처가 단계(1000)에서 시작된다. 단계(1010)에서, 이 시스템은 서술된 이외의 방향 을 검출하고, 단계(1020)에서, 이 시스템은 방향의 변화를 검출한다. 단계(1030)에서, 이 시스템은 그 방향이 이전 이동 방향의 역인지를 보기 위해 방향 변화를 평가한다. 일부 실시예에서, 역(reverse)은 이전 벡터의 끝점에서부터 170과 190도 사이의 포인트가 새로운 벡터일 때로 정의된다(정확히 반대방향은 180도이다).
새로운 방향이 역이 아니면(일부 실시예에서, 스캐닝의 종료를 포함), 이 시스템은 단계(1000)로 새로운 제스처를 기다리기 위해 계속된다. 이 새로운 방향이 역이면, 그 후 이 시스템은 또 다른 방향 변화를 검출하기 위해 단계(1040)로 계속된다. 단계(1040)로부터, 이 시스템은 이 새로운 방향이 두번째 역인지 결정하는 단계(1050)로 계속된다. 동작의 세번째 방향이 두번째 방향과 역이면, 이 시스템은 러빙 제스처와 연관된 소정의 행위를 수행하기 위해 단계(1060)로 계속된다.
삭제를 위한 백워드
일부 실시예에서, 포워드 스캔은 스캐너가 메모리에 스캐닝된 정보를 저장하도록 한다. 이 스캔, 또는 그것의 색션이 후속의 백워드 제스처로 스캐닝되면, 백워드 방향으로 스캐닝된 이 부분은 메모리로부터 삭제된다. 예로써, 도 11은 문서(1120)에서 백워드 방향(1110)으로 움직이는 스캐너(1100)를 도시한다. 더 이전의 포워드 스캔에 의해 메모리에 캡쳐되고 저장된 텍스트가 박스(1130)로 도시되어 있다. 박스(1140)는 백워드 스캔에 의해 캡쳐된 "처음" 문자인 최우측 문자로부터, 백워드 방향으로 스캐닝된 텍스트를 보여준다. 박스(1140)에 있는 텍스트가 백워드 스캔에 의해 캡쳐된 것일 때, 각 문자는 이전에 스캐닝된 스트링과 비교된다. 이 스캐너(1110)는 백워드 스캔에 의한 처음(최우측)문자와 포워드 스캔의 마 지막(최우측) 문자를 비교하고, 이와 유사한 방법으로, 백워드 스캔에서부터의 문자와 스캐닝된 스트링과의 매칭이 끝날 때까지 계속된다. 이 스캐너는 포워드 스캔에서의 상응하는 위치의 문자와 매치하지 않는 백워드 스캔에서의 문자를 만날 때, 두 스트링의 비교를 멈춘다. 이 비교가 멈춘 후, 이 스캐너는 매칭된 문자를 메모리에서 삭제한다.
스캐닝 센서가 각 문자의 이미지를 함께 스티치하는 방향을 관찰함으로써, 이 스캐너는 팔린드로메(palindrome)를 검출하고, 삭제 제스처로 그것을 해석하지 않게 한다. 이 시스템은 그 스캔이 일어나는 방향을 관찰함으로써, 팔린드로메를 검출한다. 포워드(왼쪽에서 오른쪽) 방향으로 스캐닝된 팔린드로메는 후속의 왼쪽에서 오른쪽으로의 이미지 스티칭에 의해 구성될 것이다. 오른쪽에서 왼쪽(백워드)으로의 스캔은 문자의 온른쪽에서 시작하여 왼쪽으로 움직이는 문자 이미지를 캡쳐할 것이다. 영어에 있어서, 이 오른쪽에서 왼쪽으로의 이동은 초기의 왼쪽에서 오른쪽으로의 스캔의 미러 이미지인 이미지를 야기한다. 팔린드로메 문자는 미러 이미지가 아닐 것이고, 그러므로 역 스캔과 구별될 수 있다.
제스처 및 컴퓨터 모니터
일부 실시예에서, 제스처 커맨드는 컴퓨터 디스플레이상에 렌더링된 문서로 사용될 수 있다. 예를 들어, 유저가 텍스트가 삽입된 위치를 식별하기 위해 컴퓨터 모니터상에 삽입기호("^") 스캔을 제스처할 수 있다. 이 예에서, 이 스캐너는 컴퓨터와 통신하고, 나타난 위치에 텍스트를 삽입하기 위한 커맨드로써 삽입기호 제스처를 인식한다. 이에 응답하여, 컴퓨터는 마지막 포워드 스캔으로부터 텍스트 를 삽입한다.
일부 실시예에서, 스캐너는 마우스, 조이스틱, 또는 다른 포인팅 디바이스와 유사한 방법으로 컴퓨터와 상호작용하기 위해 사용될 수 있다. 예를 들어, 스캐너는 수직적으로 포인팅 다운을 유지함으로써 조이스틱과 같은 기능을 할 수 있다. 유저가 이 조이스틱을 기울이거나, 또는 이동에 의해 주어진 방향으로 움직일 때, 이 움직임은 스캐너의 이미지의 변화로 반사될 수 있다. 예를 들어, 스캐너가 포워드로 기울여지면, 이미지 센서는 각각 더 스큐되어, 반대 방향으로 움직이는 일련의 이미지로 기록될 수 있다. 얼마나 이 이미지의 부분의 움직였는지 또는 스큐되었는지 매핑함으로써, 이 스캐너는 그것이 움직여진 정도를 판정할 수 있다. 다른 예로써, 유저는 컴퓨터 포인팅 악세사리로써 휴대용 스캐너를 사용함으로써, 컴퓨터 모니터 상에 문서를 통해 스크롤할 수 있다.
다른 디바이스의 컨트롤 및 다른 디바이스와의 어소시에이션
일부 실시예에서, 이 휴대가능한 데이터 캡쳐 디바이스는 다른 전자 디바이스를 컨트롤할 수 있고, (예컨대, 컴퓨터 디스플레이를 사용함으로써) 그 자신의 유저 인터페이스를 강화하기 위해 다른 전자 디바이스를 사용할 수 있고, 그리고 예를 들어, 스캐닝된 데이터 트리를 사용함으로써, 다른 전자 디바이스의 유저 인터페이스를 강화할 수 있다.
(필요하다면) 렌더링된 문서로부터 다른 식별자 또는 타이틀을 스캐닝함으로써 컨텍스트를 설정한 후에, 휴대가능한 디바이스는 스캐닝에 의해 원하는 동작을 나타내기 위해 사용될 수 있다. 예를 들어, 유저는 VCR+ 코드의 스캔이 뒤따르는, 텔레비젼 가이드와 같은 문서를 식별하는 코드를 스캐닝함으로써 그의 비디오 레코더(VCR)를 프로그래밍할 수 있다. 그 VCR+ 코드는 VCR이 그 코드와 연관된 소정의 동작을 수행하도록 IR 통신에 의해 VCR과 통신된다.
특히, 블루투스, USB, 또는 IEEE 802.11 커넥션을 가진, 디바이스 주변의 스캐너는 프로그래밍 행위를 정의하기 위해 사용될 수 있다. 전자 레인지(microwave) 주변의 얼려진 음식 패키지의 스캐닝은 적절한 요리 시간을 설정할 수 있다. 자동차의 컨텍스트에서, 주소 스캐닝은 그 스캐너가 그 자동차의 온보드 내비게이션 시스템을 그 주소로 프로그래밍하도록 할 수 있다.
다른 디바이스의 유저 컨트롤 인터페이스는 휴대가능한 데이터 캡쳐 디바이스의 능력에 의해 강화될 수 있다. 본질적으로, 휴대가능한 데이터 캡쳐 디바이스는 페이퍼로부터 정보를 스캐닝함으로써 다른 디바이스를 컨트롤한다. 전형적인 시스템에서, 휴대가능한 데이터 캡쳐 디바이스는 스캐닝된 정보를 블루투스 페어링을 가진 다른 디바이스에 대한 명령어로 변환한다.
니얼바이 디바이스와의 어소시에이션
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 호스트 머신과 쌍을 이룬다. 호스트 머신은 컴퓨터, PDA 디바이스, 또는 모바일 폰과 같은 모바일 통신 디바이스 또는 Blackberry™ 텍스트 메세징 디바이스가 바람직하다. 인증 및 보안 정보의 교환은 휴대가능한 데이터 캡쳐 디바이스 및 호스트 디바이스 사이의 페어링 프로세스의 일부이다. 휴대가능한 데이터 캡쳐 디바이스는 인증 및 보안 프로시저를 현재 연결되지 않은 호스트 디바이스와 상호작용를 하기 전에 수행한 다. 보안 프로시저는 생체 식별과 같은, 유저 식별 프로시저를 선택적으로 포함할 수 있다.
도 12는 휴대가능한 스캐너와 니얼바이 디바이스를 연관하기 위한 시스템 구성의 블럭 다이어그램을 도시한다. 모바일 디바이스(1218)는 휴대가능한 스캐너 기능(1210)과 상호작용하거나 통합할 수 있다. 사람에 의해 편리하게 전달되도록 디자인된 스캐너인 휴대가능한 스캐너(1210)는 펜-타입 디바이스, 마우스, 원격 컨트롤, 또는 휴대가능한 폰일 수 있다. 휴대가능한 스캐너(1210)는 근거리 통신 능력(예컨대, 블루투스™와 같은 근거리 RF, USB와 같은 근거리 유선, 등)을 포함할 수 있고, 근거리 통신 능력은 모바일 디바이스(1218)와 통신하기 위해 사용될 수 있다. 이 스캐너는 시스템에 다른 그러한 스캐너들 사이에서 그 스캐너를 고유하게 식별하는 유저 ID 코드(1222)를 포함한다.
모바일 디바이스(1218)의 예는 랩탑, 노트북, 또는 서브 노트북 컴퓨터; PDA와 같은 휴대용 컴퓨터; 또는 다른 무선 전화 등이다. 일부 실시예에서, 스캐너 기능(1210) 및 모바일 디바이스(1218)는 동일한 디바이스이다.
가능하다면 다른 정보와 함께, 하나 이상의 스캔에서 휴대용 스캐너(1210)에 의해 캡쳐된 정보는 컨텐트 로케이션 및 검색 서비스(1206)와 통신하는 네트워크(1202)와 통신한다. 일부 실시예에서, 이 정보는 컨텐트 요청/로케이션/검색 동작을 개시할 수 있다. 적어도 하나의 스캔으로부터의 정보는 프린트된 소스, 예컨대, 신문, 잡지, 전단지, 책, 메뉴얼, 팸플릿, 라벨, 또는 광고로부터 얻을 수 있다. 또한, 하나 이상의 스캔으로부터의 정보는 전기적, 또는 디지털로 디스플레이 된 정보, 예컨대, 텍스트, 바코드, 아이콘, 그림, 또는 전자 디스플레이로부터의 다른 정보로부터 얻을 수 있다.
모바일 디바이스(1218)는 더 넓은 범위의 통신 능력을 네트워크(1202)에 제공한다. 그러한 통신의 예는 (예컨대, 다이얼 업 모뎀을 사용하는) 표준 공중 교환 전화망, 디지털 가입자 라인, 비동기식 디지털 가입자 라인, 케이블 모뎀, 이더넷, 광대역 LAN 기술, IEEE 802.11과 같은 무선 LAN 기술, 및 무선 셀 폰 기술등이다.
네트워크(1202)는 통신 스위칭, 라우팅, 및 데이터 저장 능력을 포함한다. 특히, 네트워크(1202)는 시스템의 컴포넌트 사이에 정보를 라우팅하고 전송한다. 네트워크(1202)는 인터넷, 인트라넷 또는 인트라넷들, 유선 및/또는 무선 네트워크 부분을 포함할 수 있다.
디바이스 데이터베이스(1204)는 휴대용 스캐너(1210), 일부 실시예 및/또는 일부 조건하에서, 모바일 디바이스(1218)와 연관될 수 있는 디바이스에 대한 정보를 포함한다. 일부 실시예에서, 디바이스 데이터베이스(1204)는 디바이스 식별자의 어소시에이션에 디바이스 어드레스와 제공한다. 또한, 디바이스 데이터베이스(1204)는 디바이스 식별자의 연관에 지원되는 컨텐트 타입을 제공한다. 일부 실시예에서, 디바이스 데이터베이스(1204)는 관련 데이터베이스, 인덱스, 매핑 테이블, 및 강화된 도메인 네임 서비스 중 하나 이상을 포함한다.
디바이스 어소시에이션(1208)은 휴대용 스캐너와 입/출력(I/O), 저장부, 또는 프로세싱 디바이스 사이에 어소시에이션을 구성한다. 일부 실시예에서, 디바이 스 데이터베이스(1204) 및 디바이스 어소시에이션(1208)은, 예를 들어, 컨텐트 검색부(1206)에 의한 다른 기능에 의해 분리되어 접근될 수 있는 다른 기능이다. 일부 실시예에서, 디바이스 어소시에이션(1208) 및 디바이스 데이터베이스(1204)는 공통 기능의 컴포넌트로 통합될 수 있다.
컨텐트 검색부(1206)는, 특히, 디바이스 정보 및 디바이스 관련 정보를 얻기 위해 디바이스 데이터베이스(1204) 및 디바이스 어소시에이션(1208)과 통신한다. 일부 실시예에서, 디바이스 테이터베이스(1204) 및/또는 디바이스 어소시에이션(1208)은 네트워트(1202)와 같은 네트워크를 사용하여 컨텐트 검색부(1206)와 통신한다.
디바이스 데이터베이스(1204), 이 디바이스 어소시에이션(1208), 및 컨텐트 검색부(1206)는 "서비스 제공자"를 구성할 수 있다. 서비스 제공자는 클라이언트 요청을 충족하는 정보 및/또는 서비스의 네트워크 접근가능한 제공자이다. 서비스 제공자는 예약-기반, 광고 지원, 사용-당-페이, 및 컨텐트 및/또는 통신 서비스 처리-당-페이로 제공할 수 있다.
컨텐트 검색부(1206)는 컨텐트 로케이션 및 검색 기능을 포함한다. 컨텐트는 텍스트, 디지털 사운드 또는 음악, 또는 다나 이상의 디지털 이미지 또는 비디오 중 적어도 하나이다. 이 컨텐트 검색(1206)은 휴대용 스캐너(1210)에 의해 스캐닝된 정보에 의해 식별되고, 관계되고, 그리고/또는 대응하는 컨텐트를 가진다.
컨텐트 검색부(1206)는 네트워크(1202)와 통신하고, 휴대용 스캐너(1210)와 연관된 I/O, 저장부, 또는 프로세싱 디바이스에 로케이팅된 컨텐트를 제공한다.
연관 디바이스는, 특히 이미지/비디오 렌더링 시스템(1212) 또는 오디오 렌더링 시스템(1214)이다. 몇몇의 디바이스(예를 들어 통합 디바이스(1216))는 오디오 및 이미지/비디오 시스템(1212,1214)을 포함한다. 그런 통합 디바이스(1216)의 예로서 랩탑 컴퓨터, 데스크탑 컴퓨터, 텔레비젼, 다수 사용자 컴퓨터 시스템 또는 키오스크를 포함한다.
휴대 스캐너(1210)와 연관될 수 있는 다른 디바이스는 데이터 저장 디바이스(1220) 또는 프린터를 포함한다. 데이터 저장 디바이스(1220)의 예는 컴퓨터 하드 드라이브, 휴대 플래시 저장 디바이스, 휴대 음악 및/또는 비디오 및/또는 전자책 플레이어(예를 들어, 휴대 콘텐츠 플레이어), 및 광 저장 매체를 포함한다. 랩탑, 데스크탑, 및 네트워크 기반 컴퓨터와 같은 연산 자원은 스캐너(1210)와 연관된 프로세싱 능력을 향상시키기 위하여 휴대 스캐너(1210)와 연관될 수 잇다.
콘텐츠가 전달되어야 할 디바이스를 식별하는 것은 연관된 디바이스에 대한 디바이슬 식별자를 수신하는 것을 포함할 수 있다. 디바이스 식별자는 스캐너와 연관된 휴대 디바이스(1218) 또는 스캐너(1210)에 의해 제공되어 질 수 있다. 디바이스 식별자의 예는 바코드, 유일한 디바이스 시리얼 넘버, 인터넷 프로토콜 어드레스와 같은 네트워크 어드레스, 영숫자 코드, 또는 유일한 디바이스 이름일 수 있다.
몇 실시예에서, 연관된 디바이스의 네트워크 어드레스는 필수적이지만 연관되 디바이스의 식별자는 그렇지 않다. 시스템은 어떤 경우에 연관된 디바이스의 능력의 완전한 이해 없이도 작동할 수 있다. 다른 경우, 그 능력은 추론될 수 있 다. 예를 들어, 디바이스가 웹 브라우저를 통해 통신 세션 식별자를 요청하고, 스캐너가 이어서 통신 세션 식별자를 시스템에 제출하면, 디바이스는 세션 식별자가 스캔되는 디스플레이를 가지고 있을 것이다.
몇 실시예에서, 스캐너를 식별하는 유일한 사용자(또는 디바이스) ID와 연관되도록 하기 위해 하나 이상의 디바이스가 스캐너의 사용자에 의해 "등록"된다. 예를 들어, 스캐너의 사용자에 의해 소유된 랩탑 컴퓨너는 스캐너의 유일한 사용자 및/또는 디바이스 ID와 연관된 "디바이스 ＃1"로 등록될 수 잇다. (따라서, 연관 디바이스 식별자는 단일 사용자에 의해 등록된 제한된 수의 디바이스라면 매우 간단할 것이다) 연관 디비이스는 현재의 네트워크 어드레스를 서비스 프로바이더에게 자동저으로 등록하는 로직을 포함할 수 있다(네트워크 어드레스는 예를 들어, 랩탑 이 새로운 위치로 이동되고, 인터넷과 새로운 연결을 설립할 때마다 자주 바뀌기 때문이다). 이것은 서비스 프로바이더와 새로운 세션을 개시할 때 사용자의 작업을 간단하게 한다. 왜냐하면, 사용자는 단지 연관 디바이스의 식별자를 스캔만하고, 자동적으로 서비스 프로바이더에게 연관 디바이스를 참조하고, 현재의 네트워크 어드레스를 검색하고 이후의 시스템 응답을 지정된 디바이스로 전달하도록 하는 명령을 전달하기 때문이다. 게다가, 서비스 프로바이더의 시스템의 관리가 서비스 프로바이더에게 알려진 모든 디바이스에서 유일한 식별자의 세트를 생성하고 유지할 필요가 없기 때문에 간단하다. 서비스의 각각의 사용자는 단순히 사용될 디바이스를 등록하면 되고, 긴 시리얼 넘버와 같은 복잡한 디바이스 식별자를 적용(및 이후에 적용)할 필요가 없다.
게다가, 주어진 스캐너(및/또는 사용자)와 연관된 좁은 영역의 디바이스로부터 디바이스를 선택하는 것은 바람직한 디바이스를 식별하기 위해 다양한 방법을 사용할 수 있도록 해준다. 예를 들어, 디바이스는 선택된 아이콘을 스캔하거나, 스캐너로 특정 제스춰를 수행함으로써 식별될 수 있다.
디바이스 식별자는 그것을 스캔하고 그것을 콘텐츠 위치 및 저장(1206, 서비스 프로바이더) 시스템으로 전달함으로써 제공될 수 있다. 몇 실시예에서, 시스템은 디바이스 식별자가 휴대 스캐너(1210)에 의해 스캔될 수 있도록 디바이스의 시각적인 디스플레이상에 나타나도록 한다. 사용자는 상기 디바이스에 첨부된 시리얼 넘버로부터 디바이스 식별자를 스캔하거나, 디바이스에 첨부된 바코드로부터 스캔할 수 있다. 연관 디바이스의 식별자는 스캐너(1210)에 의한 콘텐츠 요청/위치 지정/검색 동작과 함께 또는 전에 제공될 수 있다.
몇 실시예에서, 시스템은 하나 이상의 디바이스를 적어도 부분적으로 휴대 스캐너(1210)의 위치와 가까이 있기 때문에 휴대 스캐너(1210)와 연관시키기 위해 선택한다. 몇 실시예에서, 시스템은 GPS 위성 위치 정보, 다수 RF 송수신기를 이용하여 삼각측량된 정보 및/또는 휴대 스캐너(1210) 근처에 사용중인 Wi-Fi 또는 다른 무선 액세스 포인트 위치를 이용하여 휴대 스캐너(1210)의 위치를 식별한다.
몇 실시예에서, 시스템은 위치지정된 콘텐츠의 타입(예를 들어 텍스트, 비디오, 아니면 오디오인지)의 특징을 검사하고, 근처의 후보 디바이스가 상기 콘텐츠 타입의 렌더링을 지원하는 지를 결정함으로써 휴대 스캐너와 연관시키기 위한 하나 이상의 디바이스를 선택한다.
몇 실시예에서, 연관 디바이스에 대한 디바이스 식별자는 연관 디바이스의 네트워크 어드레스를 식별하기 위해 사용된다. 디바이스 식별자는 시스템에 알려진 모든 다른 디바이스로부터 상기 디바이스를 구별하는 유일한 ID이거나, 스캐너(1210)와 연관된 유일한 사용자 및/또는 디바이스 ID(1222)와 함깨, 상기 시스템에 대해 상기 디바이스를 유일하게 식별하도록 작용하는 식별자일 수 있다. 네트워크 어드레스는 여러 가능성 중에서도 IP 어드레스, MAC 어드레스, URL, 또는 정보가 전달된느 특정 디바이스인 것으로 네트워크(1202)에 의해 인식되어 지는 디바이스 이름 또는 식별자를 포함한다.
몇 실시예에서, 시스템은 휴대 스캐너(1210)가 상기 디바이스와 연관되어 있는 한 휴대 스캐너(1210)를 사용하는 사람에 의해 배타적 사용되도록 연관 디바이스를 구성하는 것에 의해 위치지정된 콘텐츠를 연관 디바이스에 전달한다. 연관 디바이스를 스캐너(1210)를 사용하는 사람에 의해 배타적인 액세스가 되도록 구성하는 것은 공중 또는 반공중 환경에서 특히 중요하다.
몇 실시예에서, 시스템은 휴대 스캐너(1210) 및/또는 연관 휴대 디바이스(1218)에 그 액세스가 연관된 I/O 또는 저장 디바이스에 의해 제어되는 정보에 액세스를 제공한다. 그런 정보의 예는 스캐너(1210)의기능을 가능 및/또는 용이하게 하는 정보이고, 키워드 정의, 문서 인덱스, OCR /또는 음성 인식을 용히하게 하는 테이블 및 파라미터를 포함할 수 있다.
도 13 은 스캔 디바이스 및 서비스 프로바이더에 연관되는 전형적인 쿼리 세션을 도시하는 블록 다이어그램이다. 이 실시예에서, 세션 지향 애플리케이션은 웹 브라우저이다.
휴대 스캐너(1210)는 디스플레이(1302)를 포함하는 컴퓨터 시스템과 상호작용하고 상기 컴퓨터 시스템으로부터 정보를 캡쳐한다. 컴퓨터 시스템의 예는 데스크탑, 랩탑, 또는 휴대용 컴퓨터, PDA, 또는 셀룰러 또는 다른 무선폰을 포함한다. 컴퓨터 시스템은 웹 브라우저(1304) 로직을 포함한다. 웹 브라우저(1304)는 서버를 가진 네트워크를 통해 일반적으로 통신한다. 서버는 인터 알리아, 웹 서버, CGI 스크립터 서버, 사설 네트워크(인트라넷) 서버, 또는 유선 또는 무선 전화 지원 네트워크의 서버를 포함한다.
웹 브라우징 세션은 세션 식별자(세션 ID 1306)에 의해 특정지워진다. 세션 ID(1306)는 브라우저 통신 세션을 유일하게 식별하는 코드이다. 세션 ID(1306)의 예로서는 HTTP 세션 ID 뿐만 아니라 다른 프로토콜 세션 ID이다. 몇 실시예에서는, 웹 브라우저(1304)가 서비스 프로바이더(1308)에 속하는 웹 사이트를 지정하는 URL로부터 웹 페이지를 로드하도록 되어 있을 때, 서비스 프로바이더(1308)는 웹 브라우저(1304)로부터의 요청과 연관된 네트워크 어드레스를 기록하고, 유일한 세션 ID 코트(1306)가 디스플레이되는 웹 페이지를 돌려준다. 서비스 프로바이더(1308)는 유일한 세션 ID 코트(1306) 및 웹 브라우저(1304) 애플리케이션을 제공하는 디바이스의 네트워크 어드레스의 연관을 (예를 들어, 디바이스 연관 데이터베이스(1208)에)기록한다.
세션 식별자(1306)는 브라우저(1304)의 사용자에게 디스플레이될 수 있다. 세션 식별자(1306)가 디스플레이될 수 있도록 특정 기능이 웹 브라우저(1304)에 제 공될 수 있다. 휴대 스캐너(1210)는 유일한 스캐너 및/또는 사용자 ID(1222)와 함께 스캔된 유일 세션 ID 코드(1306)를 서비스 프로바이드(1308)에게 스캐너(1210)가 서비스 프로바이더(1308)와 통신하게 해주는 하나 이상의 네트워크 통신 채널을 이용하여 전달한다. 이것은 쿼리 세션을 개시하는 서비스 프로바이더(1308)에의 요청을 포함한다. 이후의 스캔(예를 들어, 이후의 쿼리)에 대한 응답은 세션 ID(1306)에 이전에 연관된 네트워크 어드레스에 있는 웹 브라우저(1304)에 전달되어 진다. 몇 실시예에서, 시스템은, 상기 시스템이 연관된 디바이스(1302)를 통해 쿼리 세션을 개시하도록 하는 목적 및 사용자를 정확하게 식별하였다는 것을 사용자에게 확인해주는, 웹 브라우저(1304)상에 디스플레이될 수 있는 쿼리 세션 개시 요청 긍정응답에 응답한다. 사용자가 쿼리 세션을 종료하면, 예를 들어 "엔드 세션(end session)"아이콘 또는 명령이 연관 디바이스(1302)의 디스플레이로부터 스캔되고, 현재의 세션을 종료하도록 서비스 프로바이더(1308)에 전달될 수 있다. 서비스 프로바이더(1308)는 그 후 웹 브라우저(1304)에 디스플레이를 클리어하도록(세션에서 이전에 디스플레이된 어느 잠재적으로 민감한 정보를 제거하고) 하고, 새로운 커리 세션을 개시하기 위해 스캐되는 새로운 유일 세션 ID코드(1306)를 디스플레이한다. 유사하게, 서비스 프로바이더(1308)에 의해 스캐너(1210)로부터 어떠한 통신이 수신되지 않는 동안의 사전 결정된 시간 간격이후에, 세션은 자동적으로 시간 종료되고, 유사하게 종료될 것이다.
쿼리 세션 개시 요청을 전달한 이후, 휴대 스캐너(1210)는 프린트된 소스로부터 정보를 스캔한다. 스캔된 정보는 텍스트, 바코드, 그림표지, 및/또는 다른 프린트된 소스의 식별자를 포함한다. 스캔된 정보는 제품 이름, 바코드, 회사 이름, 로고, 상표, 또는 제품의 다른 식별자를 포함한다. 스캔된 정보는 노래 제목, 아티스트 이름, 시집 이름, 및/또는 음악 콘텐츠의 다름 식별자를 포함한다. 스캔된 정보는 이미지 이름, 캡션, 헤딩, 및/또는 이미지 콘텐츠의 다른 식별자, 또는 영화 제목, 배우 이름, 제작자 이름, 감독 이름, 스튜디오 이름, 제품 이름, 또는 비디오 콘텐츠의 다른 식별자를 포함한다.
다른 가능한 부가적인 정보와 함께, 적어도 하나의 스캔에 의해 캡쳐된 정보(스캔된 세션 ID(1306)를 포함하여)는 콘텐츠 요청내에 합체될 것이다. 스캔된 정보는 하나 이상의 통신하에서 서비스 프로바이더(1308)에게 전달될 것이다. 서비스 프로바이더(1308)는 세션 ID 코드(1306)를 적어도 부분적으로 콘텐츠를 웹 브라우저(1304)로 다시 인도하는데 적용할 것이다. 이것은 웹 브라우저(1304)가 휴대 스캐너(1210)의 활동의 결과로 전달된 콘텐츠를 수신하도록 할 것이다.
전달된 콘텐츠는 정보가 스캔되는 프린트된 문서의 전자적 버전, 스캔의 정보와 연관된 디비털 음악, 디지털 음석 기록, 오디오 뉴스 또는 논평, 오디오 제품 정보, 또는 다른 기록된 또는 합셩된 사운드, 적어도 하나의 디지털 이미지, 디지털 사진, 제품 이미지 도는 디디오, 뉴스 리포트 또는 만평의 비디오, 또는 다른 디지털 이미지 또는 비디오를 포함한다.
도 14 는 스캐너 연관 디바이스에 콘텐츠를 제공하기 위해 시스템에 으해 디바이스 사이에 수행되는 상호작용을 보여주는 작용 흐름도이다.
상호작용(1402)에서, 웹 브라우저 로직을 포함하는 디스플레이 디바이스는 서비스 프로바이더(예를 들어, 디바이스 연관 및/또는 디바이스 데이터베이스를 포함하는 시스템)에 요청을 전달하여 상기 브라우저와 연관된 네트워크 어드레스와 함께 디바이스 연관 데이터베이스에 기록되는 유일한 세션 ID 코드를 생성하도록 한다. 상호 작용(1404)에서, 유일한 세션 ID가 생성되어 연관된 네트워크 어드레스에 있는 브라우저로 다시 전달된다. 상호 작용(1406)에서, 유일한 세션 ID는 디스플레이된 위치로부터 스캔된다. 상호 작용(1408)에서, 쿼리 세션 개시 요청이 유일한 사용자 및/또는 스캐너 ID 및 유일한 세션 ID 코드를 포함하는 서비스 프로바이더에 전달된다. 서비스 프로바이더는 상호 작용(1408)에서 발행된 요청에 포함되는 있는 유일한 세션 ID 코드를 디바이스 연관 데이터베이스에 기록된 네트워크 어드레스를 식별하기 위해 적용되고, 쿼리 세션 긍정응답은 상호 작용(1410)에서 식별된 네트워크 어드레스에 있는 디바이스로 전달된다. 브라우저는 쿼리 세션 요청 긍정 응답을 스캐너의 사용자에게 디스플레이한다. 서비스 프로바이더는 또한, 디바이스 연관 데이터베이스에서, 유일한 세션 ID 가 지금 스캐너의 사용자에 의해 "소유"되고 있다는, 즉 다른 휴대 스캐닝 디바이스가 이 세션 ID와 연관될 수 없다는 것을 기록한다. 서비스 프로바이더는 유일한 사용자 및/또는 스캐너 ID를 현재 확성화된 세션 ID 코드 및 연관된 네트워크 어드레스와 연관시킨다.
상호 작용(1412)에서, 스캐너는 스캔된 정보(REQ)를 콘텐츠 검색 기능으로 전달한다. 콘텐츠 검색은 스캔된 정보에 응답하여 제공하여야 할 콘텐츠를 결정한다.
몇 실시예에서, 콘텐츠 타입은 상호 작용(1414)에서 디바이스 데이터베이스 로 전달된다. 콘텐츠 타입은, 적어도 부분적으로, 하나 이상의 디바이스가 스캐너와 현재 활성화되어 연관되어 있는 경우에 어떤 연관 디바이스가 가장 콘텐츠를 랜더링하기에 적당한지를 결정하는 데 사용될 수 있다. 콘텐츠에 대한 적당한 디바이스가 이용가능하지 않다고 식별되면, 적당한 렌더링 디바이스가 이용가능할 때 나중에 그런 콘텐츠가 액세스될 수 있도록, 그런 콘텐츠에 대한 링크 또는 콘테츠 자체는 데이터베이스에 저장되고, 사용자에 대해 미리 결정된 어드레스로 이메일 전송되거나, 또는 달리 유지될 것이다.
상호 작용(1416)에서, 디바이스 데이터베이스는 연관 디바이스 어드레스 또는 네트워크 어드레스를 콘텐츠 검색으로 전달한다. 상호 작용(1418)에서, 콘텐츠 검색은 콘텐츠를 연관 디바이스에 제공한다.
몇 실시예에서, 상기 시스템은 저장 디바이스를 프린트된 문서의 스캔에 응답하여 상기 시스템에 의해 전달된 전자적 콘텐츠(오디오, 비디오, 디지털 문서 등등)를 저장할 목적으로 사용자의 스캐너에 연관시킨다. 예를 들어, 저장 능력을 가지는 디바이스(하드 드라이버, 기록가능한 DVD, CD-ROM 등등을 가지는 컴퓨터와 같이)을 유일하게 식별하는 식별자를 스캐닝함으로써, 상기 시스템은 프린트된 문서의 스캔(휴대 스캐너로부터 발생하는)에 응답하는 콘텐츠의 미래의 전달이 대응하는 저장 디바이스에 전달되고, 이후의 검색을 위해 아카이브에 수록되도록 그 데이터베이스를 수정할 것이다.
몇 실시예에서, 상기 시스템은 사용자의 위치 및 상기 사용자의 휴대 전자 디바이스와 연관될 수 있는 근처의 디바이스를 결정할 것이다. 상기 시스템은 사 용자의 위치를 휴대 디바이스의 보드 장착 GPS의 방법이나, 무선 신호의 삼각측량, 상기 디바이스를 지원하는 통신 네트워크 송수신기의 위치를 결정하는 방법, 사용자에게 쿼리하는 방법, 또는 다른 적당한 방법으로 결정할 것이다.
몇 실시예에서, 상기 시스템은 휴대 스캐닝 디바이스로 연동하여 사용되는 I/O 디바이스에 대한 위치 정보를 가지는 디바이스 데이터베이스를 유지한다. 시스템이 I/O 디바이스와 연관을 위한 휴대 스캐너로부터의 요청을 수신하면, 상기 시스템은 휴대 스캐너의 위치를 결정하고, 그 후 상기 디바이스 데이터베이스를 참조함으로써 적당한 후보군을 식별한다.
몇 실시예에서, 상기 시스템은 사용자가 휴대 스캐너와 디바이스의 연관을 미리 설정할 수 있도록 해준다. 하나의 실시예로서, 사용자는 자신의 집 컴퓨터가 그의 스캐너로부터의 콘텐츠 요청의 수신자로서 지정되기를 원할 것이다. 이것을 하기 위해, 사용자는 서비스 프로바이더의 웹사이트에 액세스하고, 스캔된 쿼리에 대한 응답을 수신하도록 되어 있는 데이터 저장소(예를 들어, 집 컴퓨터) 및 디바이스의 식별자를 수동적으로 입력한다. 대안적으로, 상기 시스템은 수신 디바이스를 자동적으로 식별하도록 명세서 전반에 걸쳐 논의된 다양한 스캐닝 방법을 이용한다.
몇 실시예에서, 공중 키오스크는 동적 세션 ID를 디스플레이한다. 키오스크는 인터넷 또는 기업 인트라넷과 같은 통신 네트워크에 연결되어 있다. 연결은 케이블 모뎀, 전화 시스템(PSTN, ADSL, DSL, 셀룰러 등), 무선 로컬 영역 네트워크(WLAN, IEEE802.11 등등) 또는 다른 적당한 액세스 방법에 의할 수 있다. 세션 ID는 주기적으로 변하나, 새로운 세션 ID가 새로운 사용자마다에게 디스플레이될 수 있도록 적어도 키오스크가 사용될 때마다 변한다. 키오스크를 사용하기 위해서는, 사용자는 키오스크에 의해 디스플레이된 세션 ID내에서 스캔한다; 세션 ID를 스캔함으로써, 사용자는 상기 시스템에 프린트된 문서의 스캔으로부터 기인하는 콘텐츠의 전달을 위해 그 스캐너와 키오스크를 일시적으로 연관시키기를 원한다는 것을 알려준다. 스캐너는 세션 ID 및 스캐너를 인증하기 위한 정보(시리얼 넘버, 어카운트 넘버, 또는 다른 식별 정보)를 직접적으로 상기 시스템에 전달(셀룰러 단문 메시지 서비스와 같은 무선 통신을 통하거나, 상기 통신 네트워크에 키오스크의 링크를 사용함으로써)한다. 예를 들어, 스캐너는 세션 개시 정보를 키오스크에 전달(블루투스와 같은 근거리 RF를 통해)함으로써 키오스크 통신 링크를 적용할 것이다. 키오스크는 그 후 세션 개시 정보를 인터넷 연결을 통해 서비스 프로바이더의 시스템에 전달한다. 스캐너는 세션 개시 메시지를 사용자의 셀룰러폰(블루투스를 통해 사용자의 스캐너와 쌍으로 되는)을 통해 전달함으로써 서비스 프로바이더의 시스템과 직접적으로(여기에서, "직접적"이라는 의미는 키오스크를 통해 메시지의 전달이 없다는 것이다) 통신한다.
몇 실시예에서, 시스템은 디바이스가 스캐너와 연과되어 있는 주기(세션)동안 스캐너와 연관된 디바이스를 다른 것이 사용하지 못하도록 한다. 이러한 특질은 다른 것이 이전 세션이 종료하기 전에 공중 키오스클 사용하지 못하도록 하는 데 매우 유용하다. 인터넷 카페에서 컴퓨터의 사용과 관련된 이러한 개념의 한 예로서, 사용자는 키오스크 디스플레이로부터 세션 ID를 스캐닝함으로써(또는 휴대 스캐너상의 키패드 또는 터치스크린을 통해 기입하거나) 세션을 개시하고; 시스템은 그 데이테베이스내에 상기 세션 ID를 다른 스캐너가 세션 ID를 스캔하고 그의 세션동안 키오스크를 사용하지 못하도록 그의 스캐너의 시리얼 넘버(또는 사용자 및/또는 사용자의 스캐너를 유일하게 식별하는 다른 식별자)를 상기 세션 ID와 연관시킨다. 스캐너는 상기 디스플레이와연관된 컴퓨너와 통신(블루투스와같은 무선 링크, 독킹 스테이션과 같은 하드와이어드 링크를 통해)하거나, 셀루라폰과 같은 다른 수단에 의해 서비스 프로바이더 시스템과 직접적(컴퓨터를 통하지 않고) 통신할 수 있다.
몇 실시예에서, 휴대 스캐너의 기능은 연관 디바이스에 따라 변화될 수 있다. 예를 들어, 휴대 스캐너가 OCR 능력을 가진 근처의 컴퓨터와 연관되어 있다면, 스캐너는 스캔된 이미지를 데이터를 컴퓨터로 전달할 것이고, 연관된 컴퓨터가 OCR 능력을 가지지 않았다면, 휴대 스캐너는 스캔된 이미지를 텍스트로 변환하기 위해 온보드 OCR 기능을 적용하고 이 텍스트를 서비스 프로바이더에게 전달할 것이다.
몇 실시예에서, 스캐너는 스캐닝보다는 무선 통신(예를 들어 블루투스 링크)에 의해 컴퓨터로부터 통신 세션 식별자를 획득한다. 예를 들어, 휴대 스캐너가 컴퓨터와 블루투스 연결을 만든 후에, 사용자가 휴대 스캐너로 스캔하도록 컴퓨터 디스플레이상에 그것을 디스플레이하기 보다는, 컴퓨터는 블루투스 연결을 통신 세션 식별자를 스캐너에게 전달하기 위해 사용한다.
몇 실시예에서, 시스템은 휴대 전자 디바이스보다 더 나은 비디오 또는 오디 오 능력을 가지는 다른 디바이스를 연관시킴으로써 휴대 전자 디바이스에 대한 사용자 인터페이스를 향상시킨다. 예를 들어, 공항에서 비행기를 기다리는 가입자는 텔레비젼 가이드를 브라우저하고 그가 보기를 원하는 쇼를 알게 된다. 서비스 프로바이더의 웹사이트를 브라우저하도록 그의 컴퓨터상의 웹 브라우저를 사용하면, 가입자는 그의 랩탑 컴퓨너로 전달되는 통신 세션 식별자를 얻을 수 있다. 통신 세션 식별자 및 텔레비젼 가이드로부터 쇼를 식별하는 정보를 스캐닝하면, 가입자는 랩탑 컴퓨터를 그가 가지기를 원하는 비디오 콘텐츠(텔레비젼 쇼)가 전달되어야 할 위치로 식별시킨다. 시스템은 그것을 랩탑 컴퓨터로 전송하기 전에 가입자가 상기 콘텐츠를 액세스할 적당한 권한(에를 들어, 그가 '케이블 텔레비젼' 서비스 계약을 가지는자; 광대역 인터넷 액세스가 상기 비디오 전달을 위해 필요하다면 그가 인터넷 서비스 프로바이더와 광대역 서비스 계약을 가지는 지 등)을 가지는 지를 체크할 것이다.
퍼스널 컴퓨터
몇 실시예에서, 휴대 문서 데이터 갭쳐 디바이스는 퍼스널 컴퓨터의 동작을 제어한다. 휴대 디바이스는 PC가 소프트웨어 애플리케이션을 실행하거나 및/또는 다른 동작을 실행하도록 하는 데이터 및 명령을 PC로 전달한다. 예를 들어, 컴퓨터와 LCD 프로젝터로 파워포인트 프리젠테이션을 하고자 할 때, 사용자는 파워포인트 슬라이드의 문서 카피를 스캐닝함으로써 컴퓨터의 동작을 제어할 수 있다. 사용자는 슬라이드로부터 정보를 스캔하여 컴퓨터가 상기 슬라이드를 진행시키도록 한다. 휴대 디바이스는 랜더링된 문서로부터 워드 프로세싱 소프트웨어, 웹 브라 우저, 및 다른 소프트웨어 애플리케이션을 제어하도록 이용되어 질 수 있다. 사용자는 휴대 디바이스로 퍼스널 컴퓨터를 제어함으로써 전자 문서를 편집하고, 인터넷을 통해 물건 구입을 하고, 메시지를 전달할 수 있다.
편집
몇 실시예에서, 휴대 데이터 캡쳐 디바이스는 호스트 컴퓨터에 대한 데이터 입력 디바이스로 작용할 수 있다. 휴대 디바이스 및 호스트 컴퓨터는 워드 프로세싱 소프트웨어와 함께 작동하여, 강력한 문서 편집 시스템을 구성한다.
문서 편집 시스템은 컴퓨터의 워드 프로세싱 애플리케이션에서 문서에 대한 편집 명령으로서 프린트된 표면상에 사용자의 움직임을 반영하고 및/또는 해석한다. 휴대 디바이스의 사용에 의해, 사용자는 워드 프로세싱 소프트웨어가 북마크, 강조/밑줄/볼드체/이탤릭체 텍스트, 자름, 복사, 붙여넣기, 검색, 저장 및 인쇄와 같은 다양한 기능을 수행하도록 한다.
몇 실시예에서, 휴대 디바이스상의 강조 지시자의 색깔은 디지털 카피에서 나타날 강조의 색깔을 지시한다. 몇 실시예에서, 색깔있는 광은 사용자에게 디지털 카피에서 나타나는 강조의 색깔, 캡쳐 디바이스의 상태 등등을 지시하기 위해 종이로 반사될 수 있다.
VCR
몇 실시예에서, 휴대 데이터 갭쳐 디바이스는 비디오 기록 디바이스를 제어할 수 있다. 예를 들어, 텔레비젼 가이드로부터의 데이터를 캡쳐함으로써, 휴대 디바이스는 비디오 기록 디바이스가 소정의 텔레비젼 프로그램을 기록하도록 프로 그램하는 명령을 전달할 수 있다. 몇 실시예에서, 휴대 디바이스는 적외선(IR) 통신에 의해 비디오 기록 디바이스에 명령을 전달할 수 있다.
상태 지시자
휴대 데이터 캡쳐 디바이스의 사용자 인터페이스는 사용자에게 디바이스의 현재 상태에 대해 알려줄 수 있다. 디바이스는 시각적, 청각적, 촉감적 지시자에 의해 사용자에게 경보를 발할 수 있다. 몇몇의 더 유용한 사용자 인터페이스 상태 지시가가 아래에 기술될 것이지만, 그러나 이것이 가능한 모든 리스트는 아니다.
충분한 스캔 지시자
몇 실시예에서, 휴대 캡쳐 디바이스는 사용자에게 문서를 식별하기에 충분한 정보가 캡쳐되었다는 것을 지시한다. 예를 들어, 휴대 스캐너는 특정 스캔이 유일하게 문서를 식별하였다는 것을 지시하는 소정의 임계값을 저장할 수 있다. 임계값이 충족되거나 초과하는 경우, 휴대 스캐너는 사용자에게 사용자 인터페이스를 통해 충분한 정보가 상기 문서를 식별하기 위해 스캔되었다는 것을 지시한다. 이러한 소정의 임계값은 발견적 방법(즉, 비형식적인 방법), 통계 분석, 또는 다른 적당한 방법에 기초하여 결정될 수 있다.
휴대 데이터 캡쳐 디바이스는 충분한 정보가 사용자 인터페이스의 시각적, 청각적, 촉감적 능력에 의해 스캔되었다는 것을 사용자에게 지시한다. 스캔된 정보가 소정의 임계값을 충족하거나 초과한다고 결정되면, 디바이스의 프로세서는 사용자 인터페이스에 정보가 스캔되는 문서를 식별하기에 충분한 정보가 스캔되었다는 것을 사용자에게 전달하도록 지시할 것이다.
몇 실시예에서, 충분한 스캔 지시자가 스캔의 "충분성"의 다양한 레벨의 확신을 지시한다. 예를 들어, 빨간 광은 충분치 않은 텍스트가 캡쳐되었다는 것을 지시하고, 노란 광은 50%정도의 충분성을 가진 텍스트가 캡쳐되었다는 것을 지시하고, 녹색 광은 거의 완전히 충분한 텍스트가 캡쳐되었다는 것을 지시할 수 있다.
충분성 결정 방법
몇 실시예에서, 상기 시스템은 충분성 임계값을 결정하기 위해, 쓰여진 표현의 독특한 캐릭터의 관찰에 기초한 발견적 방법을 이용한다. 대부분의 문서는 10 단어(20-50 정도의 캐릭터나 기호)보다 적은 스캔으로 유일하게 식별될 수 있다. 이러한 발견적 방법은 테스트되는 모든 언어에 적용할 수 있다. 4-10 단어 범위의 스캔이 복제된 문서의 결과로 나타나면, 사용자는 더 좁은 결과를 위하여 추가의 단어를 스캔하도록 프롬프트될 수 있다.
휴대 디바이스에서 로직을 프로세싱하는 것은 스캔이 소스 문서를 유일하게 식별할 수 있는지 없는지를 결정할 수 있다. 몇 실시예에서, 충분성 임계값이 이전의 스캔의 관찰에 기초한 매개변수화된 비형식적인 방법이다. 예를 들어, 스캐너는 8 단어가 유일하도록(여기서, "단어"는 뛰움사이의 일련의 캐릭터이다) 프로그램될 수 있다. 대안적으로, 스캐너는 캡쳐된 텍스트가 모두 각각 3개의 캐릭터보다 긴 적어도 6 단어를 가지기를 요구하는 충분성 임계값으로 프로그램될 수 있다. 다른 접근방법은 어떤 물리적인 거리(예를 들어, 텍스트의 4 인치의 스캔은 표준 폭 페이지의 하나의 라인의 절반이상이 될 것이다)의 스캔이후에 스캔이 유일하다고 결정하는 것이다. 다른 접근 방법은 단어보다는 스캔되는 캐릭터에 기초하 여(예를 들어, 40 캐릭터 이후에 스캔이 유일하다) 임계값을 설정하는 것이다. 다른 대안으로, 스캔 충분성은 스캔된 텍스터를 검색 엔진으로 송부하고, 검색 결과를 수신함으로써 결정될 수 있다. 검색 엔진이 유일한 매치를 전송하면, 스캔은 충분하다. 스캔이 유일하다고 결정하는 다른 방법은 2차원의 바코드와 같은 임베이드된 데이타가 발견되면, 유일하게 식별되었다는 정보를 전달하도록 디자인하는 것이다.
콘텍스트는 문서나 문서내의 특정 위치를 식별하기 위해 필요한 캡쳐되는 정보의 양에 영향을 미친다. 시스템이 특정 스캔에 대해 더 많은 콘텍스트를 안다면, 유일성을 위해 더 짧은 구문이 요구된다. 공지의 문서내에서, 상기 시스템은 문서내에서 유일하다고 하기 위해 필요한 것을 지시하는 서브인덱스를 계산한다. 즉, 시스템이 문서내의 모든 텍스트를 알고 있기 때문에, 시스템은 캐릭터 및/또는 단어의 조합이 모호한지 아닌지를 결정할 수 있다. 특정 문서에서 명화하기 위해서 얼마나 많은 텍스트가 캡쳐되어야 하는 지는 문서내의 전체 캐릭터 수, 단어 길이, 문서내에서 단어가 몇 번 사용되었는지의 함수이다. 수학적으로 표시하자면, 이러한 관계의 일 예는: 충분성=f(캐릭터의 전체수, 반복되는 캐릭터의 수, 단어 길이)이다.
임계값 방법은 휴대 데이터 캡쳐 디바이스가 캡쳐된 텍스트가 유일한지 아닌지를 실시간으로 사용자에게 지시할 수 있도록 해준다.
검색을 검색엔진에 전달하는 방법을 사용할 때, 유일성은 하나 또는 제로 히트-즉, 다른 인덱스된 문서가 검색 쿼리에 매칭하는 콘텐츠를 가지고 있지 않다, 에 의해 결정된다.
스캔의 충분성을 결정하기 위해 단어 카운트 임계값을 이용하는 경우, 스캔된 단어의 길이는 문서 또는 영역을 충분히 식별하기 위해 필요한 단어의 수에 영향을 미친다. 긴 단어는 일반적으로 짧은 단어보다 더 많은 명확성을 가진다. 따라서, 단어 "amalgamation"은 단어 "the" 보다 더 명확한 값을 가니다. 단어 길이는 OCR 이전에 있어서도, 캐릭터 스트링에 흰 여백이 있는지를 관찰함으로써 결정될 수 있다. 중간에 흰 여백을 가지지 않은 많은 수의 캐릭터는 높은 명확한 값을 가지는 긴 단어임을 지시한다. 적은 수의 캐릭터가 많은 수의 흰 여백에 의해 분리되어 있다는 것은 더 낮은 명확한 값을 가지는 짧은 단어를 의미한다.
폰트 크기, 색채 및 폰트 타입에 관한 정보는 명확화에 매우 유용하다. 이러한 특질을 안다는 것은 문서 또는 영역을 식별하기에 필요한 텍스트의 양을 줄일 수 있다.
매입된 제어 데이타 지시자
몇 실시예에서, 휴대 데이타 캡쳐 디바이스는 사용자가 문서내에 매입된 제어 데이타를 접하는 때에 사용자에게 경고한다. 예를 들어, 알려진 키워드를 접할 때 사용자에게 경고할 수 있다. 다른 예로서, 휴대 디바이스는 사용자에게 마크업 레이어로 문서내에 설정된 활성 영역으로 경고할 수 있다. 또 다른 예로서, 디바이스는 비가시적인 특질을 가진 잉크(예를 들어, UV/IR 잉크)로 매입된 제어 데이터나 2차원 바코드를 접할 때 사용자에게 경고할 수 있다.
콘텍스트 지시자
몇 실시예에서, 휴대 디바이스는 사용자에게 디바이스가 현재의 콘텍스트를 인식하거나 인식하지 않는지를(예를 들어, 디바이스가 사용자가 현재 작업하고 있는 문서나 알려진 문서내의 영역의 아이덴터티를 알고 있는지 등) 지시한다. 콘텍스트 "락"은 피-코머스(p-commerce) 애플리케이션에 특히 유용하다. 예를 들어, 콘텍스트 지시지가 시스템이 시스템의 카탈로그로부터 아이템을 스캐닝하고 있다는 것을 알고 있다는 것을 사용자에게 알려준다. 따라서, 정확한 아이템이 정확한 벤더로부터 구매되었다는 것을 확신한다. 몇 실시예에서, 콘텍스트 지시자는 렌더링된 문서의 이름이나 다른 식별 정보를 디스플레이한다.
온라인/오프라인 지시자
몇 실시예에서, 휴대 디바이스는 사용자에게 온라인 또는 오프라인 모드에서 작동하는 지를 경고한다. 디바이스가 온라인이면, 호스트 컴퓨터나 서비스 프로바이더의 네트워크로의 활성화된 연결을 가진다. 디바이스가 오프라인이면, 다른 시스템 디바이스와 통신하고 있지 않다.
데이타 캡쳐 지시자
몇 실시예에서, 디바이스는 사용자에게 데이타를 캡쳐링하고 있거나 그렇지 않다면 정확히 작동하고 있다는 것을 지시한다.
에러 지시자
몇 실시예에서, 디바이스는 사용자에게 에러를 경고한다. 예를 들어, 디바이스는 사용자에게 종이 문서가 식별되었으나 사용자가 상기 종이 문서의 전자적 대응물에 액세스할 권한이 없다는 것을 경고하기 위해 비프음을 발할 수 있다. 다 른 예로서, 디바이스는 사용자에게 마지막 스캔이 반복되어야 한다는 것; 호스트 컴퓨터나 서비스 프로바이더 네트워크에 액세스가 거부되었다는 것; 문서 전달이 일어나자 않았다(예를들어, 사용자의 라이버러리 아카이브가 문서를 수신/억셉트하지 않았다)는 것; 휴대 디바이스가 메모리 초과; 배터리 방전 등을 경고할 수 있다.
강조 색깔 지시자
몇 실시예에서, 휴대 디바이스는 사용자에게 강조 기능이 어떤 색깔로 나타나는지를 보여줄 수 있다. 몇 실시예에서, 호스트 컴퓨터는 디스플레이상에서 현재 강조 모드의 색깔을 보여준다(예를 들어, 노랑은 워드 프로세싱 소크트웨어가 노랑으로 강조되고 있다는 것을 의미한다).
보안/프라이버시
몇 실시예에서, 휴대 데이타 캡쳐 디바이스는 인증받지 않은 사용자가 디바이스를 사용하지 못하고, 데이터 전송이 기밀적이고, 사용자의 아이덴터티가 상업 거래를 위해 검증되어야 한다는 보안 및 프라이버시 과정을 가진다.
몇 실시예에서, 휴대 디바이스는 사용자 데이터의 프라이버시 및 보안을 확보하기 위해 암호화 과정을 이용한다. 디바이스의 메모리에 저장된 데이타 및 다른 디바이스로 전송된 데이타는 암호화될 수 있다. 부가적으로, 사용자는 디바이스 프로파일을 다른 디바이스와 공유된 정보의 양과 종류를 제한하도록 설정할 수 있다. 몇 실시예에서, 시스템은 모든 검색 결과가 휴대 디바이스로 재전송되고, 시스템이나 서비스 프로바이더 네트워크에 저장되지 않도록 사용자가 지정할 수 있 도록 해준다.
몇 실시예에서, 스캐너는 컴퓨터, PDA, 또는 휴대폰과 같은 호스트 머신과 쌍으로 형성된다. 시스템은 휴대 데이터 캡쳐 디바이스를 호스트 머신의 식별자(예를 들어 시리얼 번호 등)를 휴대 디바이스의 메모리의 소정의 위치에 프로그래밍함으로써 특정 호스트 머신과만 작동하도록 락킹할 수 있다. 다른 디바이스와 통신하기 전에, 휴대 디바이스는 어떤 머신이 그의 할당된 호스트인지를 알아보기 위해 소정의 메모리 영역을 체크한다. 스캐너를 다른 디바이스와 사용하고자 한다면, 시스템(또는 스캐너 자체)은 새로운 통신 쌍이 작동하기 전에 사용자가 그의 아이덴터티를 검증/인증하도록 요구할 것이다.
생체측정 사용
몇 실시예에서, 휴대 데이터 캡쳐 디바이스 및 그의 연관된 시스템은 보안 및 프라이버시를 위해 생체 측정을 사용한다. 예를 들어, 사용자는 휴대 디바이스에 지문을 스캐닝함으로써 그의 아이덴터티를 검증할 수 있다. 다른 예로서, 몇 실시예에서, 디바이스는 생체 정보를 프라이버시를 위한 데이터 암호화에 사용할 수 있다. 예를 들어 타원 곡선 암호화를 위해 지문 스캔을 이용한다. 몇 실시예에서, 휴대 디바이스는 텍스트 및 생체측정을 스캐닝하기 위해 동일한 광 경로를 이용한다.
온라인/오프라인 거동
몇 실시예에서, 휴대 문서 데이터 캡쳐 디바이스는 디바이스가 온라인인지 오프라인인지에 따라 다른 거동을 보인다. 디바이스가 호스트 컴퓨터, 통신 네트 워크, 데이터 캡쳐 서비스 프로바이더 네트워크와 같은 다른 디바이스와 통신하고 있지 않으면 오프라인이다. 스캔너 서비스 프로바이더 네트워크로서 참조되는 데이터 캡쳐 서비스 프로바이더 네트워크는 라이프 라이버러리 아카이브 프로바이더와 같은, 휴대 문서 데이타 갭쳐 디바이스의 애플리케이션을 지원하는 서비스 프로바이더이다.
몇 실시예에서, 휴대 디바이스는 오프라인 상태인 경우에도 작동할 수 잇다. 사용자는 여전히 렌더링된 문서로부터 데이터를 스캔하고, 음성 주석을 달고, 문서를 검색하고, p-commerce 거래를 개시할 수 있다. 이러한 기능의 일부(거래, 주석, 및 검색)은 네트워크 연결이 복구될 때까지 완료되지 않을 것이다.
오프라인 거동의 하나의 형태는 문서가 전자적 형태로 현재 이용가능하지 않을 때 발생한다. 따라서, 문서로부터 캡쳐된 데이터에 기초한 검색은 매치없음으로 재전송되어 올 것이다. 이것이 발생하면, 시스템은 검색 쿼리를 저장할 수 있고, 미래의 일정 시점에 문서가 이용가능할 때가지 그것을 주기적으로 다시 제출할 수 있다. 시스템은 또한 전자적 대응물이 현재 이용가능하지 않다는 것을 사용자에게 알려줄 것이다.
몇 실시예에서, 휴대 데이터 캡쳐 디바이스는 캡쳐된 원래 데이터(이미지 또는 음성)를 다음의 검색을 위해 메모리에 유지한다. 이러한 능력은 시스템이 다음의 프로세싱을 위해 "캡쳐된 대로의" 데이터를 복원할 수 있도록 해준다. 예를 들어, 사용자가 휴대 스캐너로 텍스트를 스캔할 때, 스캔된 이미지는 메모리로 저장되고, OCR 프로세스가 상기 스캔된 이미지에 수행된다. 이미지가 OCR 프로세스에 의해 인식되지 않는다면, 원래 이미지 데이터는 호스트 컴퓨터나 서비스 프로바이더에 다음 프로세싱을 위해 전달될 수 있다. 몇 실시예에서, 스캔된 이미지 데이타는 새로운 데이타로 겹쳐 쓰여지기전까지 메모리에 유지된다. 예를 들어, 디바이스는 원래 이미지 및 프로세싱된 이미지(예를 들어, OCR된 텍스트)가 메모리가 찰될까지 저장할 수 있다. 몇 실시예에서, 디바이스는 프로세싱된 이미지를 저장만하고, 프로세싱된 이미지보다 더 많은 메모리 공간을 사용하는 원래 이미지를 겹쳐 쓰도록 한다.
휴대 디바이스는 오프라인 모드인 경우에 국부 캐시된 데이터를 액세스할 수 있다. 또한, 몇 실시예에서, 휴대 데이터 캡쳐 디바이스가 호스트 컴퓨터 및/또는 네트워크로의 연결이 가능할 때를 감지하고, 자동적으로 이에 따라 거동을 변경한다. 예를 들어, 온라인/오프라인 감지를 가진 휴대 디바이스는 연결이 안되는 경우 자동적으로 캡쳐된 데이터를 캐싱하는 것을 시작할 수 있다.
국부 캐싱
사용자가 필요할 것 같은 정보를 국부적으로 캐싱함으로써, 시스템은 대기 시간을 줄이고, 네트워크 대역폭을 보존할 수 있다. 국부적으로 캐시된 검색 인덱스, 키워드 라이버러리, 마크업 정보, 및 폰트 라이버러리는 사용자 경험이나 네트워크 작동을 향상시킨다. 폰트 라이버러리의 국부 캐싱은 휴대 디바이스가 오프라인 모드인 상태인 때에도, 템플렛 기반 OCR을 수행할 수 있도록 해준다.
몇 실시예에서, 문서 데이터 캡쳐 디바이스는 네트워크 트랙픽을 감소하기 위해 최근 스캔의 결과를 국부적으로 캐시할 것이다. 왜냐하면, 네트워크 트래픽 의 거의 50%는 동일한 재료, 특허 최근에 발표된 재료에 대한 히트를 반복할 것이기 때문이다.
사용자의 라이프 라이버러리는 휴대 디바이스와 연관된 호스트 컴퓨터내에 캐시될 수 있다. 사용자의 라이프 라이버러리내의 문서를 나타내는 토큰은 휴대 디바이스내에 국부적으로 캐시될 수 있다. 사용자의 라이프 라이버러리의 국부적인 캐시는 사용자가 오프라인 모드에서도 그의 라이프 라이버러리를 액세스할 수 있도록 해준다.
몇 실시예에서, 시스템은 휴대 디바이스상에 종이 문서를 충분히 식별하고, 전자적인 대응물을 위치시키도록 스캔에 대해 요구되는 텍스트의 양을 표시를 캐시한다. 이런 국부 캐시는 보통의 텍스트가 가지는 것보다 더 적은 명확화 값을 가지는 진부한 표현 및 일반적인 표현의 리스트를 포함한다. 캡쳐된 데이터가 일반적인 표현이나 진부한 표현을 포함한다면, 최소한의 명확화 임계값은 증가하고, 추가의 텍스트가 문서를 충분히 식별하도록 요구된다. 따라서, 일반적인 문구는 문서를 식별하기 위해 스캔되어야 할 텍스트의 양을 증가시킨다. 이러한 일반적인 문구를 국부적으로 캐시함으로써, 휴대 디바이스는 사용자에게 문서를 식별하기에 충분한 텍스트가 캡쳐되어야 한다는 것을 지시할 수 있는 능력을 향상시킨다.
시스템에 의해 인덱스되도록 알려진 문서(예를 들어, 신문, 잡지 등)의 리스트를 국부적으로 캐시함으로써, 스캐너는 오프라인 모드에서도 콘텍스틀 알고 있다고 지시할 수 있다.
몇 실시예에서, 휴대 디바이스가 국부적으로 캐시되지 않은 폰트를 접했을 때, 그들의 호스트 컴퓨터나 서비스 프로바이더로부터 적당한 폰트 라이버러리를 다운로드 한다.
문서가 식별되면, 상기 문서와 연관된 마크업 문서가 스캐너로 다운로딩될 수 있다. 마크업 문서의 국부 캐시는 상기 문서에 대한 스캐너의 거동의 국부 결정을 가능하게 해준다.
몇 실시예에서, 시스템은 접하게 될 문서에 대한 인덱스나 다른 데이터를 미리 캐시한다. 예를 들어, 몇 실시예에서, 시스템은 지역 뉴스에 대한 인덱스 및 마크업 문서를 상기 신문으로부터 사용자의 스캐닝 데이터를 예상하여 매일 아침 사용자의 휴대 스캐너로 다운하도록 한다.
폰트 템플렛
몇 실시예에서, 휴대 문서 데이터 캡쳐 디바이스는 폰트 라이버러리 및 폰트 템플렛을 국부적으로 캐시한다. 폰트 템플렛은 폰트가 인식된 이후에 디바이스로 다운로드될 수 있다. 휴대 디바이스가 알파벳의 모든 캐릭터의 하나의 예를 캡쳐할 때까지 기다릴 필요가 없다. 시스템이 몇몇의 캡쳐된 캐릭터의 폰트를 인식한 이후에, 폰트 라이버러리는 국부 캐시 능력을 가진 데이터 캡쳐 디바이스내로 다운로드될 수 있다. 시스템은 휴대 데이터 캡쳐 디바이스내에 폰트 템플렛을 국부적으로 캐시함으로써 OCR 대기시간을 감소할 수 있다.
인덱스
몇 실시예에서, 시스템은 검색 인덱스를 휴대 데이터 캡쳐 디바이스상에 캐시한다. 몇 실시에에서, 시스템은 사용자가 필요로 할 것 같은 인덱스를 미리 캐 시할 수 있다. 예를 들어, 시스템은 지역 신문에 대한 최근의 인덱스로 매일 휴대 디바이스를 미리 인덱스할 수 있다.
키워드 라이버러리
키워드 라이버러리는 휴대 데이터 캡쳐 디바이스의 적당한 예에서 국부적으로 캐시될 수 있다. 키워드를 국부적으로 캐시하는 것은 휴대 디바이스가 키워드 캡쳐에 응답하여 그 거동을 국부적으로 결정할 수 있도록 해준다. 거동의 국부적인 결정은 휴대 디바이스가 호스트 머신이나 서비스 프로바이더의 네트워크에 연결되어 있지 않을 때 특히 유용하다.
마크업 정보
몇 실시예에서, 휴대 데이터 캡쳐 디바이스는 문서에 대한 마크업 데이터를 다운로드한다. 이러한 능력은 휴대 디바이스가 문서로부터 캡쳐된 데이터에 응답하여 그 거동의 적어도 일부를 국부적으로 결정하도록 해준다.
키워드 프로세싱
몇 실시예에서, 휴대 스캐너 캡쳐된 데이터내의 키워드를 인식하고, 키워드 애플리케이션을 지원한다. 키워드에 응답하여 취해진 액션은 시스템 및 키워드가 캡쳐되는 렌더링된 문서와 연관된 마크업 문서에 의해 미리 결정된다. 일반적으로, 전체적인 키워드 정의는 시스템 레벨에서 되고, 국부적인 키워드 정의는 마크업 문서에서 이루어진다. 마크업 문서에서 달리 규정되지 않았다면, 국부적인 정의는 전체적인 정의에 우선한다.
키워드는 스캐너에 의해 인식되는 특수한 기호(예를 들어 애플 컴퓨터™의 상표 기호로서 사용되는 사과 아이콘과 같은)이거나 정규의 텍스트일 수 있다. 예를 들어, 캐탈로그와 같은 문서는 휴대 디바이스에 매우 중요한 명령 기호의 메뉴를 포함할 수 있다. 키워드와 연관된 제어 프로그램을 실행하기 위해, 사용자는 특수 기호중의 하나를 스캔할 것이다. 응답으로 디바이스의 프로세서는 키워드와 연관된 제어 프로그램에 액세스하고 이를 실행할 것이다. 카탈로그 예에서, 특수 기호중의 하나는 스캐너를 통해 카탈로그로부터 제품을 주문하는데 사용될 수 있는 구매 프로그램을 개시할 수 있다. 사용자는 주문되어야 할 제품에 대한 정보를 스캔하고, 휴대 스캐너는 이러한 제품과 판매를 완료하는 데 필요한 다른 정보(빌링 및 배송 정보와 같은)를 카탈로그 벤더에게 인터넷과 통신 인터페이스사이의 연결을 통해 전달할 것이다.
검색 거동
몇 실시예에서, 휴대 문서 데이터 캡쳐 디바이스는 검색 애플리케이션을 지원한다. 검색 쿼리에 대한 입력은 렌더링된 문서로부터 캡쳐되고, 특히 종이 문서로부터 광 스캐닝에 의해 캡쳐된다.
몇 실시예에서, 시스템은 휴대 데이타 캡쳐 디바이스로부터 발하는 검색 쿼리에 검색 조건이 종이 문서로부터 비롯되었다는 것을 지시하기 위해 택을 붙인다.
데이터 캡쳐를 통한 문서 ID/위치
본 시스템은 렌더링된 문서를 식별하고 렌더링된 문서의 전자 부본의 위치를 찾기 위해, 렌더링된 문서로부터 캡쳐된 데이터를 사용할 수 있다. 본 시스템은 문서의 전집(corpus)의 인덱스를 검색함으로써 문서를 식별하고 위치를 찾는다. 본 시스템은 검색 문의를 검색엔진이나 검색 애플리케이션 소프트웨어에 전송함으로써 검색을 실행한다.
검색 쿼리
검색 문의는 휴대용 데이터 캡쳐 디바이스 또는 네트워크 내에서 구성될 수 있다. 일부 실시예에서, 검색 쿼리메시지는 휴대가능한 디바이스 식별자를 포함할 것이다.
컨텍스트를 갖는 검색 쿼리
검색에 관한 컨텍스트는 검색 결과의 정확성을 높일 수 있다. 일부 실시예에서, 핸드헬드 문서 데이터 캡쳐 디바이스는 컨텍스트 정보를 포함하고 있는 검색 문의를 제공한다. 컨텍스트는, 사용자의 이력으로부터, 사용자 인구의 전체 이력 행동(the aggregate historical behavior)으로부터, 문서의 속성으로부터, 또는 검색 환경으로부터 유래될 수 있다.
시간
검색 조건(term)이 문서로부터 캡쳐된 시간은 명확화(disambiguation)에 유용한 컨텍스트 이다. 예컨대, 만약 검색엔진이 검색 쿼리가 문서로부터 캡쳐된 날짜를 알고 있다면, 캡쳐 날짜 이후에 공표된 임의의 문서는 캡쳐된 데이터의 소스가 될 수 없기 때문에, 검색엔진은 이러한 문서를 무시할 수 있다. 일부 실시예에서, 검색 쿼리는 언제 검색 스트링이 렌더링된 문서로부터 캡쳐되었는지를 가리키는 타임 스탬프를 포함한다.
위치
검색 조건이 문서로부터 캡쳐된 위치는 명확화에 유용한 컨텍스트 이다. 예컨대, 만약 검색엔진이 검색 문의가 문서로부터 캡쳐된 지리적 위치를 알고 있다면, 그 위치에서 배포되거나 공표되지 않은 임의의 문서는 캡쳐된 데이터의 소스가 아닐 가능성이 있기 때문에, 검색엔진은 이러한 문서를 무시할 수 있다. 일부 실시예에서, 검색 문의는 어떤 지리적 위치에서 검색 스트링이 렌더링된 문서로부터 캡쳐되었는지를 가리키는 위치 스탬프를 포함한다.
(가입자 계정으로부터의) 사용자 이력
사용자의 이력은 문서를 식별하고 위치를 찾는데에 유용한 컨텍스트 이다. 예컨대, 만일 사용자가 매일 아침 시애틀 타임즈 신문에서 그리고 저녁에는 이코노미스트 매거진에서 텍스트를 스캐닝하는 패턴을 가진다면, 아침에 제공된 검색 문의는 이코노미스트 보다는 시애틀 타임즈로부터 올 가능성이 더 크다. 일부 실시에에서, 본 시스템은 사용자 이력에 근거한 검색 쿼리결과에 등급을 정할 것이다.
전체의 사용자 인구 메타데이터(aggregate user population metadata)
휴대용 문서 데이터 캡쳐 디바이스의 모든 사용에 대한 전체 행동은 명확화에 유용한 컨텍스트를 또한 제공한다. 사용자는 유사한 문서로부터 유사한 정보를 스캔하는 경우가 그렇지 않은 경우보다 더 많은데, 예컨대 사용자 인구가 최신 해리포터 소설로부터 캡쳐된 다수의 검색 쿼리를 최근에 제공하여 왔고 숀 해니티(Sean Hannity)의 최신 서적으로부터는 아무것도 제공하지 않는 경우이다. 따라서, 만약 검색 문의가 몇가지 매치된 결과를 제공한다면, 그 소스 문서는 숀 해니티의 책이 아니라 최신 해리 포터 소설일 가능성이 더 크다. 그러므로, 일부 실시 예에서 본 시스템은 전체의 사용자 인구 행동에 근거하여 검색 쿼리결과에 등급을 정한다.
검색 쿼리의 구성
일부 실시예에서, 휴대가능한 디바이스는 페이퍼 문서로부터 연속 텍스트를 캡쳐링하고 그 텍스트에 근거하여 검색 쿼리를 구성한다. 그러면 검색 문의는 검색엔진 또는 다른 검색 소프트웨어에 제공된다. 페이퍼 문서를 식별하고 페이퍼 문서의 전자 부본을 찾기 위해, 검색엔진은 그 데이터 인덱스의 검색을 수행한다. 일부 실시예에서, 비록 더 많은 정보가 페이퍼 문서로부터 캡쳐링되었지만, 휴대용 캡쳐 디바이스는 전자 부본을 식별하기에 충분한 정도의 정보를 제공함으로써 통신 대역폭을 절약한다. 무선 대역폭이 제한적이기 때문에, 무선 시스템에서는 필요한 정보만을 전송하는 것이 장점이 된다. 일부 실시예에서 본 시스템은 사용자가 디바이스의 키패드로부터 더 많은 텍스트를 입력함으로써 검색 쿼리를 변경하거나 강화하는 것을 가능하게 한다.
부분 단어 명확화
일부 실시예에서 핸드헬드 디바이스 및 시스템은 부분 단어 명확화를 지원한다. 텍스트가 렌더링된 문서로부터 캡쳐되었을 때, 사용자가 단어 영역 상에서 캡쳐를 개시하고 종료하는 것이 어렵다. 캡쳐된 스트링의 시작과 끝에 있는 단어는 일반적으로 절단된다. 전통적으로 검색 인덱스는 전체 단어로 이루어져 있어서, 부분적인 단어는 전통적인 검색 애플리케이션에는 거의 혹은 아무런 가치가 없다. 그러나 이러한 절단된, 또는 "부분적인" 단어는 명확화 가치를 여전히 크게 가질 수 있다. 일부 실시예에서, 검색엔진은 복수의 검색 결과들 중에서 선택하기 위해 부분 단어를 사용한다. 예컨대, 검색엔진은 결과 중에서 선택하기 위한 검색 스트링의 끝에서 검색 인덱스 및 부분 단어를 검색하기 위해 전체 단어를 사용한다. 따라서, 이러한 엔진의 검색 문의는 바람직하게는 부분 단어 정보를 포함한다.
멀티-라인 스캔
일부 실시예에서, 휴대용 데이터 캡쳐 디바이스는 한 동작동안 다수개의 텍스트 라인을 캡쳐링할 수 있다. 페이지의 일부를 촬영하기 위해 내장 카메라를 사용하는 모바일 전화, 두개의 텍스트 라인을 캡쳐하는 광학 헤드를 갖는 펜-타입 스캐너 등은 한 라인 이상의 텍스트를 캡쳐할 수 있는 광학 스캐너의 일 예이다. 도15는 문서(1520)의 두 라인으로부터 텍스트를 캡쳐하는 휴대용 스캐너(1510)를 도시한다. 박스(1500)는 캡쳐링된 텍스트를 나타낸다. 텍스트의 한라인 이상이 캡쳐될 때, 각각의 라인은 "line1 text" AND "line2 text" 포맷의 검색 쿼리로 전송될 수 있다. 대안적으로, 만약 근사적인 열 폭이 알려져 있다면, 검색 쿼리는 "line1 text" WITHIN X WORDS "line2 text" 로서 구성될 수 있고, 여기서 X는 일반적으로 근사적인 열 폭보다 적다. 도15에 도시된 일례에서, 명확화 검색 쿼리는 "study of law committed to" AND "and public service the." 로서 구성될 수도 있다.
스탬프(컨텍스트, 스캐너 ID, 사용자 ID)
일부 실시예에서, 본 시스템은 문서를 식별하기 위해 시간 스탬프 및 위치 스탬프를 사용한다. 예컨대 AP통신 기사가 많은 신문들에 나타날 수 있지만, 정확 한 신문은 위치 스탬프에 의해 결정될 수 있다. 만약 위치 스탬프가 스캔이 시애틀에서 수행된 것을 가리킨다면, 시애틀 신문이 그 스캐닝된 AP통신 기사의 소스일 가능성이 가장 크다. 유사하게, 타임 스탬프는 후보 문서의 범위를 타임 스탬프 이전에 공표된 것들로 한정하는데 사용될 수 있다. 일부 실시예에서 핸드헬드 디바이스는 타임 및/또는 위치 스탬프를 포함하는 검색 문의를 구성할 수 있다.
단어길이/ 컨벌루션 문의
일부 실시예에서 본 시스템은 단어 길이에 의해 문서를 인덱싱하고 검색한다. 가장 간단한 경우로, 세가지의 단어 길이-긴,짧은,불명료한-가 사용된다. 길고 짧은 단어의 연속 패턴은 충분한 길이의 각각의 문서에 대한 유일한 식별자를 형성한다. 따라서, 텍스트에 근거한 전통적인 검색 쿼리보다는 단어 길이에 근거한 검색 문의를 제공함으로써 문서의 위치가 찾아질 수 있다. 단어 길이 검색 문의의 일 예는 다음과 같다: 11001110?010??10110, 여기서 1은 짧은 단어, 0은 긴 단어, ?는 불명료 이다. 불명료한 임의의 대상은 검색엔진에 의해 반드시 와일드 카드로서 처리된다. 단어 길이 검색은 캡쳐된 이미지에서 개개의 문자를 구별할 수 없는 이미징 디바이스에 특히 유용하다. 예컨대, 렌더링된 문서의 사진을 찍기 위해 저해상도의 모바일 폰 카메라가 사용되지만, 이 카메라는 문자 수준까지 이미지 분해를 할 수 없다. 그러나 길고 짧은 단어의 매칭 연속 패턴(matching sequential pattern)을 검색함으로써 문서가 식별될 수 있다. 유사하게, 이 문서의 어딘가에서 논의된 것처럼, 문자의 반복 빈도수를 가리키는 컨벌루션-기반 문의에 의해 문서가 인덱싱되고 검색될 수 있다.
텍스트 특징
스캐닝된 텍스트로부터 유래된 검색 문의는 프런트 타입, 사이즈 및 컬러와 같은 텍스트에 관한 정보를 포함할 수 있다. 이들 텍스트 특성은 텍스트가 캡쳐되는 문서를 명확하게 하는데 사용될 수 있다. 하지만, 전통적인 검색 문의는 이러한 정보를 허비한다.
서류 식별기
유저가 알려진 문서내에서 검색한다면, 검색 문의는 문서 식별기를 포함할 수 있다. 검색 엔진은 문서 식별기를 사용할 수 있어서 검색 결과를 의도된 서류로 한정할 수 있다. 전통적인 검색 문의는 문서 식별기를 포함하지 않는다.
병렬 검색
유저 경험을 풍부하게 하기 위해, 검색은 로컬 디바이스 및 네트워크에서 병렬로 발생할 수 있다. 하나의 검색이 하나의 결과를 리턴할 때, 다른 것은 종료할 수 있다.
네트워크 동작
일부의 실시예에서, 휴대용 문서 데이터 캡쳐 디바이스 스캐너와 스캐닝 서비스 제공자 네트워크 사이의 메시지는 고유 트랜잭션 코드를 포함한다. 트랜잭션 코드는 시스템이 각각의 트랜잭션을 식별한다. 일부의 실시예에서, 트랜잭션 코드는 해시의 스캐너 ID, 스캐닝된 정보, 문서 정보, 및 타입/로케이션 정보로부터 만들어진다.
일부의 실시예에서, 휴대용의 문서 데이터 캡쳐 디바이스는 전자 시리얼 넘 버(ESN) 또는 네트워크 어드레스와 같은 고유 식별기를 가지고 있어서 스캐닝 서비스 제공자는 디바이스를 식별할 수 있다. 일부의 실시예에서, 휴대가능한 디바이스는 암호화된 빌링 및 어커운트 정보를 가지고 있는 가입자 식별 모듈(SIM)을 포함한다. 일부의 실시예에서, 제거가능한 식별 모듈은 다른 유저가 데이터 캡쳐 디바이스를 빌릴 수있게 하고 그리고 이것을 식별 모듈을 삽입하므로서, 이것을 그들의 어카운트에 임시로 연관시킨다.
각각의 스캐닝 서비스 제공자의 가입자는 서비스 제공자의 네트워크에서 데이터베이스에 저장된 가입자 어카운트를 가지고 있다. 가입자 어카운트 데이터 레코드는 빌링/가입 정보, 가입자 이름 및 주소, 가입자가 액세스할 수 있는 전자 문서, 종이 문서의 가입에 관한 정보, 유저 히스토리 정보, 가입자의 휴대가능한 데이터 캡쳐 디바이스의 식별자(ESN, 등), 보안/암호 키, 그리고 유저의 라이프 라이브러리 및/또는 개인적인 웹페이지(블로그)의 위치를 포함할 수 있다. 예를 들면, 유저는 휴대가능한 디바이스로 문서로부터 데이터를 캡쳐할 수 있고 그리고 UI를 통해서 "blog this document" 커맨드를 입력할 수 있다. 시스템은 문서를 명확히 하고 그리고 유저의 어카운트에 사전 명시된 유저의 블로그 페이지에 문서를 링크를 발행한다.
일부의 실시예에서, 네트워크는 가입자의 휴대용 문서 데이터 캡쳐 디바이스의 생방송 활동(OAA)과 프로그래밍(OAP)과 같은 원격 활동과 프로그래밍을 수행한다. 데이터 캡쳐 디바이스를 켜면, 그것은 서비스 제공자의 네트워크에 등록될 것이다. 한번 등록하면, 서비스 제공자는 디바이스내로 활성화 데이터를 다운로드할 수 있다. 활성화 데이터는 서비스 제공자가 디바이스에 메시지를 루팅하는데 사용할 수 있는 네트워크 어드레스 또는 다른 고유 식별기를 포함할 수 있다. 디바이스가 활성화된 후, 서비스 제공자는 원격 프로그래밍을 사용할 수 있어서 디바이스를 임의의 업데이트로 업데이트할 수 있다(예를 들면, 국지적으로 캐싱된 마크업 데이터).
디바이스가 서비스 제공자의 시스템에 등록된 때, 서비스 제공자는 가입자 어카운트에 대하여 서비스 식별기를 체크하므로서 디바이스가 가입자에 속한다는 것을 증명할 수 있다.
일부의 실시예에서, 시스템은 휴대가능한 디바이스 근처(물리적으로 또는 연결속도 관점에서) 네트워크 엘리먼트에 인덱스 또는 다른 데이터를 이동시킬 수 있어서 잠복(latency)을 줄일 수 있고 그리고 네트워크 리소스와 교신하게 한다. 빈번하게 액세스하는 데이터를 휴대가능한 디바이스에 이동시키는 것은 네트워크 엔터티의 수를 줄이는 것인데 이것은 그 정보를 휴대가능한 디바이스로 고유의 방식으로 취급하여야 한다.
네트워크 강화된 비모호성
일부의 실시예에서, 네트워크 및 휴대용 문서 데이터 캡쳐 디바이스는 비모호성 프로세스를 반복한다. 예를 들면, 유저는 종이 문서로부터 캡쳐된 데이터로 이루어지는 검색 문의를 제출할 수 있다. 서비스 제공자는 검색 문의를 검색 엔진에 제출할 수 있지만 문서를 명확하게 할 수는 없다. 응답에 있어서, 네트워크는 유저가 제출된 문서로부터 추가적인 정보를 신속하게 캡쳐하게 한다. 유저는 추가 적인 정보를 제출하고 그리고 서비스 제공자는 이전에 제출된 정보와 결함된 새로운 정보를 사용하여 제출된 문서를 명확하게 한다. 서비스 제공자와 유저는 이러한 프로세스를 필요한 만큼 반복하여 문서를 명확하게 한다. 서비스 제공자는 전형적으로 이전에 제출된 정보를 유지하고 그리고 새롭게 제출된 정보를 축적하여 문서를 명확하게 한다.
가입자 어카운트/레코드
일부의 실시예에서, 휴대용 문서 데이터 캡쳐 디바이스는 빌링, 가입 및/또는 디바이스 식별기에 관련된 정보를 저장하기 위한 메모리를 포함한다. 이러한 메모리는 Subscriber Identity Module(SIM) 또는 스마트 카드에서 제거가능하고 또는, Programmable Read Only Memory(PROM)와 같이 제거 불가능하다. 일부의 실시예에서, SIM 메모리는 유저의 모바일 폰 서비스 어카운트와 관련되어 있다. 문서의 전자 카피가 캡쳐된 데이터에 근거해서 위치되는 경우에는, 가입 정보는 유저가 전자 카피에 액세스하여야 하는지를 증명하는데 사용될 수 있다. 예를 들면, 신문은 온라인 버젼에 액세스하기 위한 추가적인 요금을 지불해야 한다. 서비스 제공자와의 유저 어카운트는 신문과 같은 종이 문서를 위한 가입 정보를 포함할 수 있는데, 이것은 유저가 종이 문서의 온라인 버젼에 가입되었는지를 표시한다.
일부의 실시예에서, 시스템은 유저의 가입자 어카운트에서 빌링 정보를 사용하여 휴대용 스캐너로 구입을 할 수 있다. 메모리는 유저의 암호화된 크레디트 카드 또는 다른 금융 정보를 포함하고 있다. 예를 들면, 유저는 문서로부터 텍스트를 스캐닝하고 그리고 문서의 전자 카피에 액세스 구매하려고 한다는 것을 표시할 때(유저 인터페이스 또는 상기한 제스쳐 제어를 통해서), 빌링 정보는 카피라이트 홀더 또는 컨텐츠 제공자에 지불을 제공하는데 사용될 수 있다.
일부의 실시예에서, 휴대가능한 디바이스는 메모리의 시리얼 넘버와 같은 디바이스 식별기를 포함한다. 이러한 디바이스 식별기는 휴대가능한 디바이스를 고유하게 식별하고 그리고 PROM에 전형적으로 저장하여 이들은 삭제할 수 없다. 트랜잭션을 위한 추가적인 보안이 디바이스의 시리얼 넘버를 네트워크 데이터 베이스에서 유저의 어카운트 또는 가입을 관련시키는 것 같이, 단지 한명의 유저와 휴대가능한 디바이스를 관련시키므로서 얻어질 수 있다. 다른 방식으로는, 시스템은 스마트 카드에 디바이스 식별기를 저장하여(또는 휴대용 스캐너에 스마트 카드 식별기를 저장) 스캐너를 스마트 카드에 잠근다. 디바이스의 프로세서는 휴대용 스캐너(200)가 작동이 허용되기 전에 올바른 스마트 카드가 삽입되었다는 것을 식별한다. 내부 프로세서를 갖춘 스마트 카드는 또한 이들이 휴대가능한 디바이스에 삽입되었다는 것을 식별할 수 있는데 이들은 스마트 카드의 임의의 정보에 액세스 허용되기 전에 잠긴다.
주석
일부 실시예에서, 휴대용 문서 데이터 캡쳐 디바이스는 주석 기능을 포함하고 있다. 주석 소프트웨어는 디바이스가 문서에서 위치, 마크 또는 텍스트에 보이스 또는 텍스트 주석을 부착하게 할 수 있다. 주석은 문서 내에서 절대적인 위치 또는 텍스트 스트링과 관련될 수 있다. 주석이 텍스트 스트링과 관련된다면, 이들 시스템은 주석이 부착된 텍스트를 편집 또는 삭제하면 가입자에게 통지할 수 있다. 편집 또는 삭제로 진행되기 전에, 시스템은 유저에게 더 진행시키고자 하는지 확인을 받는다.
텍스트
텍스트 주석은 휴대가능한 디바이스의 키패드를 통해서, 또는 보이스 데이터의 텍스트로의 전환에 의해 렌더링된 문서로부터 텍스트를 스캐닝하므로서 입력될 수 있다.
보이스
일부 실시예에서, 휴대용 데이터 캡쳐 디바이스는 보이스를 캡쳐하기 위해서 마이크로폰을 포함하고 있다. 캡쳐 속도는 아래의 스캐노테이터 섹션에서 더 상세히 설명하는 바와 같이, 유저에 의해 특정된 위치에서 오디오 파일로서 문서에 주석을 붙일 수 있다.
OCR
일부 실시예에서, 휴대용 문서 데이터 캡쳐 디바이스는 탑재된 OCR 능력을 가지고 있다. 일부 실시예에서, 시스템은 호스트 컴퓨터 또는 서비스 제공자가 OCR을 실행할 수 있다. OCR은 템플릿 매칭, 컨벌루션, 및 단어 길이 OCR을 포함하는 많은 적절한 방법에 의해서 달성될 수 있다.
트레이드 마크 심볼을 코드로 전환
일부 실시예에서, 휴대용 데이터 캡쳐 디바이스는 트레이드 마크 심볼을 코드 또는 간단한 텍스트로 전환한다. 휴대가능한 디바이스는 인식할 수 있는 트레이드 마크 심볼의 데이터베이스를 가지고 있다. 트레이드 마크를 스캔해서 인식할 때, 휴대가능한 디바이스는 트레이드 마크 이미지를 위한 코드를 대체할 수 있다. 그리고 휴대용 디바이스는 코드를 서비스 제공자 네트워크에 보낸다. 서비스 제공자는 트레이드 마크 코드와 관련된 소정의 액션을 취한다. 예를 들면, 유저는 MitsubishiTM "three diamond" 트레이드 마크의 이미지를 스캐닝할 수 있다. 휴대용 스캐너는 이미지를 탑재된 트레이드 마크 심볼의 라이브러리와 비교하고 그리고 three diamond 심볼을 Mitsubishi 트레이드 마크라고 식별한다. 라이브러리는 트레이드 마크를 시스템 서비스 제공자로 고유하게 식별하는 각각의 트레이드 마크와 관련된 고유 코드를 가지고 있다. 전체적인 이미지 파일을 서비스 제공자에게 전송하기 보다는, 휴대용 스캐너는 코드를 대체하고 그리고 이 코드를 전송한다. 이미지를 위한 코드를 대체하는 것은 네트워크로의 메시지의 크기를 줄이는데, 이것은 무선통신의 중요한 장점이다. 일부 실시예에서, 시스템은 이미지 파일을 허용하지 않는 일부의 통신채널(셀룰라 SMS 채널같은)에 문자숫자식 코드를 보낸다. 믈론, 트레이드 마크 이미지는 또한 ASCII 텍스트로 전환할 수 있다. 예를 들면, MitsubishiTM three diamond 로고는 텍스트 스트링 "Mitsubishi trademark"로 전환될 수 있다.
단어 길이
일부 실시예에서, 선택적인 스캐닝 서브시스템은 단어 길이를 개별적인 문자가 무엇인지 결정할 수 없을지라도, 단어 길이를 합리적인 접근으로 분류한다. 다행히도, 단어 길이 패턴은 또한 문서를 식별하는데도 사용할 수 있다. 문서의 이 미지에서 단어를 카테고리로 분류하므로서, 휴대용 스캐너는 문서를 식별한느데 사용할 수 있는 코드를 구성할 수 있다. 가장 간단한 경우에, 단어는 긴, 짧은 그리고 알 수 없는 의 3개의 카테고리로 분류된다. 짧은 단어는 소정의 수의 문자보다 적고 그리고 긴 단어는 소정의 문자 수보다 더 많은 문자를 가지고 있다. 다시 말해서, 짧은 단어＜X＜긴 단어 인데, 여기에서 X는 짧은 단어를 긴 단어와 구별하는 소정 수의 문자이다. 문서가 단어 길이에 의해 표시되는 특정 인덱스를 검색하면 렌더링된 문서를 식별할 것이다. 전자 카운터파트가 위치된 후, 전자 카운트 파트는 전자 카운터파트에서 긴/짧은/알 수 없는 단어의 매칭 인접 스트링을 찾고 그리고 단어 길이 패턴을 단어의 개별적인 문자로 전환하므로서 스캐닝된 스트링에서 OCR을 실행하는데 사용할 수 있다.
템플릿 매칭
템플릿 매칭 OCR은 캡쳐된 이미지를 저장된 문자 이미지와 비교한다. 매치가 발견되면, 문자는 식별된다. 템플릿 매칭 OCR은 프론트 스타일, 사이즈, 이탤릭체, 등에서 변화에 민감하다. 중요하게, 캡쳐된 문자가 저장된 템플릿과 다르게 보이면 템플릿 매칭 시스템을 참조하여야 한다. 템플릿 매칭은 트레이드 마크 및 그래픽 아이콘의 이미지를 인식하는데 매우 유용하다.
컨볼루션
도 16은 문자 오프셋을 결정하기 위한 컨볼루션의 하나의 실시예를 도시하고 있다. 대체적으로, 본 실시예는 텍스트의 이미지를 자신을 가로질러 슬라이딩하므로서 계획할 수 있다. 텍스트의 스트링을 위한 전환 패턴이 결정되면, OCR은 통계 적인 분석에 의해서 또는 소스 문서를 전환-강화 이미지의 거색을 통해서 식별하므로서 실행될 수 있다. 이러한 실시예는 센서 이미지가 캡쳐된 이미지을 가지고 난 후에 1610을 시작한다. 이러한 스캐너에서 프로세서는 픽셀의 큐를 만들어서 원래의 이미지와 비교할 수 있다. 이러한 큐는 이러한 원래의 이미지의 카피의 수직 슬라이스가 될 수 있다. 또 다른 접근법은 어드레스 포인터를 사용하여 수직 슬라이스의 트랙을 계속 비교하고, 그리고 이들 슬라이스들의 카피를 프로세서에 임시적으로 만든다. 다음 단계(1620)는 하나의 길이를 비교한다. 길이는 수직 슬라이스의 수평 폭으로 한다. 이것은 하나의 픽셀, 또는 다중 픽셀이 될 수 있다. 이것은 여백에 근거하여 발견적으로 결정될 수 있다. 이러한 슬라이스는 전체적인 이미지가 될 수 있다. 이러한 슬라이스는 원래의 이미지로부터의 슬라이스와 비교된다. 이것은 이러한 슬라이스가 원래의 이미지로부터의 슬라이스에 연속적으로 비교하므로서 이루어진다. 일부 실시예에서, 이러한 비교 슬라이스는 다음 스텝의 대응하는 슬라이스와 계속하여 비교된다. 하나의 스텝은 수평 폭과 동일한 거리가 될 수 있다. 하나의 스텝은 하나의 픽셀 또는 다중 픽셀이 될 수 있다. 이러한 프로세스의 다음 단계(1630)에서, 이러한 프로세서는 이러한 이미지가 자신과 매칭되는 메모리에 기록된다. 이러한 데이터는 수직 슬라이스가 이러한 원래의 이미지의 다른 수직 슬라이스와 매치된다는 것을 포함하고 있다. 매칭 섹션은 문자일 수도 있고 문자가 아닐 수도 있다(즉, 이것은 단지 순서적으로 나타나는 2개의 문자일 수 있다). 다음 스텝(1640)은 이러한 비교가 완성되었는지를 결정한다. 비교는 필수적으로 하나의 슬라이스를 비교하는 것이 아니고, 이렇게 더욱 큰 프로세스 를 말하는 것이다. 전환 프로세스가 완성되었는지 결정하는 하나의 방법은 더 이상 비교할 슬라이스가 없는지를 확인하는 것이다.
도 17은 전환 프로세스를 개념화하기 위한 하나의 방식을 예시하고 있다. 이것은 문자 오프셋을 찾기위해 단일의 슬라이스를 사용하는 단계적인 분석을 도시하고 있다. 예시적인 스텝은 1700으로 도시된 1과 같은 숫자이다. 라인(1710)은 스텝들을 분리하는데 사용된다. determinative라는 단어의 이미지가 비교된다. 좌측이 슬라이스(1720)이고 그리고 우측이 메모리에서의 카피(1730)이다. 오버랩이 발견되면, 삼각형(1740)으로 표시된다.
도 18은 다른 예를 도시하고 있다. 여기에서, 슬라이스 카피(1820)는 메모리에서의 카피(1830) 위에 도시되어 있어서 어떻게 매치가 발견되었는지 더욱 명화가게 되어 있다(1840).
도 19는 시스템에 의해서 전형적으로 실행되는 스텝들을 도시하는 플로우 다이어그램인데 전환 프로세스가 이미지에서 실행된다. 이미지의 어떤 부분이 문자인지 결정하기 어려운 경우가 있다. 하나의 접근책은 문자들의 분리된 수를 가진 섹션으로 이러한 이미지를 세분하는 것이다. 일부 실시예에서, 이러한 프로세스는 매치로서 반복적으로 완성되거나, 또는 모든 매치가 발견된 후에 시작될 수 있다. 스텝(1910)에서, 이러한 이미지는 하나의 세그멘트인데, 즉 문자들의 분리된 수의 이미지이다(이러한 이미지는 여백에 둘러싸인 섹션에 생길 수 있다). 스텝(1920)에서, 프로세스에 더 많은 매칭 서브섹션이 있다면, 시스템은 스텝(1930)으로 계속진행되고, 시스템은 스텝(1970)에서 종료한다. 스텝(1930)에서, 이들 섹션은 기록 된다. 일차원 위치 측정은 메모리에 보내질 수 있다. 이들 세그멘트를 매칭 카운터파트와 연관시키는 하나의 방법은 식별기를 사용하는 것이다. 다른 접근책은 이들을 메모리에 저장하여 상대적인 위치가 이들이 어떻게 매치되는가와 같은 정보를 제공한다(즉, 각각의 매칭 쌍은 연속적으로 저장되고, 그리고 홀수의 매치는 하나의 반복된 구역을 가지고 있어서 짝수가 있다). 스텝(1940)에서, 시스템은 임의의 이들 매칭 세그멘트가 임의의 세그멘트와 오버랩되는지 판정한다. 이러한 오버랩은 하나의 세그멘트가 다른 세그멘트를 전적으로 포함하는 곳에서, 또는 각각의 오버랩의 단지 하나의 섹션에서 발생한다. 스텝(1950)에서, 시스템은 이들 세그멘트로 세분화된다. 이러한 세분화 스텝은 제 1 세그멘트가 다중 문자를 가지는 곳에서 그리고 제 2 세그멘트가 더 작은 수의 이들 문자를 가지는 곳에서 일어난다. 예를 들면, 제 1 매치 세그멘트는 "ing"를 포함하고 있고 그리고 제 2 세그멘트는 "in."을 포함하고 있다. 이러한 프로세스는 이들을 "in"(즉, 매치된 것)과 "g"(나머지)를 포함하는 세그멘트로 세분화할 수 있다. 모든 세그멘트가 분리된 수의 문자로 시작하면, 분리된 수의 문자를 제거하는 것은 또한 분리된 수의 문자를 남길 것이다. 스텝(1960)에서, 시스템은 이들 세그멘트의 각각을 완전히 오버랩되거나 또는 전적으로 오버랩되지않는 가장 큰 세그멘트로서 저장한다. 이러한 프로세스는 위치가 1930에 저장될 때와 유사하다. 일부 실시예에서, 상호 관련되는 매칭 세그멘트의 동일한 시스템이 사용된다. 이러한 프로세스 후에, 원래의 이미지는 식별된 다수의 매칭 세그멘트를 가질 것이다. 시스템은 이들 세그멘트 사이(또는 이들 세그멘트와 이러한 이미지의 적어도 하나의 에지 사이)의 스페이스를 임의의 다른 세그멘트와 매치되지 않는 새로운 세그멘트로서 취급한다. 일부 실시예에서, 시스템은 블러브(blob) 분석 또는 결합 분석과 같은 문자 분석 기술을 사용하여 세그멘트를 더 세분화한다. 이들 세그멘트는 이들이 기초로 하는 텍스트를 결정하기 위해서 사용될 수 있다. 일부 실시예에서, 시스템은 이들 세그멘트를 오프셋으로서 나타내고 그리고 이들 오프셋을 사용하여 어떤 텍스트가 이들 오프셋을 만들었는지 찾는다. 일부 실시예에서, 이들 정보를 담고 있는 저장은 다중 문자를 포함하고 있는 세그멘트를 고려할 수 있는 데이터로 채워진다.
디바이스에서 웹 서버
MicrosoftTM Internet Explorer와 같은 컴퓨터 구동 웹 브라우저 소프트웨어는 휴대용 데이터 캡쳐 디바이스의 일부 실시예에 포함된 내부 웹페이지를 액세스할 수 있다. 그래서 컴퓨터는 휴대용 디바이스의 내부 웹페이지에 액세스할 수 있고, 휴대용 디바이스는 USB 케이블과 같은 통신 채널에 의해 컴퓨터에 연결될 수 있다.
대표적인 실시예
다음은 휴대용 문서 데이터 캡쳐 디바이스의 대표적인 실시예를 설명한다. 이들 실시예는 모든 가능한 실시예를 설명할 수 없지만 가능한 개략적인 것을 설명한다는 의미이다.
모바일 폰
휴대용 문서 데이터 캡쳐 디바이스의 모바일 폰 실시예는 폰과 스캐너의 기능을 포함한다. 모바일 폰은 전용 스캐닝 서브시스템으로 또는 집적된 카메라로 이미지 데이터를 받아들일 수 있다. 보이스 주석은 모바일 폰의 마이크로폰으로 받아들일 수 있다. 유저는 폰의 스캐너를 통해서, 또는 마이크로폰을 통해서 폰의 키패드상의 검색 문의 텍스트를 입력할 수 있다.
일부 실시예에서, 종이 문서가 폰의 카메라로 이미지로 되고 그리고 폰의 디스플레이에 나타날 때, 모바일 폰은 종이 서류 이미지에 붙여진 마크업 레이어를 나타낼 소프트웨어를 가질 수 있다. 종이 문서가 폰의 카메라를 통해 보이면, 이미지는 마크업 서류 데이터에 의해 화질이 높아진다.
페이지와 물리적으로 접촉하지 않는 스캐너에 의해 스캐닝될 페이지에서 텍스트를 식별하는 방법
모바일 폰 카메라를 스캐닝 디바이스로서 사용하는 어려움 중의 하나는 텍스트가 스캐닝될 유저를 나타내는 것이다. 일부 실시예에서, 모바일 폰은 근접 스캔 구역을 밝게 할 스캐닝될 표면에 빔을 투사한다. 일부 실시예에서, 모바일 폰은 폰의 디스플레이에 스캐닝될 구역을 디스플레이한다. 디스플레이는 여러가지 방식으로 화질이 높아져서 유저에게 이미지의 어떤 서브셋이 스캐닝되거나 또는 OCR되는지 보여준다. 예를 들면, 디스플레이는 텍스트가 캡쳐될 구역 주위에 박스를 그릴 수 있다. 다른 방법으로는, 폰은 카메라로부터 또는 문서 소스로부터 문서의 이미지와 겹쳐지는 디스플레이에서 스캔의 경계를 나타낼 수 있는데, 즉 디스플레이 스크린상에 빨강 선으로 또는 그늘진 배경 등으로 나타낼 수 있다.
스캐닝된 텍스트를 근거로 액션을 취하고 유저에게 선택하게 하는 방법
일부 실시예에서, 시스템은
-- 종이 문서의 일부분의 이미지를 캡쳐하고,
-- ocr 이미지를 선택하고, 오프셋을 찾고, 압축하고,
-- 이미지 또는 텍스트 데이터를 셀룰라 네트워크를 통해서 서버에 전송하고,
-- 문서 및 (있다면)관련된 마크업을 위치시키고,
-- 동작/프레젠테이션 데이터를 무선 핸드셋에 전송하고,
-- 데이터를 유저에게 나타내고,
-- 유저로부터 지시를 선택적으로 수신하고,
-- 유저로부터 지시를 저장 또는 전송하므로서,
모바일 폰 컨텍스트에서 종이 문서를 명확하게 한다.
일부 실시예에서, 메뉴를 위한 데이터(즉, '마크업 데이터")의 적어도 일부분 그리고 문서의 인덱스는 모바일 폰에 다운로드되고 남겨진다. 메뉴/마크업 정보는 모바일 폰의 디스플레이에서 유저에게 보여진다. 선택적으로, 메뉴는 유저가 들을 수 있게 나타낼 수 있다.
일부 실시예에서, 모바일 폰 데이터 캡쳐 디바이스는 폰의 오디오 기능을 사용하여 문서를 명확하게 한다. 유저는 무선 핸드셋 또는 랜드라인 폰을 사용할 수 있어서 보이스, 스캔, dtmf 톤, 등을 받아들이는 서버로 다이얼할 수 있고, 그리고 현존하는 전화통신의 오디오 채널을 사용하여 종이-대-디지털 문서 시스템의 장점을 얻는다.
예를 들어, 사용자는 문서의 대표적인 부분, 예를 들어, 문서 식별자, 타이틀등을 읽는다. 이 시스템은 일부 실시예에서 - 스크린에 대해 선택적인- 모호성에 대한 피드백을 제공하고, 사용자는 디지털 문서의 매칭이 발견되었는지 여부의 인식의 여부를 수신한다. 사용자는 관심의 추가 아이템을 스캐닝하는 것과 같은 모호성을 해결하기 위한 선택적 액션을 취할 수 있다. 사용자는 컨텍스트를 설정하기 위해 크게 읽을 수 있고 시스템에 모호하지 않은 데이터를 제시할 수 있다. 예를 들어, 사용자는 "...said we need this war to achieve peace..." 비모호셩 데이터로 이어지는 "NY Times, yesterday"를 말함으로써 컨텍스트를 설정할 수도 있다. 그다음 시스템은 비모호성 데이터에 매칭하는 텍스트를 위해 뉴욕타임지의 어제 에디션을 검색한다.
모바일 폰 카메라 시스템의 사용에 의한 스캐닝 방법
단순한 스캐닝은 모든 실시예에서 폰의 카메라의 전체 해상도를 필요로 하지 않을 수 있다. 카메라 센서 에어리어의 선택된 부분만을 사용하는 것은 보다 높은 데이터속도 및 보다 낮은 전력소비량의 장점을 갖게 된다.
일부 실시예에서, 광섬유 이미지 콘딧은 스캐닝 서브시스템의 일부이다. 스캐닝 서브시스템은 기존의 카메라 이미지 센서와 공경합될 수 있다. 일부 실시예에서, 카메라 이미지 센서의 일부는 스캐닝 서브시스템의 배타적 사용을 위해 예비된다.
액션, 전자 트랜잭션 또는 검색을 위한 컨텍스트 설정 방법
셀룰러 서비스 프로바이더를 갖는 모바일 폰 가입자의 어카운트는 p-커머스 구매 트랜잭션에 대한 정보를 계산/빌링하기 위해 사용될 수 있다.
모바일 폰 기능의 다른 태양은 컨텍스트를 설정하기 위해 사용될 수 있다. 예를 들어, 폰 콜 액티비티 및 히스토리는 컨텍스트를 달성하고, 입력을 우선순위화하고 그리고 검색 문의를 다루기 위해 사용될 수 있다. 또한, 웹/WAP/이메일/IM 액티비티 및 그 히스토리에 대한 폰 네트워크의 사용; 그 폰의 지리학적 위치 및 히스토리와 같은 폰 네트워크의 다른 사용은 컨텍스트를 설정하는데 사용될 수 있다.
폰의 텍스트 메시징 사전은 OCR 프로세스를 강화하는데 사용될 수 있다. 많은 모바일 폰상의 텍스트 메시징에 대한 T9 예측 텍스트 소프트웨어는 또한 OCR 및 비모호성 프로세스를 강화하는데 사용될 수 있다. 예를 들어, T9 예측 텍스트 소프트웨어는 OCR 에러를 수정하는데 사용될 수 있다. 텍스트 입력 및 SMS 메시징 히스토리는 OCR에 대한 어휘로서 사용될 수 있다.
일부 실시예에서, 모바일 폰은 아이콘을 명령어로서 인식하여 아이콘 다음에 인쇄된 넘버를 다이얼하게 된다. 일부 실시예에서, 모바일 폰은 폰넘버를 스캔시에 폰 넘버를 인식하고 사전결정된 액션을 취하게 된다. 가능한 사전결정된 액션의 일부는 폰 콜을 행하고, 이 폰 넘버를 폰 주소록에 저장하는 것이다. 일부 실시예에서, 폰은 폰의 지리학적 위치를 콘텍스트로서 사용하여 폰 넘버를 인식하는 것을 돕게 된다. 예를 들어, 북아메리카 시스템하의 폰 넘버는 10개의 디짓으로 구성된다. 폰은 그 넘버가 폰 넘버인지를 결정하기 위해 넘버를 폰이 스캐닝할 때 이들의 위치 콘텍스트를 사용할 수 있다. 폰이 북아메리카에 있을 때, 11개의 디 짓 넘버가 폰 넘버로서 자동적으로 저장된다. 폰이 유럽에 있을 때, 동일한 11개의 디짓 넘버가 폰넘버로서 자동적으로 저장될 수도 있다.
렌더링 문서의 스캔에 의해 또는 그것을 사용하여 개시되는 모바일 폰 상거래
모바일 폰은 렌더링된 문서로부터 정보를 캡쳐링함으로써 상거래를 개시할 수 있다. 예를 들어, 사용자는 그의 모바일 폰 카메라로 문서로부터의 복수의 라인의 텍스트의 이미지를 캡쳐링하고; 폰은 캡쳐된 데이터내의 키워드를 인식하고; 키워드는 그 키워드와 연관된 프로덕트에 대한 구매 주문을 폰이 전달하도록 하는 폰내의 소프트웨어 애플리케이션을 트리거링한다. 사용자는 그가 상거래를 완료하기를 원하는지 여부를 (폰 키패드등으로) 나타낼 수 있다. 만약 그가 상거래를 완료하기 원한다면, 구매 가격은 사용자의모바일 폰 어카운트에 청구된다.
모바일 폰 (또는 서비스 프로바이더로 가입을 필요로 하는 임의의 무선 통신 디바이스)은 렌더링된 문서에 기초하여 상거래를 인증하고 완료하기 위해 사용될 수 있다. 예를 들어, 가입자는 웹페이지 구매 폼을 채워 제출할 수 있다. 이에 응답하여, 웹 판매자는 가입자의 컴퓨터에 코드를 다시 전송하고, 이 컴퓨터는 모니터상에 그것을 디스플레이한다. 그다음, 가입자는 그의 모바일 폰으로서 컴퓨터 모니터를 포토그래핑하고 이 이미지를 셀룰러 네트워크를 통해 판매자에게 전송한다. 판매자가 모바일 폰 메시지를 수신할 때, 판매자는 모바일 폰 어카운트가 웹페이지상에 제출된 정보와 매칭하는지를 검사하여 사용자를 인증하고 상거래를 완료할 수 있다.
일부 실시예에서, 가입자는 DTMF 또는 보이스 입력에 의해 p-상거래가 완료될 수 있는 서버에 가입자를 접속시키는 다이얼업 넘버를 호출할 수 있다.
모바일 폰과 조합하여 스캐너 기능을 사용하는 방법
일부 실시예에서, 모바일 폰은 스캐닝을 위한 중간 플랫폼(호스트 디바이스)이다. 예를 들어, 이러한 상황은 BlueTooth™ 스캐너가 모바일 폰에 접속될 때 발생할 수 있다. 모바일 폰이 중간 플랫폼으로서 기능하고 있을 때, 폰은 문서 인덱스, 마크업 문서 및, 폰과 함께 사용되고 있는 사용자/스캐너 전용 사용자 어카운트 데이터를 저장할 수 있다.
일부 실시예에서, 셀룰러 폰 시스템은 임의의 음성 콜로 데이터 채널을 개방한다. 호출자는 그의 셀폰으로 문서의 픽쳐를 취하거나 (또는 문서를 식별하기 위해 충분한 데이터를 캡쳐링하고, 예를 들어, 텍스트의 스트링을 문서로부터 스캐닝하고), 이 캡쳐링된 데이터는 음성 채널로 펑쳐링되고, 수신 폰내의 소프트웨어는 이 스트링을 복구하고 이것을 사용하여, 호출자에 의해 스트링이 스캐닝되었던 문서의 전자 카피를 위치시킨다.
일부 실시예에서, 모바일 폰이 폰 넘버 및 이름을 캡쳐링할 때, 이 둘 모두를 폰의 주소록에 저장하도록 사전프로그래밍된다. 단지 하나의 폰 넘버만이 캡쳐링되었을 때, 폰은 자동으로 이 넘버를 다이얼하도록 사전프로그래밍되어 있다.
SMS, MMS
검색 문의는 모바일 폰에 대한 셀룰러 네트워크의 쇼트 메시지 서비스(SMS) 텍스트 메시징 시스템의 사용에 의해 서비스 프로바이더 또는 네트워크에 효율적으 로 전송될 수 있다. 이미지 및 오디오 파일은 멀티미디어 메시지를 모바일 폰이 송수신하도록 셀룰러 네트워크의 멀티미디어 메시징 서비스(MMS)에 의해 송신될 수 있다.
모바일 폰 실시예의 관심 태양은 특히, 프래그먼트가 콘텍스트에 의해 더 퀄리파이되는 경우에, 위치를 식별하는데 오직 데이터의 작은 프래그먼트만이 필요하다는 것이 관찰된다는 것이다. 그다음, 이러한 쇼트 프래그먼트 접근은 이전에 문서 이미지를 전송할 수 없었던 제한된 배역폭 채널을 통해 문서 스캔 데이터를 송신하는 놀라운 능력에 갖게 되는데까지 이른다.
컴퓨터 마우스
휴대가능한 데이터 캡쳐 디바이스의 일실시예는 스캐너 능력을 갖는 광마우스이다. 일부 실시예에서, 이 광마우스는 스캐닝 및 모션감지를 위해 동일한 광경로를 사용한다. 일부 실시예에서, 광마우스는 스캐닝되고 있는 텍스트를 관찰하기 위한 뷰파인더를 갖고 있다.
이 뷰파인터로 인해 사용자는 스캐너가 어디에 타켓팅되고 있는지를 알 수 있다. 이 뷰파인더를 구현하는데 사용될 수 있는 기술들은, 마우스 밑의 문서를 도시하는 클리어 플라스틱 윈도우; 페리스코프와 유사한 일련의 미러; 스캐너의 실시간 출력을 도시하는 디스플레이; 또는 광섬유 이미지 콘딧이다.
도 20은 마우스 밑의 표면을 드러내는 뷰잉 윈도우(2104)를 구비한 스캐너/마우스(2100)를 도시한다. 이 스캐너/마우스(2100)는 뷰잉 윈도우(2104)가 존재하는 하우징(2102)을 갖고 있다. 이 뷰잉 윈도우는 스캐너/마우스(2100)가 어느 텍 스트를 캡쳐링하고 있는지를 지시하기 위한 타겟(2106)을 가질 수 있다. 이 뷰잉 윈도우는 도 24내에 도시된 미러 어레인지먼트와 함께 사용될 수 있다.
도 21은 사용자가 무엇이 스캐닝되고 있는지를 볼 수 있도록 하우징(2104)의 상부상에 장착된 디스플레이(LCD, LED등)을 구비한 스캐너/마우스(2100)를 도시하고 있다. 디스플레이(2102)는 실시간으로 광스캐닝 서브시스템의 출력을 도시할 수도 있다. 일부 실시예에서, 프로세서(호스트 컴퓨터의 프로세서 또는 온보드 프로세서)는 광메커니즘의 출력이 디스플레이(2102)에 송신되기 전에 상기 출력을 조작할 수 있다. 도 25 역시 참조하라.
도 22는 전통적인 기계적 x/y 메커니즘 및 광스캐너를 구비한 마우스와 같은, 별개의 포지션-감지부(2210) 및 스캐닝 메커니즘(2220)을 구비한 마우스의 블록도를 도시하고 있다. 제어 로직(2240)은 포지션-감지 메커니즘(2210), 스캐닝 메커니즘(2220), 디스플레이(2230), I/O 서브시스템(2250), 및 메모리(2260)와 동작가능하게 접속되어 있다. 옵셔널 디스플레이(2230)는 사용자에게 스캐닝된 데이터를 보여줄 수 있다. 메모리(2260)는 스캐닝된 데이터 및 명령어를 저장할 수 있다. I/O 서브시스템(2250)은 블루투스 송수신기 또는 USB 포트와같은 무선 또는 유선 통신 수단에 의해 호스트 컴퓨터와 통신한다. 일부 실시예에서, I/O 서브시스템(2250)은 또한 스위치, 키패드 또는 버트과 같은 사용자 입력 디바이스를 포함한다.
도 23은 x/y 모션을 검출하고 렌더링된 문서로부터 데이터를 스캐닝하는데 사용될 수 있는 광센서 어셈블리(2310)를 구비한 마우스의 블록도를 도시하고 있 다. 제어 로직(2320)은 광어셈블리(2310), I/O 서브시스템(2330), 디스플레이(2350), 및 메모리(2340)와 동작가능하게 접속되어 있다. 제어 로직/프로세서(2320)는 어느 기능(스캐닝 또는 모션 감지)이 필요한지를 결정할 수 있다. 대안으로, I/O 서브시스템(2330)은 x/y 모션 및 스캐닝 기능 사이를 전환하는 사용자 선택가능한 스위치를 포함할 수도 있다. 메모리(2340)는 데이터 및 명령어를 저장할 수 있다. 디스플레이(2350)는 사용자에게 스캐닝된 데이터 및/또는 디바이스 상태(예를 들어, 디바이스가 현재 스캐너 모드인지 또는 마우스 모드인지, 등)를 보여줄 수 있다.
도 24는 스캐너 헤드 아래에 있는 것의 뷰파인터에 이르는 이미지를 반사하기 위해 일련의 미러(2410)를 사용하는 마우스/스캐너(2400)의 측면도를 도시한다. 광원(2420)은 사용자에 의해 스캐닝되고 있는 렌더링된 문서(2430)의 일부를 조명한다. 광원(2420)로부터의 광의 적어도 일부는 문서(2430)로부터 반사하고 광경로(2440)를 따라 이동하여 사용자가 볼 수 있는 뷰파인더 윈도우(2450)에 이른다. 이러한 대안의 실시예에서, 뷰파인더(2450)는 스캐너 헤드/광원(2420)의 일측상에 놓일 수 있다(도 26 참조).
도 25는 광감지 반도체 칩(2520; CMOS, CCD등)에 동작가능하게 접속된 이미지 콘딧(2510)를 사용하는 마우스/스캐너(2500)의 일예를 도시한다.
CCD(2520)의 출력은 직접 디스플레이(2530) 및 프로세서(2540)으로 인가될 수도 있다(대안으로, 상기 출력은 디스플레이(2530)에 루팅되기 전에 처리될 수도 있다). 프로세서(2540)는 CCD(2520), 디스플레이(2530), 메모리(2550) 및 I/O 서 브시스템(2560)과 동작가능하게 접속되어 있다.
도 26은 본질상, 사용자가 스캐닝 헤드 아래를 통과하는 텍스트를 볼 수 있도록 하는 스캐닝 메커니즘(2620)의 일측상의 윈도우(2610)인 뷰파인터를 구비한 마우스/스캐너(2600)의 평면도를 도시하고 있다. 프로세서(2630)는 스캐닝 메커니즘(2620), 메모리(2640), I/O 서브시스템(2650), 및 전원(2660)과 동작가능하게 접속되어 있다. 전원(2660)은 보통 무선으로 통신하는 스캐너내에 포함되지만 옵션으로 유선 마우스에 포함도리 수 있다.
USB 포트를 구비한 스캔 헤드 액세사리
어댑터 포트를 구비한 스캐닝 액세사리는 휴대가능한 데이터 캡쳐 디바이스의 또 다른 예이다. 스캐닝 액세사리는 모바일 폰 또는 PDA와 같은 다른 디바이스상의 적합한 커넥터에 플러그인되어 상기 디바이스에 스캐닝 능력을 업그레이드할 수 있다. 일부 실시예에서, 액세사리는 단지 광 캡쳐 서브시스템 및 어댑터(이 어댑터를 통해 전력을 전달한다)를 갖고 있다. 일부 실시예에서, 액세사리는 제어 로직, 메모리, 및 전원을 포함하고 있다.
스캐노테이터
일부 실시예에서, 시스템은 렌더링된 문서의 전자 카운터파트내의 선택된 포지션으로 오디오 주석을 타겟팅한다("시스템"). 페이퍼 문서내의 선택된 포인트로 구술된 주석을 타겟팅하기 위해, 사용자는 선택된 포인트에서 텍스트의 일부를 스캐닝하기 우해 핸드헬드 광스캐너를 사용한다. 그다음, 사용자는 광스캐너내의 마이크로폰에 의해 캡쳐링되고 텍스트의 스캐닝된 부분과 연관되어 저장되는 주석을 구술한다.
스캐너는 다양한 타입의 유선 또는 무선 커넥션을 통해 컴퓨터 시스템 또는 유사한 디바이스에 접속되거나 통신할 수 있다. 일단 접속되면, 저장된 연관이 예를 들어, 문서의 전자 버전으로 선택된 포인트를 디스플레이하면서 주석을 재생하고, 문서의 전자 버전으로 선택된 포인트과 관련하여 보이스 인식을 통해 취득된 주석의 텍스츄얼 버전을 디스플레이하고, 이 주석에 따라 선택된 포인트에서 문서의 전자 버전을 자동 리바이싱하고, 선택된 포인트에서 전자 문서내의 오디오 파일로서 상기 주석을 임베딩하고, 오디오 주석을 포함하는 연관된 오디오 파일에 포인터(예를 들어, 하이퍼링크등)를 삽입하는 등에 사용될 수 있다. 일부 실시예에서, 스캐닝된 텍스트가 보다 방대한 전자 문서사이로부터 문서를 식별 및/또는 위치시키는데 사용될 수 있다. 대안으로, 다른 접근이 상기 문서를 식별하는데 사용될 수 있다.
임의의 실시예에서, 스캐너는 주석 사이를 항해하는 컨트롤과 같은 컨트롤을 포함한다. 스캐너가 컴퓨터 시스템에 접속될 때, 내비게이션 컨트롤은 컴퓨터 시스템상에 디스플레이된 문서내의 주석 사이를 항해할 수 있다. 스캐너가 컴퓨터 시스템에 접속되어 있지 않을 때, 내비게이션 컨트롤은 스캐너에 저장된 주석 사이를 항해하거나, 스캐너의 메모리내의 그러한 주석을 리뷰, 리바이스, 또는 삭제할 수 있다.
상술된 기능의 일부 또는 모두를 제공함으로써, 시스템은 전자 문서의 렌더링된 카피를 사용하여 전자 문서에 편리하고 정확하게 주석을 사용자가 달 수 있도 록 한다.
도 27은 샘플 핸드헬드 문서 데이터 캡쳐 디바이스의 모습의 사시도이다. 페이퍼 문서를 판독하는 동안, 사용자는 전자 오리지널의 편집 또는 다른 인터랙션을 필요로 하는 문서내의 타이핑 또는 스펠링 에러, 사실에 근거한 부정확도, 또는 다른 이슈를 인지할 수 있다. 사용자는 주석 디바이스상의 SCAN 버튼(2701)을 누르고 광센서(2711)를 사용하여 컨텍스트를 캡쳐링하기 위해 문서의 몇 단어를 스캔한다. 임의의 실시예에서, 시각 지시기(2721)가 스캐닝된 텍스트가 인식되었는지, 및/또는 스캐닝된 텍스트가 렌더링된 문서에 상응하는 전자 문서 및/또는 이러한 문서내의 단일 위치를 식별하는데 충분한지 또는 충분할 가능성이 높은지 여부를 지시한다. 그다음, 사용자는 빌트인 마이크로폰을 사용하여 음성 주석을 기록하기 위해 REC 버튼(2702)을 누른다. 버튼(2703)을 누름으로써 빌트인 스피터(2731)를 사용하여 주석을 사용자가 리뷰할 수 있고, REC 버튼(2702)을 다시 누름으로써 그 주석을 겹쳐쓰기할 수 있다.
사용자가 인쇄된 문서의 리부를 마쳤을 때, 사용자 (또는 어시스턴트)는 직접 또는 USB 포트가 불편하게 위치되어 있다면 익스텐션 케이블을 통하여 (주석 디바이스의 내부 배터리를 역시 재충전시킬 수 있는) 컴퓨터상의 USB 포트내로 주석 디바이스의 USB 커넥터(2741)를 플러깅한다. 그것을 단순히 플러깅함으로써 문서를 편집하기 위한 적합한 소프트웨어 패키지가 적합한 문서를 론칭하고, 로딩하고, 제1 주석의 포인트에서 편집 커서를 배치할 수 있고, 심지어 스캐닝되었던 단어를 선택할 수도 있다. 그다음, 사용자는 기록된 주석을 듣기 위하여 PLAY 버튼(103) 을 누르고 정상적으로 방법으로 텍스트에 임의의 필요한 편집을 행할 수 있다. 사용자는 NEXT 버튼(2705)를 눌러 다음 주석으로 스킵하고, 그다음, 다시 PLAY 등을 누를 수 있다.
REC 버튼(2702)은 예를 들어, 어시스턴트가 오리지널 주석 또는 이들의 편집된 버전의 적합성에 관한 질문을 갖고 있다면, 동일한 위치에 추가 주석을 더하는데 사용될 수 있다.
SCAN 버튼(2701)은 PC에 접속될 때, 주석 달렸고 더이상 필요하지 않다는 것을 지시하기 위해 'DONE' 버튼으로서 사용될 수 있다. 임의의 실시예에서, 동일한 버튼이 디바이스가 페이퍼와 접촉하고 있을 때 스캐닝을 트리거링하고 그렇지 않을 때 오디오 기록을 트리거링한다. 임의의 실시예에서, 디바이스는 광센서(2711)가 페이퍼와 접촉하고 있을 때를 검출하기 위해 광센서(2711) 근방에 센서 또는 버튼(명료성을 위해 도시되지 않았다)을 가질 수 있다.
임의의 실시예에서, 주석 디바이스는 후방부에 클립을 가지고 있어, 오디오 Post-It® 노트의 세트로서 기능하기 위해 주석된 문서에 클립핑될 수 있다.
도 28은 주석 디바이스(2800)의 일실시예의 블록도를 도시하고 있다. 이 디바이스는 페이퍼 문서로부터 텍스트의 이미지를 캡쳐링하기 위한 광스캐닝 헤드(2816) 및 텍스트와 연관된 보이스 주석을 캡쳐링하기 위한 마이크로폰(2802)을 포함하고 있다. 이러한 입력 디바이스로부터 캡쳐링된 데이터는 중앙 컨트롤 디바이스(2810)에 의해 처리되는 것이 가능하고, 메모리(2814)내에 저장된다. 하나 이상의 버튼(2812)가 이러한 프로세스를 사용자가 제어하기 위해 제공되고, 여기에 LED로 도시된 일부 시각 지시기(2804)는 사용자에게 피드백을 준다. 물론, 시각 지시기는 예를 들어, 액정 디스플레이(LCD)와 같은 임의의 적합한 유저 인터페이스일 수도 있다.
선택적으로, 상기 디바이스는 사용자에게 음성 주석이 재싱되고 다른 오디오 피드백이 주어질 수 있도록 하는 라우드스피커(2806)을 포함한다.
인터페이스(2808)는 PC 도는 다른 처리 디바이스에 전송될 수 있도록 하는 인터페이스(2808)는 여기에 USB로서 도시되어 있지만, 방화벽, Bluetooth™, 802.11, 적외선, 이더넷 또는 다른 유선 또는 무선 통신 기술일 수 있다. USB와 같은 유선 기반 통신 기술은 또한 배터리와 같은 내부 전력 소스를 충전을 위해 또는 즉시 연산을 위해 디바이스에 전력을 제공할 수 있다.
도 29는 통신(2902), 보통 USB 포트를 통해 PC(2900)와같은 처리 디바이스에 접속된 디바이스(2800)를 도시하고 있다. 모니터링 시스템(2904)은 상기 디바이스가 접속될 때를 검출하여 상기 디바이스와 통신하고 최종 연산을 코디네이팅하는 책임을 갖고 있다. 보통 이것은 심볼 또는 텍스트 형태로 분석 및 전환을 위해 상기 디바이스로부터 서브시스템(2906)으로 상기 캡쳐링된 이미지를 검색하는 단계, 적합한 문서를 위치시키는 검색 서브시스템(2908)으로 최종 텍스트를 통과시키는 단계, 및 사용자가 이들을 보거나, 편집하거나 또는 상화작용할 수 있도록 하는 애플리케이션(2910)으로 통과되는 문서의 디테일을 처리하는 단게를 수반한다. 또한, 모니터링 시스템(2904)은 애플리케이션을 제어하여, 예를 들어, 모니터링 시스템(2904)가 문서를 이전의 스캠의 위치로 스크롤링하도록 할 수 있다. 캡쳐링된 오디오 주석은 사용자에게 재생되기 위해 PC의 오디오 시스템(2912)으로 전달될 수 있다. 이 오디오 시스템(2912)은 아날로그 오디오를 디지털 형태로 또는 그 반대로 변환시키기 위해 디지털-아날로그 및/또는 아날로그-디지털 변환 능력을 가질 수 있다.
이러한 프로세스의 많은 구성요소가 디바이스(2800)가 기본 레벨의 정교함보다 많은 것을 가지고 있다면 디바이스(2800)상에서 일어나는 것이 가능하다. PC상에 2906으로 도시된, 임의의 통합된 텍스트의 인식 및 이미지의 해석은 디바이스(2800)상에서 그 PC(2900)로의 접속 전에 또는 그 접속 동안 디바이스(2800)에서 완료되거나 부분적으로 완료될 수 있어서, 예를 들어, 이미지 자체 대신에 또는 이미지 자체는 물론 PC(2900)에 전달되는 것은 텍스트 또는 일부 다른 유도 데이터이다. 이와 마찬가지로, 오디오 주석은 디바이스내에 내장된 오디오 팩실리티(2906)를 통해 사용자에게 재생될 수 있고, 프로세스로의 유저 인터페이스는 디바이스(2800)상의 버튼을 통해 부분적으로 또는 전체적으로 동작될 수 있다.
다시, 도 28에서, 임의의 실시예에서, 디바이스의 스캐닝 헤드(2816)는 페이로부터는 물론 컴퓨터 디스플레이와 같은 디스플레이 디바이스로부터의 이미지를 캡쳐링할 수 있다.
주석을 달 텍스트가 페이퍼상의 단어의 이미지를 스캐닝하고 해석하는 대신에 디바이스의 마이크로폰(2802)내에 사용자에의해 크게 읽혀진 스피치 프래그먼트를 캡쳐링하고 인식함으로써 식별될 수 있다.
대안의 실시예에서, 마이크로폰(2802)이 텍스트 및 주석 모두를 캡쳐링하기 위해 사용되어, 스캐닝 헤드(28160가 생략될 수 있고, 상술된 이미지-압축 및 OCR 스테이지가 오디오-처리 및 스피치 인식 스테이지로 대체될 수 있다. 이러한 실시에에서, 사용자는 주석을 위한 요구되는 위치에서 텍스트 및 주석을 마이크로폰내에 크게 읽는다. 임의의 실시예에서, 사용자는 어느 오디오가 위치를 마킹하고 있고 어느 것이 주석인지를 지시하기 위해 디바이스의 유저 인터페이스(사용자에게 정보를 제시하고 사용자로부터의 입력을 수신하기 위한 버튼, 디스프레이, 키패드, 마이크로폰등)을 조작할 수 있다. 나중에 PC(9200)는 렌더링된 문서와 연관된 전자 문서를 식별하기 위해 적합한 오디오를 텍스트로 전환시키고 이러한 텍스트를 사용할 수 있다. 전자 문서가 주석 위치를 마킹하는 텍스트열을 통해 식별된 후에, PC(2900)는 주석이 적합한 삽입 포인트에서 전자 문서내로 삽입될 수 있도록 할 수 있다.
도 30은 컴퓨터 시스템 및 이 시스템이 실행되는 다른 디바이스의 적어도 일부에 보통 통합된 컴포넌트의 일부를 도시하는 블록도이다. 이러한 컴퓨터 시스템 및 디바이스(300)는 컴퓨터 프로그램을 실행하기 위한 하나 이상의 중앙 처리 장치("CPU"; 3001); 데이터 구조를 포함하는 데이터 및 프로그램이 사용되고 있는 동안에 이들을 저장하기 위한 컴퓨터 메모리(3002); 프로그램 및 데이터를 영구 저장하기 위한 하드 드라이브와같은 영구 저장 디바이스(3003); 컴퓨터 판독가능 매체에 저장된 프로그램 및 데이터를 판독하기 위한 CD-ROM 드라이브와 같은 컴퓨터 판독가능 매체 드라이브(3004); 데이터 구조를 포함하는 데이터 및/또는 프로그램을 교환하기 위해 인터넷과 같은 다른 컴퓨터 시스템에 상기 컴퓨터 시스템을 접속시 키기 위한 네트워크 커넥션(3005); 및 USB 커넥터 또는 다른 적합한 버스 커넥터와 같은 데스크톱 버스 커넥터(3006)를 포함할 수 있다. CPU에 의해 실행되는 프로그램은 광학식 문자 인식("OCR") 소프트웨어와 같은 스캐닝된 이미지를 인식하기 위한 소프트웨어 및/또는 음성 인식 소프트웨어와 같은 구술된 오디오를 인식하기 위한 소프트웨어는 물론, 시스템과 연관되고 여기에 어딘가에 기술된 프로그래을 포함할 수 있다. 상술된 바와 같이 구성된 컴퓨터 시스템이 보통 시스템의 동작을 지원하기 위해 사용되었지만, 당업자는 이 시스템이 다양한 타입 및 구성, 그리고 다양한 컴포넌트를 가진 디바이스를 사용하여 구현될 수 있음을 이해할 것이다.
도 31은 전자 문서에 주석을 달기 위해 시스템에 의해 사용된 전형적인 프로세스를 도시하는 순서도이다. 단계(3101)에서, 시스템은 단어의 작은, 이어지는 시퀀스와같은, 렌더링된 문서의 일부를 스캐닝한다. 단계(3102)에서, 시스템은 렌더링된 문서의 스캐닝된 부분에 관한 오디오 주석을 입력한다. 단계(3103)에서, 보다 많은 주석이 존재한다면, 시스템은 또 다른 주석을 구성하기 위해 단계(3101)에서 계속하고, 그렇지 않으면, 시스템은 단계(3104)로 진행한다. 단계(3104)에서, 시스템은 단계(3101)에서 스캐닝된 문서 부분 및 이들의, 컴퓨터 시스템으로 단계(3102)에서 입력된 오디오 주석을 업로딩한다. 단계(3105)에서, 시스템은 렌더링된 문서에 상응하는 디지털 문서를 식별한다. 임의의 실시예에서, 시스템은 렌더링된 문서로부터 전자 문서의 유니버스의 컨텐츠로 스캐닝된 하나 이상의 문서 부분내의 텍스트를 비교함으로써, 렌더링된 문서에 상응하는 디지털 문서를 식별한다.
단계(3106)에서, 시스템은 업로딩된 주석에 따라 단계(3105)에서 식별된 디디털 문서를 수정한다. 일부 실시예에서, 단계(3106)는 상응하는 스캐닝된 부분 근방에 디지털 문서내의 포인트로 오디오 클릭으로서 각 주석을 첨부시키는 단계를 수반한다. 임의의 실시예에서, 단계(3106)는 그러한 포인트에서 디지털 문서로 상기 주석의 음성 인식된 텍스츄얼 버전을 첨부하는 단계를 수반한다. 임의의 실시예에서, 단계(3106)은 주석의 음성 인식된 컨텐츠에 기초하여, 식별된 디지털 문서의 스캐닝된 부분에 대해 편집을 자동으로 행하는 단계를 수반한다. 음성 인식이 사용되는 경우에, 주석이 업로딩되기 전 또는 후에 실행될 수 있다. 단계(3106)후에, 이러한 단계는 종료한다.
물론, 단계(3106)는 모든 실시예에서 나타나지 않고, 상술된 것과 다른 실시예와 상이할 수 있다. 예를 들어, 임의의 실시예에서, 미래 사용을 위해 주석을 업로딩하고 저장하는 단계는 충분할 수 있고, 주석은 디지털 오리지널로부터 별도로 저장될 수 있다. 특히, 이 오리지널을 수정하는 것은, 예를 들어, 주석이 충분한 특권을 가지지 않거나 CD와 같은 기록불능 매체인 이유로 인해, 불가능하다.
당업자는 도 31에 도시된 단계가 다양한 방법으로 대체될 수 있음을 이해할 것이다. 예를 들어, 단계의 순서는 재배열될 수 있거나, 서브스텝이 병렬로 실행될 수 있거나, 도시된 단계가 생략될 수 있거나, 또는 다른 단계가 포함될 수도 있다.
도 32는 사용자에 의해 입력된 주석을 표시하기 위해 시스템에 의해 사용된 샘플 주석 테이블(3200)을 도시하는 테이블 도면이다. 임의의 실시예에서, 시스템 은 주석 테이블(3200)의 버전을 주석 디바이스(2800) 및/또는 컴퓨터 시스템(2900)내에 저장한다. 임의의 실시예에서, 시스템은 주석 디바이스(2800)로부터 컴퓨터 시스템(2900)으로 주석 테이블(3200)의 버전을 업로딩한다.
주석 테이블(3200)은 행(3201-3203)과 같은, 각 생성된 주석에 대한 행을 포함한다. 주석 테이블(3200)의 행은, 상이한 렌더링된 문서와 관련된 시퀀스 넘버 구별 주석을 포함하는 문서 시퀀스 넘버 열(3211); 스캐닝 동안 캡쳐링된 생 또는 처리된 이미지 데이터 또는 주석에 대하여 스캐닝된 텍스트의 인식된 텍스츄얼 버전을 포함하는 스캐닝된 텍스트 열(3212); 및 주석에 대하여 캡쳐링된 생 또는 처리된 오디오 데이터 또는 주석의 음성 인식된 텍스츄얼 버전을 포함하는 주석 열(3213)을 포함하는 열과 교차한다. 예를 들어, 행(3201)은 주석이 달린 제1 문서에서, 사용자가 이러한 렌더링된 문서에서 텍스트 "idealized husbanary practices"를 스캐닝하였고, 오디오 주석 "audio citation to Huff reference"을 첨부하였음을 지시한다.
도 32가 컨텐츠 및 오거니제이션이 인간 리더기에 의해 보다 인식가능하도록 설계된 컨텐츠 및 오거니제이션을 갖는 테이블을 도시하고 있지만, 당업자는 이러한 정보를 저장하기 위해 시스템에 의해 사용된 실제 데이터 구조가 예를 들어, 상이한 방식으로 구성될 수 있고; 도시된 것보다 많거나 적은 정보를 포함할 수 있고; 압축되고 및/또는 암호화될 수 있는 등, 도시된 테이블과 상이할 수 있다는 것을 이해할 것이다. 예를 들어, 임의의 실시예에서, 시스템은 각각의 스캔에 대한 타임스탬프 및/또는 위치 스탬프를 포함할 수 있다. 필요한 타임 및 위치 정보는 온보드 글로벌 전지구 측위 시스템(GPS) 능력으로부터 얻어질 수도 있고, 무선 통신 능력을 갖고 있는 디바이스(2800)의 경우에 무선 통신망으로부터 얻어질 수도 있다.
상기 시스템은 아래에 설명되는 임의의 샘플 모드를 포함하는 하나 이상의 다양한 모드로 사용될 수 있다. 하나의 샘플 모드에서, 주석 디바이스(2800)는 그 주석 및 스캐닝된 정보 모두를 식별된 문서내로 자동적으로 다운로딩한다. 주석은 노트, 멀티미디어(오디오) 노트 파일등과같은 문서의 이루가 된다. 예를 들어, 사용자는 (사용자의 컴퓨터상의 상응하는 전자 문서를 갖고 있는) 페이퍼 문서로부터 임의의 텍스트를 스캐닝하고, 그래서, 문서에서 주석이 어디에 속해있는지를 지시하고, 이러한 포인트에서 포함되어야 하는 임의의 엑스트라 정보에 대한 음성 주석을 만들게 된다. 나중에, 사용자는 주석 디바이스를 컴퓨터의 USB 포트로 플러깅한다. 임의의 실시예에서, 사용자는 (마이크로소프트 워드와 같은) 문서 편집 애플리케이션내의 문서를 열고 매크로를 론칭하여 주석을 다운로딩하고 이것을 텍스트 또는 내장된 오디오 파일로서, 워드 문서에 첨부한다.
다른 샘플 모드에서, 컴퓨터는 검색 인덱스에 액세스하고 검색 인덱스에 스캐닝된 텍스트를 비교하고, 그래서, 스캐닝된 텍스트를 사용하여 추가 사용자 간섭 없이 정확한 문서를 식별함으로써, 주석이 속해있는 문서를 자동적으로 식별한다. 이러한 자동적인 다운로드 및 "코멘트"로서 상기 문서내에 통합하는 단계는 작업 그룹에 의해 문서의 공동 편집을 위해 사용될 수 있다. 이러한 방식으로 사용될 때, 컴퓨터는 상기 문서내의 각 그룹 멤버의 개별적인 에디트 및 코멘트를 저장한 다. 대안으로, 컴퓨터는 이들을 개별적으로 저장하고 처리하고, 이들을 적합한 형태로 조합한다.
사용예
다음은 핸드헬드 문서 데이터 캡쳐 디바이스의 일부 사용예이다. 이러한 예는 모든 가능한 실시예를 개시할 수 있지만 일부 사용의 대략적인 개관을 제시하고자 의도되었다.
P- 커머스
임의의 실시예에서, 핸드헬드 문서 데이터 캡쳐 디바이스는 p-커머스 능력 및 애플리케이션을 갖고 있다. 예를 들어, 일부 실시예는 p-커머스 활동과 관련된 아이콘 및 키워드를 인식할 수 있다. 이러한 키워드 및 아이콘은 데이터를 페이퍼 문서로부터 캡쳐링함으로써 물건 서비스를 구매하기 위한 p-커머스 트랜잭션 소프트웨어를 론칭할 수 있다. 일부 실시예에서, 이 디바이스는 $(구매) 마크를 만날 때 구매 상태 도는 모드에 놓이게 된다. 구매 프로세스가 자동화되어 있기 때문에, 일부 실시예는 카탈로그 또는 광고로부터 단일 스캔으로 구매 트랜잭션을 가입자가 완료할 수 있도록 한다. 일부 실시예에서, 디바이스는 크레디트 카드 프로세서와 직접 인터랙팅할 수 있도록 온보드 메모리내에 금융 정보를 저장할 수 있다.
키워드
일부 실시예에서, 핸드헬드 문서 데이터 캡쳐 디바이스는 렌더링된 문서와 결합하여 마크업 문서 및 캐워드의 사용을 지원한다. 일부 실시예는 특정 스캔이 특별히 처리되어야 함을 지시하는 텍스트내의 다양한 보충 마킹(예를 들어, 언더라 인, 폰트, 텍스트의 컬러, 토큰, 아이콘)을 인식한다. 이러한 보충 마킹중 하나와 만났을 때, 디바이스는 검출된 마킹과 연관된 애플리케이션을 실행한다. 다양한 실시예에 의해 지원된 키워드는 회사명 및 상표를 포함한다. 일부 상표 및 아이콘은 전화내에서 코드 또는 텍스트로 전환되어 SMS 또는 다른 텍스트 기반 메시징을 통해 서비스 프로바이더에게 전송된다. 전화내의 캐워드 리스트의 로컬 캐싱은 그래픽스의 텍스트로의 로컬 전환에 대해 유용하다. 대안으로, 그래피컬 상표 및 아이콘은 멀티미디어 메시징을 통해 이미지로서 전송될 수 있다.
선불
일부 실시예에서, 휴대가능한 데이터 캡쳐 디바이스는 스캐닝 서비스 프로바이더로부터 서비스에 대해 선불된 가입을 갖는다. 선불된 어카운트는 2개의 주요 장점을 갖고 있다. 첫번째는 선불된 어카운트가 시스템의 익명의 사용을 가능하게 하여, 가입자의 프라이버시를 지켜줄 수 있다는 것이다. 두번째는 선불된 어카운트가 불량 또는 아무런 신용 히스토리를 갖지 못한 사람에게까지 잠재적인 가입자를 확충시킬 수 있다는 것이다. 미리 지불함으로써, 가입자는 그의 신용 히스토리에 관계없이 시스템 서비스를 사용할 수 있다.
예를 들어, 고객은 스토어에서 휴대가능한 데이터 캡쳐 디바이스를 구매할 수도 있다. 디바이스는 특정 수의 선불된 트랜잭션에 사용될 수 있다. 디바이스로 실행되는 전형적인 트랜잭션은 전자 문서에 액세스하는 것이다. 그래서, 고객은 선불 디바이스로 로컬 신문으로부터 텍스트를 스캐닝하고 보충 전자물에 즉시 익명으로 액세스할 수도 있다. 스캐닝 서비스 프로바이더는 각 트랜잭션이 차변에 기입되는 선불 디바이스와 연관된 어카운트 파일을 갖고 있다. 고객이 모든 선불 트랜잭션을 사용하였을 때, 그는 스토어를 돌아가거나 (뱅크 ATM 머신등을 통해) 전자 지불을 행함으로써 보다 많은 선불 트랜잭션을 선택적으로 구매할 수 있다. 서비스 프로바이더는 새로 구매한 트랜잭션을 휴대가능한 디바이스의 선불 어카운트 파일에 대변기입한다.
결론
상술된 시스템이 다양한 방법으로 채용되거나 확장될 수 있다는 것을 당업자는 이해할 것이다. 상술된 설명이 특정 실시예에 대해 언급하였지만, 본 발명의 범위는 이어지는 청구범위 및 거기에 기재된 요소에 의해서만 한정된다.

Claims (50)

  1. 모바일 폰으로서,
    제어 로직;
    상기 제어 로직에 의해 실행가능한 명령어 및 데이터를 저장하고, 상기 제어 로직에 결합된 메모리; 및
    식별되지 않은 인쇄된 문서로부터 데이터를 캡쳐링하는 광 데이터 캡쳐 엘리먼트;를 포함하고,
    상기 명령어는 상기 데이터 캡쳐 엘리먼트가 상기 식별되지 않은 인쇄된 문서로부터, 상기 식별되지 않은 인쇄된 문서의 본체내의 전체 페이지 일부를 나타내는 임의의 인간 판독가능한 텍스트 시퀀스를 캡쳐링하도록 하는 명령어;
    상기 캡쳐링된 임의의 텍스트 시퀀스로부터 i) 상기 인쇄된 문서 및 ii) 상기 인쇄된 문서의 본체내의 위치를 식별하는 문서 시그니처를 상기 모바일 폰이 추출하도록 하는 명령어; 및
    상기 인쇄된 문서와 연관된 액션층이 상기 문서 시그니처에 따라 식별되었다는 것을 상기 모바일 폰이 표시하도록 하는 명령어;를 포함하고,
    상기 액션층은 상기 인쇄된 문서의 본체내의 식별된 위치에 특정된 복수의 액션을 표시하는 것을 특징으로 하는 모바일 폰.
  2. 텍스트 캡쳐 동작을 실행하기 위한 컴퓨터 구현 방법으로서,
    모바일 폰의 사용자가, 식별되지 않은 인쇄된 문서의 본체로부터 인간 판독가능한 텍스트의 전체 페이지 일부를 나타내는 임의의 텍스트 시퀀스를 캡쳐링하는 텍스트 캡쳐 동작을 상기 식별되지 않은 인쇄된 문서에서 상기 모바일 폰을 통해 실행하였다는 표시를 수신하는 단계;
    상기 수신된 표시가 i) 상기 인쇄된 문서 및 ii) 상기 인쇄된 문서의 본체내의 위치를 식별하는 문서 시그니처를 추출하도록 충분한 정보를 포함하고 있음을 결정하는 단계; 및
    상기 문서 시그니처가 상기 인쇄된 문서와 연관된 액션층을 식별하도록 충분한 정보를 포함하고 있음을 결정하는 단계;를 포함하고,
    상기 액션층은 상기 인쇄된 문서의 본체내의 식별된 위치에 특정된 복수의 액션을 표시하는 것을 특징으로 하는 컴퓨터 구현 방법.
  3. 제2항에 있어서, 상기 인쇄된 문서는 적어도 하나의 라인의 텍스트를 포함하고, 상기 캡쳐링된 텍스트 시퀀스는 상기 인쇄된 문서의 단일 라인내에 포함된 텍스트의 부분집합인 것을 특징으로 하는 컴퓨터 구현 방법.
  4. 제2항에 있어서, 상기 인쇄된 문서는 적어도 하나의 라인의 텍스트를 포함하고, 상기 캡쳐링된 텍스트 시퀀스는 상기 인쇄된 문서의 단일 페이지내에 포함된 텍스트의 부분집합인 것을 특징으로 하는 컴퓨터 구현 방법.
  5. 제2항에 있어서, 상기 캡쳐링된 텍스트 시퀀스는 단어로 구성되고, 상기 텍스트 캡쳐 동작은 상기 캡쳐링된 텍스트 시퀀스의 단어의 각각과의 특정 사용자 인터랙션을 수반한 것을 특징으로 하는 컴퓨터 구현 방법.
  6. 제5항에 있어서, 상기 사용자는 상기 캡쳐링된 텍스트 시퀀스의 단어의 각각을 말하는 것을 특징으로 하는 컴퓨터 구현 방법.
  7. 제5항에 있어서, 상기 사용자는 상기 캡쳐링된 텍스트 시퀀스의 단어의 각각에 광 센서를 지향시키는 것을 특징으로 하는 컴퓨터 구현 방법.
  8. 제2항에 있어서, 상기 캡쳐링된 텍스트 시퀀스는 순서지정된 단어로 구성되고, 상기 텍스트 캡쳐 동작은 상기 캡쳐링된 텍스트 시퀀스의 순서로 상기 캡쳐링된 텍스트 시퀀스의 단어의 각각에 상응하는 물리 현상을 캡쳐링하는 것을 수반한 것을 특징으로 하는 컴퓨터 구현 방법.
  9. 제2항에 있어서, 상기 캡쳐링된 텍스트 시퀀스는 순서지정된 단어로 구성되고, 상기 텍스트 캡쳐 동작은 상기 캡쳐링된 텍스트 시퀀스의 역순서로 상기 캡쳐링된 텍스트 시퀀스의 단어의 각각에 상응하는 물리 현상을 캡쳐링하는 것을 수반한 것을 특징으로 하는 컴퓨터 구현 방법.
  10. 제2항에 있어서, 상기 텍스트 캡쳐 동작은 상기 인쇄된 문서를 가로질러 광 센서를 수동으로 이동시키는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
  11. 제2항에 있어서, 상기 텍스트 캡쳐 동작은 상기 인쇄된 문서의 비직방형 영역으로부터 이미지 데이터를 캡쳐링하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
  12. 제2항에 있어서, 상기 텍스트 캡쳐 동작에 의해 캡쳐링된 텍스트 시퀀스는 10개보다 적은 단어를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
  13. 제2항에 있어서, 상기 텍스트 캡쳐 동작은 10개보다 적은 단어의 이미지를 캡쳐링하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
  14. 제2항에 있어서, 상기 텍스트 시퀀스가 일어나는 관련 문서내의 포지션을 식별하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터 구현 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
KR1020067022973A 2004-04-01 2005-04-01 헨드헬드 디바이스를 사용한, 렌더링된 문서로부터의데이터 캡쳐 KR101178302B1 (ko)

Applications Claiming Priority (207)

Application Number Priority Date Filing Date Title
US55837004P 2004-04-01 2004-04-01
US55922604P 2004-04-01 2004-04-01
US55927904P 2004-04-01 2004-04-01
US55878904P 2004-04-01 2004-04-01
US55927804P 2004-04-01 2004-04-01
US55886704P 2004-04-01 2004-04-01
US55852704P 2004-04-01 2004-04-01
US55889204P 2004-04-01 2004-04-01
US55871704P 2004-04-01 2004-04-01
US55896904P 2004-04-01 2004-04-01
US55849904P 2004-04-01 2004-04-01
US55927704P 2004-04-01 2004-04-01
US55879104P 2004-04-01 2004-04-01
US55876004P 2004-04-01 2004-04-01
US55926504P 2004-04-01 2004-04-01
US55889304P 2004-04-01 2004-04-01
US55896804P 2004-04-01 2004-04-01
US60/559,279 2004-04-01
US60/558,760 2004-04-01
US60/558,893 2004-04-01
US60/558,867 2004-04-01
US60/559,277 2004-04-01
US60/559,265 2004-04-01
US60/558,892 2004-04-01
US60/558,499 2004-04-01
US60/559,226 2004-04-01
US60/558,370 2004-04-01
US60/558,527 2004-04-01
US60/558,969 2004-04-01
US60/558,789 2004-04-01
US60/558,968 2004-04-01
US60/558,717 2004-04-01
US60/558,791 2004-04-01
US60/559,278 2004-04-01
US55890904P 2004-04-02 2004-04-02
US55908704P 2004-04-02 2004-04-02
US55913104P 2004-04-02 2004-04-02
US55912504P 2004-04-02 2004-04-02
US55912704P 2004-04-02 2004-04-02
US55903304P 2004-04-02 2004-04-02
US60/559,125 2004-04-02
US60/559,087 2004-04-02
US60/558,909 2004-04-02
US60/559,033 2004-04-02
US60/559,127 2004-04-02
US60/559,131 2004-04-02
US55976604P 2004-04-06 2004-04-06
US60/559,766 2004-04-06
US56176804P 2004-04-12 2004-04-12
US60/561,768 2004-04-12
US56348504P 2004-04-19 2004-04-19
US56352004P 2004-04-19 2004-04-19
US60/563,485 2004-04-19
US60/563,520 2004-04-19
US56484604P 2004-04-23 2004-04-23
US56468804P 2004-04-23 2004-04-23
US60/564,846 2004-04-23
US60/564,688 2004-04-23
US56666704P 2004-04-30 2004-04-30
US60/566,667 2004-04-30
US57138104P 2004-05-14 2004-05-14
US57156004P 2004-05-14 2004-05-14
US60/571,381 2004-05-14
US60/571,560 2004-05-14
US57171504P 2004-05-17 2004-05-17
US60/571,715 2004-05-17
US58920104P 2004-07-19 2004-07-19
US58920204P 2004-07-19 2004-07-19
US58920304P 2004-07-19 2004-07-19
US60/589,203 2004-07-19
US60/589,201 2004-07-19
US60/589,202 2004-07-19
US59882104P 2004-08-02 2004-08-02
US60/598,821 2004-08-02
US60289804P 2004-08-18 2004-08-18
US60289604P 2004-08-18 2004-08-18
US60289704P 2004-08-18 2004-08-18
US60295604P 2004-08-18 2004-08-18
US60293004P 2004-08-18 2004-08-18
US60294704P 2004-08-18 2004-08-18
US60292504P 2004-08-18 2004-08-18
US60/602,956 2004-08-18
US60/602,896 2004-08-18
US60/602,930 2004-08-18
US60/602,947 2004-08-18
US60/602,898 2004-08-18
US60/602,925 2004-08-18
US60/602,897 2004-08-18
US60346604P 2004-08-19 2004-08-19
US60308204P 2004-08-19 2004-08-19
US60308104P 2004-08-19 2004-08-19
US60/603,082 2004-08-19
US60/603,466 2004-08-19
US60/603,081 2004-08-19
US60335804P 2004-08-20 2004-08-20
US60349804P 2004-08-20 2004-08-20
US60/603,358 2004-08-20
US60/603,498 2004-08-20
US60410304P 2004-08-23 2004-08-23
US60410204P 2004-08-23 2004-08-23
US60410004P 2004-08-23 2004-08-23
US60409804P 2004-08-23 2004-08-23
US60/604,098 2004-08-23
US60/604,100 2004-08-23
US60/604,102 2004-08-23
US60/604,103 2004-08-23
US60510504P 2004-08-27 2004-08-27
US60522904P 2004-08-27 2004-08-27
US60/605,105 2004-08-27
US60/605,229 2004-08-27
US61345604P 2004-09-27 2004-09-27
US61334104P 2004-09-27 2004-09-27
US61345404P 2004-09-27 2004-09-27
US61324204P 2004-09-27 2004-09-27
US61340004P 2004-09-27 2004-09-27
US61362804P 2004-09-27 2004-09-27
US61360204P 2004-09-27 2004-09-27
US61346104P 2004-09-27 2004-09-27
US61346004P 2004-09-27 2004-09-27
US61324304P 2004-09-27 2004-09-27
US61336104P 2004-09-27 2004-09-27
US61334004P 2004-09-27 2004-09-27
US61363404P 2004-09-27 2004-09-27
US61345504P 2004-09-27 2004-09-27
US61333904P 2004-09-27 2004-09-27
US61363304P 2004-09-27 2004-09-27
US61363204P 2004-09-27 2004-09-27
US61358904P 2004-09-27 2004-09-27
US60/613,633 2004-09-27
US60/613,602 2004-09-27
US60/613,340 2004-09-27
US60/613,400 2004-09-27
US60/613,454 2004-09-27
US60/613,456 2004-09-27
US60/613,242 2004-09-27
US60/613,339 2004-09-27
US60/613,341 2004-09-27
US60/613,461 2004-09-27
US60/613,634 2004-09-27
US60/613,243 2004-09-27
US60/613,589 2004-09-27
US60/613,632 2004-09-27
US60/613,628 2004-09-27
US60/613,460 2004-09-27
US60/613,361 2004-09-27
US60/613,455 2004-09-27
US61553804P 2004-10-01 2004-10-01
US61537804P 2004-10-01 2004-10-01
US61511204P 2004-10-01 2004-10-01
US60/615,538 2004-10-01
US60/615,378 2004-10-01
US60/615,112 2004-10-01
US61712204P 2004-10-07 2004-10-07
US60/617,122 2004-10-07
US62290604P 2004-10-28 2004-10-28
US60/622,906 2004-10-28
US11/004,637 US7707039B2 (en) 2004-02-15 2004-12-03 Automatic modification of web pages
US11/004,637 2004-12-03
US63348604P 2004-12-06 2004-12-06
US63345204P 2004-12-06 2004-12-06
US63345304P 2004-12-06 2004-12-06
US63367804P 2004-12-06 2004-12-06
US60/633,453 2004-12-06
US60/633,678 2004-12-06
US60/633,452 2004-12-06
US60/633,486 2004-12-06
US63462704P 2004-12-09 2004-12-09
US63473904P 2004-12-09 2004-12-09
US60/634,627 2004-12-09
US60/634,739 2004-12-09
US64768405P 2005-01-26 2005-01-26
US60/647,684 2005-01-26
US64874605P 2005-01-31 2005-01-31
US60/648,746 2005-01-31
US65337205P 2005-02-15 2005-02-15
US60/653,372 2005-02-15
US65367905P 2005-02-16 2005-02-16
US65389905P 2005-02-16 2005-02-16
US65384705P 2005-02-16 2005-02-16
US65366905P 2005-02-16 2005-02-16
US65366305P 2005-02-16 2005-02-16
US60/653,663 2005-02-16
US60/653,847 2005-02-16
US60/653,899 2005-02-16
US60/653,679 2005-02-16
US60/653,669 2005-02-16
US65437905P 2005-02-17 2005-02-17
US60/654,379 2005-02-17
US65432605P 2005-02-18 2005-02-18
US65436805P 2005-02-18 2005-02-18
US65419605P 2005-02-18 2005-02-18
US60/654,368 2005-02-18
US60/654,326 2005-02-18
US60/654,196 2005-02-18
US65528105P 2005-02-22 2005-02-22
US65528005P 2005-02-22 2005-02-22
US65527905P 2005-02-22 2005-02-22
US65569705P 2005-02-22 2005-02-22
US65598705P 2005-02-22 2005-02-22
US60/655,987 2005-02-22
US60/655,697 2005-02-22
US60/655,281 2005-02-22
US60/655,280 2005-02-22
US60/655,279 2005-02-22
US65730905P 2005-02-28 2005-02-28
US60/657,309 2005-02-28
PCT/US2005/011014 WO2005098597A2 (en) 2004-02-15 2005-04-01 Data capture from rendered documents using handheld device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020127004310A Division KR101257206B1 (ko) 2004-02-15 2005-04-01 렌더링된 문서를 식별하기 위한 디바이스 및 방법

Publications (2)

Publication Number Publication Date
KR20070043926A KR20070043926A (ko) 2007-04-26
KR101178302B1 true KR101178302B1 (ko) 2012-09-07

Family

ID=47631122

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067022973A KR101178302B1 (ko) 2004-04-01 2005-04-01 헨드헬드 디바이스를 사용한, 렌더링된 문서로부터의데이터 캡쳐

Country Status (1)

Country Link
KR (1) KR101178302B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012002690A2 (ko) 2010-06-27 2012-01-05 엘지전자 주식회사 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
KR20130086380A (ko) * 2010-12-22 2013-08-01 인텔 코포레이션 인터넷 사이트에 업로드되는 멀티미디어에서 사용자의 프라이버시를 보호하는 시스템 및 방법
US20150296092A1 (en) * 2012-06-01 2015-10-15 Boyeon Jeong Method for digitizing paper documents by using transparent display or device having air gesture function and beam screen function and system therefor
CN104202614B (zh) * 2014-08-15 2016-03-09 小米科技有限责任公司 一种基于网络环境调整视频画质的方法及装置
US10085050B2 (en) 2014-08-15 2018-09-25 Xiaomi Inc. Method and apparatus for adjusting video quality based on network environment
CN113688683A (zh) * 2021-07-23 2021-11-23 网易（杭州）网络有限公司 光学运动捕捉数据处理方法、模型训练方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6510387B2 (en) 1999-04-23 2003-01-21 Global Locate, Inc. Correction of a pseudo-range model from a GPS almanac
US6707581B1 (en) 1997-09-17 2004-03-16 Denton R. Browning Remote information access system which utilizes handheld scanner

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6707581B1 (en) 1997-09-17 2004-03-16 Denton R. Browning Remote information access system which utilizes handheld scanner
US6510387B2 (en) 1999-04-23 2003-01-21 Global Locate, Inc. Correction of a pseudo-range model from a GPS almanac

Also Published As

Publication number Publication date
KR20070043926A (ko) 2007-04-26

Similar Documents

Publication Publication Date Title
KR101257206B1 (ko) 렌더링된 문서를 식별하기 위한 디바이스 및 방법
US10769431B2 (en) Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
JP5529082B2 (ja) レンダリングされた文書からのハンドヘルド装置を用いたデータ取得
KR101174536B1 (ko) 렌더링된 문서로부터의 비주얼 캡쳐 데이터 처리 기술
KR101212929B1 (ko) 렌더링된 문서로부터의 보안 데이터 수집
US9143638B2 (en) Data capture from rendered documents using handheld device
US7812860B2 (en) Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
KR101443404B1 (ko) 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이
US9684902B2 (en) Processing techniques for text capture from a rendered document
JP2010536188A6 (ja) レンダリングされた文書からのハンドヘルド装置を用いたデータ取得
US10504162B2 (en) Processing techniques for text capture from a rendered document
KR101178302B1 (ko) 헨드헬드 디바이스를 사용한, 렌더링된 문서로부터의데이터 캡쳐
EP1759282A2 (en) Data capture from rendered documents using handheld device

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150806

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160809

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170810

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180809

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190808

Year of fee payment: 8