KR100980748B1 - System and methods for creation and use of a mixed media environment - Google Patents

System and methods for creation and use of a mixed media environment Download PDF

Info

Publication number
KR100980748B1
KR100980748B1 KR1020087004398A KR20087004398A KR100980748B1 KR 100980748 B1 KR100980748 B1 KR 100980748B1 KR 1020087004398 A KR1020087004398 A KR 1020087004398A KR 20087004398 A KR20087004398 A KR 20087004398A KR 100980748 B1 KR100980748 B1 KR 100980748B1
Authority
KR
South Korea
Prior art keywords
document
media
mmr
type
system
Prior art date
Application number
KR1020087004398A
Other languages
Korean (ko)
Other versions
KR20080031456A (en
Inventor
재메이 그라함
제프리 에이치 누드
시아오예 루
다 시양 리
케빈 리다웃
베르나 에롤
다니엘 지 밴 오엘에스티
스티븐 웨일
커트 피에르솔
피터 이 하트
조나단 제이 헐
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US71076705P priority Critical
Priority to US60/710,767 priority
Priority to US79291206P priority
Priority to US60/792,912 priority
Priority to US80765406P priority
Priority to US60/807,654 priority
Priority to US11/461,090 priority
Priority to US11/461,090 priority patent/US7551780B2/en
Priority to US11/461,126 priority patent/US8195659B2/en
Priority to US11/461,024 priority
Priority to US11/461,024 priority patent/US7991778B2/en
Priority to US11/461,017 priority
Priority to US11/461,143 priority
Priority to US11/461,075 priority patent/US7812986B2/en
Priority to US11/461,126 priority
Priority to US11/461,075 priority
Priority to US11/461,272 priority
Priority to US11/461,064 priority
Priority to US11/461,032 priority patent/US7672543B2/en
Priority to US11/461,143 priority patent/US8156427B2/en
Priority to US11/461,017 priority patent/US7702673B2/en
Priority to US11/461,049 priority patent/US7920759B2/en
Priority to US11/461,049 priority
Priority to US11/461,268 priority patent/US7639387B2/en
Priority to US11/461,064 priority patent/US7669148B2/en
Priority to US11/461,272 priority patent/US8005831B2/en
Priority to US11/461,268 priority
Priority to US11/461,032 priority
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20080031456A publication Critical patent/KR20080031456A/en
Application granted granted Critical
Publication of KR100980748B1 publication Critical patent/KR100980748B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00442Document analysis and understanding; Document recognition
    • G06K9/00463Document analysis by extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics, paragraphs, words or letters
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • G06F16/4387Presentation of query results by the use of playlists
    • G06F16/4393Multimedia presentations, e.g. slide shows, multimedia albums
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44Browsing; Visualisation therefor
    • G06F16/444Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/93Document management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6201Matching; Proximity measures
    • G06K9/6202Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06K9/6203Shifting or otherwise transforming the patterns to accommodate for positional errors
    • G06K9/6211Matching configurations of points or features, e.g. constellation matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6201Matching; Proximity measures
    • G06K9/6212Comparing statistics of pixel or of feature values, e.g. histogram matching

Abstract

MMR(Mixed Media Reality, 혼합 미디어 현실) 시스템 및 연관된 기법들이 개시되어 있다. MMR (Mixed Media Reality, mixed media reality) are disclosed system and associated techniques. 본 발명의 MMR 시스템은 제1 미디어로서의 인쇄된 종이 및 제2 미디어로서의 디지털 사진, 디지털 영화, 디지털 오디오 파일, 또는 웹 링크 등의 적어도 2가지 유형의 혼합 미디어 문서(mixed media document)를 형성하는 메커니즘을 제공한다. The MMR system of the present invention is a mechanism to form at least two types of mixed media document, such as the first printed as a media paper and second media as a digital photograph, digital movie, digital audio file, or web link (mixed media document) It provides. 게다가, 본 발명의 MMR 시스템은 셀룰러 카메라 전화 등의 휴대용 전자 장치와 종이 문서의 결합을 이용하는 영업 방법(business method)을 용이하게 해준다. Moreover, MMR system of the present invention facilitates business methods that take advantage of the combination of a portable electronic device with a paper document, such as a cellular camera phone (business method).
Figure R1020087004398
혼합 미디어 현실, MMR, 전자 미디어, 캡처 장치, 렌더링 Mixed media reality, MMR, electronic media capture device, rendering

Description

혼합 미디어 환경을 생성 및 사용하는 시스템 및 방법{SYSTEM AND METHODS FOR CREATION AND USE OF A MIXED MEDIA ENVIRONMENT} A system and method for creating and using a mixed media environment {SYSTEM AND METHODS FOR CREATION AND USE OF A MIXED MEDIA ENVIRONMENT}

본 발명은 적어도 2개의 미디어 유형으로부터 형성되는 혼합 미디어 문서를 생성하는 기법에 관한 것으로서, 보다 상세하게는 혼합 미디어 문서를 생성하기 위해 전자 미디어와 함께 인쇄된 미디어를 사용하는 MMR(Mixed Media Reality, 혼합 미디어 현실) 시스템에 관한 것이다. The present invention at least two relates to a method for creating a mixed media document that is formed from the type of media, more particularly, to interactive multimedia to create a document that uses a medium printed with the electronic media MMR (Mixed Media Reality, mixed It relates to a media reality) system.

여러 해 동안 많은 정황에서 문서 인쇄 및 복사 기술이 사용되어 왔다. For many years this document has print and copy technology is used in many contexts. 예로서, 프린터 및 복사기가 개인적 및 상업적 사무실 환경에서, 퍼스널 컴퓨터를 갖춘 가정 환경에서, 그리고 문서 인쇄 및 출판 서비스 환경에서 사용되고 있다. As an example, there are printers and copiers are used in private and commercial environment in the office, at home with a personal computer environment, and document printing and publishing service environments. 그렇지만, 인쇄 및 복사 기술이 이전에는 정적 인쇄된 미디어(즉, 종이 문서)와 디지털 통신, 네트워킹, 정보 제공, 광고, 엔터테인먼트, 및 전자 상거래 등을 포함하는 상호작용성의 "가상 세계(virtual world)" 간의 차이를 줄이는 수단으로서 생각되지 않았다. However, printing and copying technology has previously static print media (ie paper) with the interaction that includes digital communication, networking, information provision, advertising, entertainment and e-commerce, such as the castle, "the virtual world (virtual world)" It was not considered as a means of reducing the gap between.

인쇄된 미디어는 수세기 동안 뉴스 및 광고 정보 등의 정보를 전달하는 주요 소스이었다. The print media was the main source for delivering information such as news and advertising information for centuries. 과거 수년에 걸쳐 퍼스널 컴퓨터 및 PDA(personal digital assistant) 및 셀룰러 전화(예를 들어, 셀룰러 카메라 전화) 등의 개인 전자 장치의 등장 및 점차적으로 증가하는 인기는 인쇄된 미디어를 전자적으로 판독가능하고 탐색가능한 형태로 이용가능하게 만듦으로써 또한 종래의 인쇄된 미디어와 비견되지 않는 상호작용적 멀티미디어 기능(interactive multimedia capabilities)을 도입함으로써 인쇄된 미디어의 개념을 확장시켰다. A personal computer and a PDA (personal digital assistant) and cellular phone over the past several years (e.g., cellular camera phones) popular to increase the appearance and gradually personal electronic devices, such as can be electronically read out in the print media and navigable by making available a form has also expanded the concept of printed by introducing interactive multimedia (interactive multimedia capabilities) that are not comparable with the conventional printed media media.

불행히도, 전자적으로 액세스가능한 가상의 멀티미디어-기반 세계와 인쇄 미디어의 물리적 세계 간에 차이가 존재한다. Unfortunately, electronic access to the available virtual multimedia-based world, a difference exists between the physical world of print media. 예를 들어, 선진국의 거의 모든 사람이 인쇄된 미디어 및 전자적 정보에 매일같이 액세스하고 있지만, 인쇄된 미디어 및 개인 전자 장치의 사용자는 이 둘 간의 링크를 형성하는 데 필요한(즉, 혼합 미디어 문서를 용이하게 해주는) 도구 및 기술을 소유하고 있지 않다. For example, although the access on a daily basis for almost everyone printed media and electronic information in the developed world, users of printed media and of personal electronic devices are required to form a link between the two (i.e., facilitating a mixed media document to that) it does not possess the tools and technologies.

게다가, 가상의 또는 디지털 미디어가 갖추고 있지 않는, 촉감, 전력을 필요로 하지 않는 것, 및 구성 및 저장의 영속성 등의 종래의 인쇄된 미디어가 제공하는 특정의 유익한 속성들이 있다. In addition, there are one that do not require that does not have the virtual or digital media, and soft, power, and configuration, and particular advantageous attributes that conventional printed media provides such as the persistence of storage. 이와 마찬가지로, 휴대성(예를 들어, 셀 전화 또는 랩톱의 저장 장치에 넣어 들고 다님) 및 전송의 편이성(예를 들어, 이메일) 등의 종래의 디지털 미디어가 제공하는 특정의 유익한 속성들이 있다. Likewise, there are portable (e.g., a cell phone or a college, holding it in a storage device of the laptop) and ease of use (e. G., Email), a particular advantageous attributes that conventional digital media provides such as a transmission.

이들 이유로 인해, 인쇄된 미디어와 가상의 미디어 둘다에 연관된 이점들을 이용할 수 있는 기법들이 필요하다. For these reasons, it is necessary that they can take advantage of the benefits associated with the media, both printed media and virtual methods.

본 발명의 하나 이상의 실시예들의 적어도 하나의 측면은 MMR(Mixed Media Reality) 시스템 및 연관된 방법을 제공한다. At least one aspect of one or more embodiments of the present invention provides a (Mixed Media Reality) MMR system and associated methods. 본 발명의 MMR 시스템은 제1 미디어로서의 인쇄된 종이 및 제2 미디어로서의 전자적 형태의 텍스트 또는 데이터, 디지털 화상, 디지털 사진, 디지털 영화, 디지털 오디오 파일, 또는 웹 링크 등의 적어도 2가지 유형의 혼합 미디어 문서를 형성하는 메커니즘을 제공한다. The MMR system of the present invention at least two types of mixing, such as the first text or data in electronic form as a printed paper and the second media as a media, digital video, digital pictures, digital movie, digital audio file, or web link media It provides a mechanism for forming the article. 게다가, 본 발명의 MMR 시스템은 셀룰러 카메라 전화 등의 휴대용 전자 장치와 종이 문서의 결합을 이용하는 영업 방법을 용이하게 해준다. Moreover, MMR system of the present invention facilitates business methods that take advantage of the combination of a portable electronic device with a paper document, such as a cellular camera phone. 본 발명의 MMR 시스템은 MMR 프로세서, 캡처 장치, 통신 메커니즘 및 MMR 소프트웨어를 포함하는 메모리를 포함한다. The MMR system of the present invention includes a memory including MMR processor, a capture device, a communication mechanism and the MMR software. MMR 프로세서는 또한 미디어 유형의 저장 장치 또는 소스, 입력 장치 및 출력 장치에 연결될 수 있다. MMR processor may also be coupled to a storage or source, an input device and an output device of media types. MMR 소프트웨어는 부가적인 디지털 컨텐츠를 갖는 MMR 문서에 액세스하기 위해, MMR 문서를 생성 또는 수정하기 위해, 및 문서를 사용하여 비지니스 거래, 데이터 질의, 보고, 기타 등등의 다른 동작들을 수행하기 위해 MMR 프로세서에 의해 실행가능한 루틴을 포함한다. The MMR software MMR processor to perform the additional digital to gain access to MMR documents with the contents, business transactions using, and the documents in order to create or modify MMR documents, data query, and other operations of the reporting, and the like It comprises a routine executed by possible.

본 발명은 또한 혼합 미디어 현실 문서(mixed media reality document)를 생성하는 방법, 혼합 미디어 현실 문서를 사용하는 방법, 및 혼합 미디어 현실 문서를 수정 또는 삭제하는 방법을 비롯한 다수의 신규 방법을 더 포함한다. The invention further includes a mixed media reality document, a method of generating a (mixed media reality document), using a mixed media reality document, and mixed media reality a large number of novel methods including a method of modifying or deleting the document.

본 발명의 하나 이상의 실시예의 적어도 하나의 다른 측면은, 하나 이상의 프로세서에 의해 실행될 때, 프로세서로 하여금 혼합 미디어 문서 시스템에서 정보에 액세스하는 프로세스를 수행하게 하는 명령어로 인코딩된 기계-판독가능한 매체(예를 들어, 하나 이상의 컴팩트 디스크, 디스켓, 서버, 메모리 스틱, 또는 하드 드라이브, ROM, RAM, 또는 전자적 명령어를 저장하는 임의의 유형의 매체)를 제공한다. At least one of another side of at least one embodiment of the present invention, when executed by one or more processors, a cause a processor encoded with instructions to perform a process for accessing information in a mixed media document system, the machine-readable medium (e.g., for example, it provides one or more compact disks, diskettes, servers, memory sticks, or hard drive, ROM, RAM, or any type of media for storing electronic instructions). 이 프로세스는, 예를 들어, 여기에 기술된 방법과 유사하거나 그의 변형일 수 있다. This process is, for example, similar to the methods described herein or variations thereof may be.

본 명세서에 기술된 특징들 및 이점들은 모두 포함한 것이 아니며, 상세하게는 다수의 부가적인 특징들 및 이점들이 도면 및 설명을 참조하면 당업자에게 명백하게 될 것이다. Not to include all of the features described herein and advantages, particularly when a number of additional features and advantages are described with reference to the drawings and will be apparent to those skilled in the art. 게다가, 유의할 점은 본 명세서에 사용된 표현이 주로 읽기 쉽고 도움이 되도록 선택되었으며 본 발명의 청구 대상의 범위를 제한하기 위한 것이 아니라는 것이다. Furthermore, note that was selected to be the mainly help easily read as used herein is not intended to limit the scope of the claims of the present invention targets.

도 1a는 본 발명의 일 실시예에 따라 구성된 MMR(Mixed Media Reality) 시스템의 기능 블록도. Figure 1a is a functional block diagram of MMR (Mixed Media Reality) system configured in accordance with an embodiment of the present invention.

도 1b는 본 발명의 다른 일 실시예에 따라 구성된 MMR 시스템의 기능 블록도. Figure 1b is a functional block diagram of an MMR system configured in accordance with another embodiment of the present invention.

도 2a, 도 2b 도 2c 및 도 2d는 본 발명의 일 실시예에 따른 캡처 장치를 나타낸 도면. Figures 2a, 2b Figure 2c and 2d is a view of the capture device in accordance with one embodiment of the present invention.

도 2e는 본 발명의 일 실시예에 따라 구성된 캡처 장치의 기능 블록도. Figure 2e is a functional block diagram of a capture device configured in accordance with an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따라 구성된 MMR 컴퓨터의 기능 블록도. 3 is a functional block diagram of a MMR computer configured in accordance with an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따라 구성된 MMR 소프트웨어 모음(software suite)에 포함된 일련의 소프트웨어 컴포넌트를 나타낸 도면. Figure 4 is a view of a set of software components that are included in the MMR software suite (software suite) configured in accordance with an embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따라 구성된 MMR 문서의 일 실시예를 나타낸 도면. 5 is a view showing an embodiment of an MMR document configured in accordance with an embodiment of the present invention.

도 6은 본 발명의 일 실시예에 따른 문서 지문 정합 방법(document fingerprint matching methodology)을 나타낸 도면. Figure 6 illustrates a document fingerprint matching method (document fingerprint matching methodology) according to an embodiment of the present invention.

도 7은 본 발명의 일 실시예에 따라 구성된 문서 지문 정합 시스템을 나타낸 도면. Figure 7 illustrates a document fingerprint matching system configured in accordance with an embodiment of the present invention.

도 8은 본 발명의 일 실시예에 따른 텍스트/비텍스트 구분(text/non-text discrimination)을 위한 흐름 프로세스를 나타낸 도면. 8 is a view showing a flow for text / non-delimited text (text / non-text discrimination) process according to an embodiment of the present invention.

도 9는 본 발명의 일 실시예에 따른 텍스트/비텍스트 구분의 일례를 나타낸 도면. Figure 9 is a view showing an example of text / non-delimited text according to one embodiment of the present invention.

도 10은 본 발명의 일 실시예에 따른 이미지 패치(image patch) 내의 텍스트의 포인트 크기(point size)를 추정하는 흐름 프로세스를 나타낸 도면. Figure 10 illustrates a flow process for estimating the point size of the text (point size) in the image patch (patch image) in accordance with one embodiment of the present invention.

도 11은 본 발명의 다른 실시예에 따른 문서 지문 정합 기법을 나타낸 도면. Figure 11 illustrates a document fingerprint matching technique in accordance with another embodiment of the present invention.

도 12는 본 발명의 다른 실시예에 따른 문서 지문 정합 기법을 나타낸 도면. Figure 12 illustrates a document fingerprint matching technique in accordance with another embodiment of the present invention.

도 13은 본 발명의 일 실시예에 따른 상호작용적 이미지 분석의 일례를 나타낸 도면. 13 is a view showing an example of interactive image analysis in accordance with one embodiment of the present invention.

도 14는 본 발명의 다른 실시예에 따른 문서 지문 정합 기법을 나타낸 도면. Figure 14 illustrates a document fingerprint matching technique in accordance with another embodiment of the present invention.

도 15는 본 발명의 일 실시예에 따른 단어 경계 박스 검출(word bounding box detection)의 일례를 나타낸 도면. 15 is a view showing an example of word bounding box detection (word bounding box detection) in accordance with one embodiment of the present invention.

도 16은 본 발명의 일 실시예에 따른 피쳐 추출 기법을 나타낸 도면. Figure 16 illustrates a feature extraction technique in accordance with an embodiment of the present invention.

도 17은 본 발명의 다른 실시예에 따른 피쳐 추출 기법을 나타낸 도면. Figure 17 illustrates a feature extraction technique in accordance with another embodiment of the present invention.

도 18은 본 발명의 다른 실시예에 따른 피쳐 추출 기법을 나타낸 도면. Figure 18 illustrates a feature extraction technique in accordance with another embodiment of the present invention.

도 19는 본 발명의 다른 실시예에 따른 피쳐 추출 기법을 나타낸 도면. Figure 19 illustrates a feature extraction technique in accordance with another embodiment of the present invention.

도 20은 본 발명의 다른 실시예에 따른 문서 지문 정합 기법을 나타낸 도면. Figure 20 illustrates a document fingerprint matching technique in accordance with another embodiment of the present invention.

도 21은 본 발명의 일 실시예에 따른 문서 지문 정합을 위한 다중-분류자 피쳐 추출(multi-classifier feature extraction)을 나타낸 도면. Figure 21 is a multi for document fingerprint matching in accordance with an embodiment of the invention illustrates a feature extraction classifier (multi-classifier feature extraction).

도 22 및 도 23은 본 발명의 일 실시예에 따른 문서 지문 정합 기법의 일례를 나타낸 도면. 22 and 23 is a diagram showing one example of a document fingerprint matching technique in accordance with an embodiment of the present invention.

도 24는 본 발명의 다른 실시예에 따른 문서 지문 정합 기법을 나타낸 도면. Figure 24 illustrates a document fingerprint matching technique in accordance with another embodiment of the present invention.

도 25는 본 발명의 일 실시예에 따른 데이터베이스-위주 피드백(database-driven feedback)을 위한 흐름 프로세스를 나타낸 도면. 25 is a database in accordance with an embodiment of the present invention illustrates a flow process for a driven feedback (database-driven feedback).

도 26은 본 발명의 다른 실시예에 따른 문서 지문 정합 기법을 나타낸 도면. Figure 26 illustrates a document fingerprint matching technique in accordance with another embodiment of the present invention.

도 27은 본 발명의 일 실시예에 따른 데이터베이스-위주 분류(database-driven classification)를 위한 흐름 프로세스를 나타낸 도면. 27 is a database in accordance with an embodiment of the present invention illustrates a flow process for an oriented classification (database-driven classification).

도 28은 본 발명의 다른 실시예에 따른 문서 지문 정합 기법을 나타낸 도면. Figure 28 illustrates a document fingerprint matching technique in accordance with another embodiment of the present invention.

도 29는 본 발명의 일 실시예에 따른 데이터베이스-위주 다중 분류(database-driven multiple classification)를 위한 흐름 프로세스를 나타낸 도면. 29 is a database in accordance with an embodiment of the present invention illustrates a flow process for multi-driven classification (database-driven multiple classification).

도 30은 본 발명의 다른 실시예에 따른 문서 지문 정합 기법을 나타낸 도면. Figure 30 illustrates a document fingerprint matching technique in accordance with another embodiment of the present invention.

도 31은 본 발명의 다른 실시예에 따른 문서 지문 정합 기법을 나타낸 도면. Figure 31 illustrates a document fingerprint matching technique in accordance with another embodiment of the present invention.

도 32는 본 발명의 다른 실시예에 따른 문서 지문 정합 기법을 나타낸 도면. Figure 32 illustrates a document fingerprint matching technique in accordance with another embodiment of the present invention.

도 33은 본 발명의 일 실시예에 따른 다중-계층 인식(multi-tier recognition)을 위한 흐름 프로세스를 나타낸 도면. 33 is a multiple in accordance with one embodiment of the invention - illustrates a flow process for a layer-aware (multi-tier recognition).

도 34a는 본 발명의 일 실시예에 따라 구성된 MMR 데이터베이스 시스템의 기 능 블록도. Figure 34a is a function block diagram of an MMR database system configured in accordance with an embodiment of the present invention.

도 34b는 본 발명의 일 실시예에 따른 OCR-기반 기법에 대한 MMR 피쳐 추출의 일례를 나타낸 도면. Figure 34b illustrates an example of MMR feature extraction for OCR--based technique in accordance with an embodiment of the present invention.

도 34c는 본 발명의 일 실시예에 따른 예시적인 인덱스 테이블 구성(index table organization)을 나타낸 도면. Figure 34c is a view of an example index table organization (index table organization) in accordance with one embodiment of the present invention.

도 35는 본 발명의 일 실시예에 따른 MMR 인덱스 테이블을 발생하는 방법을 나타낸 도면. 35 is a view showing a method for generating an MMR index table in accordance with one embodiment of the present invention.

도 36은 본 발명의 일 실시예에 따른, 대상 문서(target document)에 대한 순위가 매겨진 일련의 문서, 페이지, 및 위치 가설들(document, page and location hypotheses)을 계산하는 방법을 나타낸 도면. 36 is a view showing a method of calculating the target document (target document) the rank numbered set of document, page, and location hypotheses for the (document, page and location hypotheses), according to one embodiment of the present invention.

도 37a는 본 발명의 다른 실시예에 따라 구성된 MMR 컴포넌트의 기능 블록도. Figure 37a is a functional block diagram of MMR components configured in accordance with another embodiment of the present invention.

도 37b는 본 발명의 일 실시예에 따른 MMR 인쇄 소프트웨어에 포함되어 있는 일련의 소프트웨어 컴포넌트를 나타낸 도면. Figure 37b is a view of a set of software components included in MMR printing software in accordance with one embodiment of the present invention.

도 38은 본 발명의 일 실시예에 따른, 문서에 핫스폿(hot spot)을 임베딩(embed)하는 방법의 플로우차트. 38 is a flowchart of a method of embedding (embed) a hot spot (hot spot), the document in accordance with one embodiment of the present invention.

도 39a는 본 발명의 일 실시예에 따른 HTML 파일의 일례를 나타낸 도면. Figure 39a illustrates an example of an HTML file in accordance with one embodiment of the present invention.

도 39b는 도 39a의 HTML 파일의 마크-업 버전의 일례를 나타낸 도면. Figure 39b is a mark of the HTML file of Figure 39a - a view showing an example of version-up.

도 40a는 본 발명의 일 실시예에 따른 브라우저에 디스플레이되는 도 39a의 HTML 파일의 일례를 나타낸 도면. Figure 40a is a view of an example of the HTML file of Figure 39a to be displayed on a browser according to an embodiment of the present invention.

도 40b는 본 발명의 일 실시예에 따른, 도 40a의 HTML 파일의 인쇄 버전의 일례를 나타낸 도면. Figure 40b is a view of an example of a printed version of, HTML file of Figure 40a in accordance with one embodiment of the present invention.

도 41은 본 발명의 일 실시예에 따른 기호적인 핫스폿 서술(symbolic hotspot description)을 나타낸 도면. 41 is a diagram showing a symbolic hotspot description (symbolic hotspot description) according to one embodiment of the present invention.

도 42a 및 도 42b는 본 발명의 일 실시예에 따른, 도 39a의 HTML 파일에 대한 예시적인 page_desc.xml 파일을 나타낸 도면. Figure 42a and Figure 42b is a view of an example page_desc.xml file for the, HTML file of Figure 39a in accordance with one embodiment of the present invention.

도 43은 본 발명의 일 실시예에 따른, 도 41, 도 42a 및 도 42b에 대응하는 hotspot.xml 파일을 나타낸 도면. 43 is a view showing the hotspot.xml file corresponding to in accordance with one embodiment of the present invention, Figure 41, Figure 42a and Figure 42b.

도 44는 본 발명의 일 실시예에 따른 포워딩 DLL(forwarding DLL)에 의해 사용되는 프로세스의 플로우차트. 44 is a flowchart of the process used by a forwarding DLL (forwarding DLL) according to an embodiment of the present invention.

도 45는 본 발명의 일 실시예에 따른 문서에서의 핫스폿에 대응하는 문자들을 변환하는 방법의 플로우차트. 45 is a flowchart of a method of transforming characters corresponding to a hotspot in a document in accordance with an embodiment of the present invention.

도 46은 본 발명의 일 실시예에 따른 문서의 전자 버전의 일례를 나타낸 도면. 46 is a view showing an example of an electronic version of a document according to an embodiment of the present invention.

도 47은 본 발명의 일 실시예에 따른 인쇄된 수정된 문서의 일례를 나타낸 도면. 47 is a diagram showing one example of a printed modified document according to an embodiment of the present invention.

도 48은 본 발명의 일 실시예에 따른 공유 문서 주석 첨부(shared document annotation) 방법의 플로우차트. 48 is attached to a shared document annotation in accordance with one embodiment of the present invention (shared document annotation) method of the flowchart.

도 49a는 본 발명의 일 실시예에 따른 브라우저에서의 소스 웹 페이지의 샘플을 나타낸 도면. Figure 49a illustrates a sample source web page in a browser according to one embodiment of the invention.

도 49b는 본 발명의 일 실시예에 따른 브라우저에서의 수정된 웹 페이지의 샘플을 나타낸 도면. Figure 49b illustrates a sample modified web page in a browser according to one embodiment of the invention.

도 49c는 본 발명의 일 실시예에 따른 인쇄된 웹 페이지의 샘플을 나타낸 도면. Figure 49c illustrates a sample printed web page according to an embodiment of the present invention.

도 50a는 본 발명의 일 실시예에 따른 이미지화된 문서에 핫스폿을 추가하는 방법의 플로우차트. FIGURE 50a is a flow chart of a method of adding a hotspot to an imaged document in accordance with an embodiment of the present invention.

도 50b는 본 발명의 일 실시예에 따른 이미지화된 문서에 추가하기 위한 핫스폿을 정의하는 방법의 플로우차트. Figure 50b is a flowchart of a method of defining a hotspot for addition to an imaged document in accordance with one embodiment of the present invention.

도 51a는 일 실시예에 따라 스캔된 신문 페이지의 일부분을 보여주는 사용자 인터페이스의 일례를 나타낸 도면. Figure 51a is a view of an example of a user interface showing a portion of a scanned newspaper page in accordance with one embodiment.

도 51b는 선택된 핫스폿과 연관시킬 데이터 또는 상호작용을 정의하는 사용자 인터페이스를 나타낸 도면. Figure 51b illustrates a user interface for defining the data or interaction to associate with a selected hotspot.

도 51c는 본 발명의 일 실시예에 따른 할당 박스(assign box)를 포함하는 도 51b의 사용자 인터페이스를 나타낸 도면. Figure 51c is a view of the user interface of Figure 51b comprises an assign box (assign box) according to an embodiment of the present invention.

도 51d는 본 발명의 일 실시예에 따른 문서 내에 핫스폿을 디스플레이하는 사용자 인터페이스를 나타낸 도면. Figure 51d illustrates a user interface for displaying hotspots within a document in accordance with an embodiment of the present invention.

도 52는 본 발명의 일 실시예에 따른 MMR 문서 및 MMR 시스템을 사용하는 방법의 플로우차트. 52 is a flowchart of a method of using an MMR document and the MMR system in accordance with one embodiment of the present invention.

도 53은 본 발명의 일 실시예에 따른, MMR 시스템과 연관된 예시적인 일련의 비지니스 개체의 블록도. 53 is a block diagram of an example set of business entities associated with, MMR system in accordance with one embodiment of the present invention.

도 54는 본 발명의 일 실시예에 따른, MMR 시스템의 사용에 의해 용이하게 되는 일반화된 영업 방법인 방법의 플로우차트. 54 is a sales method in the method of the flowchart is generalized facilitated by the use of, MMR system in accordance with one embodiment of the present invention.

도 55는 본 발명의 일 실시예에 따른, 혼합 미디어 문서에 액세스하는 방법의 플로우차트. 55 is a flowchart of a method of access to, mixed media document, according to one embodiment of the present invention.

도 56a, 도 56b 및 도 56c는 본 발명의 여러가지 실시예들에 따른, 혼합 미디어 문서에 액세스하는 방법 및 용도의 여러가지 예를 나타낸 도면. Figure 56a, Figure 56b and Figure 56c is a view of the different embodiment of the methods and uses to access, interactive multimedia document according to various embodiments of the present invention.

도 57은 본 발명의 일 실시예에 따른, 혼합 미디어 문서에 액세스하는 방법의 플로우차트. 57 is a flowchart of a method of access to, mixed media document, according to one embodiment of the present invention.

도 58은 본 발명의 일 실시예에 따른, 혼합 미디어 문서에 액세스하는 사용자 인터페이스를 나타낸 도면. Figure 58 is a view of the user interface to access, interactive multimedia document in accordance with an embodiment of the present invention.

도 59는 본 발명의 일 실시예에 따른, 미디어 파일에 라벨을 붙이는 방법을 나타낸 도면. 59 is a view showing a way of attaching a label to a media file according to an embodiment of the present invention.

도 60은 본 발명의 일 실시예에 따른, 미디어 파일에 라벨을 붙이는 사용자 인터페이스를 나타낸 도면. 60 is a view showing a user interface for labeling, the media file according to an embodiment of the present invention.

도 61a, 도 61b, 도 61c 및 도 61d는 본 발명에 따른 MMR 문서 및 MMR 시스템을 사용하는 방법의 플로우차트. Figure 61a, Figure 61b, Figure 61c and Figure 61d illustrates a flowchart of a method of using an MMR document and the MMR system in accordance with the present invention.

도 62는 본 발명에 따른 MMR 문서 및 MMR 시스템을 사용하는 플로우차트. 62 is a flow chart of using an MMR document and the MMR system in accordance with the present invention.

도 63은 광학적 캡처를 갖지 않는 MMR 정보 장치를 포함하는 MMR 시스템의 일 실시예의 기능 블록도. 63 is a functional block diagram of one embodiment of an MMR system including an MMR information device that does not have an optical capture.

도 64는 도 63의 MMR 시스템의 MMR 정보 장치 상의 MMR 문서의 메뉴의 사용 자 인터페이스를 나타낸 도면. 64 is a view showing a user interface of a menu of a MMR document on the MMR information device of the MMR system of Figure 63.

도 65는 MMR 정보 장치 상에 디스플레이되는 MMR 문서 및 핫스폿 정보의 사용자 인터페이스를 나타낸 도면. Figure 65 is a view of the user interface of the MMR document and hotspot information displayed on the MMR information device.

도 66은 도 63의 MMR 정보 장치의 동작의 플로우차트. 66 is a flowchart of the operation of the MMR information device of Figure 63.

도 67은 MMR 정보 장치 및 광학적 캡처를 갖지 않는 캡처 장치를 포함하는 MMR 시스템의 일 실시예의 기능 블록도. 67 is a functional block diagram of one embodiment of an MMR system including a capture device having no MMR information device and optical capture.

도 68은 도 67의 MMR 정보 장치의 동작의 플로우차트. 68 is a flowchart of the operation of the MMR information device of Figure 67.

도 69는 핫스폿 정보를 처리하는 음성 메일 서버를 포함하는 MMR 시스템의 블록도. 69 is a block diagram of an MMR system including a voice mail server for processing hotspot information.

도 70은 도 69의 MMR 시스템에서 핫스폿 정보를 갱신하는 방법의 플로우차트. 70 is a flowchart of a method of updating hotspot information in the MMR system of Figure 69.

도 71은 도 69의 MMR 시스템에서 핫스폿 정보를 검색하는 방법의 플로우차트. 71 is a flowchart of a method of retrieving hotspot information in the MMR system of Figure 69.

도 72는 핫스폿 정보를 처리하는 이메일 메시지 서버를 포함하는 MMR 시스템의 블록도. 72 is a block diagram of an MMR system including an email message server for processing hot spot information.

도 73은 도 72의 MMR 시스템에서 핫스폿 정보를 검색하는 방법의 플로우차트. 73 is a flowchart of a method of retrieving hotspot information in the MMR system of Figure 72.

도 74는 문서 데이터베이스를 포함하는 MMR 시스템의 블록도. 74 is a block diagram of an MMR system including a document database.

도 75는 출하 데이터베이스(shipping database)를 포함하는 MMR 시스템의 블록도. 75 is a block diagram of an MMR system including a shipping database (shipping database).

도 76은 MMR-개별화된 문서(MMR-individualized document)를 사용하여 물품 또는 서비스를 주문하는 데 사용하기 위한 본 발명에 따른 MMR 시스템의 일 실시예의 기능 블록도. 76 is a diagram of one embodiment MMR- personalized document functional block diagram of a MMR system in accordance with the present invention for use in ordering a product or service using the (MMR-individualized document).

도 77은 MMR-개별화된 문서를 사용하여 물품 또는 서비스를 주문하는 방법의 플로우차트. FIG. 77 is a flow chart of a method to order goods or services using a personalized documents MMR-.

도 78은 본 발명의 다른 실시예에 따른 MMR 문서의 동작을 수행하는 MMR 시스템 아키텍처의 블록도. 78 is a block diagram of a MMR system architecture for performing the operations of MMR documents in accordance with another embodiment of the present invention.

도 79는 본 발명의 일 실시예에 따른 동작들을 수행하는 것과 관계된 데이터베이스의 일부분의 블록도. 79 is a block diagram of a portion of the database associated with performing operations according to an embodiment of the present invention.

도 80은 본 발명의 일 실시예에 따른 MMR 문서의 동작들을 실행하는 방법의 플로우차트. 80 is a flowchart of a method for executing actions of MMR documents in accordance with one embodiment of the present invention.

도 81은 본 발명의 일 실시예에 따른 동작들에 관한 이력 정보를 보는 방법의 플로우차트. 81 is a flowchart of a method for viewing historical information about actions in accordance with one embodiment of the present invention.

도 82a 및 도 82b는 본 발명의 일 실시예에 따른 동작들과 연관된 명령들을 수행하는 방법의 플로우차트. Figure 82a and 82b illustrates a flowchart of a method for performing commands associated with the operation according to one embodiment of the present invention.

도 83은 본 발명의 일 실시예에 따른 분산 MMR 시스템 아키텍처(distributed MMR system architecture)의 블록도. 83 is a block diagram of a distributed MMR system architecture (distributed MMR system architecture) in accordance with one embodiment of the present invention.

도 84는 본 발명의 일 실시예에 따른 제3자 시스템의 입력 제어 및 출력 장치로서 MMR 시스템을 사용하는 방법의 플로우차트. 84 is a flowchart of a method for using the MMR system as an input control and output device of the third-party system in accordance with one embodiment of the present invention.

도 85는 본 발명의 일 실시예에 따른 사무실 환경에서 MMR 시스템을 사용하 는 방법의 플로우차트. 85 is a flowchart of how to use the MMR system in an office environment in accordance with one embodiment of the present invention.

본 발명은 유사한 참조 번호가 유사한 요소를 언급하는 데 사용되고 있는 첨부 도면의 도면들에 제한이 아닌 예로서 도시되어 있다. The present invention has the similar reference numerals are shown by way of example and not limitation in the figures of the accompanying drawings that are used to refer to like elements.

MMR(Mixed Media Reality) 시스템 및 연관된 방법이 기술되어 있다. The MMR (Mixed Media Reality) system and associated methods are disclosed. MMR 시스템은 제1 미디어로서의 인쇄된 종이 및 제2 미디어로서의 디지털 사진, 디지털 영화, 디지털 오디오 파일, 디지털 텍스트 파일, 또는 웹 링크 등의 적어도 2가지 유형의 미디어를 포함하는 혼합 미디어 문서를 형성하는 메커니즘을 제공한다. MMR system mechanisms for forming a mixed media document that includes at least two different types of media, such as a first print as a medium of paper and the second media as digital photos, digital movies, digital audio files, digital text file, or web link It provides. MMR 시스템 및/또는 기법은 또한 혼합 미디어 문서를 제공하기 위해 휴대용 전자 장치(예를 들어, PDA 또는 셀룰러 카메라 전화) 및 종이 문서의 결합을 이용하는 다양한 영업 모델을 용이하게 해주는 데 더 사용될 수 있다. The MMR system and / or techniques can also be used more that allows the portable electronic device (e.g., PDA or cellular camera phone) and facilitate various business models that take advantage of the combination of a paper document to provide mixed media documents.

특정 일실시예에서, MMR 시스템은 텍스트-기반 인덱스를 사용하여 탐색(look-up)을 가능하게 해주는 방식으로 인쇄된 문서로부터 추출된 객체들 간의 2차원의 기하학적 관계를 나타내는 컨텐츠-기반 검색 데이터베이스를 포함한다. In one particular embodiment, MMR system is a text-based search database-content representing the geometric relationship of the two-dimensional between objects extracted from a printed document in a way that allows the search (look-up) using the base index It includes. 증거 누적 기법(evidence accumulation technique)은 2차원 영역에서 피쳐의 발생 빈도수(frequency of occurrence)를 그의 위치의 확률과 결합시킨다. The cumulative evidence techniques (evidence accumulation technique) is frequency of occurrence (frequency of occurrence) of a feature in a two-dimensional region is coupled with the likelihood of its location. 한가지 이러한 실시예에서, MMR 데이터베이스 시스템은 MMR 피쳐 추출 알고리즘에 의해 계산된 기술(description)을 수신하는 인덱스 테이블(index table)을 포함한다. In one such embodiment, MMR database system includes an index table (index table) for receiving a technique (description) computed by the MMR feature extraction algorithm. 인덱스 테이블은 각각의 피쳐가 발생하는 그 페이지들 내에서 문서, 페이지, 및 xy 위치를 식별해준다. The index table identifies the documents, pages, and xy locations within those pages where each feature occurs. 증거 누적 알고리즘은 인덱스 테이블로부터의 데이터가 주어진 경우 순위가 매겨진 일련의 문서, 페이지 및 위치 가설들을 계산한다. Evidence accumulation algorithm computes a set of document, page and location hypotheses given the data is numbered when ranking from the index table. 관계형 데이터베이스(또는 다른 적당한 저장 시설)은, 원하는 바대로, 각각의 문서, 페이지 및 위치에 관한 부가적인 특성을 저장하는 데 사용될 수 있다. Relational database (or other suitable storage facility) can be used to store additional characteristics about any bar in each document, page, and location.

MMR 데이터베이스 시스템은 MMR 프로세서, 캡처 장치, 통신 메커니즘 및 MMR 소프트웨어를 포함하는 메모리 등의 다른 컴포넌트도 포함할 수 있다. MMR database system may include other components, such as memory including MMR processor, a capture device, a communication mechanism and MMR software. MMR 프로세서는 또한 미디어 유형의 저장 장치 또는 소스, 입력 장치 및 출력 장치에 연결될 수 있다. MMR processor may also be coupled to a storage or source, an input device and an output device of media types. 한가지 이러한 구성에서, MMR 소프트웨어는 부가적인 디지털 컨텐츠를 갖는 MMR 문서에 액세스하기 위해, MMR 문서를 생성 또는 수정하기 위해, 및 문서를 사용하여 이러한 비지니스 거래, 데이터 질의, 보고, 기타 등등의 다른 동작들을 수행하기 위해 MMR 프로세서에 의해 실행가능한 루틴을 포함한다. In one such configuration, the MMR software additional to gain access to MMR documents with digital content, using, and documents in order to generate or modify MMR document such business transactions, data queries, reporting, and other operations of the like to do include possible routine executed by the MMR processor.

MMR 시스템 개요 MMR System Overview

이제, 도 1a를 참조하면, 본 발명의 일 실시예에 따른 MMR(Mixed Media Reality) 시스템(100a)이 도시되어 있다. Referring now to Figure 1a, there is a MMR (Mixed Media Reality) system (100a) according to an embodiment of the present invention. MMR 시스템(100a)은 MMR 프로세서(102), 통신 메커니즘(104), 휴대용 입력 장치(168) 및 휴대용 출력 장치(170)를 갖는 캡처 장치(106), MMR 소프트웨어를 포함하는 메모리(108), 기본 미디어 저장 장치(base media storage)(160), MMR 미디어 저장 장치(162), 출력 장치(164), 및 입력 장치(166)를 포함한다. MMR system (100a) the MMR processor 102, the communication mechanism 104, a memory 108 including a capture device (106), MMR software having a portable input device 168 and a portable output device 170, a default and a media storage device (base media storage) (160), MMR media storage 162, an output device 164 and input device 166. MMR 시스템(100a)은 기존의 인쇄된 문서로부터의 정보를, 오디오, 비디오, 텍스트, 갱신된 정보 및 서비스 등의 제2 미디어 유형(들)에 대한 인덱스로서 사용하는 방법을 제공함으로써 혼합 미디어 환경을 생성한다. MMR system (100a) is a mixed media environment by providing a way to use as an index to a second media type (s), such as information from an existing printed documents, audio, video, text, updated information and services It generates.

캡처 장치(106)는 인쇄된 문서(예를 들어, 이미지, 드로잉, 또는 기타 이러 한 표시)의 표시를 발생할 수 있고, 이 표시가 MMR 프로세서(102)에 전송된다. Capture device 106 is a printed document, and may cause the display of (e. G., Pictures, drawings, or any other, these display), the display is sent to the MMR processor 102. The MMR 시스템(100a)은 이어서 이 표시를 MMR 문서 및 기타 제2 미디어 유형에 정합시킨다. MMR system (100a) is which is then matched to the display in the MMR document and other second media types. MMR 시스템(100a)은 또한 표시의 입력 및 인식에 응답하여 동작을 취할 책임이 있다. MMR system (100a) is also responsible for taking an action in response to input and recognition of the display. MMR 시스템(100a)이 취하는 동작은, 예를 들어, 정보를 검색하는 것, 주문을 하는 것, 비디오 또는 사운드를 검색하는 것, 정보를 저장하는 것, 새 문서를 생성하는 것, 문서를 인쇄하는 것, 문서 또는 이미지를 디스플레이하는 것, 기타 등등을 비롯한 임의의 유형일 수 있다. Operating the MMR system (100a) to take, for example, to search for information, placing an order, retrieving a video or sound, to store information, to create a new document, printing a document It will, displaying a document or image, can be of any type, including and the like. 본 명세서에 기술된 컨텐츠-기반 검색 데이터베이스 기술을 사용함으로써, MMR 시스템(100a)은 인쇄된 텍스트를, 사용자에게 흥미가 있거나 귀중한 전자적 컨텐츠 또는 서비스에의 진입점을 제공하는 동적 미디어로 만드는 메커니즘을 제공한다. The content described herein - by using based search database technology, MMR system (100a) are provided for making printed text, or the user is interested in the dynamic media that provides an entry point into valuable electronic content or service mechanism do.

MMR 프로세서(102)는 데이터 신호를 처리하고, CISC(complex instruction set computer) 아키텍처, RISC(reduced instruction set computer) 아키텍처, 또는 명령어 세트들의 조합을 구현하는 아키텍처를 비롯한 다양한 컴퓨팅 아키텍처를 포함할 수 있다. MMR processor 102 may comprise various computing architectures including an architecture that processes data signals, and implementing a combination of CISC (complex instruction set computer) architecture, RISC (reduced instruction set computer) architecture or instruction set. 한 특정의 실시예에서, MMR 프로세서(102)는 산술 논리 유닛(arithmetic logic unit), 마이크로프로세서, 범용 컴퓨터, 또는 본 발명의 동작들을 수행하도록 장비를 갖춘 어떤 다른 정보 가전 기기를 포함한다. In one particular embodiment, the MMR processor 102 comprises some other information appliance equipped to perform the arithmetic logic unit (arithmetic logic unit), a microprocessor, a general purpose computer, or operation of the present invention. 다른 실시예에서, MMR 프로세서(102)는, 예를 들어, WINDOWS 또는 UNIX 기반 운영 체제와 같은 운영 체제의 상부에서 실행되는 Java로 작성된 프로그램에 의해 발생될 수 있는 그래픽 사용자 인터페이스를 갖는 범용 컴퓨터를 포함한다. In another embodiment, MMR processor 102, for example, comprise a general purpose computer having a graphical user interface that can be generated by a program written in Java running on top of an operating system such as WINDOWS or UNIX based operating systems do. 도 1a에는 단 하나의 프로세서만이 도시되어 있지만, 다수의 프로세서가 포함될 수 있다. In Figure 1a, but only one processor is shown, it may include a plurality of processors. 이 프로세서는 MMR 메모리(108)에 연결되어 있으며 그 안에 저장된 명령어를 실행한다. The processor is coupled to the MMR memory 108 and executes instructions stored therein.

통신 메커니즘(104)은 캡처 장치(106)를 MMR 프로세서(102)에 연결시키는 임의의 장치 또는 시스템이다. A communication mechanism 104 is any device or system for coupling the capture device 106 to the MMR processor 102. The 예를 들어, 통신 메커니즘(104)은 네트워크(예를 들어, WAN 및/또는 LAN), 유선 링크(예를 들어, USB, RS232, 또는 이더넷), 무선 링크(예를 들어, 적외선, 블루투스, 또는 802.11), 모바일 장치 통신 링크(예를 들어, GPRS 또는 GSM), 공중 교환 전화망(PSTN) 링크, 또는 이들의 임의의 조합을 사용하여 구현될 수 있다. For example, the communication mechanism 104 is a network (e.g., WAN and / or LAN), a wired link (e.g., USB, RS232, or Ethernet), a wireless link (e.g., infrared, Bluetooth, or 802.11), a mobile device communication link (e.g., GPRS or GSM), can be implemented using the public switched telephone network (PSTN) link, or any combination thereof. 수많은 통신 아키텍처 및 프로토콜이 여기에서 사용될 수 있다. Numerous communication architectures and protocols can be used here.

캡처 장치(106)는 통신 메커니즘(104)과 인터페이스하는 송수신기 등의 수단을 포함하며, 입력 장치(168)를 통해 디지털적으로 이미지 또는 데이터를 캡처할 수 있는 임의의 장치이다. The capture device 106 is any device capable of capturing an image or data digitally via the communication mechanism 104 and includes means such as a transceiver to interface, an input device 168. 캡처 장치(106)는 선택에 따라서는 출력 장치(170)를 포함할 수 있고, 선택에 따라서는 휴대용이다. Capture device 106 may therefore include an output device 170 to the selection and, optionally, a portable. 예를 들어, 캡처 장치(106)는 표준 셀룰러 카메라 전화, PDA 장치, 디지털 카메라, 바코드 판독기, RFID(radio frequency identification) 판독기, 표준 웹 캠 등의 컴퓨터 주변 장치, 또는 PC의 비디오 카드 등의 내장된 장치이다. The, for example, capture device 106 is a standard cellular camera phone, PDA, digital camera, bar code reader, internal, such as RFID (radio frequency identification) readers, standard web cam, such as a computer peripheral device, or PC's video card the device. 캡처 장치(106a-d)의 몇가지 예에 대해 도 2a 내지 도 2d를 각각 참조하여 보다 상세히 기술한다. The capture device, see Fig. 2a-2d for a few examples of the (106a-d) respectively will be described in more detail. 그에 부가하여, 캡처 장치(106)는 컨텐츠-기반 검색을 가능하게 해주고 캡처 장치(106)를 MMR 시스템(100a, 100b)의 기반구조에 링크시키는 소프트웨어 애플리케이션을 포함할 수 있다. In addition, capture device 106 is the content may comprise a software application linking the search based payments difficulties and the capture device 106 to the infrastructure of MMR system (100a, 100b). 도 2e를 참조하면 캡처 장치(106)의 더 많은 기능적 상세를 알 수 있다. Referring to Figure 2e can be seen more functional details of capture device 106. 수많은 종래의 커스터마이즈된 캡처 장치(106) 및 그들 각자의 기능 및 아키텍처는 본 개시 내용을 살펴보면 명백하게 될 것이다. A number of prior art customized capture devices 106, and their respective functions and architectures, will be apparent Looking at the present disclosure.

메모리(108)는 프로세서(102)에 의해 실행될 수 있는 명령어 및/또는 데이터를 저장한다. The memory 108 stores instructions and / or data that may be executed by the processor 102. 명령어 및/또는 데이터는 본 명세서에 기술된 기술들 중 임의의 것 및/또는 그 모두를 수행하는 코드를 포함할 수 있다. Instructions and / or data may comprise code for performing any of the techniques to and / or all as described herein. 메모리(108)는 DRAM(dynamic random access memory) 장치, SRAM(static random access memory) 장치, 또는 임의의 다른 적당한 메모리 장치일 수 있다. Memory 108 may be a DRAM (dynamic random access memory) devices, SRAM (static random access memory) device, or any other suitable memory device. 메모리(108)에 대해서는 도 4를 참조하여 이하에서 보다 상세히 기술된다. For the memory 108, refer to FIG. 4 is described in more detail below. 한 특정의 실시예에서, 메모리(108)는 MMR 소프트웨어 모음, 운영 체제 및 기타 애플리케이션 프로그램(예를 들어, 워드 프로세싱 애플리케이션, 전자 메일 애플리케이션, 금융 애플리케이션, 및 웹 브라우저 애플리케이션)을 포함한다. In one particular embodiment, the memory 108 includes the MMR software suite, an operating system and other application programs (eg, word processing applications, electronic mail applications, financial applications, and web browser applications).

기본 미디어 저장 장치(base media storage)(160)는 제2 미디어 유형을 그의 원래의 형태로 저장하기 위한 것이고, MMR 미디어 저장 장치(162)는 본 명세서에 상세히 기술된 바와 같이 MMR 환경을 생성하기 위해 MMR 문서, 데이터베이스 및 기타 정보를 저장하기 위한 것이다. Base media storage device (base media storage) (160) is a second media type is for storage in their original form, MMR media storage 162 to create the MMR environment as described in detail herein MMR document is for storing databases and other information. 별개인 것으로 도시되어 있지만, 다른 실시예에서, 기본 미디어 저장 장치(160) 및 MMR 미디어 저장 장치(162)는 동일한 저장 장치의 일부분일 수 있거나 다른 방식으로 일체화되어 있을 수 있다. Although shown as being separate, there may be another embodiment, the base media storage 160 and the MMR media storage 162 may be a part of the same storage device is integrated in a different way. 데이터 저장 장치(160, 162)는 또한 MMR 프로세서(102)에 대한 데이터 및 명령어를 저장하고, 예를 들어, 하드 디스크 드라이브, 플로피 디스크 드라이브, CD ROM 장치, DVD ROM 장치, DVD RAM 장치, DVD RW 장치, 플래쉬 메모리 장치, 또는 임의의 다른 적당한 대용량 저장 장치를 비롯한 하나 이상의 장치를 포함한다. A data storage device (160, 162) also stores data and instructions for MMR processor 102, for example, hard disk drive, floppy disk drive, and CD ROM device, DVD ROM device, DVD RAM device, DVD RW device, a flash memory device, or one or more devices, including any other suitable mass storage device.

출력 장치(164)는 MMR 프로세서(102)에 연결되어 동작하고 컨텐츠를 디스플레이하거나, 소리내거나 또는 다른 방식으로 제공하는 데이터 등의 데이터를 출력하도록 장비를 갖춘 임의의 장치를 나타낸다. Output device 164 represents any device equipped to output data such as the data provided by operatively coupled the MMR processor 102 and display the content or sound naegeona or otherwise. 예를 들어, 출력 장치(164)는 프린터, 디스플레이 장치, 및/또는 스피커 등의 다양한 유형들 중 임의의 하나일 수 있다. For example, output device 164 may be any one of a variety of types such as a printer, display device, and / or a speaker. 예시적인 디스플레이 출력 장치(164)는 음극선관(CRT), 액정 디스플레이(LCD), 또는 임의의 다른 유사하게 장비된 디스플레이 장치, 스크린 또는 모니터를 포함한다. Exemplary display output device 164 includes a cathode ray tube (CRT), liquid crystal display (LCD), or any other similar equipment display device, screen or monitor. 일 실시예에서, 출력 장치(164)는 터치 감응적인 투명한 패널이 출력 장치(164)의 스크린을 덮고 있는 터치 스크린을 갖추고 있다. In one embodiment, output device 164 is equipped with a touch screen with a touch-sensitive, transparent panel covers the screen of the output device 164.

입력 장치(166)는 MMR 프로세서(102)에 연결되어 동작하며 키보드 및 커서 컨트롤러, 스캐너, 다기능 프린터, 정지 영상 또는 비디오 카메라, 키패드, 터치 스크린, 검출기, RFID 태그 판독기, 스위치, 또는 사용자가 시스템(100a)과 상호작용할 수 있게 해주는 임의의 메커니즘 등의 다양한 유형들 중 임의의 것이다. Input device 166 is coupled the MMR processor 102 operation, and a keyboard and cursor controller, a scanner, a multifunction printer, a still or video camera, a keypad, a touch screen, a detector, RFID tag reader, a switch, or the user and the system ( 100a) and is any of various types such as any of mechanisms that allow to interact. 일 실시예에서, 입력 장치(166)는 키보드 및 커서 컨트롤러이다. In one embodiment, input device 166 is a keyboard and cursor controller. 커서 컨트롤러는, 예를 들어, 마우스, 트랙볼, 스타일러스, 펜, 터치 스크린 및/또는 패드, 커서 방향키, 또는 커서의 움직임을 야기하는 기타 메커니즘을 포함할 수 있다. Cursor controller are, for example, may include a mouse, a trackball, a stylus, a pen, a touch screen and / or pad, cursor direction keys, or other mechanisms to cause movement of a cursor. 다른 실시예에서, 입력 장치(166)는 마이크, 범용 컴퓨터 시스템 내에서 사용하도록 설계된 오디오 애드인/확장 카드(audio add in/expansion card), 아날로그-디지털 변환기, 및 음성 인식 및/또는 오디오 처리를 용이하게 해주는 디지털 신호 처리기이다. In another embodiment, the input device 166 is a microphone, audio add-in / expansion card designed for use within a general purpose computer system (audio add in / expansion card), an analog-to-digital converter, and a speech recognition and / or audio processing a digital signal processor that facilitate.

도 1b는 본 발명의 다른 실시예에 따라 구성된 MMR 시스템(100b)의 기능 블 록도를 나타낸 것이다. Figure 1b illustrates a functional block diagram of an MMR system (100b) configured in accordance with another embodiment of the present invention. 이 실시예에서, MMR 시스템(100b)은 MMR 컴퓨터(112)(사용자(110)에 의해 동작됨), 네트워크화된 미디어 서버(114), 및 인쇄된 문서(118)를 생성하는 프린터(116)를 포함한다. In this embodiment, MMR system (100b) has a MMR computer 112 (user (as activated by a 110)), the networked media server 114, and a printer 116 that produces a printed document 118 It includes. MMR 시스템(100b)은 또한 사무실 포털(120), 서비스 제공자 서버(122), 셋톱 박스(126)에 전기적으로 연결되어 있는 전자 디스플레이(124), 및 문서 스캐너(127)를 포함한다. MMR system (100b) further includes an office portal 120, service provider server 122, set-top box 126 is electrically connected to an electronic display 124 in, and document scanner 127. MMR 컴퓨터(112), 네트워크화된 미디어 서버(114), 프린터(116), 사무실 포털(120), 서비스 제공자 서버(122), 셋톱 박스(126) 및 문서 스캐너(127) 간의 통신 링크는, LAN(예를 들어, 사무실 또는 홈 네트워크), WAN(예를 들어, 인터넷 또는 회사 네트워크), LAN/WAN 결합, 또는 다수의 컴퓨팅 장치가 통신할 수 있는 임의의 다른 데이터 경로일 수 있는 네트워크(128)를 통해 제공된다. Communication link between the MMR computer 112, networked media server 114, printer 116, office portal 120, service provider server 122, set-top box 126, and document scanner 127, LAN ( for example, an office or home network), WAN (for example, the Internet or a corporate network), LAN / WAN bond, or the network (128), which can be any of the other data paths that have multiple computing devices can communicate It is provided through.

MMR 시스템(100b)은 또한 셀룰러 기반구조(132), Wi-Fi(wireless fidelity) 기술(134), 블루투스 기술(136) 및/또는 적외선(IR) 기술(138)을 통해, 하나 이상의 컴퓨터(112), 네트워크화된 미디어 서버(114), 사용자 프린터(116), 사무실 포털(120), 서비스 제공자 서버(122), 전자 디스플레이(124), 셋톱 박스(126) 및 문서 스캐너(127)과 무선으로 통신할 수 있는 캡처 장치(106)를 포함한다. MMR system (100b) is also at least one computer (112 via a cellular infrastructure (132), Wi-Fi (wireless fidelity) technology 134, Bluetooth technology 136, and / or infrared (IR) technology 138 ), communication with the networked media server 114, user printer 116, office portal 120, service provider server 122, electronic display 124, set-top box 126, and document scanner 127 and the radio It includes a capture device 106 that can be. 다른 대안으로서 또는 그에 부가하여, 캡처 장치(106)는 유선 기술(140)을 통해 MMR 컴퓨터(112), 네트워크화된 미디어 서버(114), 사용자 프린터(116), 사무실 포털(120), 서비스 제공자 서버(122), 전자 디스플레이(124), 셋톱 박스(126), 및 문서 스캐너(127)와 유선 방식으로 통신을 할 수 있다. Alternatively or additionally, the capture device 106 via wired technology (140), MMR computer 112, networked media server 114, user printer 116, office portal 120, service provider server 122, electronic display 124, can communicate with the set-top box 126, and document scanner 127 and the wired manner. Wi-Fi 기술(134), 블루투스 기술(136), IR 기술(138) 및 유선 기술(140)이 도 1b에서 별도의 요소로서 도시되어 있지만, 이러한 기술도 역시 처리 환경(예를 들어, MMR 컴퓨터(112), 네트워크화된 미디어 서버(114), 캡처 장치(106), 기타 등등) 내에 통합될 수 있다. Although Wi-Fi technology 134, Bluetooth technology (136), IR technology 138, and wired technology 140 are shown as separate elements in Figure 1b, this technique also for processing environment (for example, MMR computer may be incorporated into 112, networked media server 114, capture device 106, and so on). 그에 부가하여, MMR 시스템(110b)은 또한 서비스 제공자 서버(122) 또는 네트워크(128)과 무선 또는 유선 통신하고 있는 지리적 위치 확인 메커니즘(geo location mechanism)(142)도 더 포함한다. In addition, the MMR system (110b) is also the service provider server 122 or network 128 and wireless or wired Geo-location mechanism in communication (geo location mechanism) (142) also further comprises. 이것도 역시 캡처 장치(106)에 통합될 수 있다. This also can also be integrated into the capture device 106.

MMR 사용자(110)는 MMR 시스템(100b)을 사용하고 있는 임의의 개인이다. MMR user 110 is any individual who is using MMR system (100b). MMR 컴퓨터(112)는 임의의 데스크톱, 랩톱, 네트워크화된 컴퓨터, 또는 다른 이러한 처리 환경이다. MMR computer 112 is any desktop, laptop, networked computer, or other such processing environment. 사용자 프린터(116)는, 하나 이상의 인쇄된 페이지로 이루어져 있는 종이 문서인 인쇄된 문서(118)를 생성할 수 있는 임의의 가정, 사무실, 또는 상업적 프린터이다. User printer 116 is any home, office, or commercial printer that can produce a printed document 118, the paper document, which consists of one or more printed pages.

네트워크화된 미디어 서버(114)는 네트워크(128)를 통해 MMR 시스템(110b)의 사용자에 의해 액세스될 정보 및/또는 애플리케이션을 유지하고 있는 네트워크화된 컴퓨터이다. Networked media server 114 is a networked computer that holds information and / or applications to be accessed by users of MMR system (110b) over a network (128). 한 특정의 실시예에서, 네트워크화된 미디어 서버(114)는, 텍스트 소스 파일, 웹 페이지, 오디오 및/또는 비디오 파일, 이미지 파일(예를 들어, 스틸 사진), 기타 등등의 다양한 미디어 파일이 저장되어 있는 중앙집중식 컴퓨터이다. In one particular embodiment, the networked media server 114, text source files, web pages, audio and / or video files, image files (for example, stills), a variety of media files in the etc are stored which is a centralized computer. 네트워크화된 미디어 서버(114)는, 예를 들어, Comcast Corporation의 Comcast Video-on-Demand 서버, Ricoh Innovations Inc.의 Ricoh Document Mall, 또는 Google Inc.의 Google Image 및/또는 Video 서버이다. Networked media server 114 is, for example, the Comcast Corporation of Comcast Video-on-Demand server, Ricoh Innovations Inc. of Ricoh Document Mall, or Google Inc. of Google Image and / or Video servers. 일반적으로 말하면, 네트워크화된 미디어 서버(114)는 캡처 장치(106)를 통해 인쇄된 문서(118)에 첨부되거나, 그와 통합되거나 또는 다른 방식으로 그와 연관될 수 있는 임의의 데이터에의 액세스를 제공한다. Generally speaking, access to the random data from the networked media server 114 or attached to the document 118, printed via the capture device 106, integrated with the or can be associated with it in different ways to provide.

사무실 포털(120)은 MMR 사용자(110)의 사무실에서 일어나는 이벤트 등의, MMR 사용자(110)의 환경에서 일어나는 이벤트를 캡처하기 위한 선택적인 메커니즘이다. Office portal 120 is an optional mechanism to capture events occurring in the environment, MMR user 110 of events, taking place in the office of MMR user 110. 사무실 포털(120)은, 예를 들어, MMR 컴퓨터(112)와 별개인 컴퓨터이다. Office portal 120 is, for example, a personal computer, independently of the MMR computer 112. 이 경우에, 사무실 포털(120)은 MMR 컴퓨터(112)에 직접 연결되거나 네트워크(128)를 통해 MMR 컴퓨터(112)에 연결되어 있다. In this case, office portal 120 is connected directly to MMR computer 112 or connected to MMR computer 112 via network 128. The 다른 대안으로서, 사무실 포털(120)은 MMR 컴퓨터(112) 내에 내장되어 있다. Alternatively, office portal 120 is built into MMR computer 112; 예를 들어, 사무실 포털(120)은 종래의 퍼스널 컴퓨터(PC)로 구성되고 이어서 임의의 연관된 캡처 장치(106)를 지원하는 적절한 하드웨어로 보강된다. For example, office portal 120 is composed of a conventional personal computer (PC) is then reinforced with the appropriate hardware that supports any capture device 106 associated with the. 사무실 포털(120)은 비디오 카메라 및 오디오 녹음기 등의 캡처 장치를 포함할 수 있다. Office portal 120 may include a capture device, such as video cameras and audio recorders. 그에 부가하여, 사무실 포털(120)은 MMR 컴퓨터(112)로부터의 데이터를 캡처 및 저장할 수 있다. In addition, office portal 120 may capture and store data from MMR computer 112; 예를 들어, 사무실 포털(120)은 MMR 컴퓨터(112)에서 일어나는 이벤트 및 기능을 수신 및 모니터할 수 있다. For example, office portal 120 is able to receive and monitor functions and events that occur on MMR computer 112; 그 결과, 사무실 포털(120)은 MMR 사용자(110)의 물리적 환경에서의 모든 오디오 및 비디오를 기록할 수 있고 MMR 컴퓨터(112)에서 일어나는 모든 이벤트를 기록할 수 있다. As a result, office portal 120 is able to record all audio and video in the physical environment of MMR user 110, and can record all events that occur on MMR computer 112; 한 특정의 실시예에서, 사무실 포털(120)은 MMR 컴퓨터(112)로부터의 이벤트, 예를 들어, 문서가 편집되고 있는 동안에 비디오 스크린 캡처를 캡처한다. In one particular embodiment, office portal 120 is, for an event, for example, from MMR computer 112 and capture a video screen capture while a document is being edited. 그렇게 함에 있어서, 사무실 포털(120)은 주어진 문서가 생성되고 있는 동안에 브라우징된 웹 사이트 및 참고된 기타 문서를 캡처한다. In doing so, the office portal 120 captures the other documents while browsing a website and see a given document is created. 그 정보는 나중에 MMR 사용자(110)가 그의 MMR 컴퓨터(112) 또는 캡처 장치(106)를 통해 이용가능하게 될 수 있다. The information may be made available later MMR user 110 through the use of his MMR computer 112 or capture device 106. 그에 부가하여, 사무실 포털(120)은 사용자가 그의 문서에 추가하는 클립들 을 위한 멀티미디어 서버로서 사용될 수 있다. In addition, office portal 120 may be used as the multimedia server for clips that users add to their documents. 게다가, 사무실 포털(120)은 종이 문서가 데스크 탑에 있는 동안에 일어나는 대화(예를 들어, 전화 또는 사무실 내), 전화를 통한 토의, 및 사무실 내에서의 소규모 회의 등의 기타 사무실 이벤트를 캡처할 수 있다. In addition, the office portal 120 is a paper document that dialogue takes place while in the desktop (for example, telephone or in-office), discussed over the phone, and you can capture other office events, such as small-scale meetings in my office. have. 사무실 포털(120) 상의 비디오 카메라(도시 생략)는, 캡처 장치(106)에 대해 개발된 동일한 컨텐츠-기반 검색 기술을 사용함으로써, MMR 사용자(110)의 물리적 책상 위의 종이 문서를 식별할 수 있다. A video camera (not shown) on office portal 120 is, the same content developed for capture device 106 - by use based search techniques, it may identify paper documents on the physical desktop of MMR user 110 .

서비스 제공자 서버(122)는 네트워크(128)를 통해 MMR 시스템(100b)의 MMR 사용자(110)에 의해 액세스될 수 있는 정보 또는 애플리케이션을 보유하는 임의의 상업적 서버이다. Service provider server 122 is any commercial server that holds information or applications that can be accessed by MMR user 110 of MMR system (100b) over a network (128). 상세하게는, 서비스 제공자 서버(122)는 MMR 시스템(110b)과 연관되어 있는 임의의 서비스 제공자를 나타낸다. In particular, service provider server 122 is representative of any service provider that is associated with MMR system (110b). 서비스 제공자 서버(122)는, 예를 들어, Comcast Corporation 등의 케이블 TV 제공자, Verizon Wireless 등의 셀 전화 서비스 제공자, Adelphia Communications 등의 인터넷 서비스 제공자, Sony Corporation 등의 온라인 음악 서비스 제공자, 기타 등등의 상업적 서버이지만, 이에 한정되는 것은 아니다. Commercial service provider server 122, for example, Comcast Corporation, including a cable TV provider, Verizon Wireless, such as a cell phone service provider, Adelphia Communications, including Internet service providers, Sony Corporation, such as online music service providers, etc. Although the server, and the like.

전자 디스플레이(124)는 표준 아날로그 또는 디지털 텔레비전(TV), 평면 스크린 TV, 평면 패널 디스플레이, 또는 프로젝션 시스템 등의 임의의 디스플레이 장치이지만, 이에 한정되는 것은 아니다. Electronic display 124 is not intended to be, but an arbitrary display device such as standard analog or digital television (TV), a flat screen TV, a flat panel display, or a projection system like. 셋톱 박스(126)는, 공지되어 있는 바와 같이, 위성 수신용 접시 안테나, 공중, 케이블, 네트워크 또는 전화선으로부터 들어오는 신호를 처리하는 수신기 장치이다. Set-top box 126, as is known, a receiver device that processes an incoming signal from a satellite receiving dish, aerial, cable, network, or telephone line. 셋톱 박스의 예시적인 제조업자는 Advanced Digital Broadcast이다. The exemplary manufacturing of set-top boxes is Advanced Digital Broadcast. 셋톱 박스(126)는 전자 디스플레이(124)의 비디 오 입력에 전기적으로 연결되어 있다. Set-top box 126 is electrically connected to the video input of electronic display 124. The

문서 스캐너(127)는 Panasonic Corporation의 KV-S2026C 완전 컬러 스캐너 등의 상업적으로 이용가능한 문서 스캐너 장치이다. Document scanner 127 is a commercially available document scanner device, such as the KV-S2026C full-color scanner Corporation Panasonic's. 문서 스캐너(127)는 기존의 인쇄된 문서를 MMR-사용가능 문서(MMR-ready document)로 변환하는 데 사용된다. Document scanner 127 is used in the conversion of existing printed documents into the document can (MMR-ready document) using MMR-.

셀룰러 기반구조(132)는 복수의 셀 타워 및 기타 셀룰러 네트워크 상호 연결을 나타낸다. Cellular infrastructure 132 represents a plurality of cell towers and other cellular network interconnections. 상세하게는, 셀룰러 기반구조(132)를 사용함으로써, 양방향 음성 및 데이터 통신이 캡처 장치(106) 등의 장치 내에 포함된 무선 모뎀을 통해 핸드헬드, 휴대용, 및 자동차-탑재 전화에 제공된다. In particular, the use of cellular infrastructure 132, two-way voice and data communications capture device 106 handheld, portable, and car through a wireless modem included in the device, such as a - is provided with a telephone.

Wi-Fi 기술(134), 블루투스 기술(136) 및 IR 기술(138)은 전자 장치들 간의 무선 통신을 용이하게 해주는 기술을 나타낸다. Wi-Fi technology 134, Bluetooth technology 136, and IR technology 138 shows the technology that facilitate wireless communication between electronic devices. Wi-Fi 기술(134)은, 공지되어 있는 바와 같이, 802.11 표준에 기초하고 있는 WLAN(wireless local area network) 제품과 연관되어 있는 기술이다. Wi-Fi technology 134, as is known, is a technique that is associated with the product (wireless local area network) and WLAN in the base 802.11 standard. 블루투스 기술(136)은, 공지된 바와 같이, 셀룰러 전화, 컴퓨터 및 PDA가 단거리 무선 접속을 사용함으로써 어떻게 상호 연결되는지를 기술하는 전기 통신 산업 규격이다. Bluetooth technology 136 is a described above, a cellular telephone, a computer and a PDA is the telecommunications industry specification that describes how the interconnect by using a short-range wireless connection is known. IR 기술(138)은 전자 장치가 단거리 무선 신호를 통해 통신을 할 수 있게 해준다. IR technology 138 allows electronic devices to communicate via short-range wireless signal. 예를 들어, IR 기술(138)은 텔레비전 리모콘, 랩톱 컴퓨터, PDA, 및 기타 장치들에 의해 사용되는 LOS(line-of-sight) 무선 통신 매체이다. For example, IR technology 138 is a LOS (line-of-sight) wireless communications medium used by television remote controls, laptop computer, PDA, and other devices. IR 기술(138)은 중간-마이크로파(mid-microwave)에서 가시광 아래까지의 스펙트럼에서 동작한다. IR technology 138 is a medium-operates in the spectrum of visible light to the bottom of the microwave (mid-microwave). 게다가, 하나 이상의 다른 실시예들에서, 무선 통신은 IEEE 802.15(UWB) 및/또는 802.16(WiMAX) 표준을 사용하여 지원될 수 있다. Further, in one or more other embodiments, wireless communication may be supported using IEEE 802.15 (UWB) and / or 802.16 (WiMAX) standards.

유선 기술(140)은 표준 이더넷 접속 또는 USB(universal serial bus) 접속 등의 임의의 유선 통신 메커니즘이다. Wired technology 140 is any wired communications mechanism, such as a standard Ethernet connection or a USB (universal serial bus) connection. 셀룰러 기반구조(132), Wi-Fi 기술(134), 블루투스 기술(136), IR 기술(138), 및/또는 유선 기술(140)을 사용함으로써, 캡처 장치(106)는 MMR 시스템(110b)의 임의의 또는 모든 전자 장치들과 양방향으로 통신을 할 수 있다. Cellular infrastructure (132), Wi-Fi technology 134, Bluetooth technology (136), IR technology 138, and / or by using a wired technology 140, capture device 106, the MMR system (110b) of any or can communicate with any electronic devices with two-way.

지리적 위치 확인 메커니즘(142)은 지리적 위치를 확인하기에 적합한 임의의 메커니즘이다. Geo-location mechanism 142 is any mechanism suitable to determine a geographic location. 공지된 바와 같이, 지리적 위치 확인 메커니즘(142)은, 예를 들어, 위치 데이터를 지상 GPS 수신기 장치에 제공하는 GPS 위성이다. As is known, the geo-location mechanism 142 is, for example, GPS satellites which provide position data to terrestrial GPS receiver devices. 도 1b에 도시되어 있는 이 예시적인 실시예에서, 위치 데이터는 GPS 위성에 의해 GPS 수신기(도시 생략)와 함께 네트워크(128)에 연결되어 있는 서비스 제공자 서버(122)를 통해 MMR 시스템(100b)의 사용자들에게 제공된다. In this exemplary embodiment shown in Figure 1b for example, position data of the MMR system (100b) through a service provider server 122 that is connected to the network 128 with the GPS receiver (not shown) by a GPS satellite It is provided to the user. 다른 대안으로서, 지리적 위치 확인 메커니즘(142)은 삼각측량 메커니즘(triangulation mechanism)을 제공하는 일련의 셀 타워(예를 들어, 셀룰러 기반구조(132)의 서브셋), 셀 타워 ID(identification) 메커니즘, 및/또는 지리적 위치를 판정하는 수단으로서의 향상된 911 서비스이다. Alternatively, geo-location mechanism 142 is the triangulation mechanism (triangulation mechanism), a set of cell towers that provide (e. G., A subset of cellular infrastructure 132), cell tower ID (identification) mechanism, and an / or enhanced 911 service as a means to determine geographic location. 다른 대안으로서, 지리적 위치 확인 메커니즘(142)은 WiFi 액세스 포인트 또는 블루투스 장치의 기지의 위치로부터의 신호 세기 측정에 의해 제공된다. Alternatively, geo-location mechanism 142 is provided by signal strength measurements from a WiFi access point or a Bluetooth device, known position.

동작을 설명하면, 캡처 장치(106)는 MMR 사용자(110)가 가지고 있는 클라이언트로서 기능한다. When explaining the operation, capture device 106 serves as a client with the MMR user 110 has. 컨텐츠-기반 검색 동작을 가능하게 해주고 셀룰러 기반구조(132), Wi-Fi 기술(134), 블루투스 기술(136), IR 기술(138), 및/또는 유선 기술(140)을 통해 캡처 장치(106)를 MMR 시스템(110b)의 기반구조에 링크시키는 소프 트웨어 애플리케이션이 이 장치 상에 존재한다. Content-enabled based retrieval operation haejugo cellular infrastructure (132), Wi-Fi technology 134, Bluetooth technology (136), IR technology 138, and / or a capture device (106 via wired technology 140 ) for the software application to link to the infrastructure of MMR system (110b) present on the device. 그에 부가하여, 인쇄 캡처 동작, 이벤트 캡처 동작(예를 들어, 문서의 편집 이력을 저장), 서버 동작(예를 들어, 나중에 다른 사람에게 서비스하기 위해 MMR 컴퓨터(112) 상에 저장된 데이터 및 이벤트) 또는 프린터 관리 동작(예를 들어, 프린터(116)가 문서 레이아웃 및 멀티미디어 클립들 등의 MMR에 필요한 데이터를 큐잉하도록 설정될 수 있음)(이에 한정되지 않음) 등의 몇가지 동작을 수행하는 소프트웨어 애플리케이션이 MMR 컴퓨터(112) 상에 존재한다. Thereof In addition, the print capture operation, an event capture operation (e.g., save the edit history of a document), a server operation (e.g., future data and events saved on MMR computer 112 for serving to others) or a printer management operation (e.g., printer 116, the document layout, and can be set up to queue the data needed for MMR such as multimedia clips), but not limited to software applications that perform several operations, such as the present on the MMR computer 112. 네트워크화된 미디어 서버(114)는 MMR 사용자(110)에게 속한 MMR 컴퓨터(112)를 통해 인쇄되는 인쇄된 문서(118) 등의 인쇄된 문서에 첨부된 데이터에의 액세스를 제공한다. Networked media server 114 provides access to the data attached to a printed document such as the MMR user 110. The document 118 is printed through the print MMR computer 112 belongs to. 그렇게 함에 있어서, 비디오 또는 오디오 등의 제2 미디어가 종이 문서 등의 제1 미디어와 연관된다. In doing so, a second medium, such as video or audio that is associated with a first media, such as paper documents. 제2 미디어의 제1 미디어에 대한 연관 관계를 형성하는 소프트웨어 애플리케이션 및/또는 메커니즘에 대한 더 많은 상세는 이하에서 도 2e, 도 3, 도 4 및 도 5를 참조하여 기술된다. Second media first More details of the software applications and / or mechanisms for forming the association of the media is also below 2e, in Figure 3, is described in 4 and 5.

캡처 장치 Capture Device

도 2a, 도 2b, 도 2c 및 도 2d는 본 발명의 실시예들에 따른 예시적인 캡처 장치(106)를 나타낸 것이다. Figure 2a, Figure 2b, Figure 2c and Figure 2d shows an exemplary capture device 106 in accordance with embodiments of the present invention. 보다 구체적으로는, 도 2a는 셀룰러 카메라 전화인 캡처 장치(106a)를 나타낸 것이다. More particularly, Figure 2a illustrates a cellular camera phone capture device (106a). 도 2b는 PDA 장치인 캡처 장치(106b)를 나타낸 것이다. Figure 2b illustrates a PDA device which capture device (106b). 도 2c는 컴퓨터 주변 장치인 캡처 장치(106c)를 나타낸 것이다. Figure 2c shows the capture device of the computer peripheral device (106c). 컴퓨터 주변 장치의 일례는 임의의 표준 웹캠이다. An example of a computer peripheral device is any standard webcam. 도 2d는 (예를 들어, MMR 컴퓨터(112) 등의) 컴퓨팅 장치에 내장되어 있는 캡처 장치(106d)를 나타낸 것이다. Figure 2d (e.g., such as MMR computer 112) shows a capture device (106d) that is embedded in a computing device. 예를 들어, 캡처 장치(106d)는 컴퓨터 그래픽 카드이다. For example, the capture device (106d) is a computer graphics card. 캡처 장치(106)의 예시적인 상세 는 도 2e를 참조하면 알 수 있다. Example details of capture device 106 may be found by reference to Figure 2e.

캡처 장치(106a, 106b)의 경우에, 캡처 장치(106)는 MMR 사용자(110)가 가지고 있을 수 있으며, 그의 물리적 위치는 지리적 위치 확인 메커니즘(142)에 의해 또는 셀룰러 기반구조(132) 내의 각각의 셀 타워의 ID 번호에 의해 추적될 수 있다. In the case of capture devices (106a, 106b), a capture device 106, the MMR may be the user 110 has his physical location within each or cellular infrastructure 132 by the geographic-location mechanism 142 there can be tracked by the ID number of the cell tower.

이제 도 2e를 참조하면, 본 발명에 따른 캡처 장치(106)의 일 실시예에 대한 기능 블록도가 도시되어 있다. Referring now to Figure 2e, there is a functional block diagram of one embodiment of the capture device 106 in accordance with the present invention is shown. 캡처 장치(106)는 프로세서(210), 디스플레이(212), 키패드(214), 저장 장치(216), 무선 통신 링크(218), 유선 통신 링크(220), MMR 소프트웨어 모음(222), 캡처 장치 사용자 인터페이스(UI)(224), 문서 지문 정합 모듈(226), 제3자 소프트웨어 모듈(228), 및 다양한 캡처 메커니즘들(230) 중 적어도 하나의 메커니즘을 포함한다. The capture device 106 includes processor 210, display 212, keypad 214, a storage device 216, wireless communications link 218, wired communications link (220), MMR software suite 222, capture device user interface (UI) (224), includes at least one mechanism of the document fingerprint matching module 226, third-party software module 228, and a variety of capture mechanisms 230. 예시적인 캡처 메커니즘(230)은 비디오 카메라(232), 정지 영상 카메라(234), 음성 녹음기(236), 전자적 하이라이터(electronic highlighter)(238), 레이저(240), GPS 장치(242) 및 RFID 판독기(244)를 포함하지만, 이에 한정되는 것은 아니다. Exemplary capture mechanism 230 is video camera 232, a still camera 234, voice recorder 236, an electronic highlighter (electronic highlighter) (238), the laser (240), GPS device 242 and the RFID It includes a reader 244, but the embodiment is not limited thereto.

프로세서(210)는 Intel Corporation에 의해 제조된 펜티엄 마이크로프로세서(이에 한정되지 않음) 등의 중앙 처리 장치(CPU)이다. A processor (210) is a Pentium microprocessor, but not limited to a central processing unit (CPU) such as manufactured by Intel Corporation. 디스플레이(212)는 핸드헬드 전자 장치에서 사용되는 것 등의 임의의 표준 비디오 디스플레이 메커니즘이다. Display 212 is any standard video display mechanism, such those used in handheld electronic devices. 보다 상세하게는, 디스플레이(212)는, 예를 들어, 액정 디스플레이(LCD) 또는 유기 발광 다이오드(OLED) 디스플레이 등의 임의의 디지털 디스플레이이다. More specifically, the display 212 are, for example, any digital display, such as a liquid crystal display (LCD) or organic light emitting diode (OLED) display. 키패드(214)는 표준 컴퓨팅 장치 및 셀룰러 전화 등의 핸드헬드 전자 장치에서 사용되 는 키패드 등의 임의의 표준 영숫자 입력 메커니즘이다. Keypad 214 is any standard alphanumeric entry mechanism, such as a keypad is used on the hand-held electronic device such as a standard computing devices and cellular telephones. 저장 장치(216)는, 공지된 바와 같이, 하드 디스크 드라이브 또는 랜덤 액세스 메모리(RAM) 장치 등의 임의의 휘발성 또는 비휘발성 메모리 장치이다. Storage device 216, as is known, is any volatile or non-volatile memory device such as a hard disk drive or a random access memory (RAM) device.

무선 통신 링크(218)는, 공지된 바와 같이, 직접 포인트-투-포인트 통신(direct point-to-point communication) 또는 액세스 포인트(도시 생략) 및 LAN(예를 들어, IEEE 802.11 Wi-Fi 또는 블루투스 기술)을 통한 무선 통신을 제공하는 무선 데이터 통신 메커니즘이다. A wireless communication link 218, as is well known, the direct point-to-point communication (direct point-to-point communication), or an access point (not shown) and a LAN (e.g., IEEE 802.11 Wi-Fi or Bluetooth a wireless data communications mechanism that provides wireless communication through technology). 무선 통신 링크(220)는, 예를 들어, 표준 이더넷 및/또는 USB 접속을 통해 직접 통신(direct communication)을 제공하는 유선 데이터 통신 메커니즘이다. Wireless communications link 220 is, for example, a wired data communications mechanism that provides direct communication (direct communication) via standard Ethernet and / or USB connection.

MMR 소프트웨어 모음(222)은 한 유형의 미디어와 제2 유형을 병합하는 것 등의 MMR 동작을 수행하는 전체적인 관리 소프트웨어이다. MMR software suite 222 is the overall management software that performs the MMR operations, such as merging one type of media with a second type. MMR 소프트웨어 모음(222)에 대한 더 많은 상세는 도 4를 참조하면 알 수 있다. More details of MMR software suite 222 can be seen referring to FIG.

캡처 장치 사용자 인터페이스(UI)(224)는 캡처 장치(106)를 동작시키는 사용자 인터페이스이다. A capture device user interface (UI) (224) is a user interface for operating capture device 106. 캡처 장치 UI(224)를 사용함으로써, 그 상에서 기능들을 선택하기 위한 다양한 메뉴가 MMR 사용자(110)에게 제공된다. The use of capture device UI (224), a number of menus for selecting the functions that are provided on to the MMR user 110. The 보다 구체적으로는, 캡처 장치 UI(224)의 메뉴는 MMR 사용자(110)가, 종이 문서와 상호작용하는 것, 기존의 문서로부터 데이터를 판독하는 것, 기존의 문서에 데이터를 기록하는 것, 그들 문서와 연관되어 있는 증강 현실(argumented reality)을 보면서 그와 상호작용하는 것, 사용자의 MMR 컴퓨터(112) 상에 디스플레이되는 문서와 연관되어 있는 증강 현실을 보면서 그와 상호작용하는 것(이에 한정되지 않음) 등의 작업들을 관리할 수 있게 해준다. More specifically, the menu is the MMR user 110 of capture device UI (224), interacting with paper documents, to read data from existing documents, to write data into existing documents, they while viewing the augmented reality (argumented reality) that is associated with the document to interact with it, while viewing the augmented reality associated with documents displayed on the user of the MMR computer 112 to interact with the (not limited to No) it allows you to manage tasks such as.

문서 지문 정합 모듈(226)은 캡처 장치(106)의 적어도 하나의 캡처 메커니즘(230)을 통해 캡처된 텍스트 이미지로부터 피쳐들을 추출하는 소프트웨어 모듈이다. Document fingerprint matching module 226 is a software module for extracting features from a text image captured via at least one capture mechanism 230 of capture device 106. 문서 지문 정합 모듈(226)은 또한 캡처된 이미지와 문서들의 데이터베이스 간의 패턴 정합을 수행할 수 있다. Document fingerprint matching module 226 can also capture the image and to perform pattern matching between the document of the database. 가장 기본 레벨에서, 일 실시예에 따르면, 문서 지문 정합 모듈(226)은 더 큰 페이지 이미지 내에서 이미지 패치의 위치를 결정하고, 여기서 그 페이지 이미지는 문서들의 큰 컬렉션으로부터 선택된다. According to the most basic level, in one embodiment, the document fingerprint matching module 226 determines the location of the image patch within a larger page image wherein that page image is selected from a large collection of documents. 문서 지문 정합 모듈(226)은 캡처된 데이터를 수신하고 캡처된 데이터로부터 이미지의 표시를 추출하고, 문서들 내에서 패치 인식 및 움직임 분석을 수행하며, 결정 조합들을 수행하고, 입력 이미지들이 위치하고 있는 페이지들 내에서의 xy 장소들의 리스트를 출력하는 루틴 또는 프로그램을 포함한다. Document fingerprint matching module 226 is a page to extract the display of the image from the received captured data and capture data, perform patch recognition and motion analysis within documents, to perform decision combinations, located to the input image It includes routines or programs for outputting a list of the xy location within. 예를 들어, 문서 지문 정합 모듈(226)은, 피쳐들이 추출된 문서 및 문서 내의 일부분을 식별하기 위해, 텍스트의 일부의 이미지로부터 추출되는 수평 및 수직 피쳐들을 결합시키는 알고리즘일 수 있다. For example, the document fingerprint matching module 226, and may be an algorithm that combines horizontal and vertical features that are extracted from an image of the text to identify a section within the document features are extracted and the document. 피쳐들이 추출되었으면, 기호적인 문서(symbolic document)를 식별하기 위해, 예를 들어, MMR 컴퓨터(112) 또는 네트워크화된 미디어 서버(114)에 존재하는 인쇄된 문서 인덱스(도시 생략)가 질의된다. Once the features are extracted, in order to identify the symbolic document (symbolic document), for example, the MMR computer 112 or networked media server, the document index print present in 114 (not shown) is queried. 캡처 장치 UI(224)의 제어 하에서, 문서 지문 정합 모듈(226)은 인쇄된 문서 인덱스에 액세스한다. Under the control of capture device UI (224), the document fingerprint matching module 226 has access to the printed document index. 인쇄된 문서 인덱스에 대해서는 도 3의 MMR 컴퓨터(112)를 참조하여 더 상세히 기술한다. For a printed document index reference to MMR computer 112 of Figure 3 will be described in more detail. 유의할 점은, 대안의 실시예에서, 문서 지문 정합 모듈(226)이 MMR 컴퓨터(112)의 일부일 수 있으며 캡처 장치(106) 내에 위치하지 않을 수 있다는 것이다. It is noted that, is that in an alternate embodiment, the document fingerprint matching module 226 could be part of the MMR computer 112 may not be located within the capture device 106. 이러한 실시예에서, 캡처 장치(106)는 미가공 캡처 데이터(raw captured data)를, 이미지 추출, 패턴 정합, 그리고 문서 및 위치 인식을 위해 MMR 컴퓨터(112)에 전송한다. In this embodiment, the capture device 106 sends raw captured data (raw captured data), to the MMR computer 112 for image extraction, pattern matching, and document and position recognition. 또다른 실시예에서, 문서 지문 정합 모듈(226)은 피쳐 추출만을 수행하고, 추출된 피쳐들이 패턴 정합 및 인식을 위해 MMR 컴퓨터(112)에 전송된다. In yet another embodiment, the document fingerprint matching module 226 only performs feature extraction, and the extracted features are sent to the MMR computer 112 for pattern matching and recognition.

제3자 소프트웨어 모듈(228)은 캡처 장치(106)에서 일어날 수 있는 임의의 동작을 향상시키기 위한 임의의 제3자 소프트웨어 모듈을 나타낸다. Third-party software module 228 is representative of any third-party software module for enhancing any operation that may occur on capture device 106. 예시적인 제3자 소프트웨어는 보안 소프트웨어, 이미지 감지 소프트웨어, 이미지 처리 소프트웨어, 및 MMR 데이터베이스 소프트웨어를 포함한다. Exemplary third party software includes security software, image sensing software, image processing software, and MMR database software.

상기한 바와 같이, 캡처 장치(106)는 임의의 수의 캡처 메커니즘(230)을 포함할 수 있으며, 이들의 예에 대해 이제부터 기술한다. The capture device 106 may include a capture mechanism 230 of any number of now described in these examples, as described above.

비디오 카메라(232)는 표준 디지털 카메라 또는 어떤 셀 전화에서 발견되는 것 등의 디지털 비디오 레코딩 장치이다. Video camera 232 is a digital video recording device, such as those found in standard digital cameras or some cell phones.

정지 영상 카메라(234)는 디지털 이미지를 캡처할 수 있는 임의의 표준 디지털 카메라 장치이다. Still camera 234 is any standard digital camera device that is capable of capturing digital images.

음성 녹음기(236)는 오디오 신호를 캡처하고 이를 디지털 형태로 출력할 수 있는 임의의 표준 오디오 녹음 장치(마이크 및 연관된 하드웨어)이다. Voice recorder 236 is any standard audio recording device (microphone and associated hardware) that is capable of capturing audio signals and outputting it in digital form.

전자적 하이라이터(238)는 인쇄된 텍스트, 바코드 및 작은 이미지를 스캔하여 저장하고 PC, 랩톱 컴퓨터, 또는 PDA 장치에 전송하는 기능을 제공하는 전자적 하이라이터이다. Electronic highlighter 238 is stored by scanning the text, barcodes, and small images to print and the electronic highlighter that provides the ability to transfer to a PC, laptop computer, or PDA device. 전자적 하이라이터(238)는 정보가 펜 상에 저장되거나 직렬 포트, 적외선 통신 또는 USB 어댑터를 통해 컴퓨터 애플리케이션에 직접 전송될 수 있게 해주는, 예를 들어, Wizcom Technologies의 Quicklink Pen Handheld Scanner이다. Electronic highlighter 238 is, for example, Wizcom Technologies of Quicklink Pen Handheld Scanner which enables information to be transferred directly to a computer application stored on the pen or through a serial port, infrared communications, or USB adapter.

레이저(240)는, 공지된 바와 같이, 자극 방출(stimulated emission)을 통해, 코히런트하고 거의 단색인 광(coherent, near-monochromatic light)을 생성하는 광원이다. Laser 240 is, coherent and a light source for generating a substantially monochromatic light (coherent, near-monochromatic light), through the stimulated emission (stimulated emission), as is well known. 레이저(240)는, 예를 들어, 순방향 바이어스될 때 코히런트 광을 방출하는 반도체 장치인 표준 레이저 다이오드이다. Laser 240 is, for example, a standard semiconductor device, a laser diode that emits coherent light when forward biased. 레이저(240)가 향하고 있는 이미지에 의해 반사되는 광량을 측정하는 검출기가 레이저(240)와 연관되고 그 안에 포함되어 있다. A detector for the laser 240 is directed to measuring the amount of light which is reflected by the image, which is included and associated with the laser (240) therein.

GPS 장치(242)는 위치 데이터, 예를 들어, 디지털 위도 및 경도 데이터를 제공하는 임의의 휴대용 GPS 수신기 장치이다. GPS device 242 is any portable GPS receiver device that provides location data, e.g., digital latitude and longitude data. 휴대용 GPS 장치(242)의 예는 Sony Corporation의 NV-U70 Portable Satellite Navigation System, 및 Thales North America, Inc.의 Magellan brand RoadMate Series GPS 장치, Meridian Series GPA 장치, 및 eXplorist Series GPS 장치이다. Examples of portable GPS devices 242 are the NV-U70 Portable Satellite Navigation System, and Thales North America, Inc. of Magellan brand RoadMate Series GPS devices, Meridian Series GPA device, and eXplorist Series GPS devices of Sony Corporation. 공지된 바와 같이, GPS 장치(242)는 부분적으로 삼각 측량에 의해 실시간으로 캡처 장치(106)의 위치를 결정하는 방법을 복수의 지리적 위치 확인 메커니즘(142)에 제공한다. As is well known, GPS device 242 provides a method for partly determining the location of the capture device 106 in real time by triangulation, to a plurality of geo location mechanism 142.

RFID 판독기(244)는 Texas Instruments에 의해 제조된 TI RFID 시스템 등의 상업적으로 이용가능한 RFID 태그 판독기 시스템이다. RFID reader 244 is an RFID tag reader system, commercially available, such as the TI RFID system, manufactured by Texas Instruments. RFID 태그는 무선파를 사용하여 고유의 아이템을 식별하는 무선 장치이다. RFID tag is a wireless device that uses radio waves to identify a unique item. 공지된 바와 같이, RFID 태그는 안테나에 부착되어 있는 마이크로칩(고유의 디지털 ID 번호가 저장되어 있음)으로 형성된다. As is well known, RFID tags are formed in a microchip that is attached to an antenna (with the number of unique digital ID is stored).

한 특정의 실시예에서, 캡처 장치(106)는 프로세서(210), 디스플레이(212), 키패드(214), 저장 장치(216), 무선 통신 링크(218), 유선 통신 링크(220), MMR 소프트웨어 모음(222), 캡처 장치 UI(224), 문서 지문 정합 모듈(226), 제3자 소프트웨어 모듈(228) 및 캡처 메커니즘들(230) 중 적어도 하나의 메커니즘을 포함한다. In one particular embodiment, capture device 106 includes processor 210, display 212, keypad 214, a storage device 216, wireless communications link 218, wired communications link (220), MMR software It includes at least one mechanism of suite 222, capture device UI (224), the document fingerprint matching module 226, third-party software module 228 and the capture mechanisms 230. 그렇게 함에 있어서, 캡처 장치(106)는 완전-기능 장치(full-function device)이다. In doing so, capture device 106 is a full-function device is a (full-function device). 다른 대안으로서, 캡처 장치(106)는 더 적은 기능을 가질 수 있으며, 따라서 제한된 일련의 기능 컴포넌트를 포함할 수 있다. Alternatively, the capture device 106 may have fewer features, and therefore may include a set of functional components is limited. 예를 들어, MMR 소프트웨어 모음(222) 및 문서 지문 정합 모듈(226)은 원격지에, 예를 들어, MMR 시스템(100b)의 MMR 컴퓨터(112) 또는 네트워크화된 미디어 서버(114)에 존재할 수 있으며 무선 통신 링크(218) 또는 유선 통신 링크(220)를 통해 캡처 장치(106)에 의해 액세스된다. For example, MMR software suite 222 and document fingerprint matching module 226 to a remote location, for example, be present in the MMR computer 112 or networked media server 114 of MMR system (100b) and the radio It is accessed by the communications link 218 or wired communications link to the capture device 106 through 220.

MMR 컴퓨터 Computer MMR

이제 도 3을 참조하면, 본 발명의 일 실시예에 따라 구성된 MMR 컴퓨터(112)가 도시되어 있다. With reference now to Figure 3, the MMR computer 112 configured in accordance with an embodiment of the present invention. 알 수 있는 바와 같이, MMR 컴퓨터(112)는 하나 이상의 멀티미디어(MM) 파일(336)을 포함하는 네트워크화된 미디어 서버(114), 인쇄된 문서(118)를 생성하는 사용자 프린터(116), 문서 스캐너(127), 및 캡처 장치 UI(224) 및 제1 문서 지문 정합 모듈 인스턴스(226)를 포함하는 캡처 장치(106)에 연결되어 있다. As can be seen, MMR computer 112 is one or more multimedia (MM), the media server 114 networked to include a file 336, the user printer 116 that produces a printed document 118, the document scanner It is connected to 127, and capture device UI (224) and the first document fingerprint matching module capture device 106 that includes an instance 226. 이들 컴포넌트 간의 통신 링크는 직접 링크이거나 네트워크를 통할 것이다. Communications link between these components will preside over the direct link or network. 그에 부가하여, 문서 스캐너(127)는 제2 문서 지문 정합 모듈 인스턴스(226')를 포함한다. In addition thereto, the document scanner 127 includes a second instance of document fingerprint matching module 226 '.

이 예시적인 실시예의 MMR 컴퓨터(112)는 하나 이상의 소스 파일(310), 제1 소스 문서(SD) 브라우저(312), 제2 SD 브라우저(314), 프린터 드라이버(316), 인쇄된 문서(PD) 캡처 모듈(318), PD 인덱스(322)를 저장하는 문서 이벤트 데이터베이스(320), 이벤트 캡처 모듈(324), 문서 파서 모듈(326), 멀티미디어(MM) 클립 브라우저/편집기 모듈(328), MM에 대한 프린터 드라이버(330), DVP(document-to-video paper) 인쇄 시스템(332) 및 비디오 종이 문서(334)를 포함한다. The illustrative embodiment MMR computer 112 includes one or more source files 310, a first source document (SD) browser 312, a 2 SD browser 314, printer driver 316, a printed document (PD ) capture module (318), PD index (322 document event database 320 stores), the event capture module 324, the document parser module 326, the multimedia (MM) clips browser / editor module (328), MM the printer driver (330), DVP (document-to-video paper) to include a printing system 332, and video paper document 334. the

소스 파일(310)은 문서(또는 그의 일부분)의 전자적 표시인 임의의 소스 파일을 나타낸다. Source files 310 are representative of any source files, an electronic representation of a document (or a portion thereof). 예시적인 소스 파일(310)은 MMR 컴퓨터(112)의 하드 드라이브(또는 기타 적당한 저장 장치) 상에 저장되는, 하이퍼텍스트 마크업 언어(HTML) 파일, 마이크로소프트 워드 파일, 마이크로소프트 파워포인트 파일, 간단한 텍스트 파일, PDF(portable document format) 파일, 기타 등등을 포함한다. Example source files 310 is MMR computer (112) hard drive, a hypertext markup language that is stored on (or other suitable storage device) (HTML) files, Microsoft Word files, Microsoft PowerPoint files, simple text files, PDF (portable document format) includes a file, and the like.

제1 SD 브라우저(312) 및 제2 SD 브라우저(314)는 독립형 PC 애플리케이션 또는 소스 파일(310)과 연관되어 있는 데이터에의 액세스를 제공하는 플러그-인 중 어느 하나이다. Claim 1 SD browser 312 and the 2 SD browser 314 has plugs that provides access to data that has been associated with a stand-alone PC applications or the source file (310) is any one of phosphorus. 제1 및 제2 SD 브라우저(312, 314)는 MMR 컴퓨터(112) 상에 디스플레이하기 위한 원래의 HTML 파일 또는 MM 클립을 검색하는 데 사용될 수 있다. The first and the 2 SD browser 312, 314 may be used to retrieve an original HTML file or MM clips for display on MMR computer 112;

공지된 바와 같이, 프린터 드라이버(316)는 애플리케이션들과 임의의 특정의 프린터에 의해 사용되는 페이지-기술 언어 또는 프린터 제어 언어 간의 통신 링크를 제어하는 프린터 드라이버 소프트웨어이다. As is known, the printer driver 316 are pages used by the application and any particular printer of-the printer driver software that controls the communication link between the description language or printer control language. 상세하게는, 인쇄된 문서(118) 등의 문서가 인쇄될 때마다, 프린터 드라이버(316)는 Ricoh Corporation에 의해 그의 인쇄 장치에 대해 제공된 것 등의 정확한 제어 명령을 갖는 데이터를 프린터(116) 에 피드(feed)한다. Specifically, each time a document is printed, such as printed document 118, the printer driver 316. The printer 116, the data that has the correct control commands, such as those provided for its printing apparatus by Ricoh Corporation The feed (feed). 일 실시예에서, 프린터 드라이버(316)는 모든 인쇄된 페이지 상의 모든 문자의 xy 좌표, 폰트, 및 포인트 크기의 표시를 자동적으로 캡처한다는 점에서 종래의 프린터 드라이버와 다르다. In one embodiment, the printer driver 316 is different from the conventional printer driver in that it captures automatically a representation of the xy coordinates, font, and point size of every character on every printed page. 환언하면, 이 드라이버는 인쇄된 모든 문서의 컨텐츠에 관한 정보를 캡처하고 그 데이터를 PD 캡처 모듈(318)로 피드백한다. In other words, the driver captures information about the content of every document printed and feeds back that data to the PD capture module 318.

PD 캡처 모듈(318)은 인쇄된 페이지 상의 문자 및 그래픽의 레이아웃이 검색될 수 있도록 문서들의 인쇄된 표시를 캡처하는 소프트웨어 애플리케이션이다. PD capture module 318 is a software application that captures the printed representation of a document so that the layout of text and graphics on the printed page can be retrieved. 그에 부가하여, PD 캡처 모듈(318)을 사용함으로써, 문서의 인쇄된 표시가 인쇄 시에 실시간으로 자동 캡처된다. In addition, by use of PD capture module 318, and automatic capture is the printed representation of a document in real time at the time of printing. 보다 구체적으로, PD 캡처 모듈(318)은 인쇄된 페이지 상의 2차원 텍스트 배열을 캡처하고 이 정보를 PD 인덱스(322)에 전송하는 소프트웨어 루틴이다. And more specifically, PD capture module 318 captures the two-dimensional arrangement of text on the printed page, and a software routine which transmits this information to PD index 322. 일 실시예에서, PD 캡처 모듈(318)은 인쇄된 페이지 상의 모든 문자의 Windows 텍스트 레이아웃 명령(text layout command)을 트랩(trap)하는 것으로 동작한다. In one embodiment, PD capture module 318 operates as the Windows text of every character on the printed page layout commands (text layout command) trap (trap). 텍스트 레이아웃 명령은 인쇄된 페이지 상의 모든 문자의 xy 위치는 물론 폰트, 포인트 크기, 기타 등등을 운영 체제(OS)에 알려준다. Text layout commands xy location of every character on the printed page as well as informs the font, point size, and so the operating system (OS). 본질적으로, PD 캡처 모듈(318)은 프린터(116)에 전송되는 인쇄 데이터를 도청한다(eavesdrop). In essence, PD capture module 318 eavesdrops on the print data transmitted to the printer (116) (eavesdrop). 도시된 예에서, PD 캡처 모듈(318)은 데이터를 캡처하기 위해 제1 SD 브라우저(312)의 출력부에 연결되어 있다. In the illustrated example, PD capture module 318 is connected to the output of the 1 SD browser 312 for capture of data. 다른 대안으로서, PD 캡처 모듈(318)의 기능은 프린터 드라이버(316) 내에 직접 구현될 수 있다. Alternatively, the functions of PD capture module 318 may be implemented directly within printer driver 316. 이 개시 내용을 살펴보면 다양한 구성이 명백하게 될 것이다. Referring to the disclosure will be apparent in a variety of configurations.

문서 이벤트 데이터베이스(320)는 본 발명의 일 실시예에 따른 인쇄된 문서 와 이벤트 간의 관계를 저장하도록 수정된 임의의 표준 데이터베이스이다. Document event database 320 is any standard database modified to store relationships between printed documents and events, in accordance with an embodiment of the present invention. (문서 이벤트 데이터베이스(320)는 도 3a를 참조하여 MMR 데이터베이스로서 이하에 더 기술되어 있다.) 예를 들어, 문서 이벤트 데이터베이스(320)는 소스 파일(310)(예를 들어, Word, HTML, PDF 파일)에서 인쇄된 문서(118)와 연관되어 있는 이벤트로의 양방향 링크를 저장한다. (Which is a document event database 320, see Fig. 3a further described below as MMR database.) For example, document event database 320 is, for source files 310 (e.g., Word, HTML, PDF and it stores the two-way links to events that are associated with a document 118 printed in the file). 예시적인 이벤트는 Word 문서가 인쇄된 직후에 캡처 장치(106)에서 멀티미디어 클립을 캡처하는 것, 캡처 장치(106)의 클라이언트 애플리케이션으로 문서에 멀티미디어를 추가하는 것, 또는 멀티미디어 클립에 대한 주석 첨부를 포함한다. Example events include the annotated for adding multimedia to a document with the client application of the to capture of multimedia clips on capture device 106 immediately after a Word document printing, the capture device 106, or multimedia clip do. 그에 부가하여, 문서 이벤트 데이터베이스(320)에 저장될 수 있는 소스 파일(310)과 연관되어 있는 기타 이벤트는, 주어진 소스 파일(310)이 열릴 때, 닫힐 때, 또는 제거될 때를 로깅하는 것, 주어진 소스 파일(310)이 MMR 컴퓨터(112)의 바탕화면 상의 활성 애플리케이션에 있을 때, 문서 "복사" 및 "이동" 동작의 로깅 시간 및 목적지를 로깅하는 것, 및 주어진 소스 파일(310)의 편집 이력을 로깅하는 것을 포함한다. To add to, logging the time, when you, or remove closed open source file (310) Other events are given source file 310 that is associated with that can be stored in the document event database 320 thereof, when a given source file 310 is in an active application on the desktop of MMR computer 112 screen, the document "copy" and "move" to log logging times and destinations of the operation, and editing of a given source file 310 It involves the logging of history. 이러한 이벤트는 이벤트 캡처 모듈(324)에 의해 캡처되고 문서 이벤트 데이터베이스(320)에 저장된다. These events are captured by the event capture module 324 is stored in the document event database 320. 문서 이벤트 데이터베이스(320)는 소스 파일(310)을 수신하기 위해 이벤트 캡처 모듈(324), PD 캡처 모듈(318) 및 스캐너(127)의 출력에 연결되어 있고, 또한 질의 및 데이터를 수신하고 출력을 제공하기 위해 캡처 장치(106)에 연결되어 있다. Document event database 320 is coupled to the output of the event capture module (324), PD capture module 318 and scanner 127 in order to receive the source files 310, and also receive queries and data, and an output for providing it is coupled to capture device 106.

문서 이벤트 데이터베이스(320)는 또한 PD 인덱스(322)도 저장한다. Document event database 320 also stores PD index 322. PD 인덱스(322)는 인쇄된 문서의 이미지로부터 추출되는 피쳐들을 그의 기호적인 형상으로(예를 들어, 스캔된 이미지를 Word에) 매핑하는 소프트웨어 애플리케이션이다. PD index 322 is a software application that maps features that are extracted from images of printed documents with his sign shape (e.g., the scanned image to Word). 일 실시예에서, PD 캡처 모듈(318)은 인쇄된 페이지 상의 모든 문자의 xy 위치는 물론 폰트, 포인트 크기, 기타 등등을 PD 인덱스(322)에 제공한다. In one embodiment, PD capture module 318 xy location of every character on the printed page, as well as font, point size, and the like to the PD index 322. PD 인덱스(322)는 주어진 문서가 인쇄될 때 구성된다. PD index 322 is configured, when a given document is printed. 그렇지만, 나중에 조사될 수 있는 방식으로 모든 인쇄 데이터가 캡처되고 PD 인덱스(322)에 저장된다. However, all the print data in such a way that it can be irradiated later is captured and stored in PD index 322. 예를 들어, 인쇄된 문서(118)가 페이지 상에서 물리적으로 단어 "rose"보다 한 줄 위쪽에 위치된 단어 "garden"를 포함하는 경우, PD 인덱스(322)는 이러한 질의(즉, 단어 "rose" 위쪽의 단어 "garden")를 지원한다. For example, it is such a query (i.e., the word "rose" if printed document 118 contains the word "garden" located above the bar, than the word "rose" physically on the page, PD index 322 It supports word "garden") at the top. PD 인덱스(322)는 어느 문서, 어느 페이지 및 그 페이지 내의 어느 위치에서 단어 "garden"이 단어 "rose"보다 위쪽에 나타나는지의 기록을 포함한다. The PD index 322 contains a certain document, which pages, and the word "garden" records appears above the word "rose" in any location in the page. 따라서, PD 인덱스(322)는 피쳐-기반 또는 텍스트-기반 질의를 지원하도록 구성되어 있다. Thus, PD index 322 is a feature-based and is configured to support query-based or text. 인쇄된 문서의 전자적 표시인 PD 인덱스(322)의 컨텐츠는 인쇄 동안에 PD 캡처 모듈(318)을 사용함으로써 및/또는 스캔 동작 동안에 문서 스캐너(127)의 문서 지문 정합 모듈(226')을 사용함으로써 발생된다. Content of the electronic representation of the PD index 322 of the printed document is generated by using a document fingerprint matching module 226 'of document scanner 127 during and / or scanning operation by use of PD capture module 318 during a print do. 데이터베이스(320) 및 PD 인덱스(322)의 부가적인 아키텍처 및 기능성에 대해 도 34a 내지 도 34c, 도 35 및 도 36을 참조하여 이하에서 기술한다. See Fig. 34a to Fig. 34c, 35 and 36 for additional architecture and functionality of database 320 and PD index 322 will be described below.

이벤트 캡처 모듈(324)은 주어진 인쇄된 문서(118) 및/또는 소스 파일(310)과 연관되어 있는 이벤트를 MMR 컴퓨터(112) 상에서 캡처하는 소프트웨어 애플리케이션이다. Event capture module 324 is a software application that captures events that are associated with a given printed document 118 and / or source file 310 on the MMR computer 112. 이들 이벤트는 주어진 소스 파일(310)의 라이프사이클 동안에 캡처되고 문서 이벤트 데이터베이스(320)에 저장된다. These events are captured during the life cycle of a given source file 310 is stored in the document event database 320. 특정의 예에서, 이벤트 캡처 모듈(324)을 사용함으로써, MMR 컴퓨터(112)의 제1 SD 브라우저(312) 등의 브라우저에서 활성인 HTML 파일에 관련되어 있는 이벤트들이 캡처된다. In a specific example, the use of event capture module 324, events are captured that is related to the activity of the HTML file on the browser, such as the 1 SD browser 312, of MMR computer 112; 이들 이벤트는 HTML 파일이 MMR 컴퓨터(112) 상에 디스플레이된 시간 또는 HTML 파일이 디스플레이 또는 인쇄된 것과 동시에 열려 있는 기타 문서들의 파일 이름을 포함할 수 있다. These events may include the file name of any other open document as a HTML file or an HTML file, the time displayed on the MMR computer 112 displays or prints at the same time. 이러한 이벤트 정보는, 예를 들어, MMR 사용자(110)가 HTML 파일이 디스플레이 또는 인쇄된 것과 동시에 그가 어느 문서를 보고 있는지 또는 작업하고 있었는지를 (나중에) 알고자 하는 경우에 유용하다. This event information, for example, MMR user 110 is useful if you know HTML file is displayed or printed at the same time (later), or whether that was working, and he saw any documents chair. 이벤트 캡처 모듈(324)에 의해 캡처되는 예시적인 이벤트는 문서 편집 이력, 주어진 소스 파일(310)이 바탕화면 상에 있었을 즈음에 일어났던 사무실 회의로부터의 비디오(예를 들어, 사무실 포털(120)에 의해 캡처됨), 및 주어진 소스 파일(310)이 열려 있을 때 행해졌던 전화 통화(예를 들어, 사무실 포털(120)에 의해 캡처됨)를 포함한다. Exemplary events that are captured by the event capture module 324 by the video (for example, office portal 120 from the office meeting took place on the occasion of document editing history of a given source file 310 was on the desktop captured) and (been made phone calls (for example, when 310) is open, office portal 120, a given source file includes as captured by).

이벤트 캡처 모듈(324)의 예시적인 기능은, 1) 추적 - 활성 파일 및 애플리케이션을 추적하는 것 -, 2) 키 스트로크 캡처링 - 키 스트로크 캡처 및 활성 애플리케이션과 연관시키는 것 -, 3) 프레임 버퍼 캡처링 및 인덱싱 - 각각의 프레임 버퍼 이미지가 프레임 버퍼 데이터의 광학 문자 인식(OCR) 결과로 인덱싱되고, 따라서 인쇄된 문서의 일부분은 그것이 스크린 상에 디스플레이될 때까지 정합될 수 있다. Exemplary functions of event capture module 324, 1) track-to tracking active files and applications -, 2) key stroke capturing - associating the keystroke capture and active applications - 3) frame buffer capturing ring and indexing - each frame buffer image is indexed with the optical character recognition (OCR) result of the frame buffer data, and thus a portion of the printed document can be matched up when it is displayed on the screen. 다른 대안으로서, PC 운영 체제에 의해 발행되는 PC 바탕화면에 대한 텍스트 드로잉 명령(text drawing command)을 트랩하는 그래픽 디스플레이 인터페이스(GDI) 새도우 dll로 텍스트가 캡처될 수 있다. Alternatively, it can be a trap, the text as a graphic display interface (GDI) shadow dll that capture the text drawing commands (text drawing command) on the PC desktop that is issued by the PC operating system. MMR 사용자(110)는 캡처 장치(106)를 문서로 향하게 하고 그것이 MMR 컴퓨터(112)의 바탕화면 상에서 활성이었던 때를 결정할 수 있다 -, 및 4) 판독 이력 캡처(reading history capture) - 얼마나 오래동안 또한 특정의 문서의 어느 부분이 MMR 사용자(110)에게 보였는지를 추적하기 위해, 프레임 버퍼 캡처 및 인덱싱의 데이터가 문서들이 그의 MMR 컴퓨터(112)의 바탕화면 상에서 활성이었던 때의 분석과 링크된다 - 를 포함한다. How long-MMR user 110 may, and pointing the capture device 106 at a document to determine when it was active on the desktop of MMR computer 112, -, and 4) reading history capture (reading history capture) in addition to which parts of a particular document for tracking whether boyeotneun to MMR user 110, of the frame buffer capturing and indexing the data is analyzed and linked at the time was the documents are active on the desktop of his MMR computer 112 - the It includes. 그렇게 함에 있어서, MMR 사용자(110)가 문서를 읽고 있었는지를 추론하기 위해, 키스트로크 또는 마우스 움직임 등의 다른 이벤트들과 상관이 행해질 수 있다. In doing so, MMR user 110 may be performed independent of other events, such as to deduce what was read documents, keystrokes or mouse movements.

문서 이벤트 데이터베이스(320), PD 인덱스(322) 및 이벤트 캡처 모듈(324)의 조합이 MMR 컴퓨터(112) 상에 로컬적으로 구현되거나, 다른 대안으로서, 공유 데이터베이스로서 구현된다. Document event database (320), PD index 322, and event capture the combination of the module 324, or implemented locally on MMR computer 112, it is implemented as another alternative, as a shared database. 로컬적으로 구현되는 경우, 공유 방식으로 구현되는 것과 비교하여 더 적은 보안이 요구된다. If implemented locally, less security is required as compared to the share scheme is implemented.

문서 파서 모듈(document parser module)(326)은 그 안에서 URL(uniform resource locator), 주소, 타이틀, 저작자, 시간, 또는 예를 들어, Hallidie Building 등의 위치를 표시하는 문구, 유용한 객체의 위치를 찾기 위해 각자의 인쇄된 문서(118)와 관계되어 있는 소스 파일(310)을 파싱하는 소프트웨어 애플리케이션이다. The document parser module (document parser module) (326) Find the location of the phrases, useful objects that represent the position of the (uniform resource locator) URL in its address, title, author, time, or, for example, Hallidie Building, etc. for a software application that parses source files 310 that are related to the printing of each document 118. 그렇게 함에 있어서, 소스 파일(310)의 인쇄 버전에서의 그 객체들의 위치가 결정된다. In doing so, it is determined that the positions of objects in the printed versions of source files 310. 문서 파서 모듈(326)의 출력은 그 다음에 부가적인 정보로 문서(118)의 설명 제시를 보강하고 패턴 정합의 정확도를 향상시키기 위해 수신 장치에 의해 사용될 수 있다. Output of the document parser module 326 may be used by the receiving device in order to then improve the accuracy of pattern matching described reinforcement and the presentation of the document 118 with additional information. 게다가, 수신 장치는 또한 URL의 경우에, URL과 연관된 웹 페이지를 검색하는 등, 위치들을 사용하여 동작을 취할 수 있다. Furthermore, the receiving device could also take an action using the position, such as in the case of a URL, retrieving the web pages associated with the URL. 문서 파서 모듈(326)은 소스 파일(310)을 수신하도록 연결되어 있고 그의 출력을 문서 지문 정합 모듈(226)에 제공한다. The document parser module 326 is coupled to receive source files 310 and provides its output to the document fingerprint matching module 226. 비록 캡처 장치의 문서 지문 정합 모듈(226)에만 연결되어 있는 것으로 도시되어 있지만, 문서 파서 모듈(326)의 출력은, 그들이 어디에 있든간에, 모든 또는 임의의 수의 문서 지문 정합 모듈(226)에 연결될 수 있다. Although depicted as being connected only to the document fingerprint matching module 226 of capture device, but the output of the document parser module 326, between them, wherever, coupled to all or any number of document fingerprint matching module 226 of the can. 게다가, 문서 파서 모듈(326)의 출력은 또한 나중에 사용하기 위해 문서 이벤트 데이터베이스(320)에 저장될 수 있다. In addition, the output of the document parser module 326 can also be stored in the document event database 320 for later use.

MM 클립 브라우저/편집기 모듈(328)은 저작 기능(authoring function)을 제공하는 소프트웨어 애플리케이션이다. MM clips browser / editor module 328 is a software application that provides an authoring (authoring function). MM 클립 브라우저/편집기 모듈(328)은 독립형 소프트웨어 애플리케이션이거나, 다른 대안으로서, 문서 브라우저 상에서 실행되는 플러그-인(제2 SD 브라우저(314)로의 점선으로 표시됨)이다. MM clips browser / editor module 328 is a standalone software application or, alternatively, a plug-in running on a document browser is a (indicated by a broken line to Claim 2 SD browser 314). MM 클립 브라우저/편집기 모듈(328)은 사용자에게 멀티미디어 파일을 디스플레이하며 멀티미디어 파일(336)을 수신하기 위해 네트워크화된 미디어 서버에 연결되어 있다. MM clips browser / editor module 328 is connected to the networked media server to receive a user to display multimedia files, and multimedia files (336). 그에 부가하여, MMR 사용자(110)가 문서를 작성하고 있을 때(예를 들어, 멀티미디어 클립을 종이 문서에 첨부하고 있을 때), MM 클립 브라우저/편집기 모듈(328)은 이 기능을 위한 지원 도구이다. In addition thereto, MMR user 110 when you are writing a document (for example, when the attached multimedia clips on paper), MM clips browser / editor module 328 is a support tool for this function . MM 클립 브라우저/편집기 모듈(328)은 멀티미디어가 캡처되었을 즈음에 인쇄되는 문서로부터 파싱된 정보 등의 메타데이터를 보여주는 애플리케이션이다. MM clips browser / editor module 328 is an application that shows the metadata, such as parsed from documents that have been printed on the occasion of the capture of multimedia information.

MM에 대한 프린터 드라이버(330)는 MMR 문서를 작성하는 기능을 제공한다. The printer driver for MM 330 provides the ability to author MMR documents. 예를 들어, MMR 사용자(110)는 MM에 대한 프린터 드라이버(330)에 의해 발생된 UI에서 텍스트를 하이라이트하고, 멀티미디어 데이터를 검색하는 것 또는 네트워크(128) 또는 MMR 컴퓨터(112) 상에서 어떤 다른 프로세스를 실행하는 것을 포함하는 동작들을 텍스트에 추가할 수 있다. For example, MMR user 110 is any other process on to highlight text in a UI generated by the printer driver for MM 330, and retrieve multimedia data or network 128 or the MMR computer 112 operations, including those that are running can be added to the text. MM에 대한 프린터 드라이버(330) 및 DVP 인쇄 시스템(332)의 결합이 바코드를 사용하는 대안의 출력 형식을 제공한다. The combination of printer driver 330, and DVP printing system 332, for MM provides an output format of the alternative of using a bar code. 이 형식은 컨텐츠-기반 검색 기술을 꼭 필요로 하지는 않는다. This form is content - it does not need to necessarily based search technology. MM에 대한 프린터 드라이버(330)는 비디오 종이 기술, 즉 비디오 종이(334)를 지원하는 프린터 드라이버이다. The printer driver for MM 330 is a printer driver for supporting the video paper technology, i.e., video paper 334. The MM에 대한 프린터 드라이버(330)는 멀티미디어에 액세스하는 방법으로서 바코드를 포함하는 종이 표시(paper representation)을 생성한다. The printer driver for MM 330 creates a paper display (paper representation) including a bar code as a way to access the multimedia. 이와 반대로, 프린터 드라이버(316)는 멀티미디어에 액세스하는 방법으로서 MMR 기술을 포함하는 종이 표시를 생성한다. On the other hand, printer driver 316 creates a paper representation including the MMR technology as a way to access the multimedia. MM 클립 브라우저/편집기 모듈(328) 및 SD 브라우저(314)의 결합에서 구현되는 저작 기술은 SD 브라우저(312)와 동일한 출력 형식을 생성할 수 있으며, 따라서 컨텐츠-기반 검색에 대한 준비가 된 MMR 문서의 생성을 가능하게 해준다. Authoring technology that is implemented in a combination of MM clips browser / editor module 328 and SD browser 314 can generate the same output format as SD browser 312, and therefore the content - is ready for based search MMR document It enables the generation. DVP 인쇄 시스템(332)은 문서와 연관되어 있는 문서 이벤트 데이터베이스(320) 내의 임의의 데이터를, 명시적인 또는 암시적인 바코드를 갖는 그의 인쇄된 표시와 링크시키는 동작을 수행한다. DVP printing system 332 performs any data in the document event database 320 that is associated with the document, explicit or implicit behavior of the link displayed and printed with his barcode. 암시적인 바코드는 바코드처럼 사용되는 텍스트 피쳐의 패턴을 말한다. Implicit barcode refers to the pattern of text features that are used like a bar code.

비디오 종이(334)는 종이 등의 인쇄가능한 매체상에 오디오-비쥬얼 정보를 제공하는 기술이다. Video paper 334 is audio on a print medium such as paper - a technique for providing visual information. 비디오 종이에서, 바코드는 컴퓨터에 저장되거나 액세스가능한 전자 컨텐츠에 대한 인덱스로서 사용된다. In the video paper, bar codes are used as an index to save it to your computer or an accessible electronic content. 사용자는 바코드를 스캔하고, 텍스트와 관계된 비디오 클립 또는 기타 멀티미디어 컨텐트가 시스템에 의해 출력된다. The user scans the bar code and a video clip or other multimedia content related to the text is output by the system. 오디오 또는 비디오 종이를 인쇄하는 시스템이 있으며, 이들 시스템은 본질적으로 멀티미디어 정보에 대한 종이-기반 인터페이스를 제공한다. And a system for printing audio or video paper, and these systems are essentially a paper on multimedia information-providing-based interface.

네트워크화된 미디어 서버(114)의 MM 파일(336)은 다양한 파일 유형 및 파일 형식 중 임의의 것의 컬렉션을 나타낸다. MM files 336 of the networked media server 114 are representative of any collection of one of a variety of file types and file formats. 예를 들어, MM 파일(336)은 텍스트 소스 파일, 웹 페이지, 오디오 파일, 비디오 파일, 오디오/비디오 파일, 및 이미지 파일(예를 들어, 정지 영상 사진)이다. For example, MM is the file 336 is a text source files, web pages, audio files, video files, audio / video files, and image files (for example, still photos).

도 1b에 기술된 바와 같이, 문서 스캐너(127)는 기존의 인쇄된 문서를 MMR-준비 문서로 변환하는 데 사용된다. As described in Figure 1b, the document scanner 127 is used in the conversion of existing printed documents into MMR- ready document. 그렇지만, 계속하여 도 3을 참조하면, 문서 스캐너(127)는 문서 지문 정합 모듈(226')의 피쳐 추출 동작을 스캔되는 문서의 모든 페이지에 적용함으로써 기존의 문서를 MMR-지원하도록 하는 데 사용된다. However, when continuing reference to Figure 3, the document scanner 127 is used to support an existing document MMR- by applying to all pages of the document being scanned a feature extraction operation of the document fingerprint matching module 226 ' . 그 다음에, PD 인덱스(322)는 스캐닝 및 피쳐 추출 동작의 결과로 채워지고, 따라서 스캔된 문서의 전자적 표시가 문서 이벤트 데이터베이스(320)에 저장된다. Subsequently, PD index 322 is populated with the results of the scanning and feature extraction operation, and thus the electronic representation of the scanned document is stored in the document event database 320. 이후, PD 인덱스(322) 내의 정보는 MMR 문서를 작성하는 데 사용될 수 있다. Then, the information in the PD index 322 can be used to author MMR documents.

계속하여 도 3을 참조하여, MMR 컴퓨터(112)의 소프트웨어 기능이 MMR 컴퓨터(112)에만 한정되지 않는다는 것에 유의한다. With continuing reference to Figure 3, note that the software functions of MMR computer 112 is not limited to MMR computer 112; 다른 대안으로서, 도 3에 도시된 소프트웨어 기능은 임의의 사용자-정의된 구성으로 MMR 시스템(100b)의 MMR 컴퓨터(112), 네트워크화된 미디어 서버(114), 서비스 제공자 서버(122) 및 캡처 장치(106) 간에 분산될 수 있다. Alternatively, a software function, any of the user shown in Fig. 3 - MMR computer 112, networked media server 114 of MMR system (100b) with a defined configuration, the service provider server 122 and capture device ( 106) may be distributed between. 예를 들어, 소스 파일(310), SD 브라우저(312), SD 브라우저(314), 프린터 드라이버(316), PD 캡처 모듈(318), 문서 이벤트 데이터베이스(320), PD 인덱스(322), 이벤트 캡처 모듈(324), 문서 파서 모듈(326), MM 클립 브라우저/편집기 모듈(328), MM에 대한 프린터 드라이버(330), 및 DVP 인쇄 시스템(332)는 전적으로 캡처 장치(106) 내에 존재할 수 있고, 그에 따라 캡처 장치(106)에 향상된 기능을 제공할 수 있다. For example, the source file (310), SD browser (312), SD browser 314, capturing the printer driver (316), PD capture module 318, document event database (320), PD index 322, event may be present in a module 324, document parser module (326), MM clips browser / editor module 328, printer driver 330, and DVP printing system 332, it is entirely the capture device 106 to the MM, Accordingly, it is possible to provide enhanced functionality to capture device 106.

MMR 소프트웨어 모음 MMR software suite

도 4는 본 발명의 일 실시예에 따른 MMR 소프트웨어 모음(222)에 포함되어 있는 일련의 소프트웨어 컴포넌트를 나타낸 것이다. Figure 4 illustrates a set of software components included in MMR software suite 222 in accordance with one embodiment of the present invention. MMR 소프트웨어 모음(222)의 전부 또는 그 일부가 MMR 컴퓨터(112), 캡처 장치(106), 네트워크화된 미디어 서버(114) 및 기타 서버에 포함되어 있을 수 있다는 것을 잘 알 것이다. MMR software suite that all or part of the (222) can be included in the MMR computer 112, the capture device 106, the networked media server 114 and other servers will know well. 그에 부가하여, MMR 소프트웨어 모음(222)의 다른 실시예들은 도시된 컴포넌트들 중의 하나로부터 그 전부까지 임의의 수의 컴포넌트를 가질 수 있다. In addition, other embodiments of MMR software suite 222 may have any number of components to the whole from one of the illustrated components. 이 예의 MMR 소프트웨어 모음(222)은, 텍스트 컨텐츠-기반 검색 컴포넌트(412), 이미지 컨텐츠-기반 검색 컴포넌트(414), 및 스테가노그래피 수정 컴포넌트(steganographic modification component)(416)를 포함하는 멀티미디어 주석 첨부 소프트웨어(410), 종이 판독 이력 로그(paper reading history log)(418), 온라인 판독 이력 로그(420), 협동적 문서 검토 컴포넌트(collaborative document review component)(422), 실시간 통지 컴포넌트(424), 멀티미디어 검색 컴포넌트(426), 바탕화면 비디오 리마인더 컴포넌트(desktop video reminder component)(428), 웹 페이지 리마인더 컴포넌트(430), 물리적 이력 로그(432), 완성된 양식 검토자 컴포넌트(completed form reviewer component)(434), 시간 수송 컴포넌트(time transportation component)(436), 위치 인식 컴포넌트(location awareness component)(438), PC 저작 컴포넌트(440), 문서 저작 컴포넌트( In this example, MMR software suite 222 is a text content-based retrieval component 412, an image content-based retrieval component 414, and a steganographic modification component (steganographic modification component) accompanying multimedia tin containing 416 software 410, paper reading history log (paper reading history log) (418), online reading history log 420, collaborative document review component (collaborative document review component) (422), real-time notification component 424, multimedia search component 426, desktop video reminder component (desktop video reminder component) (428), a web page reminder component 430, a physical history log 432, the completed form reviewer component (completed form reviewer component) (434 ), time transportation component (time transportation component) (436), location-aware components (location awareness component) (438), PC authoring component 440, document authoring component ( 442), 캡처 장치 저작 컴포넌트(444), 무의식적 업로드 컴포넌트(unconscious upload component)(446), 문서 버전 검색 컴포넌트(448), PC 문서 메타데이터 컴포넌트(450), 캡처 장치 UI 컴포넌트(452) 및 도메인-관련 컴포넌트(454)를 포함한다. 442), the capture device authoring component 444, unknowingly upload component (unconscious upload component) (446), the document version retrieval component (448), PC document metadata component 450 and capture device UI component 452 and a domain - and a specific component 454.

한 특정의 실시예에 따르면, 멀티미디어 주석 첨부 소프트웨어(410)는 문서 이벤트 데이터베이스(320)의 구성과 함께 MMR 시스템(100b)의 기본적인 기술을 형성한다. According to one particular embodiment, the multimedia annotation software 410 to form the basic technologies of MMR system (100b) with the structure of the document event database 320. 보다 구체적으로는, 멀티미디어 주석 첨부 소프트웨어(410)는 종이 문서에 대한 멀티미디어 주석 첨부를 관리하기 위한 것이다. More specifically, multimedia annotation software 410 is for managing the multimedia annotation for paper documents. 예를 들어, MMR 사용자(110)는 캡처 장치(106)를 종이 문서의 임의의 일부분으로 향하게 하고 이어서 그 일부분에 주석을 추가하기 위해 캡처 장치(106)의 적어도 하나의 캡처 메커니즘(230)을 사용한다. For example, MMR user 110 points capture device 106 to use at least one of the capture mechanisms 230 of capture device 106 is directed to any portion of a paper document and then to add comments to the portion thereof do. 특정의 예에서, 변호사는 계약의 일부분에 관한 메모를 받아 적게 한다(오디오 파일을 생성한다). In a specific example, the lawyer should take a few notes on the part of the contract (to create an audio file). 멀티미디어 데이터(오디오 파일)이 자동적으로 문서의 원래의 전자 버전에 첨부된다. The multimedia data (audio file) is automatically appended to the original electronic version of the document. 그 문서의 차후의 인쇄 출력물은 선택에 따라서는 그 주석이 존재한다는 표시를 포함한다. In accordance with the subsequent print output is selected in the document includes an indication that the tin is present.

텍스트 컨텐츠-기반 검색 컴포넌트(412)는 텍스트로부터 컨텐츠-기반 정보를 검색하는 소프트웨어 애플리케이션이다. The text content-based retrieval component 412 content from the text - is a software application that searches based information. 예를 들어, 텍스트 컨텐츠-기반 검색 컴포넌트(412)를 사용함으로써, 텍스트 패치로부터 컨텐츠가 검색되거나, 원래의 문서 및 문서 내의 일부분이 식별되거나, 그 패치에 링크되어 있는 다른 정보가 식별된다. For example, the text content-based retrieval by using the component 412, the content retrieval or from a patch of text, a portion in the original document and the document identification, or other information linked to that patch is identified. 텍스트 컨텐츠-기반 검색 컴포넌트(412)는 OCR-기반 기법을 이용할 수 있다. The text content-based retrieval component 412 can utilize the OCR- based techniques. 다른 대안으로서, 텍스트 동작으로부터 컨텐츠-기반 검색을 수행하는 비OCR-기반 기법은 텍스트 패치에 워드 길이를 2차원 배열하는 것을 포함한다. Alternatively, the operation content from the text-based techniques for performing non OCR- based search involves the two-dimensional array, the word length of the patch of text. 텍스트 컨텐츠-기반 검색 컴포넌트(412)의 일례는, 피쳐들이 추출된 문서 및 문서 내의 일부분을 식별하기 위해, 텍스트의 일부의 이미지로부터 추출되는 수평 및 수직 피쳐를 결합하는 알고리즘이다. The text content-based retrieval of an example component 412, an algorithm that combines horizontal and vertical features that are extracted from an image of the text to identify a part in the feature that the document and the document extraction. 수평 및 수직 피쳐는 직렬로, 병렬로, 또는 다른 방식 으로 동시에 사용될 수 있다. Horizontal and vertical features can be used together in series, in parallel, or in other ways. 고속 구현 및 노이즈의 존재 시의 안정성(robustness)을 제공하는 이러한 비OCR-기반 피쳐 세트가 사용된다. These non OCR- based feature set that provides stability (robustness) in the presence of a high-speed implementation and noise is used.

이미지 컨텐츠-기반 검색 컴포넌트(414)는 이미지로부터 컨텐츠-기반 정보를 검색하는 소프트웨어 애플리케이션이다. Image content-based retrieval component 414 content from an image - a software application that searches based information. 이미지 컨텐츠-기반 검색 컴포넌트(414)는 가능한 이미지 정합 및 연관된 신뢰 수준(level of confidence)의 리스트를 발생하기 위해 캡처된 데이터와 데이터베이스(320) 내의 이미지 간의 이미지 비교를 수행한다. Image content-based retrieval component 414 performs image comparison between the images and the associated matching images in the confidence level (level of confidence) the data with a database (320) to generate a list of the capture. 그에 부가하여, 각각의 이미지 정합은 연관된 데이터 또는 사용자 입력에 응답하여 수행되는 동작들을 가질 수 있다. In addition thereto, each image match may have operations performed in response to the associated data or user input. 일례에서, 이미지 컨텐츠-기반 검색 컴포넌트(414)는 이미지를 동일한 피쳐 배열을 갖는 이미지에 대한 이미지 데이터베이스에 질의하는 데 사용될 수 있는 벡터 표시로 변환함으로써, 예를 들어, 래스터 이미지(예를 들어, 맵)에 기초하여 컨텐츠를 검색한다. In one example, the image content-based retrieval component 414 by converting a vector representation that can be used to query an image database for images with the same feature array images, for example, raster images (e.g., maps, ) to retrieve content based on. 대안의 실시예는 데이터베이스에서 정합하는 이미지를 탐색하기 위해 이미지의 컬러 컨텐츠 또는 이미지 내의 객체들의 기하학적 배열을 사용한다. Alternative embodiments use the geometric arrangement of objects within an image or color content of the image in order to search the image matching from the database.

스테가노그래피 수정 컴포넌트(416)는 인쇄에 앞서 스테가노그래피 수정을 수행하는 소프트웨어 애플리케이션이다. Steganographic modification component 416 is a software application that performs the above modified steganography for printing. MMR 애플리케이션을 더 양호하게 인에이블시키기 위해, 텍스트 및 이미지가 인쇄되기 이전에, 디지털 정보가 텍스트 및 이미지에 추가된다. In order to enable the application to better the MMR, before the text and images are printed, the digital information is added to the text and images. 대안의 실시예에서, 스테가노그래피 수정 컴포넌트(416)는 1) 텍스트, 오디오, 또는 비디오 정보 등의 원래의 기본 컨텐츠, 2) 텍스트, 오디오, 비디오, 애플릿, 하이퍼텍스트 링크, 기타 등등의 임의의 형태의 추가 컨텐츠를 포함하는 MMR 문서를 발생하고 저장한다. In an alternate embodiment, the steganographic modification component 416 is: 1) any of text, audio, or the original primary content, 2) text, audio, video, applets, hypertext links, such as video information, and the like It generates an MMR document that includes the additional content in the form and stored. 스테가노그래피 수정은 컬러 또는 그레이 스케일 이미지에 워터마크를 임베딩하는 것, 문서의 배경에 도트 패턴을 인쇄하는 것, 또는 디지털 정보를 인코딩하기 위해 인쇄된 문자의 윤곽선을 미묘하게 수정하는 것(subtle modification)을 포함할 수 있다. Steganographic modification is to slightly modify the outline color or to embed a watermark in a grayscale image, printing a dot pattern on a background of a document, or characters printed to encode digital information (subtle modification ) can include.

종이 판독 이력 로그(418)는 종이 문서의 판독 이력 로그이다. Paper reading history log 418 is the reading history log of paper documents. 종이 판독 이력 로그(418)는, 예를 들어, 문서 이벤트 데이터베이스(320)에 존재한다. Paper reading history log 418 may be, for example, in document event database 320. 종이 판독 이력 로그(418)는 Ricoh Innovations에 의해 개발된 비디오로부터의 문서 식별 기술(document identification-from-video technology)에 기초하며, 이는 MMR 사용자(110)에 의해 판독된 문서의 이력을 생성하는 데 사용된다. Paper reading history log 418 is based on a document identification technology from a video (document identification-from-video technology) developed by Ricoh Innovations, which to produce a history of the documents read by MMR user 110 It is used. 종이 판독 이력 로그(418)는, 예를 들어, MMR 사용자(110)에게 판독된 문서 및/또는 임의의 연관된 이벤트를 잊지 않도록 알려주는(remind) 데 유용하다. Paper reading history log 418 may be, for example, it is useful to MMR user 110 to remind the article and / or any associated event of a read to indicate the (remind).

온라인 판독 이력 로그(420)는 온라인 문서의 판독 이력 로그이다. Online reading history log 420 is the reading history log of online documents. 온라인 판독 이력 로그(420)는 운영 체제 이벤트의 분석에 기초하며, 예를 들어, 문서 이벤트 데이터베이스(320)에 존재한다. Online reading history log 420 is based on an analysis of the operating system event, for example, in document event database 320. 온라인 판독 이력 로그(420)는 MMR 사용자(110)에 의해 판독된 및 그의 일부분이 판독된 온라인 문서들의 기록이다. Online reading history log 420 is a record of the online documents, and the read portion thereof read by MMR user 110. 온라인 판독 이력 로그(420)에서의 엔트리는, 각각의 페이지의 하단에 메모를 제공하는 것 또는 각각의 단락을 판독하는 데 소비된 시간량에 기초하는 서로 다른 컬러로 텍스트를 하이라이트하는 것 등의, 많은 방식으로 임의의 차후의 인쇄 출력물 상으로 인쇄될 수 있다. Such as the entry of the online reading history log 420, to each other to highlight text in a different color, which is to provide a note at the bottom of each page or on the basis of the amount of time spent reading each paragraph, in a number of ways it can be printed onto the print output of an arbitrary later. 그에 부가하여, 멀티미디어 주석 첨부 소프트웨어(410)는 이 데이터를 PD 인덱스(322)에 인덱싱할 수 있다. In addition, multimedia annotation software 410 may index this data in PD index 322. 선택에 따라서는, 온라인 판독 이력 로그(420)는, MMR 컴퓨터(112)를 모니터링하는 얼굴 검출 시스템 등의 장치들을 갖추고 있는 MMR 컴퓨터(112)의 도움을 받을 수 있다. Thus Optionally, online reading history log 420 may be able to help in the MMR computer MMR computer 112 equipped with a device, such as a face detection system to monitor 112.

협동적 문서 검토 컴포넌트(collaborative document review component)(422)는, 동일한 종이 문서의 서로 다른 버전의 2명 이상의 판독자가 그의 캡처 장치(106)를 문서의 임의의 일부분으로 향하게 함으로써 다른 판독자들에 의해 적용되는 코멘트를 검토할 수 있게 해주는 소프트웨어 애플리케이션이다. Collaborative document review component (collaborative document review component) (422) is applied by other reader by, self-same paper document different versions more than one reading of the facing their capture device 106 at any section of the document which is a software application that allows you to review the comments. 예를 들어, 주석은 문서 섬네일의 상단에 오버레이(overlay)로서 캡처 장치(106) 상에 디스플레이될 수 있다. For example, as an overlay (overlay) on top of a document thumbnail comments can be displayed on the capture device 106. 협동적 문서 검토 컴포넌트(422)는 임의의 유형의 기존의 협동 소프트웨어로 구현되거나 다른 방식으로 그와 협력할 수 있다. Collaborative document review component 422 is implemented in cooperation with existing software of any type or can cooperate with him in a different way.

실시간 통지 컴포넌트(424)는 판독되고 있는 문서의 실시간 통지를 수행하는 소프트웨어 애플리케이션이다. Real-time notification component 424 is a software application that performs a real-time notification of a document being read. 예를 들어, MMR 사용자(110)가 문서를 판독하고 있는 동안에, 그의 판독 자취(reading trace)가 블로그 또는 온라인 게시판 상에 게시된다. For example, MMR user 110 while reading the article, the traces of his reading (reading trace) is posted on a blog or an online bulletin board. 그 결과, 동일한 주제에 관심이 있는 다른 사람들이 잠깐 들러서 그 문서에 관하여 이야기를 할 수 있다. As a result, other people who are interested in the same topic may briefly stop by to talk about that document.

멀티미디어 검색 컴포넌트(426)는 임의적인 종이 문서로부터 멀티미디어를 검색하는 소프트웨어 애플리케이션이다. Multimedia retrieval component 426 is a software application that retrieves multimedia from an arbitrary paper document. 예를 들어, MMR 사용자(110)는, 캡처 장치(106)를 문서로 향하게 함으로써, 임의적인 종이 문서가 MMR 사용자(110)의 책상에 존재한 동안에 일어난 모든 대화를 검색할 수 있다. For example, MMR user 110 may retrieve all the conversations that took place while an arbitrary paper document present on the desk of MMR user 110 by pointing capture device 106 at the document. 이것은 멀티미디어 데이터를 캡처하는 사무실 포털(120)(또는 다른 적당한 메커니즘)이 MMR 사용자(110)의 사무실에 존재하는 것으로 가정한다. It is assumed that office portal 120 captures multimedia data (or other suitable mechanism) is present in the office of MMR user 110.

바탕화면 비디오 리마인더 컴포넌트(desktop video reminder component)(428)는 MMR 컴퓨터(112) 상에서 일어나는 이벤트를 MMR 사용자(110)에게 잊지 않도록 알려주는 소프트웨어 애플리케이션이다. Desktop video reminder component (desktop video reminder component) (428) is a software application do not forget to tell us the events that take place on the MMR computer 112 to the MMR user 110. 예를 들어, 캡처 장치(106)를 문서의 일부분으로 향하게 함으로써, MMR 사용자(110)는 그 일부분이 보여지는 동안에 일어난 MMR 컴퓨터(112)의 바탕화면에서의 변화를 보여주는 비디오 클립을 볼 수 있다. For example, by pointing capture device 106 as part of the document, MMR user 110 may see video clips that shows a change in the desktop of MMR computer 112 that took place during that portion thereof is shown. 그에 부가하여, 바탕화면 비디오 리마인더 컴포넌트(428)는, MMR 컴퓨터(112)의 근방에 존재하는 오디오 등의, MMR 컴퓨터(112)에 의해 녹화된 다른 멀티미디어를 검색하는 데 사용될 수 있다. In addition, the desktop video reminder component 428 may be used to, such as audio that is present in the vicinity of MMR computer 112, retrieve other multimedia recorded by MMR computer 112;

웹 페이지 리마인더 컴포넌트(430)는 그의 MMR 컴퓨터(112) 상에 보여지는 웹 페이지들을 MMR 사용자(110)에게 잊지 않도록 알려주는 소프트웨어 애플리케이션이다. Web page reminder component 430 is a software application telling them not to forget the web pages viewed on its MMR computer 112 to the MMR user 110. 예를 들어, 종이 문서 상에서 캡처 장치(106)를 패닝함으로써, MMR 사용자(110)는 문서의 대응하는 일부분이 MMR 컴퓨터(112)의 바탕화면 상에 나타내어진 동안에 보여지는 웹 페이지들의 자취를 볼 수 있다. For example, by panning capture device 106 over a paper document, MMR user 110 may see a trace of the web pages viewed while the corresponding portion of the article represented on the desktop of MMR computer 112; have. 웹 페이지들은 SD 브라우저(312, 314) 등의 브라우저에 또는 캡처 장치(106)의 디스플레이(212) 상에 나타내어질 수 있다. Web pages can be presented on a display 212 of the SD browser 312, 314 on the browser, or capture, such as device 106. 다른 대안으로서, 웹 페이지들은 캡처 장치(106)의 디스플레이(212) 상에 또는 MMR 컴퓨터(112) 상에 미가공 URL(raw URL)로서 제공된다. Alternatively, the web pages are presented as raw URL (raw URL) on the display 212 or the MMR computer 112 on the capture device 106.

물리적 이력 로그(432)는, 예를 들어, 문서 이벤트 데이터베이스(320)에 존재한다. Physical history log 432 may be, for example, in document event database 320. 물리적 이력 로그(432)는 종이 문서들의 물리적 이력 로그이다. Physical history log 432 is the physical history log of paper documents. 예를 들어, MMR 사용자(110)는 그의 캡처 장치(106)를 종이 문서로 향하게 하고, 물리적 이력 로그(432)에 저장된 정보를 사용함으로써, 과거의 어떤 시간에 관심의 문서에 인접해 있던 다른 문서들이 결정된다. For example, MMR user 110 by pointing their capture device 106 at a paper document, and use the information stored in physical history log 432, other that adjacent to the document of interest at some time in the past document It is determined. 이 동작은, 예를 들어, RFID와 같은 추적 시스템에 의해 용이하게 된다. This operation is, for example, is facilitated by the tracking system, such as RFID. 이 경우에, 캡처 장치(106)는 RFID 판독기(244)를 포함한다. In this case, capture device 106 includes an RFID reader 244.

완성된 양식 검토자 컴포넌트(completed form reviewer component)(434)는 양식(form)을 완성하는 데 사용되는 이전에 획득된 정보를 검색하는 소프트웨어 애플리케이션이다. The completed form reviewer component (completed form reviewer component) (434) is a software application that retrieves information obtained previously used to complete the form (form). 예를 들어, MMR 사용자(110)는 그의 캡처 장치(106)를 비어있는 양식(예를 들어, 웹 사이트로부터 인쇄된 의료 보험금 청구서 양식(medical claim form))으로 향하게 하고 이전에 입력된 정보의 이력을 제공받는다. For example, MMR user 110 at a blank form for their capture device 106 (e.g., a medical insurance money printed from a website bill form (medical claim form)) to the facing, and a history of previously entered information It is provided for. 그 후에, 이 양식은 이 완성된 양식 검토자 컴포넌트(434)에 의해 자동적으로 이 이전에 입력된 정보로 채워진다. Thereafter, the form is filled with the information entered on the previous automatically by a completed form reviewer component 434.

시간 수송 컴포넌트(time transportation component)(436)는 문서의 과거 및 장래의 버전에 대한 소스 파일을 검색하하고 그 버전들과 연관되어 있는 이벤트의 리스트를 검색하여 디스플레이하는 소프트웨어 애플리케이션이다. Time transportation component (time transportation component) (436) is a software application that displays to search for the source files for the past and future versions of the documents, and search the list of events that are associated with that version. 이 동작은 손에 있는 인쇄된 문서가 그와 연관된 가장 중요한 외부 이벤트(예를 들어, 토론 또는 회의)보다 수개월 이후에 생성된 문서의 버전으로부터 생성될 수 있다는 사실을 보상한다. This action compensates for the fact that the printed document in hand the most important external events associated with it (for example, discussions or meetings) than can be generated from a version of the document created after a few months.

위치 인식 컴포넌트(location awareness component)(438)는 위치-인식 종이 문서(location-aware paper document)를 관리하는 소프트웨어 애플리케이션이다. Location-aware components (location awareness component) (438) are located - is a software application for managing paper documents aware (location-aware paper document). 위치-인식 종이 문서의 관리는, 예를 들어, RFID와 같은 추적 시스템에 의해 용이하게 된다. Location-aware control of the paper document, for example, is facilitated by the tracking system, such as RFID. 예를 들어, 캡처 장치(106)는 하루 종일 MMR 사용자(110)의 지리적 위치의 자취를 캡처하고 문서 또는 문서를 포함하는 폴더에 첨부된 RFID 태그를 스캔 한다. For example, the capture device 106 scans the RFID tags attached to the folder to capture a trace of the geographic location of all MMR user 110 a day and includes the document or documents. RFID 스캐닝 동작은 그의 범위 내에 있는 임의의 RFID 태그를 검출하기 위해 캡처 장치(106)의 RFID 판독기(244)에 의해 수행된다. RFID scanning operation is performed by an RFID reader 244 of capture device 106, to detect any RFID tags within its range. MMR 사용자(110)의 지리적 위치는, 지리적 위치 확인 메커니즘(142)과 함께, 셀룰러 기반구조(132) 내의 각각의 셀 타워의 식별 번호에 의해 또는, 다른 대안으로서, 캡처 장치(106)의 GPS 장치(242)를 통해 추적될 수 있다. GPS device of the MMR user 110. The geographical location, the geographical location mechanism with 142, cellular infrastructure each by the identification number of the cell tower, or, alternatively, the capture device 106 in 132 of It may be tracked through the section 242. 다른 대안으로서, 문서 식별은 "항상 켜져 있는 비디오(always-on video)" 또는 캡처 장치(106)의 비디오 카메라(232)로 달성될 수 있다. Alternatively, document identification may be accomplished with a video camera 232 of the "video (always-on video) that is always on," or a capture device 106. The 이 위치 데이터는 "지리적으로 참조되는(geo-referenced)" 문서를 제공하며, 이는 하루 종일 문서가 어디에 위치하고 있는지를 보여주는 맵-기반 인터페이스(map-based interface)를 가능하게 해준다. The location data provides a "(geo-referenced) that are geographically referenced" document, which is a map showing that the document is located, where the day-based interface allows the (map-based interface). 응용은 먼 곳에 있는 고객을 방문할 시에 파일을 들고 가는 변호사이다. The application is going to a lawyer holding a file when you visit a customer that far away. 대안의 실시예에서, 문서(118)는 문서가 이동될 때를 감지할 수 있고 또 어떤 기본적인 얼굴 검출 동작을 수행할 수 있는 그에 첨부된 감지 메커니즘을 포함한다. In an alternate embodiment, the document 118 includes a sensing mechanism attached thereto that can sense when the document is to be moved can also perform some basic face detection operation. 이 감지 기능은 종이 문서에 첨부되어 있는 일련의 자이로스코프 또는 유사한 장치를 통한다. This detection is via a series of gyroscopes or similar device attached to a paper document. 위치 정보에 기초하여, MMR 시스템(100b)은 언제 소유자의 셀룰러 전화로 전화를 걸처 그에게 문서가 이동하고 있다고 말할지를 알려준다. Based on the location information, MMR system (100b) tells the malhalji that the document is moved to its geolcheo calls to cellular phones when the owner. 셀룰러 전화는 그 문서를 그의 가상의 서류 가방에 추가할 수 있다. Cellular phones can be added to the document in his virtual briefcase. 그에 부가하여, 이것은 "눈에 보이지 않는(invisible)" 바코드의 개념이며, 이는 캡쳐 장치(106)의 비디오 카메라(232) 또는 정지 영상 카메라(234)에 보이지만 사람에게는 보이지 않거나 아주 희미한 기계-판독가능 마킹이다. In addition, this "invisible (invisible)" is a concept of bar code, which does not look for but to the video camera 232 or still camera 234 of capture device 106 men very faint machine-readable a marking. 캡처 장치(106)에서 디코드될 수 있는 다양한 잉크 및 스테가노그래피 또는 인쇄된-이미지 워터마킹 기법이 위치를 결정하기 위해 고려될 수 있다. A capture device 106 that can be decoded by the various ink and steganography or printing may be taken into account to determine the position image watermarking scheme.

PC 저작 컴포넌트(440)는 MMR 컴퓨터(112) 등의 PC 상에서 저작 동작을 수행하는 소프트웨어 애플리케이션이다. The PC authoring component 440 is a software application that performs an authoring operation on a PC, such as MMR computer 112; PC 저작 컴포넌트(440)는 마이크로소프트 워드, 파워포인트, 및 웹 페이지 저작 패키지 등의 기존의 저작 애플리케이션에 대한 플러그-인으로서 제공된다. The PC authoring component 440 is Microsoft Word, PowerPoint, and plug-ins for existing authoring applications, such as web page authoring packages - are provided as a. PC 저작 컴포넌트(440)는 MMR 사용자(110)가 그의 MMR 컴퓨터(112)로부터 이벤트로의 또는 그의 환경에서의 이벤트로의 링크를 갖는 종이 문서를 준비할 수 있게 해주거나, 인쇄된 문서(118)가 그것이 생성된 워드 파일로 자동적으로 링크되는 것과 같이, 링크를 갖는 종이 문서가 자동적으로 발생될 수 있게 해주거나, MMR 사용자(110)가 워드 파일을 검색하고 이것을 어떤 다른 사람에게 제공할 수 있게 해준다. The PC authoring component 440, the MMR user 110 is, or which enables to prepare paper documents that have links to events from his MMR computer to from 112, the event or its environment, a printed document (118) is it as being automatically linked to the generated word file, or which enables paper documents that have links can be generated automatically, MMR user 110 to retrieve the word file and allows you to offer it to someone else . 링크를 갖는 종이 문서는 지금까지 MMR 문서라고 하였다. Paper documents that have called MMR was linked documents so far. MMR 문서에 대한 더 많은 상세에 대해 도 5를 참조하여 더 기술한다. Referring to FIG. 5 for more detail on an MMR document will be further described.

문서 저작 컴포넌트(442)는 기존의 문서에 대한 저작 동작을 수행하는 소프트웨어 애플리케이션이다. The document authoring component 442 is a software application that performs an authoring operation for existing documents. 문서 저작 컴포넌트(442)는, 예를 들어, 개인 에디션(personal edition)으로서 또는 엔터프라이즈 에디션(enterprise edition)중 하나로 구현될 수 있다. The document authoring component 442 is, for example, may be implemented as one of the personal edition (personal edition) or an Enterprise Edition (enterprise edition). 개인 에디션에서, MMR 사용자(110)는 문서를 스캔하고 이들을 MMR 문서 데이터베이스(예를 들어, 문서 이벤트 데이터베이스(320))에 추가한다. In the personal edition, MMR user 110 scans a document (for example, the document event database 320) MMR document database and add them to. 엔터프라이즈 에디션에서, 게시자(또는 제3자)는 원래의 전자 소스(예를 들어, 전자 교정쇄(electronic galley proof))로부터 MMR 문서를 생성한다. In the Enterprise Edition, the publisher (or any third party) is the original electronic source (eg, electronic proof (electronic galley proof)) creates MMR documents from. 이 기능은 고급 게시 패키지(예를 들어, 아도브 리더)에 내장될 수 있으며 다른 개체에 의해 제공되는 백엔드 서비스(backend service)와 링크될 수 있다. This functionality can be built into the advanced publishing package (for example, Adobe Reader) and can be linked to back-end services (backend service) provided by other objects.

캡처 장치 저작 컴포넌트(444)는 캡처 장치(106) 상에서 직접 저작 동작을 수행하는 소프트웨어 애플리케이션이다. The capture device authoring component 444 is a software application that performs an authoring operation directly on capture device 106. 캡처 장치 저작 컴포넌트(444)를 사용하여, MMR 사용자(110)는 그의 손에 있는 종이 문서로부터 주요 구문을 추출하고 임시적인 MMR 문서를 생성하기 위해 동작 중에 캡처된 부가적인 컨텐츠와 함께 주요 구문을 저장한다. Using the capture device authoring component (444), MMR user 110 stores the key phrases along with additional content captured during the operation in order to extract the key phrases from the paper documents in his hand and generates a temporary MMR document do. 그에 부가하여, 캡처 장치 저작 컴포넌트(444)를 사용함으로써, MMR 사용자(110)는 그의 MMR 컴퓨터(112)로 복귀할 수 있고 그가 생성한 임시적인 MMR 문서를 파워포인트 등의 기존의 문서 애플리케이션으로 다운로드할 수 있으며, 이어서 이를 편집하여 MMR 문서의 최종 버전으로 또는 다른 애플리케이션에 대한 다른 표준 유형의 문서로 만든다. By addition, the use of capture device authoring component 444 thereto, MMR user 110 may return to his MMR computer 112 and download the temporary MMR document that he created with an existing document application, such as PowerPoint you can then edit them to produce the documents or other standard types for different applications in the final version of the MMR document. 그렇게 함에 있어서, 이미지 및 텍스트가, 파워포인트 문서의 페이지들과 같은, 기존의 문서의 페이지들에 자동적으로 삽입된다. In doing so, images and text, and is automatically inserted in, the pages of the existing document, such as the pages of a PowerPoint document.

무의식적 업로드 컴포넌트(unconscious upload component)(446)는 인쇄된 문서들을 캡처 장치(106)로 무의식적으로(자동적으로, 사용자 간섭 없이) 업로드하는 소프트웨어 애플리케이션이다. Unconscious upload component (unconscious upload component) (446) is a printed document unconsciously by the capture device 106 is a software application that uploads (automatically, without user intervention). MMR 사용자(110)가 그의 MMR 컴퓨터(112)에 있을 때를 비롯하여 대부분의 시간에, 캡처 장치(106)가 MMR 사용자(110)의 소유이기 때문에, 프린터 드라이버(316)는, 문서를 프린터(116)에 전송하는 것에 부가하여, Wi-Fi 기술(134) 또는 블루투스 기술(136)을 조합하여 그 동일한 문서를 캡처 장치(106)의 무선 통신 링크(218)를 통해, 또는 캡처 장치(106)가 MMR 컴퓨터(112)에 연결되거나 그와 도킹되어 있는 경우 유선 접속에 의해 캡처 장치(106)의 저장 장치(216)에 푸싱할 수도 있다. Since MMR because user 110 at most times, including when it is in his MMR computer 112, the capture device 106 has possession of MMR user 110, printer driver 316, the printer (116 of document ) in addition, Wi-Fi technology 134 or via a wireless communication link 218, or the capture device (106 of a combination of the Bluetooth technology 136, capture the same document, device 106) for transmitting to the MMR connected to the computer 112, or if it is docked and that may be pushed to the storage device 216 of capture device 106 by a wired connection. 이와 같이, MMR 사용자(110)는 문서가 인쇄된 후에 잊지 않고 그 문서를 집어드는데, 그 이유는 그것이 자동적으로 캡처 장치(106)로 업로드되기 때문이다. Thus, because MMR user 110 deuneunde not forget to pick up the document after the document is printed, the reason being it is automatically uploaded to the capture device 106.

문서 버전 검색 컴포넌트(448)는 주어진 소스 파일(310)의 과거 및 장래의 버전을 검색하는 소프트웨어 애플리케이션이다. Document version retrieval component 448 is a software application that retrieves past and future versions of a given source file 310. 예를 들어, MMR 사용자(110)는 캡처 장치(106)를 인쇄된 문서로 향하게 하고, 이어서 문서 버전 검색 컴포넌트(448)는 현재의 소스 파일(310)(예를 들어, 워드 파일) 및 소스 파일(310)의 다른 과거 및 장래의 버전의 위치를 찾는다. For example, MMR user 110 is directed to a print capture device 106 at a document and then the document version retrieval component 448 is a current source file 310 (e.g., a Word file) and the source file Find the location of the different versions of the past and the future of the 310. 한 특정의 실시예에서, 이 동작은 소스 파일(310)이 복사 및 이동되는 위치들을 추적하는 Windows 파일 추적 소프트웨어를 사용한다. In one particular embodiment, this operation uses Windows file tracking software that tracks the position at which source files 310 are copied and moved. 다른 이러한 파일 추적 소프트웨어도 역시 여기에서 사용될 수 있다. These files also other tracking software can be used here. 예를 들어, 구글 데스크톱 검색(Google Desktop Search) 또는 마이크로소프트 윈도즈 검색 도우미(Microsoft Windows Search Companion)는 소스 파일(310)로부터 선택된 단어들로 작성된 질의로 파일의 현재 버전을 찾아낼 수 있다. For example, Google Desktop Search (Google Desktop Search), or Microsoft Windows Search Assistant (Microsoft Windows Search Companion) can find the current version of the file in question was created with the selected word from a source file (310).

PC 문서 메타데이터 컴포넌트(450)는 문서의 메타데이터를 검색하는 소프트웨어 애플리케이션이다. PC document metadata component 450 is a software application that retrieves metadata of a document. 예를 들어, MMR 사용자(110)는 캡처 장치(106)를 인쇄된 문서로 향하게 하고, PC 문서 메타데이터 컴포넌트(450)는 누가 문서를 인쇄했는지, 언제 문서가 인쇄되었는지, 어디서 문서가 인쇄되었는지, 및 인쇄 시에 주어진 소스 파일(310)에 대한 파일 경로를 결정한다. For that example, MMR user 110 is directed to a print capture device 106 at a document, PC document metadata component 450 who has printed the document, and when that document was printed, where the document was printed, and it determines a file path for a given source file 310 at the time of printing.

캡처 장치 UI 컴포넌트(452)는 캡처 장치(106)의 UI의 동작을 관리하는 소프트웨어 애플리케이션으로서, MMR 사용자(110)가 종이 문서와 상호작용할 수 있게 해준다. The capture device UI component 452 is a software application that manages the operation of UI of capture device (106), allows the MMR user 110 to interact with paper documents. 캡처 장치 UI 컴포넌트(452) 및 캡처 장치 UI(224)의 결합은 MMR 사용자(110)가 기존의 문서들로부터 데이터를 판독하고 데이터를 기존의 문서들에 기록하며, 그 문서들과 연관되어 있는 증강 현실을 보고 그와 상호작용하며(즉, 캡처 장치(106)를 통해, MMR 사용자(110)는 문서가 생성될 때 또는 그것이 편집되는 동안에 무슨 일이 일어났는지를 볼 수 있으며), 그의 캡처 장치(106) 상에 디스플레이되는 문서들과 연관되어 있는 증강 현실을 보고 그와 상호작용할 수 있게 해준다. The capture device combination of the UI component 452 and capture device UI (224) is enhanced, which is an MMR user 110 a and read data from existing documents and write data into existing documents, associated with the document, seeing the reality that interacts with (i. e., from a capture device (106), MMR user 110 can see what happened during the time the document was created, or it was edited), his capture devices ( 106) reported the augmented reality associated with documents displayed on it allows to act with the other.

도메인-관련 컴포넌트(454)는 도메인-관련 기능을 관리하는 소프트웨어 애플리케이션이다. Domain-specific component 454 domains - is a software application that manages the related functions. 예를 들어, 음악 애플리케이션에서, 도메인-관련 컴포넌트(454)는, 예를 들어, 캡처 장치(106)의 음성 녹음기(236)를 통해 검출되는 음악을 타이틀, 음악가, 또는 작곡가와 정합시키는 소프트웨어 애플리케이션이다. For example, in a music application, domain-specific component 454 is, for example, a software application for the title, artist, or a composer and matching the music that is detected via the voice recorder 236 of capture device 106 . 이와 같이, 검출된 음악에 관계되어 있는 시트 음악(sheet music) 또는 음악 CD 등의 관심의 항목이 MMR 사용자(110)에게 제공될 수 있다. Thus, the items of interest, such as sheet music that is related to the detected music (music sheet) or a music CD may be presented to the MMR user 110. 이와 유사하게, 도메인-관련 컴포넌트(454)는 비디오 컨텐츠, 비디오 게임, 및 임의의 엔터테인먼트 정보에 대해 유사한 방식으로 동작하도록 구성되어 있다. Similarly, the domain-specific component 454 is configured to operate in a similar manner for video content, video games, and any entertainment information. 장치 관련 컴포넌트(454)는 또한 임의의 매스 미디어 컨텐츠의 전자 버전에 맞게 구성될 수 있다. Device specific component 454 may also be configured for electronic versions of any mass media content.

계속하여 도 3 및 도 4를 참조하여, MMR 소프트웨어 모음(222)의 소프트웨어 컴포넌트가 전체적으로 또는 부분적으로 MMR 시스템(100b)의 하나 이상의 MMR 컴퓨터(112), 네트워크화된 서버(114), 서비스 제공자 서버(122), 및 캡처 장치(106) 상에 존재할 수 있다. Subsequently with reference to Figures 3 and 4, MMR software suite of one or more MMR computers 112, networked server 114, service provider server of a software component (222) in whole or in part an MMR system (100b) ( on 122), and the capture device 106 may be present. 환언하면, MMR 소프트웨어 모음(222)에 의해 수행되는 것 등의 MMR 시스템(100b)의 동작은 임의의 사용자 정의 구성에서 MMR 컴퓨터(112), 네트워크화된 서버(114), 서비스 제공자 서버(122), 와 캡처 장치(106)(또는 시스템(100b)에 포함되어 있는 다른 이러한 처리 환경들) 사이에 분산될 수 있다. In other words, MMR software suite operation would like the MMR system (100b) that is performed by 222 is a server 114 networked MMR computer 112, in any user-defined configuration, the service provider server 122, and it may be distributed between the capture device 106 (or a system (100b) of the other such processing environments included in).

이 개시 내용을 살펴보면 MMR 시스템(100a/100b)의 기본적인 기능이 MMR 소프트웨어 모음(222)의 소프트웨어 컴포넌트들의 어떤 조합으로 수행될 수 있다는 것이 명백할 것이다. Looking at this disclosure will be obvious that the basic function of the MMR system (100a / 100b) can be performed in any combination of the software components of MMR software suite 222. 예를 들어, MMR 시스템(100a/100b)의 일 실시예의 기본적인 기능은 이하의 것들을 포함한다. For example, one embodiment of a basic function of the MMR system (100a / 100b) can include the following:

Figure 112008013455415-pct00001
제1 미디어 부분 및 제2 미디어 부분을 포함하는 MMR 문서를 생성하거나 그에 추가하는 것 A first media portion and a second to create the MMR document that includes two pieces of media, or by adding thereto

Figure 112008013455415-pct00002
제2 미디어 부분에 있는 정보에 액세스하기 위해 MMR 문서의 제1 미디어 부분(예를 들어, 종이 문서)을 사용하는 것 The first media portion of the MMR document to access information in the second media portion to use (e. G., A paper document)

Figure 112008013455415-pct00003
전자적 도메인에서 프로세스를 트리거 또는 시작하기 위해 MMR 문서의 제1 미디어 부분(예를 들어, 종이 문서)을 사용하는 것 The first media portion of the MMR document to trigger or start the process in the electronic domain to use (e. G., A paper document)

Figure 112008013455415-pct00004
제2 미디어 부분을 생성 또는 그에 추가하기 위해 MMR 문서의 제1 미디어 부분(예를 들어, 종이 문서)을 사용하는 것 A second first media portion of the MMR document to create or add the pieces of media, it is to use (e. G., A paper document)

Figure 112008013455415-pct00005
제1 미디어 부분을 생성 또는 그에 추가하기 위해 MMR 문서의 제2 미디어 부분을 사용하는 것 First to add a portion of the media produced or in the use of the second media portion of the MMR document

Figure 112008013455415-pct00006
전자적 도메인 내의 또는 제1 미디어 부분과 관계되어 있는 프로세스를 트리거 또는 시작하기 위해 MMR 문서의 제2 미디어 부분을 사용하는 것. To use a second media portion of the MMR document that is related to a process or a first media portion in the electronic domain, in order to trigger or start.

MMR 문서 MMR document

도 5는 본 발명의 일 실시예에 따른 MMR 문서(500)를 나타낸 도면이다. Figure 5 is a view showing an MMR document 500 in accordance with one embodiment of the present invention. 보다 구체적으로는, 도 5는 인쇄된 문서(118)의 일부분의 표시(502), 동작 또는 제2 미디어(504), 인덱스 또는 핫스폿(506), 및 전체 문서(118)의 전자적 표시(508)를 포함하는 MMR 문서(500)를 나타낸 것이다. More specifically, Figure 5 is an electronic representation (508 of a display of a portion of the printed document 118, 502, the action or second media 504, an index or hotspot 506, and the entire document 118 ) shows an MMR document 500 including. MMR 문서(500)가 통상적으로 문서 이벤트 데이터베이스(320)에 저장되지만, 네트워크(128)에 연결된 캡처 장치 또는 임의의 다른 장치에 저장될 수도 있다. MMR document 500 typically is stored in the document event database 320, but may be stored in the capture device or any other device connected to the network 128. 일 실시예에서, 다수의 MMR 문서가 인쇄된 문서에 대응할 수 있다. In one embodiment, multiple MMR documents may correspond to a printed document. 다른 실시예에서, 단일의 인쇄된 문서에 다수의 핫스폿(506)을 생성하기 위해 도 5에 나타낸 구조가 복제된다. In another embodiment, the structure shown in Figure 5 is replicated to create multiple hotspots 506 in a single printed document. 한 특정의 실시예에서, MMR 문서(500)는 페이지 및 페이지 내에서의 위치를 갖는 표시(502) 및 핫스폿(506)을 포함하고, 제2 미디어(504) 및 전자적 표시(508)는 선택적이고 그 자체로서 점선으로 표시되어 있다. In one particular embodiment, MMR document 500 includes the representation 502 and hotspot 506 with a position on the page and the page, the second media 504 and the electronic representation 508 are optional and may as such is shown as a dotted line. 유의할 점은 제2 미디어(504) 및 전자적 표시(508)가, 원하는 경우, 나중에 MMR 문서가 생성된 후에 추가될 수 있다는 것이다. It should be noted that it can be added to the second media 504 and the electronic representation 508 are, if desired, after the MMR document has been created later. 이 기본적인 실시예는 문서 또는 그 표시에 대응하는 문서에서의 특정의 위치를 찾아내는 데 사용될 수 있다. This basic embodiment can be used to locate a particular position in the document corresponding to the document or its display.

인쇄된 문서(118)의 일부분의 표시(502)는 패턴 정합에 사용가능하고 문서에서의 적어도 하나의 위치를 식별해주는 임의의 형태(이미지, 벡터, 픽셀, 텍스트, 코드, 기타)일 수 있다. Display of a portion of the printed document 118, 502 may be available for pattern matching and any type of identifying at least one location in the document (images, vectors, pixels, text, codes, etc.). 표시(502)이 인쇄된 문서에서의 위치를 일의적으로 식별해주는 것이 더 바람직하다. It is that the representation 502 identifies the location in the printed document to uniquely more preferred. 일 실시예에서, 표시(502)는 도 5에 나타낸 텍스트 지문이다. In one embodiment, the representation 502 is a text fingerprint as shown in FIG. 텍스트 지문(502)은 PD 캡처 모듈(318)을 통해 자동적으로 캡처되고 인쇄 동안에 PD 인덱스(322)에 저장된다. Text fingerprint 502 and stored in PD index 322 during automatically captured and printed via PD capture module 318. 다른 대안으로서, 텍스트 지문(502)은 문서 스캐너(127)의 문서 지문 정합 모듈(226')을 통해 자동적으로 캡처되고 스캔 동작 동안에 PD 인덱스(322)에 저장된다. Alternatively, the text fingerprint 502 is captured automatically and stored in PD index 322 during a scan operation via document fingerprint matching module 226 'of document scanner 127. 표시(502)은 다른 대안으로서 전체 문서, 텍스트 패치, 문서에서의 고유한 인스턴스인 경우 단일 단어, 이미지의 일부분, 고 유의 속성 또는 문서의 정합가능한 부분의 임의의 다른 표시일 수 있다. Display 502 may be an entire document, a patch of text, in the case of a unique instance in the document, a single word, a part of the image, and significant properties, or any other indication of the matching portions of document alternatively.

동작 또는 제2 미디어(504)는 양호하게는 임의의 유형의 디지털 파일 또는 데이터 구조이다. Action or second media 504 is preferably a digital file or data structure of any type. 가장 기본적인 실시예에서의 제2 미디어(504)는 제공될 텍스트 또는 실행될 하나 이상의 명령일 수 있다. The second media 504 in the most basic embodiment may be one or more text or a command to be executed to be provided. 제2 미디어 유형(504)은 보다 통상적으로는 표시(502)에 의해 식별되는 문서의 일부분과 관계되어 있는 텍스트 파일, 오디오 파일, 또는 비디오 파일이다. The second media type 504 more typically is a text file, audio file, or video file that is related to the portion of the document identified by the display 502. 제2 미디어 유형(504)은 데이터 구조 또는 다수의 서로 다른 미디어 유형을 참조하거나 포함하는 파일, 및 동일한 유형의 다수의 파일일 수 있다. The second media type 504 may be a number of files in the file, and the same type, that references or includes a data structure or a number of different media types. 예를 들어, 제2 미디어(504)는 텍스트, 명령, 이미지, PDF 파일, 비디오 파일, 오디오 파일, 애플리케이션 파일(예를 들어, 스프레드쉬트 또는 워드 프로세싱 문서), 기타 등등일 수 있다. For example, the second media 504 can be text, a command, an image, PDF file, a video file, an audio file, an application file (e.g. spreadsheet or word processing document), and the like.

인덱스 또는 핫스폿(506)은 표시(502)와 동작 또는 제2 미디어(504) 사이의 링크이다. Index or hotspot 506 is a link between the representation 502 and the action or second media 504. 핫스폿(506)은 표시(502)와 제2 미디어(504)를 연관시킨다. Thereby the hotspot 506 associates the representation 502 and second media (504). 일 실시예에서, 인덱스 또는 핫스폿(506)은 문서 내에서의 x 및 y 좌표 등의 위치 정보를 포함한다. In one embodiment, the index or hotspot 506 includes position information such as x and y coordinates within the document. 핫스폿(506)은 점, 영역 또는 심지어 전체 문서일 수 있다. Hotspot 506 may be a point, an area or even the entire document. 일 실시예에서, 핫스폿은 표시(502)에 대한 포인터, 제2 미디어(504)에 대한 포인터, 및 문서 내에서의 위치를 갖는 데이터 구조이다. In one embodiment, the hotspot is a data structure having a location in the pointer, and documentation for the pointer, the second media 504 to a display 502. MMR 문서(500)가 다수의 핫스폿(506)을 가질 수 있고 이러한 경우에 데이터 구조가 다수의 표시, 다수의 제2 미디어 파일, 및 인쇄된 문서(118) 내의 다수의 위치 간의 링크를 생성한다는 것을 잘 알 것이다. MMR that the document 500 is a number of a hot spot may have a (506) and such a case a plurality of display data structure to generate a second plurality of media files, and a link between a plurality of locations within the printed document 118 it will be appreciated that.

대안의 실시예에서, MMR 문서(500)는 전체 문서(118)의 전자적 표시(508)을 포함한다. In an alternate embodiment, the MMR document 500 includes an electronic representation 508 of the entire document 118. 이 전자적 표시는 핫스폿(506)의 위치를 결정하는 데 또한 캡처 장치(106) 또는 MMR 컴퓨터(112) 상에 문서를 디스플레이하기 위해 사용자 인터페이스에 의해 사용될 수 있다. The electronic representation can be used by a user interface for displaying the document on the addition, the capture device 106 or the MMR computer 112 to determine the location of the hot spot 506.

MMR 문서(500)의 예시적인 용도는 다음과 같다. An exemplary use of the MMR document 500 is as follows. 텍스트 지문 또는 표시(502)를 분석함으로써, 캡처된 텍스트 프래그먼트(captured text fragment)가 캡처 장치(106)의 문서 지문 정합 모듈(226)을 통해 식별된다. By analyzing text fingerprint or representation 502, a captured text fragment (captured text fragment) is identified via document fingerprint matching module 226 of capture device 106. 예를 들어, MMR 사용자(110)는 그의 캡처 장치(106)의 비디오 카메라(232) 또는 정지 영상 카메라(234)를 인쇄된 문서(118)로 향하게 하고 이미지를 캡처한다. For example, MMR user 110 is directed to a video camera 232 or still camera document 118, the print 234 of their capture device 106 and capture the image. 그 후에, 문서 지문 정합 모듈(226)은 캡처된 이미지에 대해 그의 분석을 수행하여, 연관된 엔트리가 PD 인덱스(322) 내에 존재하는지 여부를 판정한다. Thereafter, it is determined whether or not present in the document fingerprint matching module 226 performs its analysis of the captured image, an associated entry PD index 322. 정합이 발견되는 경우, 핫스폿(506)의 존재가 그의 캡처 장치(106)의 디스플레이(212) 상에서 MMR 사용자(110)에게 하이라이트된다. If a match is found, the existence of the hot spot 506 is highlighted to MMR user 110 on the display 212 of his capture device 106. 예를 들어, 도 5에 나타낸 바와 같이, 단어 또는 어구가 하이라이트된다. For example, as shown in Figure 5, the word or phrase is highlighted. 인쇄된 문서(118) 내의 각각의 핫스폿(506)은, 네트워크화된 미디어 서버(114) 상에 존재하는 MM 파일들(336) 중의 하나 등의, 다른 사용자-정의된 또는 미리 정해진 데이터로의 링크로서 역할한다. Each hot spot 506 is one such, others in the MM file on the networked media server 114 (336) in the printed document 118, - links to a defined or predetermined data, It serves as. PD 인덱스(322)에 저장되어 있는 텍스트 지문 또는 표시(502)에의 액세스는 전자적 데이터가 임의의 MMR 문서(500) 또는 문서 내의 임의의 핫스폿(506)에 추가될 수 있게 해준다. PD access to the text fingerprint or representation 502 that is stored in index 322 allows electronic data to be added to any hotspot 506 within any MMR document 500 or document. 도 4를 참조하여 기술한 바와 같이, 적어도 하나의 핫스폿(506)(예를 들어, 링크)을 포함하는 종이 문서는 MMR 문서(500)라고 언급된다. With reference to Figure 4 as described, a paper document that includes at least one hot spot 506 (e.g., link) is referred to as the MMR document 500.

계속하여 도 1b, 도 2a 내지 도 2d, 도 3, 도 4 및 도 5를 참조하면, MMR 시 스템(100b)의 예시적인 동작은 다음과 같다. Continuing with Figure 1b, reference to Figures 2a-2d, 3, 4, and 5, example operation of MMR system (100b) is as follows. MMR 사용자(110) 또는 출판 회사 등의 임의의 다른 개체는 주어진 소스 파일(310)을 열고, 인쇄된 문서(118) 등의 종이 문서를 생성하기 위해 인쇄 동작을 시작한다. Any other object, such as a MMR user 110, or a publishing company starts a printing operation to open the given source file 310, produce a paper document, such as printed document 118. 인쇄 동작 동안에, (1) 인쇄 시에 PD 캡처 모듈(318)을 통해 인쇄된 형식을 자동적으로 캡처하고 이를 캡처 장치(106)에 전송하는 것 - 문서의 전자적 표시(508)는, 예를 들어, SD 브라우저(312)의 출력에서 PD 캡처 모듈(318)을 사용함으로써 인쇄 시에 자동적으로 캡처된다. During the printing operation, (1) capturing automatically the type printed by the PD capture module 318 at the time of printing, and to transfer it to the capture device 106 - the electronic representation 508 of the document is, for example, by use of PD capture module 318 at the output of the SD browser 312 is captured automatically at the time of printing. 예를 들어, MMR 사용자(110)는 SD 브라우저(312)로부터의 컨텐츠를 인쇄하고 이 컨텐츠는 PD 캡처 모듈(318)을 통해 필터링된다. For example, MMR user 110 prints content from SD browser 312 and the content is filtered through PD capture module 318. 앞서 논의한 바와 같이, 페이지 상의 텍스트의 2차원 배열은 인쇄를 위해 문서가 레이아웃될 때 결정될 수 있다. As discussed earlier, two-dimensional arrangement of text on a page can be determined when the document is laid out for printing. -, (2) PD 캡처 모듈(318)을 통해 인쇄 시에 주어진 소스 파일(310)을 자동적으로 캡처하는 것, 및 (3) 캡처 장치(106) 상의 멀티미디어 주석 첨부 인터페이스를 채울 수 있는 "명명된 개체(named entity)" 또는 다른 흥미있는 정보를 찾아내기 위해, 문서 파서 모듈(326)을 통해, 인쇄된 형식 및/또는 소스 파일(310)을 파싱하는 것 - 명명된 개체는, 예를 들어, 나중에 멀티미디어를 추가하기 위한 "앵커(anchor)", 즉 자동적으로 발생된 핫스폿(506)이다. -, (2) PD capture module to automatically capture the source file 310 given at the time of printing through 318, and (3) The capture device can fill a multimedia annotation interface "on the 106 named object (named entity) ", or to find other interesting information, documents parser to parse module 326, the print format and / or source file 310 through-named object, for example, later the "anchor (anchor)", that is, the hot spot automatically generating (506) for adding the multimedia. 문서 파서 모듈(326)은 입력으로서 주어진 인쇄된 문서(118)와 관계되어 있는 소스 파일(310)을 수신한다. The document parser module 326 receives the source file 310 that is related to a given printed document 118 as input. 문서 파서 모듈(326)은 인쇄된 문서(118)에서의 타이틀, 저작자, 시간, 또는 장소 등의 핫스폿(506)을 이용하기 위한 표시(502)를 식별해주고 따라서 캡처 장치(106) 상에서 수신될 정보를 프롬프트하는 애플리케이션이다. The document parser module 326 identifies the display 502 for using the hot spot 506, such as titles, authors, times, or locations in the printed document 118 haejugo thus be received on capture device 106 an application that prompts you for information. -, (4) 컨텐츠-기반 검색을 위해 인쇄된 형식 및/또는 소스 파일(310)을 자동적으로 인덱싱하는 것, 즉 PD 인 덱스(322)를 작성하는 것, (5) 소스 파일(310)과 연관된 문서 및 이벤트에 대해 문서 이벤트 데이터베이스(320) 내에 엔트리, 예를 들어, 편집 이력 및 현재의 위치를 만드는 것, 및 (6) MMR 사용자(110)가, 인쇄되기 이전에, 따라서 MMR 문서(500)이 형성되기 이전에, 핫스폿(506)을 문서에 추가할 수 있게 해주는, 프린터 드라이버(316) 내의 상호작용적 대화상자를 수행하는 것 등의 어떤 동작들이 자동적으로 수행된다. -, (4) content - to automatically indexed to the printing order based retrieval format and / or source file 310, i.e., to create the index 322 of PD, (5), the source file 310 and entry in the document event database 320 for the associated document, and events, e.g., edit history and to make the current position, and (6) MMR user 110, prior to printing, and thus MMR document (500 ) prior to the formation, some operations, such as allowing to add hot spots 506 to documents, to perform an interactive dialog within printer driver 316 are performed automatically. 연관된 데이터는 MMR 컴퓨터(112) 상에 저장되거나 네트워크화된 미디어 서버(114)로 업로드된다. The associated data are uploaded to the media server 114 networked stored on MMR computer 112 or.

예시적인 대안의 실시예 Examples of an exemplary alternative

MMR 시스템(100)(100a 또는 100b)은 도 1a 및 도 1b, 도 2a 내지 도 2d, 및 도 3 내지 도 5에 도시된 구성으로 한정되지 않는다. MMR system (100) (100a or 100b) is not limited to the configuration shown in Figure 1a and Figure 1b, Figure 2a to 2d, and FIGS. MMR 소프트웨어는 전체적으로 또는 부분적으로 캡처 장치(106)와 MMR 컴퓨터(112) 간에 분산되어 있을 수 있고, 도 3 및 도 4를 참조하여 상기한 모듈들 전부보다 상당히 더 적은 모듈이 필요하다. MMR software is required in whole or in part, the capture device 106 and the MMR may be distributed among computer 112, FIG. 3 and significantly less than all of the modules the module with reference to FIG. 이하의 것들을 비롯하여 다수의 구성들이 가능하다. Multiple configurations are possible, including the following ones.

MMR 시스템(100)의 제1 대안의 실시예는 캡처 장치(106) 및 캡처 장치 소프트웨어를 포함한다. Embodiment of the first alternative of the MMR system 100 includes capture device 106 and capture device software. 캡처 장치 소프트웨어는 캡처 장치 UI(224) 및 문서 지문 정합 모듈(226)(예를 들어, 도 3에 도시됨)이다. The capture device software is the capture device UI (224) and the document fingerprint matching module 226 a (e.g., shown in FIG. 3). 캡처 장치 소프트웨어는 캡처 장치(106) 상에서, 또는 다른 대안으로서, 캡처 장치(106)가 액세스가능한 네트워크화된 미디어 서버(114) 또는 서비스 제공자 서버(122) 등의 외부 서버 상에서 실행된다. The capture device software is executed on an external server, such as on the capture device 106, or alternatively, the capture device 106 is an accessible networked media server 114 or service provider server 122. 이 실시예에서, 게시(publication)에 링크되어 있는 데이터를 공급하는 네트워크화된 서비스가 이용가능하다. In this embodiment, a networked service that supplies the data that is linked to the publication (publication) can be used. 계층적 인식 방식이 사용될 수 있으며, 이 경 우 게시가 먼저 식별되고 이어서 그 게시 내의 페이지 및 섹션이 식별된다. And hierarchical recognition scheme may be used, if the publication is first identified and then the page and section is identified in that publication.

MMR 시스템(100)의 제2 대안의 실시예는 캡처 장치(106), 캡처 장치 소프트웨어 및 문서 사용 소프트웨어를 포함한다. Embodiment of the second alternative of the MMR system 100 includes capture device 106, capture device software and document use software. 제2 대안의 실시예는 인쇄된 문서를 캡처 및 인덱싱하고 문서의 편집 이력 등의 기본적인 문서 이벤트를 링크하는, 도 4를 참조하여 도시되고 기술된 것과 같은 소프트웨어를 포함한다. Embodiment of the second alternate embodiment includes software, such as that is illustrated with reference to that link the basic document events, such as a printed document capture and indexing, and edit history of a document, Fig technology. 이것은 MMR 사용자(110)가 그의 캡처 장치(106)를 임의의 인쇄된 문서로 향하게 할 수 있게 해주고, 또 문서를 발생한 소스 파일(310)의 이름 및 위치를 결정하는 것은 물론 인쇄 시간 및 장소를 결정할 수 있게 해준다. This MMR user 110 to enable you to direct his capture device 106 at any printed document, and, determining the name and location of the source that generated the document file (310) as well as determining the printing time and place It can allow.

MMR 시스템(100)의 제3 대안의 실시예는 캡처 장치(106), 캡처 장치 소프트웨어, 문서 사용 소프트웨어, 및 이벤트 캡처 모듈(324)을 포함한다. Embodiment of the third alternative of the MMR system 100 includes capture device 106, capture device software, document use software, and event capture module 324. 문서가 MMR 컴퓨터(112)의 바탕화면 상에 보인 때(GDI 문자 발생기를 모니터링하는 것에 의해 결정됨), 문서가 열려 있는 동안에 액세스된 URL, 또는 문서가 열려 있는 동안에 키보드 상에서 타이핑된 문자 등의 문서와 연관되어 있는 이벤트를 캡처하는 이벤트 캡처 모듈(324)은 MMR 컴퓨터(112)에 추가된다. Document is a document of the characters, such as typing on a keyboard while when shown on the desktop of MMR computer 112 (as determined by monitoring the GDI character generator), a URL, or document access while the document is open and open event capture to capture the associated event module 324 is added to MMR computer 112;

MMR 시스템(100)의 제4 대안의 실시예는 캡처 장치(106), 캡처 장치 소프트웨어, 및 프린터(116)를 포함한다. Embodiment of the fourth alternative of the MMR system 100 includes capture device 106, capture device software, and the printer 116. 이 제4 대안의 실시예에서, 프린터(116)는 근접하여 있는 임의의 MMR 사용자(110)의 캡처 장치(106)와 통신하는 블루투스 송수신기 또는 유사한 통신 링크를 갖추고 있다. In an embodiment of this fourth alternative, the printer 116 is equipped with a Bluetooth transceiver or similar communication link that communicates with capture device 106 of any MMR user 110 in the vicinity. MMR 사용자(110)가 프린터(116)로부터 문서를 집을 때마다, 프린터(116)는 MMR 데이터(문서 레이아웃 및 멀티미디어 클립)를 그 사용자의 캡처 장치(106)로 푸시(push)한다. MMR user 110 each time a house document from the printer 116, the printer 116 is pushed (push) the MMR data (document layout and multimedia clips) to that user's capture device 106. 사용자 프린터(116)는 키 패드를 포함하며, 이를 사용하여 사용자는 특정의 문서와 연관되어 있는 멀티미디어 데이터를 획득하기 위해 로그인하고 코드를 입력한다. User printer 116 includes a keypad, by using this, the user must log in in order to obtain the multimedia data that is associated with a specific document, and the input code. 문서는 프린터 드라이버(316)에 의해 삽입될 수 있는 그의 꼬리말(footer)에 코드의 인쇄된 표시를 포함할 수 있다. Document may include a printed representation of a code in its footer (footer) that may be inserted by printer driver 316.

MMR 시스템(100)의 제5 대안의 실시예는 캡처 장치(106), 캡처 장치 소프트웨어, 및 사무실 포털(120)을 포함한다. Alternatively in the fifth embodiment of the MMR system 100 includes capture device 106, capture device software, and office portal 120. 사무실 포털 장치는 양호하게는 사무실 포털(120)의 개인화된 버전이다. Office portal device is preferably a personalized version of office portal 120. 사무실 포털(120)은, 대화, 회의/전화 통화 및 회합 등의, 사무실에서의 이벤트를 캡처한다. Office portal 120, the capture of such conversations, conference / telephone calls and meetings, and events in the office. 사무실 포털(120)은 물리적 책상 위의 특정의 종이 문서를 식별하고 추적한다. The office portal 120 identifies a particular paper documents on the physical desktop and tracking. 사무실 포털(120)은 그에 부가하여 문서 식별 소프트웨어를 실행한다(즉, 문서 지문 정합 모듈(226) 및 문서 이벤트 데이터베이스(320)를 호스팅한다). (I.e., document fingerprint matching module 226 and hosts document event database 320), office portal 120 is added to and executes the document identification software thereto. 이 제5 대안의 실시예는 MMR 컴퓨터(112)로부터 계산 작업 부하를 덜어주는 역할을 하며, MMR 시스템(100b)을 소비자 장치로서 패키징하는 편리한 방법을 제공한다(예를 들어, MMR 시스템(100b)은 Apple Computer, Inc.의 Mac Mini 컴퓨터 상에서 실행되고 있는 하드웨어 및 소프트웨어 제품으로서 판매된다). The embodiment of this fifth alternate serves to relieve the computational workload from MMR computer 112 and provides a convenient way to package MMR system (100b) as a consumer device (e.g., MMR system (100b) It is sold as a hardware and software product that runs on the Apple computer, Inc. Mac Mini computer).

MMR 시스템(100)의 제6 대안의 실시예는 캡처 장치(106), 캡처 장치 소프트웨어, 및 네트워크화된 미디어 서버(114)를 포함한다. Example of a sixth alternative of the MMR system 100 includes capture device 106, capture device software, and the networked media server 114. 이 실시예에서, 멀티미디어 데이터는 Comcast Video-on-Demand 서버 등의 네트워크화된 미디어 서버(114) 상에 존재한다. In this embodiment, the multimedia data is present on the media server 114, such as networked servers Comcast Video-on-Demand. MMR 사용자(110)가 그의 캡처 장치(106)를 사용하여 문서 텍스트 패치를 스캔할 때, 그 결과 얻어지는 탐색 명령(lookup command)이 MMR 사용자(110)의 케이블 TV와 연관되어 있는 셋톱 박스(126)로 (무선으로, 인터넷을 통해 또는 전화로 셋톱 박스(126)를 호출함으로써) 또는 Comcast 서버에 전송된다. MMR user 110 when scanning the document text patches using their capture device 106, the resulting search command (lookup command) The MMR-top box 126 is associated with a cable TV users (110) as (by wireless, calling the set-top box 126, or by phone via the Internet) or is transferred to the Comcast server. 양 경우에, 멀티미디어는 Comcast 서버로부터 셋톱 박스(126)로 스트리밍된다. In both cases, the multimedia is streamed from the Comcast server to set-top box 126. 시스템(100)은 데이터를 어디에 전송할지를 알고 있는데, 그 이유는 MMR 사용자(110)가 이미 그의 전화를 등록했기 때문이다. System 100 I know whether to transmit data where, the reason is because MMR user 110 has already registered his phone. 따라서, 캡처 장치(106)는 셋톱 박스(126)의 액세스 및 제어를 위해 사용될 수 있다. Thus, the capture device 106 may be used for access and control of the set-top box 126.

MMR 시스템(100)의 제7 대안의 실시예는 캡처 장치(106), 캡처 장치 소프트웨어, 네트워크화된 미디어 서버(114) 및 위치 서비스를 포함한다. Embodiment of a seventh alternative of the MMR system 100 includes capture device 106, capture device software, the networked media server 114 and a location service. 이 실시예에서, 위치-인식 서비스는 Comcast 시스템(또는 다른 적당한 통신 시스템)으로부터의 출력에 대한 다수의 목적지를 구별한다. In this embodiment, the location-aware service discriminates between multiple destinations for the output from the Comcast system (or other suitable communication system). 이 기능은 셀룰러 전화 타워 ID들을 자동적으로 구별함으로써 또는 MMR 사용자(110)로 하여금 데이터가 디스플레이될 위치를 선택하게 하는 키패드 인터페이스에 의해 수행된다. This function is performed by a keypad interface that allows the location to select automatically or distinguished by MMR user 110 of cellular phone towers ID data is displayed. 따라서, 사용자는, 다른 장소를 방문하고 있는 동안에 그 다른 장소가 케이블에 액세스하고 있는 한, 그의 케이블 통신 사업자에 의해 제공되는 프로그래밍 및 다른 케이블 TV 피쳐들에 액세스할 수 있다. Thus, the user can have access to cable TV programming and other features offered by their cable operator in other places and that access to the cables while you are visiting other places.

문서 지문 정합 ("이미지-기반 패치 인식") The document fingerprint matching ( "Image-Based Patch Recognition")

앞서 기술한 바와 같이, 문서 지문 정합은 MMR 문서의 일부분 또는 "패치"를 일의적으로 식별하는 것을 필요로 한다. As previously described, document fingerprint matching is needed to uniquely identifying a portion of the MMR document or "patch". 도 6을 참조하면, 문서 지문 정합 모듈/시스템(610)은 캡처된 이미지(612)를 수신한다. 6, a document fingerprint matching module / system 610 receives a captured image (612). 문서 지문 정합 시스템(610)은 이어서 문서 데이터베이스(3400) 내의 페이지 컬렉션에 질의를 하고(예를 들어, 도 34a를 참조하여 이하에서 더 기술함), 캡처된 이미지(612)가 포함되어 있는 것들을 포함하는 페이지 및 문서의 리스트를 반환한다. Document fingerprint matching system 610 may then include those that contain a query to a collection of pages in a document database 3400 and (e.g., see Fig. 34a and further described below), the captured image 612 and that returns a list of pages and documents. 각각의 결과는 캡처된 입력 이미지(612)가 있는 xy 위치이다. Each result is an xy position in the captured input image 612. 당업자라면 데이터베이스(3400)가 문서 지문 정합 모듈(610) 외부에 있을 수 있지만(예를 들어, 도 6에 도시됨), 또한 문서 지문 정합 모듈(610) 내부에 있을 수도 있다(예를 들어, 문서 지문 정합 모듈(610)은 데이터베이스(3400)를 포함하는 도 7, 도 11, 도 12, 도 14, 도 20, 도 24, 도 26, 도 28 및 도 30 내지 도 32에 도시되어 있음)는 것을 잘 알 것이다. Those skilled in the art may also be within the database 3400 may be external to the document fingerprint matching module 610 (e.g., as shown in FIG. 6), and the document fingerprint matching module 610 (e.g., document that the fingerprint matching module that 610 7, comprising a database 3400 shown in Figure 11, 12, 14, 20, 24, 26, 28 and 30 through 32) well it will know.

도 7은 본 발명의 일 실시예에 따른 문서 지문 정합 시스템(610)의 블록도를 나타낸 것이다. Figure 7 shows a block diagram of a document fingerprint matching system 610 in accordance with one embodiment of the present invention. 캡처 장치(106)는 이미지를 캡처한다. Capture device 106 captures an image. 캡처된 이미지는 품질 평가 모듈(712)에 전송되고, 이 품질 평가 모듈(712)은 다운스트림 처리의 필요성 및 기능에 기초하여 캡처된 이미지의 컨텐츠에 관한 예비적인 판단을 효과적으로 행한다. The captured image is sent to the quality assessment module 712, the quality assessment module 712 performs a preliminary judgment about the content of the captured image based on the needs and capabilities of downstream processing effectively. 예를 들어, 캡처된 이미지가 다운스트림에 있는 문서 지문 정합 시스템(610)에서 처리될 수 없을 정도의 품질을 가지고 있는 경우, 품질 평가 모듈(712)은 캡처 장치(106)로 하여금 더 높은 해상도로 그 이미지를 재캡처하게 한다. For example, in the case in the document fingerprint matching system 610 in the captured image is downstream with the quality of the degree may not be processed, the quality assessment module 712 causes the capture device 106 at a higher resolution It shall be re-capture the image. 게다가, 품질 평가 모듈(712)은, 예를 들어, 캡처된 이미지가 "초점이 맞는지" 여부의 표시인 캡처된 이미지에 포함되어 있는 텍스트의 선명함(sharpness) 등의 캡처된 이미지의 많은 다른 관련 특성들을 검출할 수 있다. Further, the quality assessment module 712 may, for example, many other relevant characteristics of the captured image such as the captured image "are correct focus," is included in the display of the captured image whether or not the clarity (sharpness) of the text that It may detect. 게다가, 품질 평가 모듈(712)은 캡처된 이미지가 문서의 일부일 수 있는 무언가를 포함하고 있는지 여부를 결정할 수 있다. Furthermore, the quality assessment module 712 is the captured image to determine whether contains something that can be a part of the document. 예를 들어, 비문서 이미지(예를 들어, 책상, 실외 장면)를 포함하는 이미지 패치는 사용자가 캡처 장치(106)의 시야를 새 문서로 전환시키고 있음을 나타 낸다. For example, an image patch containing the non-document image (for example, a desk, an outdoor scene) represents and indicates that the user switch the view of the capture device 106 to the new document.

게다가, 하나 이상의 실시예들에서, 품질 평가 모듈(712)은 인식가능한 텍스트를 포함할 가능성이 있는 이미지만을 통과시키기 위해 텍스트/비텍스트 구별을 수행할 수 있다. Further, in one or more embodiments, the quality assessment module 712 may perform text / non-text discrimination in order to pass through only images that are likely to contain recognizable text. 도 8은 하나 이상의 실시예들에 따른 텍스트/비텍스트 구별을 위한 흐름 프로세스를 나타낸 것이다. Figure 8 shows a flow for text / non-text discrimination in accordance with one or more embodiments the process. 단계(810)에서, 다수의 컬럼의 픽셀이 입력 이미지 패치로부터 추출된다. In step 810, the pixels in the plurality of columns are extracted from the input image patch. 통상적으로, 입력 이미지는 그레이-스케일이고, 컬럼에서의 각각의 값은 0 내지 255의 정수이다(8 비트 픽셀의 경우). Typically, the input image is gray-scale, and each value in the column is an integer from 0 to 255 (for 8 bit pixels). 단계(812)에서, 각각의 컬럼에서의 로컬 피크(local peak)가 검출된다. In step 812, the local peak is detected (local peak) in each column. 이것은 통상 알고 있는 "슬라이딩 윈도우" 방법(고정된 길이(예를 들어, N개의 픽셀)의 윈도우가 컬럼 상을 한번에 M개의 픽셀씩 슬라이딩함, 단 M<N임)으로 행해질 수 있다. This is typically known "sliding window" method with (a fixed length (e.g., a window of N pixels) sliding onto the column at a time M pixels, with the proviso that M <N Im) can be done. 각각의 단계에서, 그레이 레벨 값의 상당한 차이(예를 들어, 40보다 큼)를 찾아냄으로써 피크의 존재가 결정된다. In each step, a significant difference in gray level values ​​are found naemeurosseo the presence of a peak (e.g., greater than 40) are determined. 피크가 윈도우의 한 위치에 있는 경우, 슬라이딩 윈도우가 이 위치를 덮고 있을 때마다 다른 피크들의 검출이 억제된다. If a peak is located at a position of the window, the detection of other peaks is suppressed whenever the sliding window to be covered with this location. 연속적인 피크들 간의 갭도 역시 단계(812)에서 검출될 수 있다. Gaps between successive peaks may also be also be detected at step 812. 단계(812)는 이미지 패치에서의 C개의 컬럼들에 적용되고, 단계(814)에서 간극 값이 히스토그램 형태로 누적된다. Step 812 is applied to a number C of columns in the image patch, the gap value in step 814 are accumulated to form a histogram.

이 갭 히스토그램이 데이터베이스(818)에 저장된 공지의 분류(단계(816))를 갖는 훈련 데이터로부터 도출된 다른 히스토그램들과 비교되고, 패치의 카테고리(텍스트 또는 비텍스트)에 관한 결정이 그 결정에서의 신뢰 척도와 함께 출력된다. The gap histogram is compared to other histograms derived from training data with the category (step 816) a known stored in the database 818, this determination as to the category of the patch (either text or non-text) in the crystal It is output with a confidence measure. 단계(816)에서의 히스토그램 분류는 텍스트의 이미지로부터 도출된 히스토그램의 통상적인 모습과 2개의 대등한 피크(하나는 라인들 간의 거리의 중앙에 있고, 아마 도 하나 또는 2개의 다른 훨씬 더 작은 피크가 히스토그램에서 다른 피크들로부터 멀리 떨어져 정수배 더 높음)를 포함한다는 것을 고려한다. The histogram classification at step 816 is a typical appearance of a histogram derived from an image of text and the two equivalent peaks (one in the center of the between line distance, probably also one or two other much smaller peaks consider that include remote from the other peaks in the histogram integral multiple more high). 이 분류는 통계적 분산의 척도로 히스토그램의 형상을 결정할 수 있거나, 이는 예를 들어, 해밍 거리 또는 유클리드 거리 등의 거리 척도를 사용하여 히스토그램을 저장된 프로토타입과 하나씩 비교할 수 있다. This classification, or to determine the shape of the histogram with a measure of statistical variance, which for example, can be compared to the prototype and one stored in the histogram using a distance measure such as Euclidean distance or Hamming distance.

이제 도 9도 참조하면, 동 도면은 텍스트/비텍스트 구별의 일례를 나타낸 것이다. If now also FIG. 9, the figure shows an example of text / non-text discrimination. 입력 이미지(910)가 처리되어 다수의 컬럼을 샘플링하고, 그의 서브셋이 점선으로 나타내어져 있다. Input image 910 is processed is sampled a number of columns, and his subset shown as a dotted line. 통상적인 컬럼(912)에 대한 그레이 레벨 히스토그램이 914에 나타내어져 있다. The gray level histogram for a typical column 912 is shown in 914. Y 값은 910에서 그레이 레벨이고 X 값은 910에서 행이다. Y values ​​are gray levels in 910 and the X values ​​are rows in 910.. 히스토그램에서 피크들 간의 검출된 갭은 916에 나타내어져 있다. The detected gaps between peaks in the histogram are shown in 916. 샘플링된 컬럼들 전부로부터의 갭 값의 히스토그램은 918에 나타내어져 있다. The histogram of gap values ​​from all sampled columns are shown in 918. 이 예는 텍스트를 포함하는 패치로부터 도출된 히스토그램의 형상을 나타낸 것이다. This example illustrates the shape of a histogram derived from a patch that contains text.

이미지 패치에서의 텍스트의 포인트 크기를 추정하는 흐름 프로세스가 도 10에 도시되어 있다. The flow for estimating the point size of text in an image patch process is shown in FIG. 이 흐름 프로세스는 이미지에서의 흐려짐(blur)이 캡처 장치의 페이지로부터의 거리에 역비례한다는 사실을 이용한다. This process flow uses the fact that this blurring (blur) of the image capture device is inversely proportional to the distance from the page. 흐려짐의 정도를 추정함으로써, 거리가 추정될 수 있으며, 그 거리는 이미지에서의 객체의 크기를 기지의 "정규화된" 높이로 스케일링하는 데 사용될 수 있다. By estimating the amount of blur, the distance may be estimated, that distance may be used to scale the size of objects in an image as a "normalized" the height of the base. 이 동작은 새 이미지에서의 텍스트의 포인트 크기를 추정하는 데 사용될 수 있다. This behavior can be used to estimate the point size of text in a new image.

훈련 과정(1010)에서, 단계(1012)에서, 기지의 폰트 및 포인트 크기의 텍스트 패치의 이미지("캘리브레이션 이미지(calibration image)"라고 함)가 기지의 거 리에 있는 이미지 캡처 장치로 획득된다. In the training process (1010), in step 1012, (hereinafter called "calibration image (calibration image)") of the font and point size of the base text of the patch image is obtained by image capture device in Liege'll base. 단계(1014)에서, 픽셀의 수로 표시된 그 이미지에서의 텍스트 문자의 높이가 측정된다. In step 1014, it measured the height of the text characters in the image indicated by the number of pixels. 이것은, 예를 들어, 마이크로소프트 Photo Editor 등의 이미지 주석 첨부 도구를 사용하여 수작업으로 행해질 수 있다. This, for example, using Microsoft Photo Editor as a tool for image annotation attachments can be done by hand. 단계(1016)에서, 캘리브레이션 이미지에서의 흐려짐이 추정된다. In step 1016, it is estimated that blurring of the calibration image. 이것은, 예를 들어, 2차원 고속 푸리에 변환의 차단 스펙트럼(spectral cutoff)의 기지의 측정으로 행해진다. This is, for example, is carried out by measurement of the base of the two-dimensional fast Fourier transform block spectrum (spectral cutoff) of. 이것은 또한 픽셀 수(1020)의 단위로 표시현될 수 있다. This may also be expressed in units of the current number of pixels (1020).

단계(1024)에서 "새" 이미지를 제공할 때, MMR 인식 시스템에서 런타임 시와 같이, 단계(1026)에서 이 이미지가 처리되어 각각의 문자 주변에 경계 박스를 생성하는 라인 세그먼트화 및 문자 세그먼트화의 통상적으로 알고 있는 방법으로 텍스트를 찾아낸다. When providing the "new" images at step (1024), MMR is recognized by the system as shown at run time, the image is processed line to create a bounding box around each character segmentation and character segments in step 1026, Chemistry commonly known as a way to find the text. 이들 박스의 높이는 픽셀 단위로 표시될 수 있다. The height of these boxes may be expressed in pixels. 단계(1028)에서, 새 이미지의 흐려짐이 단계(1016)와 유사한 방식으로 추정된다. In step 1028, the blur of the new image is estimated in a similar manner to the step 1016. 단계(1030)에서, 이들 척도가 결합되어 각각의 문자(또는 등가적으로, 각각의 라인)의 포인트 크기의 제1 추정치(1032)를 발생한다. In step 1030, it combines these measures to generate a first estimate 1032 of the point size of each character (or equivalently, each line). 이것은 이하의 방정식을 계산함으로써 행해질 수 있다. This can be done by calculating the following equation.

(캘리브레이션 이미지 흐려짐 크기 / 새 이미지 흐려짐 크기) * (새 이미지 텍스트 높이 / 캘리브레이션 이미지 텍스트 높이) * (포인트 단위의 캘리브레이션 이미지 폰트 크기) (Calibration image blur size / new image blur size) * (new image text height / calibration image text height) * (calibration image font size in points)

이것은 캘리브레이션 이미지의 텍스트의 포인트 크기를 스케일링하여 입력 이미지 패치에서의 텍스트의 추정된 포인트 크기를 생성한다. This produces an estimated point size of text in the input image patch scales the point size of the text in the calibration image. 동일한 스케일링 함수가 모든 문자의 경계 박스의 높이에 적용될 수 있다. The same scaling function can be applied to the height of the bounding box of the characters. 이것은 패치에서의 모든 문자에 대한 결정을 생성한다. This creates a decision for all of the characters in the patch. 예를 들어, 패치가 50개 문자를 포함하는 경우, 이 절차는 패치에서의 폰트의 포인트 크기에 대한 50 투표(vote)를 생성한다. For example, if the patch contains 50 characters, this procedure will produce 50 votes (vote) for the point size of the font in the patch. 이어서, 투표들의 메디안(median)으로 포인트 크기에 대한 단일의 추정치가 도출될 수 있다. Then, a single estimate for the point size may be obtained by median (median) of the vote.

게다가, 보다 구체적으로 도 7을 다시 참조하면, 하나 이상의 실시예들에서, 품질 평가 모듈(712)의 캡처 장치(106)로의 피드백이 캡처 장치(106)의 사용자 인터페이스(UI)로 보내질 수 있다. In addition, it can be sent to the user interface (UI) of a more specifically Referring to Figure 7 again, in one or more embodiments, the quality assessment module 712 to the capture device 106 feedback the capture device 106 to the. 예를 들어, 이 피드백은 캡처된 이미지가 텍스트처럼 보이지만 흐려져 있는 무언가를 포함하고 있고 또 사용자가 캡처 장치(106)를 안정화시켜야만 한다는 것을 나타내는 사운드 또는 진동의 형태의 표시를 포함할 수 있다. For example, if the feedback is that the captured image contains something that looks like a blurred text and may also be user and comprises a form of a display of a sound or vibration that indicates that sikyeoyaman stabilize the capture device 106. 이 피드백은 또한 캡처된 이미지의 품질을 향상시키기 위해 캡처 장치(106)의 광학계의 파라미터를 변경하는 명령을 포함할 수 있다. The feedback can also include changing the parameters of the optical system of the capture device 106 to improve the quality of the capture image command. 예를 들어, 캡처된 이미지의 품질을 향상시키기 위해 초점, F-스톱(F-stop), 및/또는 노출 시간이 조정될 수 있다. For example, there is a focus, F- stop (F-stop), and / or exposure time can be adjusted to improve the quality of the captured image.

게다가, 품질 평가 모듈(712)의 캡처 장치(106)로의 피드백은 사용되고 있는 특정의 피쳐 추출 알고리즘의 요구에 의해 전문화될 수 있다. Further, the quality assessment feedback to the module 712, the capture device 106 may be specialized by the needs of the particular feature extraction algorithm being used. 이하에서 더 기술하는 바와 같이, 피쳐 추출은 이미지를 기호적인 표시로 변환한다. As further described below, feature extraction converts an image into a symbolic representation. 단어의 길이를 계산하는 인식 시스템에서, 캡처 장치(106)의 광학계가 캡처된 이미지를 흐려지게 하는 것이 바람직할 수 있다. It may be desirable to be in a recognition system that computes the length of words, blur the optical system to capture an image of the capture device 106. 당업자라면 이러한 조정이, 비록 아마도 사람 또는 광학 문자 인식(OCR) 프로세스에 의해 인식가능하지 않지만, 피쳐 추출 기법에 아주 적합한 이미지를 생성할 수 있다는 것을 잘 알 것이다. Those skilled in the art of these adjustments, it should be understood that although, perhaps, but not be recognized by the people, or optical character recognition (OCR) process, can produce a very good image in the feature extraction techniques. 품질 평가 모듈(712)은 캡처 장치(106)로 명령어를 피드백하여 캡처 장치(106)로 하여금 렌즈의 초점을 흐리게 하고 그에 의해 흐려진 이미지를 생성함으로써 이것을 구현할 수 있다. The quality assessment module 712 may allow the capture device 106 by feeding back instructions to the capture device 106 to blur the focus of the lens implement this by generating a blurred image by him.

피드백 프로세스는 제어 구조(control structure)(714)에 의해 수정된다. Feedback process is modified by a control structure (control structure) (714). 일반적으로, 제어 구조(714)는 문서 지문 정합 시스템(610) 내의 다른 컴포넌트들로부터 데이터 및 기호적인 정보를 수신한다. In general, the control structure 714 receives data and symbolic information from the other components in the document fingerprint matching system 610. 제어 구조(714)는 문서 지문 정합 시스템(610)에서의 다양한 단계들의 실행 순서를 결정하고 계산 부하를 최적화할 수 있다. The control structure 714 may determine the execution order of the various steps in the document fingerprint matching system 610 and to optimize the computational load. 제어 구조(714)는 수신된 이미지 패치의 xy 위치를 식별한다. The control structure 714 identifies the xy position of received image patches. 보다 상세하게는, 제어 구조(714)는 피쳐 추출 프로세스의 요구, 품질 평가 모듈(712)의 결과, 및 캡처 장치(106) 파라미터에 관한 정보를 수신하고, 이들을 적절히 변경할 수 있다. More specifically, the control structure 714 receives information about the result, and the capture device 106 parameters of the request, the quality assessment module 712 of the feature extraction process, and can change them as appropriate. 이것은 프레임별로 동적으로 행해질 수 있다. This can be done dynamically by frame. 다수의 피쳐 추출 방법을 사용하는 시스템 구성에서, 한 방법은 큰 텍스트 패치들의 흐린 이미지를 필요로 하고 다른 방법은 고해상도 선명한 초점의 종이결(paper grain) 이미지를 필요로 할 수 있다. In a system configuration that uses multiple feature extraction method, a method is different and requires a faint image of a large patch of text method may require a sharper focus on the high-resolution paper texture (paper grain) images. 이러한 경우에, 제어 구조(714)는 품질 평가 모듈(712)이 텍스트를 보고 있을 때 그에 적절한 이미지 품질을 생성하도록 지시하는 명령을 품질 평가 모듈(712)에 전송할 수 있다. In this case, the control structure 714 may send a command for instructing to generate the appropriate image quality thereby the quality assessment module 712 when looking at the quality assessment module 712 to the text. 품질 평가 모듈(712)은 캡처 장치(106)와 상호작용하여 정확한 이미지를 생성하게 된다(예를 들어, 큰 패치의 N개의 흐린 이미지 및 그에 뒤이은 선명한 초점의 종이결의 M개의 이미지(고해상도)). The quality assessment module 712 to capture device 106 and the interaction will produce the correct images (e. G., Paper resolution M number of images (high-resolution) in sharp focus ensuing the N blurry images of large patches, and thereto) . 제어 구조(714)는 대응하는 피쳐 추출 및 분류가 적용되도록 하기 위해 처리 파이프라인을 통해 그 이미지들의 진행을 추적한다. Control structure 714 to track the progress of those images through the processing pipeline to ensure that the application extracts the corresponding features and classification.

이미지 처리 모듈(716)은 인식 시스템의 요구에 기초하여 입력 이미지의 품 질을 수정한다. The image processing module 716 based on the needs of the recognition system to modify the quality of the input image. 이미지 수정의 유형들의 예는 샤프닝(sharpening), 디스큐잉(deskewing) 및 이진화(binarization)를 포함한다. Examples of types of image modification include sharpening (sharpening), disk queue (deskewing) and binarizing (binarization). 이러한 알고리즘은 마스크 크기, 예상된 회전(expected rotation) 및 문턱값 등의 많은 조정가능한 파라미터를 포함한다. These algorithms include many tunable parameters such as mask sizes, expected rotation (expected rotation) and the threshold value.

도 7에 나타낸 바와 같이, 문서 지문 정합 시스템(610)은 이미지 처리 모듈(716)의 파라미터를 동적으로 수정하기 위해 피쳐 추출 및 분류 모듈(718, 720)(이하에서 기술함)로부터의 피드백을 사용한다. 7, the document fingerprint matching system 610 uses feedback from feature extraction and classification modules (718, 720) (described below) to dynamically modify the parameters of the image processing module 716 do. 이것이 동작하는 이유는 사용자가 통상적으로 그의 캡처 장치(106)를 수초 동안 계속하여 문서 내의 동일한 위치로 향하게 하기 때문이다. The reason this is due to operation by the user and typically continues his capture device 106 for a few seconds to direct at the same location in the document. 예를 들어, 캡처 장치(106)가 초당 30 프레임을 처리하고, 임의의 시퀀스에서의 처음 수 프레임을 처리한 결과가 나중에 캡처된 프레임이 어떻게 처리되는지에 영향을 줄 수 있다. For example, a capture device 106 that can affect the process, and the results of processing the first few frames in any sequence how the frames captured later processing 30 frames per second.

피쳐 추출 모듈(718)은 캡처된 이미지를 기호적인 표시로 변환한다. Feature extraction module 718 converts a captured image into a symbolic representation. 한 예에서, 피쳐 추출 모듈(718)은 단어를 찾아내고 그의 경계 박스를 계산한다. In one example, the feature extraction module 718 locates words and computes the boundary of his box. 다른 예에서, 피쳐 추출 모듈(718)은 연결된 컴포넌트를 찾아내고 그 형상에 대한 기술자를 계산한다. In another example, the feature extraction module 718 locates connected components and calculates descriptors for their shape. 게다가, 하나 이상의 실시예에서, 문서 지문 정합 시스템(610)은 피쳐 추출의 결과에 관한 메타데이터를 제어 구조(714)와 공유하고 그 메타데이터를 사용하여 다른 시스템 컴포넌트의 파라미터를 조정한다. Moreover, shares in one or more embodiments, the document fingerprint matching system 610 may control the metadata about the results of feature extraction structure 714 and uses that metadata to adjust the parameters of other system components. 당업자라면 이것이 계산 요구사항을 상당히 감소시킬 수 있고 품질이 좋지 않은 데이터의 인식을 금지시킴으로써 정확도를 향상시킬 수 있다는 것을 잘 알 것이다. Those skilled in the art will appreciate that this can significantly reduce your calculation needs and improve accuracy by prohibiting the recognition of poor quality data. 예를 들어, 단어 경계 박스를 식별해주는 피쳐 추출 모듈(718)은 그가 발견한 라인 및 "단어"의 수를 제 어 구조(714)에 알려준다. For example, the feature extraction module 718 that identifies word bounding boxes will tell the number of lines and "words" that he found in the control structure (909). 단어의 수가 너무 높은 경우(예를 들어, 입력 이미지가 프래그먼트화되어 있음을 나타냄), 제어 구조(714)는 품질 평가 모듈(712)에 더 흐린 이미지를 생성하도록 지시할 수 있다. If the number of words is too high (e.g., indicating that the input image is fragmented), the control structure 714 could be instructed to create a more blurred image for the quality assessment module 712. 품질 평가 모듈(712)은 이어서 캡처 장치(106)에 적절한 신호를 전송한다. The quality assessment module 712 sends the appropriate signals to then capture device 106. 다른 대안으로서, 제어 구조(714)는 이미지 처리 모듈(716)에 평활화 필터(smoothing filter)를 적용하도록 지시할 수 있다. Alternatively, the control structure 714 could be instructed to apply the smoothing filter (smoothing filter) to the image processing module 716.

분류 모듈(720)은 피쳐 추출 모듈(718)로부터의 피쳐 기술(feature description)을 문서 내의 하나 이상의 페이지 및 입력 이미지 패치(input image patch)가 일어나는 그 페이지 내의 x,y 위치의 ID로 변환한다. The classification module 720 converts the ID of the x, y positions within those pages that feature technology (feature description) more than one page, and the input image patch within a document (input image patch) from the feature extraction module 718 takes place. 차례로 설명하는 바와 같이 데이터베이스(3400)로부터의 피드백에 의존하여 식별이 행해진다. As will be described in turn it is carried out to identify, depending on feedback from a database 3400. 게다가, 하나 이상의 실시예들에서, 신뢰도값이 각각의 결정과 연관될 수 있다. Further, in one or more embodiments, a confidence value may be associated with each decision. 문서 지문 정합 시스템(610)은 이러한 결정을 사용하여 시스템 내의 다른 컴포넌트들의 파라미터를 결정할 수 있다. The document fingerprint matching system 610 may use such decisions to determine parameters of the other components in the system. 예를 들어, 제어 구조(714)는 상위 2개의 결정의 신뢰도가 서로 비슷한 경우, 이미지 처리 알고리즘의 파라미터가 변경되어야 하는 것으로 결정할 수 있다. For example, the control structure 714, the reliability of the top two decisions can be determined by the parameter to be changed in a similar case, the image processing algorithms to each other. 이 결과 메디안 필터에 대한 크기 범위 및 그 결과의 나머지 컴포넌트들로의 전달(carry-through)이 증가할 수 있다. As a result it is possible to increase the transmission (carry-through) to the size range and the remaining components of the result of the median filter.

게다가, 도 7에 도시한 바와 같이, 분류 모듈(720)과 데이터베이스(3400) 사이에 피드백이 있을 수 있다. In addition, there may be feedback between 7, the classification module 720 and a database 3400. 게다가, 당업자라면 데이터베이스(3400)가 도 6에 도시한 바와 같이 모듈(610) 외부에 있을 수 있다는 것을 잘 알 것이다. Moreover, those skilled in the art will recognize that the database 3400 can be external to the module 610 as shown in Fig. 패치의 ID에 관한 결정이 유사한 모습을 갖는 다른 패치들에 대한 데이터베이스(3400)에 질의하는 데 사용될 수 있다. Can be used to query a database (3400) for other patches with a view to a decision on the ID of the patch is similar. 이것은, 입력 이미지 패치를 데이터베이스(3400)와 비교하기 보다는, 데이터베이스(3400)에 저장된 패치의 완전한 이미지 데이터를 데은 데이터베이스(3400) 내의 다른 이미지와 비교한다. This, rather than comparing the input image patch and a database (3400), and compares the complete patch of image data stored in a database (3400) and other images in the database daemon (3400). 이것은 분류 모델(720)의 결정에 대한 부가적인 확인 레벨을 제공할 수 있으며 정합하는 데이터의 어떤 전처리를 가능하게 해줄 수 있다. This can provide an additional level of confirmation for the classification decision of the model 720 and may be designed to enable a certain pre-treatment of the data for matching.

데이터베이스 비교는 또한 이미지 데이터만이라기 보다는 패치의 기호적인 표시에 대해 행해질 수 있다. The database comparison could also be made to the symbolic representation of the patch rather than only the image data. 예를 들어, 최상의 결정은 이미지 패치가 12-포인트 Arial 폰트 한줄 띄기(double-spaced)를 포함한다는 것을 나타낼 수 있다. For example, the best decision may indicate that the image patch contains a 12-point Arial font noticeable line (double-spaced). 데이터베이스 비교는 이미지 비교보다는 단지 텍스트 메타데이터만을 사용하여 유사한 폰트, 간격, 및 워드 레이아웃(word layout)을 갖는 다른 문서들에 있는 패치를 찾아낼 수 있다. The database comparison could find a patch on other documents with similar fonts, spacing, layout and word (word layout), rather than using only text metadata comparison images.

데이터베이스(3400)는 몇가지 유형의 컨텐츠-기반 질의를 지원할 수 있다. Database 3400 is some type of content-based queries can support. 분류 모듈(720)은 데이터베이스(3400)에 피쳐 배열을 전달할 수 있고 그 배열이 행해지는 문서 및 xy 위치의 리스트를 수신할 수 있다. The classification module 720 can pass the feature array to the database 3400 may receive a list of the array is made the article and xy position. 예를 들어, 피쳐들은 수평으로 또는 수직으로 단어 길이들의 트라이그램(trigram)(이하에서 기술함)일 수 있다. For example, the features may be a trigram (trigram) (described below) of word lengths either horizontally or vertically. 데이터베이스(3400)는 어느 한 유형의 질의에 응답하여 결과들의 리스트를 반환하도록 구성될 수 있다. The database 3400 may be configured in response to a query of any type to return a list of results. 분류 모듈(720) 또는 제어 구조(714)는 그 순위들을 결합하여 하나의 정렬된 결정 리스트를 생성할 수 있다. The classification module 720 or the control structure 714 may generate a single sorted list of decisions by combining the ranking.

게다가, 데이터베이스(3400), 분류 모듈(720) 및 제어 구조(714) 간에 피드백이 있을 수 있다. In addition, there may be feedback between the database 3400, the classification module 720 and a control structure (909). 피쳐 벡터로부터 위치를 확인하기에 충분한 정보를 저장하는 것에 부가하여, 데이터베이스(3400)는 문서의 원시 이미지는 물론 그것의 그래픽 컴포넌트에 대한 기호적인 표시를 비롯한 관련 정보를 저장할 수 있다. In addition to storing information sufficient to identify the location from a feature vector database 3400 may store related information, including raw image of the document, as well as a symbolic representation for its graphical components. 이것은 제어 구조(714)가 동작 중에 다른 시스템 컴포넌트의 거동을 수정할 수 있게 해준다. This allows the control structure 714 to modify the behavior of other system components during the operation. 예를 들어, 주어진 이미지 패치에 대해 2개의 그럴듯한 결정이 있는 경우, 데이터베이스(3400)는 이미지의 존재를 위한 오른쪽에 있는 영역을 줌아웃하여 조사함으로써 그 결정들이 명확하게 될 수 있음을 나타낼 수 있다. For example, if there are two plausible decisions for a given image patch, the database 3400 may indicate that the crystal may become apparent to zoom out by irradiating the area to the right for the presence of the image. 제어 구조(714)는 캡처 장치(106)에 줌아웃하라고 지시하는 적절한 메시지를 캡처 장치(106)에 전송할 수 있다. The control structure 714 could send the appropriate message indicating to zoom out to capture device 106 to capture device 106. 피쳐 추출 모듈(718) 및 분류 모듈(720)은 문서 상에 인쇄된 이미지에 대한 이미지의 우측면을 검사할 수 있다. Feature extraction module 718 and the classification module 720 can check the right side of the image for an image printed on the document.

게다가, 유의할 점은, 패치가 정확하게 문서 내에 위치하고 있다고 하면, 데이터베이스(3400)가 이미지 패치를 둘러싸고 있는 데이터에 관한 상세한 정보를 저장한다는 것이다. Furthermore, note that, when that patch is correctly located in a document, is that the database 3400 stores detailed information about the data surrounding an image patch. 이것은 종래의 기술에서 예견되지 않은 추가적인 하드웨어 및 소프트웨어 이미지 분석 단계들을 트리거하는 데 사용될 수 있다. This can be used to trigger additional hardware and software image analysis step is not foreseen in the prior art. 한 경우에 그 상세한 정보는 문서의 상세한 기호적인 설명을 저장하는 인쇄 캡처 시스템에 의해 제공된다. And the detailed information in a case is provided by a print capture system that saves a detailed symbolic description of a document. 하나 이상의 다른 실시예에서, 유사한 정보는 문서를 스캐닝함으로써 획득될 수 있다. In one or more other embodiments, similar information may be obtained by scanning a document.

여전히 도 7을 참조하면, 위치 추적 모듈(724)은 제어 구조(714)로부터 이미지 패치의 ID에 관한 정보를 수신한다. Still referring to Figure 7, the position tracking module 724 receives information about the ID of an image patch from the control structure 714. 위치 추적 모듈(724)은 그것을 사용하여 데이터베이스(3400)로부터 전체 문서 페이지의 복사본 또는 문서를 기술하는 데이터 구조를 검색할 수 있다. Location tracking module 724 can use it to retrieve data structure describing a copy of the document or the entire document page from a database (3400). 이 초기 위치는 위치 추적 프로세스의 시작에 대한 앵커이다. The initial position is the anchor for the start of the tracking process. 품질 평가 모듈(712)이 캡처된 이미지가 추적에 적당하다고 결정할 때, 위치 추적 모듈(724)은 캡처 장치(106)로부터 이미지 데이터를 수신한다. The quality assessment module 712 to determine that it is appropriate for the captured image is tracked, the position tracking module 724 receives image data from the capture device 106. 위치 추적 모듈(724)은 또한 마지막 프레임이 성공적으로 인식된 후에 경과한 시간에 관한 정보도 갖는다. The position tracking module 724 also has information also about the time that has passed since the last frame was successfully recognized. 위치 추적 모듈(724)은 이 모듈이 캡처 장치(106)가 연속적인 프레임들 간에 이동된 문서 상에서의 거리를 추정할 수 있게 해주는 광 흐름 기법을 적용한다. The position tracking module 724 applies an optical flow technique which allows this module is the capture device 106 is able to estimate the distance over the document moved between successive frames. 캡처 장치(106)의 샘플링 레이트가 주어진 경우, 캡처 장치(106)가 보는 데이터가 인식가능하지 않을지도 모르지만, 그의 대상(target)이 추정될 수 있다. If the sampling rate of the capture device 106 at a given, may not be the data capture device 106 to view the recognition, but it can be estimated his destination (target). 캡처 장치(106)의 추정된 위치가 그의 이미지 데이터를 데이터베이스 문서로부터 도출된 대응하는 이미지 데이터와 비교함으로써 확인될 수 있다. The estimated position of the capture device 106 may be confirmed by comparing its image data with the corresponding image data derived from the database document. 간단한 예는 캡처된 이미지의 데이터베이스(3400) 내의 예상된 이미지와의 교차 상관을 계산한다. A simple example is to calculate the cross-correlation between the expected image in a database (3400) of the captured image.

따라서, 위치 추적 모듈(724)은 위치 추적 알고리즘의 진행을 안내하기 위해 데이터베이스 이미지의 상호작용적 사용에 대비하고 있다. Thus, the position tracking module 724 are compared to the interactive use of database images to guide the progress of the position tracking algorithm. 이것은 그래픽 및 이미지 등의 비텍스트 객체에 대한 전자적 상호작용의 첨부를 고려하고 있다. This has been considered to attach the electronic interactions to non-text objects such as graphics and images. 게다가, 하나 이상의 다른 실시예에서, 이러한 첨부는 상기한 이미지 비교/확인 단계 없이 구현될 수 있다. Further, in one or more other embodiments, such attachment may be implemented without the image comparison / confirmation step. 환언하면, 페이지 상에서의 캡처 장치(106)의 순간 움직임을 추정함으로써, 캡처된 이미지와 독립적으로 보여야만 하는 전자 링크가 추정될 수 있다. In other words, by estimating the instant motion of the capture device 106 over the page, the electronic link that should look only to the captured image it can be estimated independently.

도 11은 본 발명의 일 실시예에 따른 문서 지문 정합 기법을 나타낸 것이다. Figure 11 illustrates a document fingerprint matching technique in accordance with an embodiment of the present invention. 도 11에 나타낸 "피드-포워드" 기법은 각각의 패치를 독립적으로 처리한다. "Feed-forward" technique is illustrated in Figure 11 processes each patch independently. 이 기법은 하나 이상의 페이지 및 패치가 있는 그 페이지 상에서의 xy 위치를 찾아내는 데 사용되는 피쳐들을 이미지 패치로부터 추출한다. It extracts features that are used to locate an xy position on the page that have one or more pages, and fetched from the image patch. 예를 들어, 하나 이상의 실시예에서, 문서 지문 정합을 위한 피쳐 추출은 캡처된 이미지의 피쳐들의 수평 및 수직 그룹(예를 들어, 단어, 문자, 블록)에 의존할 수 있다. For example, it is possible to rely on in one or more embodiments, feature extraction for document fingerprint matching the horizontal and vertical groups of features of the captured image (e.g., words, characters, blocks). 추출된 피쳐들의 이들 그룹은 이어서 추출된 피쳐들을 포함하는 문서들(및 그 문서들 내의 패치)을 탐색하는 데 사용될 수 있다. These groups of extracted features may be used to browse the documents (and the patches within those documents) that contain the extracted features is then. 캡처된 이미지에서 수평 단어 쌍을 식별하기 위해 OCR 기능이 사용될 수 있다. The OCR function can be used to identify the horizontal word pair in the captured image. 각각의 식별된 수평 단어쌍은 이어서 식별된 수평 단어쌍을 포함하는 모든 문서 및 그 문서들 내의 단어쌍의 xy 위치를 결정하기 위해 데이터베이스(3400)에 대한 검색 질의를 형성하는 데 사용된다. Each identified horizontal word pair is used for forming a search query to database 3400 for determining the xy location of the word pair in those documents, and all documents containing the identified horizontal word pair is then. 예를 들어, 수평 단어쌍 "the, cat"에 대해, 데이터베이스(3400)는 (15,x,y), (20,x,y)를 반환하여, 문서(15, 20)에서 표시된 xy 위치에 수평 단어쌍 "the, cat"이 있음을 나타낼 수 있다. For example, the xy position shown in the horizontal word pair "the, cat", the database 3400 may return (15, x, y), to return (20, x, y), the document (15, 20) It may indicate that there is a horizontal word-pair and "the, cat". 이와 유사하게, 각각의 수직으로 인접한 단어쌍에 대해, 단어쌍 및 그 문서 내에서의 단어쌍의 xy 위치의 예를 포함하는 모든 문서에 대해 데이터베이스(3400)에 질의된다. Similarly, for the adjacent word pair in each of the vertical, and query the database 3400 for all documents, which include an example of the word pairs xy position in the word-pair and a document. 예를 들어, 수직으로 인접한 단어쌍 "in, hat"에 대해, 데이터베이스(3400)는 (15,x,y), (7,x,y)를 반환하여, 수직으로 인접한 단어쌍 "in, hat"가 문서(15, 7)에서 표시된 xy 위치에 있다는 것을 나타낼 수 있다. For example, the vertically adjacent word pair "in, hat" in for the database 3400 may return (15, x, y), (7, x, y) to return to the adjacent word-pairs in the vertical "in, hat "a may indicate that the xy position indicated in the document (15, 7). 그 다음에, 데이터베이스(3400)에 의해 반환된 문서 및 위치 정보를 사용하여, 캡처된 이미지로부터 추출된 다양한 수평 단어쌍 및 수직으로 인접한 단어쌍 간에 어느 문서가 가장 많은 위치 중첩이 있는지에 관한 결정이 행해질 수 있다. Then, using the document and location information returned by the database 3400, the decision on which that the document is the most location overlap between the various horizontal word pairs and vertically adjacent word-pairs extracted from the captured image, It can be done. 이 결과, 핫스폿 및 링크된 미디어의 존재가 결정될 수 있는지에 응답하여 캡처된 이미지를 포함하는 문서를 식별할 수 있다. As a result, it is possible to identify the document that contains the captured image in response to whether the existence of a hot spot and linked media can be determined.

도 12는 본 발명의 일 실시예에 따른 다른 문서 지문 정합 기법을 나타낸 것이다. Figure 12 shows another document fingerprint matching technique in accordance with an embodiment of the present invention. 도 12에 나타낸 "상호작용적 이미지 분석(interactive image analysis)" 기법은 이미지 패치가 인식되기 이전에 일어날 수 있는 이미지 처리와 피쳐 추출 간의 상호작용을 필요로 한다. Fig. 12 "interactive image analysis (interactive image analysis)" technique requires the interaction between image processing and feature extraction that may occur before an image patch is recognized. 예를 들어, 이미지 처리 모듈(716)은 먼저 입력 이미지에서 흐려짐(blur)을 추정할 수 있다. For example, the image processing module 716 may first estimate the blur (blur) in the input image. 이어서, 피쳐 추출 모듈(718)은 그 페이지로부터의 거리 및 이미지 텍스트의 포인트 크기를 계산한다. Then, the feature extraction module 718 calculates the distance and the point size of the text image from the page. 이어서, 이미지 처리 모듈(716)은 그 포인트 크기의 폰트의 특성을 사용하여 이미지에 대한 템플릿 정합 단계를 수행할 수 있다. Then, the image processing module 716 may perform a template matching step on the image using characteristics of fonts of that point size. 그 다음에, 피쳐 추출 모듈(718)은 이어서 그 결과로부터 문자 또는 단어 피쳐를 추출할 수 있다. Then, the feature extraction module 718 may then extract character or word features from the result. 게다가, 당업자라면 폰트, 포인트 크기 및 피쳐가 데이터베이스(3400) 문서들에서의 폰트에 의해 제약될 수 있다는 것을 잘 알 것이다. Moreover, those skilled in the art will recognize that a font, point size, and features may be limited by the font in the database 3400 documents.

도 12를 참조하여 상기한 상호작용적 이미지 분석의 일례가 도 13에 도시되어 있다. Reference to Figure 12, an example of the above-mentioned interactive image analysis is shown in Fig. 단계(1310)에서 이미지 패치 내의 텍스트의 폰트 및 포인트 크기는 물론 이미지 패치의 카메라로부터의 거리를 추정하기 위해 입력 이미지 패치가 처리된다. Font and point size of text in an image patch in step 1310, as well as the input image patch is processed to estimate the distance from the camera of the image patch. 당업자라면 폰트 추정(즉, 패치 내의 텍스트의 폰트에 대한 후보들의 식별)이 공지의 기법으로 행해질 수 있다는 것을 잘 알 것이다. Those skilled in the art will note that font estimation (i.e., identification of candidates for the font of the text in the patch) may be made by known techniques. 포인트 크기 및 거리 추정은, 예를 들어, 도 10을 참조하여 기술한 흐름 프로세스를 사용하여 수행될 수 있다. Point size and distance estimation may be, for example, it is carried out with reference to Figure 10 using the described flow process. 게다가, 캡처 장치에 맞게 손쉽게 조정될 수 있는 초점으로부터의 거리의 공지의 방법 등의 다른 기법들이 사용될 수 있다. In addition, other techniques could be used, such as the distance from the focus bulletin that can be easily adjusted to suit your capture device method.

여전히 도 13을 참조하면, 단계(1312)에서 패치 내의 텍스트의 라인들 주위 에 경계 박스를 구성하는 라인 세그먼트화 알고리즘이 적용된다. Still referring to Figure 13, a line segmentation algorithm constituting a bounding box around the lines of text within a patch in step 1312 is applied. 단계(1314)에서 비례 스케일링(proportional scaling) 등의 공지의 기법들을 사용하여 각각의 라인 이미지의 높이는 고정된 크기로 정규화된다. Using known techniques such as proportional scaling (proportional scaling) in step 1314 and is normalized to a fixed size, the height of each line image. 이미지에서 검출된 폰트에 대한 ID는 물론 그것의 포인트 크기가 폰트 프로토타입의 컬렉션(1322)에 전달(1324)되며, 여기에서 이들은 각각의 지명된 폰트에서의 문자들에 대한 이미지 프로토타입을 검색하는 데 사용된다. ID of the detected fonts in images is, of course, and its point size passing (1324) in the collection of 1322 fonts prototype, where they retrieve the image prototypes for the characters in each of the named font to be used.

폰트 데이터베이스(1322)는 문서를 인쇄하기 위해 운영 체제 및 기타 소프트웨어 애플리케이션에 의해 사용되는 사용자의 시스템 상의 폰트 컬렉션(예를 들어, 트루타입(TrueType), 오픈타입(OpenType), Microsoft Windows에서의 래스터 폰트(raster font))으로부터 구성될 수 있다. Font database 1322 font collection on a user's system to be used by the operating system and other software applications to print a document (for example, TrueType (TrueType), OpenType (OpenType), raster fonts in Microsoft Windows It may be constructed from the (raster font)). 하나 이상의 다른 실시예들에서, 폰트 컬렉션은 데이터베이스(3400) 내의 문서들의 원시 이미지로부터 생성될 수 있다. In one or more other embodiments, the font collection may be generated from the original image of the document in the database (3400). 데이터베이스(3400) xml 파일들은 원시 이미지로부터 문자들의 프로토타입 이미지를 추출하는 데 사용될 수 있는 xy 경계 박스 좌표를 제공한다. Database (3400) xml files provide the xy bounding box coordinates, which can be used to extract the prototype images of the characters from the original images. xml 파일은 폰트의 이름 및 문자의 포인트 크기를 정확하게 식별한다. xml files are correctly identified the point size of the font names and character.

단계(1320)에서, 선택된 폰트에서의 문자 프로토타입은 단계(1314)에서 사용된 파라미터의 함수에 기초하여 크기 정규화된다. In step 1320, the character prototypes in the selected fonts are based on a function of the parameters used in step 1314 are normalized in size. 단계(1316)에서의 이미지 분류는 단계(1320)에서 출력된 크기 정규화된 문자를 단계(1314)에서의 출력과 비교하여, 이미지 패치에서의 각각의 xy 위치에서 결정을 생성할 수 있다. Image classification at step 1316 may compare the size normalized characters outputted at step 1320 to the output at step 1314, it is possible to produce a decision at each of the xy position in the image patch. 공지의 이미지 템플릿 정합 방법은 (ci, xi, yi, wi, hi) 등의 출력을 생성하는 데 사용될 수 있으며, 여기서 ci는 이미지 패치에서 검출된 모든 문자 i(i = 1...n)에 대한 문자 의 ID이고, (xi yi)는 그의 경계 박스의 좌측 상부 모서리이며, hi, wi는 그의 폭과 높이이다. The image of the template matching method is known (ci, xi, yi, wi, hi) can be used to produce output such as wherein ci is any character i (i = 1 ... n) is detected in the image patch. an ID for the character, (xi yi) is the upper left corner of its bounding box, hi, wi is its width and height.

단계(1318)에서, 기하학적 관계-제약이 있는(geometric relation-constrained) 데이터베이스 탐색이 상기한 바와 같이 수행될 수 있지만, 단어쌍 대신에 문자쌍에 대한 경우에 전문화될 수 있다. In step 1318, the geometric relation-constrained, but these (geometric relation-constrained) database lookup can be performed as described above with, may be specialized in a case for pairs of characters instead of pairs of words. 이러한 경우에, "ab"는 문자 a 및 b가 수평으로 인접해 있다는 것을 나타낼 수 있고, "a+b"는 이들이 수직으로 인접해 있다는 것을 나타낼 수 있으며, "a/b"는 a가 b의 남서쪽에 있다는 것을 나타낼 수 있고, "a\b"는 a가 b의 남동쪽에 있다는 것을 나타낼 수 있다. In such a case, "ab" is the letter a and b, and may indicate that close to the horizontal, "a + b" is may indicate that they are adjacent to each other in the vertical, "a / b" is a is b It may indicate that the southwest, "a\b" may indicate that a is southeast of b. 기하학적 관계는 각각의 문자쌍의 xi yi 값으로부터 도출될 수 있다. The geometric relations may be derived from the xi yi values ​​of each pair of characters. MMR 데이터베이스(3400)는 단어쌍 대신에 문자쌍을 포함하는 문서 페이지들의 리스트를 반환하도록 구성될 수 있다. MMR database 3400 may be configured to return a list of document pages that contain character pairs instead of word pairs. 단계(1326)에서의 출력은 점수로 순위가 매겨지는 x-튜플(documenti, pagei, xi, yi, actioni, scorei)로서 표시되는 입력 이미지와 정합하는 후보들의 리스트이다. The output from step 1326 is a list of the input image and the matching candidates to be displayed as an x- tuple (documenti, pagei, xi, yi, actioni, scorei) being ranked by score.

도 14는 본 발명의 일 실시예에 따른 다른 문서 지문 정합 기법을 나타낸 것이다. Figure 14 shows another document fingerprint matching technique in accordance with an embodiment of the present invention. 도 14에 나타낸 "생성 및 테스트(generate and test)" 기법은 각각의 패치를 독립적으로 처리한다. "Creating and testing (generate and test)" technique illustrated in Figure 14 processes each patch independently. 이 기법은 주어진 이미지 패치를 포함할 수 있는 다수의 페이지 이미지들을 찾아내는 데 사용되는 이미지 패치로부터 피쳐들을 추출한다. It extracts features from an image patch that is used to find the number of page images that can contain a given image patch. 게다가, 하나 이상의 실시예들에서, 페이지가 이미지 패치를 포함할 가능성에 의해 페이지들에 순위를 매기기 위해 부가적인 추출-분류 단계가 수행될 수 있다. Furthermore, additional extraction to rank pages by the in one or more embodiments, the likelihood of the page containing the image patch - a classification step may be performed.

여전히 도 14를 참조하여 상기한 "생성 및 테스트" 기법을 참조하면, 캡처된 이미지의 피쳐들이 추출될 수 있고 이들 추출된 피쳐들을 가장 많이 포함하고 있는 데이터베이스(3400) 내의 문서 패치가 식별될 수 있다. Referring still to FIG. Above "Creating and testing" technique with reference to Figure 14, there are features in the captured image may be extracted and the document patches in the database 3400, which contains most of these extracted features may be identified . 가장 정합하는 피쳐를 갖고 있는 처음 X개의 문서 패치들("후보들")이 이어서 추가적으로 처리된다. The best match of the first X document patches that have a feature that ( "candidates") are subsequently processed further. 이 처리에서, 정합하는 문서 패치에서의 피쳐들의 상대적 위치는 질의 이미지에서의 피쳐들의 상대 위치와 비교된다. In this processing, the relative locations of features in the matching document patch is compared to the relative locations of features in the query image. 이 비교에 기초하여 점수가 계산된다. The score is calculated based on the comparison. 이어서, 최상의 정합하는 문서 패치 P에 대응하는 최고 점수가 식별된다. Then, the highest score is identified corresponding to the best matching document patch P to. 최고 점수가 적응적 문턱값보다 큰 경우, 문서 패치 P는 질의 이미지와 정합하는 것으로 밝혀진다. If the highest score is greater than the adaptive threshold, the document patch P turns out as matching the query image. 이 문턱값은, 예를 들어, 추출된 피쳐들의 수를 비롯한, 많은 파라미터에 대해 적응적이다. This threshold value is, for example, is adaptive for a number of parameters, including the number of the extracted features. 데이터베이스(3400)에서, 문서 패치 P가 어디에서 오는 것인지를 알게 되고, 따라서 질의 이미지가 동일한 장소로부터 온 것으로 결정된다. In database (3400), the document is to know whether the patch P comes from where, therefore, the query image is determined to have come from the same place.

도 15는 단어 경계 박스 검출 알고리즘의 일례를 나타낸 것이다. Figure 15 shows an example of word bounding box detection algorithm. 입력 이미지 패치(1510)는 회전을 정정하는 이미지 처리 이후에 도시되어 있다. An input image patch 1510 is shown after image processing that corrects for rotation. 스큐 정정 알고리즘이라고 통상적으로 알려져 있는 이러한 부류의 기법은 텍스트 이미지를 회전시켜 수평축과 일렬로 정렬되게 한다. Technique of this class, which is called skew correction algorithm commonly known as will be rotated text image arranged in the horizontal axis and the line. 경계 박스 검출 알고리즘에서의 그 다음 단계는 수평 투사 프로파일(1512)의 계산이다. The next step in the bounding box detection algorithm is the computation of the horizontal projection profile (1512). "문턱값을 넘는" 영역들이 텍스트의 라인들에 대응하도록, 공지의 적응적 문턱값 지정 또는 슬라이딩 윈도우 알고리즘(adaptive thresholding or sliding window algorithm)에 의해 라인 검출을 위한 문턱값이 선택된다(1516). The threshold value is selected for the line detected by the "more than the threshold value" regions, adaptive threshold specified or sliding window algorithms known (adaptive thresholding or sliding window algorithm), so as to correspond to the lines of text 1516. 라인 내의 단어들을 나타내는 문턱값을 넘는 영역들을 찾아내기 위해, 각각의 라인 내의 영역들이 유사한 방식으로 추출되고 처리된다(1514, 1518). To get the identity of more than a threshold value indicative of a word in the line area, the areas within each line are extracted and processed in a similar manner (1514 and 1518). 한 텍스트 라인에서 검출된 경계 박스의 일례가 1520에 도시되어 있다. An example of the bounding boxes detected in one line of text is shown in 1520.

문서 패치 후보들과 비교하기 위해 다양한 피쳐들이 추출될 수 있다. There are a variety of features can be extracted for comparison with document patch candidates. 예를 들어, SIFT(Scale Invariant Feature Transform) 피쳐들, 모서리 피쳐들, 돌출 포인트, 어센더(ascender), 디센더(descender), 단어 경계 및 공백이 정합을 위해 추출될 수 있다. For example, the SIFT (Scale Invariant Feature Transform) feature of, the edge of the feature, the projecting points, ascenders (ascender), descenders (descender), word boundaries, and spaces may be extracted for matching. 문서 이미지로부터 신뢰성있게 추출될 수 있는 피쳐들 중 하나가 단어 경계이다. One of the features that can be reliably extracted from a document image is a word boundary. 일단 단어 경계가 추출되면, 이들은 도 16에 도시된 바와 같이 그룹들로 형성될 수 있다. Once word boundaries are extracted, it may be formed into groups as shown in FIG. 도 16에서, 예를 들어, 수직 그룹은 단어 경계가 위아래 양쪽으로 중첩하는 단어 경계를 가지며 중첩하는 단어 경계의 총 수가 적어도 3개이도록 형성된다(중첩하는 단어 경계의 최소 수가 하나 이상의 다른 실시예에서 다를 수 있다는 것에 유의한다). In Figure 16, for example, vertical groups are word boundary is formed such that a total number of at least three of the word boundaries that overlap has a word boundary which overlaps the top and bottom sides (the minimum number of overlapping word boundaries in one or more other embodiments it should be noted that there may be different). 예를 들어, 제1 피쳐 포인트(제2 라인에 있는 제2 단어 박스, 길이가 6임)는 위쪽으로 2개의 단어 경계(길이가 5 및 7임)를 가지고 아래쪽으로 하나의 단어 경계(길이가 5임)를 갖는다. For example, a first feature point (second word box, a length of 6 being in the second line) is the upper of two words boundary (a length of 5 and 7 Im) to have a word boundary to the bottom (L It has a 5 Im). 제2 피쳐 포인트(제3 라인에 있는 제4 단어 박스, 길이가 5임)는 위쪽으로 2개의 단어 경계(길이가 4 및 5임)를 가지고 아래쪽으로 2개의 단어 경계(길이가 8 및 7임)를 갖는다. A second feature point (which is the fourth word box, the length in the third line 5) to the top two words boundary (of length 4 and 5 Im) to the bottom has two word boundaries (a length of 8 and 7 being ) it has. 따라서, 도 16에 도시한 바와 같이, 표시된 피쳐들은 중간 단어 경계의 길이와 그에 뒤이은 위쪽의 단어 경계의 길이, 또 아래쪽 단어 경계의 길이로 표시될 수 있다. Thus, as shown in Fig. 16, the features shown may be represented by the length of the boundary length, and the lower word of the word boundaries of the top subsequent thereto the length of the middle word boundary. 게다가, 단어 박스의 길이가 임의의 메트릭에 기초할 수 있다는 것에 유의한다. In addition, it is noted that the lengths of the word boxes may be based on any metric. 따라서, 어떤 단어 박스에 대해 대안의 길이를 가질 수 있다. Therefore, it is possible to have a length of alternatives for any word box. 이러한 경우에, 이들의 대안들 전부 또는 그 일부를 포함하는 피쳐들이 추출될 수 있다. In such a case, the whole or a feature of these alternatives, including the portion thereof to be extracted.

게다가, 하나 이상의 실시예들에서, 공백이 0으로 표시되고 단어 구역이 1로 표시되도록 피쳐들이 추출될 수 있다. Further, in one or more embodiments, a space is displayed to zero and may be a feature to extract a word to the display area to one. 일례가 도 17에 도시되어 있다. An example is shown in Fig. 오른쪽에 있는 블록 표시는 왼쪽에 있는 문서 패치의 단어/공백 구역에 대응한다. Blocks appear on the right side correspond to word / space regions of the document patch on the left.

추출된 피쳐들은, 예를 들어, 노옴(norm) 및 해밍 거리(Hamming distance)를 비롯한 다양한 거리 척도와 비교될 수 있다. The extracted features are, for example, may be compared with various distance measures, including the norm (norm) and the Hamming distance (Hamming distance). 다른 대안으로서, 하나 이상의 실시예들에서, 질의 이미지와 동일한 피쳐를 갖는 문서 패치를 식별하기 위해 해쉬 테이블이 사용될 수 있다. Alternatively, in one or more embodiments, hash tables may be used to identify document patches that have the same features as the query image. 이러한 패치가 식별되면, 각각의 피쳐 포인트로부터 다른 피쳐 포인트로의 각도가 도 18에 나타낸 바와 같이 계산될 수 있다. When such patches are identified, and from each feature point to other feature points of the angle can be calculated as shown in Fig. 다른 대안으로서, 피쳐 포인트들의 그룹들 간의 각도가 계산될 수 있다. As a further alternative, the angles between groups of feature points may be calculated. 1802는 3쌍의 피쳐 포인트들로부터 계산된 각도(1803, 1804, 1805)를 나타낸 것이다. 1802 shows the angles (1803, 1804, 1805) calculated from the feature point of the third pair. 계산된 각도들은 이어서 질의 이미지에서의 각각의 피쳐 포인트로부터 다른 피쳐 포인트들로의 각도들과 비교될 수 있다. The computed angles may then from each of the feature points in the query image it can be compared with an angle to the other feature points. 정합하는 점들에 대한 임의의 각도가 비슷한 경우, 유사성 점수(similarity score)가 증가될 수 있다. If an angle of the points similar to matching, a similarity score can be increased (similarity score). 다른 대안으로서, 각도의 그룹들이 사용되고 또 2개의 이미지에서의 유사한 피쳐 포인트 그룹들 간의 각도 그룹이 수치적으로 유사한 경우, 유사성 점수가 증가된다. Alternatively, when used to group the angle In a similar feature point group of angles between the groups in the two images are numerically similar, increases the similarity score. 질의 이미지와 각각의 검색된 문서 패치 간의 점수가 계산될 때, 최고 점수를 얻는 문서 패치가 선택되고 그 정합이 어떤 미리 정해진 기준을 만족시키는지를 결정하기 위해 적응적 문턱값과 비교된다. When the quality of image points with each retrieved document patch calculation, the document patch get the highest score is selected and the matching is compared with an adaptive threshold to determine whether that satisfies certain predetermined criteria. 이 기준이 만족되는 경우, 정합하는 문서 경로가 발견된 것으로 표시된다. If this criterion is met, it is shown as a matching document path is found.

게다가, 하나 이상의 실시예들에서, 추출된 피쳐들은 단어의 길이에 기초할 수 있다. Further, in one or more embodiments, extracted features may be based on the length of the word. 각각의 단어는 단어 높이 및 폭에 기초하여 추정된 문자들로 나누어진 다. Each word is divided into the character estimated based on the word height and width. 주어진 단어 위아래에 있는 단어 라인이 스캔될 때, 위아래의 라인들에서의 공백 정보에 따라 추정된 문자들 각각에 이진값이 할당된다. The scan to the word line above and below a given word, a binary value is assigned to a character of each estimate according to the space information in the lines above and below. 이어서 이진 코드가 정수로 표시된다. Then the binary code is displayed as an integer. 예를 들어, 도 19를 참조하면, 동 도면은 단어 박스의 배열을 나타낸 것으로서, 각각의 단어 박스는 캡처된 이미지에서 검출된 단어를 나타낸다. For example, referring to Figure 19, the figure is shown as an arrangement of word boxes, each box represents the words of the detected word in the captured image. 단어(1910)는 추정된 문자들로 나누어져 있다. Word 1910 is divided by the estimated character. 이 피쳐는 (i) 단어(1910)의 길이, (ii) 단어(1910) 위쪽의 라인의 텍스트 배열, 및 (iii) 단어(1910) 아래쪽의 라인의 텍스트 배열로 기술된다. This feature is described in length, (ii) word 1910 the text arrangement of the line at the top, and (iii) the text arrangement of the line at the bottom of the word 1910 of the (i) the word (1910). 단어(1910)의 길이는 추정된 문자의 수로 측정된다. The length of the word 1910 is measured by the number of estimated symbols. 텍스트 배열 정보는 현재의 추정된 문자의 위쪽 또는 아래쪽의 공백 정보의 이진 코딩으로부터 추출된다. Text arrangement information is extracted from binary coding of the space information above or below the current estimated letter. 단어(1910)에서, 마지막 추정된 문자만이 공백 위에 있고, 두번째 및 세번째 추정된 문자는 공백 아래에 있다. Words in 1910, and only the last letter is estimated on the space, the second and third characters are estimated in the space below. 그에 따라, 단어(1910)의 피쳐는 (6, 100111, 111110)으로 코딩되고, 여기서 0은 공백을 의미하고 1은 공백이 없음을 의미한다. Thus, the feature of word 1910 is coded as (6, 100111, 111110), where 0 means space, and 1 means no space is. 정수 형태로 다시 쓰면, 단어(1910)는 (6, 39, 62)로 코딩된다. Write in integer form again, word 1910 is coded (6, 39, 62).

도 20은 본 발명의 일 실시예에 따른 다른 문서 지문 정합 기법을 나타낸 것이다. Figure 20 shows another document fingerprint matching technique in accordance with an embodiment of the present invention. 도 20에 도시한 "다중 분류자(multiple classifier)"는 서로 다른 피쳐 기술들을 독립적으로 분류하고 그 결과를 결합함으로써 서로 다른 피쳐 기술들의 상보적 정보를 이용한다. By a "multi-classifier (multiple classifier)" they are classified as independent different technical feature shown in Figure 20 and combining the result is used for the complementary information of different feature technology. 텍스트 패치 정합에 적용되는 이 패러다임의 일례는 수평으로 및 수직으로 인접해 있는 단어쌍의 길이를 추출하고 데이터베이스 내의 패치들의 순위를 개별적으로 계산하는 것이다. An example of this paradigm applied to text patch matching is extracting the lengths of word pairs which are adjacent horizontally and vertically, and calculates a ranking of the patches in the database separately. 보다 상세하게는, 예를 들어, 하나 이상의 실시예들에서, 피쳐들의 위치가 분류 모델(720)에 부속하는 "분류자"에 의해 결정된다. In more detail, e.g., in one or more embodiments, the locations of features are determined by the "classifier" pertaining to the classification model 720. 캡처된 이미지는 캡처된 이미지의 수평 및 수직 피쳐들을 결정하기 위해 분류자들의 조합을 사용하여 핑거프린팅(fingerprint)된다. The captured image is fingerprinting (fingerprint) by using a combination of classifiers for determining horizontal and vertical features of the captured image. 이것은 텍스트의 이미지가 그의 ID에 관한 2개의 독립적인 정보 소스를 포함한다는 관찰을 바탕으로 수행된다. This is done based on the observation that the image of the text contains two independent sources of information on his ID. 수평의 단어 시퀀스에 부가하여, 단어들의 수직 레이아웃도 또한 이미지가 추출된 문서를 식별하기 위해 사용될 수 있다. In addition to the word sequence of the horizontal, the vertical layout of the words can also be used to identify the document which the image was extracted. 예를 들어, 도 21에 도시된 바와 같이, 캡처된 이미지(2110)는 수평 분류자(2112) 및 수직 분류자(2114)에 의해 분류된다. For example, the captured image 2110 as shown in Figure 21 is classified by a horizontal classifier 2112 and the vertical classifier 2114. 분류자(2112, 2114) 각각은, 캡처된 이미지를 입력하는 것에 부가하여, 데이터베이스(3400)로부터 정보를 받고 차례로 각자의 분류가 적용될 수 있는 이들 문서 페이지의 순위를 출력한다. Each classifier (2112, 2114) are, in addition to inputting the captured image, and outputs the rank of these document pages with each classification can be applied in order to receive information from a database 3400. 환언하면, 도 21에 도시된 다중-분류자 기법은 수평 및 수직 피쳐를 사용하여 캡처된 이미지를 독립적으로 분류한다. In other words, the multiple shown in Figure 21 - Scheme classifier classifies a captured image using horizontal and vertical features independently. 순위가 매겨진 문서 페이지들의 리스트가 이어서 결합 알고리즘(2118)에 따라 결합되고, 차례로 순위가 매겨진 문서 페이지들의 리스트를 출력하며, 이 리스트는 캡처된 이미지(2110)의 수평 및 수직 피쳐들 둘다에 기초한다. Are coupled according to the list of the then combining algorithm 2118 of document pages are ranked, in turn, and rank the numbered output a list of document pages, the list is based on both the horizontal and vertical features of the captured image 2110 . 상세하게는, 하나 이상의 실시예들에서, 수평 분류자(2112) 및 수직 분류자(2114)로부터의 개별적인 순위가 검출된 피쳐들이 데이터베이스(3400)에서 어떻게 공존하는지에 관한 정보를 사용하여 결합된다. Specifically, is coupled to in one or more embodiments, the horizontal classifier 2112 and the individual ranking features detected from the vertical classifier 2114 are used for information regarding how to co-exist in the database 3400.

이제부터, 도 22를 참조하여, 피쳐 추출을 위해 수직 레이아웃이 어떻게 수평 레이아웃과 통합되는지의 일례를 나타낸 것이다. And from now on, referring to Figure 22, how the vertical layout for feature extraction illustrates an example of the integrated with horizontal layout. (a)에서, 단어 경계선을 갖는 캡처된 이미지(2200)가 도시되어 있다. It is in (a), a captured image 2200 with word boundary is shown. 캡처된 이미지(2200)로부터, 수평 및 수직 "n-그램(n-gram)"이 결정된다. Captured from the image 2200, it is determined horizontal and vertical "n- grams (n-gram)". "n-그램"은 n개의 숫자의 시퀀스이며, 각각의 숫자 는 어떤 특성의 양을 나타낸다. "N- gram" is a sequence of n numbers, each number indicates the quantity of some characteristic. 예를 들어, 수평 트라이그램은 3개의 단어로 된 수평 시퀀스의 각각의 단어에서의 문자들의 수를 규정한다. For example, a horizontal trigram specifies the number of characters in the horizontal sequence of three words each word. 예를 들어, 캡처된 이미지(2200)의 경우, (b)는 수평 트라이그램들, 즉 5-8-7(캡처된 이미지(2200)의 첫번째 라인에서의 수평으로 있는 일련의 단어 "upper", "division" 및 "courses" 각각에서의 문자의 수), 7-3-5(캡처된 이미지(2200)에서의 두번째 라인에서의 수평으로 있는 일련의 단어 "Project", "has" 및 "begun" 각각에서의 문자의 수), 3-5-3(캡처된 이미지(2200)의 두번째 라인에서의 수평으로 있는 일련의 단어 "has", "begun" 및 "The" 각각에서의 문자의 수), 3-3-6(캡처된 이미지(2200)의 세번째 라인에서의 수평으로 있는 일련의 단어 "461", "and" 및 "permit" 각각에서의 문자의 수) 및 3-6-8(캡처된 이미지(2200)의 세번째 라인에서의 수평으로 있는 일련의 단어 "and", "permit" 및 "projects" 각각에서의 문자의 수)을 나타낸 것이다. For example, for the captured image (2200), (b) is a horizontal trigrams, that is 5-8-7 (a series of words in a horizontal line of the captured image of the first (2200) "upper", "division" and "courses") of the character in each word of the series 7-3-5 horizontally in the second line of the (captured image (2200) "Project", "has" and "begun" the number of characters in each), 3-5-3 sequence of words in a horizontal line in the second (the captured image (2200) "has", the number of characters in each "begun" and "the"), the 3-3-6 (a series of words in a horizontal line in the third of the captured image (2200) "461", "and" and "permit" the number of characters in each) and 3-6-8 (capture a series of words in a horizontal line in the third image (2200) "and", "permit" and "projects" shows the number of characters) in each.

수직 트라이그램들은 주어진 단어의 위아래쪽에 있는 수직 단어 시퀀스의 각각의 단어에서의 문자의 수를 규정한다. Vertical trigrams are specifies the number of characters in each word of a vertical sequence of words above and below on the side of a given word. 예를 들어, 캡처된 이미지(2200)의 경우, (c)는 수직 트라이그램들, 5-7-3(수직으로 있는 일련의 단어 "upper", "Project" 및 "461" 각각에서의 문자의 수), 8-7-3(수직으로 있는 일련의 단어 "division", "Project" 및 "461" 각각에서의 문자의 수), 8-3-3(수직으로 있는 일련의 단어 "division", "has" 및 "and" 각각에서의 문자의 수), 8-3-6(수직으로 있는 일련의 단어 "division", "has" 및 "permit" 각각에서의 문자의 수), 8-5-6(수직으로 있는 일련의 단어 "division", "begun" 및 "permit" 각각에서의 문자의 수), 8-5-8(수직으로 있는 일련의 단어 "division", "begun" 및 "projects" 각각에서의 문자의 수 ), 7-5-6(수직으로 있는 일련의 단어 "courses", "begun" 및 "permit" 각각에서의 문자의 수), 7-5-8(수직으로 있는 일련의 단어 "courses", "begun" 및 "projects" 각각에서의 문자의 수), 7-3-8(수직으로 있는 일련의 단어 "courses", "The" For example, for the captured image (2200), (c) is a vertical trigrams in, 5-7-3 (sequence of words in the vertical "upper", "Project", and "461" characters in each number), 8-7-3 (number of characters in a series of words in a vertical "division", "Project" and "461", respectively), 8-3-3 (a series of words in a vertical "division", "has" and "and" the number of characters in each), 8-3-6 (number of characters in a series of words in a vertical "division", "has" and "permit", respectively), 8-5- 6 (a series of words in a vertical "division", "begun" and "permit" the number of characters in each), 8-5-8 (a series of words in a vertical "division", "begun" and "projects" the number of characters in each), 7-5-6 (number of characters in a series of words in a vertical "courses", "begun" and "permit", respectively), 7-5-8 (in a series of vertical the word "courses", "begun" and "projects") of the characters in each, 7-3-8 (a series of words in a vertical "courses", "the" 및 "projects" 각각에서의 문자의 수), 7-3-7(수직으로 있는 일련의 단어 "Project", "461" 및 "student" 각각에서의 문자의 수), 및 3-3-7(수직으로 있는 일련의 단어 "has", "and" 및 "student" 각각에서의 문자의 수)을 나타낸 것이다. And "projects" number of characters in each), 7-3-7 (number of characters in a series of words in a vertical "Project", "461" and "student", respectively), and 3-3-7 ( a series of words in a vertical "has", "and" and "student" shows the number of characters) in each.

도 22에 도시한 캡처된 이미지(2200)로부터의 결정된 수평 및 수직 트라이그램에 기초하여, 수평 및 수직 트라이그램들 각각을 포함하는 문서들을 나타내는 문서들의 리스트 (d) 및 (e)가 생성된다. One based on the determined horizontal and vertical trigrams from the captured image 2200, the list (d) and (e) of the documents representing the document including the horizontal and vertical trigrams each are generated as shown in Fig. 예를 들어, (d)에서, 수평 트라이그램 7-3-5는 문서(15, 22, 134)에서 발생한다. For example, in, (d), the horizontal trigram 7-3-5 occurs in documents (15, 22, 134). 게다가, 예를 들어, (e)에서, 수직 트라이그램 7-5-6은 문서(15, 17)에서 발생한다. In addition, for example, in, (e), the vertical trigram 7-5-6 occurs in documents 15 and 17. (d) 및 (e)의 문서 리스트를 사용하여, 모든 참조된 문서들의 순위가 매겨진 리스트가 각각 (f) 및 (g)에 도시되어 있다. (D) and it may use the list of documents (e), a ranked list of all the referenced documents are numbered as shown in each of (f) and (g). 예를 들어, (f)에서, 문서(15)는 (d)에 있는 5개의 수평 트라이그램에 의해 참조되는 반면, 문서(9)는 (d)에 있는 하나의 수평 트라이그램에 의해서만 참조된다. For example, in (f), document 15 is, while being referenced by five horizontal trigrams in (d), the document 9 is only referenced by one horizontal trigram in (d). 게다가, 예를 들어, (g)에서, 문서(15)는 (e)에서 11개 수직 트라이그램에 의해 참조되는 반면, 문서(18)는 (e)에서 하나의 수직 트라이그램에 의해서만 참조된다. In addition, for example, in, (g), document 15 is only referenced by one vertical trigram in (e), while referenced by eleven vertical trigrams in, article 18 (e).

이제부터 또한 도 23을 참조하면, 동 도면은 도 22를 참조하여 기술한 수평 및 수직 트라이그램 정보를 결합하는 기법을 나타낸 것이다. If from now on also with reference to Figure 23, the figure shows a technique for combining the horizontal and vertical trigram information described with reference to FIG. 이 기법은 원래의 인쇄된 페이지 상의 트라이그램들의 기지의 물리적 위치에 관한 정보를 사용하여 수 평 및 수직 피쳐 추출로부터의 투표(vote)의 리스트를 결합한다. This technique combines the lists of votes (vote) from the horizontal and vertical feature extraction using information about the physical location of trigrams on the original printed pages of the base. 수평 및 수직 분류자들 각각에 의해 출력되는 상위 M개의 선택요소들 중에 공통인 모든 문서에 대해, 그 문서에 투표한 모든 수평 트라이그램의 위치가 그 문서에 투표한 모든 수직 트라이그램의 위치와 비교된다. For all documents that are common among the horizontal and the top M selected element to be output by the vertical classifier, respectively, the location of every horizontal trigram that voted for that document compared to the location of every vertical trigram that voted for that document do. 문서는 임의의 수직 트라이그램과 중첩하는 수평 트라이그램의 수와 같은 투표수를 받으며, 여기서 "중첩"은 2개의 트라이그램의 경계 박스가 중첩할 때 일어난다. Document receives a number of votes equal to the number of horizontal trigrams that overlap any vertical trigram, where "overlapping" occurs when the bounding boxes overlap of two trigrams. 그에 부가하여, 중첩의 중심의 xy 위치가 도 34a의 3406을 참조하여 이하에 기술되는 증거 누적 알고리즘의 적절히 수정된 버전에 의해 카운트된다. In addition, the xy position of the center of the overlap is counted by a suitably modified version of the evidence accumulation algorithm described below with reference to 3406 of Figure 34a. 예를 들어, 도 23에 나타낸 바와 같이, 수평 및 수직 트라이그램 둘다에 의해 참조되는 페이지들의 리스트(c)를 결정하기 위해 (a) 및 (b)(각각 도 22의 (f) 및 (g))에 있는 리스트의 교집합이 구해진다. For example, as shown in Figure 23, to determine the list of (c) of the page that is referenced by both the horizontal and vertical trigram (a) and (b) (Fig. 22 (f) and (g of each) the intersection of the list on) is obtained. 교집합 리스트 (c), 리스트 (d) 및 (e)(식별된 트라이그램에 의해 참조된 교집합 문서들만을 나타냄), 그리고 인쇄된 문서 데이터베이스(3400)를 사용하여, 문서들의 중첩이 결정된다. Using the intersection list (c), lists (d) and (e) the (indicating only the intersected documents referred to by the identified trigrams), and a printed document database 3400, an overlap of documents is determined. 예를 들어, 문서(6)은 수평 트라이그램 3-5-3 및 수직 트라이그램 8-3-6에 의해 참조되고, 이들 2개의 트라이그램 자체는 캡처된 이미지(2200)에서의 단어 "has"에서 중첩하고, 따라서 문서(6)는 하나의 중첩에 대해 하나의 투표를 받는다. For example, document 6 is the word in the horizontal trigram 3-5-3 and by vertical trigram 8-3-6, and reference, the two trigrams themselves are captured image (2200) "has" overlap, and thus document 6 receives one vote for the one overlap. (f)에 나타낸 바와 같이, 특정의 캡처된 이미지(2200)의 경우, 문서(15)는 가장 많은 투표를 받으며, 따라서 캡처된 이미지(2200)를 포함하는 문서인 것으로 식별된다. As shown in (f), a particular case of the image 2200 captured, the document 15 is identified as the document containing the receives the most votes, so captured image 2200. (x1,y1)은 문서(15) 내의 입력 이미지의 위치로서 식별된다. (X1, y1) is identified as the location of the input image in a document (15). 이와 같이, 도 22 및 도 23을 참조하여 상기한 문서 지문 정합 기법의 요약에서, 수평 분류자는 텍스트의 단어들의 수평 배열로부터 도출된 피쳐들을 사용하고, 수직 분류자는 그 단어들 의 수직 배열로부터 도출된 피쳐들을 사용하며, 이들 결과가 원래의 문서에서의 그 피쳐들의 중첩에 기초하여 결합된다. Thus, Fig. 22 and in the summary of the document fingerprint matching technique with reference to Figure 23, The horizontal classifier and uses features derived from the horizontal arrangement of the text word, the vertical classifier derived from the vertical arrangement of those words using the features, and these results are combined based on the overlap of those features in the original documents. 이 피쳐 추출의 수평 측면이 적절한 문법 및 언어의 제약조건을 받는 반면, 수직 측면이 이러한 제약조건을 받지 않는다는 점에서, 이러한 피쳐 추출은 문서들을 일의적으로 식별하는 메커니즘을 제공한다. Whereas under the constraints of the horizontal side of the proper grammar and language of the feature extraction, in that the vertical side does not receive these constraints, this feature extraction provides a mechanism to identify the document uniquely.

게다가, 도 22 및 도 23과 관련한 설명이 트라이그램의 사용과 관련되어 있지만, 수평 및 수직 피쳐 추출/분류 중 하나 또는 그 둘다에 대해 임의의 n-그램이 사용될 수 있다. In addition, Figure 22, and description is related to the use of trigrams, but with respect to FIG. 23, any of n- grams may be used for one or both of horizontal and vertical feature extraction / classification. 예를 들어, 하나 이상의 실시예에서, 수직 및 수평 n-그램(단, n=4)은 다중-분류자 피쳐 추출에 사용될 수 있다. For example, in one or more embodiments, vertical and horizontal n- gram (where, n = 4) is a multi-classifier feature extraction may be used for. 하나 이상의 다른 실시예들에서, 수평 분류자는 n-그램(단, n=3)에 기초하여 피쳐를 추출할 수 있는 반면, 수직 분류자는 n-그램(단, n=5)에 기초하여 피쳐를 추출할 수 있다. In one or more other embodiments, on the other hand to extract features on the basis of the level classification The n- gram (where, n = 3), The vertical classifying the feature based on the n- gram (where, n = 5) It can be extracted.

게다가, 하나 이상의 실시예들에서, 분류가 엄격히 말해 수직 또는 수평이 아닌 인접 관계(adjacency relationship)에 기초할 수 있다. Further, in one or more embodiments, classification may be based strictly on a neighbor relationship (adjacency relationship) than the vertical or horizontal. 예를 들어, NW, SW, NW 및 SE 인접 관계가 추출/분류에 사용될 수 있다. Can be used, for example, the NW, SW, NW, and SE adjacency relationships extraction / classification.

도 24는 본 발명의 일 실시예에 따른 다른 문서 지문 정합 기법을 나타낸 것이다. Figure 24 shows another document fingerprint matching technique in accordance with an embodiment of the present invention. 도 24에 도시된 "데이터베이스-위주 피드백(database-driven feedback)" 기법은 입력과 정합할 수 있는 문서들의 이미지를 이용하여 원시 이미지로부터의 서브-이미지가 입력 이미지와 정합되는 이미지 분석의 후속 단계를 결정함으로써 문서 이미지 정합 시스템의 정확도가 향상될 수 있다는 것을 고려한다. Also the "database-driven feedback (database-driven feedback)" shown in 24 to techniques using the image of the document to match the input sub from the raw images - a subsequent step of image analysis of the image is matched with the input image It considers that the decision by the accuracy of the document image matching system can be improved. 이 기법은 입력 이미지에 존재하는 노이즈를 복제하는 변환을 포함한다. The technique includes a transformation that duplicates the noise present in the input image. 이것은 템플릿 정합 분석이 뒤따를 수 있다. This may be the template matching analysis will follow.

도 25는 본 발명의 일 실시예에 따른 데이터베이스-위주 피드백에 대한 흐름 프로세스를 나타낸 것이다. 25 is a database in accordance with one embodiment of the present invention shows a flow process for a driven feedback. 입력 이미지 패치는 먼저 상기한 바와 같이 (예를 들어, 단어 OCR 및 단어쌍 탐색, 문자 OCR 및 문자쌍 탐색, 단어 경계 박스 구성을 사용하여) 단계(2510, 2512)에서 전처리되고 인식되어 이미지 패치(2522)의 식별을 위한 다수의 후보를 생성한다. An input image patch is first pre-processing and recognition (e. G., Word OCR and word pair lookup, character OCR and character pair lookup, using a word bounding box configuration) stage (2510, 2512) image patch, as described above ( It generates a plurality of candidates for the identification of 2522). 이 리스트 내의 각각의 후보는 이하의 항목 (doci, pagei, xi, yi)를 포함할 수 있으며, 여기서 doci는 문서의 식별자이고, pagei는 문서 내의 페이지이며, (xi,yi)는 그 페이지 내의 이미지 패치의 중심의 xy 좌표이다. Each candidate in this list may include the following items (doci, pagei, xi, yi), where doci is an identifier for a document, pagei a page within the document, (xi, yi) are the images in the page the xy coordinates of the center of the patch.

원시 패치 검색 알고리즘은 단계(2514)에서 기지의 공간 해상도, 예를 들어, 100dpi로 변환되도록 하기 위해 선택에 따라서는 페이지로부터의 거리에 관한 정보를 사용하여 입력 이미지 패치 전체의 크기를 고정된 크기로 정규화한다. The pristine patch retrieval algorithm space of the base in step 2514 resolution, for example, the selection to be converted to 100dpi therefore has a fixed size, the size of the entire input image patch with the information about the distance from the page It normalizes. 상기한 폰트 크기 추정 알고리즘이 이 작업에 적합할 수 있다. Above there is the font size estimation algorithm may be suitable for this task. 이와 유사하게, 공지의 초점으로부터의 거리 또는 초점으로부터의 깊이 기법이 사용될 수 있다. Similarly, the technique can be used from a distance or depth of focus from the focus bulletin. 또한, 크기 정규화는 그의 단어 경계 박스의 높이에 기초하여 이미지 패치를 비례 스케일링할 수 있다. Also, size normalization can proportionally scale the image patches based on the heights of their word bounding boxes.

원시 패치 검색 알고리즘은 MMR 데이터베이스가 발생하는 패치에 대한 경계 박스의 중심과 함께 수신하는 각각의 문서 및 페이지에 대한 식별자를 갖는 MMR 데이터베이스(3400)에 질의를 한다. The pristine patch retrieval algorithm queries the MMR database 3400 with the identifier for each document and the page received with the center of the bounding box for the patch that the MMR database occurs. 발생된 패치의 범위는 정규화된 입력 패치의 크기에 기초한다. Extent of the generated patch is based on the size of the normalized input patch. 이러한 방식으로, 동일한 공간 해상도 및 차원의 패치가 획득될 수 있다. In this way, the same spatial resolution and dimensions patch can be obtained. 예를 들어, 100dpi로 정규화될 때, 입력 패치는 그의 중심의 양측에서 50 픽셀 확장될 수 있다. For example, when normalized to 100dpi, the input patch can be expanded to 50 pixels in the center of its opposite sides. 이 경우에, MMR 데이터베이스는 지정된 xy 값에 중심이 있는 100 픽셀 높이 및 폭인 100dpi 원시 패치를 발생하도록 지시받는다. In this case, MMR database is instructed to generate a 100 pixel height and width 100dpi pristine patch that is centered on the specified xy values.

MMR 데이터베이스(2524)로부터 반환된 각각의 원시 이미지 패치가 이하의 항목들(doci, pagei, xi, yi, widthi, heighti, actioni)과 연관될 수 있으며, 여기서 (doci, pagei, xi, yi)는 상기한 바와 같고, widthi 및 heighti는 원시 패치의 폭 및 높이(단위: 픽셀)이고, actioni는 데이터베이스 내의 doci 엔트리 내의 대응하는 영여과 연관될 수 있는 선택적인 동작이다. MMR and each raw image patch returned from the database 2524 may be associated with the following items (doci, pagei, xi, yi, widthi, heighti, actioni), where (doci, pagei, xi, yi) is It is as above, and widthi heighti the width and height of the pristine patch in pixels, and, actioni is an optional action that may be associated to the corresponding zero filter in doci entries in the database. 원시 패치 검색 알고리즘은 그가 구성한 크기 정규화된 입력 패치와 함께 이미지 패치 및 데이터의 리스트를 출력(2518)한다. The pristine patch retrieval algorithm outputs 2518 a list of image patches and data with the size normalized input patch he constructed.

게다가, 하나 이상의 실시예들에서, 패치 정합 알고리즘(2516)은 크기 정규화된 입력 패치를 각각의 원시 패치와 비교하고, 이들이 서로 얼마나 잘 정합하는지를 나타내는 점수를 할당(2520)한다. Further, in one or more embodiments, the patch matching algorithm 2516 compares the size normalized input patch to each pristine patch and assigns 2520 a score indicating how well they match each other. 당업자라면 패치들의 크기가 비슷하도록 하기 위해 사용되는 메커니즘으로 인해 해밍 거리에 대한 단순 교차 상관이 많은 경우에 만족된다는 것을 잘 알 것이다. Those skilled in the art will appreciate that due to the mechanism used to ensure that similar to the size of the patch satisfies many simple cross correlation to a Hamming distance cases. 게다가, 이 프로세스는 입력에서 검출된 이미지 노이즈와 흡사한 노이즈를 원시 패치에 유입시키는 것을 포함할 수 있다. In addition, the process may include introducing a similar noise and image noise detected in the input to the pristine patches. 이 비교는 또한 아주 복잡할 수 있으며 2개의 패치의 OCR 결과 및 문자, 문자쌍 또는 단어쌍의 숫자에 기초한 순위를 비롯한 임의의 피쳐 세트의 비교를 포함할 수 있으며, 이들 쌍은 이전과 같이 기하학적 관계에 의해 제약될 수 있다. This comparison can also be very complex and can include a comparison of the two patches of OCR results and letters, pairs of letters or word pairs arbitrary feature set, including a ranking based on the number of these pairs geometric relationship as before by it may be constrained. 그렇지만, 이 경우에, 입력 패치와 원시 패치 간에 공통인 기하학적 쌍의 수가 추정되고 순위 메트릭으로서 사용될 수 있다. However, in this case, the number of geometric pairs in common between the input patch and the pristine patch is estimated may be used as a ranking metric.

게다가, 출력(2520)은 n-튜플(doci, pagei, xi, yi, actioni, scorei)의 형태일 수 있으며, 여기서 점수는 패치 정합 알고리즘에 의해 제공되고 입력 패치가 doci, pagei의 대응하는 구역과 얼마나 잘 정합하는지를 나타낸다. In addition, the output 2520 may be in the form of n- tuples (doci, pagei, xi, yi, actioni, scorei), where the score of the corresponding zone to doci, pagei provided and the input patch by the patch matching algorithm and It represents how well matched.

도 26은 본 발명의 일 실시예에 따른 다른 문서 지문 정합 기법을 나타낸 것이다. Figure 26 shows another document fingerprint matching technique in accordance with an embodiment of the present invention. 도 26에 나타낸 바와 같이 "데이터베이스-위주 분류자" 기법은 입력 이미지를 포함할 수 있는 일련의 가설을 발생하기 위해 초기 분류(initial classification)를 사용한다. As shown in Figure 26, the "database-driven classifier" technique uses an initial classification (initial classification) to generate a set of hypotheses, which may include the input image. 이들 가설은 데이터베이스(3400)에서 탐색되며, 피쳐 추출과 분류 전략이 이들 가설에 대해 자동적으로 설계된다. These hypotheses will be discovered in the database 3400, the feature extraction and classification strategy is automatically designed for those hypotheses. 일례는 입력 패치를 Times 또는 Arial 폰트를 포함하는 것으로 식별하는 것이다. An example is identifying an input patch as containing a Times or Arial font. 이 경우에, 제어 구조(714)는 serif/san serif 구별을 위한 특수한 피쳐 추출기 및 분류자를 호출한다(invoke). In this case, the control structure 714 invokes the special feature extraction and classification for serif / san serif distinct (invoke).

도 27은 본 발명의 일 실시예에 따른 데이터-위주 분류를 위한 흐름 프로세스를 나타낸 것이다. 27 is data according to one embodiment of the invention shows a flow process for an oriented classification. 제1 피쳐 추출(2710) 이후에, 문서, 페이지, 및 그 페이지들 내에서의 xy 위치의 순위를 생성하기 위해 상기한 인식 방법들 중 임의의 하나 이상에 의해 입력 이미지 패치가 분류(2712)된다. First after the feature extraction 2710, document, page, and the page of the input image patch by any one or more of the above-mentioned recognition methods to create a ranking of the xy position in the classified 2712 . 이 리스트에서의 각각의 후보는, 예를 들어, 이하의 항목 (doci, pagei, xi, yi)을 포함할 수 있으며, 여기서 doci는 문서에 대한 식별자이고, pagei는 문서 내의 페이지이며, (xi, yi)는 그 페이지 내에서의 이미지 패치의 중심의 xy 좌표이다. Each candidate in this list are, for example, can include the following items (doci, pagei, xi, yi), and, where doci is an identifier for a document, pagei a page within the document, (xi, yi) is the xy coordinates of the center of the image patch within that page. 도 25를 참조하여 기술되는 원시 패치 검색 알고리즘(2714)은 각각의 후보에 대한 패치 이미지를 발생하는 데 사용될 수 있다. FIG pristine patch retrieval algorithm (2714) described with reference to 25 may be used to generate a patch image for each candidate.

여전히 도 27을 참조하면, 제2 피쳐 추출이 원시 패치(2716)에 적용된다. Still referring to Figure 27, a second feature extraction is applied to the pristine patches (2716). 이것은 제1 피쳐 추출과 다를 수 있으며, 예를 들어, 폰트 검출 알고리즘, 문자 인식 기법, 경계 박스, 및 SIFT 피쳐 중 하나 이상을 포함할 수 있다. This can differ from the first feature extraction and may include, for example, a font detection algorithm, a character recognition technique, bounding boxes, and one or more of the SIFT features. 각각의 원시 패치에서 검출되는 피쳐들은, 예를 들어, 미지의 샘플들을 원치 패치들 중 하나로 분류하도록 설계되어 있는 신경망, 지원 벡터 머신, 및/또는 최근접 이웃 분류자를 포함하는 자동 분류자 설계 방법(2720)에 입력된다. Features detected in each pristine patch may include, for example, automatic classifier design method, including the neural networks, support vector machines, and / or the nearest neighbor classification is designed to be classified as one of the unwanted patch samples of unknown ( is input to the 2720). 동일한 제2 피쳐 추출이 입력 이미지 패치에 적용(2718)될 수 있으며, 그가 검출하는 피쳐들이 원시 패치에 대해 전문화되어 있을 수 있는 이 새로 설계된 분류자에 입력된다. And the same second feature extraction may be applied 2718 to the input image patch is input to the classifier, a new design is that he may have the feature that they detect are specialized for the pristine patches.

출력(2724)은 n-튜플(doci, pagei, xi, yi, actioni, scorei)의 형태일 수 있으며, 여기서 점수는 2720에 의해 자동적으로 설계된 분규 기법(2722)에 의해 제공된다. An output (2724) may be in the form of n- tuples (doci, pagei, xi, yi, actioni, scorei), where the score is provided by the automatic mechanism strikes 2722 designed by 2720. 당업자라면 점수가 입력 패치가 doci, pagei의 대응하는 구역과 얼마나 잘 정합하는지를 나타낸다는 것을 잘 알 것이다. Those skilled in the art will appreciate that the score of the input patch that indicates whether the corresponding how well matched the zone of doci, pagei.

도 28은 본 발명의 일 실시예에 따른 다른 문서 지문 정합 기법을 나타낸 것이다. Figure 28 shows another document fingerprint matching technique in accordance with an embodiment of the present invention. 도 28에 도시한 "데이터베이스-위주 다중 분류자(database-driven multiple classifier)" 기법은 결정 프로세스 전체에 걸쳐 다수의 후보를 전달함으로써 인식 프로세스에서 조기에 복원가능하지 않은 에러의 가능성을 감소시킨다. Also a "database-driven multiple classifier (database-driven multiple classifier)" shown in scheme 28, by passing a plurality of candidates throughout the decision process reduces the likelihood of non-restored early in the recognition process error. 몇가지 초기 분류가 수행된다. A few initial classification is performed. 각각은 서로 다른 피쳐 추출 및 분류에 의해 구별될 수 있는 입력 패치의 서로 다른 순위를 발생한다. Each generates a different ranking of the input patch that can be distinguished from each other by different feature extraction and classification. 예를 들어, 그 세트들 중 하나가 수평 n-그램에 의해 발생될 수 있고 serif를 san-serif와 구별함으로써 일의적으로 인식될 수 있다. For example, it can be generated by the horizontal n- grams of one of the set and can be uniquely recognized by discriminating serif and san-serif. 다른 예는 수직 n-그램에 의해 발생될 수 있고 라인 간격의 정확한 계산으로 일의적으로 인식될 수 있다. Other examples can be uniquely recognized by accurate calculation of line space can be generated and by the vertical n- grams.

도 29는 본 발명의 일 실시예에 따른 데이터베이스-위주 다중 분류를 위한 흐름 프로세스를 나타낸 것이다. 29 is a database in accordance with one embodiment of the present invention shows a flow process for multi-driven classification. 이 흐름 프로세스는 도 27에 나타낸 것과 유사하지만, 다수의 서로 다른 피쳐 추출 알고리즘(2910, 2912)을 사용하여 분류자(2914, 2916)로 입력 이미지 패치의 독립적인 순위를 생성한다. The flow process generates independent rankings of the input image patch to a similar, plurality of each category by using a different feature extraction algorithms (2910, 2912) character (2914, 2916) as shown in Fig. 피쳐들 및 분류 기법들의 예는 상기한 수평 및 수직 단어-길이 n-그램을 포함한다. Examples of features and classification techniques are the horizontal and vertical word-length comprises the n- grams. 각각의 분류자는 각각의 후보에 대해 적어도 이하의 항목들 (doci, pagei, xi, yi, scorei)을 포함하는 순위가 매겨진 패치 ID 리스트를 생성할 수 있으며, doci는 문서에 대한 식별자이고, pagei는 문서 내의 페이지이며, (xi,yi)는 그 페이지 내에서의 이미지 패치의 중심의 xy 좌표이고, scorei는 입력 패치가 데이터베이스 문서 내의 대응하는 위치와 얼마나 잘 정합하는지를 나타낸다. Each classifier may produce a patch ID list ranked numbered, including at least the following items (doci, pagei, xi, yi, scorei) for each candidate and, doci is an identifier for a document, pagei a page within the document, (xi, yi) is the xy coordinates of the center of the image patch within that page, scorei shows whether how well the input patch matches the corresponding location in the database to the document.

도 25를 참조하여 상기한 원시 패치 검색 알고리즘은 2914 및 2916의 출력에서 패치 ID 리스트에서의 엔트리에 대응하는 일련의 원시 이미지 패치를 생성하는 데 사용될 수 있다. To FIG. 25 described above with pristine patch retrieval algorithm it may be used to generate a set of pristine image patches that correspond to the entries in the list in the output patch ID of 2914 and 2916. 제3 및 제4 피쳐 추출(2918, 2920)은 도 27에서 상기한 바와 같이 자동적으로 설계되고 적용되는 원시 패치 및 분류자에 이전과 같이 적용될 수 있다. Third and fourth feature extraction (2918, 2920) can be applied as before to the pristine patches and classifiers automatically designed and applied which, as described above in Fig.

여전히 도 29를 참조하면, 이들 분류자에 의해 생성된 순위들이 결합되어 엔트리(doci, pagei, xi, yi,)(단, i=1...후보의 수)를 갖는 단일의 순위(2924)를 생성하며, 여기서 각각의 엔트리에서의 값들은 상기한 바와 같다. Still referring to Figure 29, the rankings produced by those classifiers are combined entries (doci, pagei, xi, yi,) of the single rank (2924) having a (where, i = 1 ... number of candidates) It generates, in which values ​​in each entry are as described above. 예를 들어, 2개의 순위에서의 그의 공통의 위치에 기초하여 항목에 점수를 할당하는 공지의 Borda 카 운트 척도에 의해 순위 결합(ranking combination)(2922)이 수행될 수 있다. For example, the ranking may be performed combining (ranking combination) (2922) by a known Borda count measure that assigns a score to the item based on the its common position in the two rankings. 이것은 개개의 분류자에 의해 할당된 점수와 결합되어 합성 점수를 생성할 수 있다. This is combined with the score assigned by the individual classifiers may generate a composite score. 게다가, 당업자라면 다른 순위 결합 방법이 사용될 수 있다는 것을 잘 알 것이다. Moreover, those skilled in the art will recognize that other methods can be combined ranking.

도 30은 본 발명의 일 실시예에 따른 다른 문서 지문 정합 기법을 나타낸 것이다. Figure 30 shows another document fingerprint matching technique in accordance with an embodiment of the present invention. 도 30에 도시된 "비디오 시퀀스 이미지 누적(video sequence image accumulation)" 기법은 근방의 또는 인접한 프레임들로부터의 데이터를 통합함으로써 이미지를 구성한다. By also the "video sequence image accumulation (video sequence image accumulation)" shown in Scheme 30 integrates the data from the vicinity of or adjacent frames to make up the image. 한 예는 "수퍼-해상도(super-resolution)"를 포함한다. One example - and a "super resolution (super-resolution)". 이는 N개의 시간적으로 인접한 프레임들을 등록하고 렌즈의 점 퍼짐 함수(point spread function)에 대해 아는 것를 사용하여 본질적으로 서브-픽셀 엣지 향상(sub-pixel edge enhancement)이 되는 것을 수행한다. This register adjacent frame into N time and uses knowledge of the point spread function geotreul (point spread function) of the lens essentially a sub-pixel that performs edge enhancement (sub-pixel edge enhancement). 그 효과는 이미지의 공간 해상도를 향상시키는 것이다. The effect is to improve the spatial resolution of the image. 게다가, 하나 이상의 실시예들에서, 수퍼-해상도 방법은 구멍, 모서리 또는 도트 등의 텍스트-관련 피쳐들을 강조하도록 전문화될 수 있다. Further, in one or more embodiments, the super-resolution method is a text, such as holes, edges, or the dot may be specialized to emphasize features relevant. 추가적인 확장은 수퍼-해상도 통합 기능을 전문화하기 위해 데이터베이스(3400)로부터 결정되는 후보 이미지 패치의 특성들을 사용한다. Additional extensions are super-use characteristics of a candidate image patches is determined from a database 3400 to specialize in the resolution of integration.

도 31은 본 발명의 일 실시예에 따른 다른 문서 지문 정합 기법을 나타낸 것이다. Figure 31 shows another document fingerprint matching technique in accordance with an embodiment of the present invention. 도 31에 도시된 "비디오 시퀀스 피쳐 누적(video sequence feature accumulation)" 기법은 결정을 하기 이전에 다수의 시간적으로 인접한 프레임들에 걸쳐 피쳐들을 누적한다. Also the "video sequence feature accumulation (video sequence feature accumulation)" shown in scheme 31 accumulates features over prior to the determining a number of temporally adjacent frames. 이것은 캡처 장치의 높은 샘플링 레이트(예를 들어, 초당 30 프레임) 및, 캡처 장치를 적어도 몇초 동안 문서 상의 동일한 점으로 향한 상태로 있게 하는 사용자의 의도를 이용한다. This is the high sampling rate of a capture device uses the user's intention to make a state toward the same point on a document while (e.g., 30 frames per second), and the capture device, at least a few seconds. 각각의 프레임 상에서 독립적으로 피쳐 추출이 수행되고, 그 결과들이 결합되어 하나의 통합된 피쳐 맵을 생성한다. It is independently performed on each frame of the feature extraction, as a result, are combined to generate a single unified feature map. 이 결합 프로세스는 묵시적인 등록 단계를 포함한다. The combine process includes an implicit registration step. 텍스트 패치의 비디오 클립의 조사 시에 이 기법이 필요하다는 것이 곧 명백해진다. It is necessary that this technique when investigating a video clip of a text patch soon becomes apparent. 통상적인 캡처 장치에서의 자동-초점 및 콘트라스트 조정이 인접한 비디오 프레임에서 상당히 서로 다른 결과를 야기할 수 있다. Automatically in a conventional capture device, the focus and contrast adjustment can lead to significantly different results in adjacent video frames.

도 32는 본 발명의 일 실시예에 따른 다른 문서 지문 정합 기법을 나타낸 것이다. Figure 32 shows another document fingerprint matching technique in accordance with an embodiment of the present invention. 도 32에 도시된 "비디오 시퀀스 결정 결합(video sequence decision combination)" 기법은 다수의 시간적으로 인접한 프레임들로부터의 결정들을 결합한다. The "video sequence decision combination (video sequence decision combination)" scheme is shown in Figure 32 combines decisions from a number of temporally adjacent frames. 이것은 통상적인 캡처 장치의 높은 샘플링 레이트 및, 적어도 몇초 동안 캡처 장치를 문서 상의 동일한 점으로 향하게 유지하는 사용자의 의도를 이용한다. This takes advantage of the user's intention to keep the high sampling rate, and, at least for several seconds capture device of a typical capture device directed at the same point on a document. 각각의 프레임이 독립적으로 처리되고 그 자신의 순위가 매겨진 결정 리스트를 발생한다. Each frame is processed independently and generates a decision list has its own ranked. 이들 결정이 결합되어 입력 이미지 세트의 하나의 통합된 순위를 발생한다. The combination of these crystals to generate a single unified ranking of the input image set. 이 기법은 결정 결합 프로세스를 제어하는 묵시적인 등록 방법을 포함한다. This technique includes an implicit registration method that controls the decision combination process.

하나 이상의 실시예에서, 도 6 내지 도 32를 참조하여 상기한 다양한 문서 지문 정합 기술들 중 하나 이상과 관련하여 사용될 수 있으며, 이러한 결합을 본 명세서에서 "다중-계층(multi-tier)(또는 다중-인자(multi-factor)) 인식"이라고 한다. In at least one embodiment, it may be used in Figure 6 to reference to Figure 32 in conjunction with one or more of the above-described various document fingerprint matching techniques, such combination of the terms "multi-layer (multi-tier) (or multiple is referred to as factor (multi-factor)) recognized ". 일반적으로, 다중-계층 인식(multi-tier recognition)에서, 제1 정합 기술은 문서 데이터베이스에서 특정의 기준을 갖는 일련의 페이지를 찾아내는 데 사용되며, 이어서 제2 정합 기술은 그 일련의 페이지 내의 페이지들 중으로부터 패치를 일의적으로 식별하는 데 사용된다. In general, multiple-in-tier recognition (multi-tier recognition), a first matching technique is used to locate a set of pages having specific criteria, in the text database, then a second matching technique is a page within the sequence of page from among is used to uniquely identify the patch.

도 33은 본 발명의 일 실시예에 따른 다중-계층 인식의 흐름 프로세스의 일례를 나타낸 것이다. 33 is a multiple in accordance with one embodiment of the present invention shows an example of the flow of the recognition process layer. 처음에, 단계(3310)에서, 캡처 장치(106)는 관심의 문서 상의 "컬링(culling)" 피쳐를 캡처/스캔하는 데 사용된다. First, in step 3310, the capture device 106 is used to capture / scan a "curling (culling)" feature on a document of interest. 컬링 피쳐는 임의의 피쳐일 수 있으며, 그의 캡처의 결과 사실상 문서 데이터베이스 내의 일련의 문서의 선택이 있게 된다. Culling feature may be any feature, it is possible to choose from a set of documents within his capture of the results in fact a document database. 예를 들어, 컬링 피쳐는 숫자 전용 바코드(numeric-only bar code)(예를 들어, UPC(universal product code)), 영숫자 바코드(alphanumeric bar code)(예를 들어, 코드 39, 코드 93, 코드 128), 또는 2-차원 바코드(예를 들어, QR 코드, PDF417, DataMatrix, Maxicode)일 수 있다. For example, the culling feature may be numerical bar codes (numeric-only bar code) (for example, UPC (universal product code)), an alphanumeric bar code (alphanumeric bar code) (e.g., Code 39, Code 93, Code 128 ), or 2-dimensional bar code (e.g., QR code, PDF417, DataMatrix, Maxicode) may be. 게다가, 컬링 피쳐는, 예를 들어, 그래픽, 이미지, 상표, 로고, 특정의 컬러 또는 컬러들의 조합, 키워드, 또는 구문일 수 있다. In addition, the culling feature may be, for example, graphics, images, combination of trademark, logo, specific colors or color, keywords, or phrases. 게다가, 하나 이상의 실시예에서, 컬링 피쳐는 캡처 장치(106)에 의해 인식하기에 적당한 피쳐들로 제한될 수 있다. Further, in one or more embodiments, a culling feature may be limited to features suitable for recognition by the capture device 106.

단계(3310)에서 컬링 피쳐가 캡처되면, 단계(3312)에서 문서 데이터베이스 내의 일련의 문서 및/또는 문서들의 페이지가 캡처된 컬링 피쳐와의 연관성에 기초하여 선택된다. When the captured culling feature at step 3310, is selected based on the relevance of the document with a set of documents and / or the captured culling feature page of the document in the database at step 3312. 예를 들어, 캡처된 컬링 피쳐가 회사의 로고인 경우, 그 로고를 포함하는 것으로 인덱싱된 데이터베이스 내의 모든 문서가 선택된다. For example, if the captured culling feature is a logo of the company, all documents in the database indexed as containing that logo are selected. 다른 예에서, 데이터베이스는 캡처된 컬링 이미지와 비교되는 상표의 라이브러리를 포함할 수 있다. In another example, the database may include a library of images to be compared with the captured culling trademark. 라이브러리에 "히트(hit)"가 있는 경우, 그 히트 상표(hit trademark)와 연관된 모든 문서들이 이하에 기술되는 바와 같이 차후의 정합을 위해 선택된다. If there is a "hit (hit)" in the library is selected for subsequent matching as that all documents associated with the hit trademark (hit trademark) are described below. 게다가, 하나 이상의 실시예에서, 단계(3312)에서의 문서/페이지의 선택은 캡처된 컬링 피쳐 및 스캔된 문서 상에서의 그 컬링 피쳐의 위치에 의존할 수 있다. Further, in one or more embodiments, the selection of documents / pages at step 3312 may depend on the location of that culling feature on the scanned document, and the captured culling feature. 예를 들어, 캡처된 컬링 피쳐와 연관된 정보는 그 컬링 이미지가 문서의 좌측 하부 모서리와 달리 문서의 우측 상부 모서리에 위치하는지 여부를 규정할 수 있다. For example, information associated with the captured culling feature may specify whether that culling image is located in the upper right corner of the document, unlike the lower left corner of the document.

게다가, 당업자라면 특정의 캡처된 이미지가 컬링 피쳐의 이미지를 포함한다는 결정이 캡처 장치(106) 또는 캡처 장치(106)로부터 미가공 이미지 데이터를 수신하는 어떤 다른 컴포넌트에 의해 행해질 수 있다는 것을 잘 알 것이다. Further, those skilled in the art will appreciate that can be done by some other component that receives raw image data from a particular decision is the capture device 106 or a capture device 106 that the captured image includes an image of a culling feature. 예를 들어, 데이터베이스 자체는 캡처 장치(106)로부터 전송된 특정의 캡처된 이미지가 컬링 피쳐를 포함하는 것으로 결정할 수 있으며, 그에 응답하여 데이터베이스는 캡처된 컬링 피쳐와 연관된 일련의 문서를 선택한다. For example, the database itself and the captured image of a particular transmission from the capture device 106 can be determined to comprise a culling feature, in response thereto database selects a set of documents associated with the captured culling feature.

단계(3312)에서 특정의 일련의 문서가 선택된 후에, 단계(3314)에서 캡처 장치(106)는 계속하여 관심의 문서의 이미지를 스캔하고 그에 따라 캡처한다. After a particular set of documents of the selected at step 3312, the capture device 106 at step (3314) continues to scan images of the document of interest and then captured thereby. 문서의 캡처된 이미지는 이어서 도 6 내지 도 32를 참조하여 기술된 다양한 문서 지문 정합 기법들 중 하나 이상을 사용하여, 단계(3312)에서 선택된 문서에 대해 정합된다. The captured image of the document using one or more of the then 6 to the various document fingerprint matching technique in reference to Figure 32 by technology, it is matched against the documents selected at step 3312. 예를 들어, 신발 그래픽의 컬링 피쳐를 포함하는 것으로 인덱싱된 일련의 문서들이 단계(3310)에서의 관심의 문서의 신발 그래픽 이미지의 캡처에 기초하여 단계(3312)에서 선택된 후에, 관심의 문서의 차후의 캡처된 이미지가 앞서 기술한 바와 같이 다중 분류자 기법을 사용하여 일련의 선택된 문서들에 대해 정합될 수 있다. For example, after a set of documents indexed as containing the culling feature of a shoe graphic are selected at step 3312 based on capture of a shoe graphic image on a document of interest at step 3310, subsequent interest article there are the captured images may be matched against the set of selected documents using the multiple classifiers technique as previously discussed.

따라서, 도 33을 참조하여 상기한 다중-계층 인식 흐름 프로세스의 구현을 사용하여, 차후의 캡처된 이미지가 정합되는 페이지/문서의 양을 처음에 감소시킴으로써 패치 인식 횟수가 감소될 수 있다. Therefore, the above-described multi-with reference to the 33-can be a patch recognition times reduced by using an implementation of tier recognition flow process, reducing the amount of pages / documents that the captured image is matched to a subsequent first time. 게다가, 사용자는 먼저 이미지, 바코 드, 그래픽 또는 다른 유형의 컬링 피쳐가 있는 위치 상에서 문서를 스캔함으로써 이러한 향상된 인식 횟수를 이용할 수 있다. In addition, users can take advantage of these improved recognition times by first scanning a document on the location of the images, bar codes, graphics, or other types of culling feature. 이러한 조치를 취함으로써, 사용자는 차후의 캡처된 이미지가 정합되는 문서의 양을 신속하게 감소시킬 수 있다. By taking these measures, the user can quickly reduce the volume of documents that capture the image of a future match.

MMR 데이터베이스 시스템 MMR database system

도 34a는 본 발명의 일 실시예에 따라 구성된 MMR 데이터베이스 시스템(3400)의 기능 블록도를 나타낸 것이다. Figure 34a illustrates a functional block diagram of an MMR database system 3400 configured in accordance with an embodiment of the present invention. 시스템(3400)은 컨텐츠-기반 검색을 하도록 구성되어 있으며, 여기서 객체들 간의 2차원 기하학적 관계가 텍스트-기반 인덱스(또는 임의의 다른 검색가능한 인덱스)로 탐색할 수 있는 방식으로 표시되어 있다. The system 3400 is a content-are indicated in a manner that can be searched in based index (or any other searchable indexes) is configured to search the base, wherein the two-dimensional geometric relationships between objects text. 시스템(3400)은 증거 누적을 이용하여, 예를 들어 피쳐의 발생 빈도를 2차원 구역에서의 그것의 위치의 확률과 결합시킴으로써 탐색 효율을 향상시킨다. System 3400 using the cumulative evidence, for example, then by combining the frequency of occurrence of a feature with the likelihood of its location in a two-dimensional zone improve the search efficiency. 한 특정의 실시예에서, 데이터베이스 시스템(3400)은 (PD 인덱스(322)를 포함하는) 문서 이벤트 데이터베이스(320)의 상세한 구현이며, 이 데이터베이스의 내용은 도 3을 참조하여 상기한 캡처 모듈(318) 및/또는 문서 지문 정합 모듈(226)에 의해 발생된 인쇄된 문서의 전자적 표시를 포함한다. In one particular embodiment, the database system 3400 is a detailed implementation of (including PD index 322), the document event database 320, described above with the contents of the database, see Fig capture module (318 ) and / or include an electronic representation of the printed documents generated by the document fingerprint matching module 226. 시스템(3400)의 다른 응용 및 구성은 이 개시 내용으로부터 명백하게 될 것이다. Other applications and configurations for system 3400 will be apparent in light of this disclosure.

알 수 있는 바와 같이, 데이터베이스 시스템(3400)은 MMR 피쳐 추출 모듈(3402)에 의해 계산되는 기술을 수신하는 MMR 인덱스 테이블 모듈(3404), 증거 누적 모듈(3406) 및 관계형 데이터베이스(3408)(또는 임의의 다른 적당한 저장 설비)을 포함한다. As can be seen, the database system 3400 is a MMR index table module 3404, evidence accumulation module 3406, and a relational database 3408 that receives a description computed by the MMR feature extraction module 3402 (or any It includes other suitable storage facilities). 인덱스 테이블 모듈(3404)은 문서, 페이지, 및 각각의 피쳐가 있는 그 페이지 내에서의 xy 위치를 식별하는 인덱스 테이블을 조사한 다(interrogate). The index table module 3404 is irradiated with an index table that identifies the xy position in the page with the documents, pages, and each feature (interrogate). 인덱스 테이블은, 예를 들어, MMR 인덱스 테이블 모듈(3404) 또는 어떤 다른 전용 모듈에 의해 발생될 수 있다. The index table, for example, be generated by the MMR index table module 3404 or some other dedicated module. 인덱스 테이블 모듈(3404)로부터 데이터가 주어지면, 증거 누적 모듈(3406)은 순위가 매겨진 일련의 문서, 페이지 및 위치 가설(3410)을 계산하도록 프로그램되거나 다른 방식으로 구성된다. When the data has been given from the index table module 3404, evidence accumulation module 3406 is programmed to calculate a set of document, page and location hypotheses 3410 is ranked or is configured in a different way. 관계형 데이터베이스(3408)는 각각의 패치에 대한 부가적인 패치(3412)를 저장하는 데 사용될 수 있다. Relational database 3408 can be used to store additional patches 3412 for each patch. 이들은 도 5의 504 및 508을 포함하지만, 이에 한정되지 않는다. These include the 504 and 508 of Figure 5, but is not limited to this. 패치에 대한 서명 또는 지문(즉, 고유의 검색어)을 도출하는 데 패치 내에서 텍스트의 2차원 배열을 사용함으로써, 심지어 텍스트의 작은 프래그먼트의 고유성이 상당히 향상된다. By using a two-dimensional arrangement of text within a patch for deriving a signature or fingerprint (i.e., unique search term) for the patch, and even the small unique fragment of text it is significantly increased. 다른 실시예들도 이와 유사하게 패치에 대한 서명 또는 지문을 도출하는 데 패치 내의 객체/특징의 임의의 2차원 배열을 이용할 수 있으며, 본 발명의 실시예들이 패치를 일의적으로 식별하기 위한 텍스트의 2차원 배열로 한정되는 것으로 보아서는 안된다. Other embodiments are also can similarly utilize any two-dimensional arrangement of objects / features within a patch in deriving a signature or fingerprint for the patch, and embodiments of the present invention are in the text for uniquely identifying patches not intended to be limited to a two-dimensional array. 도 34a에 도시된 데이터베이스 시스템(3400)의 다른 컴포넌트 및 기능은 피드백-관련 피쳐 검색 모듈(feedback-directed features search module)(3418), 문서 렌더링 적용 모듈(document rendering application module)(3414) 및 서브-이미지 추출 모듈(3416)을 포함한다. Other components and functions of the database system 3400 shown in Figure 34a is a feedback-directed feature search module (feedback-directed features search module) (3418), a document rendering application module (document rendering application module) (3414), and sub - It includes an image extraction module 3416. 이들 컴포넌트는 피드백-관련 피쳐 검색은 물론 동적 원시 이미지 발생을 제공하기 위해 다른 시스템(3400) 컴포넌트들과 상호작용한다. These components are feedback-directed feature search as well as interact with other systems (3400) components to provide the raw image dynamically generated. 그에 부가하여, 시스템(3400)은 동작들을 수신하는 동작 처리기(3413)를 포함한다. In addition, the system 3400 includes an action processor 3413 that receives actions. 이들 동작은 데이터베이스 시스템(3400)에 의해 수행되는 동작 및 이 시스템(3400)이 제공하는 출력을 결정한다. The operation determines the output provided by the operation, and the system 3400 is carried out by the database system 3400. 이들 다른 컴포넌트 각각에 대해 차례로 설명한다. To a discussion of the other components thereof, respectively.

패치 내에서 이러한 2차원 텍스트 배열을 이용하는 MMR 피쳐 추출 모듈(3402)의 일례가 도 34b에 도시되어 있다. An example of the MMR feature extraction module 3402 that utilizes this two-dimensional arrangement of text within a patch is shown in Figure 34b. 한가지 이러한 실시예에서, MMR 피쳐 추출 모듈(3402)은 OCR-기반 기법을 이용하여 이미지 패치로부터 피쳐들(텍스트 또는 다른 타겟 피쳐들)을 추출하도록 프로그램되거나 다른 방식으로 구성되어 있다. In one such embodiment, MMR feature extraction module 3402 is programmed to use the OCR- based techniques extract the feature (s text or other target features) from an image patch or is composed in a different way. 이 특정의 실시예에서, 피쳐 추출 모듈(3402)은 패치의 이미지 내의 단어들의 xy 위치를 추출하고, 그 위치들을 그 위치가 포함하는 일련의 수평 및 수직으로 인접한 단어쌍으로 표시한다. In this particular embodiment, the feature extraction module 3402 extracts the xy locations of words within the image of the patch, and the display position of a set of horizontal and vertical word-pairs adjacent to contain that location. 이미지 패치는 이들이 수평으로 인접해 있는 경우 "-"(예를 들어, the-cat, in-the, the-hat, 및 is-back)로, 또한 이들이 수직으로 중첩하고 있는 경우 "+"(예를 들어, the+in, cat+the, in+is, 및 the+back)로 연결되어 있는 단어쌍으로 효과적으로 변환된다. If in the image patch they are adjacent to each other in the horizontal "-" (e.g., the-cat, in-the, the-hat, and is-back) the case in, and that they are superposed in the vertical "+" (e.g. for example, the + in, cat + the, is effectively converted to word-pairs that are connected to in + is, and the + back). xy 위치는, 예를 들어, 문서 이미지 내의 어떤 고정된 점으로부터(문서의 좌측 최상부 모서리 또는 중심으로부터) x 및 y 평면 방향으로의 픽셀 카운트에 기초하고 있다. xy location is, for example, based on pixel count of which from the fixed point (from the uppermost left corner or center of the document) x and y plane directions in the document image. 유의할 점은 이 예에서 수평으로 인접한 쌍이 많은 다른 텍스트 구절에서 빈번히 있을 수 있지만, 수직으로 중첩하는 쌍이 다른 텍스트 구절에서는 드물게 있을 수 있다는 것이다. It is noted that there may be frequently in many other text passages pair of horizontally adjacent in this example, it is that the pair of vertical overlap may be rare in other text passages. 단어들 사이에 "/"를 갖는 SW-NE 인접성, "\"를 갖는 NW-SE 인접성 기타 등등의, 이미지 피쳐들 간의 다른 기하학적 관계가 이와 유사하게 인코딩될 수 있다. The "/", the NW-SE adjacency and so on having a SW-NE adjacency, "\" having between words, a different geometrical relationship between the image features may be encoded similarly. 또한, "피쳐들"은 임의적이지만 일관성있는 문자열로 인코딩될 수 있는 단어 경계 박스(또는 다른 피쳐 경계 박스)로 일반화될 수 있다. Also, "it features" are arbitrary, but can be generalized to the consistency can be encoded as a string word bounding boxes (or other feature bounding boxes) in that. 예를 들어, 울퉁불퉁한 상부 윤곽 및 매끈한 하부 윤곽을 갖는 높이보다 4배 긴 경계 박스가 문자열 "4rusl"로 표시될 수 있다. For example, four times longer than the height of the bounding box having the rugged upper contour and a smooth lower contour could be represented by the string "4rusl". 그에 부가하여, 기하학적 관계는 피쳐들 간의 임의의 각도 및 거리로 일반화될 수 있다. In addition, the geometric relationship it can be generalized to arbitrary angles and distance between features. 예를 들어, NW-SE 인접해 있지만 2 단어-높이만큼 떨어져 있는 "4rusl" 기술을 갖는 2개의 단어가 "4rusl\\4rusl"로 표시될 수 있다. For example, the NW-SE adjacent but two words - there are two words having the "4rusl" technique detached as high as can be represented by "4rusl\\4rusl". 이 개시 내용을 살펴보면 수많은 인코딩 방식들이 명백하게 될 것이다. Referring to the disclosure will be apparent that a number of encoding schemes. 게다가, 유의할 점은 숫자, 부울값, 기하학적 형상, 및 다른 이러한 문서 피쳐들이 패치를 식별하는 데 단어쌍 대신에 사용될 수 있다는 것이다. In addition, it should be noted that the numbers, Boolean values, geometric shapes, and other features of these documents may be used instead of word pairs to identify the patch.

도 34c는 본 발명의 일 실시예에 따른 예시적인 인덱스 테이블 구성을 나타낸 것이다. Figure 34c illustrates an example index table organization in accordance with one embodiment of the present invention. 알 수 있는 바와 같이, MMR 인덱스 테이블은 반전된 용어 인덱스 테이블(inverted term index table)(3422) 및 문서 인덱스 테이블(document index table)(3424)을 포함한다. As can be seen, the MMR index table includes an inverted term index table (inverted term index table) (3422) and a document index table (document index table) (3424). 각각의 고유의 용어 또는 피쳐(예를 들어, 키(3421))는 레코드(3423)의 리스트(예를 들어, Rec#1, Rec#2, 기타 등등)를 가리키는 피쳐의 함수값(예를 들어, 키 x)을 보유하는 용어 인덱스 테이블(3422) 내의 위치를 가리키고, 각각의 레코드는 문서 내의 페이지 상의 후보 구역을 식별해주며, 이에 대해 차례로 기술한다. (E. G., A key (3421)) Each unique term or feature of the example, a function value (an example of the feature points to a list (e.g., Rec # 1, Rec # 2, etc) of the record 3423 , points to a location in the term index table 3422 that holds the key x), each record identifies a candidate region on a page gives the document, which in turn technology thereto. 일례에서, 키 및 키(키 x)의 함수값이 동일하다. In one example, the functional value of the key and the key (key x) are the same. 다른 예에서, 해쉬 함수가 키에 적용되고, 함수의 출력이 키 x이다. In another example, a hash function is applied to the key, and the output of the function key x.

질의어(query term)의 리스트가 주어지면, 키에 의해 인덱싱된 모든 레코드가 검사되고, 모든 질의어와 가장 부합하는 구역이 식별된다. Query, given a list of (query term), and review every record indexed by a key, the area is identified that is most consistent with all query terms. 구역이 (예를 들어, 사전 정의된 정합 문턱값에 기초하여) 충분히 높은 정합 점수를 포함하는 경우, 가설이 확인된다. If the area contains a sufficiently high matching score (e.g., based on a predefined matching threshold), the hypothesis is confirmed. 그렇지 않은 경우, 정합이 실패한 것으로 선언되고 어떤 구역도 반환되지 않는다. Otherwise, the match is declared as failed does not return any areas. 이 예시적인 실시예에서, 키는 앞서 기술한 바와 같이 "-" 또는 "+"에 의해 분리되어 있는 단어쌍(예를 들어, "the-cat" 또는 "cat+the")이다. In this example embodiment, the keys as previously discussed "-" or a "+" are separated by a word pair (for example, "the-cat" or "cat + the"). 키 자체에 기하학적 관계를 포함시키는 이 기법은 2차원 기하학적 질의에 종래의 텍스트 검색 기술을 사용하는 것을 가능하게 해준다. The technique of the key itself includes a geometric relationship, enables the use of conventional text search technology for a two-dimensional geometric query.

따라서, 인덱스 테이블 구성은 이미지 패치에서 검출된 피쳐들을 피쳐들 자체와 이들 간의 기하학적 관계를 나타내는 텍스트 용어(textual term)로 변환한다. Thus, the index table organization transforms the features detected in an image patch to the features themselves and the term text (textual term) represents the geometric relationship between them. 이것은 종래의 텍스트 인덱싱 및 검색 방법의 이용을 가능하게 해준다. This allows the utilization of conventional text indexing and search methods. 예를 들어, 수직으로 인접한 용어 "cat" 및 "the"가, 본 발명의 개시 내용으로부터 명백하게 되는 바와 같이, "질의어"라고 할 수 있는 심볼 "cat+the"로 표시된다. For example, the vertical adjacent terms "cat" and "the", is represented by As will be apparent in light of the present disclosure, "query term" is called the symbol "cat + the" can. 종래의 텍스트 검색 데이터 구조 및 방법의 이용은 인터넷 텍스트 검색 시스템(예를 들어, 구글, 야후, 마이크로소프트, 기타 등등)의 상단에서 본 명세서에 기술된 MMR 기법의 이식(grafting)을 용이하게 해준다. The use of conventional text search data structures and method facilitates implantation (grafting) of MMR techniques described herein on the top of Internet text search systems (e.g., Google, Yahoo, Microsoft, etc).

이 예시적인 실시예의 반전된 용어 인덱스 테이블(3422)에서, 각각의 레코드는 6개의 파라미터, 문서 ID(DocID), 페이지 번호(PG), x/y 오프셋(각각 X 및 Y), 그리고 직사각형 영역의 폭 및 높이(각각 W 및 H)를 사용하여 문서 내의 페이지 상의 후보 구역을 식별해준다. In this example embodiment an inverted term index table 3422, each row has six parameters, the document ID (DocID), page number (PG), x / y offset (each X and Y), and the rectangular area using the width and height (W and H, respectively) helps identify the candidate region on a page within the document. DocID는 문서가 인쇄될 때 타임스탬프(또는 다른 메타데이터)에 기초하여 발생되는 고유의 문자열이다. DocID is a unique string generated based on the timestamp (or other metadata) when a document is printed. 그렇지만, 이는 임의의 문자열 결합 장치 ID 및 사람 ID일 수 있다. However, this can be any string coupling device ID and People ID. 여하튼, 문서는 고유의 DocID에 의해 식별되고 문서 인덱스 테이블에 저장되어 있는 레코드를 갖는다. In any case, documents are identified by unique DocID and has a record that is stored in the document index table. 페이지 번호는 용지 출력에 대응하는 페이지 번호 매김(pagination)이며, 1에서 시작한다. Page number is the pagination (pagination) corresponding to the paper output, and starts at 1. 직사각형 영역은 좌측 상부 모서리의 XY 좌표는 물론 정규화된 좌표 시스템에서의 경계 박스의 폭 및 높이에 의해 파라미터화된다. Rectangular region is parameterized by the width and height of the bounding box in the upper left corner of XY coordinates as well as the normalized coordinate system. 수많은 내부 문서 위치/좌표 방식이 이 개시 내용으로부터 명백하게 되며, 본 발명이 임의의 특정의 것으로 제한되는 것으로 보아서는 안된다. A number of internal document location / coordinate scheme and apparent in light of this disclosure, the present invention is not intended to be limited to any particular.

본 발명의 일 실시예에 따라 구성된 예시적인 레코드 구조는 24-비트 DocID 및 8-비트 페이지 번호를 사용하여, 1600만개 문서 및 40억 페이지까지 가능하게 해준다. An exemplary record structure configured in accordance with an embodiment of the present invention uses a 24-bit DocID and an 8-bit page number, allowing for up to 16 million documents and 4 billion pages. 경계 박스의 각각의 X 및 Y 오프셋에 대한 부호없는 1 바이트(one unsigned byte)는 (8.5" x 11" 페이지를 가정하는 경우) 30dpi 수평 및 23dpi 수직의 공간 해상도를 제공한다(그렇지만, 다른 페이지 크기 및/또는 공간 해상도가 사용될 수 있다). Code byte (one unsigned byte) not for each of the X and Y offset of the bounding box (8.5 "x 11" if the home page) 30dpi provides a spatial resolution in the horizontal and 23dpi vertical (however, a different page size, and / or spatial resolutions can be used). 경계 박스의 폭 및 높이에 대한 유사한 취급(예를 들어, W 및 H 각각에 대해 부호없는 1 바이트)이 마침표 또는 "i" 상의 점만큼 작은 또는 전체 페이지(예를 들어, 8.5" x 11" 또는 기타)만큼 큰 구역의 표시를 가능하게 해준다. Similar treatment for the width and height of the bounding box (e.g., an unsigned byte for W and H, respectively), the period, or "i" point by a small or a full page on the (e.g., 8.5 "x 11" or etc.) as enables the display of a large area. 따라서, 레코드당 8 바이트(DocID에 3 바이트, PG에 1 바이트, X에 1 바이트, Y에 1 바이트, W에 1 바이트, 및 H에 1 바이트는 총 8 바이트임)는 많은 수의 구역을 수용할 수 있다. Therefore, eight bytes per record (3 bytes for DocID, 1 byte for PG, 1 byte for X, 1 byte for Y, 1 byte for W, and the H 1 byte total 8 byte Im) are accommodated a large number of zones can do.

문서 인덱스 테이블(3424)은 각각의 문서에 관한 관련 정보를 포함한다. Document index table 3424 includes relevant information about each document. 한 특정의 실시예에서, 이 정보는 인쇄 해상도, 인쇄 일자, 용지 크기, 쉐도우 파일 이름, 페이지 이미지 위치, 기타 등등을 비롯한 문서-관련 필드를 XML 파일에 포함한다. In one particular embodiment, the information documents, including print resolution, print date, paper size, shadow file name, page image location, etc. - contains the relevant fields in the XML file. 문서를 인덱싱할 때 인쇄 좌표가 정규화된 좌표계로 변환되기 때문에, 검색 가설을 계산하는 것은 이 테이블을 필요로 하지 않는다. When indexing a document are converted to the printing coordinates normalized coordinate system to compute the search hypotheses it does not require a table. 따라서, 문서 인덱스 테이블(3424)은 정합된 후보 구역에 대해서만 조회된다. Thus, the document index table 3424 is viewed only on a matching candidate area. 그렇지만, 이 결정은 인덱스에서의 얼마간의 정보 손실을 암시하는데, 그 이유는 정규화된 좌표가 보통 인쇄 해상도보다 낮은 해상도에 있기 때문이다. However, the decision to imply some loss of information in the index, because in the normalized coordinates usually lower than the printing resolution, resolution. 대안의 실시예가 검색 가설을 계산할 때, 원하는 경우, 문서 인덱스 테이블(3424)(또는 정규화된 좌표보다 더 높은 해상도)을 사용할 수 있다. When calculating an alternative embodiment of the search hypotheses, if so desired, it is possible to use the document index table 3424 (or a higher resolution than the normalized coordinate).

따라서, 인덱스 테이블 모듈(3404)은 주어진 이미지 질의가 행해지는 객체(예를 들어, 문서 페이지) 및 그 객체 내에서의 xy 위치의 컨텐츠-기반 검색을 가능하게 해주는 이미지 인덱스를 효과적으로 제공하는 동작을 한다. Thus, the index table module 3404 is the content in an xy position in a given image query is performed is an object (e.g., document pages) and the object-operates to provide an image index effectively enabling based search . 이러한 이미지 인덱스와 관계형 데이터베이스(3408)의 결합은 이미지 패치 및 패치의 특성(예를 들어, 패치에 부착된 "동작" 또는 패치와 관련된 다른 컨텐츠를 검색하게 하기 위해 스캔될 수 있는 바코드 등)을 정합시키는 객체의 위치를 고려한다. The combination of such an image index and relational database 3408 is matching the characteristics of the image patch and a patch (e. G., Bar codes that can be scanned in order to retrieve other contents related to the "operation" or a patch adhered to the patch) consider the position of the object to. 관계형 데이터베이스(3408)는 또한 문서 내의 다른 패치들에 패치로부터 인덱스 테이블 내의 피쳐들로의 "역방향 링크(reverse link)"를 위한 수단을 제공한다. Relational database 3408 also provides a means for the "reverse link (reverse link)" to the features in the index table from the patch to the other patches in the document. 역방향 링크는 인식 알고리즘이 문서 이미지의 한 부분에서 다른 부분으로 이동할 때 보게 될 것으로 예상하는 피쳐들을 찾아내는 방법을 제공하며, 이는 본 명세서에서 논의되는 MMR 시스템에서의 프론트-엔드 이미지 분석 알고리즘의 수행을 상당히 향상시킬 수 있다. The reverse link provides a way to find the features that you expect to see when the recognition algorithm is moved to another from one part of a document image, which is the front of the MMR system as discussed herein - quite the performance of the end image analysis algorithms It can be improved.

피드백-관련 피쳐 검색 Feedback - Search feature

이미지 패치의 xy 좌표(예를 들어, 이미지 패치의 중심에 대한 xy 좌표)는 물론 문서 및 페이지의 ID는 또한 피드백-관련 피쳐 검색 모듈(feedback-directed feature search module)(3418)에 입력될 수 있다. Image xy coordinates of the patches (for example, xy coordinates for the center of the image patch) as well as the document and the ID of the page is also the feedback may be input to the directed feature search module (feedback-directed feature search module) (3418) . 피드백-관련 피쳐 검색 모듈(3418)은 이미지 패치의 중심으로부터 주어진 거리 내에 있는 레코드(3423)를 용 어 인덱스 테이블(3422)에서 검색한다. Feedback-directed feature search module 3418 searches in the control index table 3422 for records 3423 that within a given distance from the center of the image patch. 이 검색은, 예를 들어, X 또는 Y 값의 순서로 정렬된 인접한 메모리 블록들에서 각각의 DocID-PG 조합에 대한 레코드(3423)를 저장함으로써 용이하게 될 수 있다. This search may, for example, can be facilitated by storing the records 3423 for each DocID-PG combination in contiguous blocks of memory sorted in order of X or Y value. 탐색은 주어진 값(X 또는 Y는 데이터가 저장될 때 어떻게 정렬되는가에 의존함)에 대한 이진 검색(binary search) 및 주어진 X 및 Y 값을 갖는 모든 레코드에 대해 그 위치로부터 순차적으로 검색하는 것에 의해 수행된다. The search by searching in sequence from that location for all the records with a binary search (binary search), and a given X and Y value for a given value (depending on whether X or Y is how alignment when the data is saved) is performed. 통상적으로, 이것은 주어진 문서 및 페이지에서의 W 인치 폭 및 H 인치 높이를 나타내는 패치 바깥쪽에 있는 M-인치 링에서의 xy 좌표를 포함한다. Typically, this includes the xy coordinates in inches M- ring on the side of the patch outside indicating W inches wide and H inches high in the given document and page. 이 링에 있는 레코드를 찾아내고 포인터를 역추적함으로써 그의 키 또는 피쳐(3421)를 찾아낸다. To find a record in the ring by tracking the pointer dereference find his keys or feature (3421). 링에 있는 피쳐 및 그의 xy 좌표의 리스트가 도 34a의 3417에 나타낸 바와 같이 보고된다. Features in the ring, and a list of their xy coordinates are reported, as shown in 3417 of Fig. 34a. 3415에 나타낸 W, H 및 M의 값은 피쳐(3417)가 입력 이미지 패치 밖에 있도록 입력 이미지의 크기에 기초하여 인식 시스템에 의해 동적으로 설정될 수 있다. Values ​​of W, H, and M shown in 3415 can be set dynamically by the recognition system, the feature (3417) is based on the size of the input image to outside the input image patch.

이미지 데이터베이스 시스템(3400)의 이러한 피쳐들은, 예를 들어, 다수의 가설들을 명확하게 하는 데 유용하다. These features of the image database system 3400 may include, for example, it is useful to clarify a number of hypotheses. 데이터베이스 시스템(3400)이 2개 이상의 문서가 입력 이미지 패치와 정합할 수 있는 것으로 보고하는 경우, 패치 주변에 있는 링에 있는 피쳐들에 의해 인식 시스템(예를 들어, 지문 정합 모듈(226) 또는 다른 적당한 인식 시스템)이 사용자에게 이미지 캡처 장치를 결정을 명확하게 해주는 방향으로 약간 이동시키도록 지시함으로써 어느 문서가 사용자가 보유하고 있는 문서와 가장 잘 정합하는지를 결정할 수 있게 된다. The database system 3400 is more than one document, the input image patch to the case where reported to be matched, the system recognized by a feature in that a ring around the patch (e.g., fingerprint matching module 226 or other by directing some to move in a direction that is clearly an appropriate recognition system) determines the image capture device to the user is able to determine which documents how best matches the document that the user has. 예를 들어(OCR-기반 피쳐가 사용되는 것으로 가정하면, 개념이 임의의 기하학적으로 인덱싱된 피쳐 세트로 확장 되지만), 문서 A 내의 이미지 패치는 단어쌍 "blue-xylophone" 바로 아래에 있을 수 있다. For example (assuming that OCR- based features used, but the concept is extended to a set of feature indexing in any geometry), an image patch in document A might be directly below the word-pair "blue-xylophone". 문서 B 내의 이미지 패치는 단어쌍 "blue-thunderbird" 바로 아래에 있을 수 있다. Image patch in document B might be directly below the word pair "blue-thunderbird". 데이터베이스 시스템(3400)은 이들 피쳐의 예상된 위치를 보고할 수 있으며, 인식 시스템은 사용자에게 패치의 상부에서의 피쳐들의 y 좌표의 차이로 표시된 양만큼 (예를 들어, 사용자 인터페이스를 통해) 카메라를 위쪽으로 이동시키도록 지시할 수 있다. Database Systems (3400) is to report the expected locations of these features, the recognition system to the amount (eg, via a user interface), the camera is displayed as a feature difference of the y coordinates of the patch top users It may be instructed to move upward. 인식 시스템은 그 차이 영역에서의 피쳐들을 계산할 수 있고 어느 것이 가장 잘 정합하는지를 결정하기 위해 문서 A 및 B로부터의 피쳐들을 사용할 수 있다. Recognition system can use the features from documents A and B to determine which can be calculated the features in that difference area that best matches. 예를 들어, 인식 시스템은 (xylophone, thunderbird)로 이루어지는 피쳐들의 "사전(dictionary)"을 사용하여 차이 영역으로부터의 OCR 결과를 후처리(post-process)할 수 있다. For example, the recognition system by using the "dictionary (dictionary)" of features consisting of (xylophone, thunderbird) may process (post-process) after the OCR results from the difference area. OCR 결과와 가장 잘 정합하는 단어가 입력 이미지와 가장 잘 정합하는 문서에 대응한다. The word that best matches the OCR result corresponds to the document that best matches the input image. 후처리 알고리즘의 일례는 통상적으로 알고 있는 스펠링 정정 기법(워드 프로세서 및 이메일 애플리케이션에 의해 사용되는 것 등)을 포함한다. The example of the post-processing algorithm is commonly known spelling correction techniques include (such as that used by word processor and email applications) in the.

이 예가 나타내는 바와 같이, 데이터베이스 시스템(3400) 설계에 의해 인식 시스템이 추가적인 데이터베이스 액세스를 할 필요가 없도록 피쳐 기술들을 정합시킴으로써 효율적인 방식으로 다수의 좌표를 명확하게 할 수 있게 된다. As shown by example, it is possible to clarify the number of coordinates in an efficient manner by matching the features a recognition technique to eliminate the need for an additional database accessed by the database system 3400 design. 대안의 해결책은 각각의 이미지를 독립적으로 처리하는 것이다. Solution of the alternative is to process each image independently.

동적 원시 이미지 발생 Dynamic native image generation

이미지 패치의 위치에 대한 xy 좌표(예를 들어, 이미지 패치의 중심에 대한 xy 좌표)는 물론 문서 및 페이지의 ID도 역시 관계형 데이터베이스(3408)에 입력 될 수 있으며, 여기서 이들은 그 문서 및 페이지에 대한 저장된 전자 원본을 검색하는 데 사용될 수 있다. xy coordinates for the location of the image patch may be entered (for example, xy coordinates of the center of the image patch) as well as documents and ID also relational database (3408) of the page, where they are on that document and page It can be used to retrieve the stored electronic original. 그 문서는 이어서 문서 렌더링 애플리케이션 모듈(3414)에 의해 비트맵 이미지로 렌더링될 수 있다. The document can then be rendered in the bitmap image by the document rendering application module 3414. 또한, 모듈(3414)에 의해 제공되는 부가적인 "박스 크기" 값은 중심 부근의 비트맵의 일부분을 추출하기 위해 서브-이미지 추출 모듈(3416)에 의해 사용된다. Further, additional "box size" value of the sub in order to extract a portion of the bitmap around the center provided by the module (3414) is used by the image extraction module 3416. 이 비트맵은 이미지 패치의 예상된 모습에 대한 "원시" 표시(pristine representation)이고, 이 비트맵은 입력 이미지에 존재해야만 하는 모든 피쳐들에 대한 정확한 표시를 포함한다. The bitmap includes a precise indication of the all of the features that must be present in a bitmap input image, the "raw" indicator (pristine representation) for the expected appearance of the image patch. 원시 패치는 이어서 패치 특성(3412)으로서 반환될 수 있다. The pristine patch may then be returned as patch characteristics (3412). 이 해결책은 요구 시에 비트맵 데이터로 차후에 변환될 수 있는 컴팩트한 비이미지 표시(compact non-image representation)를 저장함으로써 이미지 비트맵을 저장하는 종래 기술의 요구된 과도한 저장 장치를 극복한다. This solution overcomes the excessive storage required of the prior art to store image bitmaps by storing a compact non-image display (compact non-image representation) that may be subsequently converted to bitmap data on demand.

이러한 저장 방식은 유익한데, 그 이유는 이 방식에 의해 이미지로부터 추출된 피쳐 표시가 상세한 피쳐 분석에 의해 명확하게 되는 일련의 후보를 검색하는 데 사용되는 가설 및 테스트 인식 전략(hypothesize-and-test recognition strategy)의 사용이 가능하게 되기 때문이다. This storage method is useful for, because that hypothesis and testing awareness strategy (hypothesize-and-test that is used to search for a series of candidate clearly by the detailed feature analysis feature displays extracted from the image by the way recognition it is because the use of the strategy) is made possible. 종종, 임의적인 일련의 후보들을 최적으로 명확하게 해주는 피쳐들을 예측하는 것이 가능하지 않으며, 이것이 그 후보들의 원래의 이미지로부터 결정되는 것이 바람직하다. Often, it is not possible to predict the features that clearly an arbitrary set of candidates for the optimal, it is preferred that this be determined from the original images of those candidates. 예를 들어, 단어쌍 "the cat"의 이미지는 2개의 데이터베이스 문서에 위치할 수 있으며, 그 중 하나는 처음에 Times Roman 폰트로 인쇄되고 다른 하나는 Helvetica 폰트로 인쇄되었다. For example, the word pair "the cat" image of the database can be located on the two documents, one of which is printed at the beginning as Times Roman font and one was printed in Helvetica font. 입력 이미지가 이들 폰트 중 하나를 포함하는지를 단지 결정하는 것으로 정확하게 정합 하는 데이터베이스 문서를 식별하게 된다. Whether the input image contains one of these fonts is to identify the database document that exactly matches that only crystals. 유클리드 거리와 같은 템플릿 정합 비교 메트릭을 사용하여 이들 문서에 대한 원시 패치를 입력 이미지 패치와 비교하는 것은 정확한 후보를 식별해준다. It uses a template matching comparison metric such as the Euclidean distance compared to the input raw image patches patches for these documents identifies the correct candidate.

일례는 마이크로소프트 워드 ".doc" 파일을 저장하는 관계형 데이터베이스(3408)를 포함한다(유사한 방법이 포스트스크립트, PCL, pdf, 또는 마이크로소프트의 XML 용지 규격 XPS, 또는 고스트스크립트(ghostscript) 또는, XPS의 경우에, WinFX 컴포넌트가 설치되어 있는 마이크로소프트의 인터넷 익스플로러 등의 렌더링 애플리케이션에 의해 비트맵으로 변환될 수 있는 다른 이러한 형식 등의 다른 문서 형식에 대해 동작한다). One example is Microsoft Word ".doc" includes a relational database 3408 that stores a file (analogous to the Postscript, PCL, pdf, or micro XML paper specification XPS soft, or ghost script (ghostscript) or, XPS and in the case, the operation for another document format other such formats that can be converted to a bitmap rendering by an application such as Microsoft Internet Explorer of the WinFX components installed). 문서, 페이지, xy 위치, 박스 치수, 및 원하는 해상도가 600dpi(dots per inch)라는 것을 나타내는 시스템 파라미터에 대한 ID가 주어지면, 비트맵 이미지를 발생하기 위해 워드 애플리케이션이 호출될 수 있다. If the document page, xy position, size box, and the desired resolution given the ID for the system parameter indicating that 600dpi (dots per inch), which is a word application can be invoked to generate a bitmap image. 이것은 6600 행 및 5100 열을 갖는 비트맵을 제공한다. This provides a bit map having 6600 rows and 5100 columns. 부가적인 파라미터 x=3", y=3", height=1" 및 width=1"는 데이터베이스가 페이지의 좌측 상부 모서리로부터 x 및 y에서 1800 픽셀 떨어져 있는 점에 중심이 있는 600 픽셀 높이 및 폭의 패치를 반환해야 한다는 것을 나타낸다. Additional parameters x = 3 ", y = 3", height = 1 "and a width = 1" is a database of 600 pixels in height with the center in point detached 1800 pixels in x and y from the upper left corner of the page and the width It indicates that it should return a patch.

다중 데이터베이스 Multiple Database

각각이 서로 다른 문서 컬렉션을 포함할 수 있는 다중 데이터베이스 시스템(3400)이 사용될 때, 2개의 데이터베이스가 동일한 문서를 반환하는지 또는 어느 데이터베이스가 입력에 더 잘 정합하는 후보를 반환했는지를 결정하기 위해 원시 패치가 사용될 수 있다. When each is used multiple database systems (3400), which can contain different document collections, raw patches to determine whether two databases return the candidate who better matched to that or any database input returns the same documents It may be used.

2개의 데이터베이스가, 아마도 서로 다른 식별자(3410)(즉, 원래의 문서가 동일하지가 명백하지 않은데, 그 이유는 이들이 서로 다른 데이터베이스에 따라 입력되어 있기 때문임) 및 특성(3412)를 갖는, 동일한 문서를 반환할 때, 원시 패치는 거의 정확히 동일하다. Two databases, possibly with different identifiers 3410 having the (am not clearly are not the same, that is, the original document, the reason is because Im so that they are each input according to the different databases) and characteristics 3412, the same when you return to the document, raw patches are almost exactly the same. 이것은, 예를 들어, 서로 다른 픽셀의 수를 카운트하는 해밍 거리를 사용하여 원시 패치들을 서로 비교함으로써 결정될 수 있다. This is, for example, can be determined from each other by comparing the pristine patches to each other with a Hamming distance that counts the number of pixels that are different. 원래의 문서들이 픽셀끼리 정확하게 동일한 경우 해밍 거리는 0이 된다. The original documents are exactly the same, if the Hamming distance between 0 pixels. 패치가 약간 다른 경우(사소한 폰트 차이로 야기될 수 있음) 해밍 거리는 0보다 약간 더 크다. If the patch is slightly different (which can be caused by minor differences in fonts) it is slightly greater than the Hamming distance zero. 이것은 해밍 연산자에서 이미지 차이가 계산될 때 문자의 엣지 근방에 "후광" 효과(halo effect)를 야기할 수 있다. This can cause a "halo" effect (halo effect) near the edge of the character when the difference image calculated in the Hamming operator. 이와 같은 폰트 차이는 원래의 렌더링 애플리케이션의 서로 다른 버전, 데이터베이스를 실행시키는 서버 상의 운영 체제의 서로 다른 버전, 서로 다른 프린터 드라이버, 또는 서로 다른 폰트 컬렉션에 의해 야기될 수 있다. This font differences may be caused by different versions, different versions of the operating system on the server that runs the database, different printer driver, or a different font collection of original rendering application.

2개의 문서에 있는 2개 이상의 xy 위치로부터의 패치에 대해 원시 패치 비교 알고리즘이 수행될 수 있다. On patches from more than two xy position in the two documents pristine patch comparison algorithm can be performed. 이들 모두가 동일해야 하지만, 이것과 같은 샘플링 절차는 데이터베이스 시스템들 간의 렌더링 차이를 극복할 수 있는 중복성을 고려한다. Both of these must be the same, but the sampling procedure such as this is considered a redundancy that could overcome rendering differences between database systems. 예를 들어, 2개의 시스템 상에서 렌더링될 때 하나의 폰트가 근본적으로 다르게 보일 수 있지만, 다른 폰트가 정확하게 동일할 수 있다. For example, while a single font can essentially appear different when rendered on the two systems, it is possible to have different font exactly the same.

2개 이상의 데이터베이스가 입력 이미지에 대한 그의 최상의 정합으로서 서로 다른 문서를 반환하는 경우, 어느 것이 올바른 것인지를 결정하기 위해 해밍 거리 등의 픽셀 기반 비교 메트릭에 의해 원시 패치가 입력 이미지와 비교될 수 있 다. If two or more databases that return different documents as their best match for the input image, which is all you raw patches by pixel based comparison metrics such as Hamming distance to determine whether the right can be compared with the input image .

2개 이상의 데이터베이스로부터의 결과를 비교하는 대안의 전략은 각각의 데이터베이스에 의해 보고된 문서들에서의 피쳐들의 기하학적 분포를 측정하는 누적기 어레이(accumulator array)의 컨텐츠를 비교하는 것이다. 2 of an alternative strategy for comparing results from more than one database is to compare the contents of the accumulator array (accumulator array) to measure the geometric distribution of features in the documents reported by each database. 원래의 피쳐 세트의 개별적인 탐색을 수행할 필요가 없도록 하기 위해 이 누적기가 데이터베이스에 의해 직접 제공되는 것이 바람직하다. The accumulator is preferably provided directly by the database to avoid the need to perform a separate search of the original feature set. 또한, 이 누적기는 데이터베이스 시스템(3400)의 컨텐츠와 독립적이어야만 한다. In addition, the accumulator should be independent of the contents of the database system 3400. 도 34a에 도시된 실시예에서, 활동 어레이(activity array)(3420)가 내보내기(export)된다. In the embodiment shown in Figure 34a, the array activities (activity array) (3420) are exported (export). 2개의 활동 어레이가 그의 값의 내부 분포(internal distribution)를 측정함으로써 비교될 수 있다. The two active arrays can be compared by measuring the internal distribution of their values ​​(internal distribution).

보다 상세하게는, 2개 이상의 데이터베이스가 아마도 서로 다른 식별자(3410)(즉, 원래의 문서가 동일한지가 명백하지 않은데, 그 이유는 이들이 서로 다른 데이터베이스에 개별적으로 입력되었기 때문임) 및 특성(3412)을 갖는 동일한 문서를 반환하는 경우, 각각의 데이터베이스로부터의 활동 어레이(3420)가 거의 정확히 동일하다. More specifically, the two or more database possibly with different identifiers 3410 (i.e., because the original document am not clear the same land, because it was individually entered in these different database) and characteristics 3412 when return the same document with, the activity arrays 3420 from each database be almost exactly the same. 이것은, 예를 들어, 서로 다른 픽셀의 수를 카운트하는 해밍 거리를 사용하여 어레이들을 서로 비교함으로써 결정될 수 있다. This is, for example, can be determined by comparing the arrays to one another with a Hamming distance that counts the number of pixels that are different. 해밍 거리는 원래의 문서가 정확하게 동일한 경우 0이 될 것이다. The original document of the Hamming distance would be equal to 0 exactly.

2개 이상의 데이터베이스가 입력 피쳐들에 대한 최상의 정합으로서 서로 다른 문서를 반환하는 경우, 이들의 활동 어레이(3420)는 어느 문서가 입력 이미지에 "가장 잘" 정합하는지를 결정하기 위해 비교될 수 있다. If two or more databases that return different documents as their best match for the input features, their activity arrays 3420 can be compared to determine whether the "best" match which document the input image. 이미지 패치에 정확하게 정합하는 활동 어레이는 패치가 있는 장소에 거의 중심이 있는 높은 값들의 클러스 터(cluster)를 포함한다. Activities array to accurately match an image patch includes a cluster (cluster) of high values ​​in almost the center in the place where the patch. 이미지 패치와 부정확하게 정합하는 활동 어레이는 랜덤하게 분포된 값들을 포함하게 된다. An Activity array that incorrectly matches an image patch will contain randomly distributed values. 엔트로피 등의 이미지의 분산(dispersion) 또는 랜덤성(randomness)을 측정하는 많은 공지된 전략들이 있다. There are many well known strategies for measuring dispersion (dispersion) or randomness (randomness) of the image such as entropy. 이러한 알고리즘은 클러스터의 존재를 나타내는 척도를 획득하기 위해 활동 어레이(3420)에 적용될 수 있다. This algorithm can be applied to an activity array 3420 to obtain a measure of the presence of a cluster. 예를 들어, 이미지 패치에 대응하는 클러스터를 포함하는 활동 어레이(3420)의 엔트로피는 값들이 랜덤하게 분포되어 있는 활동 어레이(3420)의 엔트로피와 상당히 다르게 된다. For example, the entropy of an activity array 3420 that contains a cluster corresponding to an image patch will be significantly different from the entropy of an activity array 3420 that are randomly distributed values.

게다가, 유의할 점은 개개의 클라이언트(106)가 언제라도 컨텐츠가 반드시 서로 충돌하는 것은 아닌 다수의 데이터베이스(3400)에 액세스할 수 있다는 것이다. In addition, it should be noted that the individual client (106) at any time the content is not necessarily in conflict with one another can access multiple databases 3400 not. 예를 들어, 회사는 각각이 단일의 문서를 참조하는, 공개적으로 액세스가능한 패치 및 회사에 비밀인 패치 둘다를 가질 수 있다. For example, a company can have a patch of both in secret, publicly accessible patches and the company, each of which refer to a single document. 이러한 경우에, 클라이언트 장치(106)는 순서대로 조회되는 데이터베이스(D1, D2, D3,...)의 리스트를 유지하고 사용자에게 통합하여 디스플레이하기 위해 결합된 활동 어레이(3420) 및 식별자(3410)를 생성한다. In this case, the client device 106 in order that queries the database (D1, D2, D3, ...), the activity arrays 3420 and identifiers 3410 combine to maintain a list, and to display to the user of the integrated the produce. 주어진 클라이언트 장치(106)는 모든 데이터베이스로부터 이용가능한 패치를 디스플레이할 수 있거나 사용자가 데이터베이스의 서브셋(예를 들어, D1, D3 및 D7만)을 선택하고 그 데이터베이스로부터의 패치만을 보여줄 수 있게 해준다. Client device 106 is given, or can display the patches available from all databases allow a user to select a subset of the database (e.g., D1, D3 and D7 only) and only show patches from those databases. 데이터베이스는 서비스에 가입함으로써 리스트에 추가될 수 있거나 클라이언트 장치(106)가 어떤 위치에 있을 때, 또는 데이터베이스가 클라이언트 장치(106)에 로드된 몇개 중의 하나이기 때문에, 또는 어떤 사용자가 현재 장치를 사용하고 있도록 인증되어 있기 때문에, 또는 심지어 장치가 어떤 모드에서 동작하고 있기 때문에, 무선으로 이용가능하게 될 수 있다. Database because when in any location can be added to the list by subscribing to a service or client device 106, or the database is one of several loaded into the client device 106 is, or what the user is currently using the device because since the certificate, or even because the device is operating in any mode, so, may be made available over the air. 예를 들어, 어떤 데이터베이스가 이용가능할 수 있는데, 그 이유는 특정의 클라이언트 장치가 그의 오디오 스피커를 턴온 또는 오프하기 때문이거나 비디오 프로젝터와 같은 주변 장치가 현재 클라이언트에 부착되어 있기 때문이다. For example, if you have any database can be used, because, or because a particular client device to turn on and off his speaker audio peripherals such as a video projector attached to the current client.

동작 action

도 34a를 더 참조하면, MMR 데이터베이스(3400)는 MMR 피쳐 추출 모듈(3402)로부터 일련의 피쳐들과 함께 동작을 수신한다. With further reference to Figure 34a, MMR database 3400 receives an action together with a set of features from the MMR feature extraction module 3402. 동작은 명령 및 파라미터를 지정한다. Operation specify commands and parameters. 이러한 실시예에서, 명령 및 그것의 파라미터는 반환되는 패치 특성(3412)을 결정한다. In this embodiment, the command and its parameters determine the patch characteristics 3412. returned. 동작들은, 예를 들어, 용이하게 텍스트로 변환될 수 있는 http를 비롯한 형식으로 수신된다. Operations, for example, is received by including http that can be easily converted into a text format.

동작 처리기(3413)는 문서의 ID, 페이지 및 증거 누적 모듈(3406)에 의해 결정된 페이지 내에서의 xy 위치를 수신한다. The action processor 3413 receives the xy position in the page is determined by the ID, the page and the evidence accumulation module 3406 of the document. 이는 또한 명령 및 그의 파라미터를 수신한다. It also receives a command and its parameters. 동작 처리기(3413)는 명령을 관계형 데이터베이스(3408)를 사용하여 주어진 문서, 페이지 및 xy 위치에 대응하는 위치에서 데이터를 검색하거나 저장하는 명령어로 변환하도록 프로그램되거나 다른 방식으로 구성된다. The action processor 3413 is programmed to convert the command to a command by using the relational database 3408 retrieve or store data at a location corresponding to a given document, page and xy position or is configured in a different way.

한가지 이러한 실시예에서, 명령은 RETRIEVE, INSERT_TO <DATA>, RETRIEVE_TEXT <RADIUS>, TRANSFER <AMOUNT>, PURCHASE, PRISTINE_PATCH <RADIUS [DOCID PAGEID XY DPI]> 및 ACCESS_DATABASE <DBID>를 포함한다. In one such embodiment, the command includes the RETRIEVE, INSERT_TO <DATA>, RETRIEVE_TEXT <RADIUS>, TRANSFER <AMOUNT>, PURCHASE, PRISTINE_PATCH <RADIUS [DOCID PAGEID XY DPI]> and ACCESS_DATABASE <DBID>. 각각에 대해 이제부터 차례로 설명할 것이다. From now on, each will be discussed in turn.

RETRIEVE - 주어진 문서 페이지에서 xy 위치에 링크된 데이터를 검색한다. RETRIEVE - retrieve data linked to the xy position in a given document page. 동작 처리기(3413)는 RETRIEVE 명령을 이 xy 위치 근방에 저장될 수 있는 데이터를 검색하는 관계형 데이터베이스 질의로 변환한다. The action processor 3413 transforms a relational database query that retrieves data that can be stored in the RETRIEVE command to the vicinity of the xy position. 이렇게 하려면 xy 위치를 둘러싸고 있는 영역을 검색하기 위해 2개 이상의 데이터베이스 질의를 발행할 것을 필요로 할 수 있다. To do so may require you to issue more than one database query to search the area surrounding the xy position. 검색된 데이터는 패치 특성(3412)으로서 출력된다. The retrieved data is output as patch characteristics 3412. RETRIEVE 명령의 예시적인 애플리케이션은 비디오 클립 또는 동적 정보 객체(예를 들어, 현재의 정보가 검색될 수 있는 전자적 주소)를 검색하는 멀티미디어 브라우징 애플리케이션이다. An example application of the RETRIEVE command is a multimedia browsing application that retrieves video clips or dynamic information objects (e.g., electronic addresses where current information can be retrieved). 검색된 데이터는 MMR 장치 상에서 수행될 후속 단계들을 지정하는 메뉴를 포함할 수 있다. The retrieved data can include menus that specify subsequent steps to be performed on the MMR device. 이는 또한 JPEG 이미지 또는 비디오 클립 등의 전화 (또는 다른 디스플레이 장치) 상에 디스플레이될 수 있는 정적 데이터일 수 있다. It could also be static data that may be displayed on the phone, such as JPEG images or video clips (or other display device). 패치 특성을 찾기 위해 검색되는 영역을 결정하는 파라미터가 RETRIEVE 명령에 제공될 수 있다. The parameters that determine the area searched for patch characteristics can be provided to the RETRIEVE command.

INSERT_TO <DATA> - <DATA>를 이미지 패치에 의해 지정되는 xy 위치에 삽입한다. Inserts <DATA> the xy position specified by the image patch - INSERT_TO <DATA>. 동작 처리기(3413)는 INSERT_TO 명령을, 지정된 xy 위치에 데이터를 추가하는 관계형 데이터베이스에 대한 명령어로 변환한다. The action processor 3413 transforms the INSERT_TO command, a command for the relational database that adds data to the specified location xy. INSERT_TO 명령의 성공적인 완료의 확인 응답이 패치 특성(3412)으로서 반환된다. The acknowledgment of the successful completion of the command is returned as patch characteristics INSERT_TO (3412). INSERT_TO 명령의 예시적인 애플리케이션은 사용자가 텍스트의 구절에서의 임의적인 xy 위치에 데이터를 첨부할 수 있게 해주는 MMR 장치 상에서의 소프트웨어 애플리케이션이다. An example application of the INSERT_TO command is a software application on the MMR device that allows a user to attach data to an arbitrary xy position in the text passage. 데이터는 JPEG 이미지, 비디오 클립 또는 오디오 파일 등의 정적 멀티미디어일 수 있지만, 주어진 위치와 연관된 동작들을 지정하는 메뉴 등의 임의적인 전자 데이터일 수도 있다. Data may also be arbitrary electronic data such as menus that specify actions associated with the given location can be static multimedia, but such as JPEG images, video clips, or audio files.

RETRIEVE_TEXT <RADIUS> - 이미지 패치에 의해 결정되는 xy 위치의 <RADIUS> 내에서 텍스트를 검색한다. RETRIEVE_TEXT <RADIUS> - to search for text within the <RADIUS> the xy location determined by the image patch. <RADIUS>는, 예를 들어, 이미지 공간에서의 픽셀의 수로서 지정될 수 있거나, 증거 누적 모듈(3406)에 의해 결정되는 xy 위치 주변의 단어들의 문자의 수로서 지정될 수 있다. <RADIUS> is, for example, may be specified as a number of pixels in image space, it may be designated as the number of characters of words around the xy position of which is determined by the evidence accumulation module 3406. <RADIUS>는 또한 파싱된 텍스트 객체를 말할 수 있다. <RADIUS> can also tell the parsed text objects. 이 특정의 실시예에서, 동작 처리기(3413)는 RETRIEVE_TEXT 명령을 적절한 텍스트를 검색하는 관계형 데이터베이스 질의로 변환한다. In this particular embodiment, the action processor 3413 transforms the RETRIEVE_TEXT command into a relational database query that retrieves the appropriate text. <RADIUS>가 파싱된 텍스트 객체를 지정하는 경우, 동작 처리기는 파싱된 텍스트 객체를 반환할 뿐이다. If <RADIUS> specifies parsed text objects, the Action Processor only returns parsed text objects. 파싱된 텍스트 객체가 지정된 xy 위치 근방에 위치하지 않는 경우, 동작 처리기는 널 표시(null indication)를 반환한다. If a parsed text object is not located in the vicinity of the specified xy location, the Action Processor returns a null indication (null indication). 대안의 실시예에서, 동작 처리기는 주어진 xy 위치의 반경 내에 있는 텍스트를 검색하기 위해 피드백-관련 피쳐 검색 모듈을 호출한다. In an alternate embodiment, the Action Processor feedback to search for text within a given radius of the xy position-calls directed feature search module. 텍스트 문자열이 패치 특성(3412)으로서 반환된다. This text string is returned as patch characteristics 3412.. 텍스트 문자열 내의 각각의 단어와 연관되어 있는 선택적인 데이터는 원래의 문서 내의 그의 xy 경계 박스를 포함한다. Optional data associated with each word in the text string includes his xy bounding box within the original document. RETRIEVE_TEXT 명령의 예시적인 응용은 다른 문서 내에 포함시키기 위해 인쇄된 문서로부터 텍스트 구문을 선택하는 것이다. An exemplary application of RETRIEVE_TEXT command to select the text phrases from a printed document for inclusion in other documents. 이것은, 예를 들어, MMR 시스템 상에서 프리젠테이션 파일을 (예를 들어, 파워포인트 형식으로) 작성하는 데 사용될 수 있다. This, for example, a presentation file on the MMR system (for example, in PowerPoint format) can be used to create.

TRANSFER <AMOUNT> - 문서 전체 및 다른 데이터베이스로 로드될 수 있는 형태로 그에 링크되어 있는 데이터 중 일부를 검색한다. TRANSFER <AMOUNT> - to retrieve some of the data that is linked to it in a form that can be loaded into the entire document and other databases. <AMOUNT>는 검색되는 데이터의 수 및 유형을 지정한다. <AMOUNT> specifies the number and type of data to be retrieved. <AMOUNT>가 ALL인 경우, 동작 처리기(3413)는 문서와 연관되어 있는 데이터 전부를 검색하는 명령을 데이터베이스(3408)에 발행한다. If <AMOUNT> is ALL, the action processor 3413 issues a command to retrieve all the data associated with the document database (3408). 이러한 명령의 예는 DUMP 또는 Unix TAR을 포함한다. An example of such a command include DUMP or Unix TAR. <AMOUNT>가 SOURCE인 경우, 문서에 대한 원래의 소스 파일이 검색된다. If <AMOUNT> is SOURCE, the original source file for the document is searched. 예를 들어, 이것은 인쇄된 문서에 대한 워드(Word) 파일을 검색할 수 있다. For example, this can be searched for the word (Word) file for the printed document. <AMOUNT>가 BITMAP인 경우, 인쇄된 문서에 대한 비트맵의 JPEG-압축된 버전(또는 다른 통상적으로 사용되는 형식)이 검색된다. If the <AMOUNT> the BITMAP, a JPEG- compression of the bitmap for the printed document version (or other commonly used formats) are retrieved. <AMOUNT>가 PDF인 경우, 문서의 PDF 표시가 검색된다. If <AMOUNT> is PDF, PDF Search is displayed in the document. 검색된 데이터는 명령 이름(command name)의 덕분에 호출 애플리케이션이 알고 있는 형식으로 패치 특성(3412)으로서 출력된다. The retrieved data is output as patch characteristics (3412) in a format that the calling application knows, thanks to the name of the command (command name). TRANSFER 명령의 예시적인 애플리케이션은 사용자가 작은 텍스트 영역을 이미지화(image)함으로써 문서에 대한 PDF 표시를 MMR 장치에 전송할 수 있게 해주는 "문서 그래버(document grabber)"이다. An example application of the TRANSFER command is a "grabber document (document grabber)" that allows the user to send a PDF document for display by imaging (image) the little text area on the MMR device.

PURCHASE - 문서에서의 xy 위치에 링크된 제품 상세(product specification)를 검색한다. PURCHASE - retrieve the product details (product specification) linked to the xy position in the document. 동작 처리기(3413)는 먼저 주어진 xy 위치 근방에 있는 제품 상세를 획득하기 위해 일련의 하나 이상의 RETRIEVE 명령을 수행한다. The action processor 3413 first performs a series of one or more RETRIEVE commands to obtain product details in the vicinity of a given xy position. 제품 상세는, 예를 들어, 판매자 이름, 제품 ID(예를 들어, 재고 번호) 및 판매자의 전자 주소(electronic address)를 포함한다. Product details include, for example, the seller's name, product ID (for example, inventory number) and electronic addresses (electronic address) of the seller. 제품 상세는 근방에 위치할 수 있는 다른 데이터 유형에 우선하여 검색된다. Product details are retrieved in preference to other data types that can be located in the vicinity. 예를 들어, jpeg가 이미지 패치에 의해 결정된 xy 위치에 저장되어 있는 경우, 그 다음으로 가장 가까운 제품 상세가 그 대신에 검색된다. For example, if the jpeg is stored at the xy position determined by the image patch, the next closest product details to be retrieved instead. 검색된 제품 상세는 패치 특성(3412)으로서 출력된다. Found for details is output as patch characteristics 3412. PURCHASE 명령의 예시적인 애플리케이션은 인쇄된 문서에 광고하는 것과 연관되어 있다. An exemplary application of the PURCHASE command is associated with that ad in the printed document. MMR 장치 상의 소프트웨어 애플리케이션은 광고와 연관된 제품 상세를 수신하고, 이를 지정된 전자 주소에 있는 지정된 판매자에 전송하기 이전에 사용자의 개인 식별 정보(예를 들어, 이름, 발송 주소, 신용 카드 번호, 기타 등등)를 추가한다. Software application on the MMR device receives the product detail associated with the ad, this former user's personally identifiable information to send to the specified merchant at the specified electronic address (for example, your name, shipping address, credit card number, etc.) It adds.

PRISTINE_PATCH <RADIUS [DOCID PAGEID XY DPI]> - 지정된 문서에 대한 전자적 표시를 검색하고 반경 RADIUS을 갖는 xy에 중심이 있는 이미지 패치를 추출한다. PRISTINE_PATCH <RADIUS [DOCID PAGEID XY DPI]> - retrieve an electronic representation for the specified document and extract an image patch centered on the xy having a radius RADIUS. RADIUS는 원의 반경을 지정할 수 있지만, 직사각형 패치(예를 들어, 2 인치 높이 x 3인치 폭)도 지정할 수 있다. RADIUS, but you can specify a radius of the circle, a rectangular patch (e.g., 2 inches high x 3 inches wide) may also be specified. 이는 또한 문서 페이지 전체를 지정할 수도 있다. You may also specify the entire document page. (DocID, PG, x, y) 정보가 동작의 일부로서 명시적으로 제공될 수 있거나 텍스트 패치의 이미지로부터 도출될 수 있다. (DocID, PG, x, y) information can be supplied explicitly as part of the operations or can be derived from an image of a patch of text. 동작 처리기(3413)는 관계형 데이터베이스(3408)로부터 문서에 대한 원래의 표시를 검색한다. The action processor 3413 retrieves the original mark of the document from a relational database (3408). 그 표시가 비트맵일 수 있지만 렌더링가능한 전자 문서일 수도 있다. As you can see a bit maepil but may be an electronic document can render. 원래의 표시가 문서 렌더링 애플리케이션(3414)으로 전달되며, 이곳에서 그 표시가 (파라미터 DPI(dots per inch)로 제공되는 해상도를 갖는) 비트맵으로 변환된 다음에 서브-이미지 추출(3416)에 제공되고, 여기서 원하는 패치가 추출된다. Providing the extracted image 3416 - original is displayed is transmitted to the document rendering application 3414, that shown here, the conversion and then to a bitmap (parameter DPI (dots per inch) having a resolution that is provided by) the sub- and, the desired patch is extracted here. 이 패치 이미지는 패치 특성(3412)으로서 반환된다. The patch image is returned as patch characteristics (3412).

ACCESS_DATABASE <DBID> - 데이터베이스(3400)를 클라이언트(106)의 데이터베이스 리스트에 추가한다. ACCESS_DATABASE <DBID> - add the database 3400 to the database list of client 106. 클라이언트는 이제, 현재 리스트에 있는 임의의 기존의 데이터베이스에 부가하여, 이 데이터베이스(300)에 조회할 수 있다. Clients now can be in addition to any existing database in the current list, query the database (300). DBID는 파일 또는 지정된 데이터베이스에 대한 원격 네트워크 참조를 지정한다. DBID specifies the remote network reference to the specified file or database.

인덱스 테이블 발생 방법 How to generate the index table

도 35는 본 발명의 일 실시예에 따른 MMR 인덱스 테이블을 발생하는 방 법(3500)을 나타낸 것이다. Figure 35 illustrates a method 3500 for generating an MMR index table in accordance with one embodiment of the present invention. 이 방법은, 예를 들어, 도 34a의 데이터베이스 시스템(3400)에 의해 수행될 수 있다. This method is, for example, may be performed by database system 3400 of Figure 34a. 한가지 이러한 실시예에서, MMR 인덱스 테이블은, 예를 들어, 스캔된 또는 인쇄된 문서로부터 MMR 인덱스 테이블 모듈(3404)(또는 어떤 다른 전용 모듈)에 의해 발생된다. In one such embodiment, the MMR index table is, for example, is generated by the MMR index table module 3404 (or some other dedicated module) from a scanned or printed document. 이 발생 모듈은, 본 명세서에 기술된 다른 모듈들처럼, 소프트웨어로, 하드웨어(예를 들어, 게이트-레벨 로직)로, 펌웨어(예를 들어, 이 방법을 수행하는 임베딩된 루틴들로 구성된 마이크로컨트롤러)로, 또는 이들의 어떤 조합으로 구현될 수 있다. The generation module, like the other modules described herein, in software, hardware (e.g., gate-level logic) as, firmware (e.g., a microcontroller configured with embedded routines for performing the method ) to, or may be implemented in any combination thereof.

이 방법은 종이 문서를 수신하는 단계(3510)를 포함한다. The method comprises the step (3510) for receiving the paper document. 이 종이 문서는 임의의 수의 페이지를 갖는 메모(예를 들어, 업무-관련, 사적인 편지), 제품 라벨(예를 들어, 통조림 제품, 의약, 박스 포장된 전자 장치), 제품 상세(예를 들어, 제설기(snow blower), 컴퓨터 시스템, 제조 시스템), 제품 브로셔 또는 광고 자료(예를 들어, 자동차, 투표, 휴양지), 서비스 설명 자료(예를 들어 인터넷 서비스 제공자, 청소 서비스), 책, 잡지 또는 다른 이러한 간행물로부터의 하나 이상의 페이지, 웹사이트로부터의 인쇄된 페이지, 필기 노트, 화이트보드로부터의 캡처된 및 인쇄된 노트, 또는 임의의 처리 시스템(예를 들어, 데스크톱 또는 휴대용 컴퓨터, 카메라, 스마트폰, 원격 단말기)으로부터의 인쇄된 페이지 등의 임의의 문서일 수 있다. This paper is a note having any number of pages (for example, work-related, personal letter), product labels (eg, canned goods, medicine, boxed electronic devices), product detail (for example, , snow plow (snow blower), computer systems, manufacturing systems), product brochures or advertising materials (for example, a car, vote, resort), service description data (for example Internet service providers, cleaning services), books, magazines, or one or more pages from other such publications, printed pages from the website, handwritten notes, the captured and printed notes from the whiteboard, or any of the processing system (eg, a desktop or portable computer, camera, smartphone , it can be any document, such as a printed page from the remote terminal).

이 방법은 종이 문서의 전자 표시를 발생하는 단계(3512)로 계속되며, 이 표시는 문서에 나타난 피쳐들의 xy 위치를 포함한다. The method continues to step 3512 to generate an electronic representation of the paper document, the display comprises an xy locations of features shown in the document. 타겟 피쳐들은, 예를 들어, 문서 내의 개개의 단어, 문자 및/또는 글자일 수 있다. Target features may include, for example, can be individual words, letters and / or characters in a document. 예를 들어, 원래의 문서가 스캔되는 경우, 이는 먼저 OCR되고, 단어(또는 다른 타겟 피쳐) 및 그의 xy 위치가 (예를 들어, 스캐너(127)의 문서 지문 정합 모듈(226')의 동작에 의해) 추출된다. For example, in the case where the original document scanning, which first and OCR, operation of the words (or other target feature) and whose xy position (e.g., the document fingerprint matching module 226 'of scanner 127 by) are extracted. 원래의 문서가 인쇄되는 경우, 인덱싱 프로세스는 모든 글자(또는 다른 타겟 피쳐)의 폰트, 포인트 크기 및 xy 경계 박스의 XML 형식으로 (예를 들어, 프린터(116)의 프린트 드라이버(316)의 동작에 의해) 정확한 표시를 수신한다. If the original document is printed, the indexing process is the operation for all the characters in XML format of the font, point size, and xy bounding boxes (or other target feature) (e.g., printer 116, the print driver 316 of by) receives the correct indication. 이 경우에, 인덱스 테이블 발생은 단계(3514)에서 시작하는데 그 이유는 전자 문서가 정확하게 식별된 xy 피쳐 위치와 함께 (예를 들어, 프린트 드라이버(316)로부터) 수신되기 때문이다. In this case, index table generation begins at step 3514 because it is received (from, for example, print driver 316) with the xy location feature accurately identify the electronic document. XML 이외의 형식이 본 개시 내용으로부터 명백하게 될 것이다. A format other than XML will be apparent in light of this disclosure. 마이크로소프트 워드, 아도브 아크로뱃 및 포스트스크립트 등의 전자 문서가 이들을 프린트 드라이버로 "인쇄(printing)"함으로써 데이터베이스에 입력될 수 있으며, 프린트 드라이버의 출력은 파일로 보내지며 따라서 종이가 반드시 발생될 필요는 없다. Microsoft Word, and electronic documents, such as Adobe Acrobat and PostScript can be entered into the database by these "printing (printing)" as a print driver, the output of the print driver is sent to a file, so do not be a paper that must occur . 이것은 이하에 나타내는 XML 파일 구조의 생성을 트리거한다. This triggers the creation of the XML file structure described below. 어떤 경우에도, XML은 물론 원래의 문서 형식(워드, 아크로뱃, 포스트스크립트, 기타)이 식별자(데이터베이스에 추가된 i번째 문서에 대한 doci)를 할당받고, 그 식별자로 또한 문서가 캡처된 시간, 인쇄된 날짜, 인쇄를 트리거한 애플리케이션, 출력 파일의 이름, 기타를 비롯한 문서의 다른 "메타데이터" 특성에 기초하여 나중에 검색가능하도록 관계형 데이터베이스(3408)에 저장된다. In any case, XML, as well as the original document format (Word, Acrobat, PostScript, and other), this identifier is assigned to (doci for the i-th article added to database), that also document capture with the identifier time, printing the date, which triggered the print application, the name of the output file, based on other "metadata" properties of the document, including other is stored in a relational database (3408) to allow later retrieval.

XML 파일 구조의 일례가 아래에 나타내어져 있다. An example of the XML file structure is shown below:

$docID.xml : $ DocID.xml:

<?xml version="1.0" ?> <? Xml version = "1.0"?>

<doclayout ID="00001234"> <Doclayout ID = "00001234">

<setup> <Setup>

<url>file url/path or null if not known</url> <Url> file url / path or null if not known </ url>

<date>file printed date</date> <Date> file printed date </ date>

<app>application that triggered print</app> <App> application that triggered print </ app>

<text>$docID.txt</text> <Text> $ docID.txt </ text>

<prfile>name of output file</prfile> <Prfile> name of output file </ prfile>

<dpi>dpi of page for x, y coordinates, eg.600</dpi> <Dpi> dpi of page for x, y coordinates, eg.600 </ dpi>

<width>in inch, like 8.5</width> <Width> in inch, like 8.5 </ width>

<height>in inch, eg. <Height> in inch, eg. 11.0</height> 11.0 </ height>

<imagescale>0.1 is 1/lOth scale of dpi</imagescale> <Imagescale> 0.1 is 1 / lOth scale of dpi </ imagescale>

</setup> </ Setup>

<page no="l> <Page no = "l>

$docID_l.jpeg</image> $ DocID_l.jpeg </ image>

<sequence box="xywh"> <Sequence box = "xywh">

<text>this string of text</text> <Text> this string of text </ text>

<font>any font info</font> <Font> any font info </ font>

<word box="xywh"> <Word box = "xywh">

<text>word text</text> <Text> word text </ text>

<char box="xywh">a</char> <Char box = "xywh"> a </ char>

<char box="xywh">b</char> <Char box = "xywh"> b </ char>

<char>l entry per char, in sequence</char> <Char> l entry per char, in sequence </ char>

</word> </ Word>

</sequence> </ Sequence>

</page> </ Page>

</doclayout> </ Doclayout>

한 특정의 실시예에서, 단어는 az, AZ, 0-9 및 @%$#;로부터의 임의의 문자를 포함할 수 있고, 그 밖의 모든 것은 구분 문자(delimiter)이다. In one particular embodiment, the word az, AZ, 0-9, and% $ # @; may include any number of characters from a Everything else delimiter (delimiter). .xml 파일의 원래의 설명은 (예를 들어, 데이터베이스(320) 서버 등의 서버 상에서 실행되는) 인덱싱 프로세스에 의해 사용되는 프린트 캡처 소프트웨어(print capture software)에 의해 생성될 수 있다. The original description of the .xml file can be created by print capture software (print capture software) which is used by the indexing process (e. G., Executing on a server, such as database 320 server). 실제의 형식은 항상 진화하고 있으며 더 많은 요소를 포함하는데, 그 이유는 시스템에 의해 새 문서가 획득되기 때문이다. The actual format of is constantly evolving to include more elements, because by the system before the new document is obtained.

프린트 드라이버(예를 들어, 프린트 드라이버(316))에 의해 수신되는 원래의 텍스트 시퀀스가 보존되고 논리적 단어 구조가 "_@%$#"을 제외한 구두점(punctuation mark)에 기초하여 강요된다. Are constrained on the basis of the print driver (e.g., print driver 316), colon (punctuation mark), the original text sequence is preserved and a logical word structure than "_ @% $ #" is received by the. XML 파일을 입력으로 사용하여, 인덱스 테이블 모듈(3404)은 페이지 경계를 존중하고, 먼저 2개의 연속적인 시퀀스 간의 수직 중첩의 정도를 검사함으로써 시퀀스들을 논리적 라인으로 그룹화하려고 시도한다. Using the XML file as input, the index table module 3404 respects the page boundary, and the first attempts to group the sequence by checking the amount of vertical overlap between two consecutive sequence of logical lines. 한 특정의 실시예에서, 2개의 시퀀스가 그의 평균 높이의 절반보다 적게 중첩하는 경우 라인 분할이 일어났다는 발견적 방법(heuristic)이 사용된다. The heuristic is a line break is occurred (heuristic) is used if in a particular embodiment, where the two sequences overlap less than half of their average height. 이러한 발견적 방법은 통상적인 텍스트 문서(예를 들어, 마이크로소프트 워드 문서)에 잘 동작한다. This heuristic works well for typical text documents (e.g., Microsoft Word documents). 복잡한 레이아웃을 갖는 html 페이지의 경우, 부가적인 기하학적 분석이 필요할 수 있다. In the case of html pages with complex layouts, it may be necessary to add geometric analysis. 그렇지만, 일관된 인덱싱 용어가 질의 프로세스에 의해 발생될 수 있는 한, 완벽한 의미론적 문서 구조를 추출하는 것이 필요하지 않다. However, consistent indexing terms it is not necessary to extract the perfect semantic document structures that can be generated by the query process.

종이 문서의 전자 표시의 구조에 기초하여, 이 방법은 종이 문서의 모든 페이지 상의 모든 타겟 피쳐의 위치를 인덱싱하는 단계(3514)로 계속된다. Based on the structure of the electronic representation of the paper document, the method continues to step 3514 to index the location of every target feature on every page of the paper document. 한 특정의 실시예에서, 이 단계는 종이 문서의 모든 페이지 상의 수평으로 및 수직으로 인접한 단어들의 모든 쌍의 위치를 인덱싱하는 단계를 포함한다. In one particular embodiment, this step includes indexing the location of every pair of adjacent words in the horizontal and the vertical on every page of the paper document. 앞서 설명한 바와 같이, 수평으로 인접한 단어는 라인 내에서의 이웃하는 단어들의 쌍이다. As previously explained, horizontally adjacent words are pairs of neighboring words within a line. 수직으로 인접한 단어들은 수직으로 일렬로 정렬되어 있는 이웃하는 라인에 있는 단어들이다. Vertically adjacent words are words in the line of Neighbor, which is aligned with a vertical line. 페이지의 다른 다차원 애스펙트(aspect)도 이와 유사하게 이용될 수 있다. Other multi-dimensional aspect (aspect) of the pages can also be used similarly.

이 방법은 또한 각각의 타겟 피쳐와 연관되어 있는 패치 특성을 저장하는 단계(3516)를 포함한다. The method also includes the step (3516) for storing the patch characteristics associated with each target feature. 한 특정의 실시예에서, 패치 특성은 패치에 첨부된 동작들을 포함하며, 관계형 데이터베이스에 저장된다. In one particular embodiment, the patch characteristics include the operations attached to the patch, and are stored in a relational database. 앞서 설명한 바와 같이, 이러한 이미지 인덱스 및 저장 설비의 결합은 이미지 패치와 정합하는 객체의 위치 및 그 패치의 특성을 고려한다. As explained above, such an image index and storage facility allows for the coupling of the position and the characteristics of the patch of the image patch and the matching object. 이 특성은 메타데이터 등의 패치와 관련된 임의의 데이터일 수 있다. The characteristics can be any data related to the patch, such as metadata. 이 특성은, 예를 들어, 특정의 기능을 수행하는 동작, 패치와 관련된 다른 컨텐츠에의 액세스를 제공하기 위해 선택될 수 있는 링크, 및/또는 패치와 관련된 다른 컨텐츠를 검색하게 하기 위해 스캔되거나 다른 방식으로 검색될 수 있는 바코드를 포함할 수 있다. This characteristic is, for example, a scan in order to search for other content related to the link, and / or patches may be selected to provide access to other content related to the operation, the patch that perform particular functions or other It can include a barcode that can be detected in this way.

검색어 발생을 위해 보다 정확한 정의가 제공되며, 라인 구조의 프래그먼트만이 관찰된다. And it provides a more precise definition for the search term occurs, only a fragment of the line structure is observed. 수평으로 인접한 쌍의 경우, 질의어는 단어들을 "-" 분리자(separator)로 연결시킴으로써 형성된다. For adjacent pairs of the horizontal, a query term is the word-connection is formed by a separator (separator) "". 수직쌍은 "+"를 사용하여 연결된다. Vertical pairs are connected by using "+". 이들 단어는 원하는 경우 대문자로 시작하는 것(capitalization)을 보존하기 위해 그의 원래의 형태로 사용될 수 있다(이것은 더 독특한 용어를 생성하지만 대소문자 구별(case sensitivity) 등을 고려하기 위해 부가적인 질의 문제를 갖는 더 큰 인덱스를 생성한다). These words are an additional query issues to be used in their original form in order to preserve it (capitalization) that start with if you want uppercase letters (this generates a more unique term, but to consider, such as case-insensitive (case sensitivity) It produces a larger index with). 이 인덱싱 방식은 동일한 검색 전략이 수평 또는 수직 단어쌍 또는 이 둘의 조합에 적용될 수 있게 해준다. The indexing scheme is the same search strategy is horizontal or vertical word-pairs, or allows to be applied to a combination of the two. 이들 경우들 중 임의의 것에 대해 역 문서 빈도(inverse document frequency)에 의해 용어들의 구별 능력이 고려된다. By the inverse document frequency (inverse document frequency) to in any of these cases it is considered discriminating power of terms.

증거 누적 방법(Evidence Accumulation Methodology) Evidence accumulated method (Evidence Accumulation Methodology)

도 36은, 본 발명의 일 실시예에 따른, 순위가 매겨진 일련의 문서, 페이지 및 위치 가설을 계산하는 방법(3600)을 나타낸 것이다. Figure 36, illustrates a method 3600 for calculating a set of document, page and location hypotheses are ranked according to an embodiment of the present invention. 이 방법은, 예를 들어, 도 34a의 데이터베이스 시스템(3400)에 의해 수행될 수 있다. This method is, for example, may be performed by database system 3400 of Figure 34a. 한가지 이러한 실시예에서, 증거 누적 모듈(3406)은 앞서 기술한 바와 같이 인덱스 테이블 모듈(3404)로부터의 데이터를 사용하여 가설을 계산한다. In one such embodiment, the evidence accumulation module 3406 computes hypotheses using data from the index table module 3404 as previously discussed.

이 방법은, 더 큰 문서 이미지의 이미지 패치 또는 문서 이미지 전체 등의, 타겟 문서 이미지를 수신하는 단계(3610)로 시작한다. The method begins with step 3610 for receiving a further, the target document image, such as a complete image or document image patch of a larger document image. 이 방법은 타겟 문서 이미지 내의 객체들 간의 2차원 관계를 캡처하는 하나 이상의 질의어를 발생하는 단계(3612)로 계속된다. The method continues to step 3612 to generate one or more query terms that capture two-dimensional relationships between objects in the target document image. 한 특정의 실시예에서, 질의어는, 도 34b를 참조하여 전술 한 바와 같이, 수평 및 수직 단어쌍을 생성하는 피쳐 추출 프로세스에 의해 발생된다. In one particular embodiment, the query term is, as described above with reference to Figure 34b, are generated by a feature extraction process of generating horizontal and vertical word-pairs. 그렇지만, 본 명세서에 기술된 임의의 수의 피쳐 추출 프로세스는, 본 개시 내용으로부터 명백하게 될 것인 바와 같이, 타겟 이미지 내의 객체들 간의 2차원 관계를 캡처하는 질의어를 생성하는 데 사용될 수 있다. However, the feature extraction process of the number of any described herein, as will be apparent in light of this disclosure, can be used to generate query terms that capture two-dimensional relationships between objects in the target image. 예를 들어, 방법(3500)의 인덱스를 작성하는 데 사용되는 동일한 피쳐 추출 기법이, 단계(3512)(종이 문서의 전자 표시를 발생함)를 참조하여 논의된 것 등의, 질의어를 발생하는 데 사용될 수 있다. For the same feature extraction technique that instance, are used to build the index of method 3500, step 3512 to generate, a query such as those discussed with reference to (Has an electronic representation of a paper document) It can be used. 게다가, 유의할 점은 질의어의 2차원 애스펙트가 각각의 질의어에 개별적으로(예를 들어, 타겟 문서 내의 수평 및 수직 객체 둘다를 나타내는 단일의 질의어) 또는 일련의 검색어(수평 단어쌍인 제1 질의어 및 수직 단어쌍인 제2 질의어)에 적용될 수 있다는 것이다. Furthermore, note that in the two-dimensional aspect of the query term individually to each query (e.g., a single query term that represents the both horizontal and vertical objects in the target document) or as a series of search terms (horizontal word pair in a first query language and a vertical that it can be applied to a word pair in a second query language).

이 방법은 각각의 질의어와 연관된 위치들의 리스트를 검색하기 위해 용어 인덱스 테이블(3422) 내의 각각의 질의어를 탐색하는 단계(3614)로 계속된다. The method continues with step (3614) to search for each query term in a term index table 3422 to retrieve a list of locations associated with each query term. 각각의 위치에 대해, 이 방법은 위치를 포함하는 다수의 구역을 발생하는 단계(3616)로 계속된다. For each location, the method continues with step 3616 for generating a plurality of zones including a position. 모든 질의가 처리된 후에, 이 방법은 모든 질의어와 가장 부합하는 구역을 식별하는 단계(3618)를 더 포함한다. After all queries are processed, the method further comprising the step (3618) for identifying the area that is most consistent with all query terms. 한가지 이러한 실시예에서, 모든 후보 구역에 대한 점수는 가중치만큼 (예를 들어, 각각의 구역이 모든 질의어와 얼마나 부합하는지에 기초하여) 증가된다. In one such embodiment, a score for every candidate region is as long as the weight is increased (for example, each of the zones, based on how consistent with all query terms). 이 방법은 (예를 들어, 사전 정의된 정합 문턱값에 기초하여) 식별된 구역이 사전 정의된 정합 기준을 만족시키는지를 결정하는 단계(3620)로 계속된다. This method (e.g., based on a predefined matching threshold), the identified region is continues at step 3620 to determine whether to satisfy a pre-defined matching criteria. 만족시키는 경우, 이 방법은 그 구역을 타겟 문서 이미지에 정합하는 것(match)으로서 확인하는 단계(3622)로 계속된다(예를 들어, 그 구역을 포함할 가능성이 가장 많은 페이지가 액세스되어 다른 방식으로 사용될 수 있다). If satisfying, the method continues with step (3622) to determine as to (match) that matches the section in the target document image (e.g., that is likely to include a zone is the highest number of pages accessed differently as may be used). 그렇지 않은 경우, 이 방법은 그 구역을 거부하는 단계(3624)로 계속된다. Otherwise, the method continues with step (3624), which rejected the district.

단어쌍이 "정규화된" 좌표 공간에서의 위치와 함께 용어 인덱스 테이블(3422)에 저장된다. Word pairs with the position of the "normalized" coordinate space are stored in the term index table 3422. 이것은 서로 다른 프린터 및 스캐너 해상도 간에 균일성을 제공한다. This provides uniformity between different printer and scanner resolutions. 한 특정의 실시예에서, 8.5" x 11" 페이지에 대해 85x110 좌표 공간이 사용된다. In one particular embodiment, a 85x110 coordinate space is used for 8.5 "x 11" page. 이러한 경우에, 모든 단어쌍이 이 85x110 공간에서의 그것의 위치에 의해 식별된다. In such a case, every word-pair is identified by its position in the 85x110 space.

검색의 효율성을 향상시키기 위해, 2-단계 프로세스가 수행될 수 있다. To improve the efficiency of the search, a two-step process can be performed. 첫번째 단계는 입력 이미지 패치를 포함할 가능성이 가장 많은 페이지를 찾아내는 단계를 포함한다. The first step includes the possibility of including the input image patch finding most pages. 두번째 단계는 패치의 중심일 가능성이 가장 많은 그 페이지 내에서의 xy 위치를 계산하는 단계를 포함한다. The second step involves calculating the xy locations within those most likely to be the center of the patch page. 이러한 접근 방법은 첫번째 단계에서 진짜 최상의 정합이 누락될 수 있을 가능성을 도입한다. This approach introduces the possibility could be missing a real best match in the first phase. 그렇지만, 희박한 인덱싱 공간의 경우, 이러한 가능성이 좀처럼 없다. However, in the case of a lean index space, this is seldom possible. 따라서, 인덱스의 크기 및 원하는 성능에 따라, 이러한 효율성 향상 기법이 이용될 수 있다. Thus, depending on the size and desired performance of the index, and this efficiency improving technique can be employed.

한가지 이러한 실시예에서, 이하의 알고리즘이 입력 이미지 패치에서 검출된 단어쌍을 포함할 가능성이 가장 많은 페이지를 찾아내는 데 사용된다. In one such embodiment, is used, this algorithm less likely to include a word-pairs detected in the input image patch, to find the page that most.

각각의 주어진 단어쌍 wp에 대해, For each given word-pair wp,

idf = l/log(2 + num_docs(wp)) idf = l / log (2 + num_docs (wp))

wp가 있는 각각의 (doc, page)에 대해, For each of which the wp (doc, page),

Accum[doc, page] += idf; Accum [doc, page] + = idf;

end /* For each (doc, page) */ end / * For each (doc, page) * /

end /* For each wp */ end / * For each wp * /

(maxdoc, maxpage) = max ( Accum[doc, page] ); (Maxdoc, maxpage) = max (Accum [doc, page]);

if (Accum[ maxdoc, maxpage ] > thresh_page) if (Accum [maxdoc, maxpage]> thresh_page)

return ( maxdoc, maxpage); return (maxdoc, maxpage);

이 기법은 각각의 단어쌍에 대한 역 문서 빈도(idf)를 그 단어쌍이 나타나는 문서 및 페이지에 의해 인덱싱된 누적기에 가산한다. This technique adds an accumulator indexed by the inverse document frequency of a document and page appears (idf) for the word-pair for each of the word pairs. num_docs(wp)는 단어쌍 wp를 포함하는 문서의 수를 반환한다. num_docs (wp) returns the number of documents that contain the word pair wp. 누적기는 증거 누적 모듈(3406)에 의해 구현된다. Accumulator is implemented by the evidence accumulation module 3406. 그 누적기에서의 최대값이 문턱값을 초과하는 경우, 그것이 패치에 대한 최상의 정합인 페이지로서 출력된다. If the maximum value in that accumulator exceeds a threshold, it is output as the best match to the patch page. 따라서, 이 알고리즘은 질의에서의 단어쌍에 가장 잘 정합하는 페이지를 식별하는 동작을 한다. Thus, the algorithm operates to identify the page that best matches the word-pairs in the query. 다른 대안으로서, Accum 어레이가 정렬될 수 있고 상위 N개의 페이지가 입력 문서와 정합하는 "N개의 최상의" 페이지로서 보고될 수 있다. Alternatively, the Accum array can be sorted and may be reported as "the N best" page to the top N pages input document and matching.

이하의 증거 누적 알고리즘은, 본 발명의 일 실시예에 따른, 단일의 페이지 내의 입력 이미지 패치의 위치에 대한 증거를 누적한다. The following evidence accumulation algorithm is, in accordance with one embodiment of the invention, the accumulated evidence for the input image patch within a single page of the site.

각각의 주어진 단어쌍 wp에 대해, For each given word-pair wp,

idf = l/log(2 + num_docs(wp)) idf = l / log (2 + num_docs (wp))

wp가 있는 각각의 (x,y)에 대해, For each of which the wp (x, y),

(minx, maxx, miny, maxy) = extent(x,y); (Minx, maxx, miny, maxy) = extent (x, y);

maxdist = maxdist(minx, maxx, miny, maxy); maxdist = maxdist (minx, maxx, miny, maxy);

For i=miny to maxy do For i = miny to maxy do

For j = minx to maxx do For j = minx to maxx do

norm_dist = Norm__geometric_dist (i, j, x, y, maxdist) norm_dist = Norm__geometric_dist (i, j, x, y, maxdist)

Activity [i, j ] += norm_dist; Activity [i, j] + = norm_dist;

weight = idf * norm_dist; weight = idf * norm_dist;

Accum2[i,j] += weight; Accum2 [i, j] + = weight;

end /* for j */ end / * for j * /

end /* for I */ end / * for I * /

end /* For each (y,y) */ end / * For each (y, y) * /

end /* For each */ end / * For each * /

이 알고리즘은 입력 이미지 패치의 중심일 가능성이 가장 많은 85x110 공간에서 셀을 찾아내는 동작을 한다. This algorithm is likely to be the center of the input image patch and the operation to find the most 85x110 cells in space. 여기에 나타낸 실시예에서, 이 알고리즘은 각각의 단어쌍(존(zone)이라고 함) 주변의 고정된 영역에 있는 셀에 가중치를 부가함으로써 이것을 행한다. In the embodiment shown here, the algorithm performs this by adding a weight to the cells in a fixed area around the (called zone (zone)), each of the word pairs. 범위 함수(extent function)가 x,y 쌍을 제공받고, 이 함수는 주변의 고정된 크기 구역(1.5" 높이 및 2" 폭이 통상적임)에 대한 최소 및 최대값을 반환한다. Range function (function extent) have been provided with an x, y pair, this function returns the minimum and maximum values ​​for a surrounding fixed size region of (1.5 "high and 2" being typical width). 범위 함수는 경계 조건에 주의하며 그가 반환하는 값이 누적기의 외부에 있지 않도록(즉, 0보다 작거나 또는 x가 85보다 크거나 y가 110보다 크지 않도록) 한다. Range function care of boundary conditions, and so light is not on the outside (that is, less than zero, or x is greater than 85, or y is not greater than 110) in the group, the value which he returns stacked. maxdist 함수는 경계 박스 좌표 (minx, maxx, miny, maxy)로 기술되는 경계 박스 내의 2개의 점 사이의 최대 유클리드 거리를 찾아낸다. maxdist function finds the maximum Euclidean distance between two points in a bounding box described by the bounding box coordinates (minx, maxx, miny, maxy). 단어쌍의 역 문서 빈도와 셀과 존의 중심 간의 정규화된 기하학적 거리의 곱에 의해 결정되는 가중치가 존 내의 각각의 셀에 대해 계산된다. The weight is determined by the inverse document frequency of the word-pair and the cell zone and the product of the normalized geometric distance between the center of a is calculated for each cell within the zone. 이것은 중심에 가까운 셀을 더 멀리 떨어져 있는 셀보다 더 높게 가중한다. This is higher than the weighted cells off the cell closest to the center further. 모든 단어쌍이 이 알고리즘에 의해 처리된 후에, 최대값을 갖는 셀을 찾기 위해 Accum2 어레이가 검색된다. After every word-pair is processed by the algorithm, the Accum2 array is searched for the cell with the maximum value. 그것이 문턱값을 초과하는 경우, 그의 좌표가 이미지 패치의 위치로서 보고된다. If it exceeds the threshold, its coordinates are reported as the location of the image patch. Activity 어레이는 누적된 norm_dist 값을 저장한다. The Activity array stores the accumulated value norm_dist. 이들이 idf에 의해 스케일링되지 않기 때문에, 이들은 특정의 단어쌍을 포함하는 데이터베이스 내의 문서의 수를 고려하지 않는다. Because they are not scaled by idf, it does not take into account the number of documents in the database that contain particular word pairs. 그렇지만, 이들은 주어진 일련의 워드쌍에 가장 잘 정합하는 xy 위치에 대한 2차원 이미지 표시를 제공한다. However, it provides a two-dimensional image displayed on the xy position that best matches the set of word pairs is given. 게다가, Activity 어레이 내의 엔트리들은 데이터베이스에 저장된 문서들에 독립적이다. In addition, entries in the Activity array are independent of the documents stored in the database. 통상적으로 내부적으로 사용되는 이 데이터 구조가 내보내기(3420)될 수 있다. There is a data structure that is commonly used internally can be exported 3420.

정규화된 기하학적 거리가 본 발명의 일 실시예에 따라 여기에 나타낸 바와 같이 계산된다. The normalized geometric distance in accordance with an embodiment of the invention is calculated as shown here.

Norm_geometric_dist(i, j, x, y, maxdist) Norm_geometric_dist (i, j, x, y, maxdist)

begin begin

d = sqrt( (ix) 2 + (jy) 2 ); d = sqrt ((ix) 2 + (jy) 2);

return ( maxdist - d ); return (maxdist - d);

end end

단어쌍의 위치와 존의 중심 간의 유클리드 거리가 계산되고 이것과 계산될 수 있는 최대 거리 간의 차이가 반환된다. The Euclidean distance between the word-pair with respect of the location is computed and returns the difference between the maximum distance that can be calculated with this.

모든 단어쌍이 증거 누적 알고리즘에 의해 처리된 후에, 최대값을 갖는 셀을 찾기 위해 Accum2 어레이가 검색된다. After every word-pair is processed by the evidence accumulation algorithm, the Accum2 array is searched for the cell with the maximum value. 그 값이 사전-정의된 문턱값을 초과하는 경우, 그의 좌표가 이미지 패치의 중심의 위치로서 보고된다. The value is pre-defined if it exceeds the threshold, its coordinates are reported as the location of the center of the image patch.

MMR 인쇄 아키텍처 MMR Printing Architecture

도 37a는 본 발명의 일 실시예에 따른 MMR 컴포넌트의 기능 블록도를 나타낸 것이다. Figure 37a illustrates a functional block diagram of MMR components in accordance with one embodiment of the present invention. 주된 MMR 컴포넌트는 연관된 프린터(116)를 갖는 컴퓨터(3705) 및/또는 공유 문서 주석(shared document annotation, SDA) 서버(3755)를 포함한다. The primary MMR components include a computer 3705 and / or a shared document annotation (shared document annotation, SDA) server 3755 associated with the printer 116.

컴퓨터(3705)는 기술 분야에 공지되어 있는 임의의 표준 데스크톱, 랩톱, 또는 네트워크화된 컴퓨터이다. Computer 3705 is any standard desktop computer, a laptop, or networked known in the art. 일 실시예에서, 컴퓨터는 도 1b를 참조하여 기술된 MMR 컴퓨터이다. In one embodiment, the computer is the MMR computer described with reference to Figure 1b. 사용자 프린터(116)는, 본 명세서에 기술된 바와 같이, 임의의 표준 가정용, 사무실용 또는 상업용 프린터이다. User printer 116 is any standard home, office, or commercial printer for, as described herein. 사용자 프린터(116)는 하나 이상의 인쇄된 페이지로 이루어진 종이 문서인 인쇄된 문서(118)를 생성한다. User printer 116 produces a paper document printed document 118, consisting of one or more printed pages.

SDA 서버(3755)는 공유 주석(shared annotation)의 방법과 연관되어 있는 정보, 애플리케이션, 및/또는 각종의 파일을 보유하는 표준 네트워크화된 또는 중앙집중식 컴퓨터이다. The SDA server 3755 is a standard networked or centralized computer that holds information, applications, and / or various types of files that are associated with the method of shared annotation (shared annotation). 예를 들어, 웹 페이지 또는 다른 문서들과 연관되어 있는 공유 주석이 SDA 서버(3755)에 저장된다. For example, the shared annotations associated with a web page or other document is stored in the SDA server 3755. 이 예에서, 주석은 본 명세서에 기술되어 있는 바와 같이 MMR에서 사용되는 데이터 또는 상호작용이다. In this example, the data or interactions used in MMR as described in comments are described herein. SDA 서버(3755)는 일 실시예에 따라 네트워크 접속을 통해 액세스가능하다. The SDA server 3755 is accessible via a network connection in accordance with one embodiment. 일 실시예에서, SDA 서버(3755)는 도 1b를 참조하여 기술된 네트워크화된 미디어 서버(114)이다. In one embodiment, SDA server 3755 is the networked media server 114 described in reference to Figure 1b.

컴퓨터(3705)는 각종의 컴포넌트를 더 포함하며, 이들 중 일부 또는 그 전부는 다양한 실시예에 따라 선택적이다. Computer 3705 further comprises a variety of components, some or all of which are optional according to various embodiments. 일 실시예에서, 컴퓨터(3705)는 소스 파일(3710), 브라우저(3715), 플러그-인(3720), 기호적인 핫스폿 기술(symbolic hotspot description)(3725), 수정된 파일(3730), 캡처 모듈(3735), page_desc.xml(3740), hotspot.xml(3745), 데이터 저장소(3750), SDA 서버(3755), 및 MMR 프린터 소프트웨어(3760)를 포함한다. In one embodiment, the computer 3705 source files 3710, browser 3715, the plug-in 3720, the symbolic hotspot description (symbolic hotspot description) (3725), modified files 3730, captured and a module (3735), page_desc.xml (3740), hotspot.xml (3745), a data store (3750), SDA server 3755, and MMR printer software 3760.

소스 파일(3710)은 문서의 전자적 표시인 임의의 소스 파일을 나타낸다. Source files 3710 are representative of any source files, an electronic representation of a document. 예시적인 소스 파일(3710)은 하이퍼텍스트 마크업 언어(HTML) 파일, 마이크로소프트 Example source files 3710 are Hypertext Markup Language (HTML) files, Microsoft

Figure 112009071751879-pct00007
워드 word
Figure 112009071751879-pct00008
파일, 마이크로소프트 Files, Microsoft
Figure 112009071751879-pct00009
파워포인트 Power Point Presentation
Figure 112009071751879-pct00010
파일, 간단한 텍스트 파일, PDF(portable document format) 파일, 기타 등등을 포함한다. It includes files, simple text files, PDF (portable document format) files, and the like. 본 명세서에 기술된 바와 같이, 브라우저(3715)에 수신된 문서는 많은 경우에 소스 파일(3710)로부터 온 것이다. As described herein, documents received at browser 3715 will come from source files 3710 in many cases. 일 실시예에서, 소스 파일(3710)은 도 3을 참조하여 기술된 소스 파일(310)과 동등하다. In one embodiment, the equivalent to source files 3710 are a source file 310 described with reference to FIG.

브라우저(3715)는 소스 파일(3710)과 연관되어 있는 데이터에의 액세스를 제공하는 애플리케이션이다. Browser 3715 is an application that provides access to data that is associated with source files (3710). 예를 들어, 브라우저(3715)는 소스 파일(3710)로부터 웹 페이지 및/또는 문서를 검색하는 데 사용될 수 있다. For example, the browser 3715 may be used to retrieve a web page and / or documentation from source files 3710. 일 실시예에서, 브라우저(3715)는 도 3을 참조하여 기술된 SD 브라우저(312, 314)이다. In one embodiment, the browser 3715 is an SD browser 312, 314 described with reference to FIG. 일 실시예에서, 브라우저(3715)는 인터넷 익스플로러 등의 인터넷 브라우저이다. In one embodiment, browser 3715 is an Internet browser such as Internet Explorer.

플러그-인(3720)은 저작 기능(authoring function)을 제공하는 소프트웨어 애플리케이션이다. Plug-in 3720 is a software application that provides an authoring (authoring function). 플러그-인(3720)은 독립형 소프트웨어 애플리케이션 또는 다른 대안으로서 브라우저(3715) 상에서 실행되는 플러그-인이다. Plug-in 3720 is a browser plug-in running on 3715 as a stand-alone software application or other alternative - the people. 일 실시예에서, 플러그-인(3720)은 본 명세서에 기술된 특정의 기능을 제공하기 위해 브라우저(3715) 등의 애플리케이션과 상호작용하는 컴퓨터 프로그램이다. In one embodiment, plug-in 3720 is a computer program that interacts with an application, such as browser 3715, to provide the specific functionality described herein. 플러그-인(3720)은 여러가지 실시예들에 따라 브라우저(3715)에 디스플레이된 문서 또는 웹 페이지에 다양한 변환 및 다른 수정을 수행한다. Plug-in 3720 performs various transformations and other modifications to documents or web pages displayed in the browser 3715 according to various embodiments. 예를 들어, 플러그-인(3720)은 핫스폿을 생성하기 위해 개별적으로 구별가능한 기점 마크(fiducial mark)로 핫스폿 지정(hotspot designation)을 둘러싸고 HTML 파일의 "마크업" 버전을 브라우저(3715)에 반환하며, 브라우저(3715)에 디스플레이된 문서의 일부분에 변환 규칙을 적용하고, 브라우저(3715)에 디스플레이된 문서에 대한 공유 주석을 검색 및/또는 수신한다. For example, a plug-in 3720 is designated a hot spot with individually distinguishable fiducial mark (fiducial mark) to create the hotspot (hotspot designation) to surround the "mark-up" version of the browser 3715 of the HTML file and return to apply the transformation rule to a portion of the document displayed in the browser (3715), and the search and / or receiving shared annotations to documents displayed in the browser 3715. 그에 부가하여, 플러그-인(3720)은, 본 명세서에 기술된 바와 같이, 수정된 문서를 생성하는 것 및 기호적인 핫스폿 기술(3725)을 생성하는 것 등의 다른 기능들을 수행할 수 있다. Thereof In addition, the plug-in 3720 may perform other functions, such as to produce a to produce a modified document and the symbolic hotspot description 3725 as described herein. 플러그-인(3720)은, 캡처 모듈(3735)을 참조하여, 도 38, 도 44, 도 45, 도 48 그리고 도 50a 및 도 50b를 참조하여 기술된 방법들을 용이하게 해준다. Plug-in 3720, in reference to capture module 3735, Fig. 38, 44, 45, 48 and facilitates the methods described in reference to Figure 50a and Figure 50b.

기호적인 핫스폿 기술(3725)은 문서 내의 핫스폿을 식별해주는 파일이다. Symbolic hotspot description 3725 is a file that identifies a hotspot within a document. 기호적인 핫스폿 기술(3725)은 핫스폿 번호 및 컨텐츠를 식별해준다. Symbolic hotspot description 3725 identifies the hotspot number and the content. 이 예에서, 기호적인 핫스폿 기술(3725)은 데이터 저장소(3750)에 저장된다. In this example, the symbolic hotspot description 3725 is stored to data store 3750. 기호적인 핫스폿 기술의 일례가 도 41에 더 상세히 나타내어져 있다. An example of a symbolic hotspot description is shown in greater detail in adjuster 41.

수정된 파일(3730)은 플러그-인(3720)에 의해 소스 파일(3710)의 수정 및 변환의 결과로서 생성되는 문서 및 웹 페이지이다. Modified files 3730 are plug-in is the documents and web pages created as a result of the modification and conversion of source files 3710 by 3720. 예를 들어, 상기한 바와 같은 마크업 HTML 파일은 수정된 파일(3730)의 일례이다. For example, a marked-up HTML file as described above is an example of a modified file 3730. 수정된 파일(3730)은, 본 개시 내용으로부터 명백하게 될 것인 바와 같이, 어떤 경우에 사용자에게 디스플레이하기 위해 브라우저(3715)에 반환된다. Modified files 3730 are, as will be apparent in light of this disclosure, it is returned to browser 3715 for display to the user in some cases.

캡처 모듈(3735)은, 인쇄된 페이지 상의 문자 및 그래픽의 레이아웃이 검색될 수 있도록, 문서들의 인쇄된 표시에 대해 피쳐 추출 및/또는 좌표 캡처를 수행하는 소프트웨어 애플리케이션이다. Capture module 3735, so that the layout of text and graphics on the printed pages can be retrieved, a software application that performs feature extraction and / or coordinate capture on the printed representation of a document. 레이아웃, 즉 인쇄된 페이지 상에서의 텍스트의 2차원 배열이 인쇄 시에 자동적으로 캡처될 수 있다. Layout, that is, the two-dimensional arrangement of text on the printed page, may be captured automatically at the time of printing. 예를 들어, 캡처 모듈(3735)은 모든 텍스트 및 도면 인쇄 명령을 실행하고, 그에 부가하여, 인쇄된 표시에서의 모든 문자 및/또는 이미지의 xy 좌표 및 다른 특성을 가로채기(intercept)하여 기록(record)한다. For example, capture module 3735 to all of the text and drawings, and issuing a print command, In addition, the intercept (intercept) the xy coordinates and other characteristics of every character and / or image in the printed representation thus recorded ( The record). 일 실시예에 따르면, 캡처 모듈(3735)은, 기존의 DLL의 기능의 추가 또는 수정을 가능하게 해주는 포워딩 DLL(forwarding Dynamically Linked Library)인, 본 명세서에 기술되는 Printcapture DLL이다. According to one embodiment, capture module 3735 is a forwarding that allows addition or modification of an existing DLL function DLL (forwarding Dynamically Linked Library), is a Printcapture DLL as described herein. 캡처 모듈(3735)의 기능에 대한 보다 상세한 설명이 도 44를 참조하여 기술된다. A more detailed description of the functionality of capture module 3735 is described with reference to FIG.

당업자라면 캡처 모듈(3735)이 데이터의 캡처를 위해 브라우저(3715)의 출력에 연결되어 있다는 것을 잘 알 것이다. Those skilled in the art will appreciate that the capture module 3735 is connected to the output of browser 3715 for capture of data. 다른 대안으로서, 캡처 모듈(3735)의 기능들은 프린터 드라이버 내에 직접 구현될 수 있다. Alternatively, the functions of capture module 3735 may be implemented directly within printer driver. 일 실시예에서, 캡처 모듈(3735)은, 도 3을 참조하여 기술된 바와 같이, PD 캡처 모듈(318)과 동등하다. In one embodiment, capture module 3735, as described with reference to Figure 3, is equivalent to PD capture module 318.

page_desc.xml(3740)은 텍스트 관련되어 있는 캡처 모듈(3735)에 의해 처리되는 함수 호출을 위해 텍스트-관련 출력이 기록되는 확장가능 마크업 언어("XML") 파일이다. page_desc.xml (3740) is a text for function calls processed by capture module 3735 that are related to the text - the Extensible Markup Language ( "XML") files that are related output is written. page_desc.xml(3740)은 단어별로 또 문자별로 모든 인쇄된 텍스트의 문서에 대한 좌표 정보는 물론 핫스폿 정보, 프린터 포트 이름, 브라우저 이름, 인쇄 날짜 및 시간, dpi(dots per inch) 및 해상도(res) 정보를 포함한다. page_desc.xml (3740) is the coordinate information on the documents of any printed text by another text word by word as well as the hot spot information, a printer port name, browser name, the date and time of printing, dpi (dots per inch) and resolution (res ) it includes information. page_desc.xml(3740)은 예를 들어 데이터 저장소(3750)에 저장된다. page_desc.xml (3740), for example, is stored in the data store 3750. 데이터 저장소(3750)는 도 34a를 참조하여 기술된 MMR 데이터베이스(3400)와 동등하다. Data store 3750 is equivalent to the MMR database 3400 described with reference to Figure 34a. 도 42a 및 도 42b는 HTML 파일에 대한 page_desc.xml(3740)의 일례를 더 상세히 나타낸 것이다. Figure 42a and Figure 42b will be more specifically showing an example of a page_desc.xml (3740) for the HTML file.

hotspot.xml(3745)은 문서가 인쇄될 때 (예를 들어, 앞서 기술한 바와 같이, 프린트 드라이버(316)의 동작에 의해) 생성되는 XML 파일이다. hotspot.xml (3745) is an XML file that the document when printed created (e.g., as previously discussed, by operation of print driver 316). hotspot.xml은 기호적인 핫스폿 기술(3725)과 page_desc.xml(3740)를 병합한 결과이다. hotspot.xml is the result of merging symbolic hotspot description 3725 and page_desc.xml (3740). hotspot.xml은 핫스폿 번호, 좌표 정보, 크기 정보 및 핫스폿의 컨텐츠 등의 핫스폿 식별자 정보를 포함한다. hotspot.xml includes hotspot identifier information such as hotspot number, coordinate information, size information, and the content of the hotspot. hotspot.xml 파일의 일례가 도 43에 나타내어져 있다. An example of a hotspot.xml file is shown in Figure 43.

데이터 저장소(3750)는 파일을 저장하는 기술 분야에 공지된 임의의 데이터베이스이며, 본 명세서에 기술된 방법들에서 사용하기 위해 수정된다. Data store 3750 is any database known in the art for storing files, modified for use in the methods described herein. 예를 들어, 일 실시예에 따르면, 데이터 저장소(3750)는 소스 파일(3710), 기호적인 핫스폿 기술(3725), page_desc.xml(3740), 렌더링된 페이지 레이아웃, 공유 주석, 이미지화된 문서, 핫스폿 정의, 및 피쳐 표시를 저장한다. For example, in one embodiment, the data store 3750 source files (3710), the symbolic hotspot description (3725), page_desc.xml (3740), the rendered page layout, shared annotations, imaged documents, It stores a hotspot definition, and a feature representation. 일 실시예에서, 데이터 저장 소(3750)는 도 3을 참조하여 기술된 문서 이벤트 데이터베이스(320) 및 도 34a를 참조하여 기술된 데이터베이스 시스템(3400)과 동등하다. In one embodiment, data store 3750 is equivalent to the database system 3400 as described with reference to the document event database 320 and 34a described with reference to FIG.

MMR 인쇄 소프트웨어(3760)는 본 명세서에 기술된, 예를 들어, 앞서 기술한 바와 같이 컴퓨터(3705)의 컴포넌트에 의해 수행되는 MMR 인쇄 동작을 용이하게 해주는 소프트웨어이다. MMR printing software 3760 is the software that facilitates the MMR printing operations performed by the components of computer 3705 as previously, for the, for example, as described herein, above. MMR 인쇄 소프트웨어(3760)에 대해서는 도 37b를 참조하여 이하에서 더 상세히 기술된다. For the MMR printing software 3760 it is also described in more detail below with reference to 37b.

도 37b는 본 발명의 일 실시예에 따른 MMR 인쇄 소프트웨어(3760)를 비롯한 일련의 소프트웨어 컴포넌트를 나타낸 것이다. Figure 37b illustrates a set of software components, including the MMR printing software 3760 in accordance with one embodiment of the present invention. MMR 인쇄 소프트웨어(3760)의 전부 또는 그 일부가 컴퓨터(112, 905), 캡처 장치(106), 네트워크화된 미디어 서버(114) 및 본 명세서에 기술된 다른 서버들에 포함될 수 있다는 것을 잘 알 것이다. MMR is all or any portion of the printing software 3760 will know well that it be included in the other server technology in computer (112, 905), the capture device 106, the networked media server 114 and the present specification. 이제부터, MMR 인쇄 소프트웨어(3760)가 이들 다른 컴포넌트를 포함하는 것으로 기술될 것이지만, 당업자라면 MMR 인쇄 소프트웨어(3760)가 하나부터 그 전부까지 임의의 수의 이들 컴포넌트를 가질 수 있다는 것을 잘 알 것이다. From now on, the MMR printing software 3760 As will be described as including these different components, those skilled in the art will recognize that the MMR printing software 3760 is one through the whole can have any number of these components of the. MMR 인쇄 소프트웨어(3760)는 컨버전 모듈(conversion module)(3765), 임베딩 모듈(embed module)(3768), 파싱 모듈(parse module)(3770), 변환 모듈(transform module)(3775), 피쳐 추출 모듈(feature extraction module)(3778), 주석 모듈(annotation module)(3780), 핫스폿 모듈(3785), 렌더링/디스플레이 모듈(3790), 및 저장 모듈(3795)을 포함한다. MMR printing software 3760 is a conversion module (conversion module) (3765), embedding module (embed module) (3768), the parsing module (parse module) (3770), conversion module (transform module) (3775), the feature extraction module include (feature extraction module) (3778), annotation module (annotation module) (3780), hotspot module 3785, the rendering / display module 3790, and a storage module (3795).

컨버전 모듈(3765)은 소스 문서를 이미지화된 문서(이 이미지화된 문서로부터 피쳐 표시가 추출될 수 있음)로 컨버전하는 것을 가능하게 해주며, 그렇게 하는 하나의 수단이다. A conversion module (3765) is a means which assists enables the conversion to an imaged document in the source document (from the imaged document that this is a feature representation can be extracted), so.

임베딩 모듈(3768)은 전자 문서에서의 핫스폿에 대한 지정에 대응하는 마크를 임베딩하는 것을 가능하게 해주며, 그렇게 하는 하나의 수단이다. Embedding module (3768) is one means for said, so let it possible to embedding marks corresponding to a designation for a hot spot in an electronic document. 한 특정의 실시예에서, 임베딩된 마크는 핫스폿의 시작점 및 핫스폿의 종료점을 나타낸다. In one particular embodiment, the embedded marks indicate a starting point and an end point of a hot spot in the hot spot. 다른 대안으로서, 실시예 마크(embodiment mark) 주변의 사전-정의된 영역이 전자 문서에서의 핫스폿을 식별하는 데 사용될 수 있다. Alternatively, the embodiment mark (mark embodiment) around a pre-defined two regions can be used to identify a hot spot in an electronic document. 다양한 이러한 마킹 방식이 사용될 수 있다. These markings can be used a variety of ways.

파싱 모듈(3770)은 핫스폿에 대한 시작점을 나타내는 마크를 찾아 전자 문서(프린터에 전송됨)를 파싱하는 것을 가능하게 해주며, 그렇게 하는 하나의 수단이다. Parsing module (3770) is a means which assists it possible to locate the mark indicating a start point for a hotspot parsing an electronic document (sent to the printer), so.

변환 모듈(3775)은 변환 규칙을 전자 문서의 일부분에 적용하는 것을 가능하게 해주며, 그렇게 하는 하나의 수단이다. Conversion module (3775) is one means for said, so let it possible to apply a transformation rule to a portion of the electronic document. 한 특정의 실시예에서, 그 일부분은 핫스폿의 시작점을 나타내는 마크와 핫스폿의 종료점을 나타내는 마크 사이의 문자들의 스트림이다. In one particular embodiment, the portion is a stream of characters between a mark indicating an end point of a mark and a hot spot indicating a start point of a hot spot.

피쳐 추출 모듈(3778)은 문서 및 핫스폿의 인쇄된 표시에 대응하는 피쳐의 추출 및 좌표의 캡처를 가능하게 해주며 그렇게 하는 하나의 수단이다. The feature extraction module (3778) is one means for so doing assists to enable capture of the extracts and the coordinates of the feature corresponding to a printed representation of a document and a hot spot. 좌표 캡처는 포워딩 동적 링크된 라이브러리를 사용하여 인쇄 명령을 태핑하는 것(tapping print command) 및 핫스폿 또는 변환된 문자에 대응하는 좌표의 서브셋에 대한 인쇄된 표시를 파싱하는 것을 포함한다. Coordinate capture includes parsing the printed representation for a subset of the coordinates corresponding to it (tapping print command) and a hot spot or tapping the Print command to convert text using a forwarding dynamically linked libraries. 피쳐 추출 모듈(3778)은 일 실시예에 따라 캡처 모듈(3735)의 기능을 가능하게 해준다. The feature extraction module (3778), enables the functionality of capture module 3735 according to one embodiment.

주석 모듈(3780)은 공유 주석 및 그에 수반하는 공유 주석과 연관된 문서의 일부분의 표시를 수신하는 것을 가능하게 해주며, 그렇게 하는 하나의 수단이다. Annotation module 3780 is one means for said, so let it possible to receive an indication of a portion of a document associated with the shared annotations to the shared annotation and accompanying. 공유 주석을 수신하는 단계는 최종 사용자로부터 또 SDA 서버로부터 주석을 수신하는 것을 포함한다. Receiving shared annotations includes receiving annotations from a SDA server again from the end user.

핫스폿 모듈(3785)은 하나 이상의 클립을 하나 이상의 핫스폿과 연관시키는 것을 가능하게 해주며, 그렇게 하는 하나의 수단이다. Hotspot module 3785 is one means for said, so let it possible to associate the one or more clips with one or more hotspots. 핫스폿 모듈(3785)은 또한 먼저 문서 내의 핫스폿에 대한 위치를 지정하고 핫스폿과 연관된 클립을 정의함으로써 핫스폿 정의를 작성(formulation)하는 것을 가능하게 해준다. Hotspot module 3785 also makes it possible to first specify the position of the hot spot and the right hot spot definition by defining a clip is associated with the hotspot (formulation) in the document.

렌더링/디스플레이 모듈(3790)은 문서 또는 문서의 인쇄된 표시가 렌더링 또는 디스플레이될 수 있게 해주고, 그렇게 하는 하나의 수단이다. Render / display module 3790 is one means for the printed representation of a document or document enable you to be rendered or displayed, so.

저장 모듈(3795)은 페이지 레이아웃, 이미지화된 문서, 핫스폿 정의, 및 피쳐 표시를 비롯한 다양한 파일의 저장을 가능하게 해주고, 그렇게 하는 하나의 수단이다. A storage module (3795) is one means for haejugo enables storage of various files, including a page layout, an imaged document, a hotspot definition, and a feature representation, so.

소프트웨어 일부분(3765-3795)은 개별의 소프트웨어 모듈일 필요가 없다. Software part (3765-3795) need not be discrete software modules. 도시된 소프트웨어 구성은 단지 예에 불과하며, 본 개시 내용으로부터 명백하게 될 것인 바와 같이, 본 발명의 범위 내에서 다른 구성이 생각된다. The software configuration is shown and only examples, as will be apparent in light of this disclosure, it is thought other configurations within the scope of the invention.

핫스폿을 문서에 임베딩 Embedding a hot spot in a document

도 38은 본 발명의 일 실시예에 따라 문서에 핫스폿을 임베딩하는 방법의 플로우차트를 나타낸 것이다. Figure 38 illustrates a flowchart of a method of embedding a hot spot in a document in accordance with an embodiment of the invention.

이 방법에 따르면, 문서 내의 핫스폿에 대한 지정에 대응하는 마크가 문서에 임베딩(3810)된다. According to this method, the marks corresponding to a designation for a hotspot within a document are embedded 3810 in a document. 일 실시예에서, 핫스폿 지정 위치를 포함하는 문서가 브라우저에 디스플레이하기 위해 수신되며, 예를 들어, 소스 파일(3710)로부터 문서가 브라우저(3715)에서 수신된다. In one embodiment, a document is received that includes the hotspot designation location for display in a browser, e.g., the documents from the source files 3710 is received at browser 3715. 핫스폿은 얼마간의 텍스트 또는 그래픽이나 사진은 물론 전자 데이터 등의 다른 문서 객체를 포함한다. The hot spots are some of the text or graphics or photos, as well as any other document objects such as electronic data. 전자 데이터는 오디오 또는 비디오 등의 멀티미디어를 포함할 수 있거나 핫스폿에 액세스될 때 캡처 장치 상에서 수행되는 일련의 단계일 수 있다. Electronic data may be a series of steps or may include multimedia such as audio or video to be performed on a capture device when access to the hotspot. 예를 들어, 문서가 하이퍼텍스트 마크업 언어(HTML) 파일인 경우, 브라우저(3715)는 인터넷 익스플로러일 수 있으며, 그 지정은 HTML 파일 내의 URL(Uniform Resource Locator)일 수 있다. For example, if the document is a hypertext markup language (HTML) files, the browser 3715 may be Internet Explorer, the designation can be a URL (Uniform Resource Locator) in the HTML file. 도 39a는 URL(3920)을 갖는 이러한 HTML 파일(3910)의 일례를 나타낸 것이다. Figure 39a shows an example of such an HTML file 3910 with a URL (3920). 도 40a는 브라우저(4010), 예를 들어, 인터넷 익스플로러에 디스플레이된 바와 같이 도 39a의 HTML 파일(3910)의 텍스트를 나타낸 것이다. Figure 40a is a browser 4010, for example, it illustrates the text of HTML file 3910 of Figure 39a as displayed in Internet Explorer.

마크를 임베딩(3810)하기 위해, 브라우저(3715)에 대한 플러그-인(3720)은 핫스폿을 생성하기 위해 개별적으로 구별가능한 기점 마크로 각각의 핫스폿 지정 위치를 둘러싼다. To mark embedding (3810), a browser plug-in for 3715 - 3720 is around individually distinguishable fiducial mark specify each hotspot locations to create a hotspot. 일 실시예에서, 플러그-인(3720)은 브라우저(3715)에 디스플레이된 문서, 예를 들어, 상기한 예에 계속하여 인터넷 익스플로러에 디스플레이된 HTML을 수정하고, 핫스폿 지정 위치(예를 들어, URL)를 괄호 안에 넣은 마크, 또는 태그를 삽입한다. In one embodiment, plug-in 3720, for a document, for example, displayed in the browser 3715, for the to continue the example, and modification of the HTML displayed in Internet Explorer, specify a hot spot location (for example, insert the mark, or tag with the URL) in parentheses. 이 마크는 브라우저(3715) 또는 문서의 인쇄 버전에서 문서를 보는 최종 사용자에게 보이지 않지만, 인쇄 명령에서 검출될 수 있다. This mark is not visible to the end user to view the document in a browser 3715 or a printed version of the document can be detected in the print command. 이 예에서, 본 명세서에서 MMR Courier New라고 하는 새로운 폰트가 시작 및 종료 기점 마크를 추가하는 데 사용된다. In this example, it is used in this specification, a new font called MMR Courier New to add a start and end starting mark. MMR Courier New 폰트에서, 문자 "b", "e" 및 숫자에 대한 통상적인 그림 문자(glyph) 또는 도트 패턴이 빈 공백으로 표시된다. In MMR Courier New font, letter "b", it is displayed in a conventional glyph (glyph) or dot pattern, an empty space on the "e" and a number.

다시 도 39a 및 도 40a에 도시된 예시적인 HTML 페이지를 참조하면, 플러그-인(3720)은 식별자 "0."를 갖는 핫스폿을 나타내기 위해 기점 마크 "b0"를 URL의 시작("here")에 또 기점 마크 "e0"를 URL의 끝에 임베딩(3810)한다. Referring back to the example HTML page shown in Figure 39a and 40a, the plug-in 3720 is the beginning of the URL the fiducial marks "b0" to indicate the hotspot with identifier "0." ( "here" ) in addition to starting embedding 3810 to mark "e0" at the end of the URL. b, e 및 숫자 문자가 공백으로 나타내어져 있기 때문에, 사용자는 문서의 외관에서 변화를 거의 또는 전혀 알지 못한다. b, e, and because they number the character is shown as spaces, the user knows little or no change in the appearance of the document. 게다가, 플러그-인(3720)은, 도 41에 나타낸 바와 같이, 이들 마크를 나타내는 기호적인 핫스폿 기술(3725)을 생성한다. In addition, plug-in 3720 as shown in Figure 41, to generate a symbolic hotspot description 3725 indicating these marks. 기호적인 핫스폿 기술(3725)은 핫스폿 번호를 0으로 식별하며(4120), 이는 "b0" 및 "e0" 기점 마커에서의 0에 대응한다. Symbolic hotspot description 3725 identifies the hotspot number as zero 4120, which corresponds to the 0 in the "b0" and "e0" fiducial markers. 이 예에서, 기호적인 핫스폿 기술(3725)은, 예를 들어, 데이터 저장소(3750)에 저장된다. In this example, the symbolic hotspot description 3725 is, for example, is stored in the data store 3750.

플러그-인(3720)은, 도 39b에 나타낸 바와 같이, HTML(3950)의 "마크업" 버전을 브라우저(3715)로 반환한다. Plug-in 3720, is also returned, as shown in 39b, the "mark-up" version of HTML (3950) to the browser 3715. 마크업 HTML(3950)은 폰트를 1-포인트 MMR Courier New로 변경하는 스팬 태그(span tag)(3960)로 기점 마크를 둘러싼다. Markup HTML (3950) surrounds the fiducial marks a span tag (span tag) (3960) to change the font to a 1-point MMR Courier New. b, e 및 숫자 문자가 공백으로 나타내어지기 때문에, 사용자는 문서의 외관에서의 변화를 거의 또는 전혀 보지 못한다. b, e, and because numeric character is represented by a space, I do not see little or no change in the appearance of the document. 마크업 HTML(3950)은 수정된 파일(3730)의 일례이다. HTML mark-up (3950) is an example of a modified file 3730. 이 예는 간단함을 위해 단일 페이지 모델을 사용하지만, 다중 페이지 모델이 동일한 파라미터를 사용한다. This example uses a single page model for simplicity, however, it uses the same parameters as a multi-page model. 예를 들어, 핫스폿이 페이지 경계에 걸쳐 있는 경우, 이는 각각의 페이지 위치에 대응하는 기점 마크를 가지며, 각각에 대한 핫스폿 식별자는 동일하다. For example, if a hotspot spans a page boundary, which has a fiducial marks corresponding to each page location, the hotspot identifier for each is the same.

그 다음에, 인쇄 명령에 응답하여, 인쇄된 표시 및 핫스폿에 대응하는 좌표가 캡처된다(3820). Then, in response to a print command, coordinates corresponding the printed representation and the hot spot are captured 3820. 일 실시예에서, 캡처 모듈(3735)은 인쇄 명령 내의 텍스트 및 드로잉 명령을 "태핑"한다. In one embodiment, capture module 3735 is "tapping" the text and drawing commands within a print command. 캡처 모듈(3735)은 모든 텍스트 및 드로잉 명령을 실행하고, 그에 부가하여, 인쇄된 표시는 내의 모든 문자 및/또는 이미지의 xy 좌표 및 다른 특성을 가로채기하여 기록한다. Capture module 3735 executes all the text and drawing commands, and the addition, the printed mark recorded intercepts all letters and / or xy coordinates and other characteristics of the image in intercepting him. 이 예에서, 캡처 모듈(3735)은, 출력 형식(즉, 프린터, 윈도우, 파일 형식, 메모리 버퍼, 기타)에 따라 출력될 텍스트 및/또는 이미지의 속성을 정의하는 인쇄된 표시의 구조에 대한 핸들인, 인쇄된 표시에 대한 장치 컨텍스트(Device Context, DC)를 참조한다. In this example, the capture module 3735, the output format (i.e., printer, window, file format, memory buffer, etc.) handle to the structure of the printed representation that defines the attributes of text and / or images to be output in accordance with the a, refers to a device context (device context, DC) for the printed representation. 인쇄된 표시에 대한 좌표를 캡처(3820)하는 프로세스에서, 핫스폿은 HTML 내의 임베딩된 기점 마크를 사용하여 용이하게 식별된다. In capturing 3820 the coordinates for the printed display process, the hot spot is easily identified by using the fiducial mark embedded in the HTML. 예를 들어, 시작 마크를 만날 때, 종료 마크가 발견될 때까지 모든 문자의 xy 위치가 기록된다. For example, when you see the starting mark, the xy location of every character is written until the end mark is found.

일 실시예에 따르면, 캡처 모듈(3735)은, 기존의 DLL의 기능을 추가 또는 수정할 수 있는, 본 명세서에서 "Printcapture DLL"이라고 하는 포워딩 DLL이다. According to one embodiment, capture module 3735, is to add, or to modify the functionality of an existing DLL, forwarding DLL called "Printcapture DLL" herein. 포워딩 DLL은 클라이언트에게 정확하게 원래의 DLL인 것처럼 보이지만, 호출이 타겟 (원래의) DLL로 포워딩되기 이전에 기능들 중 일부 또는 그 전부에 부가적인 코드("탭(tap)")가 추가된다. DLL is forwarded to the client looks exactly like the original DLL, the call is added to target some of the (original) prior to forwarding to the DLL functions or additional code in its entirety ( "tap (tap)"). 이 예에서, Printcapture DLL은 Windows GDI(Windows Graphics Device Interface) DLL gdi32.dll에 대한 포워딩 DLL이다. In this example, Printcapture DLL is a Windows GDI (Windows Graphics Device Interface) is a forwarding DLL for the DLL gdi32.dll. gdi32.dll은 600개 이상의 내보내기된 기능들을 가지며, 이들 모두가 포워딩될 필요가 있다. gdi32.dll has over 600 the export functions, and that these need all be forwarded. 본 명세서에서 gdi32.dll이라고 하는 Printcapture DLL은 클라이언트가 드로잉을 위해 DLL gdi32.dll을 사용하는 임의의 Windows 애플리케이션으로부터의 인쇄 출력(printout)을 캡처할 수 있게 해주며, 이는 원격 서버로 인쇄하는 경우에도 로컬 컴퓨터 상에서 실행되기만 하면 된다. Printcapture DLL called gdi32.dll herein assists allows clients to capture the printout (printout) from any Windows application using the DLL gdi32.dll to the drawing, which, even if you are printing to a remote server once it is running on the local computer.

일 실시예에 따르면, gdi32_mmr.dll은 gdi32.dll으로 이름 변경되고, C:\Windows\system32로 복사되어, 그로 하여금 거의 모든 Windows 애플리케이션으로부터의 인쇄를 모니터링하게 한다. According to one embodiment, gdi32_mmr.dll is renamed as gdi32.dll, C: is copied to \Windows\system32, thereby causing it to monitor printing from nearly every Windows application. 다른 실시예에 따르면, gdi32_mmr.dll은 gdi32.dll으로 명명되고 인쇄가 모니터링되는 애플리케이션의 홈 디렉토리로 복사된다. According to another embodiment, gdi32_mmr.dll is named gdi32.dll and copied to the home directory of the application which printing is monitored. 예를 들어, C:\Program Files\Internet Explorer은 Windows XP 상에서 인터넷 익스플로러를 모니터링한다. For example, C: \Program Files\Internet Explorer monitors the Internet Explorer on Windows XP. 이 예에서, 이 애플리케이션만이 자동적으로 Printcapture DLL 내의 기능들을 호출한다. In this example, only this application, and calls the functions in the Printcapture DLL automatically.

도 44는 본 발명의 일 실시예에 따른 포워딩 DLL에 의해 사용되는 프로세스의 플로우차트를 나타낸 것이다. Figure 44 illustrates a flowchart of a process used by a forwarding DLL in accordance with one embodiment of the present invention. Printcapture DLL gdi32_mmr.dll은 먼저 gdi32.dll에 관련된 함수 호출을 수신한다(4405). Printcapture DLL gdi32_mmr.dll first receives a function call is related to gdi32.dll (4405). 일 실시예에서, gdi32_mmr.dll은 gdi32.dll에 관련된 모든 함수 호출을 수신한다. In one embodiment, gdi32_mmr.dll receives all function calls relating to gdi32.dll. gdi32.dll은, 어떤 방식으로 인쇄된 페이지의 외관에 영향을 미치는 함수들에 대한 것인, 총 약 600개의 함수 호출 중 대략 200개를 모니터링한다. gdi32.dll has, and would for some way to affect the appearance of the printed page function, monitor a total of about 200 to about 600 of the function call. 따라서, Printcapture DLL은 이어서 수신된 호출이 모니터링된 함수 호출인지를 결정한다(4410). Therefore, it is determined whether the Printcapture DLL is a call is a monitored function call is then received (4410). 수신된 호출이 모니터링된 함수 호출이 아닌 경우, 이 호출은 단계(4415 내지 4435)를 우회하고 gdi32.dll로 포워딩된다(4440). If the received call is not a monitored function call, the call is diverted to steps (4415 to 4435) and forwarded to gdi32.dll (4440).

수신된 호출이 모니터링된 함수 호출인 경우, 이 방법은 그 다음에 함수 호출이 "새로운" 프린터 장치 컨텍스트(DC)를 지정하는지, 즉 이전에 수신되지 않은 프린터 DC인지 여부를 결정한다(4415). If the received call is a monitored function call, the method that is the next function call is determining whether that specifies "new" printer device context (DC), i.e., a printer DC is not received prior to the (4415). 이것은 내부 DC 테이블과 대조하여 프린터 DC를 검사함으로써 결정된다. This is determined by checking the printer DC in contrast to the internal DC table. DC는 앞서 언급한 드로잉을 위한 타겟(프린터, 메모리 버퍼, 기타 등등일 수 있음)은 물론 폰트, 컬러, 기타 등등의 드로잉 설정을 캡슐화한다. DC are (which may be a printer, a memory buffer, etc.) targeted for the previously mentioned drawing, as well encapsulates the drawing setting of the font, color, and the like. 모든 드로잉 동작(예를 들어, LIneTo(), DrawText(), 기타 등등)이 DC에 대해 수행된다. All drawing operations (e.g., LIneTo (), DrawText (), and the like) is performed on the DC. 프린터 DC가 새로운 것이 아닌 경우, 프린터 DC에 대응하는 메모리 버퍼가 이미 존재하고, 단계(4420)를 건너뛴다. If the printer DC is not new, a memory buffer already exists that corresponds to the printer DC, and, skipping the step (4420). 프린터 DC가 새로운 것인 경우, 새로운 프린터 DC에 대응하는 메모리 버퍼 DC가 생성된다(4420). If the printer DC is new, a memory buffer DC corresponding to the new printer DC is created 4420. 이 메모리 버퍼 DC는 인쇄된 페이지의 외관을 미러링하고, 이 예에서, 상기한 인쇄된 표시와 동등하다. This memory buffer DC mirrors the appearance of the printed page, in this example, is equal to the above-described printed representation. 따라서, 프린터 DC가 내부 DC 테이블에 추가될 때, 동일한 크기의 메모리 버퍼 DC(및 메모리 버퍼)가 생성되고 내부 DC 테이블 내의 프린터 DC와 연관된다. Thus, when a printer DC is added to the internal DC table, a memory of the same size buffer DC (and memory buffer) is generated and associated with the printer DC in the internal DC table.

gdi32_mmr.dll은 그 다음에 호출이 텍스트-관련 함수 호출인지 여부를 결정한다(4425). gdi32_mmr.dll is that the next call to a text-to determine whether the relevant function call (4425). 200개의 모니터링된 gdi32.dll 호출 중 대략 12개가 텍스트-관련되어 있다. About a dozen of the 200 monitored gdi32.dll call text - are relevant. 텍스트-관련되어 있지 않은 경우, 단계(4430)를 건너뛴다. Text - if not relevant, skip to step (4430). 함수 호출이 텍스트-관련되어 있는 경우, 텍스트-관련 출력이 본 명세서에서 page_desc.xml(3740)(도 37a에 나타냄)이라고 하는 xml 파일에 기록된다(4430). If it is related, the text-related function call text output is written to an xml file, known as page_desc.xml (3740) (indicated in Fig. 37a) in this specification (4430). page_desc.xml(3740)은, 예를 들어, 데이터 저장소(3750)에 저장된다. page_desc.xml (3740), for example, is stored in the data store 3750.

도 42a 및 도 42b는 도 39a 및 도 40a를 참조하여 기술된 HTML 파일(3910) 예에 대한 예시적인 page_desc.xml(3740)을 나타낸 것이다. Figure 42a and Figure 42b shows an example page_desc.xml (3740) for the HTML file 3910 example discussed in reference to Figure 39a and Figure 40a. page_desc.xml(3740)은 단어(4210)별로(예를 들어, Get), x, y, 폭 및 높이별로, 또한 문자(4220)별로(예를 들어, G), 모든 인쇄된 텍스트에 대한 좌표 정보를 포함한다. page_desc.xml (3740) is the word 4210 by (e.g., Get), x, y, by the width and height, and text (4220) by (e.g., G), the coordinates of all the printed text including the information. 모든 좌표는, 달리 언급하지 않는 한, 페이지의 좌측 상부 모서리에 대해 도트(dot)(픽셀에 대응하는 프린터에서의 용어)로 되어 있다. All coordinates are in dots (dot) (in terms of printer corresponding to a pixel) for the upper left corner of the page, unless otherwise indicated. page_desc.xml(3740)은 또한 시작 마크(4230) 및 종료 마크(4240) 등의 핫스폿 정보를 "시퀀스"의 형태로 포함한다. The page_desc.xml (3740) also includes the hotspot information, such as the start mark (4230) and the end mark (4240) in the form of a "sequence". (예를 들어, 페이지 N과 페이지 N+1의) 페이지 경계에 걸쳐 있는 핫스폿의 경우, 이는 양쪽 페이지(N 및 N+1) 둘다에 나타나며, 양 경우에서의 핫스폿 식별자는 동일하다. (E. G., Page N and the page N + 1) If the hotspot that spans a page boundary, which appears in both the two pages (N and N + 1), is equal to the hotspot identifier in both cases. 그에 부가하여, 생성된 .xml 및 .jpg 파일에 상당한 영향을 미칠 수 있는 프린터 포트 이름(4250), 브라우저(3715)(또는 애플리케이션) 이름(4260), 및 인쇄 날짜 및 시간(4270)은 물론 페이지(4280) 및 인쇄가능 구역(4290)에 대한 dpi(dots per inch) 및 해상도(res) 등의 다른 중요한 정보가 page_desc.xml(3740)에 포함된다. In addition thereto, which can have a significant impact on the resulting .xml and .jpg files, printer port name 4250, a browser 3715 (or application) name, (4260), and the date and time of printing (4270) as well as page (4280), and other important information, such as dpi (dots per inch) and resolution (res) for the printable area (4290) is included in page_desc.xml (3740).

다시 도 44를 참조하면, 호출이 텍스트 관련되어 있지 않다는 결정 이후에, 또는 텍스트-관련 출력을 page_desc.xml(3740)에 기록(4430)한 이후에, gdi32_mmr.dll은 DC에 대한 메모리 버퍼에 대해 함수 호출을 실행한다(4435). Referring again to Figure 44, a call after a decision is not otherwise associated text, or text-related output after recording (4430) in page_desc.xml (3740), gdi32_mmr.dll is for the memory buffer for the DC and it executes a function call (4435). 이 단계(4435)는 역시 로컬 컴퓨터 상의 메모리 버퍼로의 출력도 얻기 위해 프린터에 출력을 제공한다. This step 4435 may also provide output to the printer to get the output to a memory buffer on the local computer. 이어서, 페이지가 증가될 때, 메모리 버퍼의 내용이 압축되고 JPEG 및 PNG 형식으로 기록된다. Then, when the page is increased, the contents of the memory buffer are compressed and recorded in JPEG and PNG format. 함수 호출은 이어서 gdi32.dll로 포워딩되어(4440), 정상적인 것처럼 그를 실행한다. The function call then is forwarded to gdi32.dll (4440), and executes him as normal.

다시 도 38을 참조하면, 핫스폿을 포함하는 인쇄된 표시를 포함하는 페이지 레이아웃이 렌더링된다(3830). Referring back to Figure 38, a page layout comprising the printed representation including the hot spot is rendered (3830). 일 실시예에서, 렌더링(3830)은 문서를 인쇄하는 것을 포함한다. In one embodiment, the rendering 3830 includes printing the document. 도 40b는 도 39a 및 도 40a의 HTML 파일(3910)의 인쇄 버전(4011) 의 일례를 나타낸 것이다. Figure 40b shows an example of a printed version 4011 of the HTML file 3910 of Figure 39a and Figure 40a. 유의할 점은 기점 마크가 최종 사용자에게 시각적으로 지각되지 않는다는 것이다. Note that the origin mark is not visually perceptible to the end user. 렌더링된 레이아웃은, 예를 들어, 데이터 저장소(3750)에 저장된다. Rendered layout is, for example, is stored in the data store 3750.

일 실시예에 따르면, Printcapture DLL은 기호적인 핫스폿 기술(3725) 내의 데이터와 page_desc.xml(3740)(예를 들어, 도 42a 및 도 42b에 나타냄)를 hotspot.xml(3745)(도 43에 나타냄)로 병합한다. According to one embodiment, the Printcapture DLL is a page_desc.xml data in the symbolic hotspot description 3725 3740 (e. G., Referred to in Figure 42a and Figure 42b) hotspot.xml (3745) (in Fig. 43 It merges with indicated). 이 예에서, hotspot.xml(3745)은 문서가 인쇄될 때 생성된다. In this example, hotspot.xml (3745) is created when a document is printed. 도 43에서의 예는 핫스폿 0이 x=1303, y=350에 있고, 190 픽셀 폭 및 71 픽셀 높이임을 나타낸다. Example in Figure 43 shows that hotspot 0, x = 1303, y = 350, and, 190 pixels wide and 71 pixels high. 핫스폿의 컨텐츠도 나타내어져 있으며, 즉 http://www.ricoh.com이다. And adjuster also indicate the content of a hot spot, i.e. an http://www.ricoh.com.

캡처 모듈(3820)의 대안의 실시예에 따르면, 마이크로소프트 XPS(XML print specification) 프린트 드라이버에서의 필터(통상 "XPSDrv 필터"라고 함)는 텍스트 드로잉 명령을 수신하고 상기한 바와 같이 page_desc.xml 파일을 생성한다. According to an alternate embodiment of capture module 3820, Microsoft (also commonly referred to as a "XPSDrv Filter") filter in the XPS (XML print specification) print driver page_desc.xml file as described receives text drawing commands and the the produce.

시각적으로 지각가능한 핫스폿 Visual perception possible hotspots in

도 45는 본 발명의 일 실시예에 따른 문서에서의 핫스폿에 대응하는 문자를 변환하는 방법의 플로우차트를 나타낸 것이다. Figure 45 illustrates a flowchart of a method of transforming characters corresponding to a hotspot in a document in accordance with one embodiment of the present invention. 이 방법은 최종 사용자 및 MMR 인식 소프트웨어 둘다에 핫스폿이 존재한다는 것을 알려주도록 인쇄된 문서를 수정한다. The method is to modify the printed document to inform that the hot spots exist in both the end user and MMR recognition software.

처음에, 인쇄될 전자 문서가 문자 스트림으로서 수신된다(4510). The electronic documents will be in the beginning, it is received as a stream of characters printed (4510). 예를 들어, 문서는 프린터 드라이버에서 또는 문자 스트림을 필터링할 수 있는 소프트웨어 모듈에서 수신될 수 있다(4510). For example, a document may be received at a software module capable of filtering the character stream, or in the printer driver 4510. 일 실시예에서, 문서는 소스 파일(3710)로부터 브라우저(3715)에서 수신된다(4510). In one embodiment, the document is received at browser 3715 from source files 3710 (4510). 도 46은 본 발명의 일 실시예에 따라 문서(4610)의 전자 버전의 일례를 나타낸 것이다. Figure 46 shows an example of an electronic version of a document 4610 according to one embodiment of the invention. 이 예에서의 문서(4610)는 2개의 핫스폿을 가지며, 하나는 "이하에 열거된 것"과 관련되어 있고 하나는 "가능한 종래 기술"과 관련되어 있다. Document 4610 in this example has two hotspots, one associated with the "those listed in the" and one is related to the "available prior art". 핫스폿은 일 실시예에 따르면 최종 사용자에 의해 시각적으로 지각가능하지 않다. Hotspot is not visually perceived by the end user according to one embodiment. 핫스폿은 도 38을 참조하여 기술된 좌표 캡처 방법을 통해 또는 본 명세서에 기술된 다른 방법들 중 임의의 것에 따라 설정될 수 있다. The hotspot may be set according to any of the other methods described by the coordinate capture method described herein or with reference to Figure 38.

핫스폿의 시작을 나타내는 시작 마크(begin mark)를 찾기 위해 문서가 파싱된다(4520). The document is parsed to find the start mark (begin mark) indicates the beginning of the hotspot (4520). 시작 마크는 앞서 기술한 기점 마크 또는 핫스폿을 식별해주는 임의의 다른 개별적으로 구별가능한 마크일 수 있다. Start mark may be any distinguishable marks to another individual that identifies the fiducial marks or hot spot described above. 일단 시작 마크가 발견되면, 종료 마크가 발견될 때까지, 문서의 일부분에, 즉 시작 마크 이후의 문자에 변환 규칙이 적용된다(4530). Once you start mark is detected, until the end mark is found, the conversion rules are applied to the characters after the portion of the document, ie start mark (4530). 이 변환 규칙은, 예를 들어, 문자 폰트 또는 컬러를 수정함으로써 일 실시예에 따라 핫스폿에 대응하는 문서의 일부분의 시각적 수정을 야기한다. The conversion rule, for example, results in a modification of the visual portion of the document corresponding to the hotspot according to one embodiment by modifying the character font or color. 이 예에서, 원래의 폰트, 예를 들어, Times New Roman은 다른 기지의 폰트, 예를 들어, OCR-A로 컨버전될 수 있다. In this example, it contains the original fonts, for example, Times New Roman font for the example of other bases can be converted into OCR-A. 다른 예에서, 텍스트가 다른 폰트 컬러, 예를 들어, 청색 #F86A로 렌더링된다. In another example, the text contains a different font color, for example, is rendered in blue # F86A. 폰트를 변환하는 프로세스는 일 실시예에 따라 상기한 프로세스와 유사하다. The process of transforming the font is similar to the above-described process in accordance with one embodiment. 예를 들어, 문서(4610)가 HTML 파일인 경우, 문서(4510)에서 기점 마크를 만나는 경우, HTML 파일에서 폰트가 대체된다. For example, if a document (4610), the case of HTML files, meet the fiducial marks in the document (4510), the font is replaced in the HTML file.

일 실시예에 따르면, 변환 단계는 브라우저(3715)에 대한 플러그-인(3720)에 의해 달성되어, 수정된 문서(3730)를 생성한다. According to one embodiment, the conversion step is a plug for a browser 3715 - is achieved by 3720, and generates the modified document 3730. 도 47은 본 발명의 일 실시예에 따른 인쇄된 수정된 문서(4710)의 일례를 나타낸 것이다. Figure 47 shows an example of the modified document 4710 printed in accordance with an embodiment of the present invention. 예시한 바와 같이, 핫스폿(4720, 4730)은 나머지 텍스트와 시각적으로 구별가능하다. Is possible, the hotspot (4720, 4730) are distinguished visually from the rest of the text, as illustrated. 상세하게는, 핫스폿(4720)은 그의 다른 폰트에 기초하여 시각적으로 구별가능하고, 핫스폿(4730)은 그의 다른 컬러 및 밑줄에 기초하여 시각적으로 구별가능하다. Specifically, the hotspot (4720) is to be visually distinguishable, and the hotspot (4730) based on its different font is visually distinguishable based on its different color and underlining.

그 다음에, 변환된 부분을 갖는 문서가 전자 문서 및 전자 문서 내에서의 핫스폿의 위치를 포함하는 페이지 레이아웃 내에 렌더링된다(4540). Next, the document with the transformed portion is rendered in the page layout including the position of the hot spot in the electronic document and the electronic document (4540). 일 실시예에서, 문서를 렌더링하는 것은 문서를 인쇄하는 것이다. In one embodiment, rendering the document is printing the document. 일 실시예에서, 렌더링하는 것은, 본 명세서에 기술된 그렇게 하는 방법들 중 임의의 방법에 따라, 변환된 부분을 갖는 문서에 대해 피쳐 추출을 수행하는 것을 포함한다. In one embodiment, rendering includes performing feature extraction on the document in accordance with any of the methods of the so described herein, with the transformed portion. 일 실시예에서, 피쳐 추출은, 인쇄 명령에 응답하여, 일 실시예에 따라 전자 문서에 대응하는 페이지 좌표를 캡처하는 것을 포함한다. In one embodiment, feature extraction, includes in response to a print command, in accordance with an embodiment for capturing page coordinates corresponding to the electronic document. 변환된 문자에 대응하는 좌표의 서브셋을 찾기 위해 전자 문서가 파싱된다. The electronic document is parsed to find a subset of the coordinates corresponding to the converted text. 일 실시예에 따르면, 도 37a의 캡처 모듈(3735)은 피쳐 추출 및/또는 좌표 캡처를 수행한다. According to one embodiment, the capture module 3735 of Figure 37a performs a feature extraction and / or coordinate capture.

MMR 인식 소프트웨어는 동일한 변환 규칙을 사용하여 모든 이미지를 전처리한다. The MMR recognition software preprocesses every image using the same transformation rules. 먼저, 이는 이 규칙을 따르는, 예를 들어, OCR-A 또는 청색 #F86A인 텍스트를 찾고, 이어서 그것의 정상적인 인식 알고리즘을 적용한다. First, it conforms to the rules, for example, looking at the text of OCR-A or blue # F86A, and then applies its normal recognition algorithm.

본 발명의 이 측면이 유익한 이유는 MMR 인식 소프트웨어의 계산 부하를 상당히 감소시키기 때문인데, 왜냐하면 많은 양의 계산 오버헤드를 제거하는 아주 간단한 이미지 전처리 루틴을 사용하기 때문이다. Why is this aspect of the present invention is advantageous because it uses a very simple image preprocessing routine that is due to considerably reduce the computational load of MMR recognition software because removing a large amount of computational overhead. 그에 부가하여, 이는, 예를 들어, 도 51a 내지 도 51d를 참조하여 기술된 바와 같이, 예를 들어, 문서의 일부분에 걸 쳐 경계 박스가 있는 경우, 선택으로부터 적용될 수 있는 많은 수의 대안의 해결책을 제거함으로써 피쳐 추출의 정확도를 향상시킨다. Thereof In addition, this, for example, as Fig. 51a to reference to Figure 51d by techniques, for example, if there is something hit the bounding box to a portion of the document, a large number of alternative solutions of which can be applied from the selection by removing and improves the accuracy of feature extraction. 그에 부가하여, 텍스트의 가시적인 수정은 어느 텍스트(또는 다른 문서 객체)가 핫스폿의 일부인지를 최종 사용자에게 알려준다. In addition, the visible modification of the text indicates whether the portion of the hot spot which text (or other document objects) to the end user.

공유 문서 주석 Share this article comment

도 48은 본 발명의 일 실시예에 따른 공유 문서 주석의 방법의 플로우차트를 나타낸 것이다. Figure 48 illustrates a flowchart of a method of shared document annotation in accordance with one embodiment of the present invention. 이 방법은 사용자가 공유 환경에서 문서에 주석을 첨부할 수 있게 해준다. This method allows users to annotate documents in a shared environment. 이하에 기술되는 실시예에서, 공유 환경은 다양한 사용자가 보는 웹 페이지이지만, 공유 환경은 다른 실시예에 따른, 작업 그룹 등의, 리소스가 공유되는 임의의 환경일 수 있다. In the embodiment described below, the shared environment can be a different user views the web page, but the shared environment can be any environment in which a shared, resources, such as a workgroup, according to other embodiments.

이 방법에 따르면, 소스 문서가 브라우저, 예를 들어, 브라우저(3715)에 디스플레이된다(4810). According to the method, a source document for the browser, for example, is displayed in the browser 3715 (4810). 일 실시예에서, 소스 문서는 소스 파일(3710)로부터 수신되고, 다른 실시예에서, 소스 문서는 네트워크, 예를 들어, 인터넷 접속을 통해 수신되는 웹 페이지이다. In one embodiment, the source document is received from source files 3710, in another embodiment, the source document is a web page received via a network, e.g., Internet access. 웹 페이지 예를 사용하여, 도 49a는 본 발명의 일 실시예에 따른 브라우저 내의 샘플 소스 웹 페이지(4910)를 나타낸 것이다. Using the web page example, Figure 49a illustrates a sample source web page 4910 in a browser according to an embodiment of the present invention. 이 예에서, 웹 페이지(4910)는 인기있는 어린이 책 캐릭터와 관련된 게임, 즉 Jerry Butter Game에 대한 HTML 파일이다. In this example, the web page 4910 is an HTML file for the game, that Jerry Butter Game related to the popular children's book character.

소스 문서의 디스플레이(4810) 시에, 공유 주석 및 소스 문서와 연관된 공유 주석과 연관된 소스 문서의 일부분의 지정이 수신된다(4820). When the display 4810 of the source document are received in a specified portion of the source document associated with the shared annotation associated with the shared annotations, and the source document (4820). 이 예에서 설명의 명확함을 위해 단일의 주석이 사용되지만, 다수의 주석이 가능하다. Two days, but the use of tin for clarity of illustration in this example, it is possible to a large number of comments. 이 예에서, 주석은 본 명세서에 기술된 바와 같이 MMR에서 사용되는 데이터 또는 상호작용이다. In this example, the data or interactions used in MMR as described in the comments herein. 일 실시예에 따르면, 주석은 공유 문서 주석 서버(SDA 서버)(예를 들어, 도 37a에 도시된 3755)에 저장되고 그로부터의 검색에 의해 수신된다. According to one embodiment, the annotation server shared document annotation (SDA server) is stored in the (e. G., 3755 shown in Figure 37a) is received by the search therefrom. 일 실시예에서, SDA 서버(3755)는 네트워크 접속을 통해 액세스가능하다. In one embodiment, SDA server 3755 is accessible via a network connection. 이 예에서, 공유 주석의 검색을 위한 플러그-인(예를 들어, 도 37a에 도시된 플러그-인(3720))이 이 기능을 용이하게 해준다. In this example, a plug-in for retrieval of the shared annotations (e. G., The plug shown in Figure 37a-3720) in this facilitates this feature. 다른 실시예에 따르면, 주석 및 지정이 사용자로부터 수신된다. According to another embodiment, the tin and designated it is received from the user. 사용자는 어떤 주석도 갖지 않는 문서에 대한 공유 주석을 생성할 수 있거나, 기존의 공유 주석을 문서에 추가하거나 수정할 수 있다. Users may create a share comments on a document that does not have any comments, you can add or modify an existing shared annotations to documents. 예를 들어, 사용자는 소스 문서의 일부분을 하이라이트하여, 역시 본 명세서에 기술된 다양한 방법들을 통해 사용자에 의해 제공되는 공유 문서와 연관시키도록 그를 지정할 수 있다. For example, the user can designate him so as to highlight a portion of the source document, it is also associated with the sharing document provided by the user via various methods described herein.

그 다음에, 수정된 문서가 브라우저에 디스플레이된다(4830). Then, the revised document is displayed in the browser (4830). 수정된 문서는 단계(4820)에서 지정된 소스 문서의 일부분에 대응하는 핫스폿을 포함한다. The modified document includes a hotspot corresponding to the portion of the source document designated in step (4820). 핫스폿은 공유 주석에 대한 위치를 지정한다. Hot spot specifies the location for the shared annotation. 수정된 문서는 일 실시예에 따라 플러그-인(3720)에 의해 생성되고 브라우저(3715)로 반환된 수정된 파일(3730)의 일부이다. The modified document plug according to one embodiment a part of the modified files 3730 returned to the browser 3715, and produced by 3720. 도 49b는 본 발명의 일 실시예에 따라 브라우저에 있는 수정된 웹 페이지(4920) 샘플을 나타낸 것이다. Figure 49b illustrates a modified web page 4920 in a browser, the sample according to one embodiment of the invention. 웹 페이지(4920)는 핫스폿(4930)에 대한 지정 및 연관된 주석(4940)(이 예에서 비디오 클립임)을 나타내고 있다. Web page (4920) shows a comment (4940) and specify associated to the hotspot (4930) (this is a video clip in this example). 이 지정(4930)은, 예를 들어, 하이라이팅에 의해 나머지 웹 페이지(4920) 텍스트와 시각적으로 구별될 수 있다. The designation 4930 may be, for example, can be visually distinguished from the remaining web page 4920 text by highlighting. 일 실시예에 따르면, 지정(4930)이 클릭되거나 그 위에 마우스가 있을 때, 주석(4940)이 디스플레이된다. According to one embodiment, the designation 4930 is clicked or that is, annotation 4940 displays when the mouse is over.

인쇄 명령에 응답하여, 수정된 문서의 인쇄된 표시 및 핫스폿에 대응하는 텍스트 좌표가 캡처된다(4840). In response to a print command, the text is captured coordinates corresponding to a printed modified document and the hotspot (4840). 좌표 캡처의 상세는 본 명세서에 기술된 그 목적을 위한 방법들 중 임의의 방법에 따른다. Details of coordinate capture are to comply with any of the methods for the purposes described in the present specification.

이어서, 핫스폿을 포함하는 인쇄된 표시의 페이지 레이아웃이 렌더링된다(4850). Then, a page layout of the printed representation including the hot spot is rendered (4850). 일 실시예에 따르면, 렌더링(4850)은 문서를 인쇄하는 것이다. According to one embodiment, the rendering (4850) is to print the document. 도 49c는 본 발명의 일 실시예에 따른 인쇄된 웹 페이지(4950) 샘플을 나타낸 것이다. Figure 49c illustrates a printed web page 4950 samples according to an embodiments of the present invention. 인쇄된 웹 페이지 레이아웃(4950)은 지정된 핫스폿(4930)을 포함하지만, 인쇄 레이아웃(4950)에서의 라인 단절이 웹 페이지(4920)와 다르다. The printed web page layout 4950 includes a designated hotspot (4930), but the line cut off in Print Layout (4950) differs from the web page (4920). 이 예에서 핫스폿(4930) 경계가 인쇄된 레이아웃(4950) 상에서 보이지 않는다. In this example, it does not look on the hotspot (4930) Layout (4950) The border is printed.

선택적인 최종 단계에서, 공유 주석은 로컬적으로, 예를 들어, 데이터 저장소(3750)에 저장되고, 인쇄된 문서(4950)에서의 핫스폿(4930)과의 연관관계를 사용하여 인덱싱된다. In an optional final step, the shared annotations locally, for example, is stored in the data store 3750, it is indexed using the affinity of the hotspot 4930 in the printed document (4950). 인쇄된 표시도 역시 로컬적으로 저장될 수 있다. Printed representation also may also be stored locally. 일 실시예에서, 인쇄하는 동작은 로컬 복사본의 다운로드 및 생성을 트리거한다. In one embodiment, the act of printing triggers the downloading and creation of the local copy.

이미지화된 문서에 대한 핫스폿 Hot spot for imaged documents

도 50a는 본 발명의 일 실시예에 따른 이미지화된 문서에 핫스폿을 추가하는 방법의 플로우차트를 나타낸 것이다. FIGURE 50a illustrates a flowchart of a method of adding a hotspot to an imaged document in accordance with an embodiment of the present invention. 이 방법은 종이 문서가 스캔된 후에 핫스폿이 종이 문서에 또는 인쇄를 위해 렌더링된 후에 기호적인 전자 문서에 추가될 수 있게 해준다. The method allows hotspots after the paper document scanning can be added to a symbolic electronic document after rendering to or printed on the paper document.

먼저, 소스 문서가 이미지화된 문서로 컨버전된다(5010). First, it is converted to an imaged document in the source document (5010). 일 실시예에 따르면, 소스 문서가 소스 파일(3710)로부터 브라우저(3715)에서 수신된다. According to one embodiment, the source document is received at browser 3715 from source files 3710.. 이 컨버 전(5010)은 피쳐 표시를 생성하기 위해 피쳐 추출이 수행될 수 있는 문서를 생성하는 임의의 방법에 의한다. A-conversion 5010 is by any method for generating a document with the feature extraction can be performed to create a feature representation. 일 실시예에 따르면, 종이 문서가 이미지화된 문서가 되기 위해 스캔된다. According to one embodiment, it is scanned to become an imaged document is a paper document. 다른 실시예에 따르면, 전자 문서에 대한 렌더링가능한 페이지 교정쇄(page proof)가 적절한 애플리케이션을 사용하여 렌더링된다. According to another embodiment, a renderable page proof for an electronic document (page proof) and is rendered using an appropriate application. 예를 들어, 렌더링가능한 페이지 교정쇄가 PostScript 형식으로 되어 있는 경우, Ghostscript가 사용된다. For example, if the renderable page proof is in a PostScript format case, the Ghostscript is used. 도 51a는 일 실시예에 따라 스캔된 신문 페이지(5110)의 일부분을 보여주는 사용자 인터페이스(5105)의 일례를 나타낸 것이다. Figure 51a illustrates an example of a user interface 5105 showing a portion of a scanned newspaper page 5110 according to one embodiment. 주 윈도우(5115)는 신문 페이지(5110)의 확대된 일부분을 보여주며, 섬네일(5120)은 페이지의 어느 일부분이 디스플레이되고 있는지를 보여준다. The main window 5115 shows that shows the enlarged portion of the newspaper page 5110, a thumbnail 5120 is a certain portion of the page being displayed.

그 다음에, 피쳐 표시를 생성하기 위해 이미지화된 문서에 피쳐 추출이 적용된다(5020). Then, the feature extraction is applied to the imaged document to create a feature representation (5020). 본 명세서에 기술된 다양한 피쳐 추출 방법들 중 임의의 방법이 이를 위해 사용될 수 있다. Any method among the various feature extraction methods described herein may be used for this purpose. 피쳐 추출은 일 실시예에 따라 도 37a를 참조하여 기술된 캡처 모듈(3735)에 의해 수행된다. Feature extraction is performed by the capture module 3735 described in reference to Figure 37a, according to one embodiment. 이어서, 하나 이상의 핫스폿(5125)이 이미지화된 문서에 추가된다(5030). Then, it is added to the document is imaged one or more hotspots 5125 (5030). 핫스폿은 사전-정의될 수 있거나 여러가지 실시예들에 따라 정의될 필요가 있을 수 있다. Hot spots dictionary may need to be defined in accordance with various embodiments can be defined either. 핫스폿이 이미 정의되어 있는 경우, 이 정의는 페이지 번호, 페이지 상의 핫스폿에 대한 경계 바가스의 좌표 위치, 및 핫스폿에 첨부된 전자 데이터 또는 상호작용을 포함한다. If the hotspot is already defined, the definition includes the electronic data or interaction attached to the page number, the coordinate location of the bounding bagasse for the hot spot on the page, and a hot spot. 일 실시예에서, 핫스폿 정의는, 도 43에 나타낸 바와 같이, hotspot.xml의 형태를 갖는다. In one embodiment, the hotspot definition, as shown in Figure 43, in the form of hotspot.xml.

핫스폿이 정의되지 않은 경우, 최종 사용자는 핫스폿을 정의할 수 있다. If the hotspot is not defined, the end user may define the hotspot. 도 50b는 본 발명의 일 실시예에 따라 이미지화된 문서에 추가하기 위한 핫스폿을 정 의하는 방법의 플로우차트를 나타낸 것이다. Figure 50b illustrates a flowchart of a method that define a hotspot for addition to an imaged document in accordance with one embodiment of the present invention. 먼저, 후보 핫스폿이 선택된다(5032). First, a candidate hotspot is selected (5032). 예를 들어, 도 51a에서, 최종 사용자는 경계 박스(5125)를 사용하여 문서의 일부분을 핫스폿으로서 선택한다. For example, in Figure 51a, the end user uses the bounding box 5125 selects the portion of the document as a hotspot. 그 다음에, 주어진 데이터베이스에 대해, 선택적인 단계(5034)에서, 핫스폿이 고유한 것인지가 결정된다. Then, for a given database, in an optional step 5034, the hot spot is determined whether unique. 예를 들어, 핫스폿을 일의적으로 식별하기 위해 주변의 n" xn" 패치에 충분한 텍스트가 있어야만 한다. For example, there must be enough text in the surrounding n "xn" patch to identify a hot spot uniquely. n의 통상적인 값의 예는 2이다. An example of a typical value of n is two. 핫스폿이 데이터베이스에 대해 충분히 고유하지 않은 경우, 일 실시예에서 최종 사용자는 불명료를 어떻게 처리할지에 관한 옵션들을 제공받는다. If the hotspot is not sufficiently specific to the database, the end user in one embodiment is provided with options on how to handle the ambiguity. 예를 들어, 사용자 인터페이스는 더 큰 영역을 선택하는 것 또는 불명료를 인정하지만 그에 대한 기술을 데이터베이스에 추가하는 것 등의 대안들을 제공할 수 있다. For example, the user interface may provide alternatives such as will further recognize that obscure or selecting a large area, but the technology more thereof in the database. 다른 실시예들은 핫스폿을 정의하는 다른 방법들을 사용할 수 있다. Other embodiments may use other methods of defining a hotspot.

일단 핫스폿 위치가 선택되면(5032), 데이터 또는 상호작용이 정의되고(5036) 핫스폿에 첨부된다. Once the hotspot location is selected 5032, data or an interaction is defined and attached to 5036 hotspots. 도 51b는 선택된 핫스폿과 연관시킬 데이터 또는 상호작용을 정의하기 위한 사용자 인터페이스를 나타낸 것이다. Figure 51b illustrates a user interface for defining the data or interaction to associate with a selected hotspot. 예를 들어, 일단 사용자가 경계 박스(5125)를 선택하였으면, 편집 박스(5130)가 디스플레이된다. For example, Once you have the user selects the bounding box 5125, an edit box 5130 is displayed. 연관된 버튼들을 사용하여, 사용자는 동작을 취소할 수 있거나(5135), 간단히 경계 박스(5125)를 저장할 수 있거나(5140), 데이터 또는 상호작용을 핫스폿에 할당할 수 있다(5145). Using the associated button, the user can cancel the operation, or (5135), or simply to store bounding box 5125 (5140), the data or interaction can be assigned to the hotspot (5145). 사용자가 데이터 또는 상호작용을 핫스폿에 할당하기로 선택하는 경우, 도 51c에 나타낸 바와 같이, 할당 박스(5150)가 디스플레이된다. When the user selects to assign data or interactions to the hotspot, the display is as shown in Fig. 51c, assign box 5150. 할당 박스(5150)는 최종 사용자가 이미지(5155), 다양한 다른 미디어(5160), 및 웹 링 크(5165)를, ID 번호(5170)에 의해 식별되는 핫스폿에 할당할 수 있게 해준다. Assign box 5150 allows the end user to assign the hotspot is identified by the image (5155), and various other media (5160), and Web links to (5165), ID number (5170). 이어서, 사용자는 핫스폿 정의를 저장(5175)하기로 선택할 수 있다. Then, the user can select to store (5175) the hotspot definition. 간단함을 위해 하나의 핫스폿이 기술되어 있지만, 다수의 핫스폿이 가능하다. There is one hot spot is described for simplicity, multiple hotspots are possible. 도 51d는 문서 내에 핫스폿을 디스플레이하기 위한 사용자 인터페이스를 나타낸 것이다. Figure 51d illustrates a user interface for displaying hotspots within a document. 일 실시예에서, 서로 다른 컬러 경계 박스는 서로 다른 데이터 및 상호작용 유형에 대응한다. In one embodiment, different color bounding boxes may correspond to different data and interaction types.

선택적인 단계에서, 이미지화된 문서, 핫스폿 정의, 및 피쳐 표시가 함께, 예를 들어, 데이터 저장소(3750)에 저장된다(5040). In an optional step, with the imaged document, a hotspot definition, and a feature representation, for example, it is stored in the data store 3750 (5040).

도 52는 본 발명의 일 실시예에 따른 MMR 문서(500) 및 MMR 시스템(100b)을 사용하는 방법(5200)을 나타낸 것이다. Figure 52 illustrates a method of using an MMR document 500 and the MMR system (100b) in accordance with one embodiment of the present invention (5200).

방법(5200)은 제1 문서 또는 제1 문서의 표시를 획득(5210)하는 것으로 시작한다. The method 5200 begins by acquiring 5210 a first document or a representation of the first document. 제1 문서를 획득하는 예시적인 방법은 이하의 것들을 포함한다. Example methods of acquiring the first document will include the following: (1) 제1 문서가 MMR 컴퓨터(112)의 운영 체제 내에서 인쇄된 문서의 텍스트 레이아웃을 PD 캡처 모듈(318)을 통해 자동적으로 캡처함으로써 획득된다. (1) the first document is acquired by capturing the text layout of a printed document within the operating system of MMR computer 112 automatically, via PD capture module 318. (2) 제1 문서가 MMR 컴퓨터(112)의 프린터 드라이버(316) 내에서 인쇄된 문서의 텍스트 레이아웃을 자동적으로 캡처함으로써 획득된다. (2) the first document is acquired by capturing automatically the text layout of a printed document within printer driver 316 of MMR computer 112; (3) 제1 문서가, 예를 들어, MMR 컴퓨터(112)에 연결되어 있는 표준 문서 스캐너 장치(127)를 통해 종이 문서를 스캔함으로써 획득된다. (3) the first document, for example, is acquired by scanning a paper document via a standard document scanner device, MMR computer 127 is connected to 112. (4) 제1 문서가 인쇄된 문서의 표시인 파일을 MMR 컴퓨터(112)로 자동적으로 또는 수작업으로 전송, 업로드 또는 다운로드함으로써 획득된다. (4) the first document is acquired by transmitting a display file of a printed document by automatically or manually to the MMR computer 112, upload or download. 획득하는 단계가 인쇄된 문서의 대부분 또는 그 전부를 획득하는 것으로 기술되어 있지만, 획 득하는 단계(5210)가 인쇄된 문서의 가장 작은 일부분에 대해서만 수행될 수 있다는 것을 잘 알 것이다. Most of the step of obtaining a printed document or is described, but by acquiring, in whole, will recognize that steps 5210 to benefit stroke can be performed for only the smallest portion of a printed document. 게다가, 이 방법이 단일 문서를 획득하는 것과 관련하여 기술되어 있지만, 이 단계는 다수의 문서를 획득하고 제1 문서의 라이브러리를 생성하기 위해 수행될 수 있다. In addition, the method, but is described with respect to acquiring a single document, this step may be obtained a number of documents and carried out to create a library of first documents.

일단 획득하는 단계(5210)가 수행되면, 이 방법(5200)은 제1 문서에 대해 인덱싱 동작을 수행한다(5212). When the step of obtaining one (5210) is performed, the method 5200 performs an indexing operation on the first document 5212. 인덱싱 동작은 획득된 제1 문서 또는 그의 일부분과 정합하는 입력을 위한 문서 및 연관된 제2 미디어 유형의 대응하는 전자적 표시의 식별을 가능하게 해준다. The indexing operation allows to obtain a first document or a portion thereof, and an electronic representation of the identification of the corresponding second media type of document and its associated for matching inputs. 이 단계의 일 실시예에서, 문서 인덱싱 동작은 PD 인덱스(322)를 발생하는 PD 캡처 모듈(318)에 의해 수행된다. In one embodiment of this step, a document indexing operation is performed by the PD capture module 318 that generates the PD index 322. 예시적인 인덱싱 동작은 이하의 것들을 포함한다. Exemplary indexing operations include the following: (1) 인쇄된 문서의 문자들의 xy 위치가 인덱싱된다. (1) it is indexed the xy locations of characters in the printed document. (2) 인쇄된 문서의 단어의 xy 위치가 인덱싱된다. (2) indexing the xy position of the words of the printed document. (3) 인쇄된 문서 내의 이미지 또는 이미지의 일부분의 xy 위치가 인덱싱된다. 3, the xy location is indexed in an image or a portion of an image in a printed document. (4) OCR 이미징 동작이 수행되고, 문자 및/또는 단어의 xy 위치가 인덱싱된다. (4) OCR imaging operation is performed, the characters and / or words are indexed xy position. (5)렌더링된 페이지의 이미지로부터의 피쳐 추출이 수행되고, 피쳐의 xy 위치가 인덱싱된다. (5) the feature extraction from the image of the rendered page is performed, and the xy position of the features are indexed. (6) 페이지의 기호적인 버전에 대한 피쳐 추출이 시뮬레이션되고, 피쳐의 xy 위치가 인덱싱된다. 6 is a symbolic version of the feature extraction of a page are simulated, and the xy position of the features are indexed. 인덱싱 동작(5212)은 본 발명의 응용에 따라 상기한 인덱싱 동작들 또는 그의 그룹들 중 임의의 것을 포함할 수 있다. The indexing operation 5212 may include any of the above or a group of the indexing operation in accordance with the applications of the invention.

방법(5200)은 또한 제2 문서를 획득한다(5214). The method 5200 also acquires a second document (5214). 이 단계(5214)에서, 획득된 제2 문서는 문서 전체 또는 제2 문서의 단지 일부분(패치)일 수 있다. In this step 5214, the acquired second document may be only a portion (patch) of the whole document or the second document. 제2 문서를 획득하는 예시적인 방법들은 이하의 것들을 포함한다. The second exemplary method of obtaining the document include the following: (1) 캡처 장치(106)의 하나 이상의 캡처 메커니즘(230)에 의해 텍스트의 패치를 스캔하는 것. (1) capture to scanning a patch of text by one or more capture mechanisms 230 of the device 106. (2) 캡처 장치(106)의 하나 이상의 캡처 메커니즘(230)에 의해 텍스트의 패치를 스캔하고 이어서 의도된 피쳐 설명이 정확하게 추출될 가능성을 결정하기 위해 이미지를 전처리하는 것. (2) scanning a patch of text is captured and then the intended feature description by one or more capture mechanisms 230 of the device 106 to pre-processing the image to determine the likelihood of correctly extracted. 예를 들어, 인덱스가 OCR에 기초하는 경우, 이 시스템은 이미지가 텍스트 라인들을 포함하는지 및 이미지 선명도가 성공적인 OCR 동작에 충분한지를 결정할 수 있다. For example, if the index is based on OCR, the system may determine whether the image is an image clarity, and that includes sufficient for a successful OCR operation of the text line. 이 결정이 실패하는 경우, 텍스트의 다른 패치가 스캔된다. If the decision is not successful, another patch of text is scanned. (3) 스캔된 문서를 식별해주는 기계 판독가능 식별자(예를 들어, ISBN(international standard book number) 또는 UPC(universal produce code) 코드)를 스캔하는 것. (3) scanning a machine-readable identifier for identifying a scanned document (e. G., ISBN (international standard book number) or UPC (universal produce code) code). (4) 요청되는 문서 또는 일련의 문서들(예를 들어, Sports Illustrated 잡지의 2003년판)을 식별해주는 데이터를 입력하고 이어서 텍스트 패치가 이 방법 단계의 항목 (1) 또는 (2)를 사용하여 스캔되는 것. 4, the requested document or set of documents which is input data that identifies a (e. G., 2003 edition of Sports Illustrated magazine) and then a patch of text is scanned by use of items (1) or (2) of the method steps It will be. (5) 제2 문서가 첨부되어 있는 이메일을 수신하는 것. (5) to receive a second email with a document attached. (6) 파일 전송에 의해 제2 문서를 수신하는 것. (6) receiving a second document by file transfer. (7) 캡처 장치(106)의 하나 이상의 캡처 메커니즘(230)으로 이미지의 일부분을 스캔하는 것. 7 with one or more capture mechanisms 230 of capture device 106 to scan a portion of the image. (8) 입력 장치(166)로 제2 문서를 입력하는 것. (8) to enter the second document with an input device (166).

일단 단계(5210, 5214)가 수행되면, 이 방법은 제1 문서와 제2 문서 사이의 문서 또는 패턴 정합을 수행한다(5216). Once step (5210, 5214) have been performed, the method performs a document or pattern matching between the first document and the second document (5216). 일 실시예에서, 이것은 제2 문서의 제1 문서에 대한 문서 지문 정합을 수행함으로써 행해진다. In one embodiment, this is done by performing document fingerprint matching of a first article in the second document. 문서 지문 정합 동작은 PD 인덱스(322)에 질의를 함으로써 제2 미디어 문서에 대해 수행된다. Document fingerprint matching operation is performed on the second media document by querying PD index 322. 문서 지문 정합의 일례는 단계(5214)에서 캡처된 이미지로부터 피쳐들을 추출하고, 그 피쳐들로부터 기술자(descriptor)를 작성하며, 그 기술자들을 일정 비율 포함하는 문서 및 패치를 탐색하는 것이다. An example of document fingerprint matching is extracting features from the image captured in step 5214, and, creates a descriptor (descriptor) from the feature, looking up the document and patch that contains a percentage of those descriptors. 각각의 문서에 대해 한번씩 이 패턴 정합 단계가 여러번 수행될 수 있고 라이브러리 또는 데이터베이스 내의 임의의 문서가 제2 문서와 정합하는지를 결정하기 위해 데이터베이스가 다수의 문서를 저장하고 있다는 것을 잘 알 것이다. It should be understood that this pattern matching, and each document once for the steps may be carried out several times, and that any documents in a library or database, storing the database a number of documents to determine if a second document with the matching. 다른 대안으로서, 인덱싱 단계(5212)가 문서의 컬렉션을 나타내는 인덱스에 문서(5210)를 추가하고, 패턴 정합 단계가 한번 수행된다. Alternatively, the additional document 5210 to an index the indexing step 5212 represents a collection of documents and the pattern matching step is performed once.

마지막으로, 방법(5200)은 단계(5216)의 결과에 기초하여 또 선택에 따라서는 사용자 입력에 기초하여 동작을 실행한다(5218). Finally, the method 5200 executes an action based on user input or according to the selection on the basis of the result of the step 5216 (5218). 일 실시예에서, 방법(5200)은, 예를 들어, 단계(5216)에서 정합하는 것으로 밝혀진 핫스폿(506)과 연관된 제2 미디어(504)에 저장되어 있는 주어진 문서 패치와 연관되어 있는 미리 정해진 동작을 탐색한다. In one embodiment, method 5200 may, for example, is associated with the given document patch stored in the second media 504 associated with the hotspot 506 found as matching in step 5216 the predetermined that It searches for the operation. 미리 정해진 동작의 예는, (1) 문서 이벤트 데이터베이스(320), 인터넷, 또는 다른 곳에서 정보를 검색하는 것, (2) 시스템의 출력을 수신할 준비가 되어 있는 MMR 시스템(100b)에 의해 검증되는 위치에 정보를 기록하는 것. For the predetermined operations comprises: (1) retrieving information from the document event database 320, the Internet, or elsewhere, and (2) verified by the MMR system (100b) that is ready to receive the output of the system to record information on the position. (3) 정보를 탐색하는 것. (3) to navigate through the information. (4) 캡처 장치(106) 등의 클라이언트 장치 상에 정보를 디스플레이하고 사용자와 상호작용적 대화를 수행하는 것. (4) displaying information on a client device, such as capture device 106, and to perform an interactive dialog with the user. (5) 나중에 실행하기 위해(사용자의 참여는 선택적일 수 있음) 방법 단계(5216)에서 결정되는 동작 및 데이터를 큐잉하는 것. (5) queuing the action and the data that is determined in (user's participation may be optional) method step 5216 for later execution. (6) 방법 단계(5216)에서 결정되는 동작 및 데이터를 즉각 실행하는 것을 포함한다. 6, the method steps comprising: executing the action and the data that is determined in 5216 immediately. 이 방법 단계의 예시적인 결과는 정보의 검색, 수정된 문서, 어떤 다른 동작(예를 들어, 주식 또는 제품의 구입)의 실행, 또는 비디오를 다시 케이블 TV 박스로 스트리밍하는 케이블 TV 서버(예를 들어, 서비스 제공자 서버(122))에 연결되어 있는 셋톱 박스(126) 등의 케이블 TV 박스에 전송되는 명령의 입력을 포함한다. Exemplary results of this process step is retrieval of information, the revised document, and any other operation for execution, or cable TV server (for example, streaming video back to the cable TV box (for example, shares or the purchase of goods) , it includes an input of a command sent to a cable TV box, such as service provider server 122), the set-top box 126 that is connected to. 단계(5218)가 행해지면, 방법(5200)은 완료되어 종료된다. If the step 5218 is performed, the method 5200 is complete and ends.

도 53은 본 발명의 일 실시예에 따른, MMR 시스템(100b)과 연관되어 있는 예시적인 일련의 비지니스 개체(5300)의 블록도를 나타낸 것이다. Figure 53 shows a block diagram of an exemplary set of business entities 5300 that are associated with, MMR system (100b) in accordance with one embodiment of the present invention. 일련의 비지니스 개체(5300)는 MMR 서비스 제공자(5310), MMR 소비자(5312), 멀티미디어 회사(5314), 프린터 사용자(5316), 셀 전화 서비스 제공자(5318), 하드웨어 제조업자(5320), 하드웨어 소매업자(5322), 금융 기관(5324), 신용 카드 처리기(5326), 문서 출판업자(5328), 문서 프린터(5330), 이행 하우스(fulfillment house)(5332), 케이블 TV 제공자(5334), 서비스 제공자(5336), 소프트웨어 제공자(5338), 광고 회사(5340), 및 비지니스 네트워크(5370)를 포함한다. Set of business entities 5300, an MMR service provider (5310), MMR consumer 5312, multimedia company 5314, users of the printer (5316), a cell phone service provider 5318, hardware manufacturer 5320, hardware retailer 5322, financial institutions (5324), a credit card processor 5326, document publisher 5328, document printer 5330, fulfillment house (fulfillment house) (5332), a cable TV provider 5334, service providers (5336), a software provider 5338, an advertising company (5340), and Business network (5370).

MMR 서비스 제공자(5310)는 도 1a 내지 도 5 및 도 52를 참조하여 기술한 MMR 시스템(100)의 소유자 및/또는 관리자이다. MMR service provider 5310 is the owner and / or administrator of Fig. 1a to Fig. 5 and the MMR system 100 is described with reference to 52. MMR 소비자(5312)는, 도 1b를 참조하여 상기한 바와 같이, 임의의 MMR 사용자(110)를 나타낸다. MMR consumer 5312 is, as described above with reference to Figure 1b, represents any MMR user 110.

멀티미디어 회사(5314)는 디지털 영화 및 비디오 게임을 제공하는 Blockbuster Inc.(Dallas, TX) 및 디지털 음악, 영화 및 TV 쇼를 제공하는 Sony Corporation of America(New York, NY) 등의 임의의 디지털 멀티미디어 제품 제공자이다. Multimedia company 5314 is any digital multimedia products, such as Blockbuster Inc. (Dallas, TX), and digital music, movies, and Sony Corporation of America, which offers TV shows (New York, NY) to provide digital movies and video games It is the providers.

프린터 사용자(5316)는 인쇄된 종이 문서를 생성하기 위해 임의의 종류의 임의의 프린터를 이용하는 임의의 개인 또는 개체이다. Printer user 5316 is any individual or entity that utilizes any printer of any kind in order to produce a printed paper document. 예를 들어, MMR 소비자(5312)는 프린터 사용자(5316) 또는 문서 프린터(5330)일 수 있다. For example, MMR consumer 5312 may be printer user 5316 or document printer 5330.

셀 전화 서비스 제공자(5318)는 Verizon Wireless(Bedminster, NJ), Cingular Wireless(Atlanta, GA), T-Mobile USA(Bellevue, WA), 및 Sprint Nextel(Reston, VA) 등의 임의의 셀 전화 서비스 제공자이다. A cell phone service provider 5318 is Verizon Wireless (Bedminster, NJ), Cingular Wireless (Atlanta, GA), T-Mobile USA (Bellevue, WA), and Sprint Nextel (Reston, VA) any cell phone service provider, such as to be.

하드웨어 제조업자(5320)는 프린터, 셀룰러 전화, 또는 PDA의 제조업자 등의 임의의 하드웨어 장치의 제조업자이다. Hardware manufacturer 5320 is any manufacturer of hardware devices, such as printers, cellular phones, or PDA manufacturers. 예시적인 하드웨어 제조업자는 Hewlett-Packard(Houston, TX), Motorola, Inc.(Schaumburg, IL) 및 Sony Corporation of America(New York, NY)를 포함한다. Example hardware manufacturers include Hewlett-Packard (Houston, TX), Motorola, Inc. (Schaumburg, IL), and Sony Corporation of America (New York, NY). 하드웨어 소매업자(5322)는 프린터, 셀룰러 전화, 또는 PDA의 소매업자 등의 임의의 하드웨어 장치 소매업자이다. Hardware retailer 5322 is any retailer of hardware devices, such as printers, cellular phones, or PDA retailers. 예시적인 하드웨어 소매업자는 RadioShack Corporation(Fort Worth, TX), Circuit City Stores, Inc.(Richmond, VA), Wal-Mart(Bentonville, AR), 및 Best Buy Co.(Richfield, MN)를 포함하지만, 이에 한정되는 것은 아니다. The exemplary hardware retailers include RadioShack Corporation (Fort Worth, TX), Circuit City Stores, Inc. (Richmond, VA), Wal-Mart (Bentonville, AR), and Best Buy Co. (Richfield, MN), but this It is not limited.

금융 기관(5324)은 은행 계좌 및 다른 은행 또는 금융 기관으로의 자금 이체를 처리하는 임의의 은행 또는 신용 조합 등의 임의의 금융 기관이다. Financial institution 5324 is any financial institution, including any bank or credit union to handle the transfer of funds to the bank accounts and other bank or financial institution. 신용 카드 처리기(5326)는 구입 거래를 위한 신용 카드 인증 및 승인 프로세스를 관리하는 임의의 신용 카드 기관이다. Credit card processor 5326 is any credit institution that manages credit card authorization and approval processes for purchase transactions. 예시적인 신용 카드 처리기는 Click Sales Inc, (Boise ID), ShareIt ! An exemplary credit card processor Click Sales Inc, (Boise ID), ShareIt! Inc.(Eden Prairie, MN), 및 CCNow Inc.(Eden Prairie, MN)의 서비스인 ClickBank를 포함하지만, 이에 한정되는 것은 아니다. Inc. including, a service of ClickBank (Eden Prairie, MN), and CCNow Inc. (Eden Prairie, MN), but the embodiment is not limited thereto.

문서 출판업자(5328)는 The Gregath Publishing Company(Wyandotte, OK), Prentice Hall(Upper Saddle River, NJ), 및 Pelican Publishing Company(Gretna, LA) 등의 임의의 문서 출판 회사이지만, 이에 한정되는 것은 아니다. Documents published in 5328 is but The Gregath Publishing Company (Wyandotte, OK), Prentice Hall (Upper Saddle River, NJ), and Pelican Publishing Company (Gretna, LA) any document publishing company, such as, but not limited to, . 문서 프린터(5330)는 PSPrint LLC(Oakland CA), PrintLizard, Inc.(Buffalo, NY), 및 Mimeo, Inc.(New York, NY) 등의 임의의 문서 인쇄 회사이지만, 이에 한정되는 것은 아니다. Document Printer (5330), but that is not any document printing companies such as PSPrint LLC (Oakland CA), PrintLizard, Inc. (Buffalo, NY), and Mimeo, Inc. (New York, NY), limited. 다른 예에서, 문서 출판업자(5328) 및/또는 문서 프린터(5330)는 신문 또는 잡지를 제작 및 배포하는 임의의 개체이다. In another example, an article published in 5328 and / or document printer 5330 is any entity that produced and distributed a newspaper or magazine.

이행 하우스(fulfillment house)(5332)는 공지된 바와 같이 주문의 이행을 전문으로 하는 임의의 제3자 물류 창고이다. Fulfillment house (fulfillment house) (5332) is any third-party logistics warehouse that specializes in the fulfillment of orders, as is well known. 예시적인 이행 하우스는 Corporate Disk Company(McHenry, IL), OrderMotion, Inc.(New York, NY), 및 Shipwire.com(Los Angeles, CA)을 포함하지만, 이에 한정되는 것은 아니다. Exemplary fulfillment house Corporate Disk Company including (McHenry, IL), OrderMotion, Inc. (New York, NY), and Shipwire.com (Los Angeles, CA), but is not limited thereto.

케이블 TV 제공자(5334)는 Comcast Corporation(Philadelphia, PA) 및 Adelphia Communications(Greenwood Village, CO) 등의 임의의 케이블 TV 서비스 제공자이이지만, 이에 한정되는 것은 아니다. Cable TV provider 5334 is, but Comcast Corporation (Philadelphia, PA) and Adelphia Communications (Greenwood Village, CO) any cable TV service jegongjayi such as, but not limited to. 서비스 제공자(5336)는 임의의 종류의 서비스를 제공하는 임의의 개체를 나타낸다. Service provider 5336 is representative of any entity that provides any type of service.

소프트웨어 제공자(5338)는 Art & Logic, Inc.(Pasadena, CA), Jigsaw Data Corp.(San Mateo, CA), DataMirror Corporation(New York, NY), 및 DataBank IMX, LCC(Beltsville, MD) 등의 임의의 소프트웨어 개발 회사이지만, 이에 한정되는 것은 아니다. Such as a software provider 5338 is Art & Logic, Inc. (Pasadena, CA), Jigsaw Data Corp. (San Mateo, CA), DataMirror Corporation (New York, NY), and DataBank IMX, LCC (Beltsville, MD) While any software development company, but is not limited thereto.

광고 회사(5340)는 D and B Marketing(Elhurst, IL), BlackSheep Marketing(Boston, MA), 및 Gotham Direct, Inc.(New York, NY) 등의 임의의 광고 회사 또는 대행사이지만, 이에 한정되지 않는다. Advertising Agencies (5340) is D and B Marketing (Elhurst, IL), BlackSheep Marketing (Boston, MA), and Gotham Direct, but any advertising agency or agencies such Inc. (New York, NY), are not limited to, .

비지니스 네트워크(5370)는 비지니스 관계가 확립 및/또는 촉진되는 임의의 메커니즘을 나타낸다. Business network (5370) is representative of any mechanism by which a business relationship is established and / or facilitated.

도 54는 본 발명의 일 실시예에 따른, MMR 시스템(100b)을 사용하여 용이하게 되는 일반화된 영업 방법인 방법(5400)을 나타낸 것이다. Figure 54 shows a method 5400 operating a generalized method that is facilitated by using, MMR system (100b) in accordance with one embodiment of the present invention. 방법(5400)은 적어도 2개의 개체 간의 관계를 확립하는 단계, 가능한 비지니스 거래를 결정하는 단계, 적어도 하나의 비지니스 거래를 실행하는 단계, 및 거래를 위해 제품 또는 서비스를 전달하는 단계를 포함한다. The method 5400 further comprises the step of passing at least a second step of establishing a relationship between two objects, determining possible business transactions, the method comprising: executing at least one business transaction, and the product or service for the transaction.

먼저, 적어도 2개의 비지니스 개체(5300) 사이에 관계가 확립된다(5410). First, a relationship is established between at least two business entities 5300 (5410). 비지니스 개체(5300)는, 예를 들어, 4개의 광역 카테고리, 즉 (1) MMR 생성자, (2) MMR 분배자, (3) MMR 사용자, 및 (4) 기타 내에 정렬될 수 있으며, 이들 내에서 어떤 비지니스 개체는 2개 이상의 카테고리에 속한다. Business entities 5300 may be, for example, four broad categories, namely (1) MMR generator, (2) MMR distributors, (3) MMR users, and (4) may be arranged in the other, in these some business entities belong to two or more categories. 이 예에 따르면, 비지니스 개체(5300)는 다음과 같이 분류된다. According to this example, business entities 5300 are categorized as follows:

Figure 112008013455415-pct00011
MMR 생성자 - MMR 서비스 제공자(5310), 멀티미디어 회사(5314), 문서 출판업자(5328), 문서 프린터(5330), 소프트웨어 제공자(5338) 및 광고 회사(5340) MMR creators - MMR service provider 5310, multimedia company 5314, document publisher 5328, document printer 5330, software provider 5338 and advertising company 5340;

Figure 112008013455415-pct00012
MMR 분배자 - MMR 서비스 제공자(5310), 멀티미디어 회사(5314), 셀 전화 서비스 제공자(5318), 하드웨어 제조업자(5320), 하드웨어 소매업자(5322), 문서 출판업자(5328), 문서 프린터(5330), 이행 하우스(5332), 케이블 TV 제공자(5334), 서비스 제공자(5336) 및 광고 회사(5340) MMR distributors - MMR service provider 5310, multimedia company 5314, a cell phone service provider 5318, hardware manufacturer 5320, hardware retailer 5322, document publisher 5328, document printer (5330 ), fulfillment house 5332, a cable TV provider 5334, service provider 5336 and advertising company 5340;

Figure 112008013455415-pct00013
MMR 사용자 - MMR 소비자(5312), 프린터 사용자(5316) 및 문서 프린터(5330) MMR user - MMR consumer 5312, printer user 5316 and document printer (5330)

Figure 112008013455415-pct00014
기타 - 금융 기관(5324) 및 신용 카드 처리기(5326) Others - Financial Institutions (5324) and the credit card processor 5326

예를 들어, 이 방법 단계에서, MMR 생성자인 MMR 서비스 제공자(5310)와 MMR 사용자인 MMR 소비자(5312)와 MMR 분배자인 셀 전화 서비스 제공자(5318) 및 하드웨어 소매업자(5322) 사이에 비지니스 관계가 확립된다. For example, in a method step, a business relationship between MMR creators of MMR service provider 5310, and MMR user of MMR consumer 5312, and MMR sharer cell phone service provider 5318 and hardware retailer 5322, It is established. 게다가, 하드웨어 제조업자(5320)는 하드웨어 소매업자(5322)와 비지니스 관계를 가지며, 이 둘다는 MMR 분배자이다. Furthermore, hardware manufacturer 5320 has a business relationship with hardware retailer 5322, both of which are MMR distributors a chair.

그 다음에, 방법(5400)은 단계(5410)에서 확립된 관계를 갖는 당사자들 간에 가능한 비지니스 거래를 결정한다(5412). The Next, the method 5400 determines the possible business transactions between the parties with relationships established in step 5410 (5412). 상세하게는, 임의의 2개 이상의 비지니스 개체(5300) 간에 다양한 거래가 있을 수 있다. Specifically, there may be a variety of transaction between any two or more business entities 5300. 예시적인 거래는 정보를 구입하는 것, 물리적 상품을 구입하는 것, 서비스를 구입하는 것, 대역폭을 구입하는 것, 전자 저장소를 구입하는 것, 광고를 구입하는 것, 광고 통계를 구입하는 것, 상품을 발송하는 것, 정보를 판매하는 것, 물리적 상품을 판매하는 것, 서비스를 판매하는 것, 대역폭을 판매하는 것, 전자 저장소를 판매하는 것, 광고를 판매하는 것, 광고 통계를 판매하는 것, 임대/리스, 및 의견/평가/투표를 수집하는 것을 포함한다. Exemplary deal to buy the information, to buy physical goods, to buy the service, to buy the bandwidth, to buy an e-store, to buy an ad, to buy the advertising statistics, goods to send out, to sell to sell the information and physical goods to be selling a service, selling bandwidth to sell the e-store, to sell advertising to sell advertising statistics, It involves collecting the rental / lease, and feedback / evaluation / voting.

방법(5400)이 당사자들 간의 가능한 비지니스 거래를 결정하였으면, MMR 시스템(100)은 적어도 하나의 비지니스 거래에 관한 합의에 도달(5414)하는 데 사용된다. Method (5400) After you have determined the possible business transactions between the parties, MMR system 100 is used to at least one of agreement on the business transaction reaches 5414. 상세하게는, 임의의 2개 이상의 비지니스 개체(5300) 사이에 거래의 결과인 다양한 동작이 있을 수 있다. Specifically, in between any two or more business entities 5300 may be a wide range of motion that is the result of the transaction. 예시적인 동작은 정보를 구입하는 것, 주문을 받는 것, 더 많은 정보를 얻기 위해 클릭하는 것, 로컬/원격 액세스를 제공하는 것, 호스팅, 발송, 비지니스 관계를 생성하는 것, 개인 정보를 저장하는 것, 다른 사람들에게 정보를 전달(pass-through)하는 것, 컨텐츠를 추가하는 것, 및 포드캐스 트(podcasting)을 포함한다. To purchase an exemplary operation information, and will receive the order to click on to get more information, and to provide local / remote access, to create a hosting, sending, business relationships, which stores personal information things, to pass (pass-through) the information to others, including the adding of content, and Ford Cass agent (podcasting).

방법(5400)이 비지니스 거래에 관한 합의에 도달하였으면, MMR 시스템(100)은 거래를 위한 제품 또는 서비스를, 예를 들어, MMR 소비자(5312)로 전달(5416)하는 데 사용된다. Method (5400) Once you have reached agreement on the business transaction, MMR system 100 is used for products or services for transactions, for example, to pass (5416) with MMR consumer 5312. 상세하게는, 방법 단계(5414)에서 합의된 비지니스 거래의 결과로서, 다양한 컨텐츠가 임의의 2개 이상의 비지니스 개체(5300) 사이에서 교환될 수 있다. Specifically, the method as a result of the business transaction agreed in step 5414, various contents can be exchanged between any two or more business entities 5300. 예시적인 컨텐츠는 텍스트, 웹 링크, 소프트웨어, 정지 영상 사진, 비디오, 오디오, 및 상기한 것의 임의의 조합을 포함한다. Exemplary content includes text, a web link, software, still photos, video, audio, and any combination of the above. 그에 부가하여, 거래를 용이하게 하기 위해 임의의 2개 이상의 비지니스 개체(5300) 사이에서 다양한 전달 메커니즘이 이용될 수 있다. In addition thereto, a variety of delivery mechanisms may be utilized between any two or more business entities 5300, in order to facilitate the transaction. 예시적인 전달 메커니즘은 종이, 퍼스널 컴퓨터, 네트워크화된 컴퓨터, 캡처 장치(106), 퍼스널 비디오 장치, 퍼스널 오디오 장치, 및 상기한 것의 임의의 조합을 포함한다. Exemplary delivery mechanisms include a paper, a personal computer, a networked computer, the capture device 106, a personal video device, a personal audio device, and any combination of the above.

도 55는 본 발명의 일 실시예에 따른 혼합 미디어 문서(mixed media document)에 액세스하는 방법을 나타낸 것이다. Figure 55 illustrates a method for accessing a mixed media document (mixed media document), according to one embodiment of the present invention.

제1 문서가 획득된다(5510). The first article is obtained (5510). 예를 들어, 제1 문서는 도 2e를 참조하여 본 명세서에 기술된 캡처 메커니즘들 중 임의의 하나를 사용하여 제1 문서의 표시를 캡처함으로써 획득될 수 있다(5510). For example, the first document may be using any one of the capture mechanisms described herein with reference to Figure 2e is obtained by capturing a representation of the first document (5510). 여러가지 실시예들에 따르면, 제1 문서가 전체적으로 획득될 수 있거나(5510), 제1 문서의 일부분이 획득될 수 있다(5510). According to various embodiments, the first article can be or can be obtained as a whole (5510), a portion of the first document acquired (5510). 제1 문서는 도 52를 참조하여 본 명세서에 기술된 문서를 획득(5214)하는 방법들 중 임의의 방법을 사용하여 획득될 수 있다. The first document can be acquired using any of the methods for acquiring 5214 a document described herein with reference to Figure 52.

제2 문서가 검색된다(5512). The second document is a search (5512). 예를 들어, 제2 문서는 중앙 저장소로부터 검 색될 수 있다(5512). For example, the second document may saekdoel gum from a central repository (5512). 본 발명의 일 실시예에 따르면, 제2 문서는 도 5를 참조하여 본 명세서에 기술된 MMR 문서(500) 등의 MMR 문서이다. According to one embodiment of the invention, the second document is an MMR document such as the MMR document 500 described herein with reference to FIG. 제2 문서는 제1 문서 및 PD 인덱스(322) 등의 인덱스에 기초하여 검색될 수 있다(5512). The second document can be retrieved based on the index, such as the first document and the PD index 322 (5512).

제1 및 제2 문서가 비교된다(5514). The first and second documents are compared (5514). 제1 및 제2 문서를 비교(5514)하는 것은, 예를 들어, 제1 및 제2 문서가 충분히 유사한지를 결정하기 위해 이들을 분석하는 것을 포함할 수 있다. The first and second comparing (5514) the second document, for example, the first and second document can include analyzing them to determine if sufficiently similar. 일 실시예에서, 이것은 제1 문서에 대해 제2 문서의 문서 지문 정합을 수행함으로써 행해진다. In one embodiment, this is done by performing document fingerprint matching the second document to the first document.

어떤 실시예들에서, 제2 문서를 검색(5512)하는 것과 제1 및 제2 문서를 비교(5514)하는 것이 문서 정합 단계로 결합될 수 있다는 것을 잘 알 것이다. In certain embodiments, it should be understood that as the first and second document retrieving (5512) a second document comparison (5514) to be combined into a document matching step. 예를 들어, PD 인덱스(322)에 질의를 함으로써 제1 문서에 대해 문서 지문 정합 동작이 수행될 수 있다. For example, a document fingerprint matching operation can be performed on the first document by querying PD index 322. 다른 예로서, MMR 데이터베이스(3400)의 MMR 인덱스(3404)에 질의를 함으로써 제1 문서에 대해 문서 지문 정합 동작이 수행될 수 있다. As another example, a document fingerprint matching operation can be performed on the first document by querying an MMR index 3404 of an MMR database 3400. 문서 지문 정합의 예는 단계(5510)에서 캡처된 이미지로부터 피쳐들을 추출하는 것, 그 피쳐들로부터 기술자들(descriptors)을 작성(compose)하는 것, 및 그 기술자들 중 일정 퍼센트를 포함하는 문서 및 패치를 탐색하는 것이다. An example of document fingerprint matching is to extract features from the image captured in step 5510, to create (compose) the technicians (descriptors) from the feature, and the document including the descriptor in a percentage of, and navigate to the patch. 정합하는 문서가 검색될 수 있다(5512). There is a document that matches can be searched (5512). 이 패턴 정합 단계가 각 문서에 대해 한번씩 여러번 수행될 수 있으며 라이브러리 또는 데이터베이스 내의 임의의 문서가 제1 문서와 정합하는지를 결정하기 위해 데이터베이스가 다수의 문서를 저장하고 있다는 것을 잘 알 것이다. This pattern matching step may be performed several times once for each document and will appreciate that to have any documents in a library or database, storing the database a number of documents to determine if the first document and matching.

이 비교에 기초하여 동작이 수행된다(5516). This operation is performed on the basis of the comparison (5516). 수행되는 동작(5516)은 비교의 결과에 의존할 수 있다. Operation 5516 is performed may depend on the result of the comparison. 예를 들어, 일 실시예에서, 비교(5514)가 문서들이 정합 한다는 것을 나타내는 경우 제1 동작이 수행되고(5516), 비교(5514)가 문서들이 정합하지 않는다는 것을 나타내는 경우 제2 동작이 수행된다(5516). For example, in one embodiment, comparing (5514) a second operation is performed to indicate that the document to indicate that the match is the first operation is performed (5516), comparing (5514) the documents do not match (5516). 다른 실시예에서, 수행되는 동작(5516)은 어느 제2 문서가 제1 문서와 정합하는지에 의존할 수 있다. Operation 5516 is performed in another embodiment, may depend on whether any second document, the first document and matching. 예를 들어, 제2 문서가 미리 정해진 동작과 연관될 수 있으며, 이 미리 정해진 동작이 수행될 수 있다(5516). For example, the second article is may be associated with a predetermined operation, the predetermined operation may be performed (5516). 게다가, 수행되는 동작(5516)이 사용자 선택에 응답할 수 있다. Besides, operation 5516 is performed may be in response to a user selection. 본 발명의 여러가지 실시예들에 따른, 수행될 수 있는 여러가지 유형의 동작들의 예가 도 56a 내지 도 56c를 참조하여 본 명세서에 기술된다. , An example of the various types of operations that may be performed according to various embodiments of the present invention with reference to FIG. 56a through 56c to be described herein.

도 56a는 MMR 문서에 액세스하는 방법의 제1 예를 나타낸 것이다. Figure 56a illustrates a first example of a method for accessing an MMR document. 문서(5604)가 획득된다(5510). The document 5604 is acquired (5510). 중앙 저장소(central repository)(5610)로부터 문서(5614)가 검색된다(5512). The document 5614 is retrieved from a central repository (central repository) (5610) (5512). 일 실시예에서, 중앙 저장소(5610)는 문서 이벤트 데이터베이스(320)이다. In one embodiment, the central repository 5610 is a document event database 320. 다른 실시예에서, 중앙 저장소(5610)는 MMR 데이터베이스(3400)이다. In another embodiment, the central repository 5610 is an MMR database 3400. 또 다른 실시예에서, 중앙 저장소(5610)는 문서의 전자적 표시를 저장할 수 있는 임의의 데이터베이스로서 구현될 수 있다. In yet another embodiment, the central repository 5610 can be implemented as any database capable of storing an electronic representation of a document.

예시된 예에서, 동작 또는 미디어(5618)가 문서(5614)와 연관되어 있다. In the example illustrated, the action or media 5618 is associated with the document 5614. 예를 들어, 문서(5614)는 MMR 문서(500)로서 구현될 수 있으며, 문서(5614)는 동작 또는 제2 미디어(504)를 포함할 수 있다. For example, document 5614 can be implemented as an MMR document 500, the document 5614 may include an action or second media 504.

문서(5604) 및 문서(5614)가 비교된다(5514). Article 5604 and article 5614 are compared (5514). 일 실시예에서는, 이 비교에 기초하여, 문서(5614)와 연관된 동작(5618)이 수행된다(5620). In one embodiment, based on the comparison, the action 5618 associated with the document 5614 is performed (5620). 다른 실시예에서는, 이 비교에 기초하여, 문서(5614)와 연관된 미디어(5618)가 디스플레이된다(5620). In another embodiment, based on the comparison, the media 5618 associated with the document 5614 is displayed (5620).

제1 및 제2 문서의 비교에 기초하여 동작을 수행하는 것은 유익하게도 인쇄된 문서가 부가적인 차원의 정보를 포함할 수 있게 해준다. First and second enables it to perform an operation based on a comparison of the document are advantageously printed documents may contain additional information in the dimension. 예를 들어, 문서(5604)는 여행자 여행책의 일부분일 수 있다. For example, article 5604 may be part of a traveler's travel book. 많은 여행 목적지의 경제가 빠르게 발전하면, 여행자가 서점에 도착할 때에 여행책은 구식인 것일 경우가 많다. When the travel destination of many rapidly developing economies, travel books, when travelers arrived in bookstores in many cases be a date. 사용자는 MMR 시스템을 이용하여 여행책 또는 여행책의 특정의 일부분(예를 들어, 특정의 기사)과 연관된 보충 정보를 획득할 수 있다. The user can use to obtain supplemental information associated with a particular part (eg, a specific article) of a travel book or travel book, the MMR system.

여행책의 한 섹션이, 예를 들어, 사용자의 셀 전화에 내장된 카메라에 의해 획득된다(5510). Is a section of the travel book, for example, is obtained by the camera built-in user of the cell phone 5510. 관심의 섹션과 정합하는 지문을 갖는 MMR 문서(5614)가 검색되고(5512) 비교된다(5514). MMR document 5614 with a fingerprint matching the section of interest is retrieved and compared to the (5512) (5514). MMR 문서(5614)는 여행책의 획득(5510)된 부분에 관한 보충 정보(5618)를 포함한다. The MMR document 5614 includes the supplementary information (5618) concerning the acquisition (5510) part of a travel book. 예를 들어, 보충 정보(5618)는 기사의 갱신된 전자적 표시, 특정의 지역에 관한 보건 권고(health advisory) 또는 광고일 수 있다. For example, the supplemental information 5618 is updated electronic display of articles, it can be health recommendations on specific areas of the (health advisory) or ad. 이러한 보충 정보(5618)가 사용자에게 디스플레이된다(5620). This supplemental information 5618 is displayed to the user (5620). 유익하게도, 갱신된 또는 부가적인 정보가 사용자에게 이용가능하다. Advantageously, updated or additional information is available to the user.

이 보충 정보는 임의의 종류의 미디어 파일로서 구현될 수 있다. The supplemental information may be implemented as any type of media file. 제1 및 제2 문서의 비교에 기초하여 동작을 수행하는 것은 종이 문서와 연관된 미디어 파일을 디스플레이하는 데 사용될 수 있다. The first and Performing the action on the basis of a comparison of the second document can be used to display a media file associated with the paper document. 예를 들어, 문서(5604)는 스포츠 잡지의 한 페이지일 수 있다. For example, article 5604 may be one page of a sports magazine. 문서(5604)와 정합하는 지문을 갖는 MMR 문서(5614)가 검색되고(5512) 비교된다(5514). Documents are retrieved and compared (5512) MMR document 5614 with 5604 and a matching fingerprint (5514). 문서(5614)는 잡지의 획득(5510)된 페이지 상의 스포츠 이야기와 관련된 미디어(5618), 예를 들어, 기사가 말하고 있는 게임 승리 골의 비디오 클립을 포함한다. The document 5614 is the media (5618) concerning the acquisition of sports stories on the magazine (5510) page, for example, it included a video clip of a game winning goal in telling the story. 이 미디어(5618)는 사용자에게 디스플레이된다(5620). The media 5618 is displayed to the user (5620). 유익하게도, 종이 문서와 연관된 미디어 파일이 사용자에게 이용가능하다. Advantageously, the media files associated with the paper document is available to the user.

이 보충 정보는 또한 사용자-관련된 것일 수 있다. This supplementary information is also user - may be involved. 제1 및 제2 문서의 비교에 기초하여 동작을 수행하는 것은 사용자-관련 정보를 검색하고 디스플레이하는 것을 포함할 수 있다. The first and Performing the action on the basis of a comparison of the two documents user-it may include retrieving and displaying the related information. 예를 들어, 문서(5604)는 주식 공개 회사(publicly-traded company)에 관한 신문 기사일 수 있다. For example, article 5604 may be a newspaper article about the IPO companies (publicly-traded company). 문서(5604)와 정합하는 지문을 갖는 MMR 문서(5614)가 검색되고(5512) 비교된다(5514). Documents are retrieved and compared (5512) MMR document 5614 with 5604 and a matching fingerprint (5514). 문서(5614)는 기사의 주제를 식별해주는 메타데이터(5618)를 포함한다. The document 5614 includes metadata 5618 identifying the subject of the article. 사용자-관련 정보가, 예를 들어, 메타데이터(5618)에 기초하여 검색된다. User-related information, for example, is retrieved based on the metadata (5618). 예를 들어, 기사에 언급된 회사에 관련된 사용자의 주식 보유 정보가 온라인 증권 거래 회사(online brokerage firm)로부터 검색될 수 있다. For example, a user of the information related to shareholding companies mentioned in the article can be retrieved from the online securities trading companies (online brokerage firm). 사용자-관련 정보가 사용자에게 디스플레이된다. User-related information is displayed to the user. 유익하게도, 종이 문서와 관련된 사용자-관련 정보가 사용자에게 이용가능하다. Advantageously, the user associated with the paper-related information is available to the user.

도 56b는 MMR 문서에 액세스하는 방법의 제2 예를 나타낸 것이다. Figure 56b illustrates a second example of a method for accessing an MMR document. 문서(5604)가 획득되고(5510), 문서(5614)가 중앙 저장소(5610)로부터 검색된다(5612). Document 5604 is acquired (5510), document 5614 is retrieved from the central store (5610) (5612). 문서(5604) 및 문서(5614)가 비교되고(5514), 사용자 입력(5628)이 수신된다. Compare the document 5604 and the document 5614 and (5514), and is received by the user input (5628). 비교(5514) 및 사용자 입력(5628)에 응답하여, 동작이 수행된다(5630). Comparing (5514) and in response to a user input 5628, the operation is carried out (5630).

일 실시예에서, 문서(5614)는 MMR 문서(500)이다. In one embodiment, the document 5614 is an MMR document 500. 이 MMR 문서는 복수의 제2 미디어(504)를 포함할 수 있다. The MMR document can include a plurality of second media 504. 복수의 제2 미디어(504)는 선택을 위해 사용자에게 제공되고, 사용자 입력(5628)은 원하는 제2 미디어(504)를 가리킨다. A plurality of second media 504 are presented to the user for selection, the user input 5628 indicates a desired second media 504. The 예를 들어, 제2 미디어(504)는 오디오 파일, 비디오 파일, 텍스트 파일 또는 애플리케이션 파일, 기타 등등일 수 있다. For example, the can be a second media 504 can be an audio file, a video file, a text file or an application file, and the like. 선택된 제2 미디어(504)가 디스플레이된다(5630). The selected second media 504 is displayed (5630). 다른 예로서, MMR 문서는 복수의 연관된 동작(504)을 포함할 수 있다. As another example, MMR document can include a plurality of associated action 504. 예를 들어, 연관된 동작은 정보를 검색하는 것, 정보를 어떤 장소에 기록하는 것, 정보에 대한 검색을 수행하는 것, 클라이언트 장치 상에 정보를 디스플레이하는 것, 상호작용적 대화를 행하는 것, 나중에 실행하기 위해 동작을 연기하는 것, 문서를 수정하는 것, 제품의 구입, 및 다른 시스템에 명령을 입력하는 것일 수 있다. For example, to perform a one, to displaying information on a client device, interactive conversation to conduct a search for the associated action is to be retrieving information, writing information to a location, information, later It will postpone the operation to execute, to modify the document, may be to enter the command in the purchase of products, and other systems. 복수의 연관된 동작들(504)이 선택을 위해 사용자에게 제공되고, 사용자 입력(5628)은 원하는 연관된 동작(504)을 나타낸다. A 504 plurality of associated action is provided to the user for selection, the user input 5628 indicates the associated action 504 is desired. 선택된 연관된 동작(504)이 수행된다(5630). Associated action 504 is selected is carried out (5630). 또다른 예로서, MMR 문서는 제2 미디어와 연관된 동작들(504)의 조합을 포함할 수 있으며, 사용자 입력(5628)은 제2 미디어가 디스플레이되어야 하는지(5630) 연관된 동작이 수행되어야 하는지(5630)를 나타낼 수 있다. That yet another example, MMR document can include a combination of the operations associated with the second media 504, and user input 5628 of the second media is that to be displayed (5630) the associated action to be performed (5630 ) may represent. 사용자 입력(5628)을 수신함으로써, 수행되는 동작(5630)이 유익하게도 사용자의 원하는 바에 맞춰질 수 있다. Enough by receiving user input 5628, the beneficial action (5630) to be performed can be tailored for the desired bar users.

다른 예에서, 문서(5614)는 복수의 핫스폿(506)(즉, 문서(5604) 내의 위치)을 포함하는 MMR 문서(500)이다. In another example, the document 5614 is an MMR document 500 including a (position in the other words, document 5604) a plurality of hotspots 506. 사용자 입력(5628)은 원하는 핫스폿(506)을 나타낼 수 있다. User input 5628 can indicate a desired hotspot 506. 어떤 경우에, 원하는 핫스폿(506)은 차례로 복수의 동작들 및/또는 제2 미디어(504)와 연관될 수 있으며, 사용자 입력(5628)은 또한 어느 동작이 수행되어야 하는지 및/또는 어느 미디어가 디스플레이되어야 하는지를 나타낼 수 있다. In some cases, the desired hotspot 506 includes a plurality of operations and / or 2 may be associated with the media 504, and user input 5628 can also see which operation should be performed and / or any media in turn It may indicate whether to be displayed. 유익하게도, 사용자 입력(5628)을 수신함으로써, 특정의 핫스폿이 사용자에 의해 선택될 수 있고, 수행되는 동작(5630)도 또한 사용자가 원하는 바에 맞춰질 수 있다. Advantageously, by receiving user input 5628, and a particular hot spot can be selected by a user, an operation (5630) to be performed may also be fitted to bar the user desires.

도 56c는 MMR 문서에 액세스하는 방법의 제3 예를 나타낸 것이다. Figure 56c illustrates a third example of a method for accessing an MMR document. 문 서(5604)가 획득되고(5510), 문서(5614)가 중앙 저장소(5610)로부터 검색된다(5512). The document 5604 is acquired (5510), document 5614 is retrieved from the central store (5610) (5512). 문서(5604) 및 문서(5614)가 비교된다(5514). Article 5604 and article 5614 are compared (5514). 문서(5604)는, 예를 들어, 사용자가 미디어 파일과 연관시키고자 하는 종이 문서일 수 있다. Document (5604), for example, a user may be associated with your media files and paper documents that party.

미디어(5624)가 획득된다(5622). Media 5624 is acquired (5622). 미디어(5624)는, 예를 들어, 비디오 파일, 오디오 파일, 또는 애플리케이션 파일(예를 들어, 스프레드쉬트 또는 워드 프로세싱 문서, 기타 등등)일 수 있다. Media 5624 may be, for example, a video file, an audio file, or an application file (e.g. spreadsheet or word processing document, etc.). 미디어(5624)의 다른 예는 본 발명의 범위를 벗어나지 않고 당업자에게 명백할 것이다. Other examples of media 5624 will be apparent to those skilled in the art without departing from the scope of the invention. 미디어는, 예를 들어, 카메라, 마이크, 네트워크, 컴퓨터 판독가능 매체, 기타 등등으로부터 획득될 수 있다(5622). Media, for example, can be obtained from the camera, a microphone, a network, a computer-readable medium, and the like (5622).

미디어(5624)는 문서(5614)와 연관된다(5626). Media (5624) is associated with a document (5614) (5626). 예를 들어, 미디어(5624)는 문서(5614)에 대한 장래의 액세스에 기초하여 액세스가능하도록 저장된다. For example, the media 5624 is stored to be accessible based on future accesses to the document 5614. 본 발명의 일 실시예에 따르면, 미디어(5624)는 중앙 저장소(5610)에 저장된다. According to one embodiment of the invention, the media 5624 is stored in a central repository (5610). 본 발명의 다른 실시예에 따르면, 미디어(5624)는 문서(5614)와 별도로 저장된다. In accordance with another embodiment of the invention, the media 5624 is stored separately from the document (5614).

일 실시예에서, 문서(5614)는 MMR 문서(500)이고, 미디어(5624)는 제2 미디어(504)로서 저장된다. In one embodiment, the document 5614 is an MMR document 500, the media 5624 is stored as a second media 504. The 미디어(5624)는 문서(5614)의 하나 이상의 핫스폿과 연관될 수 있다. Media (5624) may be associated with one or more hotspots of the document (5614). 일 실시예에서, 사용자 입력이 수신된다(5625). In one embodiment, user input is received (5625). 사용자 입력(5625)은, 예를 들어, 미디어(5624)를 어느 스폿과 연관시킬지를 나타낼 수 있다. User input (5625), for example, may indicate whether to associate the media 5624 with any spot. 다른 예로서, 문서(5614)는 다양한 개체를 포함할 수 있으며, 사용자 입력(5625)은 미디어(5624)를 어느 개체와 연관시킬지를 나타낼 수 있다. As another example, the document 5614 may include a variety of objects, the user input (5625) can represent whether to associate the media 5624 with any object. 사용자 선택에 이용가능한 개체들이, 예를 들어, 정상 인쇄 동작 동안에 프린트 드라이버로부터 획득될 수 있다. Objects used on user choices, for example, be obtained from a print driver during normal printing operations. 프린트 드라이버로부터 개체들을 획득하는 여러가지 예시적인 방법들이 도 37 내지 도 43에 기술되어 있으며, 그에 따른 설명이 본 명세서에 기술되어 있다. And various exemplary methods for obtaining entities from a print driver are described in FIGS. 37 through 43, a description of it is described in this specification.

미디어를 MMR 문서와 연관시키는 것은 유익하게도 사용자가 종이 문서를 보충할 수 있게 해준다. It is beneficial enough to associate the media with an MMR document allows the user to replenish the paper. 예를 들어, 여행을 준비하는 사용자는 휴대성 및 낮은 대체 비용으로 인해 유익한 종이 문서를 가지고 갈 수 있으며 모바일 플랫폼(셀 전화 등)으로부터의 보충 컨텐츠로 문서의 전자 버전을 갱신할 수 있다. For example, a user can take to prepare your trip a profitable paper due to the portability and low replacement cost, and can update the electronic version of the document as a supplement content from mobile platforms (cell phones, etc.).

종이 문서의 획득된 표시에 기초하여 MMR 문서를 검색하는 것은 유익하게도 종이 문서에 부가적인 차원을 도입한다. Enough benefit Retrieving an MMR document based on the obtained representation of the paper document introduces additional dimensions to paper documents. 부가적인 차원은 컨텐츠 또는 광고가 제공될 수 있는 여분의 문서 공간으로 생각될 수 있다. Additional dimensions can be thought of as an extra space in the document may be provided content or advertisements. 예를 들어, 새로운 영화에 대한 신문 광고가 영화의 평론에 "링크"될 수 있으며, 이는 신문 광고의 획득의 결과 평론 등의 보충 정보가 디스플레이된다는 것을 의미한다. For example, there is a newspaper ad for a new movie can be "linked" to the criticism of the film, which means that the display of the supplementary information, including the results of the review acquisition of newspaper advertising. 다른 예로서, 잡지에서의 영화에 대한 평론이 영화관에 대한 광고에 링크될 수 있다. As another example, it is possible for this review to be linked to the film in the magazine ads for the movie theater. 컨텐츠는 다른 컨텐츠에 링크될 수 있으며, 광고는 다른 광고에 링크될 수 있다. Content can be linked to other content, ads may be linked to other ads. 특정의 MMR 문서를 검색하는 것은 (예를 들어, 광고를 보는 것에 대한 대가로) 사용자에 대한 신용(credit) 또는 지불(payment)이 있을 수 있거나 (예를 들어, 프리미엄 컨텐츠를 보는 것에 대한 대가로) 사용자에 대한 차변(credit) 또는 과금(charge)이 있을 수 있다. The search for a particular MMR document (for example, in exchange for viewing ads) can be a credit (credit) or pay (payment) for users, or (for example, in exchange for viewing premium content ) can have a debit (credit) or charging (charge) for the user. 따라서, 본 발명의 다양한 방법들이 광고자, 컨텐츠 제공자, 사용자, 기타 등등에 유익할 수 있다. Therefore, it is possible to various methods of the invention are beneficial for an advertiser, a content provider, the user, and the like.

일 실시예에서, MMR 문서는 종이 문서의 인식에 기초하여 검색된다. In one embodiment, MMR document is retrieved based on recognition of a paper document. 종이 문서의 표시가 획득되고 MMR 문서의 지문과 비교된다. The representation of the paper document is acquired and compared with the fingerprint of the MMR document. 정합하는 MMR 문서는 미디어를 포함할 수 있거나 특정의 동작과 연관될 수 있다. Matching MMR document can be or can include a media associated with a particular operation. 종이 문서와 가상의 멀티 미디어 문서의 비교에 응답하여, 동작이 수행된다. In response to the comparison of the paper document and the virtual multimedia document, this operation is performed. 예를 들어, 정합하는 MMR 문서의 미디어가 디스플레이될 수 있거나, 정합하는 MMR 문서와 연관된 동작이 수행될 수 있다. For example, either matched media of MMR document can be displayed, the action associated with the matching MMR document can be performed. 종이 문서의 인식에 기초하여 MMR 문서를 검색하는 것은 유익하게도 종이 문서의 사용자가 종이 문서에 보충적인 정보로부터 이득을 볼 수 있게 해준다. Search for MMR document based on recognition of a paper document, it advantageously allows a user of paper documents can benefit from supplementary information on paper documents. 게다가, 종이 문서의 인식에 기초하여 가상의 멀티미디어 문서를 검색하는 것은 유익하게도 종이 문서의 사용자가 가상의 멀티미디어 문서에 컨텐츠를 추가하거나 수정할 수 있게 해준다. In addition, based on recognition of a paper document enough to allow it to retrieve multimedia documents of a virtual user benefits of paper documents can add or edit content to the virtual multimedia document.

일 실시예에서, MMR 문서로부터의 데이터는 사용자-관련 정보와 결합되어 개인화된 정보를 사용자에게 제공한다. In one embodiment, data from the MMR document is the user - in conjunction with the relevant information to provide personalized information to the user. 다른 실시예에서, MMR 문서와 연관된 복수의 동작들 중 어느 것이 수행되어야 하는지를 결정하기 위해 사용자 입력이 요청된다. In another embodiment, the user input is requested to be performed to determine if any of the plurality of actions associated with the MMR document is.

일 실시예에서, 종이 문서의 인식에 기초하여 MMR 문서가 검색된다. In one embodiment, an MMR document is retrieved based on recognition of a paper document. 종이 문서와 가상의 멀티미디어 문서의 비교에 응답하여, 동작이 수행된다. In response to the comparison of the paper document and the virtual multimedia document, this operation is performed. 예를 들어, 정합하는 MMR 문서의 미디어가 디스플레이될 수 있거나, 정합하는 MMR 문서와 연관된 동작이 수행될 수 있다. For example, either matched media of MMR document can be displayed, the action associated with the matching MMR document can be performed.

다른 실시예에 대해 이하에서 기술한다. It is described below for different embodiments.

도 57은 본 발명의 일 실시예에 따른 혼합 미디어 문서에 액세스하는 방법을 나타낸 것이다. Figure 57 shows a method for accessing a mixed media document, according to one embodiment of the present invention.

제1 문서가 획득된다(5710). The first article is obtained (5710). 예를 들어, 도 2e를 참조하여 본 명세서에 기술된 캡처 메커니즘(230) 중 임의의 것을 사용하여 제1 문서의 표시를 캡처함으로써 제1 문서가 획득될 수 있다(5710). For example, the first document can be acquired by capturing a representation of the first document using any of the capture mechanisms 230 described herein with reference to Figure 2e (5710). 여러가지 실시예들에 따르면, 제1 문서가 전체적으로 획득될 수 있거나(5710), 제1 문서의 일부분이 획득될 수 있다(5710). According to various embodiments, the first article can be or can be obtained as a whole (5710), a portion of the first document acquired (5710). 도 52를 참조하여 본 명세서에 기술된 문서를 획득(5214)하는 방법들 중 임의의 것을 사용하여 제1 문서가 획득될 수 있다. Fig of how a document described herein with reference to 52 (5214), obtained using any of the first document can be acquired.

제2 문서가 검색된다(5712). The second document is a search (5712). 예를 들어, 제2 문서가 중앙 저장소로부터 검색될 수 있다(5712). For example, the second article may be retrieved from the central store, 5712. 본 발명의 일 실시예에 따르면, 제2 문서는 도 5를 참조하여 본 명세서에 기술된 MMR 문서(500) 등의 MMR 문서이다. According to one embodiment of the invention, the second document is an MMR document such as the MMR document 500 described herein with reference to FIG. 제1 문서 및 PD 인덱스(322) 등의 인덱스에 기초하여 제2 문서가 검색될 수 있다(5712). The first is based on the documents and index, such as the PD index 322. The second document can be retrieved 5712.

제1 및 제2 문서가 비교된다(5714). The first and second documents are compared (5714). 제1 문서와 제2 문서를 비교(5714)하는 것은, 예를 들어, 제1 및 제2 문서를 분석하여 이들이 충분히 유사한지를 결정하는 것을 포함할 수 있다. First, comparing (5714) the document and the second document, for example, the may include determining whether they are similar enough to analyze the first and second documents. 일 실시예에서, 이것은, 제2 문서를 제1 문서에 정합시키는 문서 지문 정합(document fingerprint matching)을 수행함으로써 행해진다. In one embodiment, this is done by performing document fingerprint matching (document fingerprint matching), for matching the second document to the first document.

어떤 실시예들에서, 제2 문서를 검색(5712)하는 것과 제1 및 제2 문서를 비교(5714)하는 것이 문서 정합 단계로 결합될 수 있다는 것을 잘 알 것이다. In certain embodiments, it should be understood that as the first and second document retrieving 5712 a second document comparison (5714) to be combined into a document matching step. 예를 들어, 문서 지문 정합 동작은 PD 인덱스(322)에 질의를 함으로써 제1 문서에 대해 수행될 수 있다. For example, the document fingerprint matching operation can be performed on the first document by querying PD index 322. 문서 지문 정합의 일례는 단계(5710)에서 캡처된 이미지로부터 피쳐들을 추출하고 이들 피쳐들로부터 기술자들(descriptors)을 작성하고 그 기술자들 중 일정 퍼센트를 포함하는 문서 및 패치를 탐색하는 것이다. Document fingerprint matching is extracting features from the captured image is an example at step 5710, and the right and looking up the document and patch that contains a percentage of those descriptors in the descriptor (descriptors) from these features. 정합하는 문서가 이어서 검색될 수 있다(5712). There are documents that match then be retrieved 5712. 이 패턴 정합 단계가 각각의 문서에 대해 한번씩, 여러번 수행될 수 있고 라이브러리 또는 데이터베이스 내의 임의의 문서가 제1 문서와 정합하는지를 결정하기 위해 데이터베이스가 수많은 문서들을 저장하고 있 다는 것을 잘 알 것이다. The database is to be understood that there is stored a number of documents to determine if any document is the first document and matching in the pattern matching step may be performed, once every several times for each article, and a library or database.

동작들이 비교에 기초하여 사용자에게 디스플레이된다(5716). Operations are based on a comparison displayed to the user (5716). 디스플레이(5716)되는 동작들은 비교의 결과에 의존할 수 있다. Operation in which the display 5716 may be dependent on the result of the comparison. 예를 들어, 일 실시예에서, 비교(5714)가 문서 정합을 나타내는 경우, 제1 일련의 동작들이 디스플레이되고(5716), 비교(5714)가 문서들이 정합하지 않는다는 것을 나타내는 경우 제2 일련의 동작들이 디스플레이된다(5716). For example, in one embodiment, comparing the case (5714) indicating the document registration, in a case that indicates that one series of operations are being displayed (5716), comparing (5714) the documents does not match the second series of operations It is displayed (5716). 다른 실시예에서, 디스플레이(5716)되는 일련의 동작들이 어느 제2 문서가 제1 문서와 정합하는지에 의존할 수 있다. In another embodiment, a series of operations that are displayed 5716 can depend on which second document if the first document and matching. 예를 들어, 제2 문서가 미리 정해진 일련의 동작들과 연관될 수 있고, 미리 정해진 일련의 동작들이 디스플레이될 수 있다(5716). For example, the second, and the document can be associated with a predetermined series of operations, may be displayed in a series of predetermined operations (5716). 여러가지 실시예들에 따라, 사용자에게 디스플레이될 수 있는 동작들의 예가 도 58을 참조하여 본 명세서에 기술된다. According to various embodiments, and an example of operations that may be displayed to the user, see Fig. 58 is described herein.

선택에 따라서는, 사용자-선택된 동작이 수행될 수 있다(5718). According to the selection, the user-selected action has to be performed (5718). 리스트 상에 있는 동작들 중 하나를 사용자가 선택한 것에 응답하여, 사용자-선택된 동작이 수행될 수 있다. By one of the operations on the list in response to user-selected, the user-selected action has to be performed. 여러가지 실시예들에 따라, 사용자-선택에 응답하여 수행될 수 있는 동작들의 예는 도 58을 참조하여 본 명세서에 기술된다. According to various embodiments, the user-for example of operations that may be performed in response to the selection are described herein with reference to Figure 58.

도 58은 본 발명의 일 실시예에 따른, 혼합 미디어 문서에 액세스하는 사용자 인터페이스를 나타낸 것이다. Figure 58 illustrates a user interface for access to, mixed media document, according to one embodiment of the present invention. 도 58은 캡처 장치(106)의 디스플레이(212) 상에 사용자 동작들을 디스플레이하는 것을 나타낸 것이다. Figure 58 illustrates the display of the user operation on the display 212 of capture device 106.

예시된 예에서, 메뉴(5801)가 디스플레이(212) 상에 디스플레이된다. In the example illustrated, a menu 5801 is displayed on the display 212. 메뉴(5801)는 검색된 문서(5712)와 연관된 문서 정보(5802)를 포함한다. The menu 5801 includes document information 5802 associated with the retrieved document 5712. 예를 들어, 문서 정보(5802)는 검색된 문서(5712)의 제목을 포함할 수 있다. For example, the document information 5802 can include the title of the retrieved document 5712. 다른 예로서, 문 서 정보(5802)는 검색된(5712) 또는 획득된(5710) 문서 또는 그의 일부분에 관련된 제목, 페이지, 저작자, 출판일, ISBN 번호, 또는 임의의 다른 정보를 포함할 수 있다. As another example, the document information 5802 can include a title page, author, publication date, ISBN number, or any other information relating to the retrieved (5712) or acquired (5710) document or a portion thereof. 이들 예는 설명을 위해 제공된 것이며 제한하는 것이 아니다. These examples are not limiting been provided for purposes of illustration. 메뉴(5801)에 디스플레이될 수 있는 문서 정보(5802)의 다른 예들이 본 발명의 범위를 벗어나지 않고 당업자에게는 명백할 것이다. Other examples of document information 5802 that can be displayed in the menu 5801 will be apparent to those skilled in the art without departing from the scope of the invention.

메뉴(5801)는 또한 복수의 동작(5804)을 포함한다. Menu 5801 also includes a plurality of operation (5804). 메뉴(5801) 상에 디스플레이된 동작(5804)은 획득된(5710) 및 검색된(5712) 문서의 비교(5714)에 응답한다. Displayed on the menu 5801 operation 5804 is responsive to the acquisition 5710 and found 5712 compares (5714) the document. 예를 들어, 제1 문서가 획득(5710)된 경우, 제1 일련의 동작들(5804)이 메뉴(5801)에 포함된다. For example, if the first document is acquired 5710, the first set of actions 5804 are included in the menu 5801. 제2 문서가 획득(5712)된 경우, 제2 일련의 동작들(5804)이 메뉴(5801)에 포함된다. Second, when a document is acquired 5712, the second set of actions 5804 are included in the menu 5801. 제2 일련의 동작들(5804)은 제1 일련의 동작들(5804)에 포함되지 않은 동작들을 포함할 수 있다. The first two series of actions 5804 can include actions not included in the first set of operations (5804).

메뉴(5801) 상에 디스플레이된 동작들(5804)은 또한 획득된(5710) 문서의 특정의 영역 또는 위치에 의존할 수 있다. Of the operation displayed on the menu 5801 (5804) it can also depend on the particular region or location of the acquired 5710 document. 예를 들어, 어떤 동작들(5804)은 문서의 제1 위치(또는 핫스폿)가 획득될 때 디스플레이되고, 다른 동작들(5804)은 동일한 문서의 제2 위치(또는 핫스폿)가 획득될 때 디스플레이된다. For example, some operations 5804 is being displayed the acquisition of a first position of the document (or hot spot), the other operation 5804 is the acquisition of a second location in the same document (or hot spot) It is displayed. 본 발명의 일 실시예에 따르면, 문서 내의 다수의 핫스폿이 선택을 위해 사용자에게 디스플레이된다. According to one embodiment of the invention, a number of hot spots in the document is displayed to the user for selection. 사용자-선택된 핫스폿과 연관된 동작들(5804)이 메뉴(5801)에 디스플레이된다. User-operations 5804 associated with a selected hotspot are displayed in the menu 5801.

예시된 예에서, 메뉴(5801)는 문서를 "그래브(grab)"하는 동작(5804A)을 포함한다. In the example illustrated, the menu 5801 includes an action (5804A) to "grab (grab)" documents. 그래브 동작의 사용자 선택에 응답하여, 검색된(5712) 문서의 식별자가 문서를 즉각적으로 또는 나중에 디스플레이하기 위해 캡처 장치(106) 상에 또는 다 른 장치 상에 저장된다. So in response to a user selection of the probe operation, the retrieved 5712 the identifier of the document is stored on the capture device 106 or on the display to the document immediately or later on another device. 본 발명의 일 실시예에 따르면, 그래브 동작의 사용자 선택에 응답하여, 검색된(5712) 문서가 캡처 장치(106) 상에 저장된다. According to one embodiment of the present invention, well in response to a user selection of the probe operation, the retrieved 5712 document is stored on the capture device 106. 문서의 식별자 또는 문서 자체를 저장하는 것은 유익하게도 그 문서가 장래의 참조를 위해 사용자에게 이용가능하게 만들어준다. It is beneficial enough to store an identifier of the document or the document itself, the document that makes it possible for users to use a reference to the future. 검색된 문서는 마이크로소프트 워드, 아도브 PDF, 마이크로소프트 XPS(XML Paper Specification), 포스트스크립트, PCL, 기타 등등의 많은 형식들 중 하나일 수 있다. Retrieved document may be one of many types of Microsoft Word, Adobe PDF, Microsoft XPS (XML Paper Specification), PostScript, PCL, etc.

예를 들어, 사용자는 치과 병원에서 잡지를 읽는 중에 흥미로운 기사를 만날 수 있다. For example, a user can find an interesting article while reading a magazine in the dentist's office. 사용자는 문서를 캡처하고 그 문서를 그래브하기 위한 동작을 선택한다. The user selects an operation for document capture probe and yes the document. 그 문서가 인식되고, 그 문서의 식별자가 캡처 장치 상에 저장된다. The document is recognized, the identifier of the document is stored on the capture device. 그 문서는 나중에 사용자가 이용할 수 있다. Later, the document is available to users.

예시된 예에서, 메뉴(5801)는 약속 일정을 잡기 위한 동작(5804B)을 포함한다. In the example illustrated, the menu 5801 includes an action (5804B) for catching and appointments. 예를 들어, 문서(또는 문서 내의 한 위치)가 특정의 일시에 행해지는 동작(의사의 예약, 콘서트, 기타 등등)과 연관될 수 있다. For example, it may be associated with a document (or a location in the document) that works (the doctor reservations, concert, etc.) done on a particular date. 스케쥴 동작의 사용자 선택에 응답하여, 스케쥴링 정보가 캡처 장치(106) 또는 다른 장치 상에 저장된다. In response to a user selection of the schedule action, scheduling information is stored on the capture device 106 or another device. 일 실시예에서, 캡처 장치(106)는 디지털 일정표 애플리케이션(digital calendar application)을 포함하며, 스케쥴 동작의 사용자 선택에 응답하여, 문서와 연관된 일시에 대한 약속이 디지털 일정표 상에 스케쥴링된다. In one embodiment, the capture device 106 includes a digital calendar application (digital calendar application), in response to a user selection of the schedule action, an appointment for the date and time associated with the document is scheduled on the digital calendar. 다른 실시예에서, 원격 서버는 약속 데이터를 저장하고, 스케쥴 동작의 사용자 선택에 응답하여, 문서와 연관된 약속 데이터가 원격 서버 상에 저장된다. In other embodiments, a remote server stores appointment data, and in response to a user selection of the schedule action, appointment data associated with the document is stored on a remote server. 또다른 실시예에서, 다른 컴퓨터 장치는 디지털 일정표 애플리케이션을 포함하며, 스케쥴 동작의 사용자 선택에 응 답하여, 문서와 연관된 일시에 대한 약속이 디지털 일정표 상에 스케쥴링된다. In yet another embodiment, another computer device contains a digital calendar application, answering response to a user selection of the schedule action, an appointment for the date and time associated with the document is scheduled on the digital calendar. 예를 들어, 사용자의 마이크로소프트 아웃룩 일정표 상에 약속이 스케쥴링될 수 있다. For example, an appointment can be scheduled on a Microsoft Outlook calendar of the user. 스케쥴링 정보를 저장하는 것은 유익하게도 문서에 기초한 편리하고 효율적인 약속 스케쥴링을 가능하게 해준다. Storing scheduling information advantageously convenient, based on documents and enables efficient appointment scheduling.

예를 들어, 사용자는 그의 관심을 끄는 텔레비전 쇼에 대한 광고를 볼 수 있다. For example, a user may see an ad for a television show to attract his attention. 사용자는 문서를 캡처하고 문서에 기초하여 약속을 스케쥴링하기 위해 동작을 선택한다. The user selects an operation to schedule an appointment to capture documents based on the document. 사용자 선택에 응답하여, 시간, 날짜, 및 이벤트에 대한 설명을 비롯하여 약속이 사용자의 일정표에 추가된다. In response to the user selection, the appointment, as well as a description for the time, date and the event is added to your calendar. 다양한 실시예에 따르면, 약속이 그에 부가하여 또는 그 대신에 다른 일정표에 추가될 수 있다. According to various embodiments, the appointment can be added to other calendars on to or in place additionally. 예를 들어, 제1 사용자는 문서와 연관된 이벤트를 제2 사용자에게 "추천"하기 위해 스케쥴 피쳐를 사용할 수 있고, 그 약속이 제2 사용자의 일정표에 추가된다. For example, the first user can use the feature to schedule an event associated with the document to the second user "like", that promise is added to the second user's calendar. 다른 예로서, 사용자는 DVR(Digital Video Recorder) 또는 온라인 자동차 공유 서비스(online car share service)(City CarShare 또는 ZipCar 등) 등의 전자 장치의 일정표에 이벤트를 추가하기 위해 스케쥴 피쳐를 사용할 수 있다. As another example, the user can use the schedule feature to add events to the calendar of an electronic device such as a DVR (Digital Video Recorder) or an online car-sharing service (online car share service) (City CarShare or ZipCar, etc.). 텔레비전 광고 예에서, 텔레비전 프로그램의 녹화가 사용자의 DVR 상에 스케쥴링된다. In television ads for example, a recording of a television program is scheduled on your DVR. 의사의 예약 예에서, 의사의 예약 근방의 시간 창에 대해 공유 차량(shared car)이 예약된다. For reservations at the doctor's, the car sharing (shared car) is scheduled for the time window for booking the vicinity of the doctor.

약속을 스케쥴링하는 데 사용되는 약속 데이터는 다양한 방식으로 획득될 수 있다. Appointment data that is used to schedule an appointment may be obtained in various ways. 예를 들어, 약속 데이터는 검색된(5712) 문서와 연관될 수 있다. For example, the appointment data can be associated with the retrieved 5712 document. 약속 데이터는 문서를 인쇄하는 것의 결과로서 문서 파서 모듈(326)에 의해 결정될 수 있다. Appointment data can determined by the Document Parser module 326 as a result of printing the document. 다른 예로서, 획득된(5710) 문서에 대해 OCR(optical character recognition) 을 수행함으로써 약속 데이터가 획득될 수 있다. As another example, the appointment data can be acquired by performing OCR (optical character recognition) on the acquired 5710 document. 설명, 시간 및 날짜 등의 약속 데이터가 인식된 문자들로부터 파싱될 수 있다. Description, appointment data, such as time and date can be parsed from the recognized text. 한 구현에서, 명명된 개체 인식이 인식된 문자들로부터 날짜 및 시간을 추출한다. In one embodiment, it extracts date and time from the named object recognition recognizes characters. 또 다른 예로서, 약속 데이터는 연관된 및/또는 검색된 데이터와 사용자로부터 입력된 데이터의 조합을 포함할 수 있다. As another example, the appointment data can include a combination of the data received from the associated and / or retrieved data to the user. 예를 들어, 검색된 문서(5712)는 약속의 설명과 연관될 수 있으며, 사용자는 시간 및 날짜 등의 부가적인 약속 데이터를 입력할 수 있다. For example, the document 5712 is retrieved, and can be associated with a description of the appointment, the user can input additional appointment data such as time and date.

예시된 예에서, 메뉴(5801)는 구입을 하는 동작(5804C)을 포함한다. In the example illustrated, the menu 5801 includes an action (5804C) for the purchase. 예를 들어, 문서(또는 문서에서의 한 위치)가 (문서, 미디어 파일, 티켓, 잡지 구독, 기타 등등의) 판매될 수 있는 제품 또는 서비스와 연관될 수 있다. For example, it may be associated with a product or service document (or a position in the document) is to be sold (documents, media files, tickets, magazine subscriptions, etc.). 구입 동작의 사용자 선택에 응답하여, 제품 또는 서비스에 대한 주문이 행해진다. In response to a user selection of the purchase action, it carried out the orders for the product or service. 또한, 구입 동작의 사용자 선택에 응답하여 사용자의 계정에 과금될 수 있다. Further, in response to a user selection of the purchase action it can be billed to the user's account. 일 실시예에서, 구입 동작의 사용자 선택에 응답하여, 구입된 아이템이 배달을 위해 스케쥴링된다. In one embodiment, in response to a user selection of the purchase action, the purchased item is scheduled for delivery. 즉각적으로 또는 나중에, 구입된 아이템이 캡처 장치(106)로 또는 다른 장치로 전달될 수 있다. Immediately or it may be transmitted later, or in a different device, the purchased item is the capture device 106. 예를 들어, 구입된 아이템이 휴대용 장치의 그 다음 동기화에서 비디오-지원 휴대용 장치로 전달하기 위해 스케쥴링될 수 있다. For example, the purchased items at the next synchronization of the portable device, the video may be scheduled for delivery to support the portable device. 구입된 아이템이 문서 자체의 (전자적 또는 물리적) 복사본, 문서와 관련된 아이템, 또는 문서에 기초하여 제안되는 아이템일 수 있다. Copy (electronic or physical) of the purchased item document itself may be items that are offered on the basis of the item, or document associated with the document. 예를 들어, 획득된 문서(5710)는 새로운 텔레비전 쇼에 대한 평론일 수 있으며, 구입 동작의 선택에 응답하여, 쇼의 에피소드가 구입될 수 있고 비디오-지원 휴대용 장치로의 다운로드가 가능하게 될 수 있다. For example, the acquired document (5710) may be a review of the new television show, in response to the selection of the purchase action, and the show's episodes can be purchased and video - the download of a supported portable device can be made available have. 사용자 선택에 응답하여 상품 또는 서비스를 주문하는 것이 유익하게도 사용자가 종이-기반 문서를 사용하여 편리하게 구입을 할 수 있게 해준다. Enough to be beneficial to buy a product or service in response to a user selection of paper user - allows you to make purchases easy to use based on the document.

구입 동작은 또한 상품 및 서비스에 대한 지불을 위해서도 사용될 수 있다. Purchase operations can also be used to pay for goods and services. 예를 들어, 획득된(5710) 문서는 레스토랑 영수증일 수 있으며, 구입 동작의 선택에 응답하여, 자금이 사용자의 계좌에서 레스토랑 또는 레스토랑의 관리자(agent)의 계좌로 이체되고, 따라서 사용자의 차변(debt)을 레스토랑에 지불한다. For example, the acquired 5710 document can be a restaurant receipt, in response to the selection of the purchase action, funds are transferred from the user's account to the account of an administrator (agent) of the restaurant or a restaurant and thus the user of the debit ( the debt) will be paid in the restaurant.

도 59는 본 발명의 일 실시예에 따른 미디어 파일에 라벨링을 하는 방법을 나타낸 것이다. Figure 59 illustrates a method for labeling a media file, according to an embodiment of the invention. 라벨링될 미디어 파일은, 예를 들어, 이미지, 오디오, 비디오, 텍스트, 휴대가능 문서(portable document), 프리젠테이션, 기타 등등일 수 있다. Media files can be labeled, for example, image, audio, video, text, documents can be portable (portable document), presentations, etc. 미디어 파일이, 예를 들어, 캡처 장치(106) 상의 카메라 또는 마이크, 로컬 또는 원격 장소로부터의 파일 전송, 기타 등등으로부터 획득될 수 있다. The media file, for example, be obtained from a camera or a microphone, the file transfer from a local or remote location, and the like on the capture device 106.

이름들의 리스트가 캡처된다(5910). The list of names is captured 5910. 예를 들어, 이름들의 리스트가 소스 파일(310)로부터 캡처될 수 있다(5910). For example, a list of names can be captured from the source file 310 (5910). 다른 예로서, 이름들의 리스트가, 워드 문서, 웹 페이지, 엑셀 스프레드쉬트, PDF 파일, 종이 문서, 기타 등등의, 임의의 문서로부터 캡처될 수 있다. As another example, the list of names, Word documents, Web pages, Excel spreadsheet, PDF, paper, etc., can be captured from any of the documents. 이름들의 리스트가 다양한 방식으로 캡처될 수 있다. The list of names can be captured in a variety of ways. 일 실시예에 따르면, 문서의 인쇄에 응답하여 이름들의 리스트가 PD 캡처 모듈(318) 또는 문서 파서 모듈(326)에 의해 캡처된다(5910). According to one embodiment, a list of names in response to the printing of the document is captured by the PD capture module 318 or document parser module 326 (5910). 다른 실시예에 따르면, 이름들의 리스트가 문서의 보기, 복사, 편집, 기타 등등에 응답하여 이벤트 캡처 모듈(324)에 의해 캡처된다(5910). According to another embodiment, the list of names is captured by the event capture module 324 in response to the view of a document, copying, editing, etc. (5910). 또다른 실시예에 따르면, 이름들의 리스트가 문서를 스캔하고 그에 대해 OCR을 수행함으로써 캡처된다(5910). According to a further embodiment, is a list of names captured by scanning a document and perform OCR thereto 5910.

이름들의 리스트를 캡처하는 것은 멀티미디어 주석 인터페이스(multimedia annotation interface)를 채울 수 있는 "명명된 개체(named entity)" 또는 다른 흥미로운 정보를 찾아내기 위해 소스 파일(310)(또는 다른 문서)을 파싱하는 것을 포함할 수 있다. Capturing the list of names to parse the source file 310 (or other document) to find a "named objects (named entity)" or other interesting information that may populate a multimedia annotation interface (multimedia annotation interface) It can be included. 명명된 개체는, 예를 들어, 나중에 멀티미디어에 적용될 수 있는 라벨이다. Named objects are, for example, a label that can later be applied to multimedia. 예를 들어, 제목, 저작자, 시간, 또는 위치가 문서에서 검출될 수 있고, 따라서 이름들의 리스트가 캡처될 수 있다(5910). For example, the title, the author, time, or location can be detected in the document, and therefore the list of names can be captured (5910).

도 60을 참조하면, 소스 파일(310) 샘플이 예시되어 있다. Referring to Figure 60, there is illustrated the source file 310 samples. 예시된 예에서, "샌프란시스코 걷기 여행(San Francisco Walking Tour)"의 의제(agenda)를 포함하는 문서 또는 웹 페이지가 도시되어 있다. In the illustrated example, a document or web page is shown, including an agenda (agenda) of the "walking tour of San Francisco (San Francisco Walking Tour)". 도시된 바와 같이, 소스 파일(310)은 캡처(5910)될 수 있는 적절한 이름, 시간, 장소, 기타 등등의 복수의 이름을 포함한다. As shown, the source file 310 is captured comprises an appropriate name, the name of a plurality of times, locations, and so on, which may be 5910. 예를 들어, 소스 파일(310)의 인쇄에 응답하여 또는 그의 일부로서, 이름 "샌프란시스코(San Francisco)", "시청(City Hall)", "로즈 가든(Rose Garden)", "맥올리프 파크(McAuliff Park)", "베이쇼어(Bayshore)" 및 "로빈 윌리암스(Robin Williams)"가, 예를 들어, PD 캡처 모듈(318)에 의해 캡처될 수 있다. For example, as a response to a print or a portion of the source file 310, the name "San Francisco (San Francisco)", "City Hall (City Hall)", "Rose Garden (Rose Garden)", "Mac raise profile Park (McAuliff Park) "," Bayshore (Bayshore) a "and" Robin Williams (Robin Williams) ", for example, be captured by the PD capture module 318. 다른 예로서, 소스 파일(310)은 웹 페이지일 수 있고, 소스 파일(310)을 보는 것에 응답하여, 시간 "오전 9시", "오전 10시", "정오", "오후 1시", 및 "오후 2시"가 캡처될 수 있다. As another example, the source file 310 is a web page may be in response to seeing the source file 310, the time "9:00 a.m.", "10 am," "noon," "1:00 PM" and that can be captured, "2:00 pm". 소스 문서(310) 등의 문서로부터 캡처될 수 있는 이름들의 다른 예는 본 발명의 범위를 벗어나지 않고 당업자에게는 명백할 것이다. Other examples of which may be captured from a document such as the source document 310, the name will be apparent to those skilled in the art without departing from the scope of the invention.

이름들의 리스트가 사용자에게 디스플레이된다(5912). The list of names is displayed to the user (5912). 이름들의 리스트는 MMR 컴퓨터(112) 또는 캡처 장치(106) 등의 임의의 장치 상에 디스플레이될 수 있다(5912). The list of names can be displayed on any device, such as MMR computer 112 or capture device 106 (5912). 이름들의 리스트를 디스플레이(5912)하는 장치는 이름들의 리스트를 캡 처(5910)하는 동일한 장치이거나 동일한 장치가 아닐 수 있다. Displaying a list of names 5912 device that is either the same device that captures 5910 the list of names may not be the same device. 예를 들어, 본 발명의 일 실시예에 따르면, 이름들의 리스트가 제1 장치 상에서 캡처되고(5910) 제2 장치로 전자적으로 전송된다. For example, according to one embodiment of the invention, a list of names is captured on a first device (5910) is electronically sent to the second device. 제2 장치는 이름들의 리스트를 사용자에게 디스플레이한다(5912). The second device displays a list of names to a user (5912).

도 60을 참조하면, 메뉴(6001)가 디스플레이(212) 상에 디스플레이된다. Referring to Figure 60, a menu 6001 is displayed on the display 212. 메뉴(6001)는 복수의 이름(6004)을 사용자 옵션으로서 포함한다. Menu (6001) includes a plurality of names 6004 as user options. 사용자에게 디스플레이(5912)된 이름(6004)은 적어도 캡처(5910)된 이름들의 리스트의 서브셋을 포함한다. The displayed to the user (5912) Name (6004) contains a subset of the list of least capture (5910) names. 예시된 예에서, 문서(310)로부터의 캡처(5910)된 이름들 중에서, 이름 "시청", "로빈 윌리암스", "맥올리프 파크", "로즈 가든" 및 "베이쇼어"는 사용자 옵션으로서 제공된다. In the illustrated example, among the document 310 captured from the 5910 name, the name "City Hall," "Robin Williams", "Mac raise profile Park," "Rose Garden" and "Bayshore" is a user option It is provided. 디스플레이(5912)된 이름들은 또한 다양한 문서로부터 캡처될 수 있다. The display (5912), the name may also be captured from a variety of documents. 본 발명의 일 실시예에 따르면, 디스플레이(5912)된 이름들의 순서는 이름들이 캡처(5910)된 순서와 다르다. According to one embodiment of the invention, the order of the displayed 5912 names is different from the names are captured 5910 in order. 디스플레이(5912)된 이름들은, 예를 들어, 이름들이 선택되는 빈도수(더 흔히 선택된 이름들을 리스트의 상단에 놓는 등), 이름이 캡처(5910)된 문서에서의 이름의 현저성(prominence), 이름이 캡처(5910)된 문서의 중요성 또는 현저성, 기타 등등에 기초하여 순서 조정(reorder)될 수 있다. Display 5912 names are, for example, notably the name, in the name of their chosen frequency (eg, more often put the selected name to the top of the list), the name is captured (5910) document Castle (prominence), name based on the capture of the importance or significantly 5910 document property, and the like can be adjusted (reorder) sequence. 게다가, 디스플레이(5912)된 것보다 더 많은 이름들이 캡처(5910)되는 경우에, 어느 이름들이 디스플레이(5912)되어야만 하는지를 결정하기 위해 유사한 메트릭이 사용될 수 있다. In addition, when the display 5912 more names are captured 5910 than that, similar metrics can be used to determine which name to be displayed (5912).

캡처(5910)된 이름들의 리스트에 기초하여 이름들의 리스트를 디스플레이(5912)하는 것은 유리하게도, 예를 들어, 사용자가 최근에 인쇄한 또는 보았던 문서에 기초하여 사용자의 활동에 관련된 옵션들을 사용자에게 제공한다. Capture 5910 with The display (5912) the list of names based on the list of names for enough, such as glass, on the basis of the documents you have, or have seen printed on the last available options related to user activity to users do. 따라서, 편리하고 지능적인 사용자 인터페이스가 제공된다. Thus, a convenient and intelligent user interface is provided.

메뉴(6001)는 또한 제목(6002)을 포함할 수 있다. Menu 6001 may also include a title (6002). 예를 들어, 제목(6002)은 라벨링될 미디어 파일의 설명을 포함할 수 있다. For example, the title 6002 can include a description of the media file to be labeled. 제목(6002)은 미디어 파일이 획득된 시간 및/또는 소스, 그리고 미디어 파일에 적용된 임의의 이전의 라벨을 나타낼 수 있다. Title 6002 may represent any previous labels applied to the obtained time and / or the source media file and the media file.

사용자는 메뉴(6001) 상에 디스플레이(5912)된 이름들(6004) 중 하나를 선택한다. A user selects one of the display (5912) on the menu (6001) Names (6004). 사용자 선택에 응답하여, 미디어 파일은 사용자-선택된 이름과 연관된다(5914). In response to the user selection, the media file is a user-selected name is associated with (5914). 미디어 파일은 다양한 방식으로 사용자-선택된 이름과 연관될 수 있다(5914). Media files in a variety of ways users may be associated with the selected name (5914). 예를 들어, 미디어 파일은 하나 이상의 메타데이터 필드를 포함할 수 있고, 사용자-선택된 이름은 메타데이터 필드에 저장될 수 있다. For example, the media file may include one or more metadata fields, the user-selected name can be stored in metadata fields. 다른 예로서, 사용자-선택된 이름은 미디어 파일과 별도로 저장될 수 있으며, 포인터 또는 다른 연관성이 사용자-선택된 이름을 미디어 파일과 연관시킬 수 있다. As another example, the user-selected name can be stored separately from media files, or other pointer associated user-selected name can be associated with your media files. 다른 예로서, 사용자-선택된 이름은 미디어 파일에 대한 파일 이름으로서 사용될 수 있다. As another example, the user-selected name can be used as the file name for the media file. 또다른 예로서, 사용자-선택된 이름은 미디어 파일이 저장되는 폴더 이름으로서 사용될 수 있다. As yet another example, the user-selected name can be used as a folder name to the media file storage. 이들 예는 예시를 위해 제공된 것이며 제한하는 것이 아니다. These examples are not limiting been provided for purposes of illustration. 미디어 파일을 사용자-선택된 이름과 연관시키는 방법들의 다른 예는 본 발명의 범위를 벗어나지 않고 당업자에게는 명백할 것이다. User media files - another example of how to associate with the selected name will be apparent to those skilled in the art without departing from the scope of the invention.

도 60을 참조하면, 미디어 파일을 사용자-선택된 이름과 연관시키는 것이 나타내어져 있다. Referring to FIG. 60, the media files User-adjuster is shown to associate with the selected name. 예시된 예에서, 미디어 파일은 이미지 데이터(6008)의 형태로 이 미지를 저장하는 이미지 파일(6005)이다. In the illustrated example, the media file is an image file 6005 to store the image in the form of image data (6008). 사용자-선택에 응답하여, 사용자-선택된 이름(이 예에서, "로즈 가든")은 이미지 파일(6005)에 메타데이터(6006)로서 저장된다(5914). User - in response to the selection, the user-selected name (in this example, "Rose Garden") is stored as metadata (6006) in the image file 6005 (5914). 라벨 "로즈 가든"은 미디어 파일과 연관된다. Label "Rose Garden" is associated with the media file. 유리하게도, 사용자-선택된 이름이 미디어 파일의 장래의 구성, 검색 및/또는 디스플레이를 위해 이용가능하다. Advantageously, the user-selected name is available for the construction of the future of media files, retrieve and / or display.

일 실시예에서, MMR 문서는 종이 문서의 인식에 기초하여 검색된다. In one embodiment, MMR document is retrieved based on recognition of a paper document. 종이 문서의 표시가 획득되고 MMR 문서의 지문과 비교된다. The representation of the paper document is acquired and compared with the fingerprint of the MMR document. 종이 문서와 가상의 멀티미디어 문서의 비교에 응답하여, 일련의 동작들이 사용자에게 디스플레이된다. In response to the comparison of the paper document and the virtual multimedia document, a series of operations are displayed to the user. 사용자 선택에 응답하여, 사용자-선택된 동작이 수행된다. In response to a user selection, the user-selected action is performed. 예를 들어, 인식된 문서(또는 그의 식별자)가 검색되고 나중에 보기 위해 저장된다. For example, a recognized document (or an identifier) ​​is retrieved and stored for later viewing. 다른 예로서, 약속이 스케쥴링될 수 있다. As another example, the appointment can be scheduled. 또다른 예로서, 제품이 구입될 수 있다. As another example, the product can be purchased.

다른 예에서, 캡처된 이름들의 리스트가 사용자가 미디어 파일에 라벨링하는 것을 돕는 데 사용된다. In another example, the list of names is used to help capture the user labeled media files. 예를 들어, 이름들의 리스트는 문서로부터 캡처된다. For example, the list of names is captured from the document. 이름들의 리스트가 사용자에게 디스플레이된다. The list of names is displayed to the user. 사용자 선택에 응답하여, 미디어 파일은 사용자-선택된 이름과 연관된다. In response to the user selection, the media file is a user-selected name is associated with.

일 실시예에서, MMR 문서는 종이 문서의 인식에 기초하여 검색된다. In one embodiment, MMR document is retrieved based on recognition of a paper document. 종이 문서와 가상의 멀티미디어 문서의 비교에 응답하여, 일련의 동작들이 사용자에게 디스플레이된다. In response to the comparison of the paper document and the virtual multimedia document, a series of operations are displayed to the user. 사용자 선택에 응답하여, 사용자-선택된 동작이 수행된다. In response to a user selection, the user-selected action is performed. 다른 실시예에서, 캡처된 이름들의 리스트가 사용자가 미디어 파일에 라벨링을 하는 것을 돕는 데 사용된다. In another embodiment, it is used to capture the list of names to help the user to the labeling media files.

다른 실시예가 이하에 기술된다. Other embodiments are described below.

광고 발생 Advertising occurred

도 61a는 본 발명에 따른 MMR 문서(500) 및 MMR 시스템(100b)을 사용하는 방법의 플로우차트를 나타낸 것이다. Figure 61a illustrates a flowchart of a method of using an MMR document 500 and the MMR system (100b) in accordance with the present invention. 이 방법은 MMR 사용자(110)에게 동작을 이미지와 연관시키는 방법을 제공하도록 설계되어 있다. This method is designed to provide a way to associate an action with the image to the MMR user 110. The

방법(6100)은 이미지 또는 이미지의 표시 및 동작을 획득(6102)하는 것으로 시작한다. The method 6100 begins by acquiring 6102 a display and operation of the image or images. 일 실시예에서, 이 동작은 이미지와 연관되도록 구성되어 있다. In one embodiment, the operation is made to be associated with the image. 이미지는 인쇄된 문서 또는 웹 페이지에 포함될 수 있다. Images can be included in a printed document or web page. 이미지는 캡처 장치(106)의 비디오 카메라(232) 또는 정지 영상 카메라(234)로는 보이지만 사람에게는 보이지 않거나 아주 희미한 기계-판독가능 마킹을 포함할 수 있다. The image looks roneun video camera 232 or still camera 234 of capture device 106 does not look very faint to humans machines can include a readable marking. 이미지의 예는 상표 및 로고타입(logotype)의 이미지를 포함한다. Examples of images include an image of the trademark and logotype (logotype). 이 이미지는 TIFF, BMP, GIF 및 JPEG 등의 다수의 규격 중 하나로 되어 있을 수 있다. This image may be one of a number of standards such as TIFF, BMP, GIF and JPEG. 동작의 예는 이하의 것들을 포함한다. Examples of the operations include the following: (1) 문서 이벤트 데이터베이스(320)(한 특정의 실시예에서, (PD 인덱스(322)를 포함하는) 문서 이벤트 데이터베이스(320)가 도 34a에 나타낸 데이터베이스 시스템(3400)으로서 구현됨), 인터넷 또는 다른 곳(예를 들어, 영화 예고편을 캡처 장치(106) 또는 iPod 비디오 등의 별도의 비디오 디스플레이 장치로 다운로드하는 것)으로부터 정보를 검색하는 것. 1, the document event database 320 (implemented in one particular embodiment, (a database system 3400 illustrated in including a PD index 322), the document event database 320 is also 34a), the Internet, or to retrieve information from other sources (for example, to download a movie trailer as a separate video display device such as a capture device (106) or iPod with video). (2) 시스템의 출력을 수신할 준비가 되어 있는 MMR 시스템(100b)에 의해 검증되는 위치에 정보를 기록하는 것. (2) for recording information on a location it is verified by the MMR system (100b) that is ready to receive the output of the system. (3) 정보를 탐색하는 것(예를 들어, 지역/전역 검색). To navigate (3) information (for example, local / global search). (4) 캡처 장치(106) 등의 클라이언트 장치 상에 정보를 디스플레이하고 사용자와 상호작용적 대화를 행하는 것(예를 들 어, 조사를 수행하는 것). (4) the capture device 106 (to control for example, performing a survey) displaying information on a client device such as the one for performing an interactive dialog with the user. 그렇지만, 당업자라면 이미지가 다수의 동작들과 연관되어 있을 수 있다는 것을 잘 알 것이다. However, those skilled in the art will recognize that the image can be associated with multiple operations.

일 실시예에서, 이미지는 MMR 사용자(110)에 의해 생성되고 나중에 MMR 시스템(100b)에 의해 획득된다(6102). In one embodiment, an image is acquired by the MMR system (100b) being generated later by a MMR user 110 (6102). 사용자는 MMR 서비스 제공자(5310)에 의해 또는 제3자 소프트웨어 제공자에 의해 제공되는 소프트웨어 애플리케이션(예를 들어, 마이크로소프트의 Paint, 아도브의 Photoshop)을 사용하여 이미지를 생성할 수 있다. The user can create the image using the MMR service provider 5310 software application (e.g., Microsoft Paint, Adobe Photoshop's) provided by a third party or by a software provider to the. 이 이미지는 다른 방법들을 사용하여 획득될 수 있다. This image can be obtained using other methods. 이미지를 획득하는 예시적인 방법은 다음과 같은 것들을 포함한다. An exemplary method for obtaining an image should include the following: (1) MMR 컴퓨터(112)의 운영 체제 내에서 PD 캡처 모듈(318)을 통해 인쇄된 문서의 레이아웃을 자동적으로 캡처함으로써 이미지가 획득된다. (1) the image is acquired by capturing automatically the layout of a printed document, via PD capture module 318 in the operating system of MMR computer 112; (2) MMR 컴퓨터(112)의 프린터 드라이버(316) 내에서 인쇄된 문서의 레이아웃을 자동적으로 캡처함으로써 이미지가 획득된다. (2) MMR, the image is acquired by capturing automatically the layout of a printed document within printer driver 316 of the computer 112. (3) 예를 들어, MMR 컴퓨터(112)에 연결되어 있는 표준의 문서 스캐너 장치(127)를 통해 종이 문서를 스캔함으로써 이미지가 획득된다. (3) For example, the image is acquired by scanning a paper document via the MMR computer document scanner device 127 that is connected to the standard (112). (4) 도 2e에 도시된 캡처 메커니즘(230)을 포함하는 이미지 캡처 장치(106)로 이미지가 획득된다. 4, the image is acquired by the image capture device 106 including the capture mechanisms 230 shown in Fig. 2e. (5) 이미지의 표시인 파일을 MMR 컴퓨터(112)로 자동적으로 또는 수작업으로 전송, 업로드 또는 다운로드함으로써 이미지가 획득된다. 5, the image is acquired by automatically or manually transferred to a display file of the image to the MMR computer 112, upload or download. 다른 실시예에서, 이미지를 획득(6102)하는 대신에, 방법(6100)은 (텍스트 및 이미지 등의) 사용자 입력을 사용하여 이를 생성할 수 있다. Instead in other embodiments, to obtain 6102 the image, the method 6100 (such as text and images) may create it by using the user input. 이 동작은 이미지의 방법들과 유사한 서로 다른 방법들을 사용하여 획득될 수 있다(6102). This operation may be acquired using different methods similar to the method of image 6102.

예를 들어, MMR 사용자(110)는 Coca-Cola Company의 상표인 Coca-Cola의 로 고타입을 Coca-Cola Company의 공식 웹 사이트(www.cocacola.com)를 방문하는 동작과 연관시키기로 계획한다. For example, the MMR user 110 plans and decided to associate with the type of the Coca-Cola trademark Coca-Cola Company's operations and to visit the Coca-Cola Company's official website (www.cocacola.com). 로고타입의 인쇄된 표시가 PD 캡처 모듈(318)에 의해 획득된다. The printed representation of the logotype is acquired by the PD capture module 318. 사용자는 MM(330)에 대한 프린터 드라이버에 의해 발생된 UI를 통해 MMR 컴퓨터(112)에서 동작(www.cocacola.com을 방문하는 것)을 입력한다. The user inputs the action (to visit www.cocacola.com) in the MMR computer 112 through a UI generated by the printer driver for MM (330). 다른 대안으로서, 사용자는 문서 스캐너(127) 또는 이미지 캡처 장치(106)를 사용하여 로고타입의 인쇄된 복사본을 스캔하고 도 50a와 관련하여 기술한 것과 유사한 사용자 인터페이스(UI)를 사용하여 동작을 입력한다. Alternatively, the user may input an operation using the user interface similar to as described with respect to FIG scans a printed copy of the logotype using the document scanner 127 or image capture device (106) 50a (UI) do.

획득 단계(6102)가 수행되면, 이 방법(6100)은 이미지에 대한 인덱싱 동작을 수행한다(6104). Once the acquiring step 6102 is performed, the method 6100 performs an indexing operation on the image (6104). 인덱싱 동작은 이미지의 대응하는 전자적 표시 및 획득된 이미지와 정합하는 입력을 위한 연관된 동작의 식별을 가능하게 해준다. The indexing operation allows identification of the associated action for input corresponding electronic representation and matching the acquired image and that the image. 단계(6104)의 일 실시예에서, 인덱싱은 2 단계로 수행된다. In one embodiment of step 6104, indexing is performed in two steps. 첫번째 단계에서, 이미지 컨텐츠-기반 검색 컴포넌트(414)는 이미지와 문서 이벤트 데이터베이스(320)에 이미 저장되어 있는 이미지의 표시 간의 이미지 비교를 수행한다. In the first step, the image content-based retrieval component 414 performs image comparison between the display of the images that are stored in the image of the document event database 320. 이미지가 적어도 하나의 저장된 이미지와 높은 신뢰 수준으로 정합하는 것으로 컴포넌트(414)가 결정하는 경우, 방법(6100)은 이미지가 고유한 것이 아니라고 결정할 수 있으며, MMR 사용자(110)에게 이러한 결정을 통지하고 방법(6100)을 종료한다. When the image is determined at least as matching with one image with a high confidence level is stored in the component 414, the method 6100 may determine that that the image is unique, and notifies this decision to the MMR user 110 It ends the method (6100). 사용자는 이미지를 수정하고 프로세스를 재시작하기로 선택할 수 있다. Users can choose to edit the image, and restart the process.

이미지가 충분히 고유한 것으로 결정되는 것으로 가정하면, 이미지 및 연관된 동작을 문서 이벤트 데이터베이스(320)에 추가하는 인덱싱 동작의 두번째 단계가 수행된다. Assuming that the image is determined to be sufficiently unique, the second step in the indexing operation to add images and associated operations to the document event database 320 is performed. 도 35와 관련하여 기술된 한 구현에서, PD 인덱스(322)(또는 등가적 으로 MMR 인덱스 테이블(3404))가 갱신된다. In one embodiment described in connection with Figure 35, it is updated in the PD index 322 (or equivalently the MMR index table 3404). 이러한 인덱스 테이블에 추가될 수 있는 특징들의 예는 이하의 것들을 포함한다. Examples of features that can be added to such an index table include the following: (1) 이미지에서의 문자들의 xy 위치. (1) xy locations of characters in the image. (2) 이미지에서의 단어들의 xy 위치. (2) xy locations of words in the image. (3) 이미지의 일부분의 xy 위치. (3) xy position of a portion of the image. (4) OCR 이미지화 동작이 수행되고, 문자 및/또는 단어의 xy 위치가 그에 따라 인덱싱된다. (4) The OCR imaging operation is performed, and the xy position of the characters and / or words are indexed accordingly. (5) 이미지로부터의 특징 추출이 수행되고, 특징들의 xy 위치가 인덱싱된다. (5) the feature extraction from the image is performed, the xy location of the features are indexed; 특징 추출의 예는 구역 세그먼트화, 컬러 분석, 엣지 검출, 얼굴 검출, 텍스처 분석, 또는 컨텐츠-기반 검색 알고리즘에서 통상 사용되는 특징 추출 방법들 중 임의의 방법을 포함한다. Examples of feature extraction is zones segmentation, color analysis, edge detection, face detection, texture analysis, or content-includes any method of the search algorithm based feature extraction method that is usually used in the. 인덱싱 동작(6104)은, 본 발명의 응용에 따라, 상기한 인덱싱 동작들 또는 상기한 인덱싱 동작들의 그룹들 중의 임의의 것을 포함할 수 있다. The indexing operation 6104, in accordance with the application of the present invention, may include any of the indexing operation of the one or the group of one of the indexing operation. 문서 이벤트 데이터베이스(320)는, 동작을 이미지와 연관시키는 인덱싱 동작의 결과와 함께, 이미지를 MMR 문서(500)의 제1 미디어 부분에 저장하고, 동작을 제2 미디어 부분에 저장한다. Document event database 320, and with the result of the indexing operation that associates an action with the image, store the image in the first media portion of the MMR document 500, and stores the operation in the second media portion.

계속하여 상기한 Coca Cola 예에서, 이미지 컨텐츠-기반 검색 컴포넌트(414)는 Coca·Cola 로고타입과 문서 이벤트 데이터베이스(320)에 저장된 이미지 간에 이미지 비교를 수행한다. Continuing with the above Coca Cola example, image content-based retrieval component 414 performs image comparison between images stored in the Coca · Cola logotype and document event database 320. 컴포넌트(414)는 로고타입이 고유한 것인지를 결정한다. Component 414 determines whether one is unique logotype. 그 후에, PD 캡처 모듈(318)은 로고타입에 대한 PD 인덱스(322)(또는 등가적으로 MMR 인덱스 테이블 모듈(3404) 또는 어떤 다른 전용 모듈이 인덱스를 갱신함)를 갱신하고, 동작이 도 35와 관련하여 기술된 바와 같이 이미지와 연관된다. Thereafter, PD capture module 318 is a 35 updates a PD index 322 (also equivalent to update the MMR index table module 3404 or the index some other dedicated module) for the logotype, and the action with respect to being associated with the image as described. 로고타입의 스캔된 이미지가 입력되는 경우 (도 35에 기술된 바와 같이) 유사한 일련의 단계들이 수행된다. When the scanned image of the logotype input (as described in FIG. 35) is carried out by a similar sequence of steps. 어느 경우든지, MMR 문서(500)가 데이터베이스(320) 내에서 생 성되고, 로고타입의 이미지화된(인쇄된 또는 스캔된) 표시가 제1 미디어이고, 동작이 제2 미디어이다. In either case, an MMR document 500 is being generated in the database 320, the display is the first media (printed or scanned a) imaging of the logotype, the operation is a second media.

방법(6100)은 또한 문서를 획득한다(6106). Method 6100 also acquires the document (6106). 이 단계(6106)에서, 획득된 문서는 문서 전체이거나 단지 문서의 일부분일 수 있다. In this step 6106, the obtained article can be a whole or only part of the article document. 이 문서는 캡처 장치(106)의 하나 이상의 캡처 메커니즘(230)으로 문서의 일부분을 스캔함으로써 획득될 수 있다. This document is one or more capture mechanisms 230 of capture device 106 may be acquired by scanning a portion of the document. 획득되는 문서가 인쇄된 형태로 되어 있을 필요는 없으며, 이는 비디오 디스플레이 장치(예를 들어, 출력 장치(164)) 상에 전자적으로 디스플레이될 수 있다. It is not necessary that the article to be obtained is in printed form, and may be electronically displayed on a video display device (e.g., output device 164).

계속하여 상기 Coca Cola 예에서, 문서가 음료 용기 상의 라벨일 수 있다. In continuing to the Coca Cola example, the document may be a label on a beverage container. 이 라벨은 Coca·Cola 로고타입의 이미지를 포함한다. This label contains the image of Coca · Cola logotype. MMR 사용자(110)는 라벨의 이미지를 촬영하기 위해 셀룰러 카메라 전화를 사용하고, 그에 의해 로고타입의 이미지를 획득할 수 있다. MMR user 110 can use a cellular camera phone to take an image of the label, and obtaining an image of the logotype thereby.

획득 단계(6106)가 수행되었으면, 방법은 문서 이미지가 데이터베이스 이미지들 중 임의의 것을 포함하는지를 결정하기 위해 문서 이미지와 데이터베이스(320)에 저장된 이미지 간의 패턴 정합을 수행한다(6108). Obtained if step 6106 is performed, the method performs pattern matching between the document image and the images stored in the database 320 to determine if the document image includes any of the database images (6108). 일 실시예에서, 이 패턴 정합 단계(6108)가 문서 지문 정합 모듈(226)에 의해 수행된다. In one embodiment, this pattern matching step 6108 is performed by the document fingerprint matching module 226. 문서 이미지가 데이터베이스(320)에 저장된 다수의 서브-이미지를 포함할 수 있기 때문에, 서브-이미지들 중 임의의 것이 데이터베이스에 포함되어 있는지를 결정하기 위해 이 패턴 정합 단계가 문서 이미지에서 각각의 서브-이미지에 대해 한번씩 여러번 수행될 수 있다는 것을 잘 알 것이다. It is possible to contain the image, the sub-document image has a plurality of sub-stored in the database 320, each of the sub is a pattern matching step to determine that it is not any of the images included in the database in the document image - it will be appreciated that it can be done several times once for each image. 다른 실시예에서, 이 패턴 정합 단계(6108)는 이미지 컨텐츠 기반 검색 컴포넌트(414)에 의해 수행된다. In another embodiment, this pattern matching step 6108 is performed by the image content-based retrieval component 414. 문서 이미지 또는 그의 서브-이미지들 중 임의의 것은 그의 연관된 신뢰 수준이 미리 정의된 문턱값을 초과하는 경우 데이터베이스에 있는 것으로 결정된다. Images or its sub-Any of the images exceeds a threshold value associated with his confidence level is determined to be in the predefined database.

다른 실시예에서, 이 방법은 획득된 문서와 문서 이벤트 데이터베이스(320)에 저장된 문서 사이에 문서 또는 패턴 정합(6108)을 수행한다. In another embodiment, the method performs a document or pattern matching 6108 between the acquired document and documents stored in the document event database 320. 이것은 획득된 문서를 데이터베이스(320)에 저장된 문서에 대해 문서 지문 정합을 수행함으로써 행해질 수 있다. This can be done by performing document fingerprint matching for the acquired document to the documents stored in the database 320.

계속하여 상기 Coca Cola 예에서, 이 방법은 음료 라벨과 Coca·Cola 로고타입 간의 패턴 정합을 수행하고 라벨이 로고타입을 포함하는지를 결정한다. Continuing with the above Coca Cola example, the method performs pattern matching between the beverage label and the Coca · Cola logotype and determines if the label contains the logotype.

마지막으로, 방법(6100)은 단계(6108)의 결과에 기초하여 또 선택에 따라서는 사용자 입력에 기초하여 획득 단계(6102)에서 획득된 동작을 실행한다(6110). Finally, the method 6100 is also according to the selection on the basis of the result of step 6108 performs the operation acquired in the acquiring step 6102 based on the user input (6110). 문서가 이미지를 포함하는 것으로 단계(6108)가 결정하는 경우, 방법(6100)은 동작을 실행한다(6110). And if the document is a decision step 6108 that includes an image, the method 6100 performs the operation (6110). 패턴 정합 단계(6108)에서 문서가 데이터베이스(320)에 저장된 다른 이미지를 포함하는 것으로 결정할 수 있다는 것을 잘 알 것이다. The documents in the pattern matching step (6108) will know very well that they can decide to include other images stored in the database (320). 따라서, 방법(6100)은 다수의 동작들을 실행할 수 있으며, 그 각각은 문서에 포함된 이미지와 연관되어 있다. Thus, the method 6100 can execute a plurality of operations, each of which is associated with the image included in the document. 단계(6110)가 행해지면, 방법(6100)이 완료되어 종료된다. The step 6110 is carried out surface, the method 6100 is terminated to complete.

계속하여 상기 Coca Cola 예에서, 단계(6108)에서 문서가 Coca·Cola 로고타입을 포함하는 것으로 결정하기 때문에, 방법(6100)은 연관된 동작 - Coca-Cola Company의 공식 웹 사이트를 방문하는 것 - 을 실행한다(6110). A - to visit the Coca-Cola Company's official web site - Continuing with the above Coca Cola example, step 6108 article Coca · Cola because it decided to include the logotype, the method 6100 associated with operating in run 6110. 그 결과, 셀룰러 카메라 전화가 인터넷을 통해 웹 사이트 www.cocacola.com으로부터 웹 페이지를 검 색한다. As a result, retrieve a Web page from a Web site www.cocacola.com over a cellular camera phone with internet access.

혼합 미디어 현실 문서를 사용하는 협동적 주석 첨부(Collaborative Annotation ) Cooperative annotated using mixed media reality document (Collaborative Annotation)

도 61b는 본 발명에 따라 MMR 문서(500) 및 MMR 시스템(100b)을 사용하는 방법(6120)의 플로우차트를 나타낸 것이다. Figure 61b illustrates a flowchart of a method of using an MMR document 500 and the MMR system (100b) in accordance with the invention (6120). 방법(6120)은 다른 MMR 사용자에게 즉시 이용가능한 주석을 협동적으로 추가하는 방법을 MMR 사용자(110)에게 제공하도록 설계되어 있다. Method 6120 is designed to provide a way to add readily available to other MMR users tin cooperatively to MMR user 110.

방법(6120)은 제1 문서 또는 제1 문서의 표시를 획득(6122)하는 것으로 시작한다. The method 6120 begins by obtaining (6122) a first document or a representation of the first document. 제1 문서는 MMR 사용자(110)가 주석을 추가하고자 하는 저작물이다. The first document is the work to the MMR user 110 to add a comment. 제1 문서는 도 61a를 참조하여 상기한 획득 단계(6102)의 방법들과 유사한 방법들을 사용하여 획득될 수 있으며, 따라서 여기서 설명을 반복하지 않는다. First document, and it can be acquired using methods similar to those of the acquiring step 6102 described above with reference to Figure 61a, therefore the description will not be repeated here. 예를 들어, 책 Harry Potter and the Sorcerer's Stone 의 출판업자는 책의 인쇄된 표시를 획득(6122)하기 위해 문서 스캐너(127)를 사용하여 책을 스캔할 수 있다. For example, you can scan the book by using a document scanner (127) to obtain (6122), the printed representation of the book Harry Potter and the Sorcerer's Stone The publisher of the book.

획득 단계(6122)가 수행되면, 이 방법(6120)은 제1 문서에 대해 인덱싱 동작을 수행한다(6124). Once the acquiring step (6122) is performed, the method 6120 performs an indexing operation on the first document (6124). 인덱싱 동작(6124)은 제1 문서의 대응하는 전자적 표시 및 (도 6과 관련하여 더 기술되어 있는 문서 지문 정합 모듈(226)을 사용하여) 제1 문서 또는 그의 일부분과 "정합"하는 입력으로부터의 연관된 제2 미디어 유형의 식별을 가능하게 해준다. The indexing operation (6124) is from the first article corresponding electronic representation and (using a document fingerprint matching module (226, which is further described in connection with FIG. 6)) to the first document or a portion thereof and a "mating" type of associated with the second allows the identification of the media type. 이 단계의 일 실시예에서, 문서 인덱싱 동작은 PD 인덱스(322)를 발생하는 PD 캡처 모듈(318)에 의해 수행된다. In one embodiment of this step, a document indexing operation is performed by the PD capture module 318 that generates the PD index 322. 이와 동등하게, 인덱싱 동작은 도 35와 관련하여 기술된 바와 같이 수행될 수 있다. Equal manner, the indexing operation can be performed as described with respect to Figure 35. 인덱싱 동작(6124)은 본 발명의 응용에 따라 도 61a를 참조하여 인덱싱 단계(6104)에 기술된 인덱싱 동작들 중 임의의 것을 포함할 수 있다. The indexing operation (6124) may be included with reference to Figure 61a in accordance with the application of the present invention that any of the indexing operations described in the indexing step 6104. 시스템은 MMR 문서(500)의 제1 미디어 부분에 있는 제1 문서를 인덱싱 단계(6124)의 결과(예를 들어, PD 인덱스(322) 또는 이와 동등하게 MMR 인덱스 테이블(3404))와 함께 문서 이벤트 데이터베이스(320)에 저장한다. The system results in indexing a first document in the first media portion of the MMR document 500 step (6124) (e.g., PD index 322 or equivalent and the MMR index table 3404) the document event with and stored in a database (320).

일 실시예에서, 시스템(100b)은 제1 문서의 다른 판(版)이 이미 데이터베이스(320)에 저장되어 있는지 여부를 결정한다. In one embodiment, to determine whether the system (100b) has the other plate (版) of the first document is already stored in the database 320. 예를 들어, 제1 문서가 페이퍼백본(paperback copy)이고, 시스템(100b)은 동일한 문서의 하드커버본(hardcover copy)을 이미 획득했을 수 있다. For example, the first article and the paper backbone (paperback copy), the system (100b) may have already obtained the hard cover of the same document (hardcover copy). 다른 대안으로서, 데이터베이스(320)는 제1 문서의 하나 이상의 다른 판(版)을 가질 수 있다. Alternatively, the database 320 may have one or more other plates (版) of the first document. 제1 문서의 서로 다른 판(版)이 데이터베이스(320)에 저장되어 있는 것으로 시스템(100b)이 결정할 때, 협동적 문서 검토 컴포넌트(422)가 이들 판(版) 사이에 중간 링크층을 생성할 수 있다. The first time the system (100b) to determine that the different plates (版) of the document is stored in the database 320, the collaborative document review component 422 can create an intermediate link layer between these plates (版) can. 중간 링크층은 서로 다른 판의 동일한 섹션을 서로 연관시킨다. Intermediate link layer is then correlated with each other for the same section of the other plate. MMR 사용자(110)가 제1 문서의 한 판(版)에 액세스하고 있을 때 중간 링크층이 동작 중에 생성될 수 있다. MMR an intermediate link layer can be created during the operation when the user 110 is accessing in a plate (版) of the first document. 다른 대안으로서, 이는 서로 다른 판이 획득될 때 생성될 수 있다. As another alternative, which may be created when the plate is different from each other obtained. 따라서, MMR 사용자(110)가 제1 문서의 한 판의 섹션(예를 들어, Harry Potter and the Sorcerer's Stone 의 페이퍼백본의 서문의 첫번째 단락)에 액세스할 때, 컴포넌트(422)는 나머지 판(예를 들어, Harry Potter and the Sorcerer's Stone 의 하드커버본의 서문의 첫번째 단락)에서 대응하는 섹션을 식별할 수 있다. Thus, MMR user 110 to access to the section of one edition of the first document (e.g., Harry Potter and the Sorcerer's Stone in the first paragraph of the preface of the paper backbone), component 422 is the rest plate (e.g. for example, it is possible to identify the section that corresponds in Harry Potter and the Sorcerer's Stone in the first paragraph of the preface of the hardcover).

계속하여 상기 해리포터 예에서, PD 캡처 모듈(318)은 페이퍼벡 판에 대한 PD 인덱스(322)를 발생한다. Continues to be in the above Harry Potter example, PD capture module 318 generates a PD index 322 for the paper Beck plate. 이와 동등하게, 도 35와 관련하여 기술된 바와 같이 인덱싱 동작이 수행될 수 있다. Equivalent to, the indexing operation can be performed as described with respect to Figure 35. 데이터베이스(320)는 PD 인덱스(322)와 함께 MMR 문서(500)의 제1 미디어 부분에 있는 책의 인쇄된 표시를 저장한다. The database 320 stores the printed representation of the book in the first media portion of the MMR document 500 along with the PD index 322. 하드커버 Harry Potter and the Sorcerer's Stone 와 연관된 MMR 문서(500)도 역시 데이터베이스(320)에 저장되어 있다고 가정할 때, 중간 링크층이 이 2개의 판 사이에 생성되어 데이터베이스(320)에 저장된다. Assuming that even the MMR document 500 is associated with hardcover Harry Potter and the Sorcerer's Stone is also stored in the database 320, the intermediate link layer is created between the two plates are stored in a database (320).

방법(6120)은 관련 데이터를 획득하고(6126) 이들을 제1 문서와 연관시킨다. Method 6120 then acquires the relevant data and associates them (6126) to the first document. 이 관련 데이터는 제1 문서 또는 그의 일부분에 관한 논평 또는 주석일 수 있다. The relevant data can be comments or annotations about the first document or a portion thereof. 이 관련 데이터는 한명 이상의 MMR 사용자(110)에 의해 만들어질 수 있다. The relevant data may be made by one or more MMR users 110. In 일 실시예에서, 이 관련 데이터는 인터넷을 통해 액세스가능한 컨텐츠이다. In one embodiment, the relevant data is accessible to content via the Internet. 예를 들어, 해리포터에 대해 지정된 블로그로부터의 엔트리가 관련 데이터의 일부일 수 있다. For example, the entries from the blog designated for Harry Potter can be part of the relevant data. 이 책에 관해 논의하는 커뮤니티 웹 사이트 내의 사용자들에 의해 제공되는 컨텐츠도 역시 관련 데이터의 일부일 수 있다. Also the content provided by the users in the community web site that discusses in this book may also be part of the relevant data. 예를 들어, MMR 사용자(110)는 Harry Potter and the Sorcerer's Stone 의 서문에 관한 논평이 흥미있음을 알게 된다. For example, MMR user 110 knows that the comment is interesting about the Harry Potter and the Sorcerer's Stone preface. 그 사용자는 서문을 포함하는 핫스폿(506)을 생성하고 이 논평을 핫스폿(506)과 연관시킴으로써 책의 서문과 논평을 연관시킬 수 있다. Its users by creating a hotspot 506 including the preface and associating the comment with the hotspot 506 can associate the preface of the book and review. 다른 대안으로서, 사용자는 이 책 내의 등장 인물에 관한 그의 논평을 입력하고 이 입력을 책의 관련 섹션들과 연관시킬 수 있다. Alternatively, the user can enter his comments on the characters in this book and the associated input and the relevant sections of the book. 사용자는 문서 저작 컴포넌트(442)를 사용하여 연관관계를 생성할 수 있다. The user may create the association by using the document authoring component 442. 다른 대안으로서, 사용자는 멀티미디어 주석 소프트웨어(410)를 사용하여 이 연관관계를 생성할 수 있다. Alternatively, the user can create the associations using the multimedia annotation software 410. 이들 연관관계 및 관련 데이터는 제1 문서 에 대해 생성된 MMR 문서(500)에 저장될 수 있다. These associations and relevant data can be stored in the MMR document 500 created for the first document. 유의할 점은 다수의 데이터 소스가 제1 문서의 동일한 섹션과 연관될 수 있으며, 다수의 MMR 사용자(110)가 연관관계를 생성할 수 있다는 것이다. It is noted that, and a plurality of data sources may be associated with the same section of the first article, is that the number of MMR user 110 can create an association. 데이터베이스(320)에 제1 문서의 다수의 판이 있을 때, MMR 사용자(110)는 이들 판 중 임의의 것에 대한 연관관계를 생성하기로 선택할 수 있다. When the database 320 a number of plates of the first document, MMR user 110 may choose to generate affinity for on any of these plates.

획득 단계(6126)가 수행되면, 방법(6120)은 제2 문서를 획득한다(6128). Once the acquiring step (6126) is performed, the method 6120 acquires the second document (6128). 이 단계(6128)에서, 획득된 제2 문서는 문서 전체이거나 단지 제2 문서의 일부분일 수 있다. In this step (6128), the second document acquired can be the entire or only a portion of the second document, the document. 제2 문서는 도 61a를 참조하여 상기한 획득 단계(6106)의 방법들과 유사한 방법들을 사용하여 획득될 수 있으며, 따라서 여기서 설명을 반복하지 않는다. The second document, and it can be acquired using methods similar to those of the acquiring step 6106 described above with reference to Figure 61a, therefore the description will not be repeated here. 예를 들어, 책 Harry Potter and the Sorcerer's Stone 의 서문에 관한 다른 사람들의 의견을 아는 것에 관심을 가지고 있는 MMR 사용자는 그의 셀룰러 카메라 전화의 카메라를 책으로 향하게 하여 서문의 사진을 찍을 수 있다. For example, the book Harry Potter and the Sorcerer's Stone MMR has an interest in knowing the opinion of others about the preface of the user can take a picture of the preface to face the camera of his cellular phone camera into a book. 그 결과, 셀룰러 카메라 전화는 서문의 인쇄된 표현의 일부분을 포함하는 이미지를 획득한다. As a result, the cellular camera phone to obtain the image comprising a portion of the printed representation of the preface.

단계(6128)가 수행되었으면, 방법(6120)은 제1 문서와 제2 문서 간의 문서 또는 패턴 정합을 수행한다(6130). If the step (6128) is performed, the method 6120 performs a document or pattern matching between the first document and the second document (6130). 이 단계는 도 61a를 참조하여 상기한 패턴 정합 단계(6108)와 유사한 방식으로 행해질 수 있으며, 따라서 여기에서 그 설명을 반복하지 않는다. This step may be done in a manner similar to the above-described pattern matching step 6108 with reference to Figure 61a, and therefore does not repeat the explanation here. 방법(6120)은 또한 제2 문서의 획득된 일부분과 정합하는 제1 문서의 섹션을 식별한다. Method 6120 also identifies the section of the first document for a portion matched with the acquisition of the second document.

계속하여 Harry Potter and the Sorcerer's Stone 의 예에서, 문서 지문 정합 모듈(226)은 제2 문서의 획득된 일부분에 대한 특징 기술(feature description)을 발생하고 정합하는 문서가 있는지 데이터베이스(320)에 질의를 하며(이의 특정의 구현이 도 34a에 제공되어 있음), 제1 문서가 제2 문서와 정합하는지를 결정한다. Continuing with the example of Harry Potter and the Sorcerer's Stone, the document fingerprint matching module 226 queries the database 320 that the document generated, and matching the features described (feature description) for the acquired portion of the second document and it determines if (it is a specific implementation thereof is provided in Fig. 34a), the first document and second document registration. 모듈(226)은 추가적으로 획득된 제2 문서의 일부분이 책의 서문인지를 결정한다. Module 226 determines whether the additional acquisition of a second part of the second book, article.

마지막으로, 방법(6120)은 단계(6130)의 결과에 기초하여 또 선택에 따라서는 사용자 입력에 기초하여 제2 문서와 정합하는 MMR 문서(500)의 제2 미디어 부분에 저장된 데이터를 검색한다(6132). Therefore, at the end, the method 6120 is also selected based on the result of step 6130 is based on a user input search the second document and the matching data stored in the second media portion of the MMR document 500 ( 6132). 일 실시예에서, 방법(6120)은 단계(6128)에서 획득된 제1 문서의 섹션에서 핫스폿을 식별하고 식별된 핫스폿과 연관된 제2 미디어 유형의 데이터를 검색한다. In one embodiment, the method 6120 retrieves a second media type of data associated with the identified hotspots and identify hot spots in the section of the first document acquired in step (6128). 사용자 입력에 기초하여, 방법(6120)은 핫스폿들 중 하나 이상과 연관된 데이터를 디스플레이할 수 있다. The method 6120 based on user input, may display the data associated with one or more of the hotspots. 제2 문서의 다수의 판이 있을 때, 협동적 문서 검토 컴포넌트(422)는 획득된 제2 문서의 일부분에 대응하는 각각의 판의 핫스폿과 연관된 데이터를 검색하고 이 데이터를 사용자가 언제든지 검토할 수 있도록 준비해 둘 수 있다. 2 when the number of plates in the document, collaborative document review component 422 can retrieve the respective plate data associated with a hotspot corresponding to the portion of the acquired second document, and the data for the user to review at any time so it can be prepared. 예를 들어, 방법(6120)은 Harry Potter and the Sorcerer's Stone 의 페이퍼백본의 서문 및 하드커버본의 서문에 있는 핫스폿과 연관된 주석을 검색한다. For example, the method 6120 retrieves annotations associated with hotspots in the preface of the hardcover and the introduction of the paper backbone of Harry Potter and the Sorcerer's Stone. 방법(6120)은 사용자가 어느 핫스폿에 관심이 있는지를 사용자에게 프롬프트하고 그에 따라 주석을 디스플레이할 수 있다. The method 6120, the user can prompt the user if you are interested in any hot spot and to display the comments accordingly.

다른 실시예에서, 제2 미디어 부분에 저장된 데이터를 검색하는 대신에, 방법(6120)은 단계(6130)의 결과에 기초하여 동작을 실행한다. In another embodiment, the second instead of retrieving the data stored on the media portion, the method 6120 executes an action based on the result of the step (6130). 예를 들어, 방법(6120)이 단계(6128)에서 획득된 제2 문서의 일부분과 관련된 논평을 포함하는 웹 페이지를 방문하기 위해 브라우저를 기동시킬 수 있다. For example, it is possible to start the browser to visit a Web page that the method 6120 includes comments related to a portion of the second document obtained in step (6128). 다른 대안으로서, 방법(6120)은 MMR 사용자(110)가 그 일부분에 관한 그의 논평을 입력하고 그 논평을 그 일부분과 연관시키며 그 논평을 MMR 문서(500)의 제2 미디어 부분에 저장할 수 있게 해주는 애플리케이션을 기동시킬 수 있다. Alternatively, the method 6120 that allows MMR user 110 to be stored in the second media portion of the input his comments about the portion, and associates the comment with a portion thereof that reviews the MMR document 500 it is possible to start the application. 단계(6132)가 행해졌으면, 방법(6120)은 완료되어 종료된다. If the step (6132) has been performed, the method 6120 is complete and ends.

중간 링킹(Intermediate Linking ) Intermediate linking (Intermediate Linking)

도 61c는 본 발명에 따라 MMR 문서(500) 및 MMR 시스템(100b)을 사용하는 방법(6140)의 플로우차트를 나타낸 것이다. Figure 61c illustrates a flowchart of a method of using an MMR document 500 and the MMR system (100b) in accordance with the invention (6140). 방법(6140)은 관련 문서들을 교차 참조하는 도구를 MMR 사용자(110)에 제공하도록 설계되어 있다. Method 6140 is designed to provide the tools to cross-reference relevant documents in the possession of MMR user 110.

방법(6140)은 제1 문서(또는 제1 문서의 표현) 및 제2 문서(또는 제2 문서의 표현)를 획득(6142)하는 것으로 시작한다. The method 6140 begins with the first document (or a representation of the first document) and a second document obtained (or a representation of a second document) (6142). 제1 및 제2 문서는 서로 관련되어 있다. The first and second documents are related to each other. 예를 들어, 제1 문서는 William Shakespeare가 지은 Hamlet 일 수 있는 반면, 제2 문서는 Cliff Notes: Hamlet Book Summary, Monarch Notes - Hamlet , 햄릿의 축약된 버전, 또는 햄릿에 관한 조사일 수 있다. For example, the first document, whereas the one that Hamlet William Shakespeare built the second document Cliff Notes: Hamlet Book Summary, Monarch Notes - may be a survey of Hamlet, an abbreviated version of Hamlet, or Hamlet.

도 61a를 참조하여 상기한 획득 단계(6102)의 방법들과 유사한 방법들을 사용하여 2개의 문서가 획득될 수 있으며, 따라서 여기에서 설명을 반복하지 않는다. Referring to Figure 61a, using methods similar to those of the above-mentioned acquisition step 6102, and the two documents can be obtained, and therefore does not repeat the description herein. 예를 들어, 책 Cliff Notes: Hamlet Book Summary 의 출판업자는 2개의 문서의 인쇄된 표시를 획득(6142)하기 위해 문서 스캐너(127)를 사용하여 책 Hamlet 및 대응하는 Cliff Notes 을 스캔할 수 있다. For example, the book Cliff Notes: Hamlet can scan a book Cliff Notes and response using the document scanner 127 to obtain (6142) the printed representation of Hamlet Book Summary of publishing The two documents.

획득 단계(6142)가 수행되면, 방법(6140)은 2개의 문서에 대해 인덱싱 동작을 수행한다(6144). Once the acquiring step (6142) is performed, the method 6140 performs an indexing operation on the two documents (6144). 인덱싱 동작은 문서의 대응하는 전자적 표시 및 문서 또는 그의 일부분 중 어느 하나와 정합하는 입력을 위한 연관된 제2 미디어 유형의 식별을 가능하게 해준다. The indexing operation allows identification of the associated second media types for the corresponding electronic representation and input for matching documents, or with one of portions thereof to the article. 인덱싱 동작(6144)은 본 발명의 응용에 따라 도 61a를 참조하여 인덱싱 단계(6104)에 기술된 인덱싱 동작들 중 임의의 것을 포함할 수 있다. The indexing operation 6144 may include reference to FIG. 61a, depending on the application of the invention any of the indexing operations described in the indexing step 6104. 인덱싱 동작(6144)은 2개의 문서의 관련 섹션들에 핫스폿(506)을 생성하고 이 핫스폿(506)을 다른 문서에 있는 대응하는 섹션들에 대한 참조와 연관시킬 수 있다. The indexing operation 6144 may create hotspots 506 in the relevant sections of the two documents and associate the hotspots 506 with references to the corresponding sections in the other document.

예를 들어, 방법(6140)은 Hamlet 의 1막 4장을 Cliff Notes 에서의 대응하는 장면에 대한 참조와 연관시키고 그 참조를 Hamlet 의 인쇄된 표현과 함께 MMR 문서의 제2 미디어 부분에 저장한다. For example, the method 6140 associates the first film 4 of Hamlet with a reference to the scene corresponding in Cliff Notes and storing the reference to the second media portion of the MMR document along with a printed representation of Hamlet. 방법(6140)은 또한 Cliff Notes 로부터 다시 Hamlet 으로의 대응하는 참조를 생성할 수 있다. Method 6140 may also re-create a corresponding reference from the Cliff Notes to Hamlet. 다른 대안으로서, 방법(6140)은 Hamlet 에서의 등장 인물(예를 들어, Claudius)의 각각의 모습을 Cliff Notes 에서의 대응하는 등장 인물 분석과 연관시킬 수 있다. Alternatively, the method 6140 can associate each appearance of a character (e.g., Claudius) in Hamlet and the corresponding character analysis in Cliff Notes. 인덱싱 동작(6144)은 자동적으로 또는 사람의 개입으로 수행될 수 있다. The indexing operation 6144 may be performed automatically or by human intervention. 예를 들어, Cliff Notes 의 출판 회사는 Hamlet Cliff Notes 간의 교차 참조 정보를 제공할 수 있다. For example, the publishing company of the Cliff Notes may provide a cross-reference information between Hamlet and the Cliff Notes. 다른 대안으로서, 방법(6140)은 2개의 문서의 교차 참조 정보를 자동적으로 발생하기 위해 소프트웨어 애플리케이션을 사용할 수 있다. Alternatively, the method 6140 may use a software application to automatically generate a cross-reference information in the two documents. 그렇지만, 당업자에게는 서로 연관되어 있는 다수의 문서들, 예를 들어, 퀴즈 책자, 선생님용 안내서, 및 동일한 주제에 관한 교과서가 있을 수 있다는 것이 명백할 것이다. However, a number of documents that are interrelated to one skilled in the art, for example, will be obvious that the same may be a quiz book, teacher guides, and books on the same subject for.

다른 실시예에서, 인덱싱 단계(6144)는 동일한 문서 내에 참조를 생성할 수 있다. In another embodiment, the indexing step 6144 can create references within the same document. 예를 들어, 문자가 처음으로 소개되는 섹션에 대한 참조는 동일한 문서에서 문자의 각각의 그 다음 출현과 연관될 수 있다. For example, a character reference to the first section is introduced can be associated with each of the next occurrence of the character in the same document. 이것은 데이터베이스(3400)에 저장되어 있는 문서 텍스트 상의 문자의 이름에 대한 텍스트 검색 및 상호 참조를 구 현하는 데이터베이스에 링크를 삽입하는 것으로 구현될 수 있다. This can be implemented by inserting a link to a database that implements a text search and cross-reference the names of the characters on the text of the document stored in the database 3400.

인덱싱 단계(6144)가 수행되면, 방법(6140)은 제3 문서를 획득한다(6146). Once the indexing step 6144 is performed, the method 6140 acquires the third article (6146). 이 단계(6146)에서, 획득된 제3 문서는 문서 전체 또는 제3 문서의 단지 일부분일 수 있다. In this step 6146, the obtained third article may be only a portion of the entire document or the third document. 제3 문서는 도 61a를 참조하여 상기한 획득 단계(6106)의 방법들과 유사한 방법들을 사용하여 획득될 수 있으며, 따라서 여기에서 설명을 반복하지 않는다. The third document can be acquired using methods similar to those of the acquiring step 6106 described above with reference to Figure 61a, and therefore does not repeat the explanation here. 예를 들어, Hamlet 의 섹션에 어리둥절하고 Cliff Notes 또는 Monarch Notes 가 그 섹션을 어떻게 해석하고 있는지를 알고자 하는 MMR 사용자(110)는 그의 셀룰러 카메라 전화를 섹션으로 향하게 하여 그의 사진을 찍을 수 있다. For example, the section of the bewildered Hamlet and the MMR user 110 for a party Cliff Notes or Monarch Notes to know whether and how to interpret the section can take a picture of him facing his cellular camera phone into sections. 셀룰러 카메라 전화는 그 결과 그 섹션의 인쇄된 표시를 포함하는 이미지를 획득한다. The cellular camera phone as a result acquires an image containing the printed representation of the section.

단계(6146)이 수행되었으면, 방법(6140)은 제3 문서와 단계(6142)에서 획득된 문서 간의 문서 또는 패턴 정합을 수행한다(6148). If step 6146 is performed, the method 6140 performs a document or pattern matching between the document and the document obtained in the third step (6142) (6148). 이 단계는 도 61a를 참조하여 상기한 패턴 정합 단계(6108)와 유사한 방식으로 행해질 수 있으며, 따라서 여기에서 설명을 반복하지 않는다. This step may be done in a manner similar to the above-described pattern matching step 6108 with reference to Figure 61a, and therefore does not repeat the explanation here. 정합하는 문서를 찾아낸 것으로 가정하면, 방법(6140)은 또한 제3 문서의 획득된 일부분과 정합하는 문서의 섹션을 식별한다. Assuming that a document found to match, the method 6140 also identifies the section and a portion of the matching document acquired in the third article.

계속하여 Hamlet 예에서, 문서 지문 정합 모듈(226)은 Hamlet 의 획득된 일부분에 대한 특징 표현을 발생하고, 정합하는 문서가 있는지 문서 이벤트 데이터베이스(320)에 질의를 하며, 제3 문서가 Washington Square Press에 의해 출판된 2003년도판 William Shakespeare Hamlet 인지를 결정한다. Continuing with the Hamlet example, the document fingerprint matching module 226 generates a feature representation for the acquired portion of Hamlet, and the presence of documents that matched, and queries in the document event database 320, the third article Washington Square Press the 2003 edition will be published by determining whether William Shakespeare's Hamlet. 모듈(226)은 또한 획득된 제3 문서의 일부분이 햄릿(Hamlet)이 그의 아버지의 환영을 만나는 I막 4장의 일부분인지를 결정한다. Module 226 is also a portion of the third document acquired determining whether Hamlet (Hamlet) part I membrane 4 to meet his father welcome chapter.

마지막으로, 방법(6140)은 단계(6148)의 결과에 기초하여 또한 선택적으로 사용자 입력에 기초하여 정합하는 문서의 MMR 문서(500)의 제2 미디어 부분에 저장되어 있는 교차-참조 정보를 검색한다(6150). Finally, the method 6140 based on the result of the step (6148) also comprises a cross-stored in the second media portion of the optionally MMR document 500 in the document matching based on the user input to search for the reference information, (6150). 일 실시예에서, 방법(6140)은 단계(6146)에서 획득된 정합하는 문서의 일부분에서 핫스폿을 식별하고 이 핫스폿과 연관된 제2 미디어 유형의 데이터를 획득한다. In one embodiment, the method 6140 identifies hotspots and obtain a second media type of data associated with the hot spot in the portion of the document to the matching obtained in step (6146). 사용자 입력에 기초하여, 방법(6140)은 핫스폿들 중 하나 이상과 연관된 데이터를 디스플레이할 수 있다. And, the method 6140 based on user input, may display the data associated with one or more of the hotspots. 예를 들어, 방법(6140)은 햄릿이 그의 아버지의 환영을 만나는 장면(scene)의 핫스폿들과 연관된 참조 정보를 검색한다. For example, the method 6140 retrieves the reference information associated with hot spots in the scene (scene) Hamlet meets his father's welcome. 방법(6140)은 사용자에게 사용자가 관심이 있는 주제(예를 들어, 역사적 배경, 그 장면의 의미, 관련 장면들 또는 전문가 견해)를 요청하고 사용자의 입력에 기초하여 Cliff Notes 및 다른 관련 문서들에 대한 참조를 디스플레이할 수 있다. Method 6140 for topics that you are interested in (for example, the historical background, the scene meaning of the relevant scenes or expert opinion) a request Cliff Notes and other related documents based on user input user for it is possible to display a reference. 단계(6150)가 행해졌으면, 방법(6140)은 완료되어 종료된다. If the step (6150) has been performed, the method 6140 is complete and ends.

다른 실시예에서, 제2 미디어 부분에 저장되어 있는 참조를 검색하는 대신에, 방법(6140)은 참조가 참조하는 텍스트를 검색하고 그 텍스트를 사용자에게 디스플레이할 수 있다. In another embodiment, the second, instead of retrieving the references stored in the media portion, the method 6140 can retrieve the text the reference refers to and display the text to the user.

동작 중 문서 작성(On-the-fly Document Authoring ) Documentation of operation (On-the-fly Document Authoring )

도 61d는 본 발명에 따라 MMR 문서(500) 및 MMR 시스템(100b)을 사용하는 방법(6160)의 플로우차트를 나타낸 것이다. Figure 61d illustrates a flowchart of a method of using an MMR document 500 and the MMR system (100b) in accordance with the invention (6160). 방법(6160)은 컨텐츠가 캡처될 때 동작 중에 멀티미디어 문서를 생성하는 도구를 MMR 사용자(110)에게 제공하도록 설계되어 있다. Method 6160 is designed to provide the tools to create multimedia documents during the operation when capturing content to the MMR user 110.

방법(6160)은 제1 문서를 생성(6162)하는 것으로 시작한다. The method 6160 starts the first document by creating (6162). 제1 문서는 MMR 사용자(110)가 캡처할 컨텐츠에 추가하고자 하는 문서이다. The first document is the document to be added to the content to capture the MMR user 110. 제1 문서는 파워포인트 문서, 워드 문서 및 PDF 문서 등의 임의의 형식일 수 있다. The first document can be any type such as a PowerPoint document, a Word document, and a PDF document. 제1 문서는 MMR 컴퓨터(112) 또는 네트워크화된 미디어 서버(114)에서 생성될 수 있다. The first document can be created in the MMR computer 112 or networked media server 114. 제1 문서는 나중에 캡처 장치(106)에 전송될 수 있다. The first document may be transmitted to the capture device 106 at a later time. 다른 대안으로서, MMR 사용자(110)는 캡처 장치(106)에서 제1 문서를 생성할 수 있다. Further alternatively, MMR user 110 can create the first document in the capture device 106.

예를 들어, MMR 사용자(110)는 회의에 참석하고 참석 동안에 회의에 관한 파워포인트 문서를 생성하며, 이어서 파워포인트 문서를 사용하여 프리젠테이션을 할 계획이다. For example, MMR user 110, and attend meetings and create a PowerPoint document on the meeting while attending a presentation followed by a plan to use the PowerPoint document. MMR 사용자(110)는 회의를 위해 떠나기 전에 MMR 컴퓨터(112)에서 파워포인트 문서를 생성한다. MMR user 110 creates a PowerPoint document on the MMR computer 112 before leaving for the conference. 이 문서는 비어 있거나 회의의 간단한 소개만을 포함하고 있다. This document contains only a brief introduction of the empty or meetings. MMR 사용자(110)는 이어서 유선 또는 무선 수단을 통해 문서를 캡처 장치(106)의 저장 장치(216)로 푸시한다. MMR user 110 is then pushed to the storage device 216 of capture device 106, a document over a wired or wireless means.

방법(6106)은 이어서 제2 문서 또는 제2 문서의 표현에 대해 획득 동작을 수행한다(6164). Method 6106 will then perform the acquisition operation with respect to the second document or representation of a second document (6164). 제2 문서는 사용자가 제1 문서를 생성하는 것을 돕기 위한 것이다. The second document is to help the user to produce a first document. 예를 들어, 제2 문서는 회의의 일정표, 도로 여행 계획, 기타 등등일 수 있다. For example, the second document may be a calendar of conferences, road trip, and so on. 제2 문서는 도 61a를 참조하여 상기한 획득 단계(6102)의 방법들과 유사한 방법들을 사용하여 획득될 수 있으며, 여기서 설명을 반복하지 않는다. The second document can be acquired using methods similar to those of the acquiring step 6102 described above with reference to Figure 61a, where the description is not repeated. 예를 들어, MMR 사용자(110)는 프린터(116)를 사용하여 회의 일정표를 포함하는 웹 페이지를 인쇄할 수 있다. For example, MMR user 110 can print a webpage containing the conference schedule using the printer 116. PD 캡처 모듈(318)은 MMR 컴퓨터(112)의 운영 체제 내에서 회의 일정표의 텍스트 레이아웃을 캡처한다. PD capture module 318 captures the text layout of meeting schedules within an operating system of MMR computer 112.

획득 단계(6164)가 수행되면, 방법(6160)은 선택에 따라서는 명명된 개체를 식별하기 위해 제2 문서를 처리할 수 있다. Once the acquiring step (6164) is performed, the method 6160 may process the second document to identify the object is named according to the selection. (유의할 점: 명명된 개체 인식은 잘 알려진 기술이다.) 예를 들어, 문서 파서 모듈(326)은, 강연 제목(예를 들어, "An Inconvenient Truth"), 기조 연설자 이름(예를 들어, "Al Gore") 및 위치(예를 들어, "Central Building") 등의, 임베딩된 명명된 개체를 찾아내기 위해 제2 문서를 파싱할 수 있다. (Note that: a named object recognition is a well-known technique), for example, the document parser module 326, lecture title (for example, "An Inconvenient Truth"), the keynote speaker name (for example " al Gore ") and location (for example," Central Building ") can parse the second document to find, embedded objects, such as named. 명명된 개체는 캡처된 컨텐츠를 기술하기 위해 나중에 사용자에 의해 선택될 수 있다. Named objects can later be selected by the user to describe the captured content. 문서 파서 모듈(326)은 또는 스케쥴 상의 각각의 이벤트에 대한 시간 및 기간 등의 다른 관련 정보를 파싱할 수 있다. The document parser module 326 can parse other pertinent information such as the time and duration for each event on the schedule or. 찾아낸 개체 이름은 캡처 장치(106)의 저장 장치(216)에 저장될 수 있다. Found object name can be stored on the storage device 216 of capture device 106.

방법(6160)은 이어서 획득된 제2 문서에 대해 인덱싱 동작을 수행한다(6166). The method 6160 performs an indexing operation on a second document is then obtained (6166). 인덱싱 동작은 획득된 제2 문서 또는 그의 일부분에 정합하는 입력을 위한 제2 문서 및 연관된 제2 미디어 유형의 대응하는 전자적 표시의 식별을 가능하게 해준다. The indexing operation allows to obtain the second document or the second document and the identification of the associated second media types for input of electronic display corresponding to the matched portions thereof. 인덱싱 동작(6166)은 본 발명의 응용에 따라 도 61a를 참조하여 인덱싱 단계(6104)에 기술된 인덱싱 동작들 중 임의의 것을 포함할 수 있다. The indexing operation (6166) may be included with reference to Figure 61a in accordance with the application of the present invention that any of the indexing operations described in the indexing step 6104.

인덱싱 단계(6166)가 수행되면, 방법(6160)은 컨텐츠를 획득한다(6168). Once the indexing step (6166) is performed, the method 6160 acquires the content (6168). 이들 컨텐츠는 캡처 장치(106)의 캡처 메커니즘들(230) 중 임의의 것에 의해 획득될 수 있다. These contents are of the capture mechanisms 230 of capture device 106 may be obtained by any. 예를 들어, 회의의 한 강연 내내 앉아 있는 동안, MMR 사용자는 연설자의 비디오 클립을 촬영하기 위해 비디오 카메라(232)를 사용할 수 있거나, 강연의 일부를 녹화하기 위해 비디오 레코더(236)를 사용할 수 있거나 강연에 관한 그의 논평을 입력하기 위해 키패드(214)를 사용할 수 있다. For example, while sitting round a lecture meeting, MMR user can use the video camera 232 to shoot a video clip of the speaker, you can use the video recorder 236 to record the part of speech or you can use the keypad 214 to enter his comments on the lecture.

획득 단계(6168)가 수행되면, 방법(6160)은 단계(6168)에서 획득된 컨텐츠에 라벨링을 하고 제2 문서에 기초하여 라벨링된 컨텐츠를 추가함으로써 제1 문서를 수정한다(6170). Once the acquiring step (6168) is performed, the method 6160 is to modify the first document by adding the labeled contents by labeling the content obtained in step (6168) based on a second document (6170). 예를 들어, 사용자가 강연의 비디오 클립을 캡처한 후에, 캡처 장치는 사용자에게 제2 문서로부터 이전에 찾아낸 개체 이름 중에서 선택하도록 프롬프트할 수 있다. For example, after a user captures a video clip of the lecture, the capture device may prompt the user to select between the object name found earlier from the second document. 사용자는 "An Inconvenient Truth" 및 "Al Gore" 등의 어구를 선택할 수 있다. The user can select the phrases such as "An Inconvenient Truth" and "Al Gore". 그 결과, 논평 "An Inconvenient Truth, Al Gore"와 함께 비디오 클립이 이전에 생성된 파워포인트 문서에 삽입된다. As a result, review the video clip with "An Inconvenient Truth, Al Gore" is inserted into a PowerPoint document generated previously. 일 실시예에서, 방법(6160)은 현재의 이벤트를 결정하기 위해 프로세서(210)의 기계 시간(machine time) 및 제2 문서에 열거된 시간을 사용할 수 있다. In one embodiment, the method 6160 can use the time listed in the time machine (machine time) of the processor 210 and the second document to determine the current event. 예를 들어, 제2 문서가 오전 10시 및 오전 11시에 시작하는 우주의 근원에 관한 강연을 열거하고 있고 사용자가 오전 10시 30분에 오디오 클립을 녹음한 것으로 가정하면, 방법(6160)은 오디오 클립에 "강연 우주의 근원의 오디오 클립"이라고 자동적으로 라벨링을 할 수 있다. For example, the second, assuming that article and lists a lecture about the origins of the universe, starting at 10:00 and 11:00 am, your recorded audio clips to 10:30 am, the method 6160 the audio clip called "audio clips of the origin of the universe lecture" can be labeled automatically. 다른 대안으로서, 사용자는 캡처된 컨텐츠에 대해 라벨 및 주석을 타이핑하기 위해 키패드(214)를 사용할 수 있거나 컨텐츠에 관한 그의 구두 논평을 녹음하기 위해 음성 녹음기(voice recorder)(236)를 사용할 수 있다. Alternatively, the user can use Voice Recorder (voice recorder) (236) for a keypad 214 can be used to type the labels and annotations to the captured content or to record his oral comments on the content.

다른 실시예에서, 방법(6160)은 또한 도 61a를 참조하여 상기한 획득 단계(6106)와 유사한 방식으로 제2 문서의 일부분을 획득할 수 있다. In another embodiment, the method 6160 can also acquire a portion of the second article in a manner similar to the acquiring step 6106 described above with reference to Figure 61a. 예를 들어, MMR 사용자(110)는 그의 셀룰러 카메라 전화의 카메라를 인쇄된 회의 스케쥴의 섹션으로 향하게 하여 그의 사진을 찍을 수 있다. For example, MMR user 110 may take a picture of him facing the section of his cellular camera phone at the camera printed conference schedule. 셀룰러 카메라 전화는 그 결과 회의의 스케쥴의 섹션의 인쇄된 표시를 포함하는 이미지를 획득한다. Cellular camera phone acquires an image that contains a printed representation of a section of the schedule as a result of the meeting. 방법(6160)은 이어서 제2 문서의 섹션의 컨텐츠를 결정하기 위해 획득된 인쇄된 표현과 제2 문서 간의 패턴 정합을 (문서 지문 정합 모듈(226)을 사용하여) 수행하고 그 섹션의 컨텐츠를 사용하여 캡처된 컨텐츠에 라벨링을 할 수 있다. The method 6160 may then perform the printing can be described as the pattern matching between the first document acquired in order to determine the content of the section of the second document (using a document fingerprint matching module 226) using the contents of the section the content can be captured by the labeling.

마지막으로, 방법(6160)은 수정된 문서를 MMR 사용자(110)에게 도움이 되게 한다. Finally, the method 6160 is done the modified document to the MMR user 110. 사용자는 이어서 추가적인 편집을 하여 또는 추가적인 편집 없이 그 문서를 사용할 수 있다. The user can then use that document without further editing or using an additional compilation. 예를 들어, 회의 이후에, 사용자는 추가적인 편집 없이 수정된 파워포인트 문서를 사용하여 그 표현을 만들 수 있다. For example, after a meeting, a user can create an expression that uses the PowerPoint document editing without further editing. 따라서, 사용자가 문서에 대한 컨텐츠를 획득하고 있는 중일 때, 파워포인트 문서가 적어도 부분적으로 동작 중에 저작된다. Thus, when the user is located to obtain the content for the document, the PowerPoint document is authored at least partially during operation.

다른 실시예에서, 동작 중에 문서를 생성하는 대신에, 실시간 통지 컴포넌트(424)는 획득된 컨텐츠 및 논평을 실시간으로 웹 페이지(예를 들어, 블로그)로 포스팅할 수 있다. In another embodiment, instead of generating the article during operation, real-time notification component 424 can post the acquired contents and comments in real time to the Web page (e.g., a blog).

본 발명의 다른 실시예에서, 방법(6160)은 제1 문서를 생성(6162)할 필요가 없고 데이터를 획득(6168)하거나 제1 문서를 수정(6170)할 필요도 없다. In another embodiment of the invention, the method 6160 is not necessary to obtain the data it is not necessary to generate (6162) a first article (6168), modify the first document (6170). 그 대신에, 방법(6160)은 제2 문서를 획득하여 인덱싱하고, 이어서 제2 문서의 일부분을 획득하며, 문서 지문 정합을 수행하여 획득된 일부분의 컨텐츠를 결정하고, 그 컨텐츠를 사용자에 의한 추후의 사용을 위해 저장한다. Instead, the method 6160 is indexed to obtain the second document, and then acquires a portion of the second document, and to determine the contents of the part obtained by performing document fingerprint matching, further the content by the user, and the storage for use. 예를 들어, 햄릿에 관한 작문을 하고 있는 MMR 사용자(110)는 동일한 필드에 있는 책을 스캔할 수 있다. For example, MMR user 110 that a composition according to Hamlet can scan a book in the same field. 사용자가 나중에 그 책을 읽을 때, 그 사용자가 어떤 단락이 유용하다는 것을 알 때마다, 사용자는 그의 셀룰러 카메라 전화를 사용하여 그 섹션의 사진을 찍을 수 있 다. When you read it later, whenever you notice that the user is no short circuit is useful, the user is, you can take a picture of that section using his cellular camera phone. 셀룰러 카메라 전화는 책에서 그 섹션의 위치를 결정하고 그 섹션의 컨텐츠를 검색하기 위해 패턴 정합을 수행할 수 있다. The cellular camera phone can determine the location of that section of the book, and performs pattern matching to detect the contents of the section. 사용자가 책 읽기를 끝낼 때, 사용자는 그 자신의 작문을 쓰기 위해 텍스트의 섹션들을 사용할 수 있다. When the user has finished reading, the user can use the section of the text to write his own writing.

본 발명의 하나 이상의 실시예들의 적어도 한 측면은 사용자가 동작을 연상할 수 있는 고유의 이미지를 발생하는 방법을 제공한다. At least one aspect of one or more embodiments of the present invention provides a method for generating a unique image of the user to be reminiscent of the behavior. 이 방법은 이미지를 획득하고, 그 이미지가 고유한 것인지를 결정하며, 그 이미지에 대한 인덱스를 발생한다. This method acquires the image, and determines whether the image is unique, and generates an index for that image. 이미지가 인덱싱된 후에, 이 방법은 문서를 획득하고 이 문서와 인덱싱된 이미지 간의 패턴 정합을 수행한다. After the image is indexed, the method acquires a document and performs a pattern matching between the document and the indexed image. 이 방법이 획득된 문서의 일부분이 인덱싱된 이미지와 일치하는 것으로 결정하는 경우, 이 방법은 연관된 동작을 수행한다. When determined to be consistent with the indexing portion of the image The method acquires a document, the method performs the associated action.

본 발명의 하나 이상의 실시예들의 적어도 한 측면은 협동적 주석 첨부를 용이하게 해주는 방법을 제공한다. At least one aspect of one or more embodiments of the present invention provides a method that facilitates the collaborative annotation. 이 방법은 먼저 문서를 획득하고 그를 인덱싱한다. The method is first to obtain the document and indexing him. 사용자들은 협동적으로 문서의 일부분들과 연관된 주석 정보를 제공한다. Users can collaboratively to provide annotation information associated with the portions of the document. 이 방법은 이어서 문서의 일부분을 획득하고, 획득된 일부분을 식별하며, 그 일부분과 연관된 주석 정보를 제공한다. The method then acquires a portion of the document, identifies the portion acquired, and provides the annotation information associated with that part.

본 발명의 하나 이상의 실시예들의 적어도 한 측면은 문서들 간의 링크를 제공하는 방법을 제공한다. At least one aspect of one or more embodiments of the present invention provides a method of providing a link between the document. 이 방법은 2개의 연관된 문서를 획득하며, 관련된 일부분들을 서로 연관시킨다. This method acquires two associated documents, and associate some of those related to each other. 이 방법이 문서들 중 하나의 일부분을 획득할 때, 이는 획득된 일부분을 식별하고, 다른 한 문서의 관련된 일부분을 제공한다. When the method is to acquire a portion of the document, which identifies the portion acquired, and provides the related portion of the other document.

본 발명의 하나 이상의 실시예들의 적어도 하나의 측면은 동작 중에 문서를 저작하는 방법을 제공한다. At least one aspect of one or more embodiments of the present invention provides a method of authoring a document in operation. 이 방법은 문서를 획득하고, 문서의 컨텐츠를 식별하 며, 획득된 문서를 인덱싱한다. The method acquires a document, and said identifying the content of the document, and index the acquired document. 이 방법은 나중에 데이터를 획득하고, 문서의 컨텐츠를 사용하여 이 획득된 데이터에 주석을 첨부하며, 주석 첨부된 데이터를 사용하여 문서를 작성한다. The method later acquires data and, and annotate the obtained data with the content of the document, creates a document using the annotated data attached.

한 특정의 실시예에서, MMR 시스템은 관련된 문서들을 연관시키는 방법을 제공한다. In one particular embodiment, MMR system provides a method to associate related documents. 이 방법은 2개의 연관된 문서들을 획득하고 이 관련된 문서들을 서로 연관시킨다. This method thus acquires two associated documents and related documents are associated with each other. 이 방법이 문서 중 하나의 일부분을 획득할 때, 이는 획득된 일부분을 식별하고, 다른 문서의 관련된 일부분을 제공한다. When the method obtains a portion of the document, which identifies the portion acquired, and provides the related portion of the other document.

다른 실시예가 이하에서 기술된다. Other embodiments are described below.

지리적 위치 응용 Location Applications

도 62는 본 발명에 따라 MMR 문서(500) 및 MMR 시스템(100b)을 사용하는 방법(6200)의 플로우차트를 나타낸 것이다. Figure 62 illustrates a flowchart of a method of using an MMR document 500 and the MMR system (100b) in accordance with the invention (6200).

이 방법(6200)은 문서 또는 문서의 표현을 획득(6210)하는 것으로 시작한다. The method 6200 begins by acquiring 6210 a document or a representation of the document. 이 문서는 어떤 지리적 위치 정보를 포함하고 있다. This document contains certain geographical location information. 문서의 예들은 이하의 것들을 포함한다. Examples of documents include the following: (1) HTML 파일(예를 들어, 구글 맵의 웹 페이지). (1) HTML files (for example, Google Maps webpage). (2) 위치의 주소 또는 이름을 포함하는 문서(예를 들어, National History Museum에 대한 운전 방향을 포함하는 PDF 문서). (2) documents that contain the address or name of the location (for example, PDF documents, including driving directions for the National History Museum). (3) 특정의 지리적 영역에 관한 인쇄된 문서(예를 들어, Lonely Planet에 의해 출판된 Rome City Guide). (3) Printing a document about a specific geographical area (for example, the Rome City Guide, published by Lonely Planet).

이 문서는 서로 다른 방법들을 사용하여 획득될 수 있다. This document can be obtained using different methods. 문서를 획득하는 예시적인 방법들은 이하의 것들을 포함한다. Example methods of acquiring the document include the following: (1) MMR 컴퓨터(112)의 운영 체제 내에서 인쇄된 문서의 텍스트 레이아웃을 PD 캡처 모듈(318)(또는 등가적으로 도 37 내지 도 47을 참조하여 앞서 기술된 MMR 인쇄 아키텍처)을 통해 자동적으로 캡처함으로써 문서가 획득된다. 1, the text layout of a printed document within the operating system of MMR computer 112 automatically, via PD capture module 318 (or, equivalently, to 37 to refer to FIG. 47 described above the MMR Printing Architecture) It is obtained by capturing the document. (2) MMR 컴퓨터(112)의 프린터 드라이버(316) 내에서 인쇄된 문서의 텍스트 레이아웃을 자동적으로 캡처함으로써 문서가 획득된다. (2) the document is acquired by capturing automatically the text layout of a printed document within printer driver 316 of MMR computer 112; (3) 예를 들어, MMR 컴퓨터(112)에 연결되어 있는 표준의 문서 스캐너 장치(127)를 통해 종이 문서를 스캔함으로써 문서가 획득된다. (3) For example, if the document is acquired by scanning a paper document via the MMR computer document scanner device 127 that is connected to the standard (112). (4) 인쇄된 문서의 표현인 파일을 자동적으로 또는 수작업으로 MMR 컴퓨터(112)에 전송, 업로드 또는 다운로드함으로써 문서가 획득된다. (4) the document is acquired by transferrin