KR101443404B1 - 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이 - Google Patents

페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이 Download PDF

Info

Publication number
KR101443404B1
KR101443404B1 KR1020097007759A KR20097007759A KR101443404B1 KR 101443404 B1 KR101443404 B1 KR 101443404B1 KR 1020097007759 A KR1020097007759 A KR 1020097007759A KR 20097007759 A KR20097007759 A KR 20097007759A KR 101443404 B1 KR101443404 B1 KR 101443404B1
Authority
KR
South Korea
Prior art keywords
text
annotation
document
user
content
Prior art date
Application number
KR1020097007759A
Other languages
English (en)
Other versions
KR20090069300A (ko
Inventor
마틴 티. 킹
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20090069300A publication Critical patent/KR20090069300A/ko
Application granted granted Critical
Publication of KR101443404B1 publication Critical patent/KR101443404B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40Data acquisition and logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/197Version control

Abstract

사용자가 주석을 디지털 컨텐트내에 포함된 텍스트 세그먼트와 연관시킬 수 있도록 하는 소프트웨어 및/또는 하드웨어 패실리티가 제공된다. 캡처 클라이언트에 의해 사용자는 사용자가 보는 컨텐트상의 텍스트 세그먼트와 연관된 주석을 생성할 수 있다. 주석은 주석 서버에 의해 텍스트 세그먼트와 연관하여 저장된다. 사용자가 이어서 컨텐트를 볼 때, 본 컨텐트내의 텍스트 프래그먼트는 패실리티에 의해 상기 저장된 텍스트 세그먼트와 비교된다. 텍스트 프래그먼트와 매칭하는 것으로 발견된 텍스트 세그먼트는 패실리티에 의해 식별되고, 연관된 주석이 보여진 컨텐트상에서 디스플레이 클라이언트에 의해 사용자에게 디스플레이된다. 오리지널 컨텐트와, 텍스트 세그먼트가 식별된 오리지널 컨텐트와 연관된 식별자 보다는 텍스트 세그먼트와 연관되어 있기 때문에, 주석은 미래에 텍스트 세그먼트를 사용하는 임의의 컨텐트에 적용될 수 있다.
Figure R1020097007759
주석, 텍스트 세그먼트, 컨텐트, 주석 서버, 텍스트 프래그먼트, 패실리티, 디스플레이 클라이언트, 식별자

Description

페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이{CAPTURE AND DISPLAY OF ANNOTATIONS IN PAPER AND ELECTRONIC DOCUMENTS}
(우선권 주장)
본 출원은 2006년 9월 15일에 출원된 미국가특허 출원번호 제60/844,893호, 및 2007년 4월 5일 출원된 미국가특허 출원번호 제60/910,438호의 우선권을 주장한다.
개시된 기술은 주석달기(annotation) 분야에 관한 것이다.
책, 신문, 및 잡지와 같은 인쇄물의 독자들은 그 인쇄물에 직접적으로 주석을 기록함으로써, 발행물의 일부분에 대하여 주의를 끌 수 있는 능력을 항상 가졌었다. 이러한 주석은 밑줄 긋기, 원 그리기, 또는 하이라이터 펜을 사용하여 텍스트의 하이라이팅 부분처럼 간단할 수 있었고, 그로 인해 상이한 색상으로 표시된, 또는 인쇄물의 나머지 부분과 구별되는 텍스트 부분에 대한 독자의 주의를 끌 수 있다. 독자들은 또한, 예컨대, 여백 또는 인쇄물의 다른 부분에 텍스트를 쓰거나 그림을 그림으로써, 더욱 복잡한 주석을 추가할 수 있다. 주석은 독자가 인쇄물 내에 포함된 중요 구절 또는 아이디어를 신속하게 떠올리는 것을 가능하게 하므로, 그 주석을 기록한 독자에게 특히 유용하다. 주석은 또한 그 주석에 의해 그 인쇄 물에 추가된 추가 정보가 인쇄물의 일부분이 상대적으로 중요함을 나타내거나, 그 부분에 더 큰 컨텍스트를 제공할 수 있으므로, 그 인쇄물의 다른 독자에게 이로울 수 있다. 그러므로, 다수의 독자에 대하여, 인쇄물에 주석을 생성하고 기록할 수 있는 능력은 그 자료의 사용 가능성에 통합된다.
불행하게도, 디지털 형태로 생성되거나, 또는 디지털 형태로 변환되는 문서가 많아짐에 따라, 문서에 간편하고 유효한 방식으로 주석을 다는 것이 점점 어려워지고 있다. 이러한 어려움의 한가지 이유는 독자가 디지털 문서에 주석을 쉽게 추가할 수 있게 하는 유저 인터페이스를 제공하기 힘들다는 것이다. 주석은 전형적이므로 여백, 및 문서 내의 다른 빈공간에 흘려써지므로, 디지털 문서에 주석을 추가하는 것은 특히 어려울 수 있다. 이러한 어려움의 두번째 이유는 특정 주석과 특정 문서 - 및 때때로 그 주석이 달려진 그 문서 내의 특정 위치 - 사이의 관계를 유지하는 것이 힘들다는 것이다. 디지털 형태의 문서는 쉽게 변형될 수 있는데, 그 일부분들은 다수의 상이한 위치에서 실행되거나, 복사되거나, 이동되거나, 저장될 수 있다. 상이한 버전의 문서들이 존재할 수 있는데, 이전 버전은 그 다음 버전에 추가된 주석을 포함하지 않는다. 그리고, 디지털 형태의 문서는 쉽게(그리고 때때로 의도하지 않게) 삭제될 수 있다. 그러므로, 문서를 트래킹하는 것, 그리고 문서가 빈번하게 수정될 때 주석이 그 문서와의 연결이 유지됨을 보장하는 것은 매우 어려운 문제이다. 이러한 어려움의 또 다른 이유는 문서를 뷰잉하고 처리하는 플랫폼이 매우 다양하다는 것이다. 독자들은 개인용 컴퓨터, 휴대용 컴퓨터, 셀 폰, 및 PDA와 같은 모바일 디바이스, 및 디지털 문서를 보기 위한 전용 판독 디바 이스를 사용할 수 있다. 이러한 플랫폼 각각은 차례로 사용자가 문서를 읽고, 작성하고, 그리고 편집하는 것을 가능하게 하도록, 다양한 소프트웨어 애플리케이션, 및 운영체제 기능을 지원할 수 있다. 각각의 이러한 플랫폼 상에서 동작하고, 광범위한 소프트웨어와 함께 작동하고, 사용 포맷으로 일관적이고 용이하게 주석을 캡처하고 디스플레이하는 크로스-플랫폼 주석 기술을 개발하는 것은 매우 어려운 기술적 제안이다. 유비쿼터스 주석 기술이 사용자가 페이퍼 문서의 세상에서처럼 디지털 문서의 세상에서 주석을 생성하고 사용할 수 있도록 개발된다면, 유익할 것이다.
페이퍼 문서에 주석을 추가하는 것은 용이하지만, 페이퍼 내의 주석은 그 고정적인 특성이 단점이다. 페이퍼 세상에서, 기록된 주석을 한 카피의 인쇄물로부터 다른 카피로 복사하는 간편한 방법이 존재하지 않으며, 오디오, 비디오, 하이퍼링크, 이미지, 또는 다른 추가사항, 또는 액티브 엘리먼트, 또는 주석을 인쇄물에 삽입하는 방법이 존재하지 않는다. 이와 대조적으로, 이러한 그리고 많은 다양하고 풍부한 향상이 지금 - 그 사용 가능성이 디지털 문서를 언더라잉하는 기술, 디지털 문서의 포맷, 디지털 문서가 디스플레이되는 방법 등에 매우 의존하지만, - 몇몇 디지털 문서에서 반복적으로 나타나고 있다.
도 1은 컨텐트의 주석을 캡처하고 디스플레이하는 패실리티의 블록 다이어그램이다.
도 2는 컨텐트에 대한 주석을 도시하는 유저 인터페이스의 스크린샷이다.
도 3A 및 3B는 캡처 클라이언트에서 사용자의 주석을 캡처하고, 사용자의 주석을 주석 서버에 저장하는 프로세스의 플로우차트이다.
도 4A 및 4B는 주석 서버에서 컨텐트와 연관된 주석을 식별하고, 디스플레이 클라이언트에서 컨텐트와 연관된 식별된 주석을 디스플레이하는 프로세스의 플로우차트이다.
도 5는 제1실시예의 코어 시스템 내에서의 정보 흐름을 도시하는 데이터 흐름도이다.
도 6은 전형적인 동작 환경에서, 전형적인 구현의 시스템에 포함된 컴포넌트의 컴포넌트 다이어그램이다.
도 7은 하나의 실시예의 스캐너(702)의 블록 다이어그램이다.
도 8은 컨텐트 소스로부터 직접적으로, 또는 디스플레이 버퍼를 판독함으로써, 디스플레이 컨텐트 데이터를 획득하는 프로세스에 대한 데이터 흐름도이다.
(개요)
사용자가 디지털 컨텐트 내에서 하나 이상의 단어의 컨텐트와 주석을 연관시키는 것을 가능하게 하는 소프트웨어 및/또는 하드웨어 패실리티(facility)가 개시된다. 캡처 클라이언트는 사용자가, 그 주석에 대한 "서브젝트 텍스트"라 불리는 사용자에 의해 보여지고 있는 컨텐트 내의 텍스트 세그먼트와 각각 연관된 주석을 생성하는 것을 가능하게 한다. 주석은 주석 서버에 의해 서브젝트 텍스트와 연관되어 저장된다. 사용자가 그 후에 컨텐트를 볼 때, 본 패실리티는 보여지는 컨텐 트를 저장된 주석 서브젝트 텍스트와 비교한다. 주석의 서브젝트 텍스트가 보여지는 텍스트와 일치하는 것으로 밝혀지면, 디스플레이 클라이언트는 그 보여지는 컨텐트와 함께 연관된 주석을 사용자에게 디스플레이한다.
다양한 실시예에서, 본 패실리티는 연관된 서브젝트 텍스트에 각각의 주석을 "앵커링(anchor)"하기 위한 다양한 접근법을 사용한다. 몇몇 실시예에서, 주석이 달린 문서 내의 위치의 식별정보를 모두 알고 있을 때, 본 패실리티는 문서의 시작으로부터 단어 오프셋을 저장하는 것처럼, 그 문서 식별정보를 문서의 위치 정보와 함께 저장함으로써 주석을 앵커링한다.
몇몇 실시예에서, 그리고 특히 문서 식별정보 및 위치를 모두 모를 때, 본 패실리티는 그 주석에 대한 앵커 텍스트를 저장함으로써 새로운 주석을 앵커링한다. 주석에 대한 앵커 텍스트는 주석에 대한 서브젝트 텍스트를 포함한다. 몇몇 실시예에서, 앵커 텍스트는 서브젝트 텍스트를 지나 하나의 방향 또는 양 방향으로 뻗는다. 이러한 실시예에서, 저장된 주석이 오리지널 컨텐트 또는 그 텍스트 세그먼트가 식별된 오리지널 컨텐트와 연관된 식별자가 아니라, 앵커 텍스트 세그먼트와 연관되므로, 주석은 미래에 그 텍스트 세그먼트를 사용하는 임의의 컨텐트에 적용될 수 있다. 예를 들어, 문서가 그 전체가 복사되었거나, 문서의 한 섹션이 복사되었다면, 그 복사된 부분과 연관된 모든 주석은, 주석이 문서 자체가 아니라 문서 내의 텍스트 세그먼트와 연관되어 있기 때문에, 미래에 적절하게 배치될 것이다. 그로 인해, 본 패실리티는 디지털 컨텐트에서 주석 사용의 유연성을 크게 개선한다. 몇몇 실시예에서, 프리젠테이션 레이어 캡처 클라이언트가 사용자가 보는 컨텐트의 포맷과 무관하게, 사용자가 컨텐트에 주석을 추가하는 것을 가능하게 하기 위해 제공된다. 예를 들어, 컨텐트는 워드 프로세싱 문서, 이미지와 같은 .PDF 문서, 또는 다른 그래픽 또는 텍스트 형태로 웹페이지 상에 사용자에게 디스플레이될 수 있다. 각각의 이러한 컨텐트 포맷에 대한 인터페이스를 설계하려 하는 것이 아니라, 본 패실리티는 그 컨텐트를 보여주는 디스플레이의 캡처, 및 광학 문자 인식(OCR) 기술을 사용한 캡처된 이미지의 텍스트로의 변환에 의존한다. 대안으로서, 몇몇 실시예에서, 본 패실리티는 텍스트를 사용자의 디스플레이 상에 렌더링되게 하는 다양한 엘리먼트로부터 텍스트-렌더링 커맨드를 인터셉트하거나, 통신한다. 많은 이러한 실시예에서, 포스트-렌더링 OCR, 또는 다른 인식 기술은 필요하지 않다(도 8). 렌더링된 데이터가 본 패실리티에 의해 사용될 때, 사용자에 의해 사용되는 뷰잉 디바이스의 스크린 버퍼의 일부 또는 모두는 본 패실리티에 의해 캡처된다. 그 다음, 스크린 버퍼의 컨텐트는 OCR 또는 캡처된 이미지를 프로세싱하고, 이미지 내에 포함된 임의의 문자의 대응 텍스트(예컨대, ASCII 값)를 발생시키는 다른 이미지 인식 컴포넌트에 제공된다. 본 패실리티는 본 패실리티에 의해 식별된 OCR 텍스트에 사용자에 의해 주석달기 목적으로 선택된 디스플레이 상에 임의의 컨텐트를 자동적으로 맵핑한다. 이러한 방식으로, 본 패실리티는 사용자가 컨텐트의 포맷과 무관하게 임의의 컨텐트에 주석을 다는 것을 가능하게 한다.
몇몇 실시예에서, 옵션으로서 음성 입력 기능을 가진, 휴대용 광 스캐너가 캡처 클라이언트로 사용될 수 있다. 이러한 캡처 클라이언트로 주석을 만들기 위해, 사용자는 주석달고, 그리고 그 다음 그 주석의 컨텐트를 말하거나, 타이핑하기 위해, 서브젝트 텍스트를 광학적으로 캡처하거나 음성 캡처하기 위해 이 휴대용 스캐너를 사용한다. 본 패실리티는 옵션으로서 말해진 주석을 상징적 텍스트 동등물로 변환하기 위해 음성 인식 기술을 사용하고, 그 다음 본 패실리티는 캡처된 서브젝트 텍스트와 연관시킨다.
몇몇 실시예에서, 프리젠테이션 레이어 디스플레이 클라이언트는 주석이, 컨텐트의 소스 포맷과 무관하게, 그리고 애플리케이션 또는 디스플레이된 컨텐트를 생성하거나 렌더링할 책임이 있는 다른 시스템 컴포넌트와 무관하게, 사용자의 디스플레이에 상에 프리젠테이션되는 임의의 컨텐트 위에 오버레이되는 것을 허용하기 위해 제공된다. 사용자가 뷰잉 디바이스 상의 컨텐트를 볼 때, 뷰잉 디바이스의 스크린 버퍼의 일부 또는 모두는 옵션으로서 본 패실리티에 의해 캡처된다. 스크린 버퍼의 컨텐트는 OCR, 또는 캡처된 이미지를 프로세싱하고 이미지 내에 포함된 임의의 문자의 대응 텍스트를 생성하는 다른 이미지 인식 컴포넌트에 제공된다. 본 패실리티는 캡처된 텍스트 내의 하나 이상의 텍스트 프래그먼트를 식별하고, 그 텍스트 프래그먼트의 리프리젠테이션을 - 로컬(예컨대, 사용자의 개인용 컴퓨터 상에서), 또는 원격(네트워크를 통해)일 수 있는 - 주석 서버 컴포넌트로 전송한다. 주석 서버 컴포넌트(105)는 수신된 텍스트 프래그먼트 리프리젠테이션을 저장된 텍스트 세그먼트 리프리젠테이션과 비교하고, 주석 서버 상에 저장된 텍스트 세그먼트 리프리젠테이션와 매칭하는 - 또는 거의 매칭하는 - 사용자의 디스플레이 상의 임의의 렌더링된 컨텐트를 식별한다. 매칭된 텍스트 프래그먼트 리프리젠테이션에 대응하는 주석은 본 패실리티에 의해 식별되고, 디스플레이 클라이언트로 전송된 다. 디스플레이 클라이언트는 매칭된 텍스트 프래그먼트의 위치를 기초로 그 주석의 적합한 위치를 판단하고, 사용자가 보고 있는 컨텐트 위에 중첩되는 반투명 층에 그 주석을 디스플레이한다(2). 이러한 방식으로 주석은 - 보여지는 컨텐트의 포맷과 무관하게 그리고 그 컨텐트의 소스와 무관하게 - 임의의 컨텐트에 대하여 사용자에게 디스플레이될 수 있다.
몇몇 실시예에서, 운영체제 및/또는 텍스트를 디스플레이하는 애플리케이션은 현재 디스플레이되고 있는 텍스트를 공급하고, 디스플레이되는 텍스트와 그것의 디스플레이 위치 사이의 맵핑을 위한 프로그래믹 인터페이스를 제공하고, 본 패실리티는 디스플레이되는 텍스트와 그 디스플레이 위치를 식별하기 위한 OCR 기술을 사용의 오버헤드를 피하기 위해 이 인터페이스를 사용한다. 이와 유사하게, 프로그래믹 인터페이스가 디스플레이되고 있는 문서, 또는 현재 디스플레이된 문서의 일부분을 식별하기 위해 사용가능할 때, 본 패실리티는 디스플레이된 텍스트를 언더라잉 전자문서 및 위치와 연관시키기 위해 이들 인터페이스를 통해 획득된 정보를 사용한다.
몇몇 실시예에서, 본 패실리티는 전자 문서의 일부분과 연관된 간단한 텍스트 주석 이상의 매우 다양한 타입의 주석을 포함하는 주석을 다는 것을 지원한다. 다양한 실시예에서, 본 패실리티는 간단한 텍스트 주석에 관하여 본 명세서에 서술된 메카니즘을 포함하여, 매우 다양한 메카니즘을 사용하여 생성, 디스플레이, 및 주석과의 상호작용을 지원한다. 이러한 범용의 연관 및 주석을 지원함으로써, 본 패실리티는, 전자 문서와의 풍부한 크로스-문서, 및 크로스-플랫폼 레벨의 상호작 용을 제공한다. 몇몇 실시예에서, 본 패실리티는 유사하거나 동일한 주석, 및 텍스트 캡처 디바이스의 사용자에 대한 연관을 지원한다. 이러한 실시예에서, 본 패실리티는 페이퍼 및 전자문서를 모두 읽는 독자에게 풍부하고, 공통적인 경험을 제공한다.
몇몇 실시예에서, 본 패실리티는 사용자에 의해 읽혀지는 모든 텍스트를 그 텍스트가 읽혀지는 시간의 지시와 함께 잠재적으로 기록하는 사용자에 대한 보편적인 리딩 히스토리를 유지하기 위해 휴대용 텍스트 캡처 디바이스에 의해 캡처된 텍스트와 함께 모니터 상에 디스플레이된 텍스트의 관찰을 사용한다. 몇몇 실시예에서, 본 패실리티는 읽혀진 각각의 문서에 대한 섬네일 또는 서지정보의 히스토리 시퀀스와 같은 리딩 히스토리를 검색하기 위해 시각적 유저 인터페이스를 제공한다. 몇몇 실시예에서, 사용자는 사용자가 문서의 일부분을 읽은 시간, 사용자가 문서를 읽은 순서, 및 사용자가 그 문서 내의 다양한 부분에서 얼마나 많은 시간을 소비하였는지에 걸친 시각적 맵을 보기 위해 문서의 사용자의 리딩 히스토리를 검색한다.
몇몇 실시에에서, 시큐어리티 컴포넌트가 캡처 클라이언트(160), 및 디스플레이 클라이언트(170) 내에 제공되어, 주석 서버가 사용자가 보고 있는 컨텐트의 사용자 식별가능한 세부사항과 함께 제공되지 않는다. 그 대신, 암호화된, 해싱된, 또는 그외의 사용자(205b)가 보고 있는 보호된 형태의 텍스트 세그먼트 또는 텍스트 프래그먼트가 주석 서버에 의해 저장되거나, 주석 서버와 통신된다. 보호 형태의 텍스트를 저장하는 것은 사용자의 컨텐트 뷰잉 습관의 주석 서버에 의해 유 지된 사용자 판독가능한 기록이 존재하지 않음을 보장한다. 시큐어리티 컴포넌트는 본 패실리티가 사용자의 프라이버시 침해로 인식될 수 있는 방식으로 사용되는 것을 방지하는데 도움을 준다. 원하는 주석의 분포에 따라, 주석 그 자체(205b)가 또한 암호화된, 해싱된, 또는 그외의 보호된 형태로 저장되고 통신될 수 있다. 텍스트 세그먼트 및 앵커 텍스트와 연관지어 주석을 저장함으로써, 주석은 그것이 추가되는 오리지널 소스 컨텐트의 식별정보로부터 효과적으로 연관해제될 수 있다. 예를 들어, 디지털 카피의 책의 사용자가 주석을 추가하였다면, 그 주석이 주석 서버에 의해 저장된 때, 그 책의 식별정보는 반드시 저장될 필요가 없다. 동일한 사용자 또는 다른 제3자가 미래에 그 책의 디지털 카피를 볼 때, 그 사용자에 의해 저장된 임의의 주석은 저장된 텍스트 세그먼트 및 앵커 텍스트에 대하여 사용자의 디스플레이 상에 표시된 그 책의 텍스트를 평가함으로써 식별된다. 그러므로, 본 주석 저장 방법은 주석을 특정 문서와 연관짓은 종래의 방법, 또는, 어플리케이션 내에 특정 기술을 요구하는 방법, 또는 주석을 저장하거나 연관시키기 위한, 특정 문서 포맷의 방법과 매우 상이하다.
"주석"의 특징
본 명세서에 서술된 패실리티는 주석의 생성, 및 다이나믹 디스플레이 상에 표시된 때 주석과의 상호작용을 모두 허용한다. 본 패실리티의 몇몇 형태는 주석을 보고 그 주석과 상호작용하기 위한 다른 사용자에 대한 주석을 생성한 사용자에 관한 것이다. 본 패실리티의 다른 형태는 다양한 종류의 주석의 - 패실리티 스스 로의 - 자동 생성에 관한 것이다. 본 패실리티의 부가적인 형태는 사용자에 의해 생성된 주석, 및 본 패실리티 스스로 생성된 주석과 상호작용하는 사용자에 관한 것이다. 이것은 생성 형태, 및 주석과 연관된 상호작용 형태 모두 존재함을 이해하는데 도움을 준다. 그리고, 몇몇 경우에, 하나의 주석과의 상호작용은 부가적인 주석의 생성을 야기할 수 있다.
타겟 자료 및/또는 앵커 자료(둘다 아래에 서술됨)와 연관된 주석은 포인팅되고, 지시되고, 호출될 수 있는 임의의 오브젝트일 수 있다. 주석은 종종 그 패실리티 사용자가 주석의 시각적 지시 위에서 마우스로 클릭하거나, 사용자의 키보드 또는 마우스를 통해 주석과 연관된 메뉴 아이템을 선택한 때, 선택되거나 호출된다. 여기서 사용된 바와 같은 주석은 다이나믹 디스플레이 상의 임의의 위치, 또는 사용자에 의해 선택된, 또는 본 패실리티에 의해 지시된 구역에 대하여 다이나믹하게(프로그램에 의해) 생성되거나, 고정적으로(수동적으로) 발생된 액션을 포함할 수 있다. 사용자 선택된 형태의 주석은 종종 사용자가 하나의 위치에서 마우스로 클릭하거나, 그들의 디스플레이 상의 하나의 구역을 하이라이팅/선택하고, 그 다음 가능한 액션의 메뉴를 선택(bring up)하기 위해 그들의 마우스로 우클릭하고, 마지막으로 주석을 호출하기 위해 프리젠테이션된 액션 중 하나를 선택한 때, 호출된다.
주석의 많은 가능한 예 중 몇몇은 추가적인 텍스트 또는 그래픽 컨텐트로의 링크, 다른 문서로의 포인터 또는 링크, 텍스트형 커맨드, 토론 그룹 또는 포럼으로의 링크, 웹사이트, 블로그, 또는 다른 웹 컨텐트로의 링크(예컨대, 하이퍼링크 ), 또는 주석이 선택된 때 재생하는 오디오 또는 비디오 클립을 포함한다. 주석의 추가적인 예는 다음을 포함한다:
- 디스플레이된 컨텐트 내에 언급된 사람과의 인터넷 채팅 세션을 개시한다.
- 디스플레이된 컨텐트의 저자에게로 어드레싱된 이메일을 개시한다.
- 사용자에게 디스플레이되거나 선택된 컨텐트의 카피를 이메일보낸다.
- 디스플레이되거나 선택된 컨텐트에 대한 폴(poll)에 참가한다.
- 사용자가 읽었음을 알리고, 그리고/또는 디스플레이된 컨텐트에 동의한다
- 인터넷 검색을 개시한다.
- 디스플레이되거나 선택된 컨텐트를 사용자의 블로그로 포스팅한다.
- 사용자의 블로그에 새로운 트랙-백 주석을 남긴다.
- 전자상업 웹사이트에서 주석달린 또는 선택된 물건을 구매한다.
- 사용자의 달력내에 선택되거나 하이라이팅된 날짜 또는 시간 또는 이벤트 정보를 입력한다.
- 사용자의 접속 데이터베이스 내에 접속 정보를 입력한다.
- 위키백과 또는 다른 사전 또는 백과사전 웹사이트 상에서 디스플레이되거나 선택된 단어 또는 문구를 검색한다.
- 선택된 컨텐트를 말하거나/발음한다.
- 지시된 전화번호 및 사용자의 전화 사이에 전화 연결을 생성한다.
- 사용자를 위한 지시된 컨텐트를 북마킹한다.
- 캡처된 컨텐트의 사용자의 아카이브(archive)에 지시된 컨텐트를 추가한 다.
- 사용자에 의해 선택된 구역을 밑줄을 긋거나, 하이라이팅한다(즉, 새로운 고정 비주얼 주석을 생성한다).
- 지시된 위치 또는 선택과 연관된 새로운 음성 주석을 추가한다.
- 선택된 컨텐트를 사용자의 클립보드에 복사한다.
- 사용자의 웹 브라우저를 지시된 URL 또는 웹사이트로 다이렉팅한다.
- 이 폼을 사용자의 개인 정보로 채운다.
- 구매가능한 아이템을 사용자의 상품의 구매 희망 목록에 추가한다.
- 지시된 아이템 또는 상품을 구매한다.
- 디스플레이된 또는 선택된 아이템 또는 상품의 구매를 확인한다.
- 지시된 상품 또는 서비스가 사용자에게 흥미로움을 등록한다.
- 디스플레이된 또는 선택된 제품 또는 서비스에 대한 추가정보를 사용자에게 전송한다.
- 지시된 또는 선택된 컨텐트에 대한 다른 사용자의 커맨드 또는 주석을 디스플레이한다.
- 지시된/선택된 개인, 기관 등에 대한 접속 정보를 디스플레이한다.
- 선택된 컨텐트를 다른 언어로 번역한다.
- 디스플레이된 또는 선택된 단어의 철자를 검사한다.
- 사용자의 디스플레이 상에 순차적으로 나타날 때, 단어/문구의 모든 발생을 하이라이팅한다.
- 디스플레이된 컨텐트를 포함하는 문서의 카피를 이메일을 통해 포워딩한다.
- 디스플레이된 컨텐트를 포함하는 문서의 카피를 구매한다.
- 디스플레이된 컨텐트 또는 포함하는 문서가 변경된 때 사용자에게 통지한다.
- 디스플레이된 컨텐트 또는 포함하는 문서가 주석이 더 추가된 때 사용자에게 통지한다.
- 지시된 컨텐트가 디스플레이된 때 다른 사용자에게 광고를 표시한다.
- 지시된 위치에 대하여 적합하거나 동기화된 오디오 또는 비디오를 재생한다.
- 지시된 컨텐트에 관한 그림을 보여준다.
이러한 행위 및 기능 중 몇몇은 오늘날 사용가능한 많은 소프트웨어 어플리케이션 및 유틸리티에서 사용가능하지만, 본 패실리티는 특정 어플리케이션이 그 행위를 지원하는지 여부와 무관하게, 그리고 어플리케이션 또는 사용자의 운영체제로부터의 지원 또는 협력없이, 이들 행위 및 기능을 임의의 디스플레이되는 컨텐트에 대하여 사용가능하게 함을 이해하는 것이 중요하다.
다이나믹 디스플레이 상에 프리젠테이션된 컨텐트와 연관된 주석은 시각적 리프리젠테이션을 가질 수 있다. 예를 들어, 주석은 아이콘에 의해, 또는 이웃 텍스트의 속성과 상이한 특수한 속성 - 밑줄, 하이라이팅 등 - 을 가진 디스플레이 상에 표현된 텍스트의 구역에 의해 지시될 수 있다.
앵커 자료 및 타겟 자료
"앵커 자료"는 주석의 프리젠테이션을 트리거하기 위해, 그리고 주석이 표시되고 있다는 지시를 트리거하기 위해 사용될 수 있는, 주석과 연관된 컨텐트이다. 앵커 자료는 옵션으로서 주석 그 자체의 서브젝트를 포함할 수 있고, 그리고 종종 - 주석 타겟 자료 바로 앞, 및/또는 바로 뒤에 나타나는 자료를 포함하는 - 주변 또는 이웃 컨텐트를 포함할 수 있다.
"타겟 자료"(본 명세서에서 때때로 "타겟" 또는 "서브젝트"로 간단히 불리기도 함)는 주석이 적용될 것을 의미하거나, 그것이 연관될 것임을 의미하는 특수한 자료이다. 타겟 자료는 후속적인 범위의 텍스트, (옵션으로서 특정 순서로 또는 서로의 특정 거리 내의) 한 세트의 키워드, 이미지 또는 이미지 세트, 문서 내의 특정 위치, 위치적(geographical) 구역 또는 문서 내의 일정한 범위의 텍스트 구역, 전체 문서, 문서 또는 특정 서브젝트 상의 컨텐트의 집합 등일 수 있다.
앵커 및 서브젝트 자료의 사용은 주석을 위한 서브젝트 자료가 그 자체가 완전히 볼 수 없거나 완전히 프리젠테이션되지 않은 때, 주석의 지시 또는 프리젠테이션을 트리거하는 것이다. 하나의 예로서, 사용자는 주석 텍스트 및 링크: [purchase this at Amazon | http://www.amazon.eom/item:CAPS-A520]를 서브젝트 자료 "Canon PowerShot A520 Digital Camera"와 연관시킨다. 또한 프리-앵커"get started in digital photography: this package includes a", 및 포스트-앵커"and a SELPHY CP510 Photo Printer, plus all required accessories"가 이 주석과 연관 된다. 하나의 예로서, 웹사이트 방문자는 웹페이지 뷰를 스크롤하고, 프리-앵커 및 타겟 자료("get started in digital photography: this package includes a Canon PowerShot")의 일부가 그들의 디스플레이 상에 보여지지만, 앵커 및 서브젝트 자료의 나머지는 아직 보여지지 않는다. 그럼에도 불구하고 연관된 주석은 정확하게 나타난다.
몇몇 경우에, 주석의 타겟 자료 또는 앵커 자료는 상이한 프리젠테이션에서 약간씩 변할 수 있으나, 사용자는 자신의 주석이 이러한 변화의 일부 또는 모두에 대하여 나타나는 것을 원할 수 있다. 그러므로, 주석의 서브젝트 텍스트는 상이한 구두법, 대문자 사용(capitalization), 철자, 폰트, 색상 등으로 나타날 수 있다. 몇몇 실시예에서, 본 패실리티는 변화가 사용자의 주석을 트리거해야하는지, 그리고 무시되어야 하는지를 사용자가 특정할 수 있게 한다.
특정 렌더링이 오리지널 타겟 자료에 대하여 얼마나 근접하는지를 설명하는 유용한 수단은 두 텍스트 샘플의 유사성에 대한 주지된 메트릭스인 제한적 "편집 거리(edit distance)"를 특정하는 것이다. 옵션으로서, 사용자는 구두법, 대문자 사용, 철자 등의 변화가 수용될 것인지를 특정할 수 있고, 그리고 그러므로 특정 주석의 프리젠테이션을 트리거한다.
주석 컨텍스트
"컨텍스트 선택"은 본 명세서에서 본 패실리티의 사용자가 그들의 주석이 나타나기 원하는 특정 컨텍스트 또는 환경을 설정하는 프로세스를 의미한다. 컨텍스 트 선택은 주석에 대한 액세스가 허용될 특정 사용자, 또는 사용자 그룹, 주석이 디스플레이될 아티클의 특정 볼륨, 이슈, 버전, 또는 카피, 주석을 보거나 액세스하기 위해 지불되어야 하는 보수 또는 요금, 그 주석이 사용가능하게 되도록 표시될 것이 요구되는 앵커 텍스트 및 타겟 자료를 포함할 수 있다.
몇몇 실시예에서, 본 패실리티는 사용자에게 사용자의 선택된, 타겟 및/또는 동일한 앵커 텍스트를 가진 다른 문서 및 컨텍스트- 즉, 디스플레이될 때 주석을 호출하는 문서를 지시한다. 몇몇 이러한 실시예는 사용자가 그 주석이 나타나는 컨텍스트/상황을 정확하게 보기 위해 이러한 대안의 프리젠테이션 컨텍스트를 브라우징하는 것을 가능하게 한다. 몇몇 실시예는 또한 사용자가 사용자의 주석이 나타나기를 원하거나 원하지 않는 컨텍스트를 선택하거나 선택해제하는 것을 가능하게 한다.
몇몇 실시예에서, 컨텍스트 선택은 논리적 오퍼레이션 및 조합을 포함한다. 예를 들어, 사용자는 상기 언급된 "[purchase this at Amazon | http://www.amazon.eom/item:CAPS-A520]" 주석이 서브젝트 자료 "Canon PowerShot A520 Digital Camera"가 비상업적 컨텍스트에 발생할 때 - 예컨대, 레퍼런스를 포함한 웹페이지가 키워드 "buy", 또는 "purchase"를 포함하지 않고 또한 임의의 전자상거래 사이트로의 다이렉트 링크를 포함하지 않을 때만, 표시되도록 원할 수 있다.
어플리케이션에 대한 컨텍스트의 추가적인 어플리케이션은 디스플레이될 서브젝트 주석에 대하여 얼마나 많은 (만약 있다면) 앵커 텍스트 또는 이웃 컨텐트가 요구되는지 특정하기 위한 본 패실리티의 사용자에 대한 능력이다. 사용자가 단일 단어 또는 짧은 구문에 주석을 다는 경우에, 본 패실리티는 사용자가 그들의 주석이 짧은 구문이 출현할 때마다, 또는 특정 문서 내에서만, 또는 특정 앵커 텍스트와 함께, 나타나길 원하는지 선택하는 것을 가능하게 한다.
추가적인 세부사항
아래 설명은 본 기술의 다양한 실시예에 대한 전체적인 이해, 및 이네이블링 설명을 위한 특별한 세부사항을 제공한다. 당업자들은 본 기술이 많은 이러한 세부사항없이 실시될 수 있음을 이해할 것이다. 몇가지 예로서, 공지된 구조 및 기능은 본 기술의 실시예의 설명에 대한 불필요한 모호함을 피하기 위해 상세하게 도시되거나 서술되지 않았다. 아래의 설명에 사용된 용어는 본 기술의 어떠한 실시예의 상세한 설명과 연결되어 사용되어 있다 하더라도, 그 가장 넓은 합리적인 방법으로 해석될 것으로 의도되었다. 임의의 용어가 아래에서 강조되어 있더라도, 임의의 제한적인 방식으로 해석되고자 하는 임의의 용어는 본 '실시예' 섹션에서 분명하고 명시적으로 정의될 것이다.
도 1은 주석이 생성되고 매우 다양한 컨텐트 상에 디스플레이되게 하는 하드웨어 및/또는 소프트웨어 패실리티의 블록 다이어그램이다. 본 패실리티는 데이터 스토어(110)에 연결된 주석 서버(105)를 포함한다. 주석 서버는 텍스트 세그먼트와 주석의 연관을 관리하고, 컨텐트 상에 디스플레이 하기 위한 관련 주석을 전송한다. 아래에 더 상세히 서술된 바와 같이, 텍스트 세그먼트는 텍스트 데이터베이 스(115)에 저장되고, 주석은 주석 데이터베이스(120)에 저장된다. 주석 데이터베이스 내의 각각의 주석은 텍스트 데이터베이스에 저장된 텍스트 세그먼트 중 하나와 연관된다. 하나 이상의 인덱스(125)가 주석 서버가 원하는 텍스트 세그먼트 또는 주석을 식별하기 위해 텍스트 데이터베이스(115) 및 주석 데이터베이스(120)를 신속하게 검색하는 것을 가능하게 하기 위해 제공된다. 주석 서버(105)가 단일 서버로 도시되어 있으나, 주석 서버는 복수의 서버일 수 있고, 본 명세서에 서술된 기능은 복수의 서버를 통해 복제되거나 분산될 수 있음이 이해될 것이다. 이와 유사하게, 데이터 스토어(110)는 다수의 데이터베이스를 포함한 단일 데이터 스토어로 도시되어 있어나, 하나 이상의 데이터 스토어가 본 패실리티에 의해 액세스되는 데이터를 저장하기 위해 사용될 수 있음이 이해될 것이다. 또한, 용어 "데이터베이스"는 컴퓨터 내에서 데이터를 저장하고 액세스하기 위한 구조화 방법으로서 그 가장 넓은 의미로 해석되어야 한다.
주석 서버(105)는 인터넷 또는 인트라넷과 같은 공개 또는 프라이빗 네트워크와 같은, 네트워크(145)를 통해 주석 캡처 클라이언트(130), 및 주석 디스플레이 클라이언트(135, 및 140)와 통신한다. 주석 캡처 클라이언트(130)는 사용자가 컨텐트 상에 주석을 생성하는 것을 가능하게 하기 위해 사용자의 뷰잉 디바이스 상에서 오퍼레이팅한다. 뷰잉 디바이스는 컴퓨터, 휴대용 컴퓨터, 모바일 폰, PDA, e-북 리더기, 또는 사용자가 컨텐트와 상호작용할 수 있게 하는 인터페이스를 가진 임의의 다른 디바이스일 수 있다. 몇몇 실시예에서, 휴대용 광학적 및 오디오 캡처 디바이스는 미국특허 출원번호 제60/653,899호 개시된 바와 같이, 주석을 생성 하기 위해 사용된다. 본 명세서에 사용된 바와 같이, 컨텐트는 텍스트를 포함한, 또는 텍스트로 변환가능한 임의의 시청각적 컨텐트를 의미하며, 문서, 웹페이지, 이미지, 슬라이드쇼, 프리젠테이션, 비디오, 이메일, 스프레드시트, SMS 메시지, 스레딩된 토론, 채팅방 등을 포함하지만 이에 제한되지는 않는다. 본 명세서 더 상세하게 서술되어 있는 바와 같이, 주석 캡처 클라이언트(130)는 사용자가 주석을 생성하고 사용자가 보고 있는 컨텐트에 포함된 텍스트 세그먼트와 주석을 연관시키는 것을 가능하게 한다. 몇몇 실시예에서, 적어도 몇몇 클라이언트는 주석 캡처 클라이언트 및 주석 디스플레이 클라이언트의 두 기능을 모두 수행한다.
도 2는 컨텐트를 볼 때 사용자에게 표시될 수 있는 대표적인 유저 인터페이스(200)의 스크린 샷이다. 도 2에 도시된 컨텐트는 오직 텍스트형이지만, 디스플레이되는 컨텐트는 텍스트, 그래픽, 비디오, 애니메이션, 사진, 및 임의의 다른 청각적, 시각적 또는 시청각적 컨텐트 - 즉 인식될 수 있고, 서브젝트 또는 앵커 컨텐트에 대하여 사용될 수 있는 피처를 가진 임의의 컨텐트를 포함할 수 있다. 6개의 주석(205a, 205b, 205c, 205d, 205e, 및 205f)이 컨텐트에 추가되어 있는 것으로 도시되어 있다. 제1주석(205a)은 컨텐트 내의 한 문장과 연관된 녹음된 음성 또는 음악과 같은 사운드 주석이다. 사운드 주석은 그 주석을 클릭하거나 선택함으로써 액세스될 수 있다. 제2주석(205b)은 그 컨텐트 내의 두 개의 단어와 연관된 텍스트 주석이고, 추가 정보로의 하이퍼링크 또는 다른 링크 또는 포인터를 포함한다. 제3주석(205c)은 그 컨텐트 내의 위치와 연관된 텍스트 주석이지만, 그 컨텐트 내의 임의의 특정 단어와 함께 식별되지 않는다. 제4주석(205d)은 그 컨텐 트 내의 한 구문과 연관된 텍스트 주석이고, 선택된 때, 사용자에게 추가적인 주석 컨텐트를 표시하는 버튼(210)을 포함한다. 제5주석(205e)은 주석의 시각적 지시이고, 그 내용은 사용자가 제5주석을 클릭하거나 그 위로 호버링함으로써 주석을 선택할 때 보여질 수 있다. 제6주석(205f)은 컨텐트의 한 구문과 연관된 서술 스레드이다. 사용자는 다른 사용자가 볼 수 있는 토론에 대한 코멘트를 붙일 수 있다. 추가적인 토론 컨텐트는 사용자를 토론 보드와 연결시키거나, 팝업 또는 사용자가 더 많은 토론 스레드를 볼 수 있게 하는 디스플레이에 대한 다른 변화를 발생시킬 수 있는, "more" 버튼을 클릭함으로써 보여질 수 있다. 도시된 주석들은 주석의 형태 및 종류의 일부 지시를 제공하지만, 예시일 뿐이며 임의의 방법으로 제한하고자 한 것은 아니다. 주석은 텍스트, 이미지, 동영상, 사운드, 챗, URIs, 폴, 광고, 구매 기회 등을 포함할 수 있다(식별번호 27 및 662 부근의 부분적 목록 참조). 주석은 텍스트 주변의 여백에 디스플레이될 수 있고, 텍스트와 중첩될 수 있고, 컨텐트와 다른 스크린 상에 표시될 수 있고, 또는 이들의 임의의 조합으로 표시될 수 있다. 주석의 형태 및 타입의 다양한 다른 치환은 당업자들에게 용이하게 이해될 것이다.
사용자가 주석을 생성하고 저장하는 것을 가능하게 하기 위해, 캡처 클라이언트(130)는 광학 문자 인식(OCR), 또는 다른 인식 컴포넌트(150), 주석 레코더(155), 및 프라이버시 컴포넌트(160)를 포함한다. 각각의 이러한 컴포넌트의 오퍼레이션은 도 3A 및 3B에 나열된 프로세스에 관하여 서술될 것이다.
도 3A 및 3B는 사용자가 임의의 타입의 컨텐트에 대한 주석을 생성하고 저장 하는 것을 가능하게 하기 위한 본 패실리티에 의해 구현된 캡처 프로세스(300)의 플로우 차트이다. 본 캡처 프로세스는 사용자가 보고 있는 특정 피스의 컨텐트에 하나 이상의 주석을 추가하고자 할 때마다 본 패실리티에 의해 실행될 수 있다. 임의의 타입의 컨텐트와 함께 오퍼레이팅 가능한 크로스-플랫폼 캡처 클라이언트를 생성하는 한가지 문제점은 사용자가 컨텐트를 볼 수 있는 포맷이 매우 다양하다는 것이다. 예를 들어, 문서로서 보편적인 컨텐트 피스 조차도 'Microsoft Word', 'Adobe PDF', 'Corel Word Perfect', 'OpenDocument' 등을 포함하여, 다양한 포맷으로 표현될 수 있다. 주석 캡처 클라이언트(130)의 넓은 적용가능성을 보장하기 위해 각각의 이러한 포맷의 컨텐트와 인터페이싱하는 인터페이스가 생성될 수 있지만, 클라이언트는 옵션으로서 사용자에 의해 사용되는 뷰잉 어플리케이션에 의해 지정된 언더라잉 컨텐트의 포맷이 아니라, 사용자에게 디스플레이되고 있는 컨텐트의 이미지와 상호작용한다. 그러나, (어플리케이션 API를 문의하는 것처럼) 디스플레이된 컨텐트에 대한 정보가 사용가능한 경우에, 본 시스템은 옵션으로서 디스플레이된 컨텐트 자체에 이미지 분석을 수행하는 대신에 이 정보를 사용한다. 블록(305)에서, 사용자의 디스플레이 상에 프리젠테이션되고 있는 컨텐트를 설명하기 위해 사용가능한 API가 존재하지 않는 경우에, 사용자에게 디스플레이되고 있는 컨텐트를 포함한 스크린 버퍼의 일부 또는 모두는 본 패실리티에 의해 캡처된다. 블록(310)에서, 캡처된 스크린 버퍼 데이터는 사용자에게 디스플레이되고 있는 텍스트를 식별하기 위해 OCR/인식 컴포넌트(150)에 의해 프로세싱된다. 인식 프로세스의 일부로서, 데이터, 그래픽, 및 디스플레이 포맷팅은 인식되고, 옵션으로서 서브 젝트 또는 앵커 자료로 사용되거나, 또는 폐기될 수 있다. 컨텐트를 보거나 처리하기 위해 사용자에 의해 사용되는 임의의 어플리케이션의 디스플레이 출력으로부터 텍스트를 추출함으로써, 캡처 클라이언트(130)는 각각의 컨텐트-디스플레이 어플리케이션의 API에 대한 인터페이스를 가지지 않고, 그 컨텐트 내의 모든 텍스트를 식별할 수 있고, 사용가능한 이러한 API가 없는 - 즉, 디스플레이된 컨텐트에 대한 정보가 사용가능하지 않는 상황을 처리할 수 있다. OCR/인식 컴포넌트는 사용자의 뷰잉 디바이스의 프리젠테이션 레이어 캡처 클라이언트(130)에 있는 것으로 도시되어 있으나, 당업자들은 일부 또는 모든 OCR/인식 프로세싱이 원격 서비스에 의해 수행될 수도 있음을 이해할 것이다. 예를 들어, 본 패실리티는 캡처 클라이언트에서 최초 프로세싱을 수행할 수 있지만, 유사한 또는 더 많은 리소스-집약적인 OCR 프로세싱(예컨대, 로고 및 상표에 대한 이미지-매칭, 로버스트 OCR 프로세스, 희귀하거나 특수한 폰트의 처리 등)을 수행할 수 있는 원격 OCR/인식 서비스로 부분적으로 처리된 데이터의 컨텐트 이미지 또는 캡처된 스크린 버퍼의 일부 또는 모두를 전송할 수 있다. 원격으로 프로세싱하는 것은 사용자의 디바이스로부터 계산 부담의 일부 또는 모두를 제거할 수 있고, 더 정교한 OCR/인식 프로세싱이 수행되는 것을 가능하게 한다.
사용자가 보고 있는 컨텐트 내에 포함된 텍스트(및 옵션으로서 다른 구별 엘리먼트)가 식별된 후, 사용자는 주석 레코더(155)를 사용하여 그 텍스트에 하나 이상의 주석을 추가하는 것이 가능하게 된다. 블록(315)에서, 본 패실리티는 그 컨텐트 내에 그 주석의 위치에 대하여 사용자로부터 지시를 수신한다. 주석은 문장, 단락, 페이지, 섹션, 챕터 등과 같은 문서 엘리먼트와, 위치적 영역(예컨대, 텍스트 및/또는 그래픽을 포함한 사각 박스)와 함께, 하나 이상의 단어의 컨텐트와 함께, 그 컨텐트 내의 하나의 포인트와 연관될 수 있다. 사용자의 뷰잉 디바이스에 의해 지원되는 임의의 입력 디바이스(예컨대, 마우스, 펜, 커서, 터치 스크린 등)를 사용하여, 사용자는 디스플레이된 컨텐트 내에 주석의 위치 또는 물리적 크기를 특정할 수 있다. 이 위치는 포인트, 단일 문자, 또는 일정 범위의 문자, 단일 단어 또는 일정 범위의 단어(예컨대, 문장 또는 단락), 또는 이들의 임의의 조합일 수 있다. 사용자는 클릭, 클릭 앤 드래그, 호버링, 및 우클릭 등과 같은, 임의의 커먼 위치-지정 메카니즘을 사용하여 그 위치를 특정할 수 있다.
몇몇 실시예에서, 본 패실리티는 미래에 디스플레이될 때 주석의 적절한 배치를 보장할 만큼 충분한 길이의 텍스트 세그먼트를 가지는 것에 의존한다. 사용자가 한 주석의 위치로서 그 컨텐트 내의 하나의 포인트만 식별한다면, 또는 사용자가 미래에 주석의 정확한 배치를 보장하기에 충분하지 않은 길이인 텍스트 세그먼트를 식별한다면, 본 패실리티는 그 주석과 연관시키기 위해 추가적인 텍스트를 식별한다. 대안으로서, 사용자는 특정 주석이 모든 특정 텍스트 세그먼트의 발생에 대하여 나타나는 것을 원할 수 있고, 이러한 경우에, 추가적인 텍스트 길이는 필요하지 않다. 블록(320)에서, 본 패실리티는 사용자가 주석의 위치로서 그 컨텐트 내의 텍스트 세그먼트를 식별하였는지, 아니면 그 컨텐트 내에 한 포인트만 식별하였는지 판단한다. 블록(330)에서, 본 패실리티는 그 텍스트 세그먼트가 미래의 그 주석의 정확한 배치를 보장할만큼 충분한 길이인지 여부를 판단한다. 블 록(320, 및 330)에서의 테스트가 미래에 그 주석의 정확한 배치를 위해 추가적인 테스트가 필요하다고 지시하면, 그리고 사용자가 그 텍스트 세그먼트의 이 인스탠스만 그 주석을 수신할 것임을 지시하면, 블록(325)에서, 본 패실리티는 그 주석의 적절한 배치를 보장하기 위해 사용될 수 있는 앵커 텍스트를 식별한다. 예를 들어, 도 2에 관하여, 5개의 인스탠스의 앵커 텍스트(210a, 210b, 210c, 210d, 및 210e)는 점선을 사용하여 도시되어 있다. 제1인스탠스의 앵커 텍스트(210a)는 주석(205b)과의 연관을 위해 사용자에 의해 선택된 텍스트 세그먼트 "Norwegian Blue" 한 측으로 뻗어 있다. 앵커 텍스트(210a)는 두 단어만으로 구성되어 있는 것이 미래에 주석(205b)의 정확한 배치를 보장하기 위해 텍스트 세그먼트의 너무 짧을 수 있는, 선택된 텍스트 세그먼트에 더 큰 컨텍스트를 제공하기 위해 본 패실리티에 의해 선택되었다. 앵커 텍스트(210b)는 주석(205c)의 배치를 위해 사용자에 의해 선택된 위치의 한 측 상에서 본 패실리티에 의해 선택되었다. 이와 유사하게 (210c)는 주석(205e)에 대한 위치에 앞서 있어 본 패실리티에 의해 선택되었다. 앵커 텍스트는 블록(325)에서 사용자에 의해 선택된 텍스트 세그먼트가 미래에 그 주석의 정확한 배치를 보장하기에 충분하지 않은 길이일 때, 본 패실리티에 의해 선택된다.
몇몇 실시예에서, 앵커 텍스트의 두 세그먼트는 본 패실리티에 의해 식별된다. 앵커 텍스트의 제1세그먼트는 그 컨텐트 내에서 그 주석의 사용자 식별된 위치 바로 앞에 식별된다. 앵커 텍스트의 제2세그먼트는 그 컨텐트 내에서 그 주석의 사용자 식별된 위치 바로 뒤에 식별된다. 앵커 텍스트의 각각의 세그먼트는 연 관된 주석의 적합한 위치를 보장하기 위해 개별적으로 충분하다. 예를 들어, 도 2에서 주석(205f)은 자신과 연관된 앵커 텍스트의 두 인스탠스를 가진다. 앵커 텍스트의 제1인스탠스(210d)는 그 주석의 위치 앞에 뻗어 있고, 앵커 텍스트의 제2인스탠스(210e)는 그 주석의 위치 뒤로 뻗어 있다. 각각의 앵커 텍스트의 인스탠스는 사용자에 의해 선택된 텍스트와 앵커 텍스트의 조합이 미래의 그 주석의 적합하게 위치시킴을 보장하도록 선택된다. 단일 주석과 두 세트의 앵커 텍스트의 사용은 아래에 추가적으로 서술된 바와 같이, 그 주석을 적절하게 위치시키려 할 때, 한 세트의 앵커 텍스트만이 본 패실리티에 의해 식별될 수 있는 경우에도 유리하다.
몇몇 실시예에서, 패실리티가 앵커 텍스트를 선택하는 것이 아니라, 본 패실리티는 주석을 정확하게 위치시키기 위해 사용자가 충분한 텍스트를 선택하는 것을 가이드하기 위해 사용자에게 인스트럭션을 제공할 수 있다. 즉, 사용자가 주석에 대한 위치를 선택할 때, 본 패실리티는 선택된 위치가 미래에 주석을 정확하게 위치시키기 충분하지 않다면 시각적 또는 청각적 지시를 제공할 수 있다. 시각적 또는 청각적 지시는 사용자가 선택된 충분한 텍스트를 가질 때까지 유지될 수 있다. 예를 들어, 본 패실리티는 사용자가 주석을 위치시킬 목적으로 텍스트를 하이라이팅하기 시작할 때 스크린 상의 아이콘을 처음에 빨간색으로 디스플레이하고, 사용자가 그 주석을 신뢰성있게 위치시키기에 충분한 텍스트를 선택한 때, 그 아이콘을 녹색으로 바꿀 수 있다. 시각적 또는 청각적 지시는 사용자가 본 패실리티에 적절한 위치 정보를 제공함을 보장하기 위한 피드백으로서 역할한다.
사용자가 주석에 대한 위치를 식별한 후, 그리고 임의의 앵커 텍스트가 본 패실리티에 의해 선택된 후, 블록(335)에서, 본 패실리티는 사용자로부터 주석을 수신한다. 주석은 임의의 형태(예컨대, 텍스트, 오디오, 비디오, 이미지, 링크 및 URIs, 다이나믹 액션 등)일 수 있고, 적절한 입력 메카니즘(예컨대, 키보드, 컷팅 및 패스팅, 마이크로폰 또는 비디오 카메라로의 레코딩 등)을 사용하여 사용자에 의해 입력될 수 있다. 주석은 사용자에 의해 사용되는 뷰잉 디바이스에 의해 디스플레이되거나, 포인팅되거나, 호출될 수 있는 임의의 형태를 취할 수 있다.
본 패실리티가 주석을 수신한 후, 어떤 경우에는, 주석 서버로 전송하기 전에 주석이 연관된 텍스트 세그먼트 및 앵커 텍스트의 컨텐트, 또는 주석의 컨텐트를 마스킹하는 것이 중요할 수 있다. 예를 들어, 캡처 클라이언트(130)는 주석 서버(105)로부터 멀리 떨어져 있을 수 있고, 그 둘 사이에 임의의 통신이 공개 네트워크 상에 존재할 수 있다. 그러므로, 어떠한 레벨의 시큐어리티 클라이언트와 통신 서버 사이의 통신이 인터셉트 당하지 않음을 보장하기 위해 사용될 수 있다. 다른 예로서, 주석 서비스를 사용하는 누군가의 프라이버시를 보호하기 위해 주석 서버(105)에 저장될 때 주석 또는 텍스트 세그먼트의 컨텐트를 마스킹하는 것이 중요할 수 있다. 이러한 경우에, 블록(340)에서, 시큐어리티 컴포넌트(160)는 주석, 및/또는 텍스트 세그먼트 및 앵커 텍스트의 식별정보를 암호화하거나 마스킹할 수 있다. 원하는 보호 레벨, 및 사용자, 또는 패실리티 오퍼레이터사용자의 선호도에 따라, 다양한 기술이 보안성을 제공하기 위해 적용될 수 있다. 예를 들어, 주석은 공개 키 암호 알고리즘을 사용하여 암호화될 수 있고, 주석 서버로 전송되고, 암호 화된 상태로 유지되고, 대응하는 개인 키를 가진 사람에 의해서만 볼 수 있다. 다른 예로서, 텍스트 세그먼트 및 앵커 텍스트의 체크섬이 계산될 수 있고, 주석과 함께 주석 서버로 전송된다. 아래 설명으로부터 알 수 있는 바와 같이, 주석은 주석 서버에 동일한 체크섬을 표시함으로써 액세스될 수 있다. 주석 서버가 체크섬만 저장하고, 체크섬과 연관된 실제 텍스트는 저장하지 않기 때문에, 주석 그 자체만은 주석 서버에 액세스하는 누군가에게 쉽게 확인될 수 있다. 주석이 연관된 실제 컨텐트는 이러한 체크섬의 사용에 의해 숨겨져 있을 것이다. 주석, 및 텍스트 세그먼트의 지시를 보안적으로 전송하고 저장하는 다른 방법은 당업자들에게 쉽게 이해될 것이다.
블록(345)에서, 캡처 클라이언트(130)는 텍스트 세그먼트, 앵커 텍스트, 및 주석의 지시를 주석 서버(105)로 전송한다. 주석이 캡처 클라이언트의 사용자 외의 제3자에 의해 액세스될 것이라면, 전체 주석은 주석 서버로 전송된다. 주석을 주석 서버에 저장하는 것은 주석이 디스플레이 클라이언트(135, 또는 140)를 사용하는 사용자에게 그 후에 배포되는 것을 가능하게 한다. 이와 대조적으로, 주석이 오직 캡처 클라이언트의 사용자에 의해서만 액세스될 것이라면, 주석은 캡처 클라이언트에 로컬 저장될 수 있다. 몇몇 실시예에서, 전체 텍스트 세그먼트 및 앵커 텍스트는 주석 서버로 전송된다. 몇몇 실시예에서, 텍스트 세그먼트 및 앵커 텍스트의 리프리젠테이션만 전송된다. 이러한 리프리젠테이션은 체크섬, 해시 값, 암호, 또는 텍스트 세그먼트 및 앵커 텍스트의 실제 컨텐트를 노출하지 않고 텍스트 세그먼트 및 앵커 텍스트를 고유하게 식별하는 다른 값일 수 있다. 주석 및 연관 정보는 사용자가 주석을 생성한 시간에 캡처 클라이언트에 의해 전송될 수 있고, 또는, 캡처 클라이언트에 의해 캐싱되고, 주기적으로 주석 서버로 전송될 수 있다. 주석 서버로의 전송 스케쥴은 전송을 만들기 위한 네트워크 사용가능성에 의해 정해질 수 있고, 다양한 패실리티 컴포넌트 사이의 트래픽의 크기를 최소화하기 위해 통신 효율에 의해 정해질 수 있다.
블록(350)에서, 주석 및 텍스트 세그먼트 및 앵커 텍스트의 지시는 주석 서버(105)에 의해 수신된다. 주석 서버는 주석과 연관된 텍스트 세그먼트 및 앵커 텍스트의 일부 또는 모두를 기초로 하여 주석이 순차적으로 식별될 수 있게 하는 방식으로 수신된 주석을 저장한다. 몇몇 실시예에서, 주석은 주석 데이터베이스(120)에 저장될 수 있고, 텍스트 세그먼트 리프리젠테이션 및 앵커 텍스트 리프리젠테이션은 텍스트 데이터베이스(115)에 저장된다. 텍스트 세그먼트 및 앵커 텍스트를 텍스트 데이터베이스에 저장하기 전에, 블록(335)에서 본 패실리티는 텍스트 세그먼트 리프리젠테이션 또는 앵커 텍스트 리프리젠테이션이 이미 텍스트 데이터베이스에 존재하는지 식별하기 위해 텍스트 데이터베이스를 검색한다. 텍스트 세그먼트 및 앵커 텍스트가 판단 블록(360)에서 본 패실리티에 의해 식별되지 않았다면, 텍스트 세그먼트 및 앵커 텍스트는 블록(365)에서 텍스트 데이터베이스에 추가된다. 블록(370)에서, 주석은 텍스트 데이터베이스에 저장된 텍스트 세그먼트 및 앵커 텍스트로의 레퍼런스 또는 다른 링크와 함께 주석 데이터베이스에 저장된다. 몇몇 실시예에서, 텍스트 세그먼트 및 앵커 텍스트와 연관된 텍스트는 저장된 텍스트의 부분이 텍스트 세그먼트에 대응하는지, 그리고 그 부분이 앵커 텍스트에 대응하는지의 지시와 함께 저장된다. 이러한 방식으로, 사용자에 의해 선택된(텍스트 세그먼트에 대응하는) 그 정확한 텍스트가 식별될 수 있는 한편, (텍스트 세그먼트 및 앵커 텍스트에 대응하는) 저장된 텍스트의 전체 크기는 주석의 정확한 복구를 보장하기 위해 사용될 수 있다. 본 패실리티가 텍스트 세그먼트 및 앵커 텍스트가 텍스트 데이터베이스에 이미 저장되어 있음을 판단 블록(360)에서 식별하면, 본 패실리티에 의한 프로세싱은 주석이 텍스트 세그먼트 및 앵커 텍스트에 대한 레퍼런스 또는 다른 링크와 함께 저장되는 블록(370)으로 계속할 수 있다. 이러한 방식으로, 텍스트 세그먼트 및 앵커 텍스트의 데이터베이스는 본 패실리티에 의해 구성되고, 각각 하나 이상의 주석과 연관된다.
몇몇 실시예에서, 주석 서버(105)에 의해 수신된 텍스트 세그먼트 리프리젠테이션 및 옵션의 앵커 텍스트 리프리젠테이션은
그 텍스트 세그먼트 및 앵커 텍스트가 유도된 문서(들)을 식별하기 위해 저장된 전자문서의 코퍼스(corpus)에 대응하는 리프리젠테이션과 비교된다. 연관된 문서(들)을 식별하기 위해 수신된 텍스트를 코릴레이팅하는 방법이 2005년 4월 19일에 출원된, "PROCESSING TECHNIQUES FOR VISUAL CAPTURE DATA FROM A RENDERED DOCUMENT"란 제목의 미국특허 출원번호 제11/110,353호에 개시되어 있다. 문서(들)의 식별정보는 텍스트 세그먼트, 앵커 텍스트, 및 주석과 연관되어 본 패실리티에 의해 저장될 수 있다.
패실리티에 의해 저장된 후, 텍스트 세그먼트와 연관된 주석은 사용자에게 프리젠테이션하기 위해 접근될 수 있다. 주석에 대한 즉각적인 액세스를 용이하게 하기 위해, 주기적 기준으로, 본 패실리티는 인덱스 데이터베이스(125)에 저장된 하나 이상의 인덱스를 빌딩하거나 업데이트할 수 있다. 이러한 인덱스는 디스플레이 클라이언트에 의해 주석의 실시간 또의 거의 실시간의 검색을 제공하도록 최적화될 수 있다. 당업자들은 주석 및 텍스트 데이터베이스로의 액세스를 최적화하기 위해 사용될 수 있는 다양한 기술이 존재함을 이해할 것이다.
도 1로 돌아가서, 주석이 텍스트 세그먼트 및 앵커 텍스트와 연관지어 저장된 후, 본 패실리티는 그 주석을 그 주석과 연관된 텍스트 세그먼트를 포함한 임의의 컨텐트를 보는 사용자에 의해 접근가능하게 한다. 사용자가 주석에 접근하는 것을 허용하기 위해, 주석 디스플레이 클라이언트(135, 및 140)가 사용자의 뷰잉 디바이스 상에서 오퍼레이팅할 수 있다. 텍스트 기반의 주석 디스플레이 클라이언트(135)는 텍스트 파서(165), 시큐어리티 컴포넌트(170), 및 포맷팅 및 디스플레이 컴포넌트(175)를 포함한다. 프리젠테이션 레이어 주석 디스플레이 클라이언트(140)는 텍스트 파서(165), 시큐어리티 컴포넌트(170), 및 포매팅 및 디스플레이 컴포넌트(175)를 포함하고, 부가적으로 광학 문자 인식(OCR), 또는 다른 이미지 인식 컴포넌트(180)를 포함한다. 일반적으로, 각각의 디스플레이 클라이언트는 컨텐트 내에 포함된 하나 이상의 텍스트 프래그먼트를 식별하기 위해 사용자에 의해 접근되고 있는 컨텐트를 파싱할 것이다. 보여지는 텍스트 프래그먼트의 리프리젠테이션은, 이들 텍스트 프래그먼트와 연관된 임의의 주석을 식별하는, 주석 서버(105)로 전송된다. 대응하는 주석이 주석 서버에 의해 그 주석이 사용자에게 디스플레이되는 디스플레이 클라이언트로 전송된다. 주석 클라이언트(135, 및 140) 의 각각의 컴포넌트의 오퍼레이션은 도 4A 및 4B에 나열된 디스플레이 프로세스에 관하여 서술될 것이다.
도 4A 및 4B는 사용자가 보고 있는 컨텐트와 연관된 주석에 사용자가 액세스가능하도록 본 패실리티에 의해 구현된 디스플레이 프로세스(400)의 플로우 차트이다. 본 디스플레이 프로세스는 사용자가 보고 있는 특정 피스의 컨텐트와 연관된 하나 이상의 주석을 사용자가 보고자 할 때마다 본 패실리티에 의해 실행될 수 있다. 본 패실리티는 최초로 사용자가 보고 있는 컨텐트에 포함된 텍스트를 식별한다. 텍스트 기반 주석 디스플레이 클라이언트(135)는 보여지고 있는 컨텐트가 컨텐트 내의 텍스트 프래그먼트를 식별하기 위해 (예컨대, 소스 어플리케이션에 대한 AIP 콜을 통해) 용이하게 획득될 수 있는 포맷인 환경에서 사용될 수 있다. 프리젠테이션 레이어 주석 디스플레이 클라이언트(140)는 보여지고 있는 컨텐트가 컨텐트 내의 텍스트 프래그먼트를 식별하기 위해 용이하게 획득되지 않는 (예컨대, 소스 어플리케이션이 사용자의 디스플레이 상에 프리젠테이션되고 있는 컨텐트를 설명하는 API를 내보내지 않는) 포맷인 환경에서 사용될 수 있다. 디스플레이 프로세스(400)는 프리젠테이션 레이어 디스플레이 클라이언트와 이후 언급된 텍스트 기반 디스플레이 클라이언트 사이의 차이점과 함께, 프리젠테이션 레이어 디스플레이 클라이언트(140)의 오퍼레이션을 도시한다.
캡처 클라이언트(130)의 오퍼레이션과 유사한 방식으로, 디스플레이 클라이언트는 디스플레이 클라이언트가 사용자가 볼 수 있는 컨텐트의 매우 다양한 포맷과 함께 오퍼레이팅 가능함을 보장하기 위해, 사용자에 의해 사용되는 뷰잉 어플리 케이션에 의해 전용되는 컨텐트의 언더라잉 포맷과 상호작용하는 것이 아니라, 사용자에게 디스플레이되고 있는 컨텐트의 이미지와 상호작용을 취한다. 블록(405)에서, 사용자의 뷰잉 디바이스 상에서 사용자에게 디스플레이되고 있는 컨텐트를 포함한 스크린 버퍼의 일부 또는 모두가 본 패실리티에 의해 캡처된다. 블록(410)에서, 캡처된 스크린 버퍼 데이터가 사용자가 보고 있는 텍스트를 식별하기 위해 OCR 컴포넌트(180)에 의해 프로세싱된다. OCR 프로세스의 일부로서, 원하지 않는 데이터, 그래픽, 및 디스플레이 포맷팅이 인식되고 폐기된다. 컨텐트를 보거나 다루기 위해 사용되는 임의의 어플리케이션의 디스플레이 출력으로부터 텍스트를 추출함으로써, 디스플레이 클라이언트(140)는 API가 각각의 컨텐트-뷰잉 어와 직접적으로 인터페이싱하는 것이 필수적임을 이해할 필요없이 사용자가 보는 컨텐트 내의 텍스트를 식별할 수 있다.
사용자가 보고 있는 텍스트가 식별된 후, 본 패실리티는 텍스트와 연관된 하나 이상의 주석의 식별을 시도한다. 블록(415)에서, 텍스트 파서(165)는 하나 이상의 텍스트 프래그먼트를 식별하기 위해 사용자가 보고 있는 컨텐트를 파싱한다. 텍스트 프래그먼트는 그 컨텐트 내에 포함된 하나 이상의 후속적인 단어이다. 당업자들은 다양한 알고리즘이 텍스트를 파싱하고, 비교 목적으로 주석 서버로 전송하기 위한 텍스트 프래그먼트를 식별하기 위해 사용될 수 있다. 몇몇 실시예에서, 텍스트의 각각의 단어 및 모든 단어의 리프리젠테이션이 비교 목적으로 주석 서버로 전송될 수 있다. 몇몇 실시예에서, 구별된 단어 또는 단어의 그룹만의 리프리젠테이션이 비교 목적으로 주석 서버로 전송될 수 있다. 주석 서버로 선택된 텍스 트 프래그먼트만 전송하는 다른 알고리즘이 또한 구현될 수 있다.
블록(420)에서, 시큐어리티 컴포넌트(170)는 텍스트 프래그먼트의 식별정보를 암호화하거나 또는 마스킹할 수 있다. 다양한 기술이 사용자 또는 본 패실리티의 오퍼레이터의 선호도 및 원하는 보호 레벨에 따라, 보안성을 제공하기 위해 적용될 수 있다. 예를 들어, 텍스트 프래그먼트는 공개 키 암호 알고리즘을 사용하여 암호화될 수 있고, 보안키를 사용하여 복호화되는 주석 서버로 전송될 수 있다. 다른 예로서, 텍스트 프래그먼트의 해시 값이 계산되고 주석 서버로 전송될 수 있다. 해시 값만 전송함으로써, 전송을 가로챈 누군가가 사용자가 어떠한 텍스트 프래그먼트를 보고 있는지 확인할 수 없을 것이다. 보안적으로 텍스트 프래그먼트를 전송하는 다른 방법은 당업자들에게 쉽게 이해될 것이다.
블록(425)에서, 본 패실리티는 텍스트 데이터베이스에 저장된 텍스트와 비교될 수 있는, 각각의 텍스트 프래그먼트의 지시를 주석 서버로 전송한다. 텍스트 프래그먼트는 본 패실리티에 의해 개별적으로, 또는 그룹으로, 그리고 레귤러, 또는 산발적 기준으로 전송될 수 있다. 예를 들어, 모든 텍스트 프래그먼트는 사용자가 처음 그 문서를 볼 때 전체 문서에 대하여 전송될 수 있고, 또는 사용자가 보고 있는 문서 부분에 대응하는 텍스트 프래그먼트만이 사용자가 각각의 부분을 볼 때 전송될 수 있다. 다른 예로서, 텍스트 프래그먼트는 사용자가 어떤 컨텐트에 대하여 주석 기능을 턴온하도록 선택하였을 때, 또는 사용자가 컨텐트의 특정 피스에 대하여 주석을 수신할 것을 적극적으로 요청한 때 전송될 수 있다.
블록(430)에서, 주석 서버(105)는 디스플레이 클라이언트(140)로부터 텍스트 프래그먼트의 지시를 수신한다. 블록(435)에서, 본 패실리티는 수신된 텍스트 프래그먼트의 지시를 저장된 텍스트와 수신된 텍스트를 매칭시키기 위한 텍스트 데이터베이스(115)에 저장된 텍스트 세그먼트 및 앵커 텍스트의 데이터베이스와 비교한다. 수신된 텍스트 프래그먼트가 텍스트 형태라면, 검색 트리가 수신된 텍스트를 트래버스하기 위해 본 패실리티에 의해 사용될 수 있고, 저장된 텍스트와 그것을 비교한다. 수신된 텍스트 프래그먼트가 해시 또는 텍스트 프래그먼트와 연관된 다른 값과 같은, 코딩된 형태로 표현되었다면, 본 패실리티는 수신된 코딩된 형태를 임의의 대응 텍스트 세그먼트 및 앵커 텍스트를 식별하기 위해 저장된 텍스트를 표현하는 코딩된 값의 테이블과 비교할 수 있다. 인덱스 데이터베이스(125)에 저장된 하나 이상의 인덱스는 비교가 신속하고 효율적인 방식으로 수행됨을 보장하기 위해 패실리티에 의해 사용될 수 있다. 수신된 텍스트와 저장된 텍스트를 비교하기 위해 본 패실리티에 의해 사용된 알고리즘은 정확한 매칭을 요구할 수도 있고, 또는 관련 있는 매칭, 또는 크로즈 매칭을 허용할 수 있다. 텍스트 프래그먼트가 사용자가 문서에서 앞으로 또는 뒤로 스크롤할 때 캡처될 수 있기 때문에, 앵커 텍스트의 한 세트 보다는, 두 세트를 사용하는 것이 어떠한 이점을 가질 수 있다. 주석의 위치를 정확하게 식별하기 위해 주석의 앞, 뒤의 충분한 텍스트를 저장함으로써, 주석은 앵커 텍스트가 스크린 상에서 스크롤될 때 신속하게 식별될 수 있다. 예를 들어, 주석 위치 앞의 앵커 텍스트는 사용자가 문서에서 앞으로 스크롤할 때 먼저 식별될 것이고, 주석 위치 뒤쪽의 앵커 텍스트는 사용자가 문서에서 뒤로 스크롤할 때 먼저 식별될 수 있다. 본 패실리티에 의한 제1세트의 앵커 텍스트의 검 출은 대응하는 주석이, (제2세트의 앵커 텍스트가 뷰잉가능한 디스플레이의 에지를 지나 숨어 있을 때와 같이) 제2세트의 앵커 텍스트가 아직 검출되지 않더라도, 디스플레이 되는 것을 허용한다.
블록(440)에서, 하나 이상의 수신된 텍스트 프래그먼트가 텍스트 데이터베이스에 저장된 텍스트와 매칭하는지를 판정하기 위해 본 패실리티에 의해 테스트가 이루어진다. 모든 텍스트 프래그먼트가 텍스트 데이터베이스에 저장된 텍스트와 매칭하지 않는다면, 블록(445)에서 디스플레이할 주석이 없음을 나타내는 메시지가 디스플레이 클라이언트로 전송된다. 디스플레이 클라이언트는 주석의 부재를 나타내는 아이콘 또는 메시지와 같은, 보여지는 컨텐트에 대한 주석이 존재하지 않음을 사용자에게 지시할 수 있다. 대안으로서, 디스플레이 클라이언트는 주석이 보여지는 컨텐트와 매칭하는 것으로 밝혀진 때만 디스플레이된다는 이해 하에서 사용자가 오퍼레이팅하고, 사용자에게 주석없이 컨텐트를 계속 디스플레이만할 수 있다.
주석 서버에 의해 수신된 하나 이상의 텍스트 프레그먼트가 텍스트 데이터베이스에 저장된 텍스트와 매칭한다면, 블록(450)에서, 본 패실리티는 텍스트 프레그먼트와 연관된 주석을 식별한다. 이러한 주석은 텍스트 데이터베이스(115) 내의 텍스트 세그먼트 및 앵커 텍스트와 주석 데이터베이스(120) 내의 주석 사이의 저장된 연관에 따라 본 패실리티에 의해 식별된다. 텍스트 프래그먼트가 매칭함을 알게된 각각의 텍스트 세그먼트 및 앵커 텍스트에 대하여, 주석은 디스플레이 클라이언트로 전송을 위해 식별된다. 블록(455)에서, 본 패실리티는 주석은 물론, 주석이 연관된 텍스트 세그먼트 및/또는 앵커 텍스트를 디스플레이 클라이언트로 전송 한다. 아래에 추가적으로 상세하게 서술된 바와 같이, 텍스트 세그먼트 및 앵커 텍스트는 디스플레이 클라이언트가 디스플레이된 컨텐트 상에 주석 및 임의의 주석 하이라이팅을 적절하게 위치시키는 것을 가능하게 하기 위해 전송된다. 수신된 텍스트 프레그먼트가 텍스트 세그먼트 및 앵커 텍스트와 정확하게 매칭한다면, 그리고 본 패실리티가 각각의 전송된 텍스트 프래그먼트 간의 연관, 및 주석 서버에 의한 검색 결과를 관리한다면, 디스플레이 클라이언트로 주석만 전송하고, 텍스트 세그먼트 및 앵커 텍스트의 전송을 생략하는 것이 가능할 수 있다.
블록(460)에서, 디스플레이 클라이언트(140)는 주석 서버(105)로부터 주석, 및 연관된 텍스트 세그먼트와 앵커 텍스트의 지시를 수신한다. 블록(465)에서, 디스플레이 클라이언트는 사용자가 보고 있는 컨텐트에 관한 주석의 위치를 결정한다. 텍스트가 유도된 대응하는 보여지는 컨텐트의 위치에 대한 OCR 컴포넌트(180)에 의해 발생된 텍스트의 맵핑은 본 패실리티에 의해 유지된다. 각각의 주석의 정확한 위치는 그러므로 각각의 주석에 대한 수신된 텍스트 세그먼트, 및 앵커 텍스트를 OCR 컴포넌트에 의해 식별된 텍스트와 비교함으로써 결정되고, 그 다음 매칭 OCR 텍스트가 그 컨텐트 내에 나타나는지 판정한다.
각각의 주석의 위치가 결정된 후, 블록(470)에서, 본 패실리티는 컨텐트 내의 동일한 위치에 그 주석을 디스플레이한다. 주석은 컨텐트를 보기 위해 사용자에 의해 사용되는 기존의 어플리케이션 프로그램을 오버레이하는 디스플레이 레이어에 주석을 삽입함으로써 디스플레이 클라이언트에 의해 디스플레이된다. 디스플레이 레이어는 컨텐트 뷰잉 어플리케이션이 주석을 포함하는 구역 외의 다른 모든 구역에서 검토될 수 있게 하는 투명 레이어이다. 컨텐트 뷰잉 어플리케이션으로부터 분리되어 컨트롤되는 디스플레이 레이어에 주석을 삽입함으로써, 본 패실리티는 더 넓은 범위의 컨텐트 포맷에 주석을 추가할 수 있다. 도 2는 텍스트형 컨텐트 위에 겹쳐진 때 이러한 주석이 사용자에게 나타날 수 있는 방법의 대표적인 예를 도시한다.
다양한 디스플레이 옵션의 일부로서, 사용자는 주석이 디스플레이되는 방법을 컨트롤하는 다수의 파라미터를 특정하는 것이 허용된다. 예를 들어, 사용자는 앵커 텍스트가 사용자에게 디스플레이되어야 하는지 사용자에게 디스플레이되지 않아야 하는지 여부를 특정하는 것이 허용될 수 있다. 디스플레이된다면, 앵커 텍스트는 사용자가 그 둘을 구별 가능하도록, 텍스트 세그먼트를 디스플레이 하기 위해 사용된 하이라이팅과 상이한 하이라이팅을 사용하여 프리젠테이션될 수 있다. 다른 예로서, 사용자는 주석이 그 주석이 처음 기록된 컨텍스트와 비교하여, 동일한 텍스트, 유사한 텍스트, 또는 상이한 텍스트에 디스플레이되어야 하는지를 특정하는 것이 허용될 수 있다. 동일한 컨텍스트는 텍스트 세그먼트와 앵커 텍스트가 그 텍스트 프레그먼트와 정확하게 매칭한다. 유사한 컨텍스트는 텍스트 세그먼트는 텍스트 프래그먼트의 일부와 정확하게 매칭하지만, 앵커 텍스트는 (정확하진 않지만) 합리적인 매칭이다. 상이한 컨텍스트는 텍스트 세그먼트는 텍스트 프레그먼트의 일부가 정확하게 매칭하지만, 앵커 텍스트는 텍스트 프레그먼트의 나머지와 매칭하지 않는다. 매칭의 타입을 특정함으로써, 사용자는 사용자에게 디스플레이된 주석의 개수를 간접적으로 조절할 수 있다. 다양한 파라미터는 또한 주석이 사용 자에게 시각적으로 디스플레이되는 방법을 결정하기 위해 사용자에 의해 설정될 수 있다. 예를 들어, 본 패실리티는 사용자가 (주석 그 자체가 아니라) 아이콘이 주석의 프리젠테이션을 지시하기 위해 하나의 피스의 컨텐트 상에 디스플레이되어야 함을 지시하는 것을 가능하게 할 수 있다. 그 다음, 클릭-온 또는 그외의 아이콘 상의 호버링은 주석의 디스플레이를 야기할 것이다. 다른 예로서, 주석은 사용자가 한 구절의 텍스트(예컨대, 단락)를 선택하고, 주석이 디스플레이될 것을 요청하지 않는다면 컨텐트 상에 지시되지 않을 것이다. 또 다른 예로서, 사용자에 가시적인 디스플레이의 일부분만이 주석을 디스플레이하도록 구성될 수 있다. 예를 들어, 디스플레이의 아래 절반부가 주석을 나타내도록 구성될 수 있고, 디스플레이의 위쪽 절반부는 주석을 나타내도록 구성되지 않을 수 있다. 사용자가 문서에서 스크롤하고 텍스트가 그 디스플레이 구역으로 들어갈 때, 주석이 디스플레이될 것이다. 텍스트가 디스플레이 구역을 벗어날 때, 주석은 제거될 것이다. 다른 디스플레이 옵션은 당업자들에 명백해질 것이다.
도 4A 및 4B에 도시된 프로세스(400)는 프리젠테이션 레이어 주석 디스플레이 클라이언트(140)의 오퍼레이션에 관하여 서술되어 있으나, 대부분의 프로세스는 또한 텍스트 기반 주석 디스플레이 클라이언트(135)에 동등하게 적용가능하다. 텍스트 기반 디스플레이 클라이언트는 컨텐트의 텍스트 형태가 디스플레이 클라이언트에 의해 용이하게 확인될 수 있는 환경에서 오퍼레이팅한다. 이러한 타입의 환경에서, 블록(405, 및 410)에 표시된 캡처 및 OCR 단계를 수행하는 것이 필수적이지는 않다. 이들 두 단계 이외에, 블록(415)에서 시작하고, 본 프로세스의 끝까지 계속하는, 텍스트 기반 주석 디스플레이 클라이언트(135)는 프리젠테이션 레이어 주석 디스플레이 클라이언트(140)와 동일한 프로세스(400)를 구현할 수 있다.
사용자에 주석을 디스플레이하는 것과 더불어, 본 패실리티는 또한 사용자에게 이전에 표시되었던 주석이 변경된 때 사용자에게 통지를 제공할 수 있다. 예를 들어, 본 패실리티는 사용자에게 디스플레이되었던 모든 주석의 기록을 유지할 수 있다. 사용자에게 디스플레이되었던 주석 중 하나가 주석에 텍스트가 추가되거나, 주석으로부터 텍스트가 삭제되는 것과 같이 수정되었다면, 본 패실리티는 이러한 수정을 사용자에게 통지할 수 있다. 이러한 통지는 이메일, 인스탠트 메시지, 또는 다른 변경 통지와 같이, 사용자에게 본 패실리티에 의해 즉시 전달될 수 있다. 부가적으로 또는 대안으로서, 이러한 통지는 사용자가 다음에 그 주석을 볼 때 사용자에게 전달될 수 있다. 예를 들어, 사용자가 사용자에게 이전에 프리젠테이션 되었던 주석을 가진 컨텐트를 본다면, 그 주석은 사용자가 그 주석을 보았던 이전 시간으로부터 측정된 주석에 대하여 이루어진 수정을 하이라이팅하는 방식으로 본 패실리티에 의해 디스플레이될 수 있다. 변경된 텍스트는 진한 폰트로 텍스트를 디스플레이하는 것, 하이라이팅 등과 같은 다양한 방식으로 사용자에게 디스플레이될 수 있다.
어플리케이션 프로그래밍 인터페이스(APIs)가 디바이스를 본 패실리티에 의해 제공된 캡처, 디스플레이, 및 저장 용량과 상호작용 가능하게 하기 위해 제공될 수 있음이 이해될 것이다. 예를 들어, 인터페이스는 휴대용 스캐닝 디바이스를 텍스트의 일부를 스캐닝하고, 스캐닝된 부분에 텍스트, 사운드, 또는 음성 주석을 부 착 가능하게 하기 위해 제공될 수 있다. 이러한 스캐닝된 부분 및 연관된 주석은 그 다음 저장을 위해 주석 서버로 전송될 수 있다. 대표적인 휴대용 스캐닝 디바이스는 2006년 5월 11일에 출원된, "A PORTABLE SCANNING AND MEMORY DEVICE"란 제목의 미국특허 출원번호 제11/209,333호에서 찾을 수 있다. 다른 예로서, 'Microsoft Word'와 같은 워드 프로세싱 프로그램은 주석 데이터 저장 구역에 저장된 주석을 액세스하고 디스플레이하기 위해 텍스트 디스플레이 클라이언트 기능을 통합할 수 있다.
본 명세서의 설명이 사용자-발생된 주석을 다루고 있으나, 본 패실리티의 변형은 패실리티-발생된 주석과 함께 오퍼레이팅할 수도 있다. 패실리티-발생된 주석은 다양한 형태를 나타낼 수 있다. 한가지 형태로서, 본 패실리티는 기사, 블록, 및 다른 컨텐트와 같은 텍스트형 리소스를 위치시키기 위해 인터넷과 같은 네트워크를 크롤하는 네트워크 크롤링 컴포넌트를 포함할 수 있다. 웹 크롤링 컴포넌트가 인용, 제목, 저자명, URI, 또는 크롤링되는 컨텐트 내의 다른 고유 스트링을 위치시킨 때, 본 패실리티는 고유 스트링과 연관된 텍스트를 캡처하고, 그 고유 스트링에 대한 주석으로서 캡처된 텍스트를 사용할 수 있다. 예를 들어, 네트워크 크롤링 컴포넌트가 "John F. Kennedy"의 인용문 "Ich bin ein Berliner",를 포함하는 블로그를 식별한다면, 본 패실리티는 그 인용문과 연관된 주석으로서 그 인용문 주변의 텍스트를 저장할 수 있다. 이로 인해 그 블로그 전체는 그 인용문이 디스플레이될 때마다 보여질 수 있는 주석이 된다.
주석의 다른 대안의 형태는 상품 또는 서비스를 광고하는 광고 주석이다. 광고 주석은 광고를 특정 구문과 연관시키고자 하는 사용자에 의한 것과 같은, 사용자-배치될 수 있다. 예를 들어, 사용자는 문구 "무지개 연어"를 날치 여행 대한 광고와 함께 주석을 달 수 있다. 광고 주석은 또한 시스템 위치될 수 있다. 예를 들어, 인플레터블(inflatable) 보트를 팔고자 하는 사용자는 본 패실리티에 광고 신청서를 제출할 수 있다. 매칭 알고리즘을 사용하여, 본 패실리티는 강에서 레프팅을 서술하는 컨텐트와 연관지어 인플레터블 보트에 대한 광고 주석을 디스플레이할 수 있다. 광고 주석은 또한 본 패실리티에 의해 어떤 컨텐트와 자동적으로 연관될 수 있다. 예를 들어, "Amazon.com"과 같은 회사 이름은 항상 그 회사에 대한 링크 또는 다른 광고를 제공하는, 그것에 연관된 주석을 가질 수 있다.
1. 시스템 특성
전자적 부본을 가지는 모든 렌더링된 문서에 대해, 상기 전자 부본을 식별할 수 있는 렌더링된 문서에서의 이산적인 양의 정보가 존재한다. 일부 실시예에서, 시스템은 예를 들면 상기 문서의 전자적 부분을 식별하고 배치시키기 위해 핸드헬드 스캐너 또는 기타 스캐닝 기술을 이용하여 렌더링된 문서로부터 캡처된 텍스트의 샘플을 이용한다. 대부분의 경우, 문서로부터의 소수의 텍스트 중 소수의 단어가 대개 렌더링된 문서에 대한 식별자로서 기능하고 자신의 전자적 부본에 대한 링크로서 기능한다는 점에서 설비에 의해 필요한 텍스트의 양은 매우 작다. 추가로, 시스템은 문서뿐만 아니라 상기 문서 내의 위치를 식별하기 위해 이들 소수의 단어를 이용할 수 있다.
따라서, 렌더링된 문서와 그것들의 디지털 부본은 본문에서 논의된 시스템을 이용하여 다수의 유용한 방식으로 연관될 수 있다. 추가로, 렌더링된 문서는 상기 렌더링된 문서에 연관된 다른 문서 및 메타데이터에 연관될 수 있다.
1.1. 미래의 빠른 조망
시스템이 렌더링된 문서에서의 텍스트를 이미 구축된 특정한 디지털 엔트리에 연관시키면, 상기 시스템은 그 연관성에 대해 매우 커다란 양의 기능을 구축할 수 있다.
대부분의 렌더링된 문서는 월드 와이드 웹 상에서 또는 기타 온라인 데이터베이스나 문서 코퍼스로부터 액세스가능하거나, 또는 액세스가능하게 될 수 있는, 대금 결제 또는 가입에 응답하는 것과 같이 전자적 부본을 가지는 경우가 점차 늘고 있다. 가장 간단한 레벨에서, 그런다음 사용자가 렌더링된 문서에서 몇몇 단어를 스캐닝할 때, 상기 시스템은 그 전자 문서 또는 그의 일부를 검색하거나, 또는 그것을 디스플레이하고, 그것을 누군가에게 이메일로 보내고, 그것을 구매하고, 그것을 인쇄하거나 그것을 웹페이지로 포스팅할 수 있다. 추가적인 예시로서, 사람이 아침식사 동안 읽는 책의 몇몇 단어를 스캐닝하는 것은 그 사람의 차에서의 오디오-북 버전으로하여금 그/그녀가 직장에 가기 위해 운전을 시작하는 시점으로부터 독서를 시작하도록 하거나, 또는 프린터 카트리지 상의 시리얼 번호를 스캐닝하는 것은 교체 주문의 프로세스를 시작할 수 있다.
시스템은 문서의 기록, 인쇄 및 출판의 현재프로세스에 대한 변경과, 이러한 종래 렌더링된 문서에 완전히 새로운 디지털 기능의 레이어를 제공하지 않으면서 이러한 그리고 다른 "렌더링된 문서/디지털 통합"의 다수의 예를 구현한다.
1.2. 전문용어
시스템의 일반적인 사용은 종이 문서 또는 디바이스 디스플레이로부터의 텍스트를 스캐닝하는 광학 스캐너를 이용하여 시작하지만, 다른 유형의 문서로부터의 캡처하는 기타 방법이 동일하게 적용가능하다는 것에 유의하는 것이 중요하다. 시스템은 따라서 때때로 렌더링된 문서로부터의 텍스트를 스캐닝하거나 또는 캡처하는 것으로 기술되고, 여기서 이들 용어는 하기와 같이 정의된다:
렌더링된 문서는 인쇄된 문서 또는 디스플레이나 모니터 상에 표시되는 문서이다. 그것은 영구적인 형태로 또는 일시적인 디스플레이 상에 인간이 감지할 수 있는 문서이다.
스캐닝 또는 캡처는 렌더링된 문서로부터의 정보 획득을 위한 시스템적인 검사 프로세스이다. 상기 프로세스는 스캐너 또는 카메라(예를 들면, 휴대폰에 있는 카메라)를 이용하고, 디스플레이를 스크랩(예를 들면 스크린/스크린 버퍼의 OCR, 또는 디스플레이된 문서로부터의 문서 정보 추출, 섹션 12.2.4를 참조)하는 광학 캡처를 포함하거나, 또는 그것은 상기 문서로부터 오디오 캡처로 소리내어 읽는 것 또는 그것을 키패드 또는 키보드 상에서 타이핑하는 것을 포함한다. 추가적인 예시로, 섹션 15를 참조하라.
2. 시스템으로 도입
본 섹션은 렌더링된 문서/디지털 통합을 위한 시스템을 구성하는 디바이스, 프로세스, 및 시스템들의 일부를 기술한다. 다양한 실시예에서, 상기 시스템은 기본 기능을 제공하는 이러한 기저의 코어에 대한 폭넓은 다양한 서비스 및 애플리케이션을 구축한다.
2.1. 프로세스
도 1은 코어 시스템의 하나의 실시예에서의 정보의 흐름을 예시하는 데이터 흐름도이다. 다른 실시예는 여기서 예시된 스테이지 또는 엘리먼트 모두를 사용하지는 않겠지만, 일부는 보다 다수를 사용할 것이다.
렌더링된 문서로부터의 텍스트는 일반적으로 광학 스캐너에 의해 광학적인 형태로, 또는 보이스 레코더에 의해 오디오로 캡처되고(100), 상기 이미지 또는 사운드 데이터는 그런다음 예를 들면 상기 캡처 프로세스의 인위적 구조를 제거하거나 또는 신호-대-잡음 비를 개선시키도록 처리된다(102). OCR, 음성 인식, 또는 자기상관성과 같은 인지 프로세스(104)는 그런다음 상기 데이터를 일부 실시예에서 텍스트, 텍스트 오프셋, 또는 기타 심볼로 구성된 기호로 변환한다. 대안으로, 상기 시스템은 렌더링된 문서로부터 문서 기호를 도출하는 대안의 형태를 수행한다. 상기 기호는 일부 실시예에서 가능한 텍스트 전사의 세트를 나타낸다. 이러한 프로세스는 예를 들면 검색 프로세스 및 컨텍스트 분석(110)이 어떤 캡처가 원본인지 일부 후보 문서를 식별하고, 그 결과 원본 캡처의 가능한 번역을 협소화시킨다면, 다른 스테이지로부터의 피드백에 의해 영향을 받는다.
포스트-처리(106) 스테이지는 인식 프로세스의 출력을 받아서 그것을 필터링하거나 또는 유용할 때 그것에 대한 이러한 기타 동작을 수행할 수 있다. 구현된 실시예에 따라, 사용자의 의도를 담기 위해 그 자체에 충분한 정보를 포함하고 있는 문구 또는 심볼이 캡처되는 것과 같이, 추후의 스테이지에 대한 참조없이, 즉시 취해지는 일부의 직접적인 액션(107)을 추론하여 얻는 것이 상기 스테이지에서 가능하다. 이러한 경우, 디지털 부본 문서는 참조되거나 시스템에 알려질 필요도 없다.
그러나, 일반적으로, 다음 스테이지는 검색시 사용하기 위한 문의(108) 또는 문의의 세트를 구축할 것이다. 상기 문의 구성의 일부 측면은 사용되는 검색 프로세스에 따르며, 따라서 다음 스테이지까지 수행될 수 없지만, 일반적으로 미리 수행될 수 있는 명백하게 오인되거나 또는 부적절한 문자의 제거와 같은 일부 동작이 있을 수 있다.
그런다음 문의 또는 문의들은 검색 및 문맥 해석 스테이지(110)로 진행한다. 여기서, 시스템은 선택적으로 원본 데이터가 캡처되는 문서를 식별하도록 시도한다. 이를 수행하기 위해, 시스템은 일반적으로 검색 인다이스와 검색 엔진(112), 사용자(114)에 대한 지식 및 사용자의 컨텍스트 또는 캡처가 발생한 컨텍스트에 관한 지식을 이용한다(116). 검색 엔진(112)은 렌더링된 문서, 그것들의 디지털 부본 문서, 및 웹(인터넷 링크가 있는)을 가진 문서에 관한 정보를 특히 채용 및/또는 인덱싱한다. 상술한 바와 같이, 그것은 이러한 다수의 소스로부터 판독할 뿐만 아니라 기록하고, 그것은 예를 들면 언어, 폰트, 렌더링 및 후보 문서의 자신의 지식에 기초하여 다음번이 될 것 같은 단어에 관한 정보를 인식 시스템(104)으로 제공함으로써 프로세스의 다른 스테이지로 정보를 공급한다.
일부 환경에서, 다음번 스테이지는 식별된 문서 또는 문서들의 사본을 검색할 것이다(120). 문서(124)의 소스는 예를 들면 로컬 파일링 시스템 또는 데이터베이스, 또는 웹서버로부터 직접 액세스가능하거나, 그것들은 인증, 시큐어리티 또는 결제를 강요하는 일부 액세스 서비스(122)를 통해 접촉될 필요가 있거나 또는 원하는 포맷으로의 문서의 변환과 같은 기타 서비스를 제공한다.
시스템의 애플리케이션은 문서의 일부 또는 전체와의 추가 기능 또는 데이터의 연관성을 이용할 수 있다. 예를 들면, 섹션 10.4에서 논의되는 광고 애플리케이션은 문서의 일부와의 가진 특정한 광고 메시지 또는 대상의 연관성을 이용할 수 있다. 이러한 추가 연관된 기능 또는 데이터는 문서상에 하나 이상의 오버레이되는 것으로 간주될 수 있고, 본문에서는 "마크업"이라고 한다. 그런다음 프로세스(130)의 다음 스테이지는 캡처된 데이터에 연관된 마크업을 식별하기 위한 것이다. 이러한 마크업은 사용자, 창작자, 또는 문서의 출판업자, 또는 기타 관계자에 의해 제공될 수 있고, 일부 소스(132)로부터 직접 액세스가능하거나, 또는 일부 서비스(134)에 의해 생성될 수 있다. 다양한 실시예에서, 마크업은 렌더링된 문서 및/또는 렌더링된 문서에 대한 디지털 부본에 연관되고, 그에 적용하거나 또는 이들 문서 중 어느 하나 또는 그 모두의 그룹에 적용할 수 있다.
마지막으로, 선행한 스테이지의 결과로서, 일부 액션이 취해질 수 있 다(140). 이것들은 발견된 정보를 간단히 기록하는 것과 같은 디폴트 액션일 수 있고, 그것들은 데이터 또는 문서에 종속적이거나, 또는 그것들은 마크업 해석으로부터 도출될 수도 있다. 때때로, 액션은 단지 데이터를 또다른 시스템으로 전달만 할 것이다. 일부 경우, 렌더링된 문서에서의 특정한 포인트에서의 캡처에 대해 적절한 다양한 가능성 있는 액션이 예를 들면 로컬 디스플레이(332) 상, 컴퓨터 디스플레이(212) 또는 모바일 폰 또는 PDA 디스플레이(216) 상과 같은 연관된 디스플레이 상의 메뉴로서 사용자에게 제시된다. 사용자가 메뉴에 응답하지 않으면, 디폴트 액션이 취해질 수 있다.
2.2 컴포넌트
도 2는 전형적인 운영 환경의 컨텍스트에서의 시스템의 일반적인 구현에 포함되는 컴포넌트의 컴포넌트 다이어그램이다. 도시된 바와 같이, 운영환경은 하나 이상의 광학 스캐닝 캡처 디바이스(202) 또는 음성 캡처 디바이스(204)를 포함한다. 일부 실시예에서, 동일한 디바이스가 2 가지 기능 모두를 수행한다. 각 캡처 디바이스는 직접적인 유선 또는 무선 연결을 이용하여, 또는 그것이 유선 또는 무선 연결을 이용하여 통신할 수 있는 네트워크(220)를 통하여 컴퓨터(212) 및 모바일 기지국(216)(예를 들면, 모바일 폰 또는 PDA)과 같은 시스템의 다른 일부와 통신할 수 있고, 상기 무선 연결은 일반적으로 무선 기지국(214)을 포함한다. 일부 실시예에서, 캡처 디바이스는 모바일 기지국에 통합되고, 선택적으로 음성 통신 및 화상-획득을 위한 디바이스에 사용되는 오디오 및/또는 광학 컴포넌트 중 일부를 공유한다.
컴퓨터(212)는 스캐닝 디바이스(202, 204)로부터의 명령을 처리하기 위한 컴퓨터 실행가능한 명령어를 저장하고 있는 메모리를 포함한다. 예로서, 명령은 식별자(스캐닝 디바이스(202/204)의 시리얼 번호, 또는 사용자 스캐너를 부분적으로 또는 고유하게 식별하는 식별자와 같은), 스캐닝 컨텍스트 정보(예를 들면, 스캔 시간, 스캔 위치 등), 및/또는 스캔된 문서를 고유하게 식별하기 위해 사용되는 스캔된 정보(텍스트 스트링과 같은)를 포함할 수 있다. 대안적인 실시예에서, 동작 환경은 다소의 컴포넌트를 포함할 수 있다.
검색 엔진(232), 문서 소스(234), 사용자 계정 서비스(236), 마크업 서비스(238) 및 기타 네트워크 서비스(239)가 또한 네트워크(220) 상에서 가용하다. 상기 네트워크(220)는 회사 인트라넷, 공중망 인터넷, 모바일 폰 네트워크, 또는 기타 네트워크, 또는 상기의 상호연결이 될 수 있다.
디바이스가 서로 결합되는 방식에 관계없이, 그것들은 공지된 상업적 트랜잭션과 통신 프로토콜(예를 들면 인터넷 프로토콜(IP))에 따라 동작가능하다. 다양한 실시예에서, 스캐닝 디바이스(202), 컴퓨터(212), 및 모바일 기지국(216)의 기능과 능력은 하나의 디바이스에 전체적으로 또는 부분적으로 통합될 수 있다. 따라서, 스캐닝 디바이스, 컴퓨터, 및 모바일 기지국이라는 용어는 상기 디바이스가 스캐닝 디바이스(202), 컴퓨터(212) 및 모바일 기지국(216)의 기능과 능력을 통합하는 것에 따라 동일한 디바이스를 가리킬 수 있다. 추가로, 검색 엔진(232), 문서 소스(234), 사용자 계정 서비스(236), 마크업 서비스(238), 및 기타 네트워크 서비스(239)의 기능의 일부 또는 모두가 디바이스 및/또는 도시되지 않은 기타 디바이스 상에서 구현될 수 있다.
2.3. 캡처 디바이스
상술한 바와 같이, 캡처 디바이스는 렌더링된 문서로부터의 이미지 테이터를 캡처하는 광학 스캐너, 또는 텍스트를 사용자가 소리내어 읽는 것을 캡처하는 오디오 레코딩 디바이스, 또는 기타 방법을 이용하여 텍스트를 캡처한다. 캡처 디바이스의 일부 실시예는 또한 바코드와 같은 기계판독가능한 코드를 포함하는 이미지, 그래픽 심볼, 및 아이콘 등을 캡처할 수 있다. 디바이스는 매우 간단하고, 트랜스듀서, 일부 저장장치, 및 데이터 인터페이스 정도로 구성되고, 시스템 내의 임의의 위치에 상주하는 기타 기능에 따르거나, 그것은 보다 풀-피처링된 디바이스이다. 예시를 위해, 본 섹션은 광학 스캐너 기반이고 적절한 수의 피처를 가진 디바이스를 기술한다.
스캐너는 이미지를 캡처하고 디지털화하는 공지된 디바이스이다. 복사기 산업의 한 분류인, 첫번째 스캐너는 한번에 전체 문서를 캡처하는 상대적으로 큰 디바이스였다. 최근에, 휴대가능한 광학 스캐너가 펜-형상의 핸드헬드 디바이스와 같은 편리한 형태의 팩터로 도입되었다.
일부 실시예에서, 휴대가능한 스캐너가 렌더링된 문서로부터 텍스트, 그래픽, 또는 심볼을 스캔하기 위해 사용된다. 휴대가능한 스캐너는 렌더링된 문서로부터 텍스트, 심볼, 그래픽 등을 캡처하기 위한 스캐닝 엘리먼트를 구비한다. 종 이 상에 인쇄된 문서에 추가하여, 일부 실시예에서, 렌더링된 문서는 CRT 모니터 또는 LCD 디스플레이와 같은 화면상에 디스플레이되는 문서를 포함한다.
도 3은 스캐너(302)의 실시예의 블록도이다. 스캐너(302)는 렌더링된 문서로부터 정보를 스캔하여 그것을 기계판독가능한 데이터로 변환하는 광학 스캐닝 헤드(308), 렌더링된 문서로부터 스캐닝 헤드로 이미지를 전달하는 애퍼쳐 또는 이미지 도관, 일반적으로 렌즈인 광학 경로(306)를 포함한다. 스캐닝 헤드(308)는 전하-결합 소자(CCD), 상보성 금속 산화막 반도체(CMOS) 이미징 디바이스, 또는 기타 유형의 광학 센서를 통합시킨다.
마이크로폰(310)과 연관된 회로는 환경의 소리(음성 언어 포함)를 기계판독가능한 신호로 변환하고, 기타 입력 설비가 버튼, 스크롤 휠 또는 터치 패드(314)와 같은 기타 접촉식 센서의 형태로 존재한다.
사용자로의 피드백은 시각적 디스플레이 또는 지시광(332)을 통해, 스피커나 기타 오디오 트랜스듀서(334)를 통해, 그리고 진동 모듈(336)을 통해 가능하다.
스캐너(302)는 다양한 기타 컴포넌트와 상호작용하고, 수신된 신호를 상이한 포맷 및/또는 번역으로 처리할 수 있는 로직(326)를 포함한다. 로직(326)은 RAM, ROM, 플래시 또는 기타 적절한 메모리와 같은 연관된 저장장치(330)에 저장된 프로그램 명령어와 데이터를 판독 및 기록하도록 동작할 수 있다. 그것은 클록 유닛(328)으로부터 시간 신호를 판독할 수 있다. 스캐너(302)는 또한 스캔된 정보와 기타 신호를 네트워크 및/또는 연관된 컴퓨팅 디바이스로 통신하는 인터페이스(316)를 포함한다. 일부 실시예에서, 스캐너(302)는 온-보드 전원(332)을 구비 한다. 다른 실시예에서, 스캐너(302)는 범용직렬버스(USB) 연결과 같은 다른 디바이스로의 구속된 연결로부터 전원을 공급받을 수 있다.
스캐너(302)의 하나의 사용예로서, 독자는 스캐너(302)로 신문 기사로부터 일부 텍스트를 스캔할 수 있다. 텍스트는 스캐닝 헤드(308)를 통해 비트맵 이미지로서 스캐닝된다. 로직(326)은 비트맵 이미지가 클록 유닛(328)으로부터 판독된 연관된 타임 스탬프를 가지고 메모리(330)에 저장되도록 한다. 로직(326)은 또한 광학 문자 인식(OCR) 또는 그것을 텍스트로 변환시키기 위한 비트맵 이미지에 대한 기타 포스트-스캔 처리를 수행할 수 있다. 로직(326)은 선택적으로 예를 들면 문자, 심볼 또는 객체의 반복하는 발생을 배치시키는 중첩 형태(convolution-like)의 프로세스를 수행함으로써 이미지로부터 기호를 추출하고, 이들 반복된 엘리먼트 사이의 다른 문자, 심볼 또는 객체의 거리 또는 수를 판정한다. 독자는 그런다음 인터페이스(316)를 통해 연관된 컴퓨터로 비트맵 이미지(또는 포스트-스캔처리가 로직(326)에 의해 수행되었다면 텍스트 또는 다른 기호)를 업로드할 수 있다.
스캐너(302)의 또다른 사용예로서, 독자는 음향 캡처 포트와 같은 마이크로폰(310)을 이용함으로써 오디오 파일과 같은 것으로부터 일부 텍스트를 캡처할 수 있다. 로직(326)은 오디오 파일이 메모리(328)에 저장되도록 한다. 로직(326)은 또한 음성인식 또는 오디오 파일을 텍스트로 변환시키기 위한 오디오 파일에 대한 기타 포스트-스캔 처리를 수행할 수 있다. 상기와 같이, 독자는 그런다음 인터페이스(316)를 통해 연관된 컴퓨터로 오디오 파일(또는 로직(326)에 의해 수행된 포스트-스캔 처리에 의해 생성된 텍스트)을 업로드한다.
파트 Ⅱ-코어 시스템 영역의 개관
렌더링된 문서/디지털 통합이 보다 일반화된 때, 이러한 통합을 더 잘 이용하거나, 또는 그것이 보다 효과적으로 구현될 수 있도록 변경될 수 있는 기존의 기술의 다수의 측면들이 있다. 본 섹션은 이러한 이슈들 중 일부에 집중한다.
3. 검색
문서의 코퍼스를 검색하는 것은, 월드 와이드 웹과 같은 매우 커다란 코퍼스라고 할지라도, 검색 엔진으로 전송되는 검색 문의를 구성하기 위해 키보드를 사용하는 평범한 사용자에게 일상적인 것이 되었다. 본 섹션과 다음의 섹션은 렌더링된 문서로부터의 캡처에 의해 생성된 문의의 구성과 이러한 문의를 핸들링하는 검색 엔진 모두의 측면을 논의한다.
3.1. 검색 문의로서의 스캔/말하기/유형
기술된 시스템의 이용은 일반적으로 상기의 섹션 1.2에 언급한 방법들을 포함하는 다수의 방법을 이용하여 렌더링된 문서로부터 캡처된 몇몇 단어로 시작한다. 입력은 예를 들면, OCR 또는 음성 입력의 경우에 그것을 텍스트로 변환하기 위한 번역을 필요로하는 경우, 문서 코퍼스가 인식 프로세스를 개선시키기 위해 사용될 수 있도록 시스템에서의 엔드-투-엔드 피드백이 있을 수 있다. 엔드-투-엔드 피드백은 인식 또는 번역의 접근방식을 수행하고, 하나 이상의 후보 매칭 문서의 세트를 식별하고, 그런다음 인식 또는 번역을 더 정제하거나 한정하기 위해 후보자 문서에서의 가능한 매칭으로부터의 정보를 이용하는 것에 의해 적용될 수 있다. 후보자 문서는 그것들의 가능한 연관성(예를 들면 본 문서들에서 스캐닝한 다른 사용자의 수, 또는 인터넷에서의 그것들의 인기도에 기초하여)에 따라 가중치가 주어질 수 있고, 이들 가중치는 본 반복적 인식 프로세스에 적용될 수 있다.
3.2. 짧은 문구 검색
몇몇 단어에 기초한 검색 문의의 선택적 파워는 이들 단어의 상대적 위치가 알려져 있을때 매우 개선되기 때문에, 작은 양의 텍스트만이 코퍼스에서의 텍스트 위치를 식별하기 위해 시스템에 대해 캡처될 필요가 있다. 가장 일반적으로, 입력 텍스트는 짧은 문구와 같은 단어의 연속한 시퀀스가 될 것이다.
3.2.1. 짧은 캡처로부터의 문서 및 문서에서의 위치 발견
문구가 발생한 문서의 배치에 추가하여, 시스템은 그 문서에서의 위치를 식별하고 상기 지식에 기초하여 액션을 취할 수 있다.
3.2.2. 위치 발견을 위한 기타 방법
시스템은 또한 워터마크 또는 렌더링된 문서에 기타 특별한 마킹을 이용하는 것과 같이 문서 및 위치를 발견하기 위한 기타 방법을 채용한다.
3.3. 검색 문의에서의 기타 팩터의 통합
캡처된 텍스트에 추가하여, 다른 팩터(즉, 사용자 신원, 프로파일, 컨텍스트에 관한 정보)가 캡처 시간, 사용자의 신원 및 지리학적 위치, 사용자의 습관 및 최근 행위의 지식, 등과 같은 검색 문의의 일부를 형성할 수 있다.
문서 신원과 이전의 캡처에 연관된 기타 정보는 특별히 그것들이 매우 최근의 것이라면 검색 문의의 일부를 형성할 수 있다.
사용자 신원은 캡처 디바이스와 연관된 고유 식별자 및/또는 생체 또는 기타 보충 정보(음성 패턴, 지문 등)로부터 판정될 수 있다.
3.4. 검색 문의에서의 비신뢰성의 특성에 관한 지식( OCR 오류 등)
검색 문의는 사용된 특정한 캡처에서 발생할 수 있는 오류의 유형을 고려하여 구성될 수 있다. 이러한 한 예시는 특정한 문자의 인식에서 의심되는 오류를 지시하는 것이고; 본 예시에서 검색 엔진은 이들 문자들을 와일드-카드로 처리하거나, 또는 그것들에 낮은 우선순위를 할당할 수 있다.
3.5. 성능/오프라인 사용을 위한 인덱스의 로컬 캐싱
때때로, 캡처링 디바이스는 데이터 캡처시 검색 엔진 또는 코퍼스와 통신할 수 없다. 이러한 이유로, 디바이스의 오프라인 사용에 도움이 되는 정보가 미리 디바이스로 또는 디바이스가 통신할 수 있는 일부 엔티티로 다운로드될 수 있다. 일부 경우에, 코퍼스에 연관된 인덱스의 모두 또는 거의 일부가 다운로드될 수 있 다. 이러한 토픽은 섹션 15.3에서 더 논의된다.
3.6. 추후에 기록 및 동작될 수 있는 임의의 형태의 문의
문의를 통신하거나 또는 결과를 수신하는 것에 연관된 지연 또는 비용이 있을 것 같으면, 이러한 미리 로딩된 정보가 로컬 디바이스의 성능을 개선시키고, 통신 비용을 감소시키고, 도움이 되고 시기적절한 사용자 피드백을 제공할 수 있다.
통신이 가용하지 않은 상황(로컬 디바이스가 "오프라인"인)에서, 문의가 저장되어, 통신이 복구되는 때에 시스템의 나머지로 전송될 수 있다.
이 경우, 각 문의와 타임-스탬프를 전송하는 것이 중요하다. 캡처 시간은 문의의 번역에서 중요한 팩터가 될 수 있다. 예를 들면, 섹션 13.1은 더 선행하는 캡처에 대한 캡처 시간의 중요성을 논의한다. 캡처 시간이 문의가 실행되는 시간과 항상 동일한 것은 아니라는 것에 유의하는 것이 중요하다.
3.7. 병렬 검색
성능의 이유로, 다중 문의가 순차적 또는 병렬 중 어느 하나로 단일 캡처에 응답하여 시작될 수 있다. 다수의 문의는 예를 들면 새로운 단어들이 캡처에 부가될 때 단일 캡처에 응답하거나, 또는 병렬로 다중 검색엔진을 문의하기 위해 전송된다.
예를 들면, 일부 실시예에서, 시스템은 현재 문서에 대한 전용 인덱스, 로컬 머신 상의 검색 엔진, 회사 네트워크 상의 검색 엔진, 및 인터넷 상의 원격 검색 엔진으로 문의를 전송한다.
특정한 검색의 결과는 다른 것들로부터의 우선순위 보다 더 높은 우선순위가 주어진다.
주어진 문의에 대한 응답은 다른 대기중인 문의가 불필요하다는 것을 지시하고; 이것들은 완료전에 취소된다.
4. 렌더링된 문서 및 검색 엔진
대개 렌더링된 문서로부터 연유한 것들을 핸들링하기 위해 전통적인 온라인 문의를 핸들링하는 검색 엔진이 바람직하다. 종래 검색 엔진은 그것들을 기술된 시스템으로 사용하기에 보다 적합하도록하는 다수의 방식으로 개선 또는 변조될 수 있다.
검색 엔진 및/또는 시스템의 기타 컴포넌트는 상이한 또는 추가 피처를 가지는 인덱스를 생성 및 유지관리할 수 있다. 시스템은 인입 렌더링 문서-기원 문의를 변조하거나 또는 상기 문의가 결과인 검색에서 핸들링되는 방식을 변경하고, 그 결과 웹 브라우저 및 기타 소스로 타이핑된 문의로부터의 쿼리에서 온 것들과 이들 렌더링된 문서-기원 문의를 구별한다. 시스템은 결과가 렌더링된 문서로부터 생성된 검색에 의해 반환될 때 상이한 액션을 취하거나 또는 다른 소스의 문의에 비해 상이한 옵션을 제공한다. 이들 접근 방식 각각은 하기에 논의된다.
4.1. 인덱싱
대개, 동일한 인덱스가 렌더링된 문서-기원 문의 또는 전통적 문의 중 어느 하나를 이용하여 검색될 수 있지만, 인덱스는 다양한 방식으로 현재 시스템에서 사용하기 위해 확장될 수 있다.
4.1.1. 렌더링된 문서 폼에 관한 지식
추가 필드가 렌더링된 문서 기반 검색의 경우에 도움이 될 이러한 인덱스에 추가될 수 있다.
렌더링된 문서 폼에서의 문서 가용성을 지시하는 인덱스 엔트리
제 1 예는 문서가 존재하거나 또는 렌더링된 문서 폼으로 배포되는 것으로 알려지는 것을 지시하는 필드이다. 시스템은 문의가 렌더링된 문서로부터 올때 이러한 문서에 더 높은 우선 순위를 준다.
인기있는 렌더링된 문서 폼에 대한 지식
본 예시에서, 예를 들면, 스캐닝 행위의 양, 출판업자 또는 기타 소스 등에 의해 제공되는 유통 횟수와 같은, 렌더링된 문서의 인기도에 관한(및, 선택적으로 이들 문서 내의 서브-영역에 관한) 통계 데이터가 이러한 문서에 더 높은 우선 순위를 주고, 디지털 부본 문서의 우선 순위를 높이는 것 등(예를 들면 브라우저 기반 문의 또는 웹 검색에 대해)을 위해 사용된다.
렌더링된 포맷에 대한 지식
또다른 중요한 예는 문서의 특정한 렌더링의 레이아웃에 대한 정보를 기록하는 것이다.
예를 들면, 책의 특정한 편집본에 대해, 인덱스는 어디서 행바꿈과 페이지 바꿈이 발생하는지, 어떤 폰트가 사용되는지, 및 불규칙한 대문자 사용에 관한 정보를 포함한다.
인덱스는 또한 이미지, 텍스트 상자, 표 및 광고와 같은 페이지 상의 인접한 다른 아이템에 관한 정보를 포함한다.
원본에서의 시맨틱 정보의 사용
마지막으로, 특정한 텍스트 부분이 판매를 위해 제공된 아이템을 가리킨다는 사실과 같은, 소스 마크업으로부터 도출될 수 있지만 렌더링된 문서에서 명확하지 않거나, 또는 특정한 문단이 프로그램 코드를 포함하고 있는 시맨틱 정보가 또한 인덱스에 기록될 수 있다.
4.1.2. 캡처 방법의 지식에서의 인덱싱
인덱스의 속성을 변조할 수 있는 제 2 팩터는 사용될 수 있는 캡처 유형의 지식이다. 광학 스캔에 의해 초기화된 검색은 인덱스가 OCR 프로세스에서 용이하게 혼동되는 문자를 고려하거나, 또는 문서에서 사용되는 폰트에 관한 일부 지식을 포함한다면 이점을 가질 수 있다. 유사하게, 음성 인식으로부터의 문의가 있다면, 유사한 주변 현상에 기초한 인덱스는 보다 효과적으로 검색될 수 있다. 상술한 모델에서 인덱스를 사용하는 것에 영향을 줄 수 있는 추가적인 팩터는 인식 프로세스 동안 반복적인 피드백의 중요성이다. 검색 엔진이 텍스트가 캡처될 때 인덱스로부터의 피드백을 제공할 수 있다면, 그것은 캡처의 정확성을 매우 증가시킬 수 있다.
오프셋을 이용한 인덱싱
섹션 9에서 기술된 오프셋 기반/자기상관 OCR 방법을 이용하여 인덱스가 검색될 수 있다면, 일부 실시예에서, 시스템은 인덱스에 적절한 오프셋 또는 기호 정보를 저장한다.
4.1.3. 다중 인덱스
마지막으로, 상술한 시스템에서, 다수의 인덱스에 대해 검색을 수행하는 것이 일반적이다. 인덱스는 회사 네트워크 상의 다수의 기계에서 유지관리될 수 있다. 부분적인 인덱스는 캡처 디바이스 또는 상기 캡처 디바이스에 근접한 기계로 다운로드될 수 있다. 개별 인덱스는 특정한 흥미, 습관 또는 허가권을 가진 사용자 또는 사용자 그룹에 대해 생성될 수 있다. 인덱스는 각각의 파일 시스템, 각각의 디렉토리, 사용자의 하드디스크 상의 각각의 파일에 대해서 조차 존재할 수 있다. 인덱스는 사용자에 의해, 그리고 시스템에 의해 공개되고 가입될 수 있다. 그런다음 효율적으로 보급, 업데이트, 통합 및 분리될 수 있는 인덱스를 구성하는 것이 중요하다.
4.2. 문의의 핸들링
4.2.1. 캡처가 렌더링된 문서로부터의 것임을 인지
검색 엔진은 그것이 렌더링된 문서로부터 기원한 문의를 검색하는 것을 인지할 때 상이한 액션을 취할 수 있다. 상기 엔진은 예를 들면 특정한 캡처 방법에서 나타날 수 있는 오류의 유형에 보다 내성이 있는 방식으로 문의를 핸들링할 수 있다.
이것을 문의에 포함된 특정한 지시자(예를 들면 캡처의 속성을 지시하는 플래그)로부터 도출하거나 또는, 문의 자체로부터 이를 도출할 수 있다(예를 들면, 그것은 OCR 프로세스의 일반적인 오류 또는 불확실성을 인식할 수 있다.).
대안으로, 캡처 디바이스로부터의 문의는 다른 소스로부터의 것과는 상이한 채널 또는 포트, 또는 연결 유형에 의해 엔진에 도달할 수 있고, 그러한 방식으로 구별될 수 있다. 예를 들면, 시스템의 일부 실시예는 전용 게이트웨이의 방식으로 문의를 검색 엔진으로 라우팅한다. 따라서, 검색엔진은 전용 게이트웨이를 통과하는 모든 문의가 렌더링된 문서로부터 연유한다는 것을 인지한다.
4.2.2. 컨텍스트의 사용
하기의 섹션 13은 캡처된 텍스트 자체의 외부에 있지만, 문서를 식별하는데에 현저한 도움이 될 수 있는 다양하고 상이한 팩터를 기술한다. 이들은 최근 스캔 이력, 특정한 사용자의 장기간의 판독 습관, 사용자의 지리적 위치, 및 특정한 전자 문서의 사용자의 최근 사용과 같은 것을 포함한다. 이러한 팩터를 본문에서 "컨텍스트"라고 한다.
컨텍스트 중 일부는 검색 엔진 자체에 의해 핸들링되고 검색 결과에 반영될 수 있다. 예를 들면, 검색 엔진은 사용자의 스캐닝 이력을 추적하고, 또한 이러한 스캐닝 이력을 종래의 키보드 기반 문의에 대해 상호 참조할 수 있다. 이러한 경 우, 검색 엔진은 가장 종래의 검색 엔진보다 각 개별 사용자에 관한 보다 많은 상태 정보를 유지관리하고 사용하며, 검색 엔진과의 각 상호작용은 다수의 검색에 대해 확장하고 오늘날 일반적인 것보다 더 오랜 시간인 것으로 간주될 수 있다.
컨텍스트의 일부는 검색 문의(섹션 3.3)로 검색 엔진으로 전송되고, 미래의 문의에서 일부를 플레이하기 위해 엔진에 저장될 수 있다. 마지막으로, 컨텍스트의 일부는 어디에서건 가장 잘 핸들링되고, 마찬가지로 검색 엔진으로부터의 결과에 적용되는 필터 또는 제 2 검색이 될 수 있다.
검색에 대한 데이터- 스트림 입력
검색 프로세스로의 중요한 입력은 예를들면, 사용자 커뮤니티가 문서의 렌더링된 버전과 어떻게 상호작용하는지, 어떤 문서가 가장 폭넓게 읽히고, 누구에 의해 읽히는지와 같은 보다 폭넓은 컨텍스트이다. 가장 빈번하게 링크되는 페이지 또는 과거 검색 결과로부터 가장 빈번하게 선택된 페이지를 반환하는 웹 검색을 가진 유추법이 있다, 아러한 토픽에 대한 추가적인 논의에 대해서는, 섹션 13.4. 및 14.2.를 참조하라.
4.2.3. 문서의 서브-영역
상술한 시스템은 전체로서의 문서에 관한 정보뿐 아니라, 문서의 서브-영역에 관한 정보를 보내고 사용하며, 개별 단어로 만든다. 다수의 기존 검색 엔진은 특정한 문의에 연관된 문서 또는 파일을 배치시키는 것에만 집중한다. 보다 미세한 그레인에서 작업하고 문서 내의 위치를 식별할 수 있는 것들은 상술한 시스템에 현저한 이점을 제공한다.
4.3. 결과값의 반환
검색 엔진은 그것이 현재 반환된 결과에 영향을 주기 위해 유지관리하는 추가 정보 중 일부를 이용한다.
시스템은 또한 종이 복사본의 소유의 결과로써만 사용자가 액세스할 수 있는 특정한 문서를 반환할 수 있다(섹션 7.4).
검색 엔진은 또한 단순한 텍스트 검색의 범위를 넘어서는 상술한 시스템에 적합한 새로운 액션 또는 옵션을 제공할 수 있다.
5. 마크업, 주석, 메타데이터
캡처-검색-탐색 프로세스를 수행하는 것에 추가하여, 상술한 시스템은 또한 문서에 추가 기능을 연관시키고, 특히 문서 내의 특정한 위치 또는 세그먼트를 연관시킨다. 이러한 추가 기능은 대개 배타적인 것이 아니라, 그의 전자적인 부본과 연관됨으로써 렌더링된 문서에 연관된다. 예시로서, 웹페이지의 하이퍼링크는 그 웹 페이지의 출력정보가 스캐닝될 때 동일한 기능을 가질 수 있다. 일부 경우, 상기 기능은 전자 문서에서 정의되지 않지만, 그 어디에나 저장 또는 생성될 수 있다.
추가된 기능의 이러한 레이어를 본문에서는 "마크업"이라고 한다.
5.1. 오버레이 , 정적 및 동적
마크업을 고려하는 한가지 방식은 그 문서 또는 그의 일부에 관한 추가 정보를 제공하고, 그에 연관된 액션을 규정할 수 있는 문서에 대한 "오버레이"로서 이다. 마크업은 인간이 판독가능한 컨텐츠를 포함하지만, 대개 사용자에 비가시적이고 및/또는 기계 사용을 의도한다. 예로서는 사용자가 렌더링된 문서에서의 특정한 영역으로부터 텍스트 또는 특정한 문구의 발음을 예시하는 오디오 샘플을 캡처할 때 인근의 디스플레이 상의 팝업 메뉴로 디스플레이되는 옵션을 포함한다.
5.1.1. 다수의 소스로부터 가능한 다수의 레이어
문서는 동시에 다수의 오버레이를 가질 수 있고, 이것들은 다양한 위치로부터 소싱될 수 있다. 마크업 데이터는 문서의 저자 또는 사용자, 또는 기타 제 3자에 의해 생성되거나 또는 제공될 수 있다.
마크업 데이터는 전자 문서에 부착되거나 또는 그에 내장될 수 있다. 그것은 종래 위치에서 발견될 수 있다(예를 들면, 문서와 동일한 장소이지만 상이한 파일명의 접미사를 가지고). 마크업 데이터는 원래 문서를 배치시킨 문의의 검색 결과에 포함되거나, 또는 동일한 또는 또다른 검색 엔진에 대한 개별 문의에 의해 발견될 수 있다. 마크업 데이터는 원래 캡처된 텍스트 및 기타 캡처 정보 또는 컨텍스트 정보를 이용하여 발견되거나, 또는 그것은 문서 및 캡처의 위치에 관한 이미 도출된 정보를 이용하여 발견된다. 마크업 데이터는 마크업 자체가 문서에 포함되지 않는다고 하더라도 문서에서 지정된 위치에서 발견될 수 있다.
다른 실시예에서, 문서의 일부(예를 들면 텍스트, 이미지 등)가 추출되어 마크업/주석이 존재하는지 여부를 판정하기 위해 원격 주석 서버로 제시될 수 있다. 문서의 이들 일부는 주석 서버로 명료한 개별/그룹 또는 해쉬된/메시지 요약된 텍스트 부분의 개별/그룹으로서 전송될 수 있다. 일부 실시예에서, 문서 렌더링 디바이스와 통신하는 하나 이상의 주석 서버/서비스가 있다. 예를 들면, 사용자는 자신들의 개인 주석에 대해 작동하는 로컬 주석 서비스를 가지고; 그들의 회사는 엔터프라이즈 주석 서버를 실행시키고, 인터넷과 같은 네트워크를 통해 사용할 수 있는 하나 이상의 공공 주석 서버가 있을 수 있다.
주석 및 마크업은 문서에 대해 매우 정적이고 지정되며, html 문서내의 정적인 데이터로서 대개 내장되는 전통적인 html 웹 페이지 상의 링크의 방식과 유사하지만, 마크업은 또한 동적으로 생성되고 및/또는 매우 다수의 문서에 적용될 수 있다. 동적인 마크업의 예로는 그 문서에서 언급된 회사의 최신 주가를 포함하는 문서에 첨부된 정보가 있다. 폭넓게 적용된 마크업의 예로는 특정한 언어로 된 다수의 문서 또는 문서의 섹션에서 자동으로 가용한 번역 정보가 될 수 있다.
5.1.2. 개인 "플러그-인" 레이어
사용자는 또한 마크업 데이터를 장착하거나 또는 그의 특정한 소스에 가입하여, 그 결과 특정한 캡처에 대한 시스템의 응답을 개인화할 수 있다.
5.2. 키보드 및 문구, 상표 및 로고
문서에서의 일부 엘리먼트는 특정한 문서에서의 자신들의 위치가 아니라 자신의 특성에 기초하여 그들에 연관된 특정한 "마크업" 또는 기능을 가질 수 있다. 예로서는 순전히 스캐닝될 목적을 위해 문서로 인쇄되는 특수한 마크 뿐만 아니라 사용자에게 관련된 조직에 관한 추가 정보를 링크시킬 수 있는 로고 및 상표를 포함한다. 동일한 것이 "키워드" 또는 "키 문구"를 텍스트로 적용한다. 조직은 그것들이 연관되거나 또는 연관되기를 원하는 특정한 문구를 등록하고, 그 문구가 스캔될 때마다 가용하도록 특정한 마크업을 그들에게 첨부시킨다.
임의의 단어, 문구 등이 마크업에 연관된다. 예를 들면, 시스템은 사용자가 단어 "책" 또는 책의 제목, 또는 책에 연관된 토픽을 캡처할 때마다 특정한 아이템을 팝업 메뉴(예를 들면, 온라인 서점으로의 링크)에 추가할 수 있다. 일부 실시예에서, 캡처가 단어 "책", 또는 책의 제목, 또는 책에 연관된 토픽 근방에서 발생하는지를 판정하기 위해 시스템의 디지털 부본 문서 또는 인덱스가 참조되고, 시스템의 동작은 키워드 엘리먼트의 이러한 근접성에 따라 변조된다. 상기의 예에서, 마크업은 비상업적 텍스트 또는 문서로부터 캡처된 데이터가 상업적 트랜잭션을 트리거할 수 있다는 것에 유의하라.
5.3. 사용자 공급 컨텐츠
5.3.1. 멀티미디어를 포함하는 사용자 코멘트 및 주석
주석은 문서에 연관될 수 있는 전자적 정보의 또다른 유형이다. 예를 들면, 사용자는 음성 주석으로서 추후의 탐색을 위해 특정한 문서에 관한 자신의 생각의 오디오 파일을 첨부할 수 있다. 멀티미디어 주석의 또다른 예로서, 사용자는 상기 문서에서 참조되는 장소의 사진을 첨부할 수 있다. 사용자는 일반적으로 문서에 관한 주석을 제공하지만, 시스템은 다른 소스로부터의 주석을 연관시킬 수 있다(예를 들면 워크 그룹의 다른 사용자가 주석을 공유할 수 있다).
5.3.2. 교정으로부터의 주해
사용자 소스의 마크업의 중요한 예로는 교정, 편집 또는 리뷰 프로세스의 일부로서 렌더링된 문서의 주석이 있다.
5.4. 제 3 자 컨텐츠
앞에서 기술된 바와 같이, 마크업 데이터는 대개 문서의 다른 독자와 같은 제 3자에 의해 제공될 수 있다. 온라인 토론 및 리뷰가 좋은 예로, 특정 작업들에 관한 커뮤니티에서 관리되는 정보, 자발적인 기여를 한 번역 및 설명등이 있기 때문이다. 다른 예시적인 예로는 텍스트, 이미지, 영화, 사운드, 채팅 세션, 토론/ BBS, 투표, URL, "포스트-잇", 각주, 여백에 쓰여진 주석, 인라인 텍스트, 다른 문서(또는 또다른 문서의 일부)로의 링크, 텍스트 풍선, 추가 주석을 지시하는 아이콘(예를 들면, 전체 주석을 보여주기 위한 호버), 및/또는 실행하는 스크립트를 포함한다. 상기 제 3 자 마크업/주석은 익명이거나 또는 상기 주석을 생성한 개인에게 연결되어 있다. 이러한 주석 시스템은 일반적으로 문서의 텍스트 부분(앵커)의 표시의 제시에 응답하여 주석을 제공하도록 되어있는 주석 서버를 구비한다.
추가적인 변형시, 종이 상업 모델의 설명은 본문에서 주석에도 역시 적용될 수 있다. 구입할 수 있는 아이템을 포함하고 있는 문서의 일부가 렌더링될 때, 이러한 아이템을 구입할 수 있다는 것을 지시하는 주석이 묘사될 수 있다. 이러한 모델은 섹션 5.8에서 하기에 기술된 주석 어댑터와 조합하면 효과적이 될 수 있고, 여기서 상인은 아이템의 언급에 대해 아첨을 하고, 자신들의 아울렛에서 아이템을 구매하도록 하는 링크를 추가한다.
하나의 실시예에서, 주석은 그의 사용에 기초하여 변화될 수 있다. 예를 들면, 트래픽 및 논평이 거의 없거나 없는 문서는 연관으로서 "코멘트"기반 텍스트를 가진다. 보다 거래가 많은 문서는 자신의 주석으로서 연결된 토론 리스트를 가지는 반면, 보다 거래가 많은 문서는 연관된 주석 객체로서 라이브 채팅 세션을 가질 수 있다. 이러한 주석은 트래픽이 증가할때 주석의 포맷은 새로운 포맷의 일부로서 이전의 주석을 보존하면서 변화하도록 호환되고, 유사하게 문서에 대해 트래픽이 감소할때 동일한 것을 수행한다는 것에 유의하라.
추가로, 트래픽 증가를 모니터링함으로써, 주석이 복수의 토픽 및/또는 컨텐츠를 판정하는 추가적인 측정기준(즉 무엇이 다수의 사용자에게 현재 흥미를 끄는 것인지)으로서 사용될 수 있도록 실시간으로 보다 인기 있는 주석 사이트를 판정하는 것이 가능하다.
제 3 자 마크업의 또다른 예는 광고주에 의해 제공된다. 이들 광고는 마킹된/주석이 달린 텍스트에 민감한 컨텍스트이거나 또는 마크업/주석에 민감한 컨텍스트가 될 수 있다.
렌더링된 문서의 텍스트 부분에 마킹하는 것에 추가하여, 사용자가 따라가는 텍스트 경로, 개별 단어/문구(섹션 5.2 참조), 전체 문장, 문단, 챕터, 섹션, 페이지, 문서, 사람(여러사람이 대화하는 문서에서)를 마크업할 수 있다. 반대로, 때때로, 문서의 일부분을 "주석 불가"로서 등록하는 것이 바람직할 수 있으며, 여기서 등록된 부분의 OCR/주석은 차단된다.
제 3 자 컨텐츠는 일반적으로 모두가 동일한 등급의 질이 아니다. 따라서, 일부 실시예에서, 주석과 마크업이 등급화되고, 랭킹이 매겨지고 및/또는 분류될 수 있다. 계급을 등급화하는 것은 제 3 자 등에 의해 생성된 주석의 수에 기초하여 동등 비평, 편집자의 등급을 통한 것이 될 수 있다. 하나의 예시에서, 주석은 그것이 독자에 의해 판독되고/랭킹이 매겨질 수록 증가하는 등급을 가진다. 이러한 주석의 메타데이터를 가지는 것은 독자로 하여금 자신들의 랭커 또는 기타 기준(예를 들면, 언어 또는 주석, 데이터 범위, 지리적 위치, 연령 또는 주석자, 성별 또는 주석자 등)에 기초하여 주석을 검색/필터링하도록 한다. 일부 실시예에서, 예를 들면 "저명인사"의 주석을 찾기 위해 주석자의 신원에 기초하여 필터링 할 수 조차 있다.
모든 문서는 더 작은 크기가 되고자 하고, 일부 실시예에서, 렌더링된 문서는 더 크거나 더 작은 크기가 될 수 있음에 유의하라. 예를 들면, 간판, 광고판, 및 옥외광고는 일반적으로 작은 디스플레이 화면 또는 핸드헬드 스캐너로 사용하기에는 적합하지 못하다. 따라서, 하나의 실시예에서, 주석이 크기에 관계없이 스캐닝되고 렌더링된 문서에 대해 디스플레이 될 수 있도록 "헤드-업" 디스플레이가 사 용될 수 있다.
유사하게, 사용자는 흥미있는 문서를 항상 모니터링할 수는 없다. 따라서, 일부 실시예는 사용자에게 주석 행위(예를 들면 특정인에 의한 문서 주석, 특정 문서에 대한 주석, 사용자의 문서에 대한 주석, 사용자의 주석에 대한 주석/응답 등)를 경고하는 주석 통지/경고를 포함한다.
5.5. 다른 사용자의 데이터 스트림에 기초한 동적 마크업
시스템의 다수 또는 모든 사용자에 의해 문서로부터 캡처된 데이터를 분석함으로써, 매크업은 커뮤니티의 행위 및 관심에 기초하여 생성될 수 있다. 한예로는 효과적으로 "이 책을 좋아하시는 분은 또한 ...을 좋아하십니다..."라고 사용자에게 알려주는 마크업 또는 주석을 생성하는 온라인 서점이 있을 수 있다. 마크업은 덜 익명적이고, 사용자에게 자신의 접촉 리스트의 어떤 사람이 또한 상기 문서를 최근에 읽었는지를 알려줄 수 있다. 데이터 스트림 분석의 또다른 예는 섹션 14에 포함된다.
5.6. 외부 이벤트 및 데이터 소스에 기초한 마크업
마크업은 대개 회사 데이터베이스로부터의 입력, 공공 인터넷으로부터의 정보, 또는 로컬 운영시스템에 의해 취합된 통계와 같은 외부 이벤트 및 데이터 소스에 기초된다.
데이터 소스는 보다 로컬하며, 특히 그/그녀의 신원, 위치 및 행위와 같은 사용자의 컨텍스트에 관한 정보를 제공할 수 있다. 예를 들면, 시스템은 사용자의 모바일 폰과 통신하고 사용자가 최근에 전화로 통화를 한 사람에게 문서를 전송하는 옵션을 사용자에게 제공하는 마크업 레이어를 제공할 수 있다.
5.7. 주석 서버
상술한 바와 같이, 다양한 실시예가 제 3 자 컨텐츠를 핸들링하기 위해 주석 서버를 채용한다. 사용자는 문서의 하나 이상의 인식가능한 부분(명료한 텍스트 또는 메시지 개요로서)을 제출하고 서버는 연관된 주석을 배치시킨다. 서버는 추가적인 능력도 제공한다. 예를 들면, 서버는 사용자의 주석 사이의 협력을 돕기위해 동작한다. 상기 협력은 이메일 메시지, 채팅 세션, 중개된 통신 등의 촉진과 같은 다수의 형태를 취할 수 있다. 이러한 유형의 협력은 예를 들면 BBS, 그룹, 클럽, 클래스, 회사, 회사의 부서, 채팅 그룹, 개인들의 사회적 네트워킹 망 등과 같은 이미 협력을 하고 있는 사용자들에게 적합할 수 있다. 실제로, 그룹은 사용자가 유사한 책을 판독 및/또는 유사한 주석을 달때 주석 행위 근방에서 협력하기 위해 동적으로 형성될 수 있다.
5.8. 주석 어댑터
일부 실시예에서, 주석(들)은 렌더링된 문서에 대해 존재하지만, 렌더링된 문서 인터페이스를 통해 가용하게되는 것은 아니다. 예를 들면, 문서 부분에 대한 블로그 엔트리는 다시 문서 일부로 되돌아가는 링크를 가지지만, 문서 일부로부터 블로그 엔트리로의 링크는 가지지 않는다. 주석 어댑터는 주석에 대한 문서(일부) 사이의 연결을 생성한다. 하나의 실시예에서, 주석 어댑터는 링크된 문서(문서 일부)를 배치시키기 위해 블로그 엔트리를 "크롤"하고 적절한 렌더링된 문서로부터 차단 엔트리로 돌아가는 주석을 추가한다. 유사한 액션이 토론 그룹, 다른 문서에서의 논평 등에서 수행될 것이다.
추가적인 실시예들이 역으로 예를 들면 주석을 달고, 그런다음 주석이 주석자에 대한 블로그 엔트리로 조정되어야하는 것을 지시할 때 사용된다. 유사하게, 블로그 엔트리로의 주석을 유추하여 설명하고, 특정한 주석자의 주석의 공급에 "가입"하는 것이 가능하다.
5.9. 모바일 주석
모든 렌더링된 문서가 적절한 크기의 디스플레이와 함께 가용하다는 것에 유의하라. 따라서, 작은 디스플레이와 이미징 능력을 가진 모바일 디바이스가 문서에 대해 브라우징하고 보기위해 검색될 수 있는 주석의 지시를 탐색하기 위해 사용될 수 있다. 유사하게, 모바일 폰으로 사진을 찍고 이미지(예를 들면 멀티미디어 메시징 서비스 "MMS"를 통해)를 주석 서버로 전송하여 주석이 달린 응답 메시지를 수신하는 것이 가능할 수 있다.
6. 인증, 개인화 및 시큐어리티
다수의 상황에서, 사용자의 신원이 알려진다. 때때로, 이것은 예를 들면 사 용자가 캡처 디바이스의 시리얼 번호에 의해서만 식별되는 "익명의 신원"이 될 것이다. 그러나, 일반적으로, 시스템은 사용자에 관해 훨씬 더 상세한 지식을 가지게 될것이고, 이것은 시스템을 개인화하는데에 사용될 수 있고, 행위 및 트랜잭션이 사용자의 명칭으로 수행될 수 있도록 한다는 것이 예상된다.
6.1. 사용자 이력 및 " 라이프 라이브러리"
시스템이 수행할 수 있는 가장 간단하지만 가장 유용한 기능 중 하나는, 발견된 문서의 상세와 문서 내의 위치 및 결과로서 취해진 임의의 액션을 포함하는, 자신이 캡처한 텍스트와 그 캡처에 연관된 추가 정보의 사용자에 대한 기록을 유지하는 것이다.
이러한 저장된 이력은 사용자와 시스템 모두에 유익하다.
6.1.1. 사용자에 대해
사용자에게는 자신이 판독 및 캡처한 모든 것의 기록인, "라이프 라이브러리"가 제공될 수 있다. 이것은 개인적인 관심사이지만, 예를 들면 자신의 다음번 논문의 서지사항에 대한 자료를 수집하는 사람에 의해 학술적으로 라이브러리로 사용될 수도 있다.
일부 환경에서, 사용자는 다른 사람들이 자신이 관심사를 판독하고 발견한 것을 볼 수 있도록 블로그와 유사한 방식으로 웹 상에 그것을 공개하는 것과 같이 라이브러리를 공개하기를 원할 수도 있다.4
마지막으로, 사용자가 일부 텍스트를 캡처하고 시스템이 즉시 그 캡처에 따라 동작할 수 없는 경우(예를 들면 문서의 전자 버전이 아직 가용하지 않기 때문에), 상기 캡처는 라이브러리에 저장되고, 자동으로 또는 사용자 요청에 응답하여 추후에 처리될 수 있다. 사용자는 또한 새로운 마크업 서비스에 대해 가입하고, 그것들은 미리 캡처된 스캔에 적용할 수 있다.
6.1.2. 시스템에 대해
사용자의 과거 캡처의 기록 또한 시스템에 유용하다. 시스템 동작의 다수의 측면은 사용자의 판독 습관 및 이력을 앎으로써 확장될 수 있다. 가장 간단한 예는 사용자에 의해 이루어지는 임의의 스캔은 사용자가 최근의 과거에 스캔한 문서로부터 온 것일 가능성이 더 높고, 특히 이전의 스캔이 최근 몇 분 내에 있었다면, 동일한 문서로부터 온 것일 수 있는 가능성이 매우 높다는 것이다. 유사하게, 문서는 시작-종료의 순서로 판독될 가능성이 더 높다. 따라서, 영어 문서에 대해, 추후의 스캔은 문서에서 훨씬 더 뒤에 발생할 수도 있다.. 이러한 팩터는 흐릿하게된 경우 시스템이 캡처의 위치를 구축하는 것을 돕고, 또한 캡처될 필요가 있는 텍스트의 양을 감소시킬 수 있다.
6.2. 결제, 신원확인, 인증 디바이스로서의 스캐너
캡처 프로세스는 대개 광학 스캐너나 또는 음성 레코더와 같은 일정한 종류의 디바이스로 시작하기 때문에, 이러한 디바이스는 사용자를 식별하고 특정한 액션을 인가하는 키로서 사용될 수 있다.
6.2.1. 스캐너를 전화 또는 기타 계정에 연관시킴
모바일 폰 또는 모바일 폰 계정에 연관된 기타 방식으로 디바이스가 내장될 수 있다. 예를 들면, 스캐너는 계정에 연관된 SIM 카드를 스캐너에 삽입함으로써 모바일 폰 계정에 연관될 수 있다. 유사하게, 디바이스가 신용카드 또는 기타 결제 카드에 내장되거나, 또는 이러한 카드가 그에 연결될 수 있도록 하는 설비를 가진다. 디바이스는 따라서 결제 토큰으로서 사용되며, 금융 거래가 렌더링된 문서로부터의 캡처에 의해 개시될 수 있다.
6.2.2. 인증을 위해 스캐너 입력을 이용
스캐너는 또한 일부 토큰, 특정한 사용자 또는 계정에 연관되는 심볼 또는 텍스트를 스캐닝하는 프로세스를 통해 그 사용자 또는 계정과 연관될 수 있다. 추가로, 스캐너는 예를 들면 사용자의 지문을 스캐닝함으로써 생체학적 신원확인에 이용될 수 있다. 오디오기반 캡처 디바이스의 경우, 시스템은 사용자의 음성 패턴을 매칭하거나 또는 사용자로 하여금 특정한 암호 또는 문구를 말하는 것을 요구함으로써 사용자를 식별한다.
예를 들면, 사용자가 책으로부터 인용문을 스캔하여 온라인 소매점으로부터의 책을 구매하기 위한 옵션이 제공되는 경우, 사용자는 이들 옵션을 선택하고 그런다음 트랜잭션을 확인하기 위해 자신의 지문을 스캔하도록 요구받을 수 있다.
또한 섹션 15.5와 15.6을 참조하라.
6.2.3. 보안 스캐닝 디바이스
캡처 디바이스가 사용자를 식별 및 인증하고, 사용자를 위해 트랜잭션을 시작하기위해 사용될 때, 디바이스와 시스템의 다른 부분들 사이의 통신은 보안이 유지되는 것이 중요하다. 또한 또다른 디바이스가 스캐너로 위장하고,디바이스와 다른 컴포넌트 사이의 통신을 가로채는 소위 "중간자공격(man-in-the-middle attack)"과 같은 상황에 대해 보호하는 것이 중요하다.
이러한 시큐어리티를 제공하는 기술이 당업자에게 공지되어 있고; 다양한 실시예에서, 디바이스 및 시스템의 모든 부분에서의 하드웨어 및 소프트웨어가 이러한 기술을 구현하기 위해 설정된다.
7. 모델 및 엘리먼트 공개
상술한 시스템의 이점은 다수의 시스템 효익을 획득하기 위해 문서를 생성, 인쇄, 또는 공개하는 전통적인 프로세스를 변경시킬 필요가 없다는 것이다. 그럼에도 불구하고, 이하 단순히 "출판업자"라고 부를 문서의 생성자 또는 출판업자는 기술된 시스템을 지원하기 위한 기능을 생성시키기를 원하는 이유가 있다.
본 섹션은 주로 공개된 문서 자체에 관한 것이다. 광고와 같은 다른 연관된 상업적 트랜잭션에 관한 정보에 대해서는, "P-Commerce"라는 제목의 섹션 10을 참조하라.
7.1. 인쇄된 문서의 전자적 부본
시스템은 인쇄된 문서가 연관된 전자적 부본을 가지는 것을 허용한다. 종래 출판업자들은 대개 추가적인 디지털 정보, 강습 동영상 및 기타 멀티미디어 데이터, 샘플 코드 또는 문서, 또는 추가적인 참조자료를 포함하고 있는 책에 딸린 CD-ROM을 끼워넣어주었다. 추가로, 일부 출판업자는, 출판 후에 업데이트될 수 있는 정보 뿐만 아니라, 오자, 추가 코멘트, 업데이트된 참고자료, 서지사항 및 연관된 데이터의 추가 소스, 및 다른 언어로의 번역과 같은, 자료를 제공하는 특정한 출판물에 연관된 웹사이트를 유지관리한다. 온라인 포럼은 독자로 하여금 출판물에 대한 그들의 코멘트를 기고하도록 허용한다.
기술된 시스템은 이러한 자료가 이전의 어느때보다도 렌더링된 문서에 훨씬 더 밀접하게 관련되도록 하고, 그것들의 발견 및 상호작용이 사용자에게 매우 용이하도록 한다. 문서로부터 텍스트의 일부를 캡처함으로써, 시스템은 자동으로 사용자가 문서에 연관된, 특히 문서의 지정된 부분에 연관된 디지털 자료에 연결할 수 있도록 한다. 유사하게, 사용자는 텍스트의 섹션을 논의하는 온라인 커뮤니티, 또는 다른 독자에 의한 주석과 논평으로 연결될 수 있다. 과거에 이러한 정보는 일반적으로 특정한 페이지 번호 또는 챕터에 대해 검색함으로써 발견될 필요가 있었다.
이에 대한 예시적인 애플리케이션은 학술적인 텍스트북의 분야에 있다(섹션 17.5).
7.2. 인쇄된 문서에 대한 "가입"
일부 출판업자는 독자가 새로운 연관된 자료의 통지를 받기를 원하거나 또는 책의 새로운 편집판이 출판되면 구독할 수 있는 메일링 리스트를 구비한다. 기술된 시스템으로, 사용자는 특정한 문서 또는 문서의 일부에 보다 용이하게 관심을 등록시킬수 있고, 일부 경우에는 출판업자가 이러한 기능을 제공할 것을 고려하기 전에조차 등록시킬 수 있다. 독자의 관심은 출판업자에게 제공되어, 언제 어디서 업데이트, 추가 정보, 새로운 편집본, 또는 기존 책에서 관심이 있는 것으로 입증된 토픽에 관한 완전히 새로운 출판물조차도 제공할지에 관한 그들의 결정에 영향을 줄 수 있다.
7.3. 특별한 의미를 가지거나 또는 특별한 데이터를 포함하고 있는 인쇄된 마크
시스템의 다수의 측면들은 문서에 이미 존재하는 텍스트를 사용하는 것 만으로써 가능하게된다. 그러나, 문서가 그것이 시스템과 함께 사용될 수 있는 지식으로 생산된다면, 추가 기능은 텍스트 또는 보다 밀접하게 요구되는 액션을 식별하기 위해 사용되거나 또는 문서의 시스템과의 상호작용을 개선시키는 특별한 마크의 형태로된 추가 정보를 인쇄함으로써 추가될 수 있다. 가장 간단하고 가장 중요한 예는 문서가 시스템을 통해 명확하게 액세스 가능하다는 것을 독자에게 지시하는 것이다. 예를 들면, 이러한 문서가 그에 연관된 온라인 토론 포럼을 가지고 있다는 것을 지시하기 위해 특별한 아이콘이 사용될 수 있다.
이러한 심볼은 순전히 독자를 목적으로 하거나, 또는 그것들은 일부 액션을 초기화하기 위해 스캐닝 및 사용될 때 시스템에 의해 인식될 수 있다. 충분한 데이터가 단지 심볼 이상을 식별하기 위해 심볼로 인코딩되고: 그것은 예를 들면 시스템에 의해 인식되고 판독될 수 있는 문서, 편집, 및 심볼의 위치에 관한 정보를 또한 저장한다.
7.4. 종이 문서의 소유를 통한 인증
인쇄된 문서의 소유 또는 그로의 액세스가 사용자에게 예를 들면 문서의 전자적인 사본 또는 추가 자료에 대한 액세스와 같은 특정한 특권을 부여하는 경우가 있다. 기술된 시스템으로, 이러한 특권은 사용자가 문서로부터 텍스트의 일부를 캡처하거나 또는 특별히 인쇄된 심볼을 스캐닝하는 것의 결과로서 수여될 수 있다. 시스템이 사용자가 전체 문서를 소유하고 있다고 보장할 필요가 있는 경우, 그것은 사용자가 예를 들면 특정한 아이템 또는 "페이지 46의 2번째 줄"과 같은 특정한 페이지로부터의 문구를 스캔하도록 요구할 수 있다.
7.5. 기한이 만료된 문서
인쇄된 문서가 추가 자료 및 기능으로의 게이트웨이라면, 이러한 피처로의 액세스는 또한 시간이 제한될 수 있다. 만료날짜 후에, 사용자는 대금을 지불하거나 또는 피처로 다시 액세스하기 위해 새로운 버전의 문서를 획득할 것을 요구받을 수 있다. 종이 문서는 물론 여전히 사용가능하지만, 그의 확장된 전자적 기능 중 일부는 상실하게 될 것이다. 이것은 예를 들면, 전자 자료로의 액세스에 대한 요금을 받거나, 사용자로 하여금 시간에 따라 새로운 편집본을 구매하도록 요구하는데에 출판업자가 효익을 가지기 때문에, 또는 유통중인 나머지 인쇄 문서의 구 버번에 연관된 불이익이 있기 때문에 바람직하다. 쿠폰이 만료 날짜를 가질수 있는 상업용 문서의 유형의 하나의 예이다.
7.6. 인기도 분석 및 출판 결정
섹션 10.5는 저자의 보상과 광고 가격에 영향을 주는 시스템의 통계자료의 사용에 관해 논의한다.
일부 실시예에서, 시스템은 렌더링된 문서의 사용으로부터 뿐만 아니라 그에 연관된 전자 커뮤니티에서의 행위로부터 출판물의 인기도를 도출한다. 이들 팩터는 출판자가 그들이 미래에 무엇을 출판할지에 관한 결정을 하는 것을 돕는다. 예를 들면 기존 책에서의 챕터가 매우 인기가 많은 것으로 판명되면, 그것은 개별 출판물로 확장시킬 가치가 있을 수 있다.
8. 문서 액세스 서비스
기술된 시스템의 중요한 측면은 문서의 렌더링된 사본에 대한 액세스를 가지는 사용자에게 그 문서의 전자적인 버전에 대한 액세스를 제공하는 기능이다. 일부 경우, 문서는 공공 네트워크 또는 사용자가 액세스할 수 있는 개인 네트워크 상에서 자유롭게 가용하다. 시스템은 문서를 식별하고, 위치시키고 검색하기 위해 캡처된 텍스트를 이용하고, 일부 경우에, 사용자의 화면에 그를 디스플레이하거나 또는 자신의 이메일 수신함에 넣어둔다.
일부 경우, 문서는 전자적 형태로 가용하지만, 다양한 이유로, 사용자가 액세스할 수 없을 수 있다. 문서를 검색하기에 충분한 연결가능성이 없을수 있고, 사용자는 그를 검색할 자격을 수여받지 못하고, 그에 대한 액세스를 얻는데에 연관된 비용이 있거나, 또는 문서가 취소되어 새로운 버전으로 대체되어 소수의 기능만을 부여할 수 있다. 시스템은 일반적으로 이러한 상황에 대한 피드백을 사용자에게 제공한다.
섹션 7.4에 기술된 바와 같이, 특정한 사용자에 부여된 액세스의 등급 또는 속성은 사용자가 이미 문서의 인쇄된 사본에 대한 액세스를 가지고 있다는 것이 알려지면 상이하게 될 수 있다.
8.1. 인증된 문서 액세스
문서에 대한 액세스는 특정한 사용자 또는 특정한 기준을 만족시키는 사람들에 한정되거나, 또는 예를 들면 사용자가 보안 네트워크에 연결될 때와 같은 특정한 상황에서만 가용하게 될 수 있다. 섹션 6은 사용자 및 스캐너의 인증서가 구축될 수 있는 방식 중 일부를 기술한다.
8.2. 문서 구매-저작권-소유자 보상
일반 공중이 무료로 이용할 수 없는 문서가 대개 출판업자 또는 저작권 소유 자에 대한 보상으로서 여전히 요금 지불에 따라 액세스 가능하다. 시스템은 직접 결제 설비를 구현하거나 또는 섹션 6.2에서 기술된 것들을 포함하는 사용자에 연관된 기타 결제 방법을 이용할 수 있다.
8.3. 문서 에스크로 및 적극적인( proactive ) 검색
전자 문서는 대개 일시적인 것이고; 렌더링된 문서의 디지털 소스 버전은 지금은 가용하지만 미래에는 액세스할 수 없게 될 수 있다. 시스템은 사용자가 그것을 요청하지 않았다고 하더라도 사용자를 위해 기존 버전을 검색하고 저장하여, 사용자가 그것을 미래에 요청한다면 그의 가용성을 보장하도록 한다. 이는 또한 예를 들면 미래의 캡처를 식별하는 프로세스의 일부로서 검색을 하는 것과 같은, 시스템의 사용을 위해 그를 가용하게 한다.
문서에 대한 액세스를 위해 결제가 요구되는 이벤트에서, 사용자가 서비스로부터 문서를 요청해야만 하는 미래에 저작권 소유자가 충분히 보상받을 수 있도록 보장하면서, 적절한 요금의 결제시와 같은 신뢰할 수 있는 "문서 "에스크로" 서비스가 사용자를 위해 문서를 검색할 수 있다.
이러한 테마에 대한 변형은 문서가 캡처시에 전자적 형태로 가용하지 못할 때 구현될 수 있다. 사용자는 전자 문서가 추후의 날짜에 가용하게 되어야만 할때 자신을 위해 문서에 대해 요청을 하거나 또는 그를 위해 결제하는 서비스를 인가할 수 있다.
8.4. 다른 가입과 계정과의 연관
때때로 다른 계정 또는 가입과의 사용자의 기존 연관에 기초하여 결제가 보류, 감소 또는 만족될 수 있다. 예를 들면 신문의 인쇄된 버전의 가입자는 자동으로 전자적 버전을 검색할 권한이 주어질 수 있다.
다른 경우에, 상기 연관성은 그다지 직접적이지 않고: 사용자는 자신들의 고용주에 의해 구축된 계정에 기초하거나 또는 가입자인 친구가 소유하는 인쇄된 사본의 스캐닝에 기초하여 액세스를 수여받을 수 있다.
8.5. 복사를 스캔-인쇄로 대체
렌더링된 문서로부터의 텍스트 캡처, 전자적인 원본의 식별, 및 상기 캡처에 연관된 원본의 일부 부분을 인쇄하는 프로세스는 하기와 같은 다수의 이점을 가진 전통적인 복사에 대한 대안을 형성한다:
· 렌더링된 문서는 마지막 인쇄본과 동일한 위치에 있을 필요가 없고, 어떠한 경우에도, 동일한 시간에 거기에 있을 필요가 없다.
· 특히 오래되고, 부서지기 쉬우며 귀중한 문서에 대한 복사 프로세스에 의해 야기되는 문서에 대한 마모 및 손상이 방지될 수 있다.
· 복사본의 품질이 일반적으로 매우 좋다.
· 어떠한 문서 또는 문서의 일부가 가장 빈번하게 복사되는지에 대한 기록이 유지될 수 있다.
· 프로세스의 일부로서 저작권 소유자에 대한 결제가 이루어진다.
· 인가되지 않은 복사가 금지될 수 있다.
8.6. 복사로부터 귀중한 원본의 위치
법적인 증서 또는 역사적이거나 기타 특정한 의미를 가지는 문서의 경우와 같이, 문서가 특히 귀중할 때, 사람들은 대개 여러해 동안 일반적으로 이들 문서의 사본으로 작업을 하는 반면, 원본은 안전한 위치에 보관을 한다.
기술된 시스템은 예를 들면 고문서 창고에서와 같은 원본 문서의 위치를 기록하고, 사본에 대한 액세스를 할 수 있는 누군가 일정기간 보존대상인 원본 종이 문서를 배치하는 것을 용이하게 만드는 데이터베이스에 결합될 수 있다.
9. 텍스트 인식 기술
광학 문자 인식(OCR) 기술은 전통적으로 예를 들면 전체 페이지를 캡처하는 평판 스캐너로부터 다량의 텍스트를 포함하는 이미지에 초점을 맞추었다. OCR 기술은 대개 유용한 텍스트를 산출하기 위해 사용자에 의한 상당한 트레이닝과 교정을 필요로한다. 다수의 시스템이 일반적으로 효과적으로 무한한 어휘로 작동하는 것으로 예상되는 사전을 이용하면서, OCR 기술은 대개 OCR을 수행하는 기계에 상당한 처리 전력을 필요로한다.
상기 일반적인 특징 모두는 기술된 시스템에서 개선될 수 있다.
본 섹션은 OCR에 대해 초점을 맞추지만, 논의된 다수의 이슈들은 다른 인식 기술, 특히 음성 인식에 직접적으로 맵핑된다. 섹션 3.1에서 언급한 바와 같이, 렌더링된 문서로부터의 캡처 프로세스는 오디오를 캡처하는 디바이스로 텍스트를 소리내어 읽는 사용자에 의해 달성될 수 있다. 당업자는 이미지, 폰트, 텍스트 단편들에 관한 본문에 논의된 원리가 또한 오디오 샘플, 사용자 음성 모델 및 현상에 대개 적용할 수 있다는 것을 이해할 것이다.
9.1. 적합한 디바이스용으로 최적화
상술한 시스템으로 사용하기 위한 스캐닝 디바이스는 대개 작고, 휴대가능하고, 저전력이다. 스캐닝 디바이스는 한번에 소수의 단어만 캡처할 수 있고, 일부 구현시에는, 한번에 전체 문자가 아니라 텍스트를 통과하는 수평 슬라이스를 캡처하고, 이러한 슬라이스 중 다수는 텍스트가 도출되는 인식가능한 신호를 형성하기 위해 함께 합쳐진다. 스캐닝 디바이스는 또한 매우 제한된 처리 전력 또는 저장장치를 가지는 반면, 일부 실시예에서 그것은 OCR 프로세스 그 자체 모두를 수행하고, 다수의 실시예는 추후에 캡처된 신호를 텍스트로 변환할 수 있는 보다 강력한 디바이스에 대한 연결에 따른다. 마지막으로, 그것은 사용자의 상호작용을 위한 매우 제한된 설비를 가질 수 있고, 마찬가지로 추후에까지 사용자에 대한 임의의 요청을 연기하거나 또는 현재 일반적인 것 보다 더 높은 등급으로의 "최상의 예상된(best-guess)" 모드에서 동작할 필요가 있다.
9.2. "불확실한" OCR
기술된 시스템내의 OCR의 주된 새로운 특징은 그것이 일반적으로 어디에나 존재하고 디지털 형태로 검색될 수 있는 텍스트의 이미지를 검사한다는 것이다. 텍스트의 정확한 필사는 따라서 OCR 엔진으로부터 항상 요구받지는 않는다. OCR 시스템은 일부 경우에 디지털 원본에 대한 검색에 사용될 수 있는 확률 가중치를 포함하는 가능한 매칭의 세트 또는 매트릭스를 출력한다.
9.3. 반복적 OCR -예측, 불명료성 제거, 예측...
인식을 수행하는 디바이스가 처리시 문서 인덱스에 접촉할 수 있다면, OCR 프로세스는 그것이 진행하면서 문서 코퍼스의 컨텐츠에 의해 정보를 제공받을 수 있고, 잠재적으로 그것은 실질적으로 더 높은 인식 정확도를 제공할 수 있다.
이러한 연결은 또한 충분한 텍스트가 디지털 소스를 식별하기 위해 캡처될 때 디바이스가 사용자에게 정보를 제공하도록 할 수 있다.
9.4 가능성 있는 렌더링 지식의 사용
시스템이 인쇄시 사용되는 폰트의 서체, 또는 페이지의 레이아웃, 또는 어떤 섹션이 이탤릭체로 되는지와 같은, 문서의 가능성 있는 인쇄된 렌더링의 측면에 대한 지식을 가질 때, 이것 역시 인식 프로세스에서 도움을 줄수 있다(섹션 4.1.1).
9.5. 폰트 캐싱-호스트의 폰트 결정, 클라이언트로 다운로드
문서 전집에서 후보 소스 텍스트가 식별되면, 폰트 또는 그것의 렌더링이 인식을 돕기 위해 디바이스로 다운로드된다.
9.6. 자동연관 및 캐릭터 오프셋
텍스트 프래그먼트의 구성부분 캐릭터가 문서 서명으로서 사용되는 텍스트의 프래그먼트를 표현하는 가장 잘 인식된 방법일 수 있지만, 텍스트의 다른 표현도 충분히 잘 작동하여 텍스트 프래그먼트의 실제 텍스트가, 디지털 문서 및/또는 데이터베이스로 텍스트 프래그먼트를 위치시킬 때, 혹은 텍스트 프래그먼트의 판독 가능한 형태로의 표현을 명확화할 때 이용될 필요가 없다. 텍스트 프래그먼트의 다른 표현은 실제 텍스트 표현이 가질 수 없는 이익을 제공한다. 예를 들어, 전체 프래그먼트에 대한 광학 캐릭터 인식에 의지함이 없이 텍스트 프래그먼트를 재생 및 또는 서치하기 위해 사용되는 캡처된 텍스트 프래그먼트의 다른 표현과 달리 텍스트 프래그먼트의 광학 캐릭터 인식은 종종 실수하기 쉽다. 그런 방법은 현재의 시스템에 사용된 여러 디바이스에 더 적당할 것이다.
당업자는 텍스트 프래그먼트 외양을 기술하는 다양한 방법이 있다는 것을 이해할 것이다. 텍스트 프래그먼트의 그런 특성은 워드 길이, 상대 워드 길이, 캐릭터 높이, 캐릭터 폭, 캐릭터 모양, 캐릭터 빈도, 토큰 빈도 등을 포함하지만 이에 한정되는 것은 아니다. 몇몇 실시예에서, 매칭되는 텍스트 토큰 사이에서의 오프셋(즉, 끼어드는 토큰의 수 + 1)이 텍스트의 프래그먼트를 특징지우는데 이용된다.
통상의 OCR은 폰트, 문자 구조 및 형상에 대한 지식을 스캔된 텍스트의 캐릭터를 결정하기 위해 이용한다. 본 발명의 실시예는 다르다; 인식 프로세스를 원활히 하기 위해 랜더링된 텍스트 자체를 이용하는 다양한 방법을 채용한다. 이러한 실시예는 "서로를 인식"하기 위해 캐릭터(혹은 토큰)을 이용한다. 자기 인식으로 언급되는 한가지 방법은 "템플릿 매칭"이고 "컨벌루션(convolution)"과 유사하다. 자기 인식을 수행하기 위해, 시스템은 텍스트의 카피를 수평으로 미끄럼 이동시키고 텍스트 이미지의 매칭 영역을 주목한다. 종래의 템플릿 매칭 및 컨벌루션 기법은 다양한 관련 기법을 포함한다. 캐릭터/토큰을 토큰화하거나 및/또는 인식하는 이러한 기법은 텍스트가 캐릭터/토큰을 매칭할 때 구성부분을 연관시키는데 사용되기 때문에 집합적으로 여기서 "자동연관"으로 언급될 것이다.
자동연관할 때, 매칭되는 완전히 연결된 영역이 중요하다. 이것은 캐릭터 ( 또는 캐릭터의 그룹)이 동일 캐릭터 (또는 그룹)의 다른 인스턴스를 중첩할 때 발생한다. 매칭되는 완전히 연결된 영역은 자동적으로 구성부분 토큰으로의 텍스트의 토큰화를 제공한다. 텍스트의 2개의 카피가 서로 미끄럼 운동할 때, 완전한 매칭이 일어나는 영역(즉, 수직 슬라이스내에서 모든 화소가 매칭됨)이 주목된다. 캐릭터/토큰이 스스로 매칭될 때, 이 매칭의 수평 영역(텍스트의 연결된 매칭 부분) 또한 매칭된다.
이 단계에서, 각각의 토큰의 실제적인 아이덴터티(즉, 토큰 이미지에 해당하는 특정 문자, 디지트 또는 심볼, 또는 이들 그룹)을 결정할 필요가 없고, 단지 스캔된 텍스트에서 동일한 토큰의 다음 발생에 대한 오프셋만을 결정하면 된다는 것을 주목해야 한다. 오프셋 넘버는 동일 토큰의 다음 발생까지의 거리(토큰의 수)이다. 텍스트 열에서 토큰이 유일하면 오프셋은 영(0)이다. 따라서 발생된 토큰 오프셋 열은 스캔된 텍스트를 식별하는데 사용될 수 있는 서명이다.
몇몇 실시예에서, 스캔된 토큰의 열에 대해 결정된 토큰 오프셋이 그들 콘테 츠의 토큰 오프셋에 기초하여 전자 문서 전집을 인덱스하는 인덱스와 비교된다 (섹션 4.1.2). 다른 실시예에서, 스캔된 토큰의 열에 대해 결정된 토큰 오프셋이 텍스트로 변환되고, 그들 콘텐츠에 기초하여 전자 문서 전집을 인덱스하는 전통적인 인덱스와 비교된다.
앞서 말한 바와 같이, 유사한 토큰-상관 프로세스는 캡처 프로세스가 구어체 워드의 음성 샘플로 이루어진 경우에 스피치 프래그먼트에 적용될 수 있다.
9.7. 폰트/캐릭터 "자기-인식"
전통적인 템플릿-매칭 OCR은 스캔된 이미지를 캐릭터 이미지의 라이버러리와 비교한다. 필수적으로, 알파벳은 각각의 폰트에 대해 저장되어 있고 새로이 스캔된 이미지가 매칭되는 캐릭터를 찾기 위해 저장된 이미지와 비교된다. 이러한 프로세스는 일반적으로 정확한 폰트가 식별될 때까지 초기 지연을 가진다. 그 후, OCR 프로세스는 대부분의 문서가 전체적으로 동일한 폰트를 사용하기 때문에 신속하게 진행된다. 이후의 이미지는 가장 최근에 식별된 폰트 라이버러리와 비교하여 텍스트로 변환된다.
가장 자주 사용된 폰트의 캐릭터 형상이 연관된다. 예를 들어, 대부분의 폰트에서, 문자 "c" 및 문자 "e"가 시각적으로 연관된다 - 문자 "t" 및 문자 "f"도 이와 같다. OCR 프로세스는 아직 스캔되지 않은 문자에 대한 템플릿을 구성하는데 이러한 관련성을 이용하면 향상된다. 예를 들어, 독자가 렌더링된 문서로부터 이전에 나오지 않은 폰트로 된 텍스트의 짧은 열을 스캔하고 시스템은 스캔된 이미지와 비교할 이미지 템플릿 세트를 가지지 못하는 경우에, 시스템은 알파벳의 모든 문자를 아직 대하는 것은 아닐지라도 폰트 템플릿 라이버러리를 구성하기 위해 어떤 캐릭터 사이의 가능한 관련성을 이용할 것이다. 시스템은 구성된 폰트 템플릿 라이버러리를 이용하여 이후의 스캔된 텍스트를 인식하고 구성된 폰트 라이버러리를 더 정교하게 할 것이다.
9.8. 인식되지 않은 것(그래픽을 포함하여)을 서버로 전송
이미지가 서치 프로세스에 사용되기 적당한 형태로 기계-전사되지 않는다면 이미지 자체는 사용자에 의해 가능한 수동 전사를 위해 또는 상기 시스템에 다른 자원이 이용가능하게 된 이 후에 프로세싱되기 위해 저장된다.
10. P- 커머스
시스템에 의해 이용 가능한 많은 동작은 상업 트랙잭션이 일어나는 결과를 초래한다. p- 커머스 라는 용어는 시스템을 통해 렌더링된 문서로부터 개시되는 상업 활동을 기술하는 것으로 사용된다.
10.1. 물리적인 프린트된 카피로부터 문서의 판매
사용자가 문서로부터 텍스트를 캡처할 때, 사용자에게 종이 또는 전자적 형태로 구입할 문서가 제공된다. 사용자에게 인용된 문서 또는 렌더링된 문서에 언급되거나, 동일한 주제에 관한 것이거나, 동일한 저자에 의한 것으로 언급된 문서와 같은 관련 문서가 제공된다.
10.2. 렌더링된 문서에 의해 기초되거나 도움을 받은 임의의 것의 판매
텍스트의 캡처는 다양한 방법으로 다른 상업 활동과 연관될 수 있다. 캡처된 텍스트는 아이템을 팔기 위한 것으로 명시적으로 기획된 카달로그에 포함될 수 있고, 이 경우 텍스트는 아이템의 구매와 상당하게 직접적으로 연관된 것이다 (섹션 18.2). 텍스트는 광고의 일부가 될 수 있고, 이 경우 광고되는 아이템 판매가 뒤따를 것이다.
다른 경우, 사용자가 상업 트랜잭션에서 그들의 잠재적인 관심이 도출되는 다른 텍스트를 캡처한다. 특정 국가의 소설 세트의 독자는, 예를 들어 그곳의 휴일에 대해 관심이 있을 것이다. 새로운 자동차의 리뷰를 읽는 독자는 그것을 구매할 것을 고려하고 있을 것이다. 사용자는 몇몇의 상업적 기회가 결과적으로 사용자에게 제공될 것이다 혹은 그들 캡처의 부작용이 될 것이다 라는 것을 알리는 텍스트의 특정 프래그먼트를 캡처할 수 있다.
10.3. 판매될 아이템의 라벨, 아이콘, 시리얼 넘버, 바코드의 캡처
때때로 텍스트나 심벌은 아이템이나 그들 포장에 프린트되어 있다. 시리얼 넘버나 제품 아이디는 전자 제품의 뒷면이나 아랫면의 라벨에 있다. 시스템은 사용자에게 그 텍스트를 캡처링함으로써 하나 이상의 동일한 아이템을 구매할 수 있는 편안한 방법을 제공한다. 그들에게 매뉴얼, 지원 및 수리 서비스가 제공될 수 있다.
10.4. 문맥 광고
광고로부터 텍스트의 직접적인 캡처 이외에, 시스템은 렌더링된 문서에 명시적으로 있을 필요가 없는, 그러나 그럼에도 불구하고 사람들이 읽는 것에 기초하는 새로운 종류의 광고를 허용한다.
10.4.1. 스캔 문맥 및 히스토리에 기반한 광고
전통적인 종이 간행물에서, 광고는 일반적으로 신문 기사의 텍스트에 비해 많은 공간을 차지하고, 특정 기사 주위에 제한된 수의 광고만이 배치된다. 기술된 시스템에서, 광고는 개별 워드, 단락에 연관되고, 사용자가 텍스트를 캡처링하고 이전 스캔의 히스토리를 가능하면 고려함으로써 사용자가 보여준 특정 관심에 따라 선택될 수 있다.
상술한 시스템에서는, 구매를 특정 프린트된 문서와 결합시킬 수 있고, 광고자가 특정 프린트 간행물에 광고하는 것에 대한 효율성에 대해 더 많은 피드백을 받을 수 있도록 해준다.
10.4.2. 사용자 문맥 및 히스토리에 기반한 광고
시스템은 사용을 위해 사용자 문맥의 다른 관점에 대한 많은 정보를 수집한다 (섹션 13); 사용자의 지리학적 위치의 추정은 좋은 예이다. 그런 데이터는 시스템 사용자에게 표현되는 광고를 맞춤제공할 수 있다.
10.5. 보상 모델
시스템은 광고자나 판매자에게 새로운 보상 모델을 제공한다. 광고를 포함하는 프린트된 문서의 발행자는 그들 문서로부터 야기된 구매로부터 일정 수입을 받는다. 광고가 원본 프린트 형태에 존재하는지 아닌지에 관계없이 이것은 유효하다; 이것은 발행자, 광고자 또는 다른 제3자에 의해 전자적으로 첨부되거나 그런 광고 소스에 사용자에 의해 가입될 수 도 있다.
10.5.1. 인기 기반 보상
시스템에 의해 발생된 통계 분석은 간행물의 어떤 부분의 인기도를 보여줄 수 있다 (섹션 14.2). 신문에서, 예를 들어, 특정 페이지나 기사를 보면서 독자가 소비한 시간의 양 또는 특정 컬럼니스트의 인기도를 보여줄 수 있다. 어떤 경우에, 저자 또는 발행자가 쓰여진 워드나 배포된 카피의 수와 같은 전통적인 방법에 기초하기 보다 독자의 활동에 기초하여 보상을 받는 것이 더 적당할 수 있다. 어떤 주제에 대해 그 작품이 빈번히 읽혀지는 권원이 되는 저자는 이후의 계약에서 그 작품이 동일 수의 카피가 팔렸으나, 잘 읽혀지지 않는 저자와는 다르게 취급될 것이다.
10.5.2. 인기 기반 광고
문서에 광고하기로 하는 결정은 독자에 대한 통계에 기초할 수 있다. 가장 인기있는 컬럼니스트 주위의 광고 공간은 최고가격으로 판매될 수 있다. 광고자는 그것이 어떻게 수신되었는가에 대한 지식에 기반하여, 문서가 출판된 이후의 얼마동안 요금이 청구되거나 보상되어진다.
10.6. 라이프 라이버러리에 기반한 마케팅
섹션 6.1 및 16.1 에 기술된 "라이프 라이버러리" 또는 스캔 히스토리는 사용자의 관심이나 습관에 대한 매우 중요한 정보 소스가 된다. 적절한 동의와 프라이버시 정책에 구속되어, 그런 데이터는 사용자에게 제품이나 서비스의 제공을 알려줄 수 있다. 익명인 경우라도, 수집된 통계는 매우 유용하다.
10.7 이후 판매/정보(가능한 경우)
광고 및 상업 트랜잭션의 다른 기회가 텍스트 캡처시 즉시 사용자에게 제공되지 않을 수 있다. 예를 들어, 소설 후속편 구매 기회는 사용자가 그 소설을 읽 을 당시에는 이용가능하지 않을 수 있지만, 시스템은 후속편이 발행된 때 그들에게 그 기회를 제공할 수 있다.
사용자는 구매나 다른 상업 트랜잭션에 관련된 데이터를 캡처하고, 그러나 캡처하는 때에 트랜잭션을 개시하지 않거나 및/또는 완료하지 않을 수 있다. 몇몇 실시예에서, 캡처와 관련된 데이터는 사용자의 라이프 라이버러리에 저장되고, 이러한 라이프 라이버러리 엔트리는 "활성"(즉, 캡처가 이루어진 때 이용가능한 것과 유사하게 이후의 인터랙션을 할 수 있는)으로 남아 있게 된다.따라서, 사용자는 이후에 캡처를 리뷰하고, 상기 갭쳐에 기초하여 트랜잭션을 완료할 수 도 있다. 시스템이 언제 어디서 원래의 캡처가 이루어졌는가를 추적하고 있기 때문에, 상기 트랜잭션에 관여된 모든 당사자가 적절히 보상되어질 수 있다. 예를 들어, 사용자가 데이터를 캡처한 광고 주위에 위치하고 있던 이야기를 쓴 저자- 및 그 이야기를 발행한 발행자- 는 6개월 후, 사용자가 라이프 라이버러리를 방문하여 그들 히스토리로부터 특정 캡처를 선택하고, 팝-업 메뉴(캡처 당시에 선택적으로 보여진 메뉴에 유사하거나 동일한)로부터 "아마존에서 이 아이템 구매"를 선택할 때 보상되어질 수 있다.
11. 운영 시스템 및 애플리케이션 통합
현대 운영 시스템(OSs) 및 다른 소프트웨어 패키지는 기술된 시스템과 유리하게 사용될 많은 특성을 가지고 있고, 사용을 위한 더 나은 플랫폼을 제공하기 위해 다양한 방법으로 수정될 수 있다.
11.1. 스캔 및 프린트 관련 정보를 메타데이터 및 인덱싱에 통합
최신의 파일 시스템 및 그들 연관 데이터베이스는 각각의 파일과 연관된 다양한 메타데이터를 저장할 능력을 가진다. 전통적으로, 이 메타데이터는 파일을 생성한 사용자의 아이디, 생성 날짜, 마지막 수정, 마지막 사용과 같은 것들을 포함한다. 더 새로운 파일 시스템은 키워드, 이미지 특성, 문서 소스 및 사용자 코맨트와 같은 부가 정보가 저장되도록 하고, 몇몇 시스템에서는 이런 메타데이터는 임의적으로 확대될 수 있다. 파일 시스템은 따라서 현재 시스템을 구현하는데 유용한 정보를 저장하는데 이용될 수 있다. 예를 들어, 소정 문서가 마지막으로 프린트된 날짜가 파일 시스템에 저장될 수 있고, 기술된 시스템을 이용하여 종이로부터 어떤 텍스트가 캡처되었는지, 언제 그리고 누구에 의해 캡처되었는지에 대한 세부사항도 저장될 수 있다.
운영 시스템은 사용자가 로컬 파일을 용이하게 찾을 수 있도록 해주는 검색 엔진 편의기능을 통합하기 시작했다. 이렇나 편의기능은 이 시스템에 의해 유리하게 사용될 수 있다. 섹션 3 및 4 에 논의된 서치 관련 개념이 현재의 인터넷 기반 및 유사한 검색 엔진에만 적용되는 것이 아니라, 모든 개인 컴퓨터에도 적용되는 것을 의미한다.
몇몇 경우에 특정 소프트 애플리케이션은 상술한 시스템을 위한 지원을 포함하고, OS에 의해 제공된 편의기능을 넘어설 수 있다.
11.2 캡처 디바이스에 대한 OS 지원
펜 스캐너와 같은 캡처 디바이스의 사용이 보편적이 됨에 따라, 캡처 디바이스의 활용성이 단일 소프트웨어 애플리케이션의 범위을 넘어섰기 때문에, 마우스 및 프린터에 대한 지원이 제공된 것과 동일한 방법으로 운영 시스템내에 그들을 위한 지원을 구축하는 것이 바람직하게 될 것이다. 시스템 운영의 다른 관점에 대해서도 동일하게 유효할 것이다. 몇몇 예가 아래에 기술될 것이다. 몇몇 실시예에서, 전체 기술된 시스템 또는 그것의 핵심이 OS에 의해 제공된다. 몇몇 실시예에서, 시스템에 대한 지원이 다른 소프트웨어 패키지에 의해 사용될 수 있고, 시스템의 관점을 직접적으로 구현할 수 있는 그들을 포함하여 애플리케이션 프로그래밍 인터페이스(APIs)에 의해 제공된다.
11.2.1 OCR 및 다른 인식 테크놀러지에 대한 지원
렌더링된 문서로부터 텍스트를 캡처링하는 대부분의 방법은 소스 데이터, 특히 스캔된 이미지 또는 문어체 워드를 시스템에 사용하기 적당한 텍스트로 해석하기 위해 인식 소프트웨어를 필요로 한다. OSs는 과거에 OCR의 사용이 전형적으로 좁은 범위의 애플리케이션에 한정되어 있었기 때문에 OCR에 대한 지원을 포함하는 것은 덜 보편적이었지만, 음성이나 필기 인식에 대한 지원을 포함한다.
인식 구성부분이 OS의 일부가 됨에 따라, OS에 의해 제공되는 다른 편의기능을 잘 활용할 수 있다. 많은 시스템은 스펠링 사전, 문법 분석 툴, 국제화 및 로컬화 편의기능를 포함하고, 예를 들어, 사용자가 종종 접하게 되는 워드나 단락을 포함하도록 특정 사용자에게 맞춤될 수 있기 때문에, 이들 전부는 상술한 시스템에 인식 프로세스를 위해 유리하게 채용될 수 있다.
운영 시스템이 전체 텍스트 인덱싱 편의기능을 포함하고 있다면, 이것은 섹션 9.3 에 상술한 바와 같은 인식 프로세스를 알려주는데 사용되어 질 수 있다.
11.2.2. 스캔에 취해져야 할 동작
광학 스캔이나 다른 캡처가 발생하고 OS에 제시되면, 다른 서브시스템이 캡처의 소유권을 주장하지 않는 경우에 디폴트 동작을 취하게 될 것이다. 디폴트 동작의 예는 사용자 대안의 선택을 제시하고, 캡처된 텍스트를 OS의 내장된 서치 편의기능에 제출하는 것이다.
11.2.3. OS 는 특정 문서나 문서 타입에 대한 디폴트 동작을 가진다
렌더링된 문서의 디지털 소스가 발견되면, OS는 특정 문서나 그 클래스의 문서가 스캔될때 취할 표준 동작을 가진다. 애플리케이션 및 다른 서브시스템은, 어떤 파일 타입을 취급하는 그들 능력의 적용에 의해 어나운스먼트하는 것과 같은 유사한 방법으로 특정 타입의 캡처의 잠재적 취급자로서 OS에 기록될 것이다.
렌더링된 문서 또는 문서로부터의 캡처와 연관된 마크업 데이터는 특정 애플리케이션을 시작하고, 애플리케이션 인수, 파라미터, 데이터 등을 전달하도록 하는 운영 시스템에 대한 명령을 포함한다.
11.2.4. 제스쳐의 해석과 표준 동작으로 매핑
섹션 12.1.3 에서 "제스쳐"의 사용이 기술되었고, 특히 광학 스캐닝의 경우에 핸드헬드 스캐너와 관련하여 이루어진 특정 운동은 텍스트 영역의 처음과 끝을 마킹하는 것과 같은 표준 동작을 나타낼 수 있다.
이것은 커서키로 텍스트의 영역을 선택하고, 마우스의 휠로 문서를 스크롤하는 동안 키보드에 시프트 키를 누르는 것과 같은 동작에 비유될 수 있다. 사용자에 의한 그런 동작은 충분히 표준적이어서 OS에 의한 전 시스템적인 방법으로 해석 될 수 있다. 따라서 일관된 거동을 보장한다. 스캐너 제스쳐 및 다른 스캐너 관련 동작에 대해서도 동일하게 바람직하다.
11.2.5. 표준(및 비표준) 아이콘/텍스트 프리드퇸 메뉴 아이템에 대한 응답 설정
유사한 방법으로, 텍스트의 어떤 아이템이나 다른 심볼은 스캔될 때 표준 동작이 행하도록 하고, OS는 이들 선택을 제공할 것이다. 예를 들면, 문서에서 텍스트 "[프린트]"를 스캔하면 OS는 상기 문서의 카피를 검색하여 프린트할 것이다. OS는 그런 동작을 등록하고 특정 스캔에 연관시킬 방법을 제공할 것이다.
11.3. 특정 스캔-개시 활동에 대한 시스템 GUI 구성부분 지원
대부분 소프트웨어 애플리케이션은 OS에 의해 제공된 표준 그래픽 사용자 인터페이스 구성부분에 실질적으로 기초한다.
개발자에 의한 이러한 구성부분의 사용은 다수의 패키지에 걸쳐 일관된 거동을 보장하는 데 도움을 주고, 예를 들어 어느 텍스트-편집 문맥에서 좌측-커서 키를 누르는 것은 커서를 좌측으로 이동시키는 것이고, 모든 프로그램 개발자가 동일한 기능을 독자적으로 구현할 필요를 없앤다.
이러한 구성부분의 유사한 일관성은 동작이 텍스트-캡처 또는 기술된 시스템의 다른 관점에 의해 개시될 때 바람직하다.
11.3.1. 특정 텍스트 콘텐츠를 찾기 위한 인터페이스
본 시스템의 전형적인 사용은 사용자가 렌더링된 문서의 일정 영역을 스캔하고, 시스템이 그것을 디스플레이하거나 편집할 수 있는 소프트웨어 패키지에서 전 자적인 대응물을 열도록 하고, 상기 패키지가 스캔된 텍스트를 스크롤하거나 강조하도록 (섹션 12.2.1) 하는 것이다. 이 프로세스의 첫번째 부분, 전자 문서를 찾고 여는 것은 전형적으로 OS에 의해 제공되고, 소프트웨어 패키지 전체에 걸쳐 표준적이다. 두번째 부분, - 문서내의 텍스트의 특정 부분을 위치시키고, 패키지가 그것에 스크롤하도록 하거나 그것을 강조하도록 하는 것- 은 아직 표준화되지 않았고 종종 각각의 패키지마다 달리 구현된다. 이러한 기능의 표준 API를 이용할 수 있다면 본 시스템의 이 관점의 작동을 크게 향상시킬 수 있을 것이다.
11.3.2 텍스트 인터랙션
텍스트의 일부가 문서내에 위치되면, 시스템은 상기 텍스트에 다양한 동작을 수행하기를 원할 것이다. 예로서, 시스템은 주위 텍스트를 요구하여, 몇몇 워드의 사용자의 캡처가 시스템이 전체 문장이나 상기 워드를 포함하는 단락에 액세스하도록 하는 결과를 초래할 것이다. 다시, 이러한 기능은 텍스트를 취급하는 소프트웨어의 모든 부분에 구현되는 것보다 OS에 의해 제공되는 것이 유용하다.
11.3.3. 문맥( 팝업 )메뉴
시스템에 의해 이네이블되는 몇몇 동작은 사용자 피드백을 요구하고, 이것은 그 데이터를 취급하는 애플리케이션의 문맥내에서 적절히 요청될 것이다. 몇몇 실시예에서, 시스템은 동릴 텍스트에 오른쪽 마우스 버튼을 클릭하는 것에 의해 전통적으로 연관되는 애플리케이션 팝-업 메뉴를 이용한다.시스템은 부가 옵션을 그 메뉴에 삽입하고, 렌더링된 문서를 스캐닝하는 것과 같은 활동의 결과로 디스플레이되도록 한다.
11.4. 웹/네트워크 인터페이스
현재의 급증하는 네트워크화된 세상에서, 개별적인 머신에 이용되는 많은 기능들이 네트워크를 통해 액세스가능하고, 상술한 시스템과 연관된 기능들도 예외가 아니다. 예를 들어, 오피스 환경에서, 사용자에 의해 수신되는 많은 렌더링된 문서는 동일한 회사 네트워크내의 다른 사용자 머신에서 프린트될 것이다. 하나의 컴퓨터에 있는 시스템은, 캡처에 응답하여, 적절한 허가 제어에 구속되어 상기 캡처에 대응하는 문서에 대해 다른 머신에 질의할 수 있다.
11.5. 문서의 프린팅은 저장을 야기한다
렌더링된 문서와 디지털 문서의 통합에서 중요한 요소는 그 둘 사이의 전환에 대해 가능한 한 많은 정보를 유지하는 것이다. 몇몇 실시예에서는, OS 는 문서가 언제, 누구에 의해 프린트되었는지의 간단한 기록을 유지한다. 몇몇 실시예에서는, OS는 본 시스템에 사용하기 더 적당하게 만드는 하나 이상의 추가적인 동작을 취한다. 예들은 아래를 포함한다:
·프린트된 소스에 대한 정보와 함께 모든 문서의 디지털 렌더링 버전을 저장
·이후의 스캔 해석에 도움을 줄 수 있는 프린팅된 버전에 대한 유용한 정보의 서브세트를 저장-예를 들면, 사용된 폰트 라인 끊김이 발생한 지점.
·프린트된 카피와 연관된 소스 문서의 버전을 저장
·미래의 서치를 위해 결과를 프린트하고 저장할 때 문서를 자동적으로 인덱싱
11.6. 나의 (프린트된/ 스캔된 ) 문서
OS는 종종 특별히 중요한 파일이나 폴더의 카테고리를 유지한다. 사용자 문서는, 관례 혹은 설계에 의해, 예를 들어 "나의 문서" 폴더내에 발견된다. 표준 파일-오픈 대화창은 최근 오픈 문서의 리스트를 자동적으로 포함한다.
본 시스템과 사용하도록 최적화된 OS에서, 그런 카테고리는 저장된 파일의 렌더링된 문서 버전과의 사용자 인터렉션을 고려하는 방법으로 향상되거나 강화될 것이다. "나의 프린트된 문서" 또는 "나의 최근 읽은 문서"와 같은 카테고리는 유용하게 식별되고 운용에 통합될 것이다.
11.7. OS -레벨 마크업 계층
섹션 5 에서 기술된 "마크업" 개념을 이용하여 본 시스템의 중요한 관점이 전형적으로 제공되었기 때문에, OS 자체 뿐만 아니라, 다수의 애플리케이션에 액세스가능한 방법으로 OS에 의해 제공된 마크업에 대한 지원을 가지는 것은 명백히 이롭다. 뿐만 아니라, 마크업 레이어도 OS가 제공할 수 있는 편의기능 및 제어하에서 문서에 대한 지식에 기초하여 OS에 의해 제공되어 질 수 있다.
11.8. DRM 편의기능의 사용
많은 수의 운영 시스템이 "디지털 권리 관리" (특정 사용자, 소프트웨어 엔터티 또는 머신에 부여된 권리에 기초하여 특정 데이터의 사용을 제어하는 능력)의 어떤 형태를 지원한다. 예를 들어, 이것은 특정 문서의 인증받지 않은 복사나 배포를 방지한다.
12. 사용자 인터페이스
시스템의 사용자 인터페이스는 캡처 디바이스가 상대적으로 덤(dumb)하고 케이블로 연결되어 있으면 전적으로 PC 상에 존재하고, 캡처 디바이스가 똑똑하고 자신 고유의 뛰어난 처리 능력을 가지고 있다면 전적으로 디바이스상에 존재할 것이다. 몇몇 실시예에서, 어떤 기능들은 각각의 구성요소에 상주한다. 시스템 기능의 일부 혹은 실질적으로 전부는 모바일 폰이나 PDA와 같은 다른 디바이스에 구현될 수 있다.
이하에 기술되는 부분은 어떤 구현에서 바람직한 바를 지시하는 것이고, 모든 것에 다 적당한 것은 아니고 여러 방법으로 수정될 수 있다.
12.1 캡처 디바이스상에서
모든 캡처 디바이스, 특히 광학 스캐너의 경우에 스캐닝시에 사용자의 주의는 디바이스 및 렌더링된 문서에 집중된다. 그리고, 스캐닝 프로세스의 일부로서 필요한 피드팩 및 어느 입력은 사용자의 주의가 예를 들어 컴퓨터 스크린상과 같은 다른 곳에 필요 이상으로 있도록 요구하지 않는다.
12.1.1 스캐너상에 피드백
핸드헬드 스캐너는 특정 조건에 대하여 사용자 피드백을 제공하는 다양한 방법을 가지고 있다. 가장 확실한 형태는 스캐너가 지시자 광 또는 디스플레이를 포함하는 직접 시각형 및 스캐너가 비프, 클릭 또는 다른 소리를 만들 수 있는 청각형이 있다. 다른 대안으로, 스캐너가 진동, 버저 또는 사용자의 촉감을 시뮬레이팅할 수 있는 촉각 피드백, 광의 색점에서 복잡한 디스플레이에 이르기까지 어느 것이든 렌드링된 문서에 영사하는 것에 의해 상태를 지시하는 영사 피드백을 포함 할 수 있다.
다바이스상에 제공되어야 할 중요한 당면의 피드백은 다음을 포함한다:
·스캐닝 프로세스에 대한 피드백 - 사용자 스캐닝이 너무 빠름, 너무 삐둘어져 있음, 혹은 특정 선에 대해 너무 높거나 낮게 밀려있음
·충분한 콘텐츠 - 매칭이 존재할 때 그 매칭을 발견할 정도로 충분히 스캔됨 - 연속되지 않은 작동시 중요함
·컨텍스트 지각 - 텍스트 소스가 위치되었음
·유일한 컨텍스트 지각 - 하나의 유일한 텍스트 소스가 위치되었음
·콘텐츠 가용성 - 콘텐츠가 사용자에게 무료로 가용한지, 아니면 비용을 지불해야 하는지에 대한 지시
시스템의 이후 단계와 일반적으로 연계된 사용자 인터렉션의 대부분은, 예를 들어 문서의 전부 혹은 일부를 디스플레이할 충분한 능력이 있다면 캡처 디바이스상에서 일어난다.
12.1.2. 스캐너 제어
디바이스는 사용자가 기본적인 텍스트 캡처외에 입력을 제공할 다양한 방법을 제공한다. 디바이스가 키보드와 마우스와 같은 입력 옵션을 가지는 호스트 머신과 긴밀히 연관되어 있는 경우에도, 사용자가 예를 들어 스캐너를 조작하고 마우스를 사용하는 것 사이를 왔다 갔다 하는 것은 성가신 일이 될 수 있다.
핸드헬드 스캐너는 버튼, 스크롤/조그-휠, 터치감응 표면, 및/또는 디바이스의 움직임을 감지하는 가속도계를 포함한다. 이들 중 일부는 스캐너가 작동중에도 풍부한 인터랙션을 제공하도록 해준다.
예를 들어, 텍스트를 스캐닝하는 것에 대응하여, 시스템은 사요자에게 다양한 가능한 매칭 문서를 제공한다. 사용자는 스캐너의 스크롤-휠을 사용하여 리스트로부터 하나를 선택하고, 그 선택을 확인하기 위해 버튼을 클릭한다.
12.1.3. 제스츄어
렌더링된 문서위로 스캐너를 움직이는 주요한 이유는 텍스트를 캡처하기 위한 것이지만, 다른 움직임이 디바이스에 의해 감지되고, 사용자의 다른 의도를 지시하기 위해 사용될 수 있다. 그런 움직임은 여기서 "제스츄어"라 언급될 것이다.
예로서, 사용자는 첫번째 몇 개의 단어를 종래의 왼쪽-오른쪽 순서로 스캐닝하고, 마지막 몇 개의 단어를 반대 순서, 즉 오른쪽-왼쪽 순서로 스캐닝함으로써 텍스트의 큰 영역을 지시할 수 있다. 사용자는 스캐너를 페이지의 몇 개의 라인위를 아래로 이동시키는 것에 의해 관심 있는 텍스트의 수직 범위를 또한 지시할 수 있다. 후진하는 스캔에 의해 이전 스캔 동작을 취소하는 것을 지시할 수 있다.
12.1.4. 온라인/오프라인 거동
시스템의 많은 부분은 스캐너와 호스트 랩탑과 같은 시스템의 구성부분 사이 또는 기업 데이터베이스 및 인터넷 서치에 연결된 형태로 외부 세계와의 네트워크 연결에 의존한다. 이 연결은 항상 있을 수도 있지만, 시스템의 전부 혹은 일부가 "오프라인"으로 인식되는 때도 있다. 시스템이 그런 경우에 유용하게 작동을 계속하도록 하는 것이 바람직하다.
디바이스는 시스템의 다른 부분과 접촉되어 있지 않은 경우에도 텍스트를 캡 처하는 데 이용될 수 있다. 매우 단순한 디바이스가 캡처와 연관된 이미지 또는 오디오 데이터를, 이상적으로 캡처된 때를 지시하는 타임-스탬핑과 함께 저장할 수 있다. 다양한 캡처는 디바이스가 다음에 그것과 접촉하고, 그 때 운전될 때 시스템의 다른 부분으로 업로드될 것이다. 디바이스는 캡처와 연관된 다른 데이터,예를 들어 광학 스캔과 연관된 음성 주석, 지리 정보를 업로드할 것이다.
더 복잡한 디바이스는 연결되지 않은 상태인 경우에도 시스템 작동의 전부 혹은 일부를 스스로 수행할 수 있을 것이다. 그렇게 하는 능력을 향상시키기 위한 다양한 테크닉이 섹션 15.3에서 논의될 것이다. 전부는 아니지만 많은 요구되는 동작이 오프라인동안에 수용될 것이다. 예를 들어, 테스트가 인식되지만 소스의 인식은 인터넷 기반 검색 엔진에 의존한다. 다른 실시예에서, 디바이스는 따라서, 시스템의 나머지 부분이 연결이 재개되었을 때 효율적으로 진행할 수 있도록 각각의 동작이 얼마나 진행되었는지에 대한 충분한 정보를 저장한다.
시스템의 동작은 일반적으로 즉시 이용할 수 있는 연결로부터 이루어질 수 있지만, 여러가지 캡처를 수행하고 그 후 그들을 배치로서 프로세싱하는 것이 이로운 경우도 있다. 예를 들어, 아래 섹션 13 에서 논의되는 바와 같이, 특정 캡처의 소스의 지시는 사용자에 의해 이루어진 다른 캡처를 거의 동시에 조사함으로써 크게 향상될 수 있다. 라이브 피드백이 사용자에게 제공된 완전히 연결된 시스템에서, 시스템은 현재의 캡처를 프로세싱하는 동안 지난 캡처를 사용할 수 있다. 캡처가 오프라인 때의 디바이스에 의해 저장된 배치중의 하나이면, 시스템은 분석을 행할 때 이전 캡처뿐만 아니라 이후 캡처로부터 이용가능한 어떤 데이터도 고려할 수 있다.
12.2 호스트 디바이스상에서
스캐너는 사용자와의 상세한 인터렉션을 포함하여 시스템의 많은 기능을 수행하기 위해 PC, PDA, 폰 또는 디지털 카메라와 같은 다른 디바이스와 종종 통신한다.
12.2.1 캡처에 응답하여 수행되는 활동
호스트 디바이스가 캡처를 수신하면, 다양한 활동을 개시할 것이다. 문서내에 위치 및 캡처와 연관된 전자 대응 문서를 위치시킨 뒤 시스템에 의해 수행되는 가능한 활동들의 몇 개의 리스트는 다음과 같다.
·캡처의 상세가 사용자의 히스토리에 저장될 수 있다. (섹션 6.1)
·문서는 로컬 스토리지 또는 원격으로부터 검색될 수 있다. (섹션 8)
·문서와 관련된 운영 시스템의 메타데이터 및 다른 기록이 갱신될 수 있다. (섹션 11.1)
·문서와 연관된 마크업이 다른 관련 동작을 결정하기 위해 검사될 수 있다. (섹션 5)
·소프트웨어 애플리케이션이 문서를 편집, 뷰우, 아니면 동작시키기 위해 시동될 수 있다. 애플리케이션의 선택은 소스 문서, 스캔의 콘텐츠, 캡처의 다른 관점에 의존한다. (섹션 11.2.2, 11.2.3)
·애플리케이션은 캡처로 스크롤하거나, 갭쳐를 강조하고, 캡처로 삽입 포인트를 이동시키고, 그렇지 않다면 캡처의 위치를 지시할 것이다. (섹션 11.3)
·캡처링된 텍스트의 정확한 경계는 예를 들어, 캡처링된 텍스트의 전체 워드, 문장 및 단락을 선택하기 위해 수정될 수 있다. (섹션 11.3.2)
·사용자에게 캡처링된 텍스트를 클립보드로 복사하거나 다른 표준 운영 시스템 또는 애플리케이션-전용 동작을 수행하도록 하는 옵션이 제공될 수 있다.
·주석은 문서 또는 캡처링된 텍스트와 연관될 수 있다. 이것은 즉각적인 사용자 입력으로부터 나올 수 있고, 아니면 예를 들어 광학 스캔과 연관된 음성 주석의 경우에 미리 캡처되어 있을 수 있다. (섹션 19.4)
·마크업은 사용자가 선택할 수 있는 가능한 동작 세트를 결정하기 위해 검사될 수 있다.
12.2.2 문맥 팝업 메뉴
시스템에 의해 취해져야 할 적당한 동작이 분명한 때도 있고, 어떤 때는 사용자에 의해 그 선택이 이루어져야 할 경우도 있다. 이것을 하는 좋은 방법중의 하나는 "팝업 메뉴"의 사용 또는, 콘텐츠가 스크린상에도 디스플레이되는 경우에는 문맥 가까이에 나타나는 소위 "문맥 메뉴"를 사용하는 것이다. (섹션 11.3.3 참조). 몇몇 실시예에서, 스캐너 디바이스는 팝업 메뉴를 렌더링된 문서로 영사한다. 사용자는 키보드나 마우스와 같은 전통적인 방식을 이용하거나 캡처 디바이스상의 제어를 이용하여 (섹션 12.1.2), 제스쳐 (섹션 12.1.3), 또는 스캐너를 이용하여 컴퓨터 디스플레이와 인터렉션하는 것에 의해 (섹션 12.2.4) 그런 메뉴로부터 선택한다. 몇몇 실시예에서, 캡처의 결과로 나타날 수 있는 팝업 메뉴는 사용자가 응답하지 않았을 때, 예를 들어 사용자가 메뉴를 무시하고 다른 캡처를 할 때 발생 하는 액션을 나타내는 디폴트 아이템을 포함할 수 있다.
12.2.3. 명료화함에 대한 피드백
사용자가 텍스트를 캡처하고자 할 때, 매칭될 수 있는 다른 텍스트 위치나 여러 가지 문서가 처음부터 있을 수 있다. 많은 텍스트가 캡처되고 다른 요소들이 고려됨에 따라 (섹션 13), 후보 위치의 수는 실제 위치가 인식되거나 사용자의 입력없이도 추가의 명료화함이 가능하지 않을 때까지 감소할 것이다. 몇몇 실시예에서, 시스템은 파악된 위치 및 문서의 실시간 디스플레이를 제공하고, 예를 들어 리스트, 썸네일 이미지 혹은 텍스트-분리 형태로 제공되고, 캡처가 진행됨에 따라 그 디스플레이에 엘리먼트의 수도 감소한다. 몇몇 실시예에서, 시스템은 모든 후보 문서의 썸네일을 디스플레이하고, 썸네일의 크기 및 위치는 그것이 매칭될 가능성에 의존한다.
캡처가 명확하게 인식될 때, 이러한 사실은 예를 들어, 오디오 피드백을 이용하여 사용자에게 강조될 것이다.
때때로 캡처된 텍스트는 많은 문서에서 발생하고 인용으로 인식될 것이다. 이러한 시스템은, 예를 들어 원래의 소스 문서 주위에 인용된 참조를 포함하는 문서를 그룹핑하는 것으로, 이것을 스크린상에 지시할 것이다.
12.2.3. 스크린으로부터 스캐닝
몇몇 광학 스캐너는 다른 렌더링된 문서 뿐만 아니라 스크린상에 디스플레이된 텍스트를 캡처링하는 데 이용될 수 있다. 따라서, 렌드링된 문서 라는 용어는 종이에 프린트하는 것이 렌더링의 유일한 형태가 아니라는 것과 시스템에 사용되기 위해 텍스트나 심벌을 캡처하는 것은 텍스트가 전자적 디스플레이상에 디스플레이될 때 균등하게 유용하다는 것을 지시하기 위해 사용된다.
기술된 시스템의 사용자는 옵션 리스트로부터 선택하기 위한 것과 같은 다양한 이유로 인해 컴퓨터 스크린과 인터렉트할 필요가 있다. 사용자가 스캐너를 내려놓고, 마우스나 키보드를 사용하기 시작하는 것은 불편하다. 다른 섹션이, 장비의 변경을 요구하지 않는 입력 방법으로서 스캐너상의 물리적인 제어 (섹션 12.1.2) 또는 제스츄어 (섹션 12.1.3) 를 기술하였지만, 텍스트나 심벌을 스캔하기 위해 스크린상의 스캐너를 사용하는 것은 시스템에 의해 제공된 중요한 대안이다.
몇몇 실시예에서, 스캐너의 광학은 컴퓨터상의 소프트웨어나 특별한 하드웨어의 도움으로, 텍스트를 실제로 스캐닝할 필요없이 스크린상의 위치를 직접 센싱하는 라이트-펜과 유사한 방법으로 그것이 이용될 수 있도록 해준다.
12.2.5. 스크린 스크래핑
스크린을 스캔하기 위해 별도의 하드웨어를 이용하는 것 외에, 몇몇 실시예에서 스크린을 스크래핑(예를 들어, 스캔 및 OCR, 또는 달리 렌더링된 문서 정보를 획득)을 하는 문서 렌더링 디바이스의 내부의 하드웨어 또는 소프트웨어를 이용하는 것이 바람직할 수 있다. 그런 실시예는 디바이스의 디스플레이 전부 또는 일부를 덮는 투명 영역(보더를 가지거나 가지지 않거나)을 가지는 문서 렌더링 디바이스(컴퓨터 212와 같은)에 상주 애플리케이션를 사용할 수 있다. 투명 영역을 가짐으로써, 이 상주 애플리케이션은 문서 렌더링 디바이스의 스크린 버퍼에 액세스가능하고, 디바이스 디스플레이상에 디스플레이된 것을 OCR 하기 위해 스크린 버퍼의 정보를 사용할 수 있다. 그런 애플리케이션이, 투명한 때, 사용자에게 보여지지 않을지라도, 적어도 일부가 보여지는 다양한 모드를 가질 수 있고, 작동할 때 시각적인 단서(플래쉬, 채색, 소음, 사용자가 작동중임을 알게 해주는 여러가지 방법)를 더 제공해 줄 수 있다.
추가의 실시예는 여러 다른 애플리케이션을 구별할 수 있고, 현재 애플리케이션의 디스플레이된 정보만이 스크랩되거나, 어떤 애플리케이션은 항상 스크랩되거나 어떤 애플리케이션은 항상 스크랩되지 않거나, 이와 같은 방식으로 이루어 질 수 있다.
또한 몇몇의 실시예는, 문서의 디스플레이된 부분이 스크랩되고, 서버(로컬, 회사 또는 원격)로 문서의 상기 부분에 대한 어떤 마크업이나 주석이 있는지를 결정하기 위해 제출된다. 그런 제출은 주기적으로 또는 문맥 및/또는 디스플레이된 정보가 변경되었음이 스크린 버퍼에서 변경으로부터 확실한 때에 체크된다.
13. 문맥 해석
기술된 시스템의 중요한 과점은 텍스트 스트링의 단순한 캡처를 넘어서 사용중인 문서의 식별을 돕는 다른 요소의 사용이다. 적당한 양의 텍스트 캡처는 종종 문서를 유일하게 식별할 수 있지만, 많은 경우 몇 개의 후보 문서를 식별할 것이다. 하나의 해결책은 사용자에게 스캔되는 문서를 확인하도록 프롬프트하는 것이나, 바람직한 대안은 다른 요소를 이용하여 그 가능범위를 자동적으로 좁히는 것이다. 그런 보충적인 정보는 캡처되어야 할 필요가 있는 텍스트의 양을 극적으로 줄이고, 및/또는 전자 대응부분에서 위치가 식별되는 속도와 정확성을 증가시킬 것이 다. 이러한 추가의 자료는 "문맥"이라 언급될 것이고, 섹션 4.2.4에서 간단하게 기술되었다. 여기서 보다 자세히 다룬다.
13.1 시스템 및 문맥 캡처
그런 정보의 가장 중요한 예는 사용자의 캡처 히스토리일 것이다.
어떤 주어진 캡처가 이전과 동일한 문서로부터 이루어진 것이거나, 연관된 문서로부터 이루어진 것일 가능성이 높다. 특히나 만약 이전 캡처가 가장 최근 몇 분내에 일어났다면(섹션 6.1.2) 특히 그렇다. 반대로, 시스템이 2개의 스캔주에 폰트가 변경되었다는 것을 감지한다면, 다른 문서일 가능성이 높다.
사용자의 장기적인 캡처 히스토리 및 판독 성향도 또한 도움이 된다. 이것들은 사용자의 관심이나 관련의 모델을 개발하는데 사용될 수 있다.
13.2 사용자 실세계 문맥
유용한 문맥의 다른 예는 사용자의 지리학적 위치이다. 파리에 있는 사용자는 예를 들어 시애틀 타임지보다 르몽드지를 읽을 가능성이 더 높다. 프린트된 문서의 배포 시간, 크기, 지리학적 위치는 따라서 중요하고, 어느 정도 시스템의 운용으로부터 도출될 수 있을 것이다.
하루중 시간도 관련이 있다. 예를 들어 간행물을 항상 출근길에 읽는 사용자도 있고, 점심시간 혹은 퇴근시간에 읽는 사용자도 있다.
13.3. 관련 디지털 문맥
통상적인 방법에 의해 검색되거나 서치된 자료를 포함하여, 사용자의 최근 사용된 전자 문서도 도움을 주는 지시자가 될 수 있다.
몇몇 경우에, 기업 네트워크상에서, 다른 요소가 유용하게 고려될 수 있다:
·최근에 프린트된 문서?
·기업 파일 서버에서 최근에 수정된 문서?
·최근에 이메일로 송부된 문서?
이 모든 예들은 사용자가 그런 문서의 렌더링된 문서 버전을 읽을 가능성을 제안한다. 반대로, 문서가 상주하는 리포지터리는 문서가 프린트되지 않았거나, 프린트되는 장소로 보내지지 않았고, 그 후 렌더링된 문서로부터 기인하는 어떤 서치에서 안전하게 제거될 수 있다는 것을 확인해준다.
13.4 다른 통계 - 전지구적 문맥
섹션 14는 렌더링된 문서-기반 서치로부터 이루어지는 데이터 스트림 분석을 다루고 있고, 문서의 다른 독자와의 인기도, 인기도에 대한 시간, 가장 빈번하게 스캔된 문서의 부분에 대한 통계는 서치 프로세스에 유용한 추가의 요소의 예이다. 이 시스템은 구글형 페이지 랭크의 가능성을 렌더링된 문서의 세계로 가져다 준다.
검색 엔진에 대한 문맥 상의 다른 암시는 섹션 4.2.2.를 참조하라.
14. 데이터- 스트림 분석
시스템의 사용은 부작용으로서 대단히 가치있는 데이터-스트림을 발생시킨다. 이 스트림은 사용자들이 무엇을 읽고 있는 지 언제 읽고 있는 지에 대한 기록이며, 많은 경우에 사용자들이 그들이 읽는 것에서 특히 가치있다고 발견한 것에 대한 기록이다. 이러한 데이터는 랜더링된 문서에 대하여 이전에는 결코 이용가능 하지 않았다.
이 데이터가 시스템에 대해 그리고 시스템의 사용자에 대해 유용할 수 있는 여러가지 방법들이 섹션 6.1에 기재되어 있다. 이 섹션은 다른 섹션들에 대하여 그 자체의 용도에 집중한다. 물론, 사람들이 무엇을 읽고 있는 지에 대한 데이터의 배포로 고려될 실질적인 사적 이슈가 있으나, 이러한 이슈들은 데이터의 익명을 유지하는 것으로써 당업자들에게 잘 공지되어 있다.
14.1 문서 트랙킹
시스템이 소정의 사용자가 어떤 문서들을 읽고 있는 지를 알 때, 누가 소정의 문서를 읽고 있는 지를 또한 추론할 수 있다. 이것은 구성을 통한 문서 트랙킹이 예를 들면 누가 언제 그것을 읽고 있는 지, 얼마가 광범위하게 그것이 배포되었는 지, 얼마나 오래 그 배포가 취해졌는 지, 그리고 다른 이들이 구식의 데이터 사본으로부터 여전히 일하고 있는 동안 누가 현재의 버전을 보았는지에 대한 분석을 허용한다.
발행된 문서들에 대하여, 그것은 더 넓은 배포를 갖고, 개인적 사본의 트랙킹은 더 어려우나, 독자수 배포의 분석은 여전히 가능하다.
14.2 읽기 순위 - 문서의 인기 및 서브영역
사용자들이 텍스트나 사용자들이 관심있는 특별한 다른 데이터를 캡처링하고 있는 상황에서, 시스템은 소정 문서들의 인기와 그 문서들의 특별한 서브 영역을 추론할 수 있다. 이것은 시스템 그 자체에 가치있는 입력을 형성하고(섹션 4.2.2) 저자, 출판자 및 광고자에 대해서는 중요한 정보 소스를 형성한다(섹션 7.6, 섹션 10.5). 이 데이터는 또한 검색 엔진과 검색 인다이스에서의 통합 시 유용하고 - 예를 들면, 렌더링된 문서들로부터 오는 문의들에 대한 검색 결과들을 순위 매기는 역할을 하고, 및/또는 웹 브라우저로 타이핑된 진부한 문의들을 순위 매기는 역할을 한다.
14.3 사용자들에 대한 분석 - 프로파일 구축
사용자가 무엇을 읽고 있는 지에 대한 정보는 시스템이 사용자의 관심과 행위에 대한 꽤 자세한 모델을 창조하게 할 수 있다. 이것은 간략한 통계적 베이스에 유용할 수 있다 - 이 신문을 산 사용자들의 35%가 또한 그 저자의 최근 책을 읽는다 - 그러나 이것은 아래에 기술된 바와 같이 개인 사용자와의 다른 상호작용을 허용할 수 있다.
14.3.1 사회적 네트워킹
하나의 예는 일 사용자를 관련된 관심을 갖고 있는 다른 사용자들과 연결시키는 것이다. 이러한 것들은 이미 사용자에게 공지되어 있을 수 있다. 시스템은 대학 교수에게 당신은 XYZ 대학에 있는 당신의 동료가 이 논문을 읽었다는 것을 알았습니까? 라고 문의할 수 있다. 시스템은 사용자에게 제인 에어를 역시 읽고 있는 이웃의 사람들과 링크될 것을 원합니까? 라고 문의할 수 있다. 이러한 링크는 북 클럽의 자동 형성과 물리적인 세계이든 온라인 세계이든 비슷한 사회적 구조에 대한 기초가 될 수 있다.
14.3.2 마케팅
섹션 10.6은 제품과 서비스를 개인 사용자들의 시스템과의 상호작용을 기초 로 개인 사용자들에게 제품과 서비스를 제공한다는 이미 언급된 아이디어를 갖는다. 현재의 온라인 책 판매자들은 예를 들면 사용자들의 이전의 책 판매자들과의 상호작용을 기초로 사용자에게 종종 제안을 한다. 이러한 제안들은 그러한 제안들이 실제 책과의 상호작용을 기초로 할 때 훨씬 더 유용할 수 있다.
14.4 데이터- 스트림의 다른 측면에 기초한 마케팅
우리는 시스템이 발행된 문서들, 문서들을 통한 광고, 및 렌더링된 문서들로부터 기원된 다른 판매들에게 영향을 미칠 수 있는 몇 가지 방법들을 논의하였다(섹션 10). 몇몇의 상업적 행위는 렌더링된 문서들과의 직접적인 상호작용을 전혀 갖지 못할 수 있지만, 그러나 렌더링된 문서들에 의해 영향받을 수 있다. 예를 들면, 일 커뮤니티의 사람들이 신문의 경제 섹션을 읽는 것보다 스포츠 섹션을 읽는 데 더 많은 시간을 소비한다는 정보는 헬스 클럽을 개업하려고 하는 누군가에게는 흥미로울 수 있다.
14.5 캡처될 수 있는 데이터 종류
누가 어떤 문서들을 언제 어디에서 읽고 있는 지와 같은 논의된 통계에 더하여, 문서의 위치가 밝혀지는 것에 상관없이, 캡처된 텍스트의 실제 내용을 검사하는 것이 흥미로울 수 있다.
많은 경우에, 사용자는 또한 몇몇 텍스트를 캡처링할 것이나, 그러한 액션은 결과로써 발생될 수 있다. 예를 들면, 문서에 대한 참조를 지인에게 이메일 보내는 것일 수 있다. 심지어 사용자 확인이나 이메일의 수신자에 대한 정보가 부재하여도, 누군가가 문서를 이메일 보내기에 가치있는 것으로 고려한다는 정보는 매우 용하다.
특정 문서나 텍스트의 일부분의 가치를 추론하는 것에 대해 기술된 다양한 방법들에 더하여, 몇몇 경우에는 사용자는 그것에 평점을 부여함으로써 명시적으로 가치를 표시할 것이다.
마지막으로, 특정 사용자 세트가 그룹을 형성하기 위해 공지되어 있을 때, 예를 들면 사용자들이 특정 회사의 고용인들이 되는 것으로 공지되어 있을 때, 그 그룹의 집합적인 통계는 그 그룹에 대한 특정 문서의 중요성을 추론하기 위해 사용될 수 있다.
15. 디바이스 특징 및 기능
시스템에 사용하는 캡처 디바이스는 문서의 랜더링된 버전으로부터 텍스트를 캡처링하는 방법 정도로 필요로 한다. 앞서(섹션 1.2) 기술한 바와 같이, 이 캡처는 문서의 일부를 사진찍거나 몇몇 단어들을 모바일 폰 키패드로 타이핑하는 방법을 포함하는 다양한 방법을 통해 달성될 수 있다. 이 캡처는 동시에 텍스트의 한줄 또는 두 줄을 기록할 수 있는 작은 핸드-헬드 광학 스캔너, 또는 사용자가 텍스트를 문서로부터 보이스-레코더로 읽을 수 있는 오디오 캡처 디바이스를 사용하여 달성될 수 있다. 디바이스는 예를 들면 또한 보이스 주석을 기록할 수 있는 광학 스캐너의 결합일 수 있고, 캡처링 기능성은 모바일 폰, PDA, 디지털 카메라 또는 휴대용 뮤직 플레이어와 같은 다른 디바이스로 형성될 수 있다.
15.1 입력 및 출력
이러한 디바이스에 대한 많은 이로운 추가 입력 및 출력 설비가 섹션 12.1에 서 기술되었다. 설비는 입력에 대하여 버튼, 스크롤 휠 및 터치패드를 포함하고, 출력에 대하여 디스플레이, 지시등, 오디오 및 촉각 트랜스듀서를 포함한다. 때때로, 디바이스는 많은 이러한 것들을 통합할 것이고, 때때로 매우 적은 이러한 것들을 통합할 것이다. 때때로, 캡처 디바이스는 예를 들면 무선 링크를 이용하여 이미 그것들을 갖는 다른 디아비스(섹션 15.6)와 통신할 수 있을 것이고, 때때로, 캡처 기능성은 이러한 다른 디바이스(섹션 15.7)로 통합될 것이다.
15.2 접속성
몇몇 실시예에서, 디바이스는 시스템 자체의 대부분을 실행한다. 그러나, 몇몇 실시예에서 다바이스는 종종 통신 설비를 사용하여 PC나 다른 컴퓨팅 디바이스와 통신하고, 더 넓은 세계와 통신한다.
종종, 이러한 통신 설비들은 이더넷, 802.11 또는 UWB와 같은 일반 목적 데이터 네트워크의 형태이거나, USB, IEEE-1394(파이어와이어), 블루투스 또는 인프라-레드와 같은 표준 주변 접속 네트워크의 형태이다. 파이어와이어 또는 USB와 같은 와이어 접속이 사용될 때, 디바이스는 같은 접속을 통해 전력을 수신할 수 있다. 몇몇 상황에서, 캡처 디바이스는 USB 저장 디바이스와 같은 통상적인 주변기기가 되기 위해 접속 기기로 나타날 수 있다.
마지막으로, 디바이스는 또 다른 디바이스와 결합하는 데 사용되거나 일반적인 저장을 위해, 몇몇 상황에서 그 디바이스와 "도킹"할 수 있다.
15.3 캐싱 및 다른 온라인/오프라인 기능성
섹션 3.5 및 12.1.4는 비접속 작동에 대한 주제를 제기하였다. 캡처 디바이 스가 전체 시스템 기능성의 한정된 서브셋을 갖을 때 그리고 시스템의 다른 파트와 통신하지 않을 때, 디바이스는 여전히 유용할 수 있고, 비록 기능성 이용이 때때로 감소될 것이어도 디바이스는 여전히 유용할 수 있다. 가장 간단한 레벨에서, 디바이스는 캡처되는 원 이미지 또는 오디어 데이터를 기록할 수 있고, 이것은 나중에 가공될 수 있다. 그러나, 사용자의 이익을 위해, 캡처된 데이터가 임무에 대해 충분할 것 같은 지, 그 데이터가 인식될 수 있는 지 또는 인식될 수 있을 것 같은 지 그리고 데이터 소스가 식별될 수 있을 지 또는 나중에 식별될 수 있을 것 같은 지에 대해 피드백을 주는 것은 중요할 수 있다. 그 후, 사용자는 캡처링 행위가 가치있는 지를 알 것이다. 심지어 위의 모든 것이 비공지될 때에도, 원 데이터는 적어도 사용자가 나중에 그것들을 지시할 수 있도록 여전히 저장될 수 있다. 사용자는 예를 들면 스캔이 OCR 프로세스에 의해 인식될 수 없을 때에 스캔 이미지를 제공받을 수 있다.
몇몇 옵션 범위를 설명하기 위해, 최소한의 광학 스캐닝 디바이스 및 훨씬 더 많은 완벽한 기능의 디바이스가 아래에서 기술된다. 많은 디바이스들은 그 둘 사이에서 중도를 차지한다.
15.3.1 심플스캔너 - 최저 수준 오프라인 예
심플스캐너는 그것이 텍스트 라인의 길이를 따라 이동될 때 그 페이지로부터 화소를 읽을 수 있는 스캐닝 헤드를 갖는다. 그것은 페이지를 따르는 심플스캐너의 이동을 감지할 수 있고, 이동에 대한 정보를 갖는 화소를 기록한다. 그것은 또한 클록을 갖는데, 이는 각 스캔이 시간 각인되는 것을 허용한다. 클록은 심플스 캐너가 접속성을 갖을 때 호스트 디바이스와 동기화된다. 클록은 실제 시간을 나타내지 않을 수 있으나, 상대적 시간은 호스트가 스캔의 실제 시간을 추론할 수 있도록 또는 최악의 경우에는 스캔 사이의 경과 시간을 추론할 수 있도록 그것으로부터 결정될 수 있다.
심플스캐너는 OCR 그 자체를 수행할 충분한 프로세싱 전력을 갖지 않으나, 전형적인 단어-길이, 단어-간격, 및 폰트 사이즈와의 관계에 대한 기초적인 정보를 갖는다. 심플스캐너는 사용자에게 스캔이 읽혀질 수 있을 것 같은지, 헤드가 너무 빨리, 너무 느리게 또는 너무 부정확하게 렌더링된 문서에서 이동되고 있는 지, 그리고 소정 사이즈의 충분한 단어들이 식별되는 문서에 대하여 스캔될 것 같은 지를 말해 주는 기초적 지시등을 갖는다.
심플스캐너는 USB 커넥터를 갖고, 재충전되면 컴퓨터 상의 USB 포트에 플러깅될 수 있다. 컴퓨터에게 심플스캐너는 시간 각인된 데이터 파일이 기록된 USB 저장 장치로 나타나고, 시스템 소프트웨어의 나머지는 이 점으로부터 우세해진다.
15.3.2. 슈퍼스캐너 - 최고 수준 오프라인 예
슈퍼스캐너는 또한 그것의 풀 작동에 대해 접속성에 의존하나, 오프라인 동 안 캡처된 데이터에 대해 더 바람직함 판단을 내리도록 도와줄 수 있는 상당한 양의 온-보드 저장소 및 프로세싱을 갖는다.
슈퍼스캐너가 텍스트의 라인을 따라 이동할 때, 캡처된 화소는 함께 스티치되고 텍스트를 인식하도록 시도하는 OCR 엔진으로 패스된다. PC상에서 사용자의 스펠링 체크 사전과 동기화되는 사전을 갖고, 그들이 자주 직면하는 많은 단어들을 갖고 있기 때문에, 사용자의 가장 많이 읽은 발행물로부터의 폰트를 포함하는 다수의 폰트는 이 임무를 수행하는 것을 돕도록 다운로드된다. 또한 스캐너에 저장된 것은 전형적인 사용 빈도를 갖춘 단어와 구절의 항목이다. 이것은 사전과 결합될 수 있다. 스캔너는 인식 절차를 돕고 충분한 양의 텍스트가 캡처되었을 때에 대한 판단을 알려주기 위해 빈도 통계를 사용할 수 있다. 더 자주 사용된 구절은 검색 문의에 대한 기초로서 유용할 것 같지 않다.
또한, 사용자가 최근에 온라인 책 판매상으로부터 구매한 책에 대한 인다이스 또는 사용자가 최근 몇 달 내에 스캔한 것들로부터의 인다이스이기 때문에 사용자에 의해 가장 일반적으로 읽혀진 신문과 간행물의 최근 이슈에 있어서의 기사에 대한 풀 인덱스는 디바이스 상에 저장된다. 마지막으로, 시스템에 대해 이용가능한 데이터를 갖는 가장 인기 있는 발행물의 수천 개의 제목들은 다른 정보가 없을 때에 사용자가 제목을 스캔할 수 있고 특정 작업으로부터의 캡처가 나중에 전자 형태로 검색될 수 있을 것 같은 지에 대한 좋은 아이디어를 갖을 수 있도록 저장된다.
스캐닝 과정 동안, 시스템은 캡처된 데이터는 접속성이 재저장될 때 전자 사본이 검색될 수 있는 것을 가능하게 하기에 질적으로 충분하고 본질적으로 충분하다는 것을 사용자에게 알려준다. 종종 시스템은 스캔이 성공적인 것으로 알려지고, 컨텍스트는 온-보드 인다이스의 하나에서 인식되거나 관련 발행물이 데이터를 시스템에 이용가능하게 만든 것으로 알려져 나중의 검색은 성공적이어야 한다는 것을 사용자에게 알려준다.
슈퍼스캐너는 PC의 파이어와이어 또는 USB 포트에 접속된 크레들(cradle)에 도킹하는데, 이 때, 캡처된 데이터의 업로드에 더하여, 다양한 온보드 인다이스 및 다른 데이터베이스는 최근의 사용자 행위 및 새로운 발행물에 기초하여 업데이트된다. 설비들이 이용가능할 때, 무선 퍼블릭 네트워크에 접속하는 또는 블루투스를 통해 모바일 폰 그리고 그 곳에서부터 퍼블릭 네트워크와 통신하는 설비를 또한 갖는다.
15.4. 광학 스캐너의 특징
이제, 우리는 광학 스캐너 디바이스에 있어 특히 바람직한 특징들의 일부를 고려해본다.
15.4.1 유연한 위치 및 편리한 광학
페이퍼의 인기를 유지하는 이유 중 하나는 예를 들면 컴퓨터가 비현실적이거나 불편한 다양한 상황에서의 사용의 편이함 때문이다. 따라서, 사용자의 페이퍼와의 상호작용의 실질적인 파트를 캡처하도록 의도된 디바이스는 사용에 있어 유사하게 편리하다. 이것은 과거 스캐너에 대한 케이스가 아니다; 심지어 가장 작은 핸드-헬드 디바이스도 다소 다루기 힘들다. 페이퍼와 접촉하도록 디자인된 디바이스들은 페이퍼에 대하여 정확한 각도에서 붙들려지고 스캔되는 텍스트의 길이를 따라 매우 조심스럽게 이동된다. 이것은 사무 책상 위의 비지니스 레포트를 스캐닝할 때 가능하지만, 기차를 기다리는 동안 소설의 구절을 스캐닝할 때는 비실용적일 수 있다. 렌더링된 문서로부터 좀 떨어져 작동하는 카메라 타입 광학에 기초한 스캐너는 몇몇 환경하에서 유사하게 유용할 수 있다.
시스템의 몇몇 실시예는 렌더링된 문서와 접촉하여 스캔하는 스캐너를 사용하고, 렌즈 대신에 페이지로부터의 이미지를 광학 센서 디바이스로 전송하는 광섬유 다발인 이미지 도관을 사용한다. 이러한 디바이스는 자연스런 위치로 붙들려지도록 형상화될 수 있고, 예를 들면, 몇몇 실시예에서, 페이지와 접촉하는 파트는 쐐기 모양으로, 사용자의 손이 하이라이터 펜의 사용과 유사한 움직임으로 페이지에 대해 더 자연스럽게 이동하도록 허용한다. 도관은 렌더링된 문서와 직접적으로 접촉하거나 그것에 매우 근접하여 있고, 가능한 손해로부터 이미지 도관을 보호할 수 있는 대체성의 투과 팁을 갖을 수 있다. 섹션 12.2.4에서 언급한 바와 같이, 스캐너는 페이퍼 뿐만 아니라 스크린으로부터 스캔을 하는 데 사용될 수 있고, 팁의 자료는 이러한 디스플레이에 손해 가능성을 감소시키기 위해 선택될 수 있다.
마지막으로, 디바이스의 몇몇 실시예들은 스캐닝 과정 동안 사용자에게 피드백을 제공할 것이고, 이것은 사용자가 너무 빨리, 너무 느리게, 너무 고르지 않게 스캐닝하거나 스캔되는 라인상에서 너무 높게 또는 너무 낮게 전전할 때 빛, 소리 또는 촉각 피드백의 사용을 통해 지시할 것이다.
15.5 안전성, 식별성, 인증, 개인화 및 청구
섹션 6에서 기술된 바와 같이, 캡처 디바이스는 안전한 거래, 구매 및 다양한 다른 작동을 위한 식별과 인증의 중요한 파트를 형성할 수 있다. 따라서, 그것은 이러한 롤에 대해 요구되는 소프트웨어 및 회로에 더하여, 그것을 더 안전한게 할 수 있는 스마트-카드 리더, RFID, 또는 PIN을 타이핑하는 키패드와 같은 하드웨어 특징들을 결합할 수 있다.
그것은 또한 사용자를 식별하는 것을 돕는 다양한 생물측정의 센서를 포함할 수 있다. 광학 스캐너의 경우에, 예를 들면, 또한 스캐닝 헤드는 핑거프린트를 읽을 수 있다. 보이스 레코더의 경우, 사용자의 보이스 패턴이 사용될 수 있다.
15.6 디바이스 연계
몇몇 실시예에서, 디바이스는 자신 또는 자신과 다른 근처 디바이스들의 기능성을 향상시키기 위해 다른 근처 디바이스들과 연계를 형성할 수 있다. 몇몇 실시예에서는, 예를 들면, 디바이스는 그것의 작동에 대하여 더 자세한 피드백을 제공하기 위해 근처 PC 또는 폰의 디스플레이를 사용한다. 한편, 디바이스는, 다른 디바이스에 의해 수행된 작동을 인증하기 위해 안전 및 식별 디바이스로서의 역할로 동작할 수 있다. 또는, 디바이스는 그 디아비스에 대한 주변장치로서 기능하기 위해 연계를 단순히 형성할 수 있다.
이러한 연계의 흥미로운 점은 그들이 디바이스의 캡처 설비를 사용하여 초기화되고 인증될 수 있다는 것이다. 예를 들면, 퍼블릭 컴퓨터에 대해 그들 자신을 안전하게 식별하기를 소망하는 사용자는 터미널 스크린의 특정 지역 상에 디스플레이되는 코드나 심볼을 스캔하고 그 결과 키 전송을 효과적으로 하기 위해 디바이스의 스캐닝 설비를 사용할 수 있다. 유사한 공정이 보이스 레코딩 디바이스에 의해 픽업되는 오디어 신호를 사용하여 수행될 수 있다.
15.7 다른 디바이스와의 통합
몇몇 실시에에서, 캡처 디바이스의 기능성은 이미 사용된 몇몇 다른 디바이스로 통합된다. 이 통합된 디바이스는 전력 공급, 데이터 캡처, 저장 능력 및 네 트워크 인터페이스를 공유할 수 있다. 이러한 통합은 다른 편리함을 위해 간단하게 이루어질 수 있고 비용을 절감시키거나 가능성을 이용가능하게 한다.
캡처 기능성이 통합될 수 있는 디바이스의 몇몇 예들은 다음을 포함한다.
. 마우스, 스타일러스, USB "웹-캠" 카메라, 블루투스 헤드셋 또는 리모트 컨트롤과 같은 존재하는 주변장치
. PDA, MP3 플레이어, 보이스 레코더, 디지털 카메라 또는 모바일 폰과 같은 다른 처리/저장 디바이스
. 편리함을 위해 종종 휴대되는 다른 아이템들 - 시계, 보석, 펜, 자동차 키 포브
15.7.1 모바일 폰 통합
통합에 대한 이점의 예로서, 우리는 캡처 디바이스로서 변형 모바일 폰의 사용을 고려한다.
몇몇 실시예에서, 폰 하드웨어는 텍스트 캡처가 보이스 인식을 통해 적절하게 이루어질 수 있는 경우, 그들이 폰 자체에 의해 처리되거나 텔레폰 콜의 다른 단부에서의 시스템에 의해 처리될 수 있는 경우, 또는 미래 처리에 대한 폰 메모리에 저장될 수 있는 경우 시스템을 지지하기 위해 변형되지 않는다. 많은 현대 폰은 시스템의 일부 파트를 실행할 수 있는 소프트웨어를 다운로드할 수 있는 능력을 갖는다. 그러나, 이러한 보이스 캡처는 예를 들면 실질적인 백그라운드 노이즈가 있을 때, 그리고 정확한 보이스 인식이 최상의 시간에 어려운 작업일 때 등 많은 상황에서 차선일 수 있다. 오디오 설비는 오디오 주석을 캡처하기 위해 최선으로 사용될 수 있다.
몇몇 실시예에서, 많은 모바일 폰에 있는 카메라는 텍스트의 이미지를 캡처하기 위해 사용된다. 카메라에 대해 뷰파인더로서 일반적으로 작동하는 폰 디스플레이는 이미지의 질에 대한 라이브 카메라 영상 정보 상에 오버레이할 수 있고, OCR에 대한 적합성, 텍스트의 세그먼트는 캡처될 수 있고, OCR이 폰 상에서 수행될 수 있으면 심지어 텍스트의 모사가 캡처될 수 있다.
몇몇 실시예에서, 폰은 전용 캡처 설비를 추가하기 위해, 또는 클립-온 어답터 또는 폰과 통신하는 블루투스-연결의 별개의 주변장치에서의 이러한 기능성을 제공하기 위해 변형된다. 캡처 메카니즘의 본질이 무엇이든 간에, 현대 셀폰과의 통합은 많은 다른 이점을 갖는다. 폰은 더 넓은 세계와의 접속을 갖고, 이것은 문의들이 시스템의 검색 엔진이나 다른 파트를 리모트하기 위해 제출될 수 있다는 것을 의미하고, 문서의 사본은 즉각적인 저장이나 뷰잉을 위해 검색될 수 있다. 폰은 전형적으로 지역적으로 수행되는 시스템의 많은 기능을 위한 충분한 처리 전력을 갖고, 상당한 양의 데이터를 캡처하기 위한 충분한 스토리지를 갖는다. 스토리지의 양은 종종 사용자에 의해 확장될 수 있다. 폰은 사용자에게 피드백을 제공하기 위해 상당히 좋은 디스플레이 및 오디오 설비를 갖고, 종종 촉각 피드백을 위한 기능을 진동시킨다. 그들은 좋은 전력 공급을 또한 갖는다.
가장 두드러지게는, 그것들은 대부분의 사용자가 이미 갖고 다니는 디바이스이다.
파트 III - 시스템의 적용 예
이 섹션은 시스템의 사용예 및 시스템 상에서의 적용을 리스트한다. 이 리스트는 순전히 설명을 위한 것이다.
16. 개인적 적용
16.1 라이프 라이브러리
라이프 라이브러리(섹션 6.1.1 참조)는 가입자가 저장하기를 원하는 중요한 문서의 디지털 보관소이고, 이 시스템의 서비스의 실시예이다. 중요한 책, 잡지 기사, 신문 클리핑 등은 라이프 라이브러리에서 디지털 형태로 모두 저장될 수 있다. 또한, 가입자의 주석, 코멘트 및 노트는 문서와 함께 저장될 수 있다. 라이프 라이브러리는 인터넷과 월드와이드웹을 통해 액세스될 수 있다.
시스템은 가입자를 위해 라이프 라이브러리 문서 보관소를 생성하고 관리한다. 가입자는 문서로부터 정보를 스캐닝함으로써 또는 그렇지 않으면 특정 문서가 가입자의 라이프 라이브러리로 추가될 것이라는 점을 시스템에 표시함으로써 가입자가 어떤 문서를 그의 라이프 라이브러리에 저장하기를 원하는 가를 나타낸다. 스캔된 정보는 전형적으로 문서로부터의 텍스트이나, 문서를 식별하는 바코드 또는 다른 코드일 수 있다. 시스템은 코드를 인정하고, 소스 문서를 식별하기 위해 코드를 사용한다. 문서가 식별된 후 시스템은 사용자의 라이프 라이브러리에 문서의 사본을 또는 문서가 함유될 수 있는 소스에 대한 링크를 저장할 수 있다.
라이프 라이브러리 시스템에 대한 일 실시예는 가입자가 전자 사본을 얻도록 허가받았는 지를 체크할 수 있다. 예를 들면, 독자는 기사가 독자의 라이프 라이브러리로 추가되도록 뉴욕 타임즈 기사의 사본으로부터 텍스트나 식별자를 스캔한 다면, 라이프 라이브러리 시스템은 독자가 뉴욕 타임즈의 온라인 버전에 가입하였는 지를 뉴욕타임즈에 조회할 것이다; 만약 그렇다면, 독자는 그의 라이프 라이브러리 계정에 저장된 기사의 사본을 얻고, 그렇지 않다면, 문서를 식별하는 정보 및 그것을 명령하는 방법이 그의 라이프 라이브러리 계정에 저장된다.
몇몇 실시예에서, 시스템은 액세스 특권 정보를 포함하는 각 가입자에 대한 가입자 프로파일을 함유한다. 문서 액세스 정보는 여러 방법으로 컴파일될 수 있다. 그 중 두 가지는, 1) 가입자는 문서 액세스 정보를 그의 계정 이름과 패스워드 등과 함께 라이프 라이브러리 시스템에 공급하고, 또는 2) 라이프 라이브러리 서비스 공급자는 가입자의 정보를 가지고 발행자에게 문의하고, 발행자는 만약 라이프 라이브러리 가입자가 자료에 액세스하는 권한을 부여받았다면 전자 사본에 대한 액세스를 제공함으로써 응답한다. 라이프 라이브러리 가입자가 문서의 전자 사본을 갖는 것을 허락받지 않는다면, 발행자는 라이프 라이브러리 공급자에게 대가를 제공하고, 그리고 나서 고객에게 전자 문서를 구매할 수 있는 옵션을 제공한다. 만약 그렇다면, 라이프 라이브러리 서비스 공급자는 발행자에게 직접적으로 지불하고 나중에 라이프 라이브러리 고객에게 청구하거나 라이프 라이브러리 서비스 공급자는 구매를 위해 즉각 고객의 신용카드에 청구한다. 라이프 라이브러리 서비스 공급자는 구매 가격의 몇 퍼센트 또는 거래를 촉진하는 용의 고정된 비용을 얻는다.
시스템은 가입자의 개인 라이브러리 및/또는 가입자가 보관 특권을 갖는 다른 라이브러리에 문서를 보관할 수 있다. 예를 들면, 사용자가 프린트된 문서로 부터 텍스트를 스캔할 때 라이프 라이브러리 시스템은 렌더링된 문서 및 그것의 전자 부본을 식별할 수 있다. 소스 문서가 식별된 후, 라이프 라이브러리는 사용자의 개인 라이브러리에 그리고 가입자가 보관 특권을 갖는 그룹 라이브러리에 소스 문서에 대한 정보를 기록한다. 그룹 라이브러리는 프로젝트에 대해 함께 일하는 그룹, 학구적 연구원 그룹, 그룹 웹 로그 등을 위한 문서 저장소와 같은 집합적인 보관소이다.
라이프 라이브러리는 많은 방법으로 구성될 수 있다: 연대순으로, 주제에 의해, 가입자의 관심의 레벨에 의해, 발행물(신문, 책, 잡지, 기술 페이퍼 등)의 종류에 의해, 어디에서 읽는 지, 언제 읽는 지, ISBN에 의해 또는 듀이 소수에 의해 등. 일 대안에서, 시스템은 다른 가입자들이 동일한 문서를 분류한 방법에 기초하여 분류를 습득할 수 있다. 시스템은 사용자에게 분류를 제안할 수 있고, 사용자를 위해 문서를 자동적으로 분류할 수 있다.
다양한 실시예에서, 주석은 문서에 직접 삽입될 수 있거나 별개 파일로 유지될 수 있다. 예를 들면, 가입자가 신문 기사로부터 텍스트를 스캔할 때, 기사는 하이라이팅된 스캔된 텍스트로 그의 라이프 라이브러리에 보관된다. 대안으로서, 기사는 관련 주석 파일과 함께 그의 라이프 라이브러리에 보관된다(따라서, 보관된 문서는 불변형으로 남는다). 시스템의 실시예들은 각 가입자의 라이브러리에 소스 문서의 사본을, 많은 가입자가 액세스할 수 있는 마스터 라이브러리에 사본을, 또는 발행자에 의해 유지되는 사본에 대한 링크를 보유할 수 있다.
몇몇 실시예에서, 라이프 라이브러리는 단지 사용자의 문서에 대한 변형(예 를 들면, 하이라이트 등)을 저장하고, (다른 곳에 저장된)문서의 온라인 버전에 대한 링크를 저장한다. 시스템 또는 가입자는 가입자가 그 후에 문서를 검색할 때 문서와 변화를 통합한다.
만약 주석이 별개 파일로 유지된다면, 소스 문서 및 주석 파일은 가입자에게 제공되고, 가입자는 그것들을 결합하여 변형된 문서를 생성한다. 대안으로서, 시스템은 그것들을 가입자에게 제공하기 전에 두 개의 파일을 결합한다. 다른 대안에서는, 주석 파일은 문서 파일에 대한 오버레이이고, 가입자 컴퓨터에서의 소프트웨어에 의해 문서 상에 오버레이될 수 있다.
라이프 라이브러리 서비스에 대한 가입자는 시스템이 가입자의 보관소를 유지하기 위한 월 비용을 지불한다. 대안에서는, 가입자는 보관소에 저장된 각 문서에 대해 작은 금액(예를 들면, 마이크로-지불)을 지불한다. 대안으로서, 가입자는 가입자의 보관소에 액세스하기 위해 각 액세스 비용을 지불한다. 대안으로서, 가입자는 라이브러리들을 컴파일할 수 있고, 라이프 라이브러리 서비스 공급자 및 저작권 보유자와의 이익 분배 모델 상에서 다른 사람들이 자료/주석에 액세스하도록 허용할 수 있다. 대안으로서, 라이프 라이브러리 서비스 공급자는 라이프 라이브러리 가입자가 문서를 주문할 때 발행자로부터 비용을 받는다(발행자와의 이익 분배 모델, 여기서는 라이프 라이브러리 공급자는 발행자 이익의 분배를 갖는다).
몇몇 실시예에서, 라이프 라이브러리 공급자는 가입자 및 저작권 보유자(저작권 허가 센터, a.k.a. CCC와 같은 저작권 보유자의 에이전트) 사이의 중개자로서 역할한다. 라이프 라이브러리 서비스 공급자는 이 중개 서비스를 제공하기 위 해 가입자의 청구 정보 및 다른 사용자의 계정 정보를 사용한다. 필수적으로, 라이프 라이브러리 서비스 공급자는 가입자와의 기존의 관계에 영향을 주어 가입자를 대신하여 카피라이트된 자료의 구매를 가능케 한다.
몇몇 실시예에서, 라이프 라이브러리 시스템은 문서로부터 초록을 스캔할 수 있다. 예를 들면, 가입자가 렌더링된 문서로부터 텍스트를 스캔할 때, 전체 문서가 라이프 라이브러리에 보관되기 보다는 스캔된 텍스트 주변의 영역이 발췌되고, 라이프 라이브러리에 위치된다. 오리지날 스캔이 가입자가 관심있는 부분을 찾기 위해 문서를 다시 읽는 것을 금지하는 환경을 유지하기 때문에, 이것은 문서가 길 때 특히 이롭다. 물론, 렌더링된 문서의 전체 전자 부본에 대한 하이퍼링크가 초록물에 포함될 수 있다.
몇몇 실시예에서, 시스템은 또한 라이프 라이브러리에 있는 문서에 대한 정보, 예를 들면, 저자, 발행물 제목, 발행물 날짜, 발행자, 저작권 보유자(또는 저작권 보유자의 라이센싱 에이전트), ISBN, 문서의 퍼블릭 주석에 대한 링크, 리드-랭크 등을 저장한다. 문서에 대한 이 추가 정보 중 일부는 렌더링된 문서 메타데이터의 형태이다. 제3자는 일반 공중 이외의 개인에 의한 액세스에 대해 퍼블릭 주석 파일을 생성할 수 있다. 문서에 대한 제3자 코멘터리를 링크하는 것은 다른 사용자들의 리딩 주석 파일들이 가입자의 문서에 대한 이해를 향상시키기 때문에 이롭다.
몇몇 실시예에서, 시스템은 클레스에 의해 자료를 보관하다. 이 특징은 라이프 라이브러리 가입자가 각 렌더링된 문서에 대한 액세스 없이 빨리 렌더링된 문 서의 전체 클레스에 대한 전자 부본을 저장하는 것을 허용한다. 예를 들면, 가입자가 내셔널 지오그라피 잡지의 사본으로부터 텍스트를 스캔할 때, 시스템은 가입자에게 내셔널 지오그라피의 모든 백 이슈들을 보관하기 위한 옵션을 제공한다. 만약 가입자가 모든 백 이슈들을 보관하기를 선택하면, 그 후 라이프 라이브러리 서비스 공급자는 가입자가 그렇게 할 수 있게 권한을 부여받았는 지를 내셔널 지오그라피 단체에 조회한다. 만약 그렇지 않다면, 라이프 라이브러리 서비스 공급자는 내셔널 지오그라피 잡지 콜렉션을 보관하기 위한 권한의 구매를 꾀할 수 있다.
16.2 라이프 세이버
라이프 라이브러리 개념에 대한 다양성 또는 향상은 "라이프 세이버"이고, 여기서 시스템은 사용자에 의해 캡처된 텍스트를 사용하여 그들의 다른 행위에 대한 더 많은 것을 추론한다. 특정 식당의 메뉴, 특정 극장 공연의 프로그램, 특정 철도역의 시간표 또는 지역 신문의 기사에 대한 스캔닝은 시스템이 사용자의 위치 및 사회적 행위에 대해 추론할 수 있도록 허용하고, 예를 들면 웹사이트로서 자동 다이어리를 구성할 수 있다. 사용자는 다이어리를 편집할 수 있고 변형할 수 있으며, 사진과 같은 추가물을 추가할 수 있고 물론 스캔된 아이템들을 다시 볼 수 있다.
17. 학구적 적용
기술된 시스템에 의해 지지되는 휴대용 스캐너는 학구적 세팅에 많은 강제적 사용을 갖는다. 스캐너는 학습 경험에서 학생/선생님 상호작용 및 논의를 향상시 킬 수 있다. 다른 사용자들 중에서, 학생들은 그들의 독특한 요구를 만족시키기 위해 스터디물을 주석달 수 있고; 선생님들은 교실 공연을 모니터링할 수 있고; 선생님들은 학생 숙제에서 인용된 소스물을 자동적으로 조회할 수 있다.
17.1 아이들의 책
아이들의 렌더링된 문서(책과 같은)와의 상호작용은 이 시스템의 실시예의 특정 세트를 사용하는 식자 습득 시스템에 의해 모니터링된다. 아이는 식자 습득 시스템의 다른 요소들과 통신하는 휴대용 스캐너를 사용한다. 휴대용 스캐너에 더하여, 식자 습득 시스템은 디스플레이와 스피커를 갖는 컴퓨터와 컴퓨터에 의해 액세스될 수 있는 데이터베이스를 포함한다. 스캐너는 컴퓨터와 결합된다(하드와이어드된 짧은 범위 RF 등). 아이가 알 수 없는 단어를 책에서 보면, 아이는 스캐너를 가지고 그것을 스캔한다. 일 실시예에서, 식자 습득 시스템은 단어를 식별하기 위해 스캔된 텍스트와 데이터베이스에서 있는 소스를 비교한다. 데이터베이스는 사전, 백과사전 및/또는 멀티미디어 파일(예를 들면, 소리, 그래픽 등)을 포함한다. 단어가 식별된 후, 시스템은 단어 및 단어의 정의를 아이에게 발음해 주기 위해 컴퓨터 스피커를 사용한다. 다른 실시예에서, 단어 및 그 정의는 컴퓨터 모니터 상에 식자 습득 시스템에 의해 디스플레이된다. 스캔된 단어에 대한 멀티미디어 파일은 또한 컴퓨터 모니터와 스피커를 통해 플레이될 수 있다. 예를 들면, 아이가 '골디록스 앤드 더 쓰리 베어' 를 읽고 있으며, 시스템은 단어 '베어'를 발음하고, 컴퓨터 모니터 상에서 곰에 대한 짧은 비디오를 보여준다. 이런 방식으로, 아이는 쓰여진 단어를 발음하는 것을 배우고 멀티미디어 프리젠테이션을 통해 단어 의미를 시각적으로 교육받는다.
식자 습득 시스템은 즉각적인 청각 및/또는 시각 정보을 제공하여 학습 과정을 향상시킨다. 아이는 보충적인 정보를 사용하여 쓰여진 글자의 더 깊은 이해를 빨리 획득할 수 있다. 시스템은 초기 독자에게 읽는 것을 가르치는 데 사용될 수 있고, 아이들이 더 많은 단어들을 획득하는 것을 돕는데 사용될 수 있다 이 시스템은 아이에게 아이가 친숙하지 않은 단어에 대한 정보을 제공하거나 아이가 더 만은 정보를 원하는 단어에 대한 정보를 제공한다.
17.2 식자 습득
몇몇 실시예에서, 시스템은 개인 사전들을 컴파일한다. 만약 독자가 새롭고 흥미롭고 또는 특별히 유용하거나 까다로운 단어을 본다면, 독자는 그것(그것의 정의와 함께)을 컴퓨터 파일에 저장한다. 이 컴퓨터 파일은 독자의 개인 사전이 된다. 이 사전은 일반적으로 일반 사전보다 더 작은 크기여서 모바일 스테이션이나 관련 디바이스로 다운로드될 수 있고 따라서 시스템이 즉각적으로 액세스되지 않을 때에도 이용가능하다. 몇몇 실시예에서, 개인 사전 입력은 적절한 단어 발음을 보조하기 위해 오디오 파일을 포함하고, 단어가 스캔되는 렌더링된 문서를 식별하는 정보를 포함한다.
몇몇 실시예에서는, 시스템은 커스터마이징된 스펠링 및 학생용 단어 테스트를 생성한다. 예를 들면, 학생이 과제물을 읽을 때, 학생은 휴대용 스캐너로 친숙하지 않은 단어를 스캔할 수 있다. 시스템은 학생이 스캔한 모든 단어들의 리스트를 저장한다. 나중에, 시스템은 커스터마이징된 스펠링/단어 테스트를 관련 모니 터(또는 관련 프린터 상의 테스트와 같은 프린트물) 상으로 학생에게 실행한다.
17.3 음악 가르침
음악 스태프 상의 노트의 배열은 텍스트 라인에서의 문자의 배열과 유사하다. 이 시스템에서 텍스트를 캡처링하는 것을 위해 논의된 것과 같은 스캐닝 디바이스가 음악 주석을 캡처하기 위해 사용될 수 있고, 공지된 음악의 데이터베이스에 대한 검색을 수행하는 유사한 과정이 그 후에 검색되고, 플레이되고 또는 일부 미래 액션을 위한 기초가 된다.
17.4 표절의 검출
선생님들은 페이퍼로부터 텍스트를 스캔함으로써 그리고 시스템에 스캔된 텍스트를 제출함으로써 표절을 검출하기 위해 또는 출처를 조회하기 위해 시스템을 사용할 수 있다. 예를 들면, 학생이 인용한 출처에서 온 학생 페이퍼에서 인용을 조회하기를 희망하는 선생님은 인용 부분을 스캔하고 시스템에 의해 식별된 문서의 제목과 학생에 의해 인용된 문서의 제목을 비교할 수 있다. 마찬가지로, 시스템은 텍스트가 대신에 카피된 것인지를 적발하기 위해 학생의 원래 작업물로서 제출된 과제물로부터 텍스트 스캔을 사용할 수 있다.
17.5 강화된 텍스트북
몇몇 실시예에서, 학구적 텍스트북으로부터 텍스트를 캡처링하는 것은 더 자세한 설명, 추가 연습, 자료에 대한 학생과 스태프의 논의, 과거 시험 문의 관련예, 과목에 대한 추가 리딩, 과목에 대한 강의 레코딩 등에 학생 또는 스태프를 링크시키는 것이다(또한 섹션 7.1 참조).
17.6 언어 학습
몇몇 실시예에서, 시스템은 외국어를 가르치는 데 사용된다. 예를 들면, 스페인어 단어를 스캔하는 것은 단어가 영어로 된 의미와 함께 스페인어로 크게 읽혀지는 것이 야기될 수 있다.
시스템은 새로운 언어 습득 과정을 강화시키기 위해 즉각적인 청각 및/또는 시각 정보를 제공한다. 독자는 이 보충적인 정보를 사용하여 자료에 대한 더 깊은 이해를 빨리 얻는다. 시스템은 기초 학생들에게 외국어 읽는 것을 가르치는 데 사용될 수 있고, 학생들이 더 많은 단어를 얻는 것을 돕는 데 등에 사용될 수 있다. 시스템은 독자가 친숙하지 않은 외국 단어 또는 독자가 더 많은 정보를 원하는 외국 단어에 대한 정보를 제공한다.
독자의 렌더링된 문서(신문 또는 책과 같은)와의 상호작용은 언어 스킬 시스템에 의해 모니터링된다. 독자는 언어 스킬 시스템과 통신하는 휴대용 스캐너를 갖는다. 몇몇 실시예에서, 언어 스킬 시스템은 디스플레이와 스피커를 갖는 컴퓨터와 컴퓨터에 의해 액세스될 수 있는 데이터베이스를 포함한다. 스캐너는 컴퓨터와 통신한다(하드와이어드된 짧은 범위 RF 등). 독자가 알 수 없는 단어를 기사에서 보았을 때, 독자는 스캔너를 가지고 그것을 스캔한다. 데이터베이스는 외국어 사전, 백과사전 및/또는 멀티미디어 파일(예를 들면, 소리, 그래픽 등)을 포함한다. 일 실시예애서, 시스템은 스캔된 단어를 식별하기 위해 스캔된 텍스트와 데이터베이스에서의 소스를 비교한다. 단어가 식별된 후, 시스템은 단어 및 단어의 정의를 독자에게 발음해 주기 위해 컴퓨터 스피커를 사용한다. 몇몇 실시예에서, 단어 및 그 정의는 컴퓨터 모니터 상에 함께 디스플레이된다. 스캔된 단어와 관련된 문법 팁에 대한 멀티미디어 파일은 또한 컴퓨터 모니터와 스피커를 통해 플레이될 수 있다. 예를 들면, 단어가 '투 스피크' 로 스캔되면, 시스템은 단어 '할바'를 발음하고, 적절한 스페인어 발음을 설명하는 짧은 오디오 클립을 플레이하고, '할바'의 다양한 활용형의 완벽한 리스트를 디스플레이한다. 이런 방식으로, 학생은 쓰여진 단어를 발음하는 것을 배우고, 멀티미디어 프리젠테이션을 통해 단어 스펠링을 시각적으로 교육받고, 동사를 활용하는 방법을 배운다. 시스템은 일반적인 구절과 함께 '할바'의 적절한 용도에 대한 문법 팁을 또한 제공할 수 있다.
몇몇 실시예에서, 사용자는 사용자의 모국어(사용자가 상당히 잘 아는 일부 언어) 이외의 다른 언어로 렌더링된 문서로부터 단어 또는 짧은 구절을 스캔한다.몇몇 실시예에서, 시스템은 사용자의 "선호되는" 언어의 우선순위 리스트를 유지한다. 시스템은 렌더링된 문서의 전자 부본을 식별하고, 문서 내에서 스캔의 위치를 결정하다. 시스템은 사용자의 선호되는 언어 중 하나로 번역된 문서의 제2 전자 부본을 또한 식별하고, 원래 문서에서의 스캔의 위치에 상응하는 번역된 문서에서의 위치를 결정한다. 상응 위치가 정확하게 알려져 있지 않을 때, 시스템은 스캔된 위치의 상응 위치를 포함하는 작은 영역(예를 들면, 페러그래프)을 식별한다. 상응하는 번역된 위치는 그리고 나서 사용자에게 제공된다. 이것은 사용자에게 단어 대 단어로 종종 정확하게 번역하기 어려운 속어 또는 다른 관용적 용법을 포함하여 스캔된 위치에서의 특정한 용법의 정확한 번역을 제공한다.
17.7 검색 자료 모음
특정 주제를 검색하는 사용자는 프린트된 또는 스크린 상의 모든 종류의 자료와 직면할 수 있고, 사용자는 일부 개인 보관소에 주제의 관련으로서 기록하기를 희망할 수 있다. 시스템은 이 과정을 자료의 어떤 부분에서의 짧은 구절을 스캐닝하는 결과로써 자동화시킬 수 있고, 주제에 대해 발행물에 삽입하기에 적절한 출판 목록을 생성할 수 있다.
18. 상업적 적용
분명하게, 상업적 행위는 여기서 논의된 거의 다른 공정으로부터 만들어질 수 있으나, 여기서는 우리는 몇몇 분명한 이익 스트림에 대하여 집중한다.
18.1. 요금 기반 검색 및 인덱싱
종래 인터넷 검색 엔진은 일반적으로 무료로 전자 문서의 검색을 제공하고, 또한 인덱스에 자신의 컨텐츠를 포함시키기 위해 컨텐츠 공급자에 비용을 지불하지 않는다. 일부 실시예에서, 시스템은 사용자에게 비용을 지급하고 및/또는 시스템의 동작 및 사용과 연결하여 검색 엔진 및/또는 컨텐츠 공급자에게 요금을 지불한다.
일부 실시예에서, 시스템 서비스의 가입자는 렌더링된 문서의 스캔으로부터 발생한 검색에 대한 요금을 지불한다. 예를 들면, 증권 중개인은 회사 X에 의해 제공되는 새로운 제품에 관한 Wall Street Journal의 기사를 읽을 수 있다. 렌더링된 문서로부터 회사 X의 명칭을 스캔하고 필요한 요금을 결제하는 것에 동의함으로써, 증권 중개인은 애널리스트의 보고서와 같은 그 회사에 관한 프리미엄 정보를 획득하기 위한 특별한 또는 독점적인 데이터베이스를 검색하기 위해 시스템을 이용 한다. 시스템은 또한 예를 들면 특정한 날짜에 간행된 모든 신문이 인덱싱되고 그것들이 히트할 때마다 가용하게 함으로써 렌더링된 문서 형태로 가장 많이 읽혀질 수 있는 문서의 우선 순위를 가지는 배치를 할 수도 있다.
컨텐츠 공급자는 렌더링된 문서로부터 제출된 검색 문의에서 특정한 용어에 연관된 요금을 지불할 수 있다. 예를 들면, 하나의 실시예에서, 시스템은 공급자에 관한 추가 컨텍스트(이 경우, 컨텐츠 공급자가 결과 리스트에서 상위로 이동되도록 하는 요금을 지불하는 컨텍스트)에 기초하여 가장 선호되는 컨텐츠 공급자를 선택한다. 필수적으로, 검색 공급자는 컨텐츠 공급자와의 이전에 존재하는 재정적인 배열에 따라 렌더링된 문서 검색 결과를 조정한다. 섹션 5.2에서의 키워드 및 키 문구의 설명을 또한 참조하라.
특정한 컨텐츠에 대한 액세스가 특정한 그룹의 사람(예를 들면 클라이언트 또는 피고용자)에 한정되는 경우, 이러한 컨텐츠는 방화벽에 의해 보호되며, 따라서 일반적으로 제3자에 의해 인덱싱될 수 없다. 컨텐츠 공급자는 그럼에도 불구하고 보호된 컨텐츠에 대한 인덱스를 제공하기를 원한다. 이러한 경우, 컨텐츠 공급자는 시스템 가입자에 대한 컨텐츠 공급자의 인덱스를 제공하기 위해 서비스 공급자에게 요금을 지불할 수 있다. 예를 들면, 로펌은 모든 클라이언트의 문서를 인덱싱할 수 있다. 상기 문서는 로펌의 방화벽 뒤에 숨겨져 저장된다. 그러나, 로펌은 자신들의 피고용자와 클라이언트가 휴대용 스캐너를 통해 문서에 대해 액세스하기를 원하고, 따라서 그것은 로펌의 피고용자 또는 클라이언트가 자신들의 휴대용 스캐너를 통해 렌더링된 문서의 스캔된 검색 용어를 제공할 때 로펌의 인덱스를 검색하는 인덱스(또는 인덱스에 대한 포인터)를 서비스 공급자에 제공한다. 로펌은 이러한 기능을 가능하도록 하기 위해 서비스 공급자 시스템에 피고용자 및/또는 클라이언트의 리스트를 제공하거나, 또는 시스템이 로펌의 인덱스를 검색하기 전에 로펌에게 문의함으로써 액세스 권한을 검증할 수 있다. 이전의 예에서, 로펌에 의해 제공되는 인덱스는 클라이언트의 문서 뿐만 아니라, 로펌에 있는 모든 문서의 인덱스임에 유의하라. 따라서, 서비스 공급자는 로펌이 클라이언트에 대해 인덱싱한 문서에 대한 로펌의 클라이언트의 액세스만을 부여할 수 있다.
렌더링된 문서로부터 발생한 검색으로부터 야기될 수 있는 적어도 2개의 개별적인 수익 흐름이 있다: 하나의 수익 흐름은 검색 기능으로부터 온 것이고, 또 다른 것은 컨텐츠 전달 기능으로부터 온 것이다. 검색 기능의 수익은 스캐너 사용자로부터의 유료 가입으로부터 발생하지만, 검색 당 요금에 따라 발생할 수도 있다. 컨텐츠 전달 수익은 컨텐츠 공급자 또는 저작권 소유자(서비스 공급자는 각 전달에 대해 소액결제와 같은 판매에 대한 일정 비율 또는 고정 요금을 취할 수 있다)와 나누지만, 또한 서비스 공급자가 트랜잭션을 중개하는지 여부에 관계없이, 가입자가 온라인 카달로그로부터 주문하고 시스템이 전달하거나 기여한 모든 아이템에 대한 요금 또는 비율을 시스템이 얻는 "소개료" 모델에 의해 생성될 수 있다. 일부 실시예에서, 시스템 서비스 공급자는 미리 정해진 기간 동안 또는 식별된 제품의 구매가 이루어진 후속하는 시간에 가입자가 컨텐츠 공급자로부터 발생시킨 모든 구매에 대해 수익을 받는다.
18.2. 카탈로그
소비자는 렌더링된 문서 카달로그로부터 구매를 하기위해 휴대가능한 스캐너를 이용한다. 가입자는 카달로그를 식별하는 정보를 카달로그로부터 스캔한다. 이러한 정보는 카달로그로부터의 텍스트, 바코드, 또는 카달로그의 또다른 식별자이다. 가입자는 자신이 구매하기를 원하는 제품을 식별하는 정보를 스캔한다. 카달로그 메일링 라벨은 카달로그 공급자에 대해 소비자를 식별하는 소비자 식별 번호를 포함한다. 그런 경우, 가입자는 또한 이러한 소비자 식별 번호를 스캔할 수 있다. 시스템은 소비자의 선택과 소비자 식별 번호를 공급자에게 제공함으로써 카달로그 구매를 돕기 위해 가입자와 공급자 사이의 중개자로서 기능을 한다.
18.3. 쿠폰
소비자는 랜더링된 쿠폰을 스캔하고 추후의 검색 및 사용을 위해 스캐너 또는 컴퓨터와 같은 원격 디바이스에 쿠폰의 전자적인 사본을 저장한다. 전자적 저장의 이점은 소비자가 렌더링된 문서 쿠폰을 들고 다니는 부담으로부터 자유롭게 되는 것이다. 추가적인 이점은 전자 쿠폰은 임의의 위치에서 검색될 수 있다는 것이다. 일부 실시예에서, 시스템은 쿠폰의 만료기한을 추적하고, 곧 만료되는 쿠폰에 관해 소비자에게 경고하고, 및/또는 저장 장치로부터 만료된 쿠폰을 삭제할 수 있다. 쿠폰 발급자에 대한 이점은 누가 쿠폰을 사용하는지 그리고 그들이 언제 캡처되고 사용되는지에 관한 보다 많은 피드백을 수신할 수 있다는 것이다.
19. 일반적 응용
19.1. 폼( form )
이 시스템은 렌더링된 문서 폼에 대응하는 전자문서를 오토-파퓰레이트(auto-populate) 하는데 사용될 수 있다. 사용자는 상기 렌더링된 문서 폼을 유일하게 식별하는 바코드 또는 일부 텍스트에서 스캐닝을 한다. 스캐너는 사용자를 식별하는 정보 및 형식의 동일성을 인근 컴퓨터에게 전달한다. 이 인근 컴퓨터는 인터넷에 연결되어 있다. 인근 컴퓨터는 폼에 대한 제1 데이터베이스 및 (서비스 프로바이더의 가입자 정보 데이터베이스와 같은) 스캐너의 사용자에 대한 정보를 가진 제2 데이터베이스에 액세스할 수 있다. 인근 컴퓨터는 제1 데이터베이스로부터 상기 렌더링된 문서 폼의 전자 버전(electronic version)에 액세스하고 제2 데이터베이스에서 얻어진 사용자 정보로부터 폼의 필드를 오토-파퓰레이트한다. 그 후 인근 컴퓨터는 완성된 폼을 의도하는 수신인에게 이메일 전송한다. 대안적으로, 컴퓨터는 완성된 폼을 인근 프린터로 출력할 수 있다.
몇몇 실시예에서, 외부 데이터베이스에 액세스하는 대신에, 상기 시스템이 동일성 모듈, SIM, 또는 보안카드에서와 같이 사용자 정보를 포함하는 휴대용 스캐너를 가지고 있다. 스캐너는 폼을 식별하는 정보를 인근 PC로 전송한다. 인근 PC는 전자적 폼에 액세스하여, 이 폼을 채울 임의의 필요 정보에 대해 스캐너에게 문의(query)한다.
19.2. 비즈니스 카드
이 시스템은 렌더링된 문서로부터 전자 어드레스북 또는 다른 연락 리스트를 자동적으로 파퓰레이트(populate)하는데 사용될 수 있다. 예를 들어, 새로 알게된 사람의 비즈니스 카드를 받았을 때, 사용자는 그의/그녀의 휴대전화가 있는 카드의 이미지를 캡처할 수 있다. 이 시스템은 카드의 전자 사본을 찾을 것이고, 이것은 휴대전화의 내장 어드레스북을 이 새로 알게된 사람의 연락 정보로 업데이트하는데 사용될 수 있다. 전자 사본은 그 새로 알게된 사람에 대해 비즈니스 카드에서 얻어낼 수 있는 것보다 더 많은 정보를 얻을 수 있다. 또한 내장 어드레스북은 전자 사본의 링크를 저장할 수 있어서, 휴대전화의 어드레스북에서 전자 사본의 임의의 변경이 자동으로 업데이트될 것이다. 이러한 실시예에서, 비즈니스 카드는 전자 사본의 존재를 표시하는 심볼이나 텍스트를 옵션으로서 포함한다. 전자 사본이 존재하지 않으면, 휴대전화는 OCR 또는 표준 비즈니스 카드 포맷의 지식을 사용하여 어드레스북에서 이 새로 알게된 사람에 대한 엔트리를 채울 수 있다. 또한 심볼은 이미지로부터 직접 정보를 추출하는 과정에서 도움을 줄 수 있다. 예컨대 전화번호의 위치를 찾는데 있어서 비즈니스 카드에서 전화번호 바로 옆의 전화 아이콘이 인식될 수도 있다.
19.3. 교정/편집
이 시스템은 교정 및 편집 절차를 확장할 수 있다. 시스템이 편집 절차를 확장할 수 있는 한 방법은, 렌더링된 문서와의 인터랙션(interaction)을 그의 전자적 상대물(counterpart)과 링크시키는 것이다. 에디터가 렌더링된 문서를 읽고 문서의 다양한 부분을 스캔함에 따라, 시스템은 렌더링된 문서의 전자적 상대물에 대해 적절한 주석과 편집을 할 것이다. 예를 들어, 만약 에디터가 텍스트의 일부를 스캔하고 스캐너로 "새 단락" 컨트롤 제스쳐를 하면, 이 스캐너와 통신중인 컴퓨터가 문서의 전자 사본의 스캐닝된 텍스트의 위치에 "새 단락" 브레이크(break)를 삽 입한다.
19.4. 보이스 주석
사용자는 문서에서 텍스트의 일부를 스캐닝하고 그 후 이 스캐닝된 텍스트에 연관된 보이스 레코딩을 함으로써, 문서에 대한 보이스 주석을 만들 수 있다. 일부 실시예에서, 스캐너는 사용자의 음성 주석을 레코딩하는 마이크를 갖는다. 음성 주석이 레코딩된 후, 이 시스템은 텍스트가 스캐닝된 문서를 식별하고 문서 내에서 이 스캐닝된 텍스트의 위치를 찾아서 보이스 주석을 그 지점에 첨부한다. 일부 실시예에서, 이 시스템은 스피치를 텍스트로 변환하여 주석을 텍스트 코멘트로서 첨부한다.
일부 실시예에서 이 시스템은 문서와 함께 보관되는 주석을 단지 참조만 한 채 주석을 이 문서와 별도로 유지한다. 그 후 주석은 특정 가입자 또는 사용자 그룹에 대해 문서의 주석 마크업 층(markup layer)이 된다.
일부 실시예에서, 각각의 캡처 및 연관된 주석에 대해, 시스템이 문서를 식별하고, 소프트웨어 패키지를 사용하여 문서를 열고, 스캔 위치까지 스크롤하고 그리고 보이스 주석을 플레이한다. 그 후 사용자는 보이스 주석, 제안된 변경, 또는 사용자 자신이나 다른 사람들에 의해 레코딩된 다른 코멘트를 참조하면서 문서와 인터랙트한다.
19.5 헬프 인 텍스트( Help in Text )
상술된 시스템은 전자 헬프 메뉴를 갖는 렌더링된 문서를 확장시키는데 사용될 수 있다. 일부 실시예에서, 렌더링된 문서에 연관된 마크업 층이 문서에 대한 헬프 메뉴 정보를 포함한다. 예를 들어, 사용자가 문서의 특정 부분으로부터 텍스트를 스캔할 때, 이 시스템은 그 문서에 연관된 마크업을 체크하여 사용자에게 헬프 메뉴를 제공한다. 헬프 메뉴는 스캐너의 디스플레이에 또는 관련된 인근 디스플레이에 제공된다.
19.6. 디스플레이와 함께 사용
몇몇 상황에서, 텔레비전, 컴퓨터 모니터, 또는 다른 유사한 디스플레이로부터 정보를 스캔할 수 있는 것이 장점을 가질 수 있다. 일부 실시예에서, 휴대용 스캐너가 컴퓨터 모니터 및 텔레비전으로부터 정보를 스캐닝하는데 사용된다. 일부 실시예에서, 휴대용 광학 스캐너가, 래스터 방식(rasterizing), 스크린 블랭킹(blanking) 등의 전통적인 음극선관(CRT) 디스플레이와 함께 동작하도록 최적화된 광원 센서를 갖는다.
문서에서 사용자가 읽는 텍스트의 오디오를 캡처링하여 동작하는 보이스 캡처 디바이스는, 그 문서가 종이로 있든 디스플레이상에 있든 또는 다른 매체에 있든지에 관계없이 전형적으로 동작할 것이다.
19.6.1. 공중 매점( Public Kiosk ) 및 동적 세션 ID
디스플레이의 직접 스캐닝의 하나의 사용법은 섹션 15.6.에서 설명한 디바이스와 연관되어 있다. 예를 들어, 일부 실시예에서, 공중 매점이 그의 모니터상에 동적 세션 ID를 디스플레이한다. 매점은 인터넷 또는 기업의 인트라넷과 같은 통신 네트워크에 연결되어 있다. 세션 ID는 주기적으로 그리고 적어도 매점이 사용될 때마다 변경되어, 새로운 세션 ID가 모든 사용자에게 디스플레이된다. 매점을 사용하기 위해, 가입자는 매점에 디스플레이된 세션 ID를 스캔하고, 이 세션 ID를 스캐닝함으로써, 인쇄된 문서를 스캔하거나 또는 매점 스크린 자체로부터의 컨텐츠를 전송하기 위해 사용자가 해당 매점을 자신의 스캐너와 일시적으로 연관시키고 싶다는 것을 이 시스템에 알린다. 스캐너는 세션 ID 및 스캐너를 인증하는 (시리얼 넘버, 계정 넘버, 또는 다른 식별 정보와 같은) 다른 정보를 시스템에 바로 전송한다. 예를 들어, 스캐너는 사용자의 (블루투스를 통해 사용자의 스캐너와 짝을 이루는) 휴대전화를 통해 세션 개시 메시지를 전송함으로써 시스템과 직접적으로 (여기서 '직접적으로'는 메시지가 매점을 통하지 않음을 의미한다) 통신할 수 있다. 대안적으로, 스캐너는 매점과의 무선 링크를 확립하여 세션 개시 정보를 매점에 (블루투스 등과 같은 단파장 RF를 통해) 전송함으로써 매점의 통신 링크를 사용한다. 응답으로 매점은 세션 개시 정보를 그의 인터넷 연결을 통해 시스템으로 전송한다.
시스템은 디바이스가 스캐너와 연관되어 있는 기간(또는 세션) 동안 이미 이 스캐너와 연관되어 있는 디바이스를 다른 사람이 사용하는 것을 방지할 수 있다. 이러한 특성은, 다른 사람의 세션이 끝나기 전에 또 다른 사람이 공중 매점을 사용하는 것을 방지하는데 유용하다. 인터넷 카페에서 컴퓨터 사용을 하는 것과 관련된 이러한 개념의 예로서, 사용자는 그가 사용하기 원하는 PC의 모니터상에서 바코드를 스캔하고; 이에 응답하여 시스템은 이 시스템이 디스플레이하고 있는 모니터로 세션 ID를 전송하고; 사용자가 이 모니터로부터 세션 ID를 스캐닝함으로써 (또는 휴대용 스캐너의 키패드나 터치스크린 또는 마이크를 통해 입력함으로써) 세션 을 개시하고; 그리고 시스템이 데이터베이스 내에서 그의/그녀의 스캐너의 세션 ID를 시리얼 넘버(또는 사용자의 스캐너를 유일하게 식별하는 다른 식별자)와 연관시킴으로써 그의/그녀의 세션 동안 다른 스캐너가 세션 ID를 스캔하거나 모니터를 사용할 수 없게 된다. 스캐너는 이 모니터와 연관된 PC와 (블루투스와 같은 무선 링크, 도킹 스테이션 등과 같은 하드와이어드 링크를 통해) 통신하거나 또는 휴대용 전화 등과 같은 다른 수단을 통해 시스템과 직접 (즉, PC를 통하지 않고) 통신하게 된다.
20. 추가 상세
렌더링된 문서로부터 광학적으로 또는 음향적으로 캡처링하는 키워드에 응답하여 또는 캡처링된 키워드에 기초하여 문서를 식별하는 것에 응답하여, 광고와 같은 유인하는 행동(triggering actioin)에 대해 소프트웨어 및/또는 하드웨어 시스템은 또한 여기서 설명된 주석 시스템의 일부분이 된다. 어떤 경우에, 시스템은 광고를 제공하거나, 주석을 디스플레이하거나, 또는 액션을 변형하거나 키워드에 적용한다. 여기 사용되는 것과 같은 키워드는 하나 이상의 단어, 아이콘, 심볼, 또는 이미지를 의미한다. "단어" 또는 "단어들"이라는 용어가 이 명세서에 자주 사용되지만, 아이콘, 심볼, 또는 이미지가 일부 실시예에서 사용될 수도 있다. 여기서 사용되는 것과 같은 키워드는 또한 하나 이상의 인접 심볼로 이루어진 문구를 가리킨다. 여기서 사용되는 것과 같은 키워드는, 캡처에 응답하여 식별되고 또한 렌더링된 문서 또는 렌더링된 문서의 일부분과 함께 논의되어진 토픽이나 주제에 관한 단어를 포함한다. 선택적으로, 키워드는 정규 표현 알고리즘 또는 이미지 처 리에 의해 인식가능한 오브젝트의 클래스를 포함할 수 있다. 그러한 오브젝트의 클래스는 이메일 주소, 메일링 어드레스, 전화번호, URL, 하이퍼링크, 및 콘텐츠, 인용구, 상표, 로고, 적당한 이름, 하루의 시간, 날짜 등에 대한 기타 포인터를 포함할 수 있다.
키워드는 "오버로드(overload)"된 것으로 간주될 수도 있다 - 즉, 키워드가, 텍스트나 심볼과 같이 사용자에게 대해 그들의 통상의 (예컨대, 가시적인) 의미를 넘어서는 의미나 액션에 관련된 것들을 가진다. 일부 실시예에서, 키워드 및 의미 또는 액션 사이의 연관성은 마크업 처리 또는 데이터에 의해 확립된다. 일부 실시예에서 키워드 또는 문서 및 의미 또는 액션 사이의 연관성은 캡처나 식별이 행해졌을 때 시스템에 알려진다. 일부 실시예에서 키워드 또는 문서 및 의미 또는 액션 사이의 연관성은 캡처 또는 식별이 행해진 이후에 확립된다.
일부 실시예에서, 시스템은 문서를 식별하고 이 문서의 컨텐츠를 사용하여 사용자에게 제공될 광고를 개시하고 선택한다. 일부 실시예에서, 시스템은 문서를 분석하여 문서의 컨텐츠를 하나 이상의 키워드와 연관시킬 수 있다. 어떠한 경우, 시스템은 전체 문서의 컨텐츠에 기초하여 광고를 (액션을) 선택한다. 일부 경우, 시스템은 캡처된 텍스트를 포함하거나 그에 가까운 문서의 일부에 기초하여 광고를 선택한다. 어떠한 경우에, 시스템은 문서를 식별할 때에 사용되지 않은 문서의 컨텐츠에 기초하여 광고를 선택한다.
렌더링된 문서에서 키워드와 인터랙팅하는 상기 설명된 시스템의 일부 실시예에서, 문서로부터의 캡처가 구체적으로 키워드를 포함해야 한다거나 또는 식별된 문서와 연관된 키워드가 특정 키워드여야 하는 것을 요구하지는 않는다. 만약 캡처가 전체적으로 키워드를 포함하거나, 키워드를 오버랩(키워드의 일부를 포함)하거나, 키워드에 가까이 있거나 (예를들어 동일 문단이나 동일 페이지에 있거나), 또는 키워드에 포함된 정보에 관련되거나 이와 유사한 정보(예컨대, 단어, 아이콘, 토큰, 심볼, 이미지)를 포함한다면, 이 캡처는 키워드에 연관된 액션을 트리거할 수 있다. 키워드에 연관된 액션은, 이 키워드에 포함된 단어의 유사어를 사용자가 캡처할 때 또는 문서가 키워드의 유사어에 연관될 경우에, 작동(invoke)될 수 있다. 예를 들어 만일 키워드가 단어 "고양이"를 포함하고 사용자가 단어 "고양이과(feline)"를 포함하는 텍스트를 캡처할 경우 "고양이"와 연관된 액션이 선택적으로 작동될 수 있다. 대안적으로, 만약 사용자가 단어 "고양이" 또는 단어 "고양이과"를 포함하는 페이지의 임의 위치를 캡처한다면 "고양이"를 포함하는 키워드에 연관된 액션이 선택적으로 작동될 수 있다.
유사하게, 만일 시스템이 문서를 식별하고, 문서의 컨텐츠를 분석하고, 그리고 "고양이과"를 포함하는 문서의 키워드를 판단한다면, 시스템은 키워드 "고양이"에 연관된 (광고 메시지와 같은) 액션을 작동시킬 수 있다.
일부 실시예에서, 어떻게 캡처가 키워드에 관련되는지 그리고 어떤 구체적 액션이 이러한 캡처로부터 나오는지를 구체화하는 데이터 및/또는 특정 명령들은 시스템 내에서 마크업으로서 저장된다.
일부 실시예에서 키워드와 연관되어 선택된 액션은 어떻게 캡처가 이뤄지는지에 의해 부분적으로 결정된다. 키워드 근방의, 키워드를 오버랩하는, 키워드와 다른 요소도 포함하는, 그리고 정확히 그 키워드만 포함하는 캡처들의 각각은, 서로 상이한 액션 세트를 일으킬 것이다. 다른 주변 요소 없는 키워드 "IBM"을 캡처함으로써 사용자의 브라우저를 IBM의 웹사이트로 가게 할 수 있다. 주변 문장내의 IBM을 캡처함으로써, 시스템이 다른 캡처된 요소를 처리하고 응답하는 동안 IBM에 대한 광고가 디스플레이되도록 할 수 있다. 일부 실시예에서 키워드는 네스트(nest)되거나 또는 오버랩할 수 있다. 시스템은 "IBM 데이터", "데이터 서버" 및 "데이터"와 연관된 액션을 가질 수 있고, 이러한 키워드의 일부 또는 전부와 연관된 액션들이 사용자가 문구 "IBM 데이터 서버"를 캡처할 때 작동될 수 있다.
예시적인 키워드는 용어 "IBM" 이다. 문서내에서 그 모양은 독자의 웹 브라우저를 IBM 웹사이트로 가도록 하는 것과 연관될 수 있다. 다른 예시적인 키워드는 문구 "Sony Headset", 제품 모델번호 "DR-EX151", 및 책 제목 "Learniing the Bash Shell" 이다. 이들 키워드와 연관된 액션들은 아마존닷컴(Amazon.com)에서 판매중인 물건의 리스트를 문의하고, 판매중인 하나 이상의 물건에 포함된 하나 이상의 용어와 매칭하고, 그리고 사용자에게 아마존을 통해 이러한 물건을 구매할 기회를 제공할 수 있다.
일부 실시예에서 시스템은 텍스트의 캡처에 기초하여 전자적 상대물(electronic counterpart)을 식별하고 그 후 이 식별에 기초하여 (광고를 제공하는 것과 같은) 액션을 수행한다. 예를 들어, 텍스트 "DR-EX151 상세서"의 캡처는 그 제품 모델에 대한 제품 사양 문서를 식별할 수 있다. 이 예시에서, 시스템은 문서의 전자 버전을 검색하여 관련된 광고와 함께 사용자에게 이 문서를 제공한다. 시스템은 (유사한 제품에 관한 정보를 제공하는 이메일 메시지를 보냄으로써) 이 문서와 별개로 광고를 제공할 수도 있고 또는 (전자적 대응물 내에 포함되어(embedded) 있는 것과 같은) 전자적 대응물 내의 광고를 제공할 수도 있다.
개시된 시스템의 일부 실시예에서는 렌더링된 문서로부터의 데이터 캡처에 대응하여 컨텍스트 액션(contextual action)을 수행한다. 컨텍스트 액션은, 렌더링된 문서에서의 특정 위치로부터 또는 동적 디스플레이 상의 문서 데이터의 제공으로부터 캡처된 텍스트 내 또는 그 텍스트에 가까운 정보와 같은 다른 정보의 컨텍스트에서, 또는 그에 응답하여, 광고 메시지를 제공하거나 사용자 선택의 메뉴를 제공하는 것과 같은 액션을 개시하거나 취하는 실행을 가리킨다.
컨텍스트 액션의 하나의 형태는 컨텍스트 광고(contextual advertising)이며, 이것은 캡처링되거나 디스플레이된 정보 및 일부 컨텍스트에 기초하여 선택되는 광고를 사용자에게 제공하는 것을 가리킨다. 컨텍스트 광고의 서브셋-여기서는 "동적 컨텍스트 광고"라고 칭함-은 관련된 컨텐츠에 대해 제공할 많은 사용가능한 광고 메시지 중 하나를 동적으로 선택하는 것을 포함한다.
컨텍스트 광고는 광고자의 제품에 관심을 갖는 사람들에게 이 사람들이 이러한 관심을 나타내고 있을 그 때에 광고 메시지를 제공하기 때문에 특히 효과적이 될 수 있다. 동적 컨텍스트 광고는 특히 효과적인데, 컨텐츠가 생성되거나 공개되었을 때에는 사용가능하지 않았던 광고 메시지를 컨텐츠가 읽혀지고 있을 때에는 제공할 수 있다는 유연성을 갖고 있기 때문이다.
다양한 실시예에들이 렌더링된 문서에 대한 컨텍스트 액션을 제공한다. 컨 텍스트 액션은 액션을 제공하고 특정 컨텍스트에 적절한 응답을 한다. 즉 액션은 컨텍스트가 다양한 만큼 다양할 수 있다. 이 시스템에서 컨텍스트 액션의 일 실시예는, 사용자가 문서로부터 텍스트를 캡처할 때 휴대용 캡처 디바이스(302)에 연관된 디스플레이에 나타나는 메뉴이다. 이 메뉴는 캡처된 텍스트, 텍스트가 캡처된 위치 등에 동적으로 의존하여 변할 수 있다.
선택적으로 액션은 "디스플레이하다"와 같은 동사, 그리고 "광고 메시지"와 같은 목적어를 포함할 수 있다. 일부 실시예에서 이 시스템에 의해 지지되는 추가적인 동사들에는 (예컨대 이메일 메시지, 인스턴트 메시지, 캡처나 키워드를 포함하는 문서의 사본을) '전송하다(send)' 또는 '수신하다(receive)', (예컨대 브로셔를) '프린트하다(print)', (예컨대 웹페이지를) "브라우즈하다(browse)", 및 (예컨대 컴퓨터 애플리케이션을) "시작하다(launch)"를 포함한다.
일부 실시예에서, 트리거된 액션은 광고자나 스폰서를 대신해서 광고 메시지를 제공하는 것을 포함한다. 일부 실시예에서 액션은 모든 문서, 문서의 그룹, 단일 문서, 또는 문서의 일부에 연관될 수 있다.
일부 실시예에서, 트리거된 액션은 사용자에 의해 개시된(user-initiated) 가능한 액션이나 선택에 관한 메뉴를 제공하는 것을 포함한다. 몇몇 실시예에서 선택 메뉴는 연관된 디스플레이 디바이스, 예컨대 휴대전화 디스플레이, 개인용 컴퓨터 디스플레이(421), 또는 캡처 디바이스(302)내에 통합된 디스플레이 상에 제공된다. 일부 실시예에서, 사용자가 그들의 계정 히스토리 또는 라이프 라이브러리(Life Library)로부터 나중 시간에 캡처를 리뷰할 때, 선택 메뉴는 전체적으로 또는 부분적으로 또한 사용가능하다. 일부 실시예에서 액션 메뉴는 키워드, 렌더링된 문서, 또는 문서의 보다 큰 그룹이나 클래스와 연관된 마크업 처리 및/또는 마크업 데이터에 의해 결정된다.
일부 실시예에서 액션 메뉴는 선택적으로 제로, 하나, 또는 그 이상의 디폴트 액션을 가질 수 있다. 일부 실시예에서 만약 사용자가 메뉴와 인터랙트 하지 않을 경우, 예컨대 사용자가 후속 캡처를 진행할 경우, 디폴트 액션이 개시된다. 몇몇 실시예에서 디폴트 액션은 키워드, 렌더링된 문서, 또는 문서의 보다 큰 그룹이나 클래스와 연관된 마크업 처리 및/또는 마크업 데이터에 의해 결정된다.
일부 실시예에서, 사용자에 의해 선택되기 더 쉬운 아이템들이 일부 알려진 위치 또는 참조에 더 가까이에, 즉 메뉴 리스트의 윗부분에 보여지도록 메뉴 액션이 제공된다. 일부 실시예에서, 그 사용자나 또는 시스템의 다른 사용자에 의해 과거에 선택된 아이템들을 추적함으로써 선택의 확률이 결정될 수 있다. 일부 실시예에서 액션 메뉴는 시스템에 의해 채용된 표준 액션(standard action)의 서브셋을 포함할 수 있다. 특별한 캡처에 특정된 메뉴 아이템과 함께 표준 액션은 상이한 컨텍스트에서 상이한 조합으로 나타날 수 있다. 일부 표준 액션은, 아무런 키워드도 인식되지 않고/않거나 캡처의 컨텍스트가 알려지지 않은 때에, 메뉴에 나타날 수 있다. 일부 표준 액션은, 캡처 디바이스(302)가 시스템의 다른 구성요소로부터 분리되었을 때, 생성된 메뉴에 나타날 수 있다.
표준 액션은 특히 다음을 포함할 수 있다:
* 이 단어/문구를 말하기
* 이것을 다른 언어로 번역하기 (및 말하기, 디스플레이하기, 또는 프린트하기)
* 도움 기능
* 이것에 대해 나에게 더 자세히 말하기
* 이 사진을 나에게 보여주기
* 이것을 북마크하기
* 이것을 언더라인하기
* 이것을 발췌(복사)하기
* 이것을 내 캘린더에 붙이기
* 이것을 내 연락 리스트에 붙이기
* 이것을 구입하기
* 이것을 내게 이메일로 보내기
* 이것을 내 보관함(archive)에 보내기
* 보이스 주석을 여기에 붙이기
* 임의의 연관 보이스 주석을 플레이하기
* 나에게 연관 컨텐츠를 보여주기
* 나에게 관련 컨텐츠를 보여주기
* 이 주제를 컨텐츠의 인덱스나 테이블에서 찾기
* 이 토픽을 관심사로 표시하기
* 나를 이 웹사이트로 데려가기
* 이에 대한 정보를 나에게 보내주기
* 완성되어야 할 이 양식을 나에게 보내주기
* 나를 위해 이 양식을 완성하기
* 내 정보를 포함하고 있는 이 양식을 제출하기
* 이것을 웹에서 검색하기
* 이 문서를 프린트하기
* 이 문서를 내 컴퓨터 스크린 또는 연관된 디스플레이로 불러오기
* 문서 내에 있는 이 단어/문구를 모두 다 내 디스플레이에 보여주기
* 다른 컨텍스트에 사용될 때 이 단어/문구를 검색해서 나에게 보여주기
* 이 아이템을 선택하기 (예를 들어 다중 선택)
* 이것을 노트의 선형 파일로 발췌하기
* 이 문서/페이지/문구에 대해 다른 사람이 쓰거나 말한 것을 나에게 보여주기
* 이 전화번호로 전화걸기
* 언제 이 문서가 온라인상에서 입수가능한지 나에게 알려주기
* 이것에 대한 이 정보가 입수가능하면/입수가능할 때 이 정보를 나에게 보내주기
* 이 사람/회사/어드레스로 이메일 전송하기
* 내가 이 컨텍스트/포상/제안의 우승자(획득자)이면 나에게 알려주기
* 이 이벤트, 포상/뽑기/복권에 대해 나에게 등록하기
* 내가 이 구절을 읽었음을 기록하기
* 내가 이 진술/계약/조항에 동의함을 기록하기
* 이 토픽에 대한 새로운 정보가 언제 입수가능한지 나에게 알려주기
* 나를 나해 이 토픽을 관찰하기
* 이 문서가 변경될 때/변경할지 여부를 나에게 알려주기
일부 실시예에서 액션 메뉴는, 사용자에 의해 구체적으로 캡처된 컨텐츠 뿐만 아니라 그 근처 컨텐츠에 대해서도 선택적으로 제공될 수 있다. 일부 실시예에서, 시스템은 이전의 캡처에서 선택된 선택들을 사용하여, 어떤 아이템을 문서와의 후속 인터랙션에서 제시할지 여부 및 그들의 제시 순서를 결정한다. 자주 선택된 메뉴 아이템은 메뉴 제시의 상부에 나타날 수 있다. 일부 실시예에서 메뉴 아이템은 관련된 선택들의 추가적인 서브-메뉴를 선택적으로 작동시킬 수 있다.
다음의 텍스는 첨부된 도면의 부호를 참조하기로 하는데, 이하에서 더 자세히 설명될 것이다. 복수개의 액션이 단일 키워드에 대해 사용가능한 경우, 이 시스템의 일부 실시예는 이러한 수행할 액션의 서브셋을 선택하기 위해 다양한 행동 규칙(behavior rule)을 사용한다. 예를 들어, 이 규칙은 어느 액션이 다른 것들보다 우선적으로 취해져야 하는지 결정하기 위한 계층을 특정할 수 있다. 예를 들어, 이 규칙은, 적용해야 할 컨텐츠의 바디(body) 크기에 대한 오름차순으로 시스템이 액션을 선택하도록 특정할 수 있다. 예시로서, 키워드가 특정 출판사에 의해 출판된 특정 교재의 특정 장(chapter)에서 캡처되는 경우, 그 특정 교재에 연관된 제2 액션에 앞서서 그리고 그 출판사에 의해 출판된 모든 교재에 연관된 제3 액션에 앞서서, 시스템은 그 교재의 그 장에 연관된 제1 액션을 선택할 수 있다. 시스템은 또한 캡처 디바이스(302)가 캡처하고 있을 때 위치하고 있는 지리적 지역이나 위치, 키워드가 캡처되고 있는 시간이나 날짜 범위, 캡처에 관한 컨텍스트의 다른 다양한 정보, 사용자에 연관된 다양한 종류의 프로필 정보, 및/또는 스폰서에게 제공하기로 스폰서가 동의한 보상이나 금액에 기초하여 액션을 선택할 수도 있다.
일부 실시예에서, 시스템은 컴퓨터(212) 시스템에 무선 연결된 핸드헬드 광학 및/또는 음향 캡처 디바이스(302), 또는 휴대전화의 음향 및/또는 이미징 소자, 또는 PDA("Personal Digital Assistant")에 통합된 유사한 구성소자와 같은 핸드헬드 광학 및/또는 음향 캡처 디바이스를 사용한다.
몇몇 실시예에서, 시스템은 렌더링된 문서로부터 캡처하고 키워드 등록정보를 저장하고 있는 키워드 서버(440)와 통신하도록 사용되는 광학 및/또는 음향 캡처 디바이스(302)를 포함한다. 일부 실시예에서 키워드 등록정보는 등록된 키워드의 데이터베이스에 저장된다. 일부 실시예에서 이 정보는 마크업 데이터의 데이터베이스에 저장된다. 일부 실시예에서 이 정보는 렌더링된 문서에 연관된 마크업 문서에 저장된다.
일부 실시예에서 캡처 디바이스(302)는, 한번에 전체 페이지를 스캔하는 "평상형(flatbed)" 스캐너가 아니라 텍스트를 한줄씩 스캐닝하기에 적합한 스캐닝 개구를 갖는 "펜" 스캐너와 같은 휴대용 또는 핸드헬드 스캐너이다. 평상형 스캐너는 보통 휴대용이 아니며 펜 스캐너보다 부피가 더 크다. 펜 스캐너는 사용자에게 언제 키워드가 스캔되었는지 알려주기 위한 지시자(indicator)를 포함한다. 예를 들어 이 스캐너는 LED(332)를 발광함으로써 사용자에게 스캐닝된 단어가 키워드로서 인식되었음을 알려줄 수 있다. 사용자는 스캐너에 있는 버튼을 눌러서 (또는 스캐너에 어떤 행동을 취함으로써) 연관된 액션이 취해지는 처리, 예를 들어 키워드에 관련된 정보를 사용자에게 전송하는 것을 개시할 수 있다.
캡처 디바이스(302)는 연관된 디스플레이 디바이스(421)를 가질 수 있다. 연관된 디스플레이 디바이스의 예로서는 개인용 컴퓨터 디스플레이(421) 및 휴대폰(216)의 디스플레이가 있다. 액션의 메뉴 및 다른 인터랙티브 및 정보 데이터가 이러한 연관된 디스플레이 디바이스에 디스플레이될 수 있다. 캡처 디바이스(302)가 휴대전화에 통합되거나 또는 휴대전화의 구성소자를 사용할 때, 휴대전화 키패드를 사용하여 휴대전화 디스플레이에 제시된 메뉴에서 선택사항을 선택하고 또한 상술한 시스템 및 기능들을 제어 및 인터랙트한다.
캡처 동안 캡처 디바이스(302)가 키워드 서버(440)와 통신하고 있지 않는 경우에는, 캡처 디바이스(302)내에 인기 키워드, 연관된 액션, 마크업 데이터 등의 로컬 저장소(local cache)를 가짐으로써 액션을 국부적이고 독립적으로 개시할 수 있다. 국부적이고 독립적인 액션의 예로서는 키워드의 획득을 지시하는 것, 사용자에게 선택된 메뉴를 제시하는 것, 및 메뉴에 대한 사용자 응답을 수신하는 것이 있다. 캡처 디바이스(302)가 키워드 서버(440)와 다음번에 언제 통신하는지에 따라 키워드, 마크업 등에 대한 부가 정보가 판정되고 액션이 취해진다.
다양한 실시예에서, 단어 또는 문구를 액션과 연관시키는 정보(예컨대 마크 업 정보)가 캡처 디바이스(302) 내에, 캡처 디바이스(302)에 연결된 컴퓨터(212) 시스템 내에, 및/또는 상술된 시스템이 통신할 수 있는 다른 컴퓨터 시스템 내에 저장될 수 있다. 유사하게 넓은 범위의 디바이스가 키워드를 캡처하는 것에 응답하여 액션을 취할 때에 관계될 수 있다.
캡처 디바이스(302)와 조합하여, 키워드 서버(440)는 텍스트가 캡처된 문서를 자동적으로 식별하고 이 렌더링된 문서의 전자 버전을 찾을 수 있다. 예를 들어, 캡처에서 텍스트 컨텐츠가 문서 서명으로 취급될 수 있다. 이러한 서명은 문서를 유일하게 식별하기 위해 전형적으로 10 이하의 단어를 요구하고, 대부분의 경우 3 내지 8 단어이면 충분하다. 부가적인 컨텍스트 정보가 알려졌을 때, 문서를 식별하는데 필요한 단어의 수는 더 줄어들 수 있다. 복수개의 문서가 서명과 매칭될 경우, 가장 가능성 있는 매치(예를 들어, 이 사용자나 다른 사용자에게 의해 가장 많은 캡처를 포함하는 것)가 예컨대 리스트나 메뉴의 처음 아이템으로서 사용자에게 특히 제시될 수 있다. 복수개의 문서가 서명과 매칭될 경우, 후보자를 명확히 하고 사용자가 소유한 렌더링된 문서를 정확히 식별하고, 그리고 선택적으로 그 디지털 상대물을 정확히 찾기 위해, 이전의 혹은 후속하는 캡처가 사용될 수 있다.
시스템의 일부 실시예에서 제공되는 문서 검색 서비스에 가입하는 사용자를 위해, 키워드 서버(440)는 캡처링된 텍스트에 관련되거나 또는 컨텍스트(예컨대 구문, 페이지, 잡지 기사)의 주제에 관련된 컨텐츠를 제공할 수 있다. 따라서 캡처에 대한 응답은, 캡처의 컨텍스트에 의존하여 그리고 더 나아가 키워드 서버(440) 에 알려진 사용자의 습관과 기호에 의존하여 동적으로 될 수 있다.
시스템은 텍스트 또는 렌더링된 간행물로부터 캡처링된 다른 정보(상표, 심볼, 토큰, 이미지 등)에 관련된 전자 컨텐츠의 효율적인 전달을 가능하게 한다. 이것은 신문이나 잡지 같은 렌더링된 간행물에 기초하여 제품과 서비스를 광고하고 판매하는 새로운 방식을 가능게 한다. 전통적인 신문에서, 뉴스 스토리는 그 자체로는 광고를 포함하지 않는다. 이 시스템으로 인해, 임의의 기사의 텍스트가 제품, 서비스, 회사 등에 연관된 키워드의 사용을 통해 잠재적으로 광고를 포함하게 된다.
렌더링된 간행물에 대해 시스템이 확장된 컨텐츠를 공급하는 방법 중 하나는, 렌더링된 텍스트 내에서 키워드를 사용하는 것이다. 이미 결정된 키워드가 사용자에 의해 캡처되면, 캡처된 키워드가 그 키워드에 연관된 컨텐츠의 공급을 트리거한다. 일부 실시예에서 키워드는 키워드 서버(440)에 의해 인식되어, 컨텐츠가 데이터베이스로부터 추출되어 사용자와 연관된 디바이스(선택적으로, 디스플레이 또는 스피커 등의 출력 디바이스)로 전송되도록 한다. 이러한 연관된 디바이스는 인근 디스플레이 또는 프린터일 수도 있다. 이 시스템은 각각의 렌더링된 키워드(또는 키워드들의 조합)을 제품이나 서비스에 대한 광고와 연관지을 수 있다. 예로서, 만약 사용자가 (자동차 잡지 등의) 렌더링된 문서로부터 단어 "신차"를 캡처했을 때, 시스템은 휴대용 캡처 디바이스(302)의 위치에 가까운 디스플레이로 지역의 포드 판매점에 대한 광고를 보내도록 트리거 될 수 있다.
유사하게, 만약 사용자가 렌더링된 문서로부터 상표를 캡처하기 위해 캡처 디바이스(302)를 사용할 경우, 시스템은 그 상표 소유자의 제품군에 대한 정보를 사용자에게 전송할 수 있다. 만일 사용자가 상표 및 제품명을 캡처했다면, 사용자에게 전송된 정보는 그 제품에 특정한 정보를 제공하도록 더 한정될 수 있다. 예를 들어, 사용자가 단어 "샌포드(Sanford)"를 캡처했다면 시스템은 이 단어를 샌포드 사무용품 공급회사의 상표로 인식하여 사용자에게 샌포드 사무용품 카탈로그의 전자 사본을 제공할 수도 있을 것이다 (또는 대신에, 시스템이 카탈로그의 온라인 카피를 갖고 있는 샌포드 웹페이지로의 링크를 제공할 수 있다). 다른 예로서, 만약 사용자가 "샌포드 유니볼(Sanford uniball)"을 캡처했다면 시스템은 이 키워드를 샌포드 회사의 유니볼 잉크펜으로 관련시키도록 프로그램될 수 있다. 만약 그렇다면, 시스템은 샌포드의 유니볼 잉크펜의 제품군에 대한 정보를 사용자에게 제공할 것이다. 시스템은 사용자 근처의 디스플레이로 푸쉬(push) 멀티미디어 메시지, 근처의 프린터로 전송된 브로셔 등으로서, (샌포드 유니볼 잉크펜에 대한 정보 또는 펜에 대한 정보를 갖는 웹페이지로의 핫링크를 갖는) 이메일 형태로 사용자의 이메일 계정으로 이 정보를 제공할 수 있다.
렌더링된 간행물로부터 캡처되는 키워드를 부가적인 컨텐츠를 사용자에게 제공하는 것과 연관시키는 이러한 방법은, 광고 및 다른 목표로 하는 자료를 효율적으로 제공함에 있어서 매우 유용하다. 사용자에 의해 캡처된 키워드를 식별함으로써 시스템은 시의적절하고 유용한 정보를 사용자에게 공급할 수 있다. 프린터 제조업자는 사용자가 키워드 "컴퓨터 프린터"를 캡처했을 때 이 제조업자의 프린터에 대한 광고가 사용자에게 전송되도록 하기 위해 돈을 지불할 수 있다. 더욱이, (예 를 들어, 특정 잡지내에서; 특정 토픽이나 토픽에 적용되는 인근의 다른 키워드에 연관된 기사 내에서) 하나 이상의 컨텐츠 타입에 대해 특정 키워드에 대한 권리가 판매되거나 대여될 수 있다. 이 시스템은 키워드 "컴퓨터 프린터"를 단일 프린터 제조업자에게 독점적으로 연관시키거나 또는 이러한 키워드를 다수의 프린터 제조업자들에게 연관시킬 수 있다 (또는 그 토픽이 키워드 "컴퓨터"에 연관되어 있는 기사의 컨텍스트에서는 단어 키워드 "프린터"). 수 개의 프린터 제조업자들이 이 키워드에 연관되어 있는 경우, 시스템은 각 제조업자로부터의 광고, 쿠폰 등을 제공할 수 있다(또는 각 제조업자가 개별 컨텍스트에서 키워드 권리를 가질 수 있다). 만약 사용자가 임의의 제안을 이용하거나 제조업자의 웹사이트를 방문하기 위해 클릭을 하면, 그 제조업자가 (소액지불이라고 흔히 불리우는) 약간의 비용을 이 시스템 운영자에게 지불할 수도 있다. 일부 실시예에서, 캡처 디바이스(302) 또는 연관된 컴퓨터(212)는 나중의 사용을 위해 쿠폰을 저장할 수 있다.
시스템은 또한, 키워드와 캡처를 더 분류하기 위해 사용자가 텍스트를 캡처한 환경에 대한 컨텍스트를 사용할 수 있다. 캡처에 대한 컨텍스트에 관한 시스템의 지식/인식에 기초하여 키워드가 개별적으로 처리될 수 있다. 컨텍스트의 예로서는, 사용자의 캡처링 히스토리 및 관심사, 동일 문서에서의 다른 사용자의 캡처링 히스토링, 사용자의 위치, 텍스트가 캡처된 문서, 캡처 근방(예컨대 캡처된 것과 동일 문단에서 또는 동일 페이지에서)의 다른 텍스트 또는 정보, 캡처가 실행된 날짜의 시간 등에 대한 지식이다. 예를 들어, 사용자의 위치에 기초하여 또는 키워드가 나타나는 주변 텍스트에 기초하여, 시스템은 동일 키워드에 대해 상이하게 반응할 수 있다. 서비스 제공자는 캡처 디바이스(302)의 위치를 앎으로써 동일 키워드를 상이한 마켓에서 판매하거나 대여할 수 있다. 하나의 예로서는, 동일한 키워드를 뉴욕에서의 사용자를 위해 광고자 #1에게 판매하고 시애틀에서의 사용자를 위해 광고자 #2에게 판매하는 것이다. 서비스 제공자는 키워드 "해머"를 서로 다른 도시의 지역 하드웨어 상점에 판매할 수 있다.
렌더링된 문서에서 키워드를 "대여" 또는 판매하는 많은 방법이 존재한다. 시스템은 다른 키워드와의 조합하여 (예를 들어, "해머"가 용어 "못" 또는 "건설" 근처에 나타날 경우) 캡처 시간, 캡처 지역, 캡처된 문서에 기초하여 키워드 대여를 분할할 수 있다. 일반적인 제품 설명을 대여하는 한가지 예로서, 키워드 "현재 책 제목" 및 "베스트셀러"가 도서판매자에게 판매될 수 있다. 사용자가 단어 "현재 책 제목" 및 "베스트셀러"를 (신문 등의) 렌더링된 문서로부터 캡처할 때, 도서판매자 웹페이지의 링크와 함께 상위 판매자의 리스트가 전송되어서 사용자가 이들을 구매할 수 있다. 대안적으로, 상기 링크는 키워드 서버(440)을 통해 라우팅되는 "패스-스루(pass-through)" 링크일 수 있고 (그러므로 시스템이 클릭-스루 거래 (click-through transaction)를 계수하고 정산할 수 있고), 따라서 도서판매자가 클릭-스루 판매(click-through sale)에 대한 수입을 시스템 운영자와 나눌 수 있고 또한 도서판매자는 실적에 기초하여 광고비용(즉, 판매 결과에 상관없이 서비스에 의해 생성된 각 클릭-스루에 대한 소액 지불)을 지불할 수 있다. 유사하게, 인쇄된 문서에서 광고자는 그들의 광고의 또는 광고 근방의 캡처에 기초하여 지불할 수 있다.
조합된 키워드를 캡처하는 것은 상이한 컨텐츠의 제공을 야기할 수 있다. 예를 들어, 키워드 "해머"를 (예컨대 시간이 가깝거나 중간에 위치한 단어에서 가까운) 키워드 "못" 근방에서 캡처함으로써 그 결과 하드웨어 상점으로부터의 광고 컨텐츠를 제공할 수 있다. 반면에, 키워드 "M.C." 근방에서 캡처된 키워드 "해머"는 연예인인 M.C. 해머에 관련된 컨텐츠를 제공하도록 할 것이다.
상표 소유자는 사용자가 그들의 상표를 렌더링된 문서로부터 스캔할 때 그들의 제품과 서비스에 대한 광고와 메시지를 제공하기 위해 이 시스템을 사용할 수 있다.
키워드 대여는 지역에 기초하여 분할될 수 있다. 예를 들어, 키워드 "신차 구입"은 큰 자동차 제조업체에 전국적으로 대여될 수 있거나 및/또는 지역 자동차 판매상에게 지역적으로 대여될 수 있다. "신차 구입"이 지역 자동차 판매상으로부터의 컨텐츠에 연관된 경우에, 뉴욕시에서 "신차 구입"을 캡처링함으로써 뉴욕시 자동차 딜러로부터의 광고를 제공하도록 하지만, 동일한 문구 "신차 구입"을 프랑스 파리에서 캡처링함으로써 파리 인근의 자동차 딜러로부터 광고를 제공하게 할 것이다.
키워드 대여는 텍스트가 캡처된 문서에 기초하여 분할될 수 있다. 예를 들어, 총기류 잡지에서 키워드 "공격무기 금지"를 캡처링하면 전국 라이플총 협회로부터의 총기찬성 컨텐츠를 공급하게 할 수 있다. 동일한 키워드 "공격무기 금지"를 자유주의 잡지로부터 캡처링하면 총기 폭력에 대한 브래디 센터(Brady Center for Handgun Violence)로부터의 총기반대 컨텐츠를 공급하게 할 것이다.
유명인사가 뉴스나 메시지를 팬들에게 제공하는 것을 돕기 위해 유명인사의 이름이 이용될 수도 있다. 예를 들어, 문구 "마돈나"는 가수 마돈나에 관련된 컨텐츠와 관련될 수 있다. 사용자가 렌더링된 문서로부터 단어 "마돈나"를 캡처할 때, 시스템은 캡처의 지역 근처 공연장에서의 마돈나 콘서트 정보, 아마존닷컴에서 마돈나 음악의 구입을 위한 링크, 마돈나의 마케팅 회사로부터 발매된 최신 프로모션, 그녀의 최신 히트송의 간단한 MP3 클립 등을 전송할 수 있다.
광고를 특정 캡처된 텍스트와 연관시키는 비용은 캡처하는 시간에 따라 다양하다. 어떤 용어에 대해, 특정 피크 시간에 대여하는 것이 그렇지 않은 시간에 대여하는 것보다 비용이 더 클 수 있다. 예를 들어, 용어 "다이아몬드"는 연수입의 세금납부 기일이 있는 기간보다 크리스마스 쇼핑 시즌의 피크 동안 다이아몬드 판매자에게 대여 비용이 더 비쌀 수 있다. 다른 예로서, 용어 "잔디 깍는 기계"는, 밤늦은 시간의 (렌더링된 문서로부터 텍스트를 캡처링하는 사용자의) 시청자들이 아마도 더 적기 때문에, 오전 9시에서 오후 7시 사이 보다는 한밤중에서 새벽5시 사이에 대여비용이 더 저렴할 수 있다.
특정 광고 또는 메시지가 많은 키워드에 연관될 수 있다. 예를 들어, 할리 데이비슨 오토바이에 대한 광고는 키워드 "할리", "할리 데이비슨", "새로운 오토바이", "클래식 오토바이" 등과 연관될 수 있다.
광고 또는 메시지는 그들의 관계된 위치와 같이 특정 키워드 사이의 관계성에 연관될 수 있다. 예를 들어, 사용자가 렌더링된 문서로부터 단어 "오토바이"를 캡처하면, 그리고 키워드 "구입"이 키워드 "오토바이"에서 여섯 단어 이내에 있다 면, 오토바이에 관련된 광고 또는 메시지가 사용자에게 제공될 것이다. 문서 컨텍스트가 알려지게 되면, 단지 단어 "오토바이"만이 캡처되는 경우에도 키워드 "구입"이 캡처된 워드 "오토바이"의 특정 거리 이내에 있다는 사실이 시스템에 알려지게 된다. 따라서 단지 단어 "오토바이"만을 캡처하고 그리고 이 캡처된 단어를 추가로 해석하기 위해 문서에 대한 컨텍스트를 적용함으로써, 키워드 "오토바이 구입"에 연관된 액션이 트리거될 수 있다.
추가적인 기능
블로깅 및 트랙-백
기술된 패실리티의 일부 실시예에서, 블로거는 타겟 컨텐트 또는 호스트 사이트가 트랙-백에 대한 명확한 지원을 제공하지 않는다 할지라도 임의의 컨텐트내의 트랙-백 또는 링크를 수동으로 생성할 수 있다. 대신에, 여기에 기술된 기술에 의하면 자료가 웹사이트, 스태틱 문서, 책 또는 잡지의 텍스트, 보안 문서, 퍼스널 이메일등으로부터 오는 것에 관계없이, 트랙-백을 남길 수 있고 임의의 문서 또는 임의의 제시된 자료내의 링크를 생성할 수 있다. 또한, 디지털 형태로 아직 유용하지 않은(예를 들어, 인터넷에 아직 공개되지 않은) 컨텐트에 대해, 심지어 아직 존재하지 않은 컨텐트에 대해 링크 및 주석을 생성하는 것이 가능하다. 이것을 달성하기 위해, 주석 작성자는 미래에 타겟 및/또는 앵커가 나타날 때마다 사용될 타겟 자료 및/또는 앵커 자료를 명기한다. 하나의 예로서, 주석 작성자는 책의 인쇄버전으로부터 취해진 타겟 및 앵커 자료를 명기할 수 있는데, 이러한 주석은 책의 컨텐트가 동적 디스플레이상의 패실리티의 사용자에게 제시되는 때와 같은 때에 불릴 것이다.
기술된 패실리티의 일부 실시예에서, 타겟 및 앵커는 와일드-카드 및/또는 퍼지-매칭 엘리먼트를 선택적으로 포함할 수 있다. 따라서, 사람은 "IBM is a *company"와 연관된 주석을 생성할 수 있는데, "*" 캐릭터는 임의의 단어 또는 캐릭터의 임의의 조합을 나타낸다.
퍼지 매칭을 달성하기 위한 주지된 수단은 통상적인 익스프레션을 사용하는 것이다. 상기 예를 들어, "(IBM is a)([[:^alnum:]] + ?[[:^alnum:]])(company)"로서 "IBM is a * company"에 대한 적합한 통상적인 익스프레션을 구성할 수 있다. 이러한 통상적인 익스프레션은 정확한 스트링 "IBM is a"를 위치시키고, 이어서, 하나의 논-영숫자 캐릭터(예를 들어, 화이트스페이스 또는 구두점)가 이어지고, 그다음, 임의의 스트링의 캐릭터가 이어지고, 이어서, 하나의 논-영숫자 캐릭터가 이어지고, 이어서, 정확한 스트링 "company"가 이어진다.
툴팁 툴팁 메뉴
매우 유용한 사용자 UI 모델은 "툴팁" 타입 팝업 주석의 사용이고, 일부 경우에, 기술된 패실리티는 이러한 모델을 확장하여 툴팁 팝업내에 메뉴를 포함한다. 하나의 실시예에서, 이러한 UI 인터랙션을 제시하기 위한 로직은,
Figure 112009022789023-pct00001
Figure 112009022789023-pct00002
주석에 의한 링킹
기술된 주석의 하나의 용도는 레퍼런스를 전송하기 위한 수단으로서이다. 따라서, 관심의 아티클의 컨텐트를 카피하고 이것을 이메일을 통해 친구에게 전송하는 대신에(많은 경우에 저작법 침해) 및 요구되는 아티클로의 하이퍼링크를 전송하는 대신에(이러한 링크는 변할 수 있고, 이것은 하이퍼링크를 무용지물로 만든다), 사용자는 관심의 특정 컨텐트를 포함하는 작은 구역을 캡처하고 이러한 프레젠테이션-어소시에이션을 전송할 수 있다. 전송된 링크가 컨텐트 (및/또는 그 앵커)에 대한 것이기 때문에, 수신자는 의도된 컨텐트 및/또는 앵커가 저장되는 방법 또는 장소에 관계없이, 의도된 컨텐트와 임의의 연관된 주석을 볼 수 있다.
일부 실시예에서, 전송된 주석 레퍼런스의 수신자는 관심의 서브젝트/타겟 컨텐트(및 선택적으로 그 앵커)를 수동으로 검색할 수 있고 따라서 저작권 침해 카피를 수신하지 않고 의도된 컨텐트의 카피를 볼 수 있다. 대안의 실시예에서, 주석 레퍼런스는 네트워크 기반 서버에 등록되어 있고, 이러한 서버는 주석 컨텐트의 예를 추적하고 및/또는 검색한다. 따라서, 전송된 주석 레퍼런스의 수신자는 의도된 컨텐트를 발견하고 보기 위해 이러한 네트워크 서버에 문의할 수 있다.
문서 사이의 커넥션
기술된 패실리티는 또한 문서사이와 문서 구역 사이의 커넥션을 달성하기 위해 사용될 수 있다. 일부 실시예에서 하나의 문서내의 자료의 범위 또는 위치와 연관된 주석은 다른 문서내의 컨텐트의 위치 또는 범위 (또는 동일한 문서의 서브구역)에 대한 하나 이상의 포인터로 구성되어 있다. 따라서 패실리티는 다수의 "병렬" 문서에 걸쳐 관련된 엘리먼트의 풍부한 링킹을 달성하도록 사용될 수 있다.
문서간 링킹을 표현하는 주석의 특별한 경우는 단일 문서의 여러 버전에 이러한 기술된 기술을 적용하는 것이다. 이러한 경우에, 주석의 링킹은 제1 문서로부터의 컨텐트가 어디에서 동일한 문서의 제2 버전으로 (아마도 변경된 폼으로) 나타나는지를 지시한다.
문서간 링킹을 나타내는 주석의 또 다른 특별한 경우는 번역을 위한 것이다. 하나의 예에서, 주석을 갖는 영어의 제1 문서가 스페인어로 제2 문서에 링크한다. 제2 스페인어 문서 역시 동일하거나 유사한 자료가 영어 문서 어디에서 나타나는지를 보여주는 주석 링크를 가지고 있다.
기술된 패실리티의 일부 실시예에 의해 사용자는 타겟 자료 및/또는 연관된 애커가 추정될 수 있음(즉, 패실리티는 "퍼지" 매칭을 지원한다)을 명기할 수 있기 때문에 상술된 "병렬" 문서 사이의 커넥션을 포함하는 임의의 주석에 대한 커넥션은 주석달린 자료 및 연관된 앵커에 대한 적당한 변화에 대해 매우 강하다.
자동 문서 커넥션
많은 문서는 이미 임플리싯 링크 또는 주석을 수반한다. 예를 들어, 많은 문서는 동일한 문서내에 다른 엘리먼트를 언급하는 엘리먼트를 포함한다. 그리고 많은 문서는 다른 문서내에 컨텐트에 대한 레퍼런스를 자주, 인용, 특정 챕퍼, 섹션 또는 페이지 레퍼런스등의 형태로 포함한다. 사이테이션은 하나의 문서가 자주 다른 문서에 링크되거나 레퍼런싱할 수 있는 또 다른 예이다.
문서간 사전 존재하는 링크는 기재된 패실리티에 의해 자동으로 발견되고 액티브 주석으로 변환될 수 있다. 따라서, 변환된 상태로, 사용자는 하나의 문서내의 사이테이션을 예를 들어, 이들의 마우스로 클릭할 수도 있고, 특별히 하이라이팅된 사이테이션의 서브젝트 자료와 함께, 인용된 위치에, 인용된 문서가 디스플레이되고 개방되게 할 수 있다.
리버스 주석은 또한 기재된 패실리티의 임의의 버전에 의해 지원된다. 다라서, 상기 예의 사이테이션 서브젝트 자료는 또한 링크 백 되는 액티브 주석으로 변환되고, 그 서브젝트로서 오리지널 사이테이션을 갖는다.
마찬가지로, 많은 블로그 컨텐트는 블로그 자체에 나타나지 않는 문서에 나타나는 다른 텍스트 자료에 관한 것이다. 기재된 패실리티는 블록그내의 레퍼런스 로부터 또 다른 문서내의 서브젝트 자료로 주석을 자동적으로 생성할 수 있고, 레퍼런싱된 문서내의 주석은 블로그 포스트로 링크 백 할 수 있다. 이러한 마지막 주석의 폼은 트랙 백의 폼이지만, 이것은 원래 트랙 백 기술을 지원하지 않는 컨텐트 또는 사이드에 대해서도, 서브젝트 자료 및/또는 앵커 자료를 사용하여, 기술된 패실리티에 의해 달성될 수 있다.
문서내의 컨텐트, 인덱스 및 비블리오그래피의 테이블은 자동 주석이 기술된 패실리티에 의해 생성될 수 있는 경우의 다른 예이다. 컨텐트, 인덱스 또는 비블리오그래피의 문서의 테이블내의 엔트리는 레퍼런싱된 컨텐트를 지시하는 주석과 자동으로 또는 수동으로 연관될 수 있고, 레퍼런싱된 컨텐트는 컨텐트, 인덱스, 또는 비블리오그래피 엔트리의 테이블을 지시하는 주석과 연관될 수 있다.
통상적인 익스프레션 및 엑스퍼트 시스템 기술은 컨텐트, 인덱스 또는 비블리오그래피의 문서의 테이블과 이러한 엘리먼트내에 레퍼런싱된 자료 사이의 양방향 주석을 자동적으로 인식하고 생성할 수 있는 2개의 수단이다.
일부 실시예에서, 기술된 패실리티는 사용자의 디스플레이에 제시된 텍스트 및 선택적으로, 디스플레이상의 텍스트의 위치는 물론 사용자에 의해 하이라이팅되거나 선택된 바와 같은 제시된 텍스트의 부분의 지시를 결정하기 위해 사용자의 운영 체제로부터 협동을 가질 것이다. 대안으로, 제시된 텍스트를 생성하고 사용자에 의해 선택된 부분을 식별하는 애플리케이션은 이러한 디테일이 결정될 수 있는 API를 제공할 것이다. 또 다른 대안으로서, 소스 애플리케이션이 적합한 API를 노출시키지 않는 경우에, "액세시빌리티 API"가 문의될 수 있다. 다수의 현대 운영 체제는 시각 장채를 가진 사람에 의해 사용되도록 액세시빌리티 API에 의해 사용자의 디스플레이에 제시된 컨텐트에 대한 정보를 제공한다. 이러한 API는 디스플레이된 텍스트 및 다른 컨텐트에 대한 정보를 통신할 수 있고, 이러한 정보는 임의의 관련된 주석을 취득하기 위해, 기술된 주석 서버에 문의하기 위한 소스일 수 있다.
일부 실시예에서, 운영 체제 또는 디스플레이-생성 애플리케이션으로부터 아무런 협동이 유용하지 않거나 요구되지 않는다. 이러한 경우에, 하나의 옵션은 기술된 패실리티가 호스트 패실리티의 디스플레이 버퍼로부터, 디스플레이된 컨텐트(예를 들어, 사용자의 디스플레이에 도시된 개별적인 화소에 대한 특정 정보)는 캡처하고, 그다음, 컨텐트가 사용자에 의해 뷰잉되도록 OCR 또는 다른 디스플레이 분석/인식 기술을 사용하는 것이다. 이러한 상황에서, 사용자에의해 선택된 컨텐트는 디스플레이된 컨텐트과 더불어 나타나는 백그라운드 컬러, 언더라이닝등을 분석함으로써 발견된다.
대안으로, 기술된 주석 패실리티 자체는 뷰잉되는 컨텐트를 디스플레이하는 애플리케이션에 관계없이 선택 및 하이라이팅 능력을 제공할 수 있다. 예를 들어, 주석 패실리티의 사용자가 주석에 대한 타겟 컨텐트를 선택하기를 원할 때, 이들은 (예를 들어 하이라이팅함으로써) 관심의 타겟 컨텐트를 지시할 수 있도록 하는 모드에 (예를 들어, 특정 키스트로크 조합 또는 마우스/마우스 버튼 액션에 의해) 들어갈 수 있다. 이러한 실시예에서, 관심의 타겟은 기술된 패실리티가 많은 컴퓨터 비디오 패실리티에서 널리 유용한 "알파층" 기술을 사용하여 디스플레이 버퍼내의 반투명 오버레이를 생성하는 관심의 직사각형 구역 또는 텍스트의 특정 영역을 하이라이팅함으로써 도시될 수 있다.
일단 뷰잉된 컨텐트가 발견되면, 주석 서버는 디스플레이된 컨텐트와 관련된 임의의 주석을 위치시킬 수 있도록 문의될 수 있다.
도 8은 컨텐트 소스로부터 직접 또는 디스플레이 버퍼를 판독함으로써 디스플레이 컨텐트 데이터를 취득하는 프로세스를 묘사한다. 805에서, 패실리티는 사용자의 디스플레이의 구역이 변경되었음을 확인한다. 810에서, 운용 체제, 포커스를 갖는 소프트웨어 애플리케이션, 디스어빌리티 API, 및 다른 소스는 새로운 데이터가 디스플레이상에 나타났는지를 결정하기 위해 문의된다. 새로운 정보가 유용하지 않다면, 디스플레이 버퍼의 변경된 구역은 815에서 판독되고 그 이미지는 820에서 액세스된다. 825에서, 주석 서버는 디스플레이되는 새로운 컨텐트와 연관된 임의의 주석이 존재하는지를 결정하기 위해 문의된다. 아무런 주석이 발견되지 않으면, 처리는 중지되고, 그렇지 않으면 주석이 835에서 디스플레이되고 사용자 입력 및/또는 인터랙션이 수용된다.
주석 보상 모델
큰 커뮤니티가 문서에 대한 풍부한 주석을 제공하는데 참여하도록 하기 위해, 일부 실시예에서, 문서의 사용과 연관된 다양한 수입은 어느 부분에서는 주석의 제공자에게 분배될 수 있다. 광고 수입, 판권 또는 판권 관련된 수입, 클릭 도우 및 다른 트래픽 관련된 수입등은 다양한 제공자에게 할당되고 분배된다. 일부 실시예에서, 가장 많이 뷰잉되거나 가장 코멘팅되는 주석의 저자 또는 소스는 이러 한 수입의 대부분을 받는다. 일부 실시예에서, 주석 소스의 평판 역시 할당되는 수입을 계산하는데 있어 한 요인이다.
별개의 디지털 및 페이퍼 경험
일부 실시예에서, 기술된 패실리티의 주석을 본 명세서내의 다른 곳에 기술된 정적 및 동적 마크업 프로세스 및 레이어와 유사한 것으로 보는 것이 유리하다. 따라서, 기술된 주석 사이의 강한 유사성은 존재하고 이것은 여기에 제공된 관련된 기재에서 렌더링된 문서와 연관된 마크업/주석 및 디지털 문서의 표현이다. 기술된 패실리티의 일부 실시예에서, 문서를 디지털식 렌더링할 때 제시되고 연관된 주석은 사용자가 문서의 인쇄 또는 페이퍼 폼으로부터 캡처링하고 상화작용할 때 보여지는 주석과 동일하거나 유사하다. 이러한 실시예에서, 패실리티가 페이저/인쇄된 사용자 경험과 디지털 렌더링된 사용자 경험을 구별하는 것이 자주 유용하다. 예를 들어, 디지털 렌더링된 문서에서, 사용자가 연관된 구매 기회가 있는 텍스트의 일부를 하이라이팅하거나 선택할 때 사용자에게는 당장 Amazon.com을 방문하고 구매를 할 기회가 제공될 수도 있다. 그러나, 텍스트의 동일한 부분이 휴대용 핸드헬드 광 스캐너를 사용하여 동일한 문서의 페이퍼 버전으로부터 캡처링된다면, 스캐너상의 메뉴는 대신 사용자가 이들의 데스크톱으로 돌아가 이들의 스캐너를 이들의 라이프 라이브러리로 동기화시킬 때 이러한 구매 기회를 사용자에게 상기시키도록 제공할 수도 있다. 따라서, 일부 실시예에서, 인쇄되거나 페이퍼 컨텍스트에서 제시되는 것으로부터, 디지털 렌더링된 컨텍스트에서 제시되는 주석과 액션 사이를 구별한다면 유용하다.
양방향 주석
일부 실시예에서, 사용자에게 주석 컨텐트를 디스플레이하는 동일한 애플리케이션이 또한 사용자로부터 새로운 주석 컨텐트를 수신하고 추가하기 위해 사용된다면 유익하다. "포털"로서 생각된다면, 기술된 패실리티는 일부 실시예에서, 디스플레이된 컨텐트에 대한 주석을 디스플레이하는 포털 뷰어로서 기능하고, 또한 디스플레이되는 컨텐트에 주석을 추가하기 위한 편집가능한 "입력-포털"로서 기능할 수 있다. 일부 실시예에서, 기술된 패실리티는 사용자의 디스플레이상의 하나 이상의 윈도우로서 나타나고, 여기에서 이러한 윈도우에 디스플레이되는 임의의 컨텐트와 연관된 주석은 뷰잉될 수 있도록 만들어진다. 이러한 경우에, 윈도우는 선택될 때, 사용자가 디스플레이된 컨텐트에 사용자의 주석을 추가할 수 있는 연관된 "편집" 또는 "주석 달기" 버튼을 가질 수 있다.
일부 실시예에서 컨텐트에 들어가기 위한 대안의 수단은 (예를 들어, 마우스로 포인트를 클릭함으로써) 디스플레이된 컨텐트내의 포인트를 선택하는 것, 또는 (예를 들어, 마우스로 클릭하고 드래그함으로써) 디스플레이된 컨텐트내의 텍스트의 구역을 선택하는 것, 또는 (예를 들어, "러버-밴드" 직사각형을 설정하도록 마우스로 클릭하고 드래그함으로써) 디스플레이된 컨텐트의 다양한 텍스트 및/또는 그래픽 엘리먼트를 포함하는 직사각형 구역을 선택하는 것이고, 그런 다음 마우스로 특정 키스트로크를 입력하거나 우측 클릭하고 "주석 추가"를 선택하는 것이다.
주석을 추가할 때, 기술된 패실리티의 일부 실시예는 또한 후속 렌더링에서 타겟이 나타날 때 사용자의 주석을 검색하도록 사용될 수 있는 자동 선택된 앵커 텍스트를 사용자에게 지시한다. 선택적으로, 사용자는 앵커 텍스트를 수동으로 설정한다.
핸드헬드 스캐너와의 인터랙션
디지털 제시된 자료에 대한 주석을 생성하는 하나의 수단은 사용자가 디지털 디스플레이와 상호작용할 수 있는 핸드헬드 스캐너에 의해 타겟 위치 또는 타겟 자료를 지시하는 것이다. 이러한 스캐너는 뷰잉가능한 디스플레이된 컨텐트로부터 직접 제시된 컨텐트를 판독할 수도 있거나, 대신에 먼저 디스플레이상의 컨텐트의 포지션을 결정한 후에 (다수의 가능한 수단중 2개를 언급하기 위해) 그러한 포지션에서 디스플레이되는 컨텐트에 대해 기술된 패실리티에 문의함으로써 타겟 컨텐트를 달성할 수도 있다.
마찬가지로, 핸드헬드 스캐너는 다시 상술된 것과 같은 기술을 사용하여 동적 디스플레이에 디스플레이되는 주석과 상호작용하고 응답하도록 일부 실시예에서 사용될 수 있다. 동적으로 디스플레이되는 컨텐트를 생성하거나 상호작용하기 위한 핸드헬드 스캐너를 사용하는 장점은 사용자의 컴퓨터로부터 별개의 하드웨어 디바이스인, 스캐너 자체가 컴퓨터 및 네트워크 관련된 트랜잭션을 용이하면서 안전하게 하는 보안 환경을 생성할 수 있다는 것이다. 예를 들어, 기술된 스캐너가 시큐어리티, 암호화, 및 인증 엘리먼트등을 통합할 수 있기 때문에, 주석을 포함하는 인터랙션은 단순한 컴퓨터-네트워크 환경의 많은 고전적인 위험(피싱(phishing), 스푸핑(spoofing), man-in-the-middle 어택등)을 회피할 수 있다.
일부 경우에, 핸드헬드 스캐너는 임의의 제안된 트랜잭션을 유효화하고 인증하기 위해 네트워크 기반 서버와 별개로 통신함으로써 보안 환경을 생성한다. 예를 들어, 핸드헬드 스캐너가 휴대폰 또는 휴대폰과 통신하는 스캐너인 경우에, 별개의 통신이 사용자의 컴퓨터에 의해 사용되는 인터넷 커넥션으로부터 분리되어, 셀룰러 네트워크를 통해 일어날 수 있다. 또 다른 실시예에서, 핸드헬드 스캐너는 사용자의 컴퓨터와 동일한 물리적 네트워크 커넥션을 사용하지만 별개의 보안 채널(예를 들어, 암호화된 https 세션)을 사용하여 통신한다.
주석 프라이버시 및 시큐어리티
핸드헬드 스캐너가 디스플레이된 주석과 상호작용하도록 사용되는지 또는 사용자의 컴퓨터에서 실행하는 소프트웨어가 이들의 인터랙션에 응답하는지에 관계없이, 프레젠테이션 레이어의 기술된 패실리티는 동적으로 디스플레이된 컨텐트와 상호작용하기 위한 종래의 방법에 대해 시큐어리티 장점을 갖는다. 많은 종래의 환경에서(예를 들어, 사용자가 웹브라우저를 통해 웹컨텐트를 보고 상호작용할 때), 컨텐트 및 인터랙션 기회를 제공하는 동일한 애플리케이션(여기에서는 웹브라우저) 역시 (이러한 인터랙션이 주석의 생성 또는 기존의 주석의 프레젠테이션에 응답하는 것인지에 관계없이) 이러한 인터랙션을 완료하는 기능을 수행한다. 반대로, 기술된 패실리티에서, 이러한 컴포넌트는 분리될 수 있고, 따라서, 이러한 패실리티의 양측 컴포넌트를 침해하기 위해 (그리고 코디네이팅하기 위해) 이러한 인터랙션에 누군가가 간섭시도할 것을 요구한다.
존재하는 주석 인터랙션은 초이스의 메뉴의 형태로 사용자의 동적 디스플레 이에 제시되고 있다. 그러나, 오리지널 컨텐트를 디스플레이한 패실리티는 종래의 웹브라우저였고(이것은 이메일 클라이언트, 워드 프로세서등일 수도 있다) 반면에 주석 인터랙션은 사용자의 컴퓨터에서 실행되는 애플리케이션 또는 전체적으로 별개의 패실리티에 의해 생성되었고 생성되고 있다. 더욱이, 제시된 주석과의 임의의 인터랙션은 별개의 애플리케이션에 의해 캡처되고 통신되거나 실행될 수 있다. 그래서 웹브라우저내의 부정 행위 또는 컨텐트는 사용자의 사적 데이터로의 액세스 및 별개의 애플리케이션에 의해 제어되는 구매/금융 정보로의 액세스를 가지고 있지 않다.
웹브라우저와 같은 애플리케이션은 사용자의 동적 디스플레이에 컨텐트를 디스플레이한다. 기술된 패실리티는 사용자에게 디스플레이되는 정보를 캡처링한다. 하나 이상의 기호가 캡처된 정보로부터 유도된다. 이러한 유도된 기호는 디스플레이되는 컨텐트에 대한 임의의 연관된 주석이 존재하는지를 결정하기 위해 주석 서버에 전송된다. "Canon PowerShot A520 Digital Camera" 구와 연관된 주석은 애플리케이션으로 리턴되고 사용자의 디스플레이에 오리지널 컨텐트와 연관되어 메뉴로서 디스플레이된다.
디스플레이된 주석과의 사용자의 후속 인터랙션은 다음과 같을 수 있다. 사용자는 디스플레이된 주석 메뉴 아이템 중 하나 "Buy at Amazon"를 선택하였다. 사용자의 선택 초이스는 주석 이행 서버로의 보안 통신 채널을 통해 애플리케이션에 의해 통신된다. 이러한 이행 서버는 amazon.com 사이트로의 보안 커넥션을 생성하고, 사용자의 사적 배송 및 금융 데이터를 제공하고 아마존 쇼핑 카드 뷰를 사 용자에게 제시한다. 주석된 컨텐트를 제시한 오리지널 웹브라우저가 후속 구매 활동에서 요구되지 않음에 주목해야 한다.
디스플레이된 컨텐트 로깅
기술된 패실리티의 일부 실시예에서 사용자에게 디스플레이된 다양한 컨텐트의 레코드가 보존된다. 보통, 이러한 레코드는 제시된 모든 컨텐트의 시간순 로그로서 저장된다. 유용할 때, 정보를 제시한 소스 애플리케이션 역시 소스 자료 자체에 대한 url 또는 문서 로케이터에서와 같이 기록된다. 사용자의 컴퓨터의 데이, 물리적 위치와 같은 추가적인 컨텍세트 정보가 캡처된다. 이러한 프로세스에 의해 생성된 로그에 의해 사용자는 관심의 아이템을 위치시키기 위해 과거에 디스플레이되거나 뷰잉된 자료를 서치할 수 있다.
일부 실시예에서, 기술된 패실리티만이 사용자의 디스플레이상에 포커스를 갖는 애플리케이션으로부터 자료를 캡처링하고 로깅한다. 일부 실시예에서, 고정된 양의 시간에 대하여 정지된 상태로 남거나 고정된 비보다 적은 비에서 스크롤링한 자료만이 로그에 캡처링된다(이러한 시간 및 비는 사용자가 디스플레이된 자료를 판독하거나 이해하는 시간을 가졌을 것이라는 것을 가리킨다).
로직 엘리먼트는 사용자가 임의의 위치로 스크롤링할 때조차 뷰잉된 자료의 의미있는 히스토리를 구성하도록 사용된다. 문서가 공지될 때 (예를 들어, 문서 자료가 유용할 때), 문서의 작성/컨텐트는 용이하게 저장되고 그다음 문서를 통한 사용자의 경로는 기록되어 연대기적 레코드는 자료를 본 순서 및 시각을 나타낸다. 그러나, 문서 자료가 유용하지 않은 경우에, 문서 컨텐트의 일련의 순서는 논리적 으로 구성되는데, 이것은 사용자가 문서내에서 스크롤링하거나 페이지 업 또는 페이지 다운함에 따라 제시된 자료의 오버랩핑 부분을 분석함으로써 가능하다.
(사용자가 문서내에서 이리 저리 빨리 점핑할 때와 같이) 문서의 완전한 일련의 작성이 사용자에게 디스플레이된 자료로부터 회복될 수 없을 때조차 사용자 주의의 주제인 요소들은, 예를 들어, 사용자가 뷰들을 인식하기에 충분한 시간 동안 디스플레이에서 볼 수 있었던 뷰들은 각 뷰가 언제 그리고 얼마나 제시되었는지를 지시하는 시각 데이터와 함께 로그내에 캡처된다.
따라서, 기술된 패실리티는 사용자가 개방/뷰잉하는 모든 문서, 이러한 활동이 일어나는 때, 어느 자료를 보는데 얼마나 시간이 소용되었는지 등을 지속적으로 추적할 수 있다. 이러한 역사적인 컨텐트가 서치될 수 있는 추가적인 특징에 더하여, 기술된 패실리티는 사용자에 대한 밸류를 갖는 컨텐트의 값진 메모리 에이드 및 저장소가 된다. 또한, 기술된 패실리티는 사용자에 의해 뷰잉되는 대부분 또는 모든 컨텐트에 대한 일층의 주석 인터랙션 및 보충 주석 기반 정보를 제공한다.
제안된 패실리티가 선택적으로, 사용자에게 컨텐트를 디스플레이하는 애플리케이션으로부터의 협동 없이, 사용자의 운영체제로부터의 협동 없이, 웹사이트 호스트, 웹사이트 설계자, 문서 저자, 애플리케이션 개발자등으로부터의 협동 없이 기능할 수 있기 때문에, 디스플레이된 컨텐트에 액티브 주석을 포함하는 풍부하고 균일한 컴퓨팅 경험을 생성한다.
통지
기술된 패실리티의 일부 실시예는 후속 주석이 문서에 추가될 때 문서 저자, 주석 저자, 또는 다른 관련자 (예를 들어, 발행자, 편집자, 블로거 등)에게 통지하는 특징을 포함한다.
일부 실시예는 특정 개인 또는 그룹 멤버가 주석을 특정 문서에 추가할 때 통지하는 유사한 특징을 포함한다.
예를 들어, 이러한 특징으로 인해 사용자는 특정 돌출 블로거가 임의의 문서에 주석을 추가할 때 통지될 수 있고, 저자에게 이들의 작업물에 주석이 추가될 때마다 통지될 수 있고, 주기적인 발행자에게 이들의 발행중 최신 온라인 발행에 임의의 주석이 더해질 때 통지될 수 있다.
이러한 통지는 주석 달린 컨텐트 및 주석등의 RSS 피드로서 이메일에 의해 전달될 수 있다.
또한, 기술된 패실리티는 주석 자체가 추가적인 해설 또는 주석의 주제일 때 통지를 지원한다.
그룹, 필터링 및 허용
기술된 패실리티에 의해 개인의 그룹은 주석을 공유하고 이러한 그룹외의 개인이 이러한 주석을 보는 것을 방지할 수 있다. 개별적인 주석은 개별적인 주석을 누가 볼 수 있거나 수신할 수 있는지를 기술하는 퍼미션을 선택적으로 포함한다. 따라서, 많은 사용자로부터의 많은 주석이 단일 주석 서버에 저장되어 있을 때조차, 개인 및 그룹에 의해 생성되고 볼 수 있는 사적 주석이 가능하다. 대안으로, 사용자는 누구나 볼 수 있는 "공개" 주석을 생성하고 발행할 수 있다.
주석이 잠재적으로 임의의 소스로부터 올 수 있기 때문에, 기술된 패실리티 에 주석을 추가하는 능력은 특정 개인에게 제한될 수 있다. 예를 들어, 이러한 패실리티에 등록되거나 가입비를 지불하였거나 패실리티에 의해 인식된 보안 하드웨어 디바이스(예를 들어, 휴대폰에 사용되는 바와 같이 SIM 카드를 포함하는 디바이스)를 소유한 개인만이 주석달기가 허용될 수 있다.
또한 주석이 잠재적으로 임의의 소스로부터 올 수 있기 때문에, 기술된 패실리티의 일부 실시예는 사용자가 어느 주석을 받기를 원하는지를 선택하도록 하는 필터링 기술을 포함한다. 필터링 옵션은 특정 개인 또는 개인의 그룹, (광고를 포함하는) 상업적 기회를 포함하는 (또는 포함하지 않는) 사람들, 특정 클래스에 소속된 사람들 (예를 들어, 개인적인 편집 코멘트 및 의견을 포함하지만, 지불되었거나 코포레이트 코멘터리를 제외하는 사람들)등에 의해 창시된 것들에 수신된 주석을 제한하는 것을 포함한다. 일부 실시예에서, 패실리티는 이러한 필터링 옵션의 일부를 설정하기 위한 애플리케이션 프리퍼런스 페인을 제공한다.
주석 및 앵커의 암호화
기술된 패실리티의 일부 실시예는 컨텐트의 완전히 사적인 뷰잉 및 주석의 완전히 사적인 공유를 위한 수단을 포함한다. 사용자 A는 뷰잉된 컨텐트, 이들이 공개 웹사이트에서 언급한 아티클에 대한 주석을 생성한다. 사용자 A의 주석 및 그 연관된 앵커는 사용자의 A 및 사용자 B에게 알려진 암호화 키로 사용자 A의 로컬 머신에서 암호화된다. 암호화된 주석 및 암호화된 앵커는 중심 주석 서버에 전송된다. 사용자 B는 사용자 A에 의해 주석달린 컨텐트를 포함하는 아티클의 이메일을 수신한다. 사용자 B에 의해 뷰잉되는 컨텐트는 또한 사용자 A에 의해 사용된 동일한 비밀키로써 암호화되고, 그 결과는 중심 주석 서버에 전송된다. 주석 서버가 그 키를 소유한 상태가 아니기 때문에 사용자 B가 무엇을 읽고 있는지 결정할 수 없다. 그러나, 사용자 B로부터 암호화된 결과가 사용자 A에 의해 주석달린 암호화된 컨텐트와 매칭한다고 결정한다. 이에 따라, 주석 서버는 사용자 A의 (암호화된) 주석을 사용자 B에게 전달하는데, 사용자 B의 애플리케이션은 공유키를 사용하여 이것을 해독하고 해독된 주석을 사용자 B에게 제시한다.
일부 실시예에서, 단순한 체크섬 (예를 들어, MD5)이 컨텐트의 성질을 개시하지 않고 사용자 A에 의해 주석달리고 사용자 B에 의해 판독된 컨텐트를 지시하기 위해 사용된다. 주석 서버가 사용자 A 및 사용자 B로부터의 체크섬이 일치한다고 결정할 때 주석 서버는 적합한 주석을 전달하지만, 주석달리고 이어 읽힌 실제 컨텐트를 절대 알지 못한다.
동적 주석
기술된 패실리티의 일부 실시예에서, 주석은 개인에 의해 수동으로 되지 않고 자동으로 동적으로 생성된다. 일부 경우에, 이것을 달성하기 위한 수단은 적당한 주석이 연관될 수 있는 다양한 클래스의 컨텐트를 식별하는데 사용될 수 있는 통상적인 익스프레션을 통해서이다. 이러한 프로세스에 대해 특히 적합한 컨텐트 오브젝트는 보통 포맷 또는 오거니제이션을 갖는 (그래서 통상적인 익스플레션에 의해 식별가능한) 것들이고, 한정된 세트에 속하는 (그래서 리스트 또는 데이터베이스에 입력될 수 있는) 것들이다.
통상적인 익스프레션에서 그룹은 전화번호, 이메일 주소, URL, 물리적 주소, 콘서트 및 다른 이벤트, 적합한 이름(퍼스, 미들 및 라스트 - 타이틀 및 캐피탈리제이션에 의해 자주 식별가능한)등과 같은 컨텐트 엘리먼트이다. 리스트/데이터베이스에서 그룹은 회사명칭, 개인 이름(퍼스트, 미들, 라스트), 지리적인 장소 이름, 책 제목, 영화 제목, 제품명 및 파트/모델 번호, 진기하고 비밀스런 단어등이다.
상기 통상적인 익스프레션 및 리스트/데이터베이스 그룹내의 오브젝트의 각 클래스에 대해, 기술된 패실리티는 연관된 오브젝트 및/또는 이들의 연관된 앵커가 디스플레이될 때 선택적으로 제시될 수 있는 하나 이상의 스탠더드 주석을 제공할 수 있다. 예를 들어, 임의의 책 제목은 이러한 책의 최신 리뷰 및 이커머스 또는 종래 서점으로부터 이러한 책을 구매할 기회로의 링크를 포함하는 주석을 자동적으로 트리거링할 수 있다. 마찬가지로, 전화번호의 임의의 프레젠테이션은 사용자의 콘택트 리스트에 이러한 전화번호를 추가하고 이 번호를 네트워크 기반 폰 패실리티로부터 자동으로 다이얼링하고 콜을 사용자에게 가장 가까운 폰에 연결하도록 주석 오퍼링을 자동으로 생성할 수 있다. 그리고 각 진기하거나 비밀스런 워드는 사전 정의, 발음을 제공하도록 오퍼링하는 주석을 생성할 수 있거나, 또는 이러한 워드를 디스플레이하는 것은 대안의 컨텍스트이다.
일부 경우에 기술된 패실리티는 디스플레이된 컨텐트에 대한 관련 정보를 자동으로 착을 수 있다. 예를 들어, 임의의 디스플레이된 회사명에 대한 레퍼런스는 하이퍼링크로서 선택적으로 디스플레이될 수 있는데, 기술된 패실리티는 언급된 회사와 연관된 웹사이트를 검색하고 자동으로 이러한 URL을 지적하는 링크를 가진 주 석을 생성하였다.
갱신 통지
일부 실시예에서, 기술된 패실리티는 사용자의 디스플레이의 어느 구역이 새로운 정보로써 갱신되었는지를 결정하기 위해 운영체제 또는 애플리케이션으로부터 디스플레이 갱신 통지를 사용한다. 이러한 방식으로 오직 변경된 구역만이 새로운 컨텐트가 유용하고 주석 서버에 대한 새로운 주석 문의가 잠재적으로 요구되는지를 결정하기 위해 패실리티에 의해 분석될 필요가 있다.
대안으로, 전체 디스플레이 (또는 주석을 위해 사용자에 의해 선택된 디스플레이의 구역)가 기술된 패실리티에 의해 주기적으로 체크될 수 있다. 이러한 체킹의 한 수단은 디스플레이 버터의 부분을 이전의 자체 카피 (보통 주석 서버가 마지막 문의되었을 때 캐싱된 카피)에 비교하는 것이다.
디스플레이 버터의 각 화소를 자체의 이전 캐싱된 버전에 비교하는 것을 방지하기 위해, 패실리티의 일부 실시예는 스파스 테스팅 방법을 채용한다. 즉, 오직 선택된 화소만이 이들이 변경되었는지를 보기 위해 시험된다. 일부 실시예에서, 이러한 테스트 화소는 이들의 변경의 높은 유사성에 대해 선택된다. 예를 들어, 포어그라운드 캐릭터와 디스플레이된 백그라운드 사이의 경계상의 화소는 다음 텍스트가 디스플레이될 때 변할 가능성이 매우 높다.
일부 실시예에서, 패실리티는 문서 메타데이터가 알려진 경우에 전체 문서에 대하여 주석을 프리페칭한다.
주석의 시간 특성
기술된 패실리티의 일부 실시예는 독립적인 주석 사이의 관계를 추정하기 위해 주석 서버에 의해 수신된 문의의 임시 관계 및 소스 주소(예를 들어, IP 주소)를 사용한다.
예를 들어, 문의의 시퀀스가 시간상 가깝거나 단일 IP 주소로부터 주석 서버에 의해 수신될 때, 이러한 문의는 단일 문서로부터 올 가능성이 높다. 그다음, 이러한 암시된 관계를 계속 추적함으로써 문서 메타데이터의 부재에도, 즉, 문의가 이러한 정보를 포함하지 않을 때조차 사용자의 머신의 로컬 캐싱에 대한 주석을 전달할 수 있다.
수동 주석 달성
네이티브 하이라이트 모드를 사용하는 문서내 하이라이트
하이라이트상의 우측 클릭, 메뉴 옵션은 질문/옵션을 포함한다: 주석달기
주석의 타겟 하이라이팅된 구역으로서 취해진다.
선택적으로 임의의 포인트에서 단순히 클릭할 수 있고 주석을 추가할 수 있다 - 여기에서 가정된 범위는 제로이다.
"주석달기" 메뉴 아이템이 선택되면, 주석 전 및/또는 후의 앵커 텍스트의 범위 역시 (예를 들어, 또 다른 하이라이트 컬러로) 지시된다. 그다음, 다이얼로그 박스가 텍스트 또는 다른 주석을 수용하기 위해 제시된다. 동일한 다이얼로그 박스내에 선택적으로 다음과 같은 다른 주석 선택이 존재한다.
- 다른 컨텐트로의 링크 생성 (예를 들어, 하나 이상의 하이퍼링크를 추가한다)
- 보이스 주석을 기록하거나 오디오 컨텐트를 지시하는 링크를 생성한다
- 비디오 컨텐트로의 링크를 생성한다
- 이미지 컨텐트 하나 이상의 픽쳐로의 링크 또는 연관성을 생성한다
- 상업적 기회로의 링크 생성 (예를 들어, 주석과 연관된 아이템이 구매되는 Amazon.com에서의 웹 주소).
결론
상기로부터, 본 발명의 특정 실시예가 설명을 위해 여기에 설명되었지만 다양한 수정이 본 발명의 정신 및 범위로부터 벗어남 없이 만들어질 수 있다는 것을 이해할 것이다. 예를 들어, 패실리티의 캡처, 저장 및 디스플레이 기능이 서로 독립적으로 사용될 수 있다. 따라서, 본 발명은 첨부된 청구범위에 의해서만 제한된다.

Claims (38)

  1. 텍스트에 배치하기 위한 주석들을 수신하는 뷰잉 디바이스로서 - 상기 텍스트는 상기 뷰잉 디바이스에서 디스플레이됨 -,
    상기 뷰잉 디바이스에서 디스플레이되는 컨텐트의 이미지를 캡처링하는 캡처 컴포넌트 - 상기 컨텐트는 제1 문서의 일부임 -;
    상기 뷰잉 디바이스에서 디스플레이되는 상기 컨텐트의 이미지를 처리하고 상기 컨텐트에 포함된 텍스트를 식별하는 광학 문자 인식 컴포넌트(optical character recognition component); 및
    상기 이미지에 대하여 주석 및 상기 주석의 위치를 수신하는 주석 캡처 컴포넌트
    를 포함하고,
    상기 주석 캡처 컴포넌트는,
    상기 뷰잉 디바이스의 인터페이스를 사용하여 제공된 주석 위치의 지시(indication)를 수신하고 - 상기 주석 위치는 상기 식별된 텍스트의 텍스트 세그먼트(text segment)에 대하여 지정됨 -,
    상기 텍스트 세그먼트에 기초하여 앵커 텍스트(anchor text)를 결정하고 - 상기 앵커 텍스트는 상기 텍스트 세그먼트 및 상기 텍스트 세그먼트에 인접한 하나 이상의 추가적인 단어를 포함함 -,
    상기 뷰잉 디바이스의 인터페이스를 사용하여 제공된 상기 주석의 지시를 수신하고,
    상기 텍스트 세그먼트와 연관하여 상기 주석을 저장하고 - 상기 연관 및 저장은 상기 제1 문서에 독립적임 -,
    상기 제1 문서와 상이하고 상기 텍스트 세그먼트를 포함하는 특정 문서를 디스플레이하기 위한 요청을 나타내는 사용자 상호작용들을 수신하는 것에 응답하여, 상기 문서 및 상기 주석을 동시에 디스플레이 - 상기 주석은 상기 특정 문서 내의 상기 텍스트 세그먼트에 근접하여(proximate) 디스플레이됨 - 하도록 구성되는, 뷰잉 디바이스.
  2. 제1항에 있어서,
    상기 주석 위치는 상기 텍스트 세그먼트인, 뷰잉 디바이스.
  3. 삭제
  4. 제1항에 있어서,
    상기 주석 캡처 컴포넌트는 상기 텍스트 세그먼트의 지시, 상기 앵커 텍스트의 지시 및 상기 주석의 지시를 주석 서버에 전송하도록 더 구성되는, 뷰잉 디바이스.
  5. 제1항에 있어서,
    상기 주석의 지시는 텍스트, 오디오, 비디오 및 이미지 중 하나 이상의 지시를 포함하는, 뷰잉 디바이스.
  6. 제1항에 있어서,
    상기 이미지는 상기 뷰잉 디바이스의 스크린 버퍼로부터 캡처되는, 뷰잉 디바이스.
  7. 컨텐트 상에 주석들을 디스플레이하는 뷰잉 디바이스로서 - 상기 컨텐트는 상기 뷰잉 디바이스에서 디스플레이됨 - ,
    상기 뷰잉 디바이스에 디스플레이되는 컨텐트의 이미지를 캡처링하기 위한 캡처 컴포넌트 - 상기 컨텐트는 제1 문서의 일부임 -;
    상기 뷰잉 디바이스에서 디스플레이되는 컨텐트의 이미지를 처리하고 상기 컨텐트에 포함된 텍스트를 식별하기 위한 광학식 문자 인식 컴포넌트; 및
    주석 디스플레이 컴포넌트
    를 포함하고,
    상기 주석 디스플레이 컴포넌트는,
    상기 식별된 텍스트의 적어도 일부를 주석 서비스에 전송하고,
    상기 주석 서비스로부터 주석의 지시뿐만 아니라 상기 주석이 연관된 텍스트 세그먼트 및 앵커 텍스트의 지시를 수신하고 - 상기 앵커 텍스트는 상기 텍스트 세그먼트 및 상기 텍스트 세그먼트에 인접한 하나 이상의 추가적인 단어를 포함함 -,
    상기 앵커 텍스트에 기초하여 상기 컨텐트의 이미지에 대한 상기 텍스트 세그먼트의 위치를 결정하고,
    수신된 상기 주석을, 상기 컨텐트를 보기 위해 사용된 컨텐트 뷰잉 어플리케이션을 오버레이하는 디스플레이 레이어에서의 상기 텍스트 세그먼트의 위치에 디스플레이하고 - 상기 디스플레이 레이어는 상기 텍스트 세그먼트와 연관하여 상기 주석을 저장하는 상기 컨텐트 뷰잉 어플리케이션과 별도로 제어되고, 상기 연관 및 저장은 상기 제1 문서에 독립적임 -,
    상기 제1 문서와 상이하고 상기 텍스트 세그먼트를 포함하는 특정 문서를 디스플레이하기 위한 요청을 나타내는 사용자 상호작용들을 수신하는 것에 응답하여, 상기 문서 및 상기 주석을 동시에 디스플레이 - 상기 주석은 상기 특정 문서 내의 상기 텍스트 세그먼트에 근접하여 디스플레이됨 - 하는, 뷰잉 디바이스.
  8. 제7항에 있어서,
    상기 앵커 텍스트에 기초하여 상기 컨텐트의 이미지에 대한 상기 텍스트 세그먼트의 위치를 결정하는 것은,
    상기 컨텐트에 포함된 상기 식별된 텍스트 내에서 상기 앵커 텍스트와 매칭하는(matches) 텍스트를 결정하고,
    상기 매칭된 텍스트가 상기 컨텐트의 이미지에서 어디에 나타나는지 결정하는 것을 포함하는, 뷰잉 디바이스.
  9. 제7항에 있어서,
    상기 이미지는 상기 뷰잉 디바이스에서 디스플레이되는 상기 컨텐트의 서브세트인, 뷰잉 디바이스.
  10. 제7항에 있어서,
    상기 이미지는 상기 뷰잉 디바이스의 스크린 버퍼로부터 캡처되는, 뷰잉 디바이스.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 후속 검색 및 디스플레이를 위해 주석 데이터 저장소(store)에 주석들을 저장하는 방법으로서,
    주석의 배치를 위해 제1 컨텐트와 연관된 텍스트의 바디 내의 포지션의 지시를 수신하는 단계 - 상기 제1 컨텐트는 제1 문서의 일부이고, 상기 지시된 포지션은 상기 텍스트의 바디 내의 텍스트 세그먼트에 의해 표현됨 -;
    앵커 텍스트의 지시를 수신하는 단계 - 상기 앵커 텍스트는 상기 텍스트 세그먼트 및 상기 텍스트 세그먼트에 인접한 하나 이상의 추가적인 단어를 포함함 -;
    상기 주석의 지시를 수신하는 단계; 및
    상기 텍스트 세그먼트와 연관하여 상기 주석을 저장하는 단계 - 상기 연관 및 저장은 상기 제1 문서에 독립적임 -; 및
    상기 제1 문서와 상이하고 상기 텍스트 세그먼트를 포함하는 특정 문서를 디스플레이하기 위한 요청을 나타내는 사용자 상호작용들을 수신하는 것에 응답하여, 상기 문서 및 상기 주석을 동시에 디스플레이하는 단계 - 상기 주석은 상기 특정 문서 내의 상기 텍스트 세그먼트에 근접하여 디스플레이됨 -
    를 포함하는 방법.
  19. 제18항에 있어서,
    상기 주석 데이터 저장소는 상기 주석의 지시를 수신하는 장치로부터 떨어져(remote) 있는, 방법.
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 컴퓨팅 디바이스에 의해 실행가능한 명령어들을 저장한 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령어들은 상기 컴퓨팅 디바이스로 하여금,
    디스플레이 디바이스에 디스플레이되는 컨텐트의 이미지를 캡처링하는 기능 - 상기 컨텐트는 제1 문서의 일부임 -,
    상기 컨텐트의 이미지에서 발생하는 텍스트를 자동 인식하는 기능,
    상기 자동 인식된 텍스트의 적어도 일부를 주석 서비스에 전송하는 기능,
    상기 주석 서비스로부터 주석의 지시뿐만 아니라 상기 주석이 연관된 텍스트 세그먼트 및 앵커 텍스트의 지시를 수신하는 기능 - 상기 앵커 텍스트는 상기 텍스트 세그먼트 및 상기 텍스트 세그먼트에 인접한 하나 이상의 추가적인 단어를 포함함 -,
    상기 앵커 텍스트에 기초하여 상기 컨텐트의 이미지에 대한 상기 텍스트 세그먼트의 위치를 결정하는 기능,
    상기 텍스트 세그먼트와 연관하여 상기 주석을 저장하는 기능 - 상기 연관 및 저장은 상기 제1 문서에 독립적임 -, 및
    상기 제1 문서와 상이하고 상기 텍스트 세그먼트를 포함하는 특정 문서를 디스플레이하기 위한 요청을 나타내는 사용자 상호작용들을 수신하는 것에 응답하여, 수신된 상기 주석을, 상기 특정 문서를 보기 위해 사용된 컨텐트 뷰잉 어플리케이션을 오버레이하는 디스플레이 레이어에서의 상기 텍스트 세그먼트의 위치에 디스플레이하는 기능 - 상기 디스플레이 레이어는 상기 컨텐트 뷰잉 어플리케이션과 별도로 제어됨 -
    을 포함하는 기능들을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
  31. 제30항에 있어서,
    상기 자동 인식된 텍스트의 일부의 선택을 수신하는 기능;
    상기 자동 인식된 텍스트의 선택된 일부와 연관된 새로운 주석에 대한 컨텐트를 수신하는 기능;
    수신된 상기 컨텐트를 갖는 상기 자동 인식된 텍스트의 상기 선택된 일부와 연관된 새로운 주석을 생성하는 기능; 및
    상기 디스플레이 디바이스로 하여금 상기 자동 인식된 텍스트의 상기 선택된 일부에 근접한 상기 생성된 주석의 시각적 지시를 디스플레이하게 하는 기능
    을 포함하는 기능들을 수행하는, 상기 컴퓨팅 디바이스에 의해 실행가능한 명령어들을 더 포함하는 비일시적 컴퓨터 판독가능 매체.
  32. 제31항에 있어서,
    상기 자동 인식된 텍스트의 일부의 선택 및 상기 새로운 주석에 대한 컨텐트는 구별된 사용자(distinguished user)로부터 수신되고, 상기 주석 서비스는 상기 구별된 사용자 이외의 적어도 하나의 사용자에게 상기 새로운 주석을 제시하도록 구성되는, 비일시적 컴퓨터 판독가능 매체.
  33. 제30항에 있어서,
    상기 연관된 주석은 광고 메시지를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
KR1020097007759A 2006-09-15 2007-09-17 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이 KR101443404B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US84489306P 2006-09-15 2006-09-15
US60/844,893 2006-09-15
US91043807P 2007-04-05 2007-04-05
US60/910,438 2007-04-05
PCT/EP2007/008075 WO2008031625A2 (en) 2006-09-15 2007-09-17 Capture and display of annotations in paper and electronic documents

Publications (2)

Publication Number Publication Date
KR20090069300A KR20090069300A (ko) 2009-06-30
KR101443404B1 true KR101443404B1 (ko) 2014-10-02

Family

ID=39133843

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097007759A KR101443404B1 (ko) 2006-09-15 2007-09-17 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이

Country Status (5)

Country Link
US (1) US20100278453A1 (ko)
EP (1) EP2067102A2 (ko)
KR (1) KR101443404B1 (ko)
CN (1) CN101765840B (ko)
WO (1) WO2008031625A2 (ko)

Families Citing this family (576)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US6996870B2 (en) * 1995-12-29 2006-02-14 Colgate-Palmolive Company Contouring toothbrush head
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7885987B1 (en) * 2001-08-28 2011-02-08 Lee Eugene M Computer-implemented method and system for managing attributes of intellectual property documents, optionally including organization thereof
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US20060041484A1 (en) 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US8799303B2 (en) 2004-02-15 2014-08-05 Google Inc. Establishing an interactive environment for rendered documents
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US8081849B2 (en) 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US8793162B2 (en) 2004-04-01 2014-07-29 Google Inc. Adding information or functionality to a rendered document via association with an electronic counterpart
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US20070300142A1 (en) 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US8621349B2 (en) 2004-04-01 2013-12-31 Google Inc. Publishing techniques for adding value to a rendered document
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20080313172A1 (en) 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US9460346B2 (en) 2004-04-19 2016-10-04 Google Inc. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US8156116B2 (en) * 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US8156115B1 (en) 2007-07-11 2012-04-10 Ricoh Co. Ltd. Document-based networking with mixed media reality
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US8510109B2 (en) 2007-08-22 2013-08-13 Canyon Ip Holdings Llc Continuous speech transcription performance indication
US9436951B1 (en) * 2007-08-22 2016-09-06 Amazon Technologies, Inc. Facilitating presentation by mobile device of additional content for a word or phrase upon utterance thereof
US20090124272A1 (en) 2006-04-05 2009-05-14 Marc White Filtering transcriptions of utterances
US8117268B2 (en) 2006-04-05 2012-02-14 Jablokov Victor R Hosted voice recognition system for wireless devices
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
EP2067119A2 (en) 2006-09-08 2009-06-10 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US20080066107A1 (en) 2006-09-12 2008-03-13 Google Inc. Using Viewing Signals in Targeted Video Advertising
US7559017B2 (en) * 2006-12-22 2009-07-07 Google Inc. Annotation framework for video
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9973450B2 (en) 2007-09-17 2018-05-15 Amazon Technologies, Inc. Methods and systems for dynamically updating web service profile information by parsing transcribed message strings
US20090076917A1 (en) * 2007-08-22 2009-03-19 Victor Roditis Jablokov Facilitating presentation of ads relating to words of a message
US20080276266A1 (en) * 2007-04-18 2008-11-06 Google Inc. Characterizing content for identification of advertising
US8667532B2 (en) * 2007-04-18 2014-03-04 Google Inc. Content recognition for targeting video advertisements
US8316302B2 (en) * 2007-05-11 2012-11-20 General Instrument Corporation Method and apparatus for annotating video content with metadata generated using speech recognition technology
US8433611B2 (en) 2007-06-27 2013-04-30 Google Inc. Selection of advertisements for placement with content
US7899715B2 (en) 2007-07-09 2011-03-01 Reply!, Inc. Lead marketplace system and method with ping campaigns
US9064024B2 (en) 2007-08-21 2015-06-23 Google Inc. Bundle generation
US9053489B2 (en) 2007-08-22 2015-06-09 Canyon Ip Holdings Llc Facilitating presentation of ads relating to words of a message
US8335830B2 (en) * 2007-08-22 2012-12-18 Canyon IP Holdings, LLC. Facilitating presentation by mobile device of additional content for a word or phrase upon utterance thereof
US8638363B2 (en) 2009-02-18 2014-01-28 Google Inc. Automatically capturing information, such as capturing information using a document-aware device
US9170997B2 (en) * 2007-09-27 2015-10-27 Adobe Systems Incorporated Commenting dynamic content
US7941399B2 (en) 2007-11-09 2011-05-10 Microsoft Corporation Collaborative authoring
US8825758B2 (en) 2007-12-14 2014-09-02 Microsoft Corporation Collaborative authoring modes
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US20090171906A1 (en) * 2008-01-02 2009-07-02 Research In Motion Limited System and method for providing information relating to an email being provided to an electronic device
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
GB0801429D0 (en) * 2008-01-25 2008-03-05 Decisive Media Ltd Media Annotation system, method and media player
US20090199091A1 (en) * 2008-02-01 2009-08-06 Elmalik Covington System for Electronic Display of Scrolling Text and Associated Images
US9824372B1 (en) 2008-02-11 2017-11-21 Google Llc Associating advertisements with videos
US9323439B2 (en) * 2008-03-28 2016-04-26 International Business Machines Corporation System and method for displaying published electronic documents
US8676577B2 (en) 2008-03-31 2014-03-18 Canyon IP Holdings, LLC Use of metadata to post process speech recognition output
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US8352870B2 (en) * 2008-04-28 2013-01-08 Microsoft Corporation Conflict resolution
US8825594B2 (en) 2008-05-08 2014-09-02 Microsoft Corporation Caching infrastructure
US8429753B2 (en) 2008-05-08 2013-04-23 Microsoft Corporation Controlling access to documents using file locks
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
WO2010005743A2 (en) * 2008-06-16 2010-01-14 View2Gether Inc. Contextual advertising using video metadata and analysis
US10248931B2 (en) * 2008-06-23 2019-04-02 At&T Intellectual Property I, L.P. Collaborative annotation of multimedia content
US20090319884A1 (en) * 2008-06-23 2009-12-24 Brian Scott Amento Annotation based navigation of multimedia content
US8417666B2 (en) 2008-06-25 2013-04-09 Microsoft Corporation Structured coauthoring
US8190990B2 (en) * 2008-06-27 2012-05-29 Google Inc. Annotating webpage content
US8510646B1 (en) * 2008-07-01 2013-08-13 Google Inc. Method and system for contextually placed chat-like annotations
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
EP2151779A3 (en) * 2008-07-31 2013-09-11 Medison Co., Ltd. Ultrasound system and method of offering preview pages
US20100037149A1 (en) * 2008-08-05 2010-02-11 Google Inc. Annotating Media Content Items
US20110246289A1 (en) * 2008-09-16 2011-10-06 Reply! Inc. Click marketplace system and method with enhanced click traffic auctions
USH2272H1 (en) * 2008-09-17 2012-11-06 The United States Of America As Represented By The Secretary Of The Navy Code framework for generic data extraction, analysis and reduction
US8892630B1 (en) 2008-09-29 2014-11-18 Amazon Technologies, Inc. Facilitating discussion group formation and interaction
JP2010086459A (ja) * 2008-10-02 2010-04-15 Fujitsu Ltd 情報処理装置、制御方法及び制御プログラム
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US8499046B2 (en) * 2008-10-07 2013-07-30 Joe Zheng Method and system for updating business cards
US9195525B2 (en) 2008-10-21 2015-11-24 Synactive, Inc. Method and apparatus for generating a web-based user interface
US8706685B1 (en) 2008-10-29 2014-04-22 Amazon Technologies, Inc. Organizing collaborative annotations
US9083600B1 (en) 2008-10-29 2015-07-14 Amazon Technologies, Inc. Providing presence information within digital items
US10523767B2 (en) 2008-11-20 2019-12-31 Synactive, Inc. System and method for improved SAP communications
US20100131836A1 (en) * 2008-11-24 2010-05-27 Microsoft Corporation User-authored notes on shared documents
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US8498867B2 (en) * 2009-01-15 2013-07-30 K-Nfb Reading Technology, Inc. Systems and methods for selection and use of multiple characters for document narration
JP2010198084A (ja) * 2009-02-23 2010-09-09 Fujifilm Corp 関連コンテンツ表示装置及びシステム
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
DE202010018551U1 (de) 2009-03-12 2017-08-24 Google, Inc. Automatische Bereitstellung von Inhalten, die mit erfassten Informationen, wie etwa in Echtzeit erfassten Informationen, verknüpft sind
US8874529B2 (en) * 2009-03-16 2014-10-28 Bert A. Silich User-determinable method and system for manipulating and displaying textual and graphical information
EP2409269B1 (en) * 2009-03-20 2019-06-05 Google LLC Associating rendered advertisements with digital content
US9159074B2 (en) * 2009-03-23 2015-10-13 Yahoo! Inc. Tool for embedding comments for objects in an article
US8346768B2 (en) 2009-04-30 2013-01-01 Microsoft Corporation Fast merge support for legacy documents
US20120131520A1 (en) * 2009-05-14 2012-05-24 Tang ding-yuan Gesture-based Text Identification and Selection in Images
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US20100325557A1 (en) * 2009-06-17 2010-12-23 Agostino Sibillo Annotation of aggregated content, systems and methods
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US9251428B2 (en) * 2009-07-18 2016-02-02 Abbyy Development Llc Entering information through an OCR-enabled viewfinder
KR101031769B1 (ko) * 2009-07-22 2011-04-29 (주)다산지앤지 페이지정보가 삽입된 전자책 다운로드 장치 및 그 제어방법
US20110052144A1 (en) * 2009-09-01 2011-03-03 2Cimple, Inc. System and Method for Integrating Interactive Call-To-Action, Contextual Applications with Videos
US9049258B2 (en) * 2009-09-17 2015-06-02 Border Stylo, LLC Systems and methods for anchoring content objects to structured documents
JP4888539B2 (ja) * 2009-09-18 2012-02-29 コニカミノルタビジネステクノロジーズ株式会社 画像データ管理方法、画像データ管理システム、画像処理装置、およびコンピュータプログラム
US20120246633A1 (en) * 2009-09-29 2012-09-27 Lg Innotek Co., Ltd. Electronic book and system for firmware upgrade of electronic book
US9378664B1 (en) * 2009-10-05 2016-06-28 Intuit Inc. Providing financial data through real-time virtual animation
US9330069B2 (en) 2009-10-14 2016-05-03 Chi Fai Ho Layout of E-book content in screens of varying sizes
US10831982B2 (en) 2009-10-14 2020-11-10 Iplcontent, Llc Hands-free presenting device
TWI500004B (zh) 2009-10-21 2015-09-11 Prime View Int Co Ltd 錄音筆記電子書裝置及其控制方法
US11023675B1 (en) 2009-11-03 2021-06-01 Alphasense OY User interface for use with a search engine for searching financial related documents
JP4948586B2 (ja) 2009-11-06 2012-06-06 シャープ株式会社 文書画像生成装置、文書画像生成方法、コンピュータプログラム及び記録媒体
CN102074130B (zh) * 2009-11-20 2013-12-18 元太科技工业股份有限公司 录音笔记电子书装置及其控制方法
TW201118619A (en) * 2009-11-30 2011-06-01 Inst Information Industry An opinion term mining method and apparatus thereof
US20110137917A1 (en) * 2009-12-03 2011-06-09 International Business Machines Corporation Retrieving a data item annotation in a view
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US9152708B1 (en) 2009-12-14 2015-10-06 Google Inc. Target-video specific co-watched video clusters
US20110145240A1 (en) * 2009-12-15 2011-06-16 International Business Machines Corporation Organizing Annotations
WO2011072890A1 (en) * 2009-12-15 2011-06-23 International Business Machines Corporation Electronic document annotation
US8229224B2 (en) * 2009-12-18 2012-07-24 David Van Hardware management based on image recognition
US9563850B2 (en) * 2010-01-13 2017-02-07 Yahoo! Inc. Method and interface for displaying locations associated with annotations
US10068178B2 (en) * 2010-01-13 2018-09-04 Oath, Inc. Methods and system for associating locations with annotations
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8799765B1 (en) * 2010-02-01 2014-08-05 Inkling Systems, Inc. Systems for sharing annotations and location references for same for displaying the annotations in context with an electronic document
US8799493B1 (en) 2010-02-01 2014-08-05 Inkling Systems, Inc. Object oriented interactions
CN101799994B (zh) * 2010-02-10 2012-12-19 惠州Tcl移动通信有限公司 一种电子书阅读器的语音笔记记录方法
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
EP2539865A4 (en) 2010-02-26 2014-12-17 Mmodal Ip Llc COMPARISON OF CLINICAL DATA AS PART OF AN APPLICATION FOR THE PRODUCTION OF REPORTS
US8990427B2 (en) 2010-04-13 2015-03-24 Synactive, Inc. Method and apparatus for accessing an enterprise resource planning system via a mobile device
KR101635559B1 (ko) * 2010-04-23 2016-07-08 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US8086548B2 (en) * 2010-05-05 2011-12-27 Palo Alto Research Center Incorporated Measuring document similarity by inferring evolution of documents through reuse of passage sequences
US8903798B2 (en) * 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
CN101882384A (zh) * 2010-06-29 2010-11-10 汉王科技股份有限公司 一种在电子书上进行笔记管理的方法及电子书设备
JP5573457B2 (ja) * 2010-07-23 2014-08-20 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US20120030234A1 (en) * 2010-07-31 2012-02-02 Sitaram Ramachandrula Method and system for generating a search query
CN102346731B (zh) 2010-08-02 2014-09-03 联想(北京)有限公司 一种文件处理方法及文件处理装置
CN101964204B (zh) * 2010-08-11 2013-05-01 方正科技集团苏州制造有限公司 一种录音和笔记对应的方法
US20120038665A1 (en) * 2010-08-14 2012-02-16 H8it Inc. Systems and methods for graphing user interactions through user generated content
US20120046071A1 (en) * 2010-08-20 2012-02-23 Robert Craig Brandis Smartphone-based user interfaces, such as for browsing print media
US8332408B1 (en) * 2010-08-23 2012-12-11 Google Inc. Date-based web page annotation
WO2012026095A1 (ja) * 2010-08-26 2012-03-01 京セラ株式会社 文字列検索装置
KR101811743B1 (ko) 2010-09-09 2018-01-25 삼성전자주식회사 멀티미디어 장치 및 그의 컨텐츠 제공 방법
US8881022B2 (en) * 2010-09-30 2014-11-04 Mathworks, Inc. Method and system for binding graphical interfaces to textual code
US20120084634A1 (en) * 2010-10-05 2012-04-05 Sony Corporation Method and apparatus for annotating text
CN101968784A (zh) * 2010-10-13 2011-02-09 无锡永中软件有限公司 一种数字格式转换的方法与装置
CN101968716A (zh) * 2010-10-20 2011-02-09 鸿富锦精密工业(深圳)有限公司 电子阅读装置及其添加批注的方法
US9098836B2 (en) * 2010-11-16 2015-08-04 Microsoft Technology Licensing, Llc Rich email attachment presentation
KR101746052B1 (ko) * 2010-11-26 2017-06-12 삼성전자 주식회사 휴대단말에서 전자책 서비스 제공 방법 및 장치
US8977979B2 (en) * 2010-12-06 2015-03-10 International Business Machines Corporation Social network relationship mapping
US8645364B2 (en) 2010-12-13 2014-02-04 Google Inc. Providing definitions that are sensitive to the context of a text
US20120159329A1 (en) * 2010-12-16 2012-06-21 Yahoo! Inc. System for creating anchors for media content
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
CN102609768A (zh) * 2011-01-19 2012-07-25 华晶科技股份有限公司 互动式学习系统及其方法
US20120197688A1 (en) * 2011-01-27 2012-08-02 Brent Townshend Systems and Methods for Verifying Ownership of Printed Matter
US20120198324A1 (en) * 2011-01-27 2012-08-02 Ruchi Mahajan Systems, Methods, and Apparatuses to Write on Web Pages
CN102637180B (zh) * 2011-02-14 2014-06-18 汉王科技股份有限公司 基于正则表达式的文字后处理方法和装置
US9645986B2 (en) * 2011-02-24 2017-05-09 Google Inc. Method, medium, and system for creating an electronic book with an umbrella policy
US20120221936A1 (en) * 2011-02-24 2012-08-30 James Patterson Electronic book extension systems and methods
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9251130B1 (en) * 2011-03-31 2016-02-02 Amazon Technologies, Inc. Tagging annotations of electronic books
US9224129B2 (en) 2011-05-06 2015-12-29 David H. Sitrick System and methodology for multiple users concurrently working and viewing on a common project
US8806352B2 (en) 2011-05-06 2014-08-12 David H. Sitrick System for collaboration of a specific image and utilizing selected annotations while viewing and relative to providing a display presentation
US8914735B2 (en) 2011-05-06 2014-12-16 David H. Sitrick Systems and methodologies providing collaboration and display among a plurality of users
US8918724B2 (en) * 2011-05-06 2014-12-23 David H. Sitrick Systems and methodologies providing controlled voice and data communication among a plurality of computing appliances associated as team members of at least one respective team or of a plurality of teams and sub-teams within the teams
US8918723B2 (en) 2011-05-06 2014-12-23 David H. Sitrick Systems and methodologies comprising a plurality of computing appliances having input apparatus and display apparatus and logically structured as a main team
US8918721B2 (en) * 2011-05-06 2014-12-23 David H. Sitrick Systems and methodologies providing for collaboration by respective users of a plurality of computing appliances working concurrently on a common project having an associated display
US9330366B2 (en) 2011-05-06 2016-05-03 David H. Sitrick System and method for collaboration via team and role designation and control and management of annotations
US8990677B2 (en) 2011-05-06 2015-03-24 David H. Sitrick System and methodology for collaboration utilizing combined display with evolving common shared underlying image
US10402485B2 (en) 2011-05-06 2019-09-03 David H. Sitrick Systems and methodologies providing controlled collaboration among a plurality of users
US8918722B2 (en) 2011-05-06 2014-12-23 David H. Sitrick System and methodology for collaboration in groups with split screen displays
US9195965B2 (en) * 2011-05-06 2015-11-24 David H. Sitrick Systems and methods providing collaborating among a plurality of users each at a respective computing appliance, and providing storage in respective data layers of respective user data, provided responsive to a respective user input, and utilizing event processing of event content stored in the data layers
US8826147B2 (en) 2011-05-06 2014-09-02 David H. Sitrick System and methodology for collaboration, with selective display of user input annotations among member computing appliances of a group/team
US10387836B2 (en) * 2015-11-24 2019-08-20 David Howard Sitrick Systems and methods providing collaborating among a plurality of users
US11611595B2 (en) * 2011-05-06 2023-03-21 David H. Sitrick Systems and methodologies providing collaboration among a plurality of computing appliances, utilizing a plurality of areas of memory to store user input as associated with an associated computing appliance providing the input
US8875011B2 (en) * 2011-05-06 2014-10-28 David H. Sitrick Systems and methodologies providing for collaboration among a plurality of users at a plurality of computing appliances
US8924859B2 (en) 2011-05-06 2014-12-30 David H. Sitrick Systems and methodologies supporting collaboration of users as members of a team, among a plurality of computing appliances
US9678992B2 (en) 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
KR101397562B1 (ko) * 2011-05-30 2014-05-30 이해성 사용자 주석 처리 장치 및 그를 위한 전자책 서비스 시스템 및 방법
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
WO2012168942A1 (en) 2011-06-08 2012-12-13 Hewlett-Packard Development Company Image triggered transactions
US20120324337A1 (en) * 2011-06-20 2012-12-20 Sumbola, Inc. Shared definition and explanation system and method
USD761840S1 (en) 2011-06-28 2016-07-19 Google Inc. Display screen or portion thereof with an animated graphical user interface of a programmed computer system
US9122666B2 (en) 2011-07-07 2015-09-01 Lexisnexis, A Division Of Reed Elsevier Inc. Systems and methods for creating an annotation from a document
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
US20130031455A1 (en) * 2011-07-28 2013-01-31 Peter Griffiths System for Linking to Documents with Associated Annotations
US20130042171A1 (en) * 2011-08-12 2013-02-14 Korea Advanced Institute Of Science And Technology Method and system for generating and managing annotation in electronic book
US9043410B2 (en) * 2011-08-15 2015-05-26 Skype Retrieval of stored transmissions
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US20130054686A1 (en) * 2011-08-29 2013-02-28 Mark Hassman Content enhancement utility
US8707163B2 (en) 2011-10-04 2014-04-22 Wesley John Boudville Transmitting and receiving data via barcodes through a cellphone for privacy and anonymity
US9483454B2 (en) * 2011-10-07 2016-11-01 D2L Corporation Systems and methods for context specific annotation of electronic files
US9141253B2 (en) * 2011-10-14 2015-09-22 Autodesk, Inc. In-product questions, answers, and tips
US20150199308A1 (en) 2011-10-17 2015-07-16 Google Inc. Systems and methods for controlling the display of online documents
US9141404B2 (en) 2011-10-24 2015-09-22 Google Inc. Extensible framework for ereader tools
US9313100B1 (en) 2011-11-14 2016-04-12 Amazon Technologies, Inc. Remote browsing session management
US9031493B2 (en) 2011-11-18 2015-05-12 Google Inc. Custom narration of electronic books
CN102404403B (zh) * 2011-11-25 2016-09-21 宇龙计算机通信科技(深圳)有限公司 基于云端服务器的数据传输方法
CN103136236B (zh) * 2011-11-28 2017-05-17 深圳市世纪光速信息技术有限公司 信息搜索的方法及系统
US9626578B2 (en) * 2011-12-01 2017-04-18 Enhanced Vision Systems, Inc. Viewing aid with tracking system, and method of use
US20130151955A1 (en) * 2011-12-09 2013-06-13 Mechell Williams Physical effects for electronic books
US20140006914A1 (en) * 2011-12-10 2014-01-02 University Of Notre Dame Du Lac Systems and methods for collaborative and multimedia-enriched reading, teaching and learning
US8977978B2 (en) 2011-12-12 2015-03-10 Inkling Systems, Inc. Outline view
US8994755B2 (en) * 2011-12-20 2015-03-31 Alcatel Lucent Servers, display devices, scrolling methods and methods of generating heatmaps
US9330188B1 (en) 2011-12-22 2016-05-03 Amazon Technologies, Inc. Shared browsing sessions
KR101909127B1 (ko) * 2012-01-03 2018-10-18 삼성전자주식회사 키워드 정보 제공 시스템 및 방법
CN102622400A (zh) * 2012-01-09 2012-08-01 华为技术有限公司 电子书的扩展阅读标记生成方法及相关设备
US9064237B2 (en) * 2012-01-23 2015-06-23 Microsoft Technology Licensing, Llc Collaborative communication in a web application
US8839087B1 (en) 2012-01-26 2014-09-16 Amazon Technologies, Inc. Remote browsing and searching
US9336321B1 (en) 2012-01-26 2016-05-10 Amazon Technologies, Inc. Remote browsing and searching
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
JP5833956B2 (ja) * 2012-03-06 2015-12-16 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 文書を校正する情報処理装置、方法およびプログラム
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
CA2867358C (en) 2012-03-13 2023-01-03 Cognilore Inc. System for distributing digital publications by incorporating user generated and encrypted content with unique fingerprints
US8898557B1 (en) * 2012-03-21 2014-11-25 Google Inc. Techniques for synchronization of a print menu and document annotation renderings between a computing device and a mobile device logged in to the same account
JP5820320B2 (ja) * 2012-03-27 2015-11-24 株式会社東芝 情報処理端末及び方法、並びに、情報管理装置及び方法
US9454296B2 (en) * 2012-03-29 2016-09-27 FiftyThree, Inc. Methods and apparatus for providing graphical view of digital content
US20130260350A1 (en) * 2012-03-30 2013-10-03 LoudCloud Systems Inc. Electronic reader for enhancing interactive online learning experience
KR101895818B1 (ko) * 2012-04-10 2018-09-10 삼성전자 주식회사 단말기에서 전자책과 연관된 피드백 제공 방법 및 장치
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
TW201349157A (zh) * 2012-05-18 2013-12-01 Richplay Information Co Ltd 電子書分級之方法
US9069627B2 (en) 2012-06-06 2015-06-30 Synactive, Inc. Method and apparatus for providing a dynamic execution environment in network communication between a client and a server
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
KR101369165B1 (ko) * 2012-06-20 2014-03-06 에스케이 텔레콤주식회사 범용 커뮤니티 애플리케이션 장치 및 그 방법
US9672209B2 (en) * 2012-06-21 2017-06-06 International Business Machines Corporation Dynamic translation substitution
TW201401164A (zh) * 2012-06-27 2014-01-01 Yong-Sheng Huang 圖文連接的顯示方法及相應的電子書閱讀系統
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US20140006921A1 (en) * 2012-06-29 2014-01-02 Infosys Limited Annotating digital documents using temporal and positional modes
US20140019854A1 (en) * 2012-07-11 2014-01-16 International Business Machines Corporation Reviewer feedback for document development
US9300745B2 (en) 2012-07-27 2016-03-29 Synactive, Inc. Dynamic execution environment in network communications
US10152467B2 (en) * 2012-08-13 2018-12-11 Google Llc Managing a sharing of media content among client computers
KR102022094B1 (ko) * 2012-08-14 2019-09-17 삼성전자주식회사 콘텐트를 수정하는 전자 장치 및 방법
US8943197B1 (en) 2012-08-16 2015-01-27 Amazon Technologies, Inc. Automated content update notification
JP5703270B2 (ja) * 2012-08-29 2015-04-15 京セラドキュメントソリューションズ株式会社 画像読取装置、文書管理システム、及び画像読取制御プログラム
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9372833B2 (en) * 2012-09-14 2016-06-21 David H. Sitrick Systems and methodologies for document processing and interacting with a user, providing storing of events representative of document edits relative to a document; selection of a selected set of document edits; generating presentation data responsive to said selected set of documents edits and the stored events; and providing a display presentation responsive to the presentation data
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US20140115436A1 (en) * 2012-10-22 2014-04-24 Apple Inc. Annotation migration
US8959345B2 (en) * 2012-10-26 2015-02-17 Audible, Inc. Electronic reading position management for printed content
US20140122407A1 (en) * 2012-10-26 2014-05-01 Xiaojiang Duan Chatbot system and method having auto-select input message with quality response
US10176156B2 (en) * 2012-10-30 2019-01-08 Microsoft Technology Licensing, Llc System and method for providing linked note-taking
CN103809861B (zh) * 2012-11-07 2018-04-27 联想(北京)有限公司 信息处理的方法及电子设备
US9529785B2 (en) 2012-11-27 2016-12-27 Google Inc. Detecting relationships between edits and acting on a subset of edits
US9141867B1 (en) * 2012-12-06 2015-09-22 Amazon Technologies, Inc. Determining word segment boundaries
US10430506B2 (en) 2012-12-10 2019-10-01 International Business Machines Corporation Utilizing classification and text analytics for annotating documents to allow quick scanning
US9286280B2 (en) 2012-12-10 2016-03-15 International Business Machines Corporation Utilizing classification and text analytics for optimizing processes in documents
US10091556B1 (en) * 2012-12-12 2018-10-02 Imdb.Com, Inc. Relating items to objects detected in media
ES2805343T3 (es) 2012-12-18 2021-02-11 Thomson Reuters Entpr Centre Gmbh Sistemas y procesos habilitados para dispositivos móviles para plataforma de investigación inteligente
US9411801B2 (en) * 2012-12-21 2016-08-09 Abbyy Development Llc General dictionary for all languages
US9542936B2 (en) * 2012-12-29 2017-01-10 Genesys Telecommunications Laboratories, Inc. Fast out-of-vocabulary search in automatic speech recognition systems
US9875369B2 (en) * 2013-01-23 2018-01-23 Evernote Corporation Automatic protection of partial document content
US8976202B2 (en) * 2013-01-28 2015-03-10 Dave CAISSY Method for controlling the display of a portable computing device
US9256798B2 (en) * 2013-01-31 2016-02-09 Aurasma Limited Document alteration based on native text analysis and OCR
KR20230137475A (ko) 2013-02-07 2023-10-04 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9536152B2 (en) * 2013-02-14 2017-01-03 Xerox Corporation Methods and systems for multimedia trajectory annotation
US9436665B2 (en) * 2013-02-28 2016-09-06 Thomson Reuters Global Resources Synchronizing annotations between printed documents and electronic documents
US9799005B2 (en) * 2013-03-07 2017-10-24 Samsung Electronics Co., Ltd. Computing system with contextual interaction mechanism and method of operation thereof
US9870358B2 (en) 2013-03-13 2018-01-16 Chegg, Inc. Augmented reading systems
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US9922642B2 (en) 2013-03-15 2018-03-20 Apple Inc. Training an at least partial voice command system
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
CN104111914B (zh) * 2013-04-16 2017-09-12 北大方正集团有限公司 一种文档审校方法及装置
CN103257956B (zh) * 2013-04-19 2016-06-15 小米科技有限责任公司 一种电子文档的数据更新方法及装置
US9684642B2 (en) 2013-04-19 2017-06-20 Xiaomi Inc. Method and device for updating electronic document and associated document use records
US9275480B2 (en) 2013-04-24 2016-03-01 Microsoft Technology Licensing, Llc Encoding of line pattern representation
US9721362B2 (en) 2013-04-24 2017-08-01 Microsoft Technology Licensing, Llc Auto-completion of partial line pattern
US9317125B2 (en) * 2013-04-24 2016-04-19 Microsoft Technology Licensing, Llc Searching of line pattern representations using gestures
US9671941B1 (en) * 2013-05-09 2017-06-06 Amazon Technologies, Inc. Graphical behaviors for recognition interfaces
CN107103319A (zh) * 2013-05-22 2017-08-29 华为终端有限公司 一种文字识别方法及用户终端
US10984668B2 (en) * 2013-05-30 2021-04-20 Srinivas Bharadwaj Collaborative learning platform for generating and presenting context-oriented content on an electronic device
IN2013MU01960A (ko) * 2013-06-06 2015-05-29 Tata Consultancy Services Ltd
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
EP3937002A1 (en) 2013-06-09 2022-01-12 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
JP5862610B2 (ja) * 2013-06-17 2016-02-16 コニカミノルタ株式会社 画像表示装置及び表示制御プログラム並びに表示制御方法
JP6163266B2 (ja) 2013-08-06 2017-07-12 アップル インコーポレイテッド リモート機器からの作動に基づくスマート応答の自動作動
WO2015017886A1 (en) * 2013-08-09 2015-02-12 Jonathan Robert Burnett Method and system for managing and sharing working files in a document management system:
US9971752B2 (en) 2013-08-19 2018-05-15 Google Llc Systems and methods for resolving privileged edits within suggested edits
US9870349B2 (en) 2013-09-20 2018-01-16 Yottaa Inc. Systems and methods for managing loading priority or sequencing of fragments of a web object
US10013564B2 (en) 2013-10-10 2018-07-03 Elwha Llc Methods, systems, and devices for handling image capture devices and captured images
US10102543B2 (en) 2013-10-10 2018-10-16 Elwha Llc Methods, systems, and devices for handling inserted data into captured images
US10289863B2 (en) 2013-10-10 2019-05-14 Elwha Llc Devices, methods, and systems for managing representations of entities through use of privacy beacons
US20150104004A1 (en) 2013-10-10 2015-04-16 Elwha Llc Methods, systems, and devices for delivering image data from captured images to devices
US20150106950A1 (en) * 2013-10-10 2015-04-16 Elwha Llc Methods, systems, and devices for handling image capture devices and captured images
US10346624B2 (en) 2013-10-10 2019-07-09 Elwha Llc Methods, systems, and devices for obscuring entities depicted in captured images
US9799036B2 (en) 2013-10-10 2017-10-24 Elwha Llc Devices, methods, and systems for managing representations of entities through use of privacy indicators
TWI651640B (zh) * 2013-10-16 2019-02-21 3M新設資產公司 在使用者介面上組織數位便箋
CN104572712A (zh) * 2013-10-18 2015-04-29 英业达科技有限公司 浏览多媒体文件的系统及方法
US9501499B2 (en) * 2013-10-21 2016-11-22 Google Inc. Methods and systems for creating image-based content based on text-based content
US9348803B2 (en) 2013-10-22 2016-05-24 Google Inc. Systems and methods for providing just-in-time preview of suggestion resolutions
US20150142444A1 (en) * 2013-11-15 2015-05-21 International Business Machines Corporation Audio rendering order for text sources
CN104463685A (zh) * 2013-11-22 2015-03-25 杭州惠道科技有限公司 社交媒体系统
US20160292392A1 (en) * 2013-11-26 2016-10-06 Koninklijke Philips N.V. System and method of determining missing interval change information in radiology reports
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US8949283B1 (en) 2013-12-23 2015-02-03 Google Inc. Systems and methods for clustering electronic messages
KR20150075140A (ko) * 2013-12-24 2015-07-03 삼성전자주식회사 전자 장치의 메시지 제어 방법 및 그 전자 장치
US9015192B1 (en) 2013-12-30 2015-04-21 Google Inc. Systems and methods for improved processing of personalized message queries
US9767189B2 (en) 2013-12-30 2017-09-19 Google Inc. Custom electronic message presentation based on electronic message category
US9542668B2 (en) 2013-12-30 2017-01-10 Google Inc. Systems and methods for clustering electronic messages
US10033679B2 (en) 2013-12-31 2018-07-24 Google Llc Systems and methods for displaying unseen labels in a clustering in-box environment
US9124546B2 (en) 2013-12-31 2015-09-01 Google Inc. Systems and methods for throttling display of electronic messages
US9306893B2 (en) 2013-12-31 2016-04-05 Google Inc. Systems and methods for progressive message flow
US9152307B2 (en) 2013-12-31 2015-10-06 Google Inc. Systems and methods for simultaneously displaying clustered, in-line electronic messages in one display
US9966044B2 (en) * 2014-01-28 2018-05-08 Dave CAISSY Method for controlling the display of a portable computing device
CN103888531A (zh) * 2014-03-20 2014-06-25 小米科技有限责任公司 阅读位置同步方法、阅读位置获取方法和装置
CN103941981B (zh) * 2014-04-24 2017-09-19 江西迈思科技有限公司 一种信息处理的方法及装置
US10679151B2 (en) 2014-04-28 2020-06-09 Altair Engineering, Inc. Unit-based licensing for third party access of digital content
US10114808B2 (en) * 2014-05-07 2018-10-30 International Business Machines Corporation Conflict resolution of originally paper based data entry
US9880989B1 (en) * 2014-05-09 2018-01-30 Amazon Technologies, Inc. Document annotation service
JP2015215853A (ja) * 2014-05-13 2015-12-03 株式会社リコー システム、画像処理装置、画像処理方法およびプログラム
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US20150347363A1 (en) * 2014-05-30 2015-12-03 Paul Manganaro System for Communicating with a Reader
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
WO2015187121A1 (en) * 2014-06-02 2015-12-10 Hewlett-Packard Development Company, L.P. Digital note creation
US20150356061A1 (en) * 2014-06-06 2015-12-10 Microsoft Corporation Summary view suggestion based on user interaction pattern
CN104090915B (zh) * 2014-06-12 2017-02-15 小米科技有限责任公司 用户数据更新方法及装置
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9430141B1 (en) * 2014-07-01 2016-08-30 Amazon Technologies, Inc. Adaptive annotations
US9858251B2 (en) * 2014-08-14 2018-01-02 Rakuten Kobo Inc. Automatically generating customized annotation document from query search results and user interface thereof
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US20160078115A1 (en) * 2014-09-16 2016-03-17 Breach Intelligence LLC Interactive System and Method for Processing On-Screen Items of Textual Interest
US10452770B2 (en) * 2014-09-26 2019-10-22 Oracle International Corporation System for tracking comments during document collaboration
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
KR20160071144A (ko) 2014-12-11 2016-06-21 엘지전자 주식회사 이동단말기 및 그 제어 방법
US10102298B2 (en) * 2015-02-10 2018-10-16 Researchgate Gmbh Online publication system and method
US9832179B2 (en) * 2015-02-25 2017-11-28 Red Hat Israel, Ltd. Stateless server-based encryption associated with a distribution list
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
JP6519239B2 (ja) * 2015-03-12 2019-05-29 株式会社リコー 伝送システム、情報処理装置、プログラムおよび情報処理方法
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
CN106033678A (zh) * 2015-03-18 2016-10-19 珠海金山办公软件有限公司 一种播放内容显示方法及装置
US9665801B1 (en) * 2015-03-30 2017-05-30 Open Text Corporation Method and system for extracting alphanumeric content from noisy image data
US20160292445A1 (en) 2015-03-31 2016-10-06 Secude Ag Context-based data classification
US20160292805A1 (en) * 2015-04-06 2016-10-06 Altair Engineering, Inc. Sharing content under unit-based licensing
CN104834467A (zh) * 2015-04-14 2015-08-12 广东小天才科技有限公司 纸质页面中的笔迹分享方法和系统
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US9753922B2 (en) 2015-05-19 2017-09-05 Researchgate Gmbh Enhanced online user-interaction tracking
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
WO2016191912A1 (en) * 2015-05-29 2016-12-08 Microsoft Technology Licensing, Llc Comment-centered news reader
CN107924398B (zh) 2015-05-29 2022-04-29 微软技术许可有限责任公司 用于提供以评论为中心的新闻阅读器的系统和方法
CN106294304B (zh) * 2015-06-01 2019-12-10 掌阅科技股份有限公司 版式文档注脚的自动识别及转换为流式文档注释的方法
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
JP6212074B2 (ja) * 2015-06-29 2017-10-11 ファナック株式会社 最寄りのネットコメントを表示可能なラダープログラム編集装置
US20170004859A1 (en) * 2015-06-30 2017-01-05 Coursera, Inc. User created textbook
US10380235B2 (en) * 2015-09-01 2019-08-13 Branchfire, Inc. Method and system for annotation and connection of electronic documents
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
CN105224175B (zh) * 2015-09-30 2019-05-31 北京奇虎科技有限公司 一种标记网页上内容的方法及电子设备
CN105138273B (zh) * 2015-09-30 2018-05-04 北京奇虎科技有限公司 一种做标记的方法及电子设备
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
GB201517331D0 (en) * 2015-10-01 2015-11-18 Chase Information Technology Services Ltd And Cannings Nigel H System and method for preserving privacy of data in a cloud
CN106598557A (zh) * 2015-10-15 2017-04-26 中兴通讯股份有限公司 一种信息处理方法及装置
CN106649345A (zh) 2015-10-30 2017-05-10 微软技术许可有限责任公司 用于新闻的自动会话创建器
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US11120342B2 (en) 2015-11-10 2021-09-14 Ricoh Company, Ltd. Electronic meeting intelligence
CN105528803A (zh) * 2015-11-30 2016-04-27 努比亚技术有限公司 一种移动终端生成读书笔记的方法及装置
US10079952B2 (en) * 2015-12-01 2018-09-18 Ricoh Company, Ltd. System, apparatus and method for processing and combining notes or comments of document reviewers
US10592567B2 (en) 2015-12-01 2020-03-17 International Business Machines Corporation Searching people, content and documents from another person's social perspective
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US9985947B1 (en) * 2015-12-31 2018-05-29 Quirklogic, Inc. Method and system for communication of devices using dynamic routes encoded in security tokens and a dynamic optical label
US10108615B2 (en) * 2016-02-01 2018-10-23 Microsoft Technology Licensing, Llc. Comparing entered content or text to triggers, triggers linked to repeated content blocks found in a minimum number of historic documents, content blocks having a minimum size defined by a user
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
FR3053280A1 (fr) * 2016-06-29 2018-01-05 Orange Procede et dispositif d'annotation de multiples formats d'un contenu
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
CN106503629A (zh) * 2016-10-10 2017-03-15 语联网(武汉)信息技术有限公司 一种词典图片分割方法及装置
US10135950B2 (en) * 2016-10-10 2018-11-20 Google Llc Creating a cinematic storytelling experience using network-addressable devices
US11307735B2 (en) 2016-10-11 2022-04-19 Ricoh Company, Ltd. Creating agendas for electronic meetings using artificial intelligence
CN106648332A (zh) * 2016-11-16 2017-05-10 惠州Tcl移动通信有限公司 一种智能终端快速选择的方法和系统
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11120074B2 (en) 2016-12-06 2021-09-14 International Business Machines Corporation Streamlining citations and references
CN106708793B (zh) * 2016-12-06 2018-06-08 掌阅科技股份有限公司 注释脚标识别方法、装置及电子设备
US10102194B2 (en) * 2016-12-14 2018-10-16 Microsoft Technology Licensing, Llc Shared knowledge about contents
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10417515B2 (en) 2017-01-09 2019-09-17 Microsoft Technology Licensing, Llc Capturing annotations on an electronic display
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
CA3050101A1 (en) 2017-01-17 2018-07-26 Mmodal Ip Llc Methods and systems for manifestation and transmission of follow-up notifications
CN108885614B (zh) * 2017-02-06 2020-12-15 华为技术有限公司 一种文本和语音信息的处理方法以及终端
WO2018165260A1 (en) * 2017-03-07 2018-09-13 Enemy Tree LLC Digital multimedia pinpoint bookmark device, method, and system
US10678841B2 (en) * 2017-03-31 2020-06-09 Nanning Fugui Precision Industrial Co., Ltd. Sharing method and device for video and audio data presented in interacting fashion
US10186275B2 (en) * 2017-03-31 2019-01-22 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. Sharing method and device for video and audio data presented in interacting fashion
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
JP6931080B2 (ja) * 2017-06-13 2021-09-01 グーグル エルエルシーGoogle LLC 低遅延環境における高遅延デジタルコンポーネントの送信
GB201710102D0 (en) * 2017-06-23 2017-08-09 Mossytop Dreamharvest Ltd Collaboration and publishing system
US11017037B2 (en) * 2017-07-03 2021-05-25 Google Llc Obtaining responsive information from multiple corpora
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US11062271B2 (en) 2017-10-09 2021-07-13 Ricoh Company, Ltd. Interactive whiteboard appliances with learning capabilities
US10956875B2 (en) 2017-10-09 2021-03-23 Ricoh Company, Ltd. Attendance tracking, presentation files, meeting services and agenda extraction for interactive whiteboard appliances
US11030585B2 (en) 2017-10-09 2021-06-08 Ricoh Company, Ltd. Person detection, person identification and meeting start for interactive whiteboard appliances
US11032337B2 (en) * 2017-10-16 2021-06-08 Vincent Paul Spinella-Mamo Contextual and collaborative media
US10198436B1 (en) * 2017-11-17 2019-02-05 Adobe Inc. Highlighting key portions of text within a document
US10909191B2 (en) * 2017-11-20 2021-02-02 Rovi Guides, Inc. Systems and methods for displaying supplemental content for an electronic book
US10909193B2 (en) * 2017-11-20 2021-02-02 Rovi Guides, Inc. Systems and methods for filtering supplemental content for an electronic book
US11282596B2 (en) 2017-11-22 2022-03-22 3M Innovative Properties Company Automated code feedback system
CN108038427B (zh) * 2017-11-29 2020-06-23 维沃移动通信有限公司 一种文字识别方法及移动终端
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10261987B1 (en) * 2017-12-20 2019-04-16 International Business Machines Corporation Pre-processing E-book in scanned format
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
CN108255386B (zh) * 2018-02-12 2019-07-05 掌阅科技股份有限公司 电子书手写笔记的显示方法、计算设备及计算机存储介质
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US20190303448A1 (en) * 2018-03-30 2019-10-03 Vidy, Inc. Embedding media content items in text of electronic documents
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11030395B2 (en) * 2018-05-30 2021-06-08 Microsoft Technology Licensing, Llc Top-align comments: just-in-time highlights and automatic scrolling
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
CN110581919B (zh) 2018-06-11 2021-10-15 阿里巴巴集团控股有限公司 信息传输与数据处理方法、设备、系统及存储介质
US11232255B2 (en) * 2018-06-13 2022-01-25 Adobe Inc. Generating digital annotations for evaluating and training automatic electronic document annotation models
US11815936B2 (en) 2018-08-22 2023-11-14 Microstrategy Incorporated Providing contextually-relevant database content based on calendar data
US11238210B2 (en) 2018-08-22 2022-02-01 Microstrategy Incorporated Generating and presenting customized information cards
US11714955B2 (en) 2018-08-22 2023-08-01 Microstrategy Incorporated Dynamic document annotations
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10699112B1 (en) * 2018-09-28 2020-06-30 Automation Anywhere, Inc. Identification of key segments in document images
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US20200110476A1 (en) * 2018-10-05 2020-04-09 Kyocera Document Solutions Inc. Digital Redacting Stylus and System
US11295124B2 (en) * 2018-10-08 2022-04-05 Xerox Corporation Methods and systems for automatically detecting the source of the content of a scanned document
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
KR102119748B1 (ko) * 2018-11-01 2020-06-05 주식회사 한글과컴퓨터 허가되지 않은 글꼴이 사용된 문서를 수정하여 웹 페이지 상에 게시하는 웹 페이지 관리 서비스 서버 및 그 동작 방법
US11108912B2 (en) 2018-11-06 2021-08-31 International Business Machines Corporation Automated written indicator for speakers on a teleconference
CN109543614A (zh) * 2018-11-22 2019-03-29 厦门商集网络科技有限责任公司 一种全文本差异比对方法及设备
CN109522437A (zh) * 2018-11-30 2019-03-26 珠海格力电器股份有限公司 一种纸质文件的信息搜索方法、装置、存储介质及终端
CN109685053B (zh) * 2018-12-18 2021-11-12 北京天融信网络安全技术有限公司 训练文字识别系统的方法、装置、存储介质及电子设备
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11120129B2 (en) * 2019-01-08 2021-09-14 Intsights Cyber Intelligence Ltd. System and method for detecting leaked documents on a computer network
US11682390B2 (en) 2019-02-06 2023-06-20 Microstrategy Incorporated Interactive interface for analytics
US11799864B2 (en) 2019-02-07 2023-10-24 Altair Engineering, Inc. Computer systems for regulating access to electronic content using usage telemetry data
US11127171B2 (en) * 2019-03-07 2021-09-21 Microsoft Technology Licensing, Llc Differentiating in-canvas markups of document-anchored content
US11080466B2 (en) 2019-03-15 2021-08-03 Ricoh Company, Ltd. Updating existing content suggestion to include suggestions from recorded media using artificial intelligence
US11720741B2 (en) * 2019-03-15 2023-08-08 Ricoh Company, Ltd. Artificial intelligence assisted review of electronic documents
US11263384B2 (en) 2019-03-15 2022-03-01 Ricoh Company, Ltd. Generating document edit requests for electronic documents managed by a third-party document management service using artificial intelligence
US11573993B2 (en) 2019-03-15 2023-02-07 Ricoh Company, Ltd. Generating a meeting review document that includes links to the one or more documents reviewed
US11270060B2 (en) 2019-03-15 2022-03-08 Ricoh Company, Ltd. Generating suggested document edits from recorded media using artificial intelligence
US11392754B2 (en) 2019-03-15 2022-07-19 Ricoh Company, Ltd. Artificial intelligence assisted review of physical documents
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
JP7392280B2 (ja) * 2019-04-01 2023-12-06 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN115185445A (zh) * 2019-04-17 2022-10-14 华为技术有限公司 一种添加批注的方法及电子设备
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11176315B2 (en) * 2019-05-15 2021-11-16 Elsevier Inc. Comprehensive in-situ structured document annotations with simultaneous reinforcement and disambiguation
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
EP3742433B1 (en) * 2019-05-23 2022-05-04 Spotify AB Plagiarism risk detector and interface
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
CN110231907A (zh) * 2019-06-19 2019-09-13 京东方科技集团股份有限公司 电子阅读的显示方法、电子设备、计算机设备及介质
CN110286820A (zh) * 2019-06-25 2019-09-27 掌阅科技股份有限公司 电子书内容的关联标记方法、电子设备、存储介质
CN112307152A (zh) * 2019-08-29 2021-02-02 北京字节跳动网络技术有限公司 一种数据解析方法、装置、电子设备及存储介质
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
CN110674249B (zh) * 2019-09-29 2020-10-20 北京幻想纵横网络技术有限公司 一种信息处理方法及装置
US11074400B2 (en) * 2019-09-30 2021-07-27 Dropbox, Inc. Collaborative in-line content item annotations
CN112307717A (zh) * 2019-10-16 2021-02-02 北京字节跳动网络技术有限公司 文本标注信息展示方法、装置、电子设备和介质
US11113449B2 (en) * 2019-11-10 2021-09-07 ExactNote, Inc. Methods and systems for creating, organizing, and viewing annotations of documents within web browsers
US11769509B2 (en) 2019-12-31 2023-09-26 Microstrategy Incorporated Speech-based contextual delivery of content
CN111126334B (zh) * 2019-12-31 2020-10-16 南京酷朗电子有限公司 技术资料的快速阅读和处理方法
US11093691B1 (en) * 2020-02-14 2021-08-17 Capital One Services, Llc System and method for establishing an interactive communication session
US11106757B1 (en) 2020-03-30 2021-08-31 Microsoft Technology Licensing, Llc. Framework for augmenting document object model trees optimized for web authoring
US11138289B1 (en) * 2020-03-30 2021-10-05 Microsoft Technology Licensing, Llc Optimizing annotation reconciliation transactions on unstructured text content updates
WO2021226710A1 (en) * 2020-05-12 2021-11-18 Applied Publishing Concepts Inc. System and method for associating online content with offline content
US11769005B2 (en) * 2020-05-29 2023-09-26 EMC IP Holding Company LLC Information uniqueness assessment using string-based collection frequency
US11275776B2 (en) * 2020-06-11 2022-03-15 Capital One Services, Llc Section-linked document classifiers
US11151309B1 (en) 2020-07-21 2021-10-19 International Business Machines Corporation Screenshot-based memos
US11829452B2 (en) 2020-08-24 2023-11-28 Leonard L. Drey System and method of governing content presentation of multi-page electronic documents
CN112087656B (zh) * 2020-09-08 2022-10-04 远光软件股份有限公司 在线笔记生成方法、装置及电子设备
US11443103B2 (en) * 2020-10-07 2022-09-13 Rakuten Kobo Inc. Reflowable content with annotations
CN112463919B (zh) * 2020-10-14 2021-10-29 北京百度网讯科技有限公司 文本标签的查询方法、装置、电子设备和存储介质
US11653052B2 (en) * 2020-10-26 2023-05-16 Genetec Inc. Systems and methods for producing a privacy-protected video clip
CN113238702A (zh) * 2021-01-29 2021-08-10 联想(北京)有限公司 一种处理方法和电子设备
CN113239696B (zh) * 2021-05-25 2024-01-05 浙江大学 一种基于树状事件扁平化的文档级别多事件抽取方法
US20230004260A1 (en) * 2021-06-30 2023-01-05 Snap Inc. Hybrid search system for customizable media
US11416291B1 (en) * 2021-07-08 2022-08-16 metacluster lt, UAB Database server management for proxy scraping jobs
CN113313214B (zh) * 2021-07-30 2021-11-16 北京惠朗世纪科技有限公司 一种基于多卷积核后验的带水印字符的识别方法及系统
US11729445B2 (en) * 2021-12-28 2023-08-15 The Adt Security Corporation Video rights management for an in-cabin monitoring system
CN114595384A (zh) * 2022-02-25 2022-06-07 北京字节跳动网络技术有限公司 书籍推荐方法、装置、电子设备及存储介质
CN115438633B (zh) * 2022-09-30 2023-03-17 湖南汇智兴创科技有限公司 跨文档在线研讨处理方法、互动方法、装置和设备
US11790107B1 (en) 2022-11-03 2023-10-17 Vignet Incorporated Data sharing platform for researchers conducting clinical trials
KR102531477B1 (ko) * 2022-11-07 2023-05-12 미러 주식회사 발췌된 원문의 정보를 제공하는 논문 작성 시스템의 서버 및 사용자 단말기
CN116402026B (zh) * 2023-04-13 2023-12-19 广州文石信息科技有限公司 应用内容批注方法、装置、设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030004991A1 (en) 2001-06-29 2003-01-02 Keskar Dhananjay V. Correlating handwritten annotations to a document
US20040250201A1 (en) 2003-06-05 2004-12-09 Rami Caspi System and method for indicating an annotation for a document

Family Cites Families (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4716804A (en) * 1982-09-23 1988-01-05 Joel Chadabe Interactive music performance system
JPH0797373B2 (ja) * 1985-08-23 1995-10-18 株式会社日立製作所 文書フアイリングシステム
US4901364A (en) * 1986-09-26 1990-02-13 Everex Ti Corporation Interactive optical scanner system
US4903229A (en) * 1987-03-13 1990-02-20 Pitney Bowes Inc. Forms generating and information retrieval system
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US4804949A (en) * 1987-03-20 1989-02-14 Everex Ti Corporation Hand-held optical scanner and computer mouse
US4805099A (en) * 1987-04-17 1989-02-14 Wang Laboratories, Inc. Retrieval of related records from a relational database
USD306162S (en) * 1987-10-20 1990-02-20 Everex Ti Corporation Hand-held OCR scanner
US5083218A (en) * 1989-02-08 1992-01-21 Casio Computer Co., Ltd. Hand-held image reading apparatus
US5179652A (en) * 1989-12-13 1993-01-12 Anthony I. Rozmanith Method and apparatus for storing, transmitting and retrieving graphical and tabular data
US5185857A (en) * 1989-12-13 1993-02-09 Rozmanith A Martin Method and apparatus for multi-optional processing, storing, transmitting and retrieving graphical and tabular data in a mobile transportation distributable and/or networkable communications and/or data processing system
US5146552A (en) * 1990-02-28 1992-09-08 International Business Machines Corporation Method for associating annotation with electronically published material
US5288938A (en) * 1990-12-05 1994-02-22 Yamaha Corporation Method and apparatus for controlling electronic tone generation in accordance with a detected type of performance gesture
US5539427A (en) * 1992-02-10 1996-07-23 Compaq Computer Corporation Graphic indexing system
US5583542A (en) * 1992-05-26 1996-12-10 Apple Computer, Incorporated Method for deleting objects on a computer display
US6028271A (en) * 1992-06-08 2000-02-22 Synaptics, Inc. Object position detector with edge motion feature and gesture recognition
EP0576226B1 (en) * 1992-06-22 1998-12-02 Fujitsu Limited Method and apparatus for reading image of image scanner-reader
JPH06131437A (ja) * 1992-10-20 1994-05-13 Hitachi Ltd 複合形態による操作指示方法
US5481278A (en) * 1992-10-21 1996-01-02 Sharp Kabushiki Kaisha Information processing apparatus
US5377706A (en) * 1993-05-21 1995-01-03 Huang; Jih-Tung Garbage collecting device
US5710831A (en) * 1993-07-30 1998-01-20 Apple Computer, Inc. Method for correcting handwriting on a pen-based computer
US5367453A (en) * 1993-08-02 1994-11-22 Apple Computer, Inc. Method and apparatus for correcting words
US5485565A (en) * 1993-08-04 1996-01-16 Xerox Corporation Gestural indicators for selecting graphic objects
US6021218A (en) * 1993-09-07 2000-02-01 Apple Computer, Inc. System and method for organizing recognized and unrecognized objects on a computer display
JP2804224B2 (ja) * 1993-09-30 1998-09-24 日立ソフトウエアエンジニアリング株式会社 ネットワーク図描画方法およびシステム
US5596697A (en) * 1993-09-30 1997-01-21 Apple Computer, Inc. Method for routing items within a computer system
US5583946A (en) * 1993-09-30 1996-12-10 Apple Computer, Inc. Method and apparatus for recognizing gestures on a computer system
US5862260A (en) * 1993-11-18 1999-01-19 Digimarc Corporation Methods for surveying dissemination of proprietary empirical data
US5488196A (en) * 1994-01-19 1996-01-30 Zimmerman; Thomas G. Electronic musical re-performance and editing system
JP3630712B2 (ja) * 1994-02-03 2005-03-23 キヤノン株式会社 ジェスチャー入力方法及びその装置
US5574840A (en) * 1994-08-29 1996-11-12 Microsoft Corporation Method and system for selecting text utilizing a plurality of text using switchable minimum granularity of selection
US6029195A (en) * 1994-11-29 2000-02-22 Herz; Frederick S. M. System for customized electronic identification of desirable objects
US5668891A (en) * 1995-01-06 1997-09-16 Xerox Corporation Methods for determining font attributes of characters
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5713045A (en) * 1995-06-29 1998-01-27 Object Technology Licensing Corporation System for processing user events with input device entity associated with event producer which further links communication from event consumer to the event producer
US6018342A (en) * 1995-07-03 2000-01-25 Sun Microsystems, Inc. Automatically generated content-based history mechanism
US6026388A (en) * 1995-08-16 2000-02-15 Textwise, Llc User interface and other enhancements for natural language information retrieval system and method
EP0848552B1 (en) * 1995-08-30 2002-05-29 Hitachi, Ltd. Sign language telephone system for communication between persons with or without hearing impairment
US5867597A (en) * 1995-09-05 1999-02-02 Ricoh Corporation High-speed retrieval by example
US6184847B1 (en) * 1998-09-22 2001-02-06 Vega Vista, Inc. Intuitive control of portable data displays
US5595445A (en) * 1995-12-27 1997-01-21 Bobry; Howard H. Hand-held optical scanner
WO1997027553A1 (en) * 1996-01-29 1997-07-31 Futuretense, Inc. Distributed electronic publishing system
US5884014A (en) * 1996-05-23 1999-03-16 Xerox Corporation Fontless structured document image representations for efficient rendering
US5864635A (en) * 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US5862256A (en) * 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
US5861886A (en) * 1996-06-26 1999-01-19 Xerox Corporation Method and apparatus for grouping graphic objects on a computer based system having a graphical user interface
US6021403A (en) * 1996-07-19 2000-02-01 Microsoft Corporation Intelligent user assistance facility
US5867795A (en) * 1996-08-23 1999-02-02 Motorola, Inc. Portable electronic device with transceiver and visual image display
US6837436B2 (en) * 1996-09-05 2005-01-04 Symbol Technologies, Inc. Consumer interactive shopping system
US6175922B1 (en) * 1996-12-04 2001-01-16 Esign, Inc. Electronic transaction systems and methods therefor
US5864848A (en) * 1997-01-31 1999-01-26 Microsoft Corporation Goal-driven information interpretation and extraction system
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
US6025844A (en) * 1997-06-12 2000-02-15 Netscape Communications Corporation Method and system for creating dynamic link views
US6029141A (en) * 1997-06-27 2000-02-22 Amazon.Com, Inc. Internet-based customer referral system
US6178261B1 (en) * 1997-08-05 2001-01-23 The Regents Of The University Of Michigan Method and system for extracting features in a pattern recognition system
US5848017A (en) * 1997-09-30 1998-12-08 Micron Technology, Inc. Method and apparatus for stress testing a semiconductor memory
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6192165B1 (en) * 1997-12-30 2001-02-20 Imagetag, Inc. Apparatus and method for digital filing
US6509912B1 (en) * 1998-01-12 2003-01-21 Xerox Corporation Domain objects for use in a freeform graphics system
US6018346A (en) * 1998-01-12 2000-01-25 Xerox Corporation Freeform graphics system having meeting objects for supporting meeting objectives
US6985169B1 (en) * 1998-02-09 2006-01-10 Lenovo (Singapore) Pte. Ltd. Image capture system for mobile communications
US6192478B1 (en) * 1998-03-02 2001-02-20 Micron Electronics, Inc. Securing restricted operations of a computer program using a visual key feature
US6031525A (en) * 1998-04-01 2000-02-29 New York University Method and apparatus for writing
US6186894B1 (en) * 1998-07-08 2001-02-13 Jason Mayeroff Reel slot machine
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6594705B1 (en) * 1998-09-11 2003-07-15 Lv Partners, L.P. Method and apparatus for utilizing an audibly coded signal to conduct commerce over the internet
US6622165B1 (en) * 1998-09-11 2003-09-16 Lv Partners, L.P. Method and apparatus for allowing a remote site to interact with an intermediate database to facilitate access to the remote site
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
US6341280B1 (en) * 1998-10-30 2002-01-22 Netscape Communications Corporation Inline tree filters
US6993580B2 (en) * 1999-01-25 2006-01-31 Airclic Inc. Method and system for sharing end user information on network
US20030004724A1 (en) * 1999-02-05 2003-01-02 Jonathan Kahn Speech recognition program mapping tool to align an audio file to verbatim text
US6845913B2 (en) * 1999-02-11 2005-01-25 Flir Systems, Inc. Method and apparatus for barcode selection of themographic survey images
US6687878B1 (en) * 1999-03-15 2004-02-03 Real Time Image Ltd. Synchronizing/updating local client notes with annotations previously made by other clients in a notes database
US6453237B1 (en) * 1999-04-23 2002-09-17 Global Locate, Inc. Method and apparatus for locating and providing services to mobile devices
US6678664B1 (en) * 1999-04-26 2004-01-13 Checkfree Corporation Cashless transactions without credit cards, debit cards or checks
US6341290B1 (en) * 1999-05-28 2002-01-22 Electronic Data Systems Corporation Method and system for automating the communication of business information
US6335725B1 (en) * 1999-07-14 2002-01-01 Hewlett-Packard Company Method of partitioning a touch screen for data input
US6297491B1 (en) * 1999-08-30 2001-10-02 Gateway, Inc. Media scanner
JP2001188555A (ja) * 1999-12-28 2001-07-10 Sony Corp 情報処理装置および方法、並びに記録媒体
US6507349B1 (en) * 2000-01-06 2003-01-14 Becomm Corporation Direct manipulation of displayed content
WO2001052110A2 (en) * 2000-01-13 2001-07-19 Orbidex, Inc. System and method of searching and gathering information on-line and off-line
US6992655B2 (en) * 2000-02-18 2006-01-31 Anoto Ab Input unit arrangement
AU2001238354A1 (en) * 2000-02-18 2001-08-27 The University Of Maryland Methods for the electronic annotation, retrieval, and use of electronic images
US20020002504A1 (en) * 2000-05-05 2002-01-03 Andrew Engel Mobile shopping assistant system and device
US6678075B1 (en) * 2000-06-07 2004-01-13 Mustek Systems Inc. Slide securing device for flatbed scanning system
KR20000071993A (ko) * 2000-06-10 2000-12-05 최제형 인터넷 유료정보 서비스의 결재수단으로 기간과 권한이명시된 매체로의 인증방법과 장치 및 운용방법.
US6990548B1 (en) * 2000-06-15 2006-01-24 Hewlett-Packard Development Company, L.P. Methods and arrangements for configuring a printer over a wireless communication link using a wireless communication device
KR20020054325A (ko) * 2000-07-27 2002-07-06 요트.게.아. 롤페즈 비디오 개선을 위한 트랜스크립트 트리거
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US20030001018A1 (en) * 2001-05-02 2003-01-02 Hand Held Products, Inc. Optical reader comprising good read indicator
US6508706B2 (en) * 2001-06-21 2003-01-21 David Howard Sitrick Electronic interactive gaming apparatus, system and methodology
US20030009495A1 (en) * 2001-06-29 2003-01-09 Akli Adjaoute Systems and methods for filtering electronic content
GB2378008A (en) * 2001-07-27 2003-01-29 Hewlett Packard Co Data acquisition and processing system and method
US7133862B2 (en) * 2001-08-13 2006-11-07 Xerox Corporation System with user directed enrichment and import/export control
US7426486B2 (en) * 2001-10-31 2008-09-16 Call-Tell Llc Multi-party reporting system and method
US20030182399A1 (en) * 2002-03-21 2003-09-25 Silber Matthew A. Method and apparatus for monitoring web access
US20040001217A1 (en) * 2002-06-26 2004-01-01 Microsoft Corporation System and method for users of mobile computing devices to print documents
US7167586B2 (en) * 2002-09-30 2007-01-23 Pitney Bowes Inc. Method and system for remote form completion
US8255978B2 (en) * 2003-03-11 2012-08-28 Innovatrend, Inc. Verified personal information database
JP4019063B2 (ja) * 2003-04-18 2007-12-05 光雄 中山 光学端末装置、画像処理方法およびシステム
US7870199B2 (en) * 2003-10-06 2011-01-11 Aol Inc. System and method for seamlessly bringing external services into instant messaging session
CN100555264C (zh) * 2003-10-21 2009-10-28 国际商业机器公司 电子文档的注释方法、装置和系统
US20050091578A1 (en) * 2003-10-24 2005-04-28 Microsoft Corporation Electronic sticky notes
US7872669B2 (en) * 2004-01-22 2011-01-18 Massachusetts Institute Of Technology Photo-based mobile deixis system and related techniques
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
WO2005091235A1 (en) * 2004-03-16 2005-09-29 Maximilian Munte Mobile paper record processing system
US8793162B2 (en) * 2004-04-01 2014-07-29 Google Inc. Adding information or functionality to a rendered document via association with an electronic counterpart
JP4547990B2 (ja) * 2004-05-25 2010-09-22 富士ゼロックス株式会社 情報処理装置、及び情報処理プログラム
US7362902B1 (en) * 2004-05-28 2008-04-22 Affiliated Computer Services, Inc. Resolving character data boundaries
US7284192B2 (en) * 2004-06-24 2007-10-16 Avaya Technology Corp. Architecture for ink annotations on web documents
US7299407B2 (en) * 2004-08-24 2007-11-20 International Business Machines Corporation Marking and annotating electronic documents
EP1800222A4 (en) * 2004-09-08 2009-08-05 Sharedbook Ltd COMMONLY USED LABELING SYSTEM AND METHOD
WO2006037011A2 (en) * 2004-09-27 2006-04-06 Exibiblio B.V. Secure data gathering from rendered documents
US7477909B2 (en) * 2005-10-31 2009-01-13 Nuance Communications, Inc. System and method for conducting a search using a wireless mobile device
US20090012806A1 (en) * 2007-06-10 2009-01-08 Camillo Ricordi System, method and apparatus for data capture and management

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030004991A1 (en) 2001-06-29 2003-01-02 Keskar Dhananjay V. Correlating handwritten annotations to a document
US20040250201A1 (en) 2003-06-05 2004-12-09 Rami Caspi System and method for indicating an annotation for a document

Also Published As

Publication number Publication date
WO2008031625A3 (en) 2008-12-11
KR20090069300A (ko) 2009-06-30
WO2008031625A2 (en) 2008-03-20
CN101765840A (zh) 2010-06-30
EP2067102A2 (en) 2009-06-10
CN101765840B (zh) 2013-01-23
US20100278453A1 (en) 2010-11-04

Similar Documents

Publication Publication Date Title
KR101443404B1 (ko) 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이
KR101212929B1 (ko) 렌더링된 문서로부터의 보안 데이터 수집
KR101328766B1 (ko) 렌더링된 문서를 식별하기 위한 시스템 및 방법
JP5752200B2 (ja) 取り込まれたレンダリングテキストに基づくコンテキスト動的広告
KR101174536B1 (ko) 렌더링된 문서로부터의 비주얼 캡쳐 데이터 처리 기술
US9684902B2 (en) Processing techniques for text capture from a rendered document
JP5529082B2 (ja) レンダリングされた文書からのハンドヘルド装置を用いたデータ取得
US8346620B2 (en) Automatic modification of web pages
US9811728B2 (en) Adding value to a rendered document
US20180096203A1 (en) Adding value to a rendered document
US8713418B2 (en) Adding value to a rendered document
CN102369724B (zh) 自动捕获信息,例如使用文档感知设备捕获信息
US20060104515A1 (en) Automatic modification of WEB pages
JP2010536188A6 (ja) レンダリングされた文書からのハンドヘルド装置を用いたデータ取得
US10504162B2 (en) Processing techniques for text capture from a rendered document
JP2008516297A6 (ja) レンダリングされた文書からの視覚的取得データに対する処理技術
KR101178302B1 (ko) 헨드헬드 디바이스를 사용한, 렌더링된 문서로부터의데이터 캡쳐

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170908

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180904

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190909

Year of fee payment: 6