KR20050026902A - 펜-기반 컴퓨팅 시스템에서의 주석 관리 - Google Patents

펜-기반 컴퓨팅 시스템에서의 주석 관리 Download PDF

Info

Publication number
KR20050026902A
KR20050026902A KR1020040072722A KR20040072722A KR20050026902A KR 20050026902 A KR20050026902 A KR 20050026902A KR 1020040072722 A KR1020040072722 A KR 1020040072722A KR 20040072722 A KR20040072722 A KR 20040072722A KR 20050026902 A KR20050026902 A KR 20050026902A
Authority
KR
South Korea
Prior art keywords
annotation
keywords
user
search
history
Prior art date
Application number
KR1020040072722A
Other languages
English (en)
Other versions
KR101122869B1 (ko
Inventor
젱 첸
바른-원 리
지안 왕
웨이-윈 마
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20050026902A publication Critical patent/KR20050026902A/ko
Application granted granted Critical
Publication of KR101122869B1 publication Critical patent/KR101122869B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/908—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Document Processing Apparatus (AREA)

Abstract

본 발명에는 펜-기반 컴퓨팅 시스템에서 주석을 관리하기 위한 시스템 및 방법이 기술된다. 본 명세서에 기술된 시스템 및 방법은 핸드라이팅된 주석들에 의해 입력된 개인 정보를 수집하고, 관리하고, 검색하고, 공유한다. 주석들은 어플리케이션을 구동하고, 제스츄어로서 역할을 하고, 관련된 정보를 찾아내고, 추가로 정보를 관리하는데 사용된다. 콘텍스트 정보는 사용자가 주석을 입력하는 경우에 획득되며, 사용자가 흥미를 가질 관련 콘텐트를 결정하여 로컬 컴퓨터 또는 인터넷 또는 다른 네트워크 상에 위치된 다른 문서든 동일 문서에서 관련 콘텐트의 위치를 찾을때 도움을 주는데 사용된다.

Description

펜-기반 컴퓨팅 시스템에서의 주석 관리{ANNOTATION MANAGEMENT IN A PEN-BASED COMPUTING SYSTEM}
본 발명에 기술된 시스템 및 방법은 펜-기반 컴퓨팅 시스템에 관한 것이다. 보다 구체적으로는, 본 발명에 기술된 시스템 및 방법은 펜-기반 컴퓨팅 시스템에서의 주석 관리에 관한 것이다.
한 사람이 엄청난 양의 정보를 축적할 수 있는 것은 다른 이유도 있겠지만 네트워크 기술 및 진보된 저장 기술을 통해 이용가능한 많은 정보들이 존재하기 때문이다. 이 정보는 개인 문서, 웹페이지, 멀티미디어 콘텐트 등을 포함하는 많은 형태를 취한다.
그러나, 사용자가 축적하는 정보의 양이 상당히 증가함에 따라, 사용자가 모든 정보를 억세스하고 사용하는데 실용적이도록 모든 정보를 관리하는 보급의(logistical) 문제를 갖는다. 그러한 정보를 효율적으로 관리하기 위해서, 사용자는 정보를 검색하고, 파일들 간에 데이터를 이동시키고, 그 정보로 응용 프로그램을 이용하고, 정보를 다른 사람들과 공유하기 위한 설비를 가져야 한다.
종래의 키보드-기반의 플랫폼이 PDA(personal digital assistants), 포켓 PC(personal computers), 개선된 전화 및 무선호출기 등과 같은 점점 더 많은 펜-기반 플랫폼들에 밀려남에 따라, 종래의 정보 관리 방식이 펜-기반 시스템에서 항상 양호하게 동작하는 것은 아니기 때문에, 정보의 관리는 극복해야할 또 다른 문제를 여전히 갖게 된다.
한편, 펜-기반 시스템은 펜이 사용자가 전자 문서에 핸드라이팅된(handwritten) 주석들을 입력할 수 있도록 기능한다는 점에서 정보를 관리하기 위한 새로운 툴을 제공한다. 이러한 핸드라이팅된 주석들의 적절한 관리는 펜-기반 컴퓨팅 시스템에서의 보다 쉽고 보다 효율적인 정보 관리를 가져다 줄 수 있다.
펜-기반의 컴퓨팅 시스템에서 주석을 관리하기 위한 시스템 및 방법이 기술된다. 본 명세서에 기술된 시스템 및 방법은 핸드라이팅된 주석들로서 입력된 개인 정보를 수집하고, 관리하고, 검색하고, 공유하기 위한 방식을 제공한다. 핸드라이팅된 주석들은 밑줄(underline), 동그라미(circle), 네모(block), 화살표(arrow) 및 설명선(callout)과 같은 여러가지 유형의 표시(mark-up)를 포함한다.
본 명세서에 기재된 하나 이상의 구현들에서, 주석들은 어플리케이션을 구동하고, 제스츄어로서 역할을 하고, 사용자에게 흥미거리인 관련 정보를 찾고, 나아가 정보를 관리하는데 사용된다. 콘텍스트 정보는 사용자가 주석을 입력하는 경우에 획득되며, 사용자가 흥미를 가질 관련 콘텐트를 결정하여 로컬 컴퓨터 또는 인터넷 또는 다른 네트워크 상에 위치된 다른 문서에든 아니면 동일 문서에서 관련 콘텐트의 위치를 찾을 때 도움을 주는데 사용된다.
주석들은 워드 프로세서, 웹브라우저, 개인 정보 관리 프로그램 등과 같은 수개의 플랫폼 및 어플리케이션에 걸쳐서 사용될 수 있다. 주석은 또한 문서가 재호출(recall)될 때마다 그 주석이 재출현(re-appear)하도록 문서에 고정될 수 있다. 또한, 하나 이상의 문서들이 주석된 후, 주석들은 그 문서의 어떤 다른 부분처럼 검색될 수 있다.
다음의 상세한 설명을 참조하여 첨부 도면에 관련하여 취해질때 본 발명의 예시적인 방법 및 장치의 보다 완벽한 이해가 얻어질 수 있다.
<실시예>
다음은 펜-기반 컴퓨팅 시스템에서 주석을 관리하기 위한 시스템 및 방법을 기술한다. 기술된 시스템 및 방법은 사용자가 보는 콘텐트에 관련된 사용자의 상호작용, 즉 주석(들)을 이용함으로써 개인 정보를 자동으로 수집하고, 관리하고, 검색하고, 공유할 수 있다.
예시적인 컴퓨팅 환경
도 1은 본 명세서에 기재된 컴퓨터, 네트워크 및 시스템 아키텍쳐가 전적으로 또는 부분적으로 구현될 수 있는 컴퓨팅 환경(100)의 예를 도시한다. 예시적인 컴퓨팅 환경(100)은 컴퓨팅 시스템의 단지 일례일 뿐, 네트워크 아키텍쳐의 사용 범위 또는 기능성에 관해 임의의 제한을 두고자 한 것은 아니다. 컴퓨팅 환경(100)은 예시적인 컴퓨팅 환경(100)에 도시된 임의의 하나의 구성요소 또는 구성요소들의 조합에 관한 요구조건 또는 임의의 의존성을 갖는 것으로 해석되어서는 안된다.
컴퓨터 및 네트워크 아키텍쳐는 다수의 다른 범용 또는 특수 목적의 컴퓨팅 시스템 환경 또는 구성으로 구현될 수 있다. 사용하기에 적절할 수 있는 잘 알려진 컴퓨팅 시스템, 환경 및/또는 구성의 예는 퍼스널 컴퓨터, 서버 컴퓨터, 씬 클라이언트(thin client), 씩 클라이언트(thick client), 핸드헬드 또는 랩탑 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋탑 박스, 프로그램가능 가전제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 게임 콘솔, 상기 시스템들 또는 디바이스들 중 임의의 것을 포함하는 분산 컴퓨팅 환경 등을 포함하지만 이에 제한을 두는 것은 아니다.
클릭-쓰루 트랙킹(click-through tracking)에 의한 페이지 뷰(page-view) 레코딩은 컴퓨터에 의해 실행되고 있는 프로그램 모듈과 같은 컴퓨터-실행가능 명령들의 일반 콘텍스트(general context)에 기술될 수 있다. 일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 형태를 구현하는 루틴, 프로그램, 객체, 구성요소, 데이터 구조 등을 포함한다. 클릭-쓰루 트랙킹에 의한 기록하는 페이지 뷰 레코딩은 또한 태스크가 통신 네트워크를 통해 링크된 원격 처리 디바이스에 의해 수행되는 분산 컴퓨팅 환경에서 실행될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 메모리 저장 디바이스를 포함하는 로컬 및 원격 컴퓨터 저장 매체 둘 모두에 위치될 수 있다.
컴퓨팅 환경(100)은 컴퓨터(102) 형태의 범용 컴퓨팅 시스템을 포함한다. 컴퓨터(102)의 구성요소는 하나 이상의 처리기 또는 처리 유닛(104), 시스템 메모리(106) 및 처리기(104)를 포함한 여러가지 시스템 구성요소를 시스템 메모리(106)에 결합시키는 시스템 버스(108)를 포함할 수는 있지만 이에 제한을 두는 것은 아니다.
시스템 버스(108)는 메모리 버스 또는 메모리 제어기, 주변 버스, 고속 그래픽 포트(AGP: accelerated graphics port) 및 여러 버스 아키텍쳐 중 임의의 것을 이용한 처리기 또는 로컬 버스를 포함하는 몇가지 유형의 버스 구조들 중 하나 이상의 임의의 것을 나타낸다. 예로서, 그러한 아키텍쳐는 ISA(Industry Standard Architecture) 버스, MCA(Micro Channel architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standard Association) 로컬 버스 및 메자닌 버스(Mezzanine bus)로서도 알려져 있는 PCI(Peripheral Component Interconnects) 버스를 포함할 수 있다.
컴퓨터 시스템(102)은 통상적으로 여러가지 컴퓨터 판독가능 매체를 포함한다. 그러한 매체는 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체 둘 모두를 포함하는, 컴퓨터(102)에 의해 억세스가능한 임의의 사용가능 매체가 될 수 있다. 시스템 메모리(106)는 RAM(random access memory)(110)과 같은 휘발성 메모리 및/또는 ROM(read only memory)(112)과 같은 비휘발성 메모리의 형태의 컴퓨터 판독가능 매체를 포함한다. 기동시와 같이 컴퓨터(102) 내의 엘리먼트들 간에 정보를 전달하는데 도움을 주는 기본 루틴을 포함하고 있는 기본 입/출력 시스템(BIOS)(114)이 ROM(112)에 저장되어 있다. RAM(110)은 통상적으로 처리 유닛(104)에 의해 즉시 억세스가능하고 및/또는 현재 그 처리 유닛(104)에 의해 동작되고 있는 프로그램 모듈들 및/또는 데이터를 포함한다.
컴퓨터(102)는 또한 다른 분리형/비분리형, 휘발성/비휘발성 컴퓨터 저장 미디어를 포함할 수 있다. 예로서, 도 1은 비분리형, 비휘발성 자기 매체(도시되지 않음)로부터의 판독 및 이에의 기록을 위한 하드 디스크 드라이브(116), 분리형, 비휘발성 자기 디스크(120)(예를 들어, "플로피 디스크")로부터의 판독 및 이에의 기록을 위한 자기 디스크 드라이브(118) 및 CD-ROM, DVD-ROM, 또는 기타 광학 매체와 같은 분리형, 비휘발성 광디스크(124)로부터의 판독 및/또는 이에의 기록을 위한 광디스크 드라이브(122)를 도시한다. 하드 디스크 드라이브(116), 자기 디스크 드라이브(118) 및 광디스크 드라이브(122)는 하나 이상의 데이터 미디어 인터페이스(126)에 의해 시스템 버스(108)에 각각 접속된다. 대안으로, 하드 디스크 드라이브(116), 자기 디스크 드라이브(118) 및 광디스크 드라이브(122)는 SCSI 인터페이스(도시되지 않음)에 의해 시스템 버스(108)에 접속될 수 있다.
디스크 드라이브 및 그 연관된 컴퓨터-판독가능 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈 및 기타 컴퓨터용 데이터(102)의 비휘발성 저장을 제공한다. 비록 본 예가 하드 디스크(116), 분리형 자기 디스크(120) 및 분리형 광디스크(124)를 예시하고는 있지만, 자기 카세트 또는 다른 자기 저장 디바이스, 플래쉬 메모리 카드, CD-ROM, DVD(digital versatile disk) 또는 기타 광학 저장장치, RAM(random access memory), ROM(read only memory), EEPROM(electrically erasable programmable read-only memory) 등과 같은 컴퓨터에 의해 억세스가능한 데이터를 저장할 수 있는 다른 유형의 컴퓨터 판독가능 매체는 예시적인 컴퓨팅 시스템 및 환경을 구현하는데 이용될 수 있음을 이해해야 한다.
예로서, 운영체제(126), 하나 이상의 응용 프로그램(128), 기타 프로그램 모듈(130) 및 프로그램 데이터(132)를 포함하는 임의의 수의 프로그램 모듈이 하드 디스크(116), 자기 디스크(120), 광디스크(124), ROM(112) 및/또는 RAM(110)에 저장될 수 있다. 그러한 운영체제(126), 하나 이상의 응용 프로그램(128), 기타 프로그램 모듈(130) 및 프로그램 데이터(132)(또는 이들의 몇몇 조합) 각각은 클릭-쓰루 트랙킹으로 레코딩하는 페이지-뷰의 실시예를 포함할 수 있다.
컴퓨터 시스템(102)은 통신 매체로서 식별되는 다양한 컴퓨터 판독가능 매체를 포함할 수 있다. 통신 매체는 통상적으로 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 또는 기타 데이터를 반송파 또는 기타 전송 메카니즘과 같은 변조된 데이터 신호로 구현하고, 임의의 정보 전달 매체를 포함한다. 용어 "변조된 데이터 신호"는 그 신호 내의 정보를 인코딩하는 것과 같은 방식으로 설정되거나 변경된 하나 이상의 특성들을 갖는 신호를 의미한다. 이것에 국한되지는 않지만 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체 및 음향, RF, 적외선 등의 무선 매체를 포함한다. 상기의 임의의 조합은 또한 컴퓨터 판독가능 매체의 범위 내에 포함된다.
사용자가 키보드(134) 및 포인팅 디바이스(136)(예를 들어, "마우스")와 같은 입력 디바이스를 통해 컴퓨터 시스템(102)에 커맨드 및 정보를 입력할 수 있다. 다른 입력 디바이스(138)(특별히 도시되지는 않음)로는 마이크로폰, 조이스틱, 게임패드, 위성 수신장치(satelite dish), 직렬 포트, 스캐너 등을 들 수 있다. 이들 및 다른 입력 디바이스들이 시스템 버스(108)에 결합된 입/출력 인터페이스(140)를 통해 처리 유닛(104)에 접속되지만, 병렬 포트, 게임 포트 또는 USB(universal serial bus)와 같은 다른 인터페이스 및 버스 구조에 의해 접속될 수 있다.
시스템 버스(108)에는 또한 모니터(142) 또는 다른 형태의 디스플레이 디바이스가 또한 비디오 어댑터(144)와 같은, 인터페이스를 통해 접속될 수 있다. 모니터(142)에 부가하여, 다른 출력 주변 디바이스로는 입/출력 인터페이스(140)를 통해 컴퓨터(102)에 접속될 수 있는 스피커(도시되지 않음) 및 프린터(146)와 같은 구성요소를 들 수 있다.
컴퓨터(102)는 원격 컴퓨팅 디바이스(148)와 같은 하나 이상의 원격 컴퓨터들로의 논리 접속을 이용하는 네트워크 환경에서 동작할 수 있다. 예로서, 원격 컴퓨팅 디바이스(148)는 퍼스널 컴퓨터, 휴대용 컴퓨터, 서버, 라우터, 네트워크 컴퓨터, 피어 디바이스(peer device) 또는 기타 공통 네트워크 노드 등이 될 수 있다. 원격 컴퓨팅 디바이스(148)는 컴퓨터 시스템(102)에 관해 본 명세서에 기재된 많은 또는 모든 엘리먼트들 및 특징들을 포함할 수 있는 휴대용 컴퓨터로서 설명된다.
컴퓨터(102)와 원격 컴퓨터(148) 간의 논리 접속이 근거리 네트워크(LAN)(150) 및 일반적인 원거리 네트워크(WAN)(152)로서 도시된다. 그러한 네트워킹 환경은 사무실, 기업-광역 컴퓨터 네트워크, 인트라넷 및 인터넷에 일반적인 것이다. LAN 네트워킹 환경에서 구현되는 경우, 컴퓨터(102)는 네트워크 인터페이스 또는 어댑터(154)를 통해 로컬 네트워크(150)에 접속된다. WAN 네트워킹 환경에서 구현되는 경우, 컴퓨터(102)는 통상적으로 모뎀(156) 또는 원거리 네트워크(152)를 통해 통신을 설정하기 위한 다른 수단을 포함한다. 컴퓨터(102)의 내부 또는 외부에 있을 수 있는 모뎀(156)은 입/출력 인터페이스(140) 또는 다른 적절한 메카니즘을 통해 시스템 버스(108)에 접속될 수 있다. 도시된 네트워크 접속은 예시적인 것이며 컴퓨터들(102, 148) 간의 통신 링크(들)을 확립하는 다른 수단이 사용될 수 있음을 이해해야 한다.
컴퓨팅 환경(100)으로 도시된 바와 같은 네트워크 환경에서, 컴퓨터(102)에 대해 도시된 프로그램 모듈 또는 그 부분들은 원격 메모리 저장 디바이스에 저장될 수 있다. 예로서, 원격 응용 프로그램(158)은 원격 컴퓨터(148)의 메모리 디바이스에 존재한다. 설명을 위해, 운영체제와 같은 응용 프로그램 및 다른 실행가능 프로그램 구성요소들은, 그러한 프로그램들 및 구성요소들이 컴퓨터 시스템(102)의 다른 저장 구성요소에서 여러번 존재하고 컴퓨터의 데이터 처리기(들)에 의해 실행되는 것으로 인식될지라도, 본 명세서에서는 개별 블록들로서 도시되었다.
예시적 아키텍쳐
도 2는 기재된 시스템 및 방법에 따른 예시적인 주석 시스템(200)의 블록도이다. 주석 시스템(200)은 저장 층(202), 추출 층(204) 및 어플리케이션 층(206)을 포함한다. 각 특정 층에 도시된 여러가지 구성요소들은 각각의 특정 구현에 따라 바뀔 수 있다.
일반적으로, 저장 층(202)은 입력으로서 원 스트로크(raw stroke), 마크업, 자유 노트 및 문서를 취하고, 분류되고 인식된 주석 및 고정된 텍스트를 주석 및 문서 데이터베이스(208)에 저장한다. 저장 층(202)은 앵커링 모듈(210) 및 주석 재구성(re-form) 모듈(212)을 포함한다. 앵커링 모듈(210)은 문서 페이지 상의 객체들에 대한 각각의 주석들의 위치에 대한 정보를 수집한다. 이는 그 주석이 고정되도록 하여 문서가 재호출될 때마다 동일한 위치에 나타나게 한다. 주석 재구성 모듈(212)은 페이지가 재호출되는 경우 고정 데이터를 검색하고 페이지가 렌더링되는 경우 적절한 장소에 각각의 주석을 재구성하도록 구성된다.
추출 층(204)은 주석 및 동작으로부터 관련 의미론적 특징들을 추출하는 구성요소들을 포함한다. 두 종류의 특징들: 주석 그 자체 및 그 주석과 관련된 콘텍스트 정보가 추출된다. 콘텍스트 정보는 시간, 위치, 주변 텍스트 등을 포함하지만, 이에 제한을 두는 것은 아니다.
추출 층(204)은 추출 모듈(220), 특징 데이터베이스(222), 학습 모듈(224), 쿼리 변경 모듈(226) 및 정보 필터링 모듈(228)을 포함한다. 그 추출 모듈(220)은 문서 특징, 주석된 텍스트, 주석 특징, 콘텍스트 등을 포함하는 모든 종류의 정보를 추출하도록 구성된다. 그 추출된 특징은 특징 데이터베이스(222)에 저장된다.
학습 모듈(224)은 사용자 동작을 트랙킹하고 그로부터 획득된 정보를 이용하여 주석 시스템을 정제(refine)하도록 구성된다. 쿼리 변경 모듈(226)은 사용자에게 흥미거리일 수 있는 콘텐트 및 로컬 키워드를 찾아내는데 사용되는 검색 쿼리들을 작성하는데 도움을 주도록 구성된다. 정보 필터링 모듈(228)은 사용자에 대한 보다 적절한 제시를 위해 검색시 획득된 원 정보를 필터링하고 정제하도록 구성된다. 특징 데이터베이스(222)는 또한 시스템의 각각의 특정 사용자 및 시스템의 모든 사용자들의 검색 용어들을 저장하는 히스토리(229)를 포함한다. 히스토리(229)는 (이하 보다 상세하게 기재되는 바와 같이) 콘텍스트 검색 및 키워드 검색을 위해 검색 용어들을 가중하는 경우에 참조된다.
어플리케이션 층(206)은 주석을 이용하고 지원하는 어플리케이션을 포함한다. 도시된 예에서, 어플리케이션 층(206)은 개인 정보 관리 어플리케이션(230) 및 웹브라우저(232)를 포함한다. 어플리케이션 층(206)에는 또한 주석 요약 어플리케이션(234)이 또한 저장되어 있으며, 이는 그 시스템에 입력된 주석에 대한 정보를 수집하고 요약하는데 사용된다. 다수의 사용자에게 제공하는 시스템에서, 주석 요약 어플리케이션(234)은 각각의 사용자에 대한 주석들을 구별하고 그들을 개별적으로 또는 전체적으로 요약할 수 있다.
주석 앵커링
반드시 요구되는 것은 아니지만, 몇몇 구현들에서, 페이지가 리플레쉬되는 경우 또는 사용자가 이전에 주석된 페이지로 돌아가는 경우와 같이, 페이지가 재구성되는 경우 그 페이지 상의 동일한 상대적 위치에서 주석들이 재구성될 수 있도록 주석을 객체들에 앵커링하는 것이 바람직할 수 있다. 다음 예는 주석을 앵커링하기 위한 단지 하나의 기술을 도시한다. 다음 예가 Internet Explorer®에 관해 기재될지라도, 기재된 기술은 다른 콘텍스트들에 사용될 수 있다.
주석을 고정하기 위해, 주석 모듈(210)은 웹페이지와 연관된 DOM(document object model) 트리로부터 웹페이지 내의 각 객체에 대해 직사각형 바운딩 박스를 획득한다. 이러한 정보로부터, 2차원적 위치가 각각의 객체에 대해 얻어진다. 주석은 또한 2차원 공간에서 다각형으로 모델링된다. 그러면 주석 앵커링 문제는 본질적으로 다각형 교차 문제가 된다. 그 객체 및 주석 정보(예를 들어, 위치)는 주석 및 문서 데이터베이스(208)에 저장된다.
페이지가 다시 그려지는 경우, 주석 재구성 모듈(212)은 주석 및 문서 데이터베이스(208)로부터 위치 정보를 검색한다. 각각의 페이지 객체와 고정된 객체 간의 유사성은 그들이 동일한지를 판정하기 위해 계산된다. 동일하면, 그 페이지 상에 존재하는 임의의 주석들은 그들이 원래 나타났던, 페이지 객체들에 대해 동일한 위치에 재구성된다.
웹페이지가 텍스트 단락을 포함하는 경우, 텍스트 단락은 단지 하나의 객체일 것이므로, 특수한 문제가 발생한다. 그러한 경우에, 그 텍스트 객체는 보다 작은 객체들로 분리되는데, 예를 들어, 단락 내의 각각의 워드가 객체(즉, "워드 객체")로 된다. 의사-태그(pseudo-tag)가 각각의 워드 객체에 삽입되고 각각의 워드-개체에 대한 2차원적 위치가 획득된다. 이어서 그 처리는 앞서 기재된 바와 같이 계속된다.
주석에 의한 태스크 론칭
태스크를 론칭하는 것은 펜-기반 컴퓨팅 시스템의 중요한 특징이다. 다른 타입의 컴퓨터에서, 태스크가 툴바 또는 아이콘 상에 마우스를 수회 클릭하여 론칭될 수 있다. 펜-기반 시스템에서는 마우스에 대신하여 펜이 사용되며 그 사용법도 상이하다. 또한, 많은 펜-기반의 시스템에서, 디스플레이 공간이 부족하므로, 태스크를 론칭할 간단한 방식을 제공하도록 툴바 및 아이콘이 존재하지 않는다. 아이콘이 태스크를 론칭하기 위해 시스템에 사용되는 경우에도, 그 아이콘은 또 다른 어플리케이션이 동작 중인 경우에 사용가능하지 않을 수 있다.
본 명세서에 기재된 시스템 및 방법에서, 태스크가 특정 유형의 주석으로부터 자동으로 론칭될 수 있다. 예를 들어, 날짜 주석을 인식하고 날짜 주석이 검출되면 달력 태스크를 자동으로 론칭하도록 어플리케이션이 구성될 수 있다. 그 특징은 사용자가 원한다면 자동 론칭을 디스에이블하는 방식도 제공한다.
예시적인 방법론적 구현 - 태스크 스케줄링
통상적인 시스템에서, 사용자가 개인 정보 관리 어플리케이션(예를 들어, 도 2의 230)에서 태스크를 스케줄링하고 싶은 경우, 사용자는 그 어플리케이션을 론칭하고 날짜 및 시간 정보(예를 들어, 시작 날짜, 종료 날짜, 마감 날짜 등)를 설정해야 한다. 또한, 사용자는 태스크 명을 설명하는 태스크 제목과, 그 태스크를 간단히 설명하는 본문 설명을 입력해야 한다. 그러한 정보를 입력하는 것은 키보드의 사용이 가능한 경우 아주 간단하다. 그러나, 펜-기반 시스템에서는 매우 시간 소모적인 것이다. 아래에 기재된 방법론적 구현은 그러한 태스크를 간소화하는데 도움을 준다.
도 3은 주석으로부터 태스크를 스케줄링하는 방법론적 구현을 도시하는 흐름도(300)이다. 블록(302)에서, 추출 모듈(220)은 주석 엔트리를 검출하기 위해 열려있는 문서를 모니터링한다. 그 열려있는 문서는 인터넷 페이지, 워드 프로세싱 문서, 이메일 메시지 등이 될 수 있다. 앞서 논의된 바와 같이, 그 추출 모듈은 사용자에 의해 입력된 핸드라이팅된 문자들 또는 마크업을 모니터링한다. 특정 예에서, 추출 모듈(220)은 날짜, 즉 날짜 포맷의 문자들을 포함하는 주석을 모니터링한다. 그 주석은 날짜에 동그라미 치고, 날짜에 밑줄 긋고, 날짜를 핸드라이팅하는 등을 할 수 있다.
예를 들어, 사용자에 의해 밑줄 그어진 한 라인의 텍스트를 포함하는 인터넷 페이지를 고려해 보기로 한다. [그 라인은: "11월 7일에 론칭할 테이블 PC"로 기재됨]. 추출 모듈(220)은 "11월 7일"을 현재 기재되어 있는 기능을 개시할 날짜로서 식별하도록 구성된다.
주석이 날짜로 인식되지 않으면("No" 분기, 블록(304)), 그 추출 모듈(220)은 단지 블록(302)에서 주석을 계속해서 모니터링한다. 그러나, 주석이 날짜로 인식되면("Yes" 분기, 블록(304)), 그 추출 모듈은 날짜 론칭 특징이 인에이블되는 지를 판정한다. 그 특징이 인에이블되지 않으면("No" 분기, 블록(306)), 추출 모듈(220)은 블록(302)에서 주석을 계속해서 모니터링한다. 그 특징이 인에이블되면 ("Yes" 분기, 블록(306)), 연관된 어플리케이션(이 예에서 개인 정보 관리 어플리케이션, 도 2의 230)이 블록(308)에서 론칭된다. 그 어플리케이션이 이미 실행중이고 최소화되었다면, 이는 단순히 블록(308)에서 최대화된다.
그 어플리케이션은 블록(310)에서 주석으로 식별된 날짜와 연관된 페이지에서 열린다. 추출 모듈은 특정 날짜에서의 엔트리에 대해 제안된 제목과 본문 설명을 얻기 위해 그 주석된 날짜의 위치에서 콘텐트의 콘텍스트를 시험한다(블록(312)). 여기서, 콘텍스트로부터 얻어진 제안된 제목은 "태블릿 PC"가 될 수 있고, 본문 설명은 "태블릿 PC 론치(tablet PC launch)"일 수 있다.
블록(314)에서, 제안된 제목과 본문 설명은 팝업형 통지로 사용자에게 제시된다. 사용자가 그 제시를 수용하기를 원하면, 사용자는 그 제시된 응답을 탭핑(tapping)함으로써(그렇지 않으면 수용함으로써) 간단히 그렇게 할 수 있고 ["Yes" 분기, 블록(316)] 제목 및 본문 설명은 블록(320)에서 입력된다. 그 제안들이 수용불가능하면("No" 분기, 블록(316)), 사용자에게는 제목 및 본문 설명을 입력할 수 있는 박스가 제시된다(블록(318)). 사용자 엔트리들이 수신된 후에, 이들은 블록(320)에 입력된다.
블록(322)에서, 그 어플리케이션은 특정 구현에 의존하여 닫히거나 최소화되며, 처리는 블록(302)으로 되돌아가서 주석 모니터링을 계속한다.
앞서 기재된 기술을 사용하면, 펜-기반 컴퓨팅 시스템의 사용자가 시간 관리 어플리케이션에서 태스크들을 보다 효과적으로 입력할 수 있다.
방법론적 구현 - 주석-기반의 콘텐트 검색
사용자가 전자 문서를 읽어가면서 문서에 제기된 문제들을 더 조사해 보고자 하는 관심을 가질 수 있다. 통상의 컴퓨터 시스템에서, 사용자는 관련된 정보를 찾기 위해 간단히 인터넷 검색 엔진 또는 로컬 머신의 검색 박스에 쿼리를 타이핑할 수 있다. 그러나, 이는 펜-기반 컴퓨터 시스템에서는 그렇게 간단한 일이 아니다. 또한, 단순히 검색 박스 내에 검색 용어를 입력하는 것만으로는 사용자 쿼리의 콘텍스트를 나타내지는 않으며, 검색 용어 자체에 대해서는 적절하지만 사용자 자신이 작성한 실제 쿼리에 적절하지는 않을 수 있는 수개의 결과들이 얻어질 수 있다.
도 4는 주석들의 콘텍스트로부터 수집된 사용자 주석 및 키워드에 기초하여 콘텐트 검색의 방법론적 구현을 도시하는 흐름도(400)이다(쿼리 변경 모듈(226)에 의해 수행됨, 도 2). 도 4에 도시된 콘텐트 검색 처리는 사용자 주석에 의해 구동되며 검색을 구동하는데 사용되는 주석의 콘텍스트를 고려한다. 흐름도(400)에 도시되지 않았을지라도, 흐름도(400)에 의해 도시된 특징은 편리하게 사용자에 의해 디스에이블될 수 있음을 유의해야 한다. 그러한 경우에, 아래에 기재된 처리에서의 단계들은 모니터링 단계 외에는 실행되지 않을 것이다.
쿼리 콘텍스트를 사용하여 사용자의 관심에 대한 검색 결과들을
보다 양호하게 정제하는데에는 두가지 방법이 있다. 한가지 방법은 콘텍스트가 검색 쿼리를 형성하는데 사용되는 쿼리 생성이다. 다른 방법은 검색 결과 리-랭킹(re-ranking)이며, 여기서는 통상의 검색은 주석으로부터 얻어진 하나 이상의 키워드들에 대해 수행되며, 이어서 그 콘텍스트를 검색 결과에 적용하여, 그 검색 결과를 보다 적절한 결과들이 덜 적절한 결과들보다 앞에 리스트되도록 리-랭킹한다.
흐름도(400) 및 다음의 설명은 쿼리 콘텍스트를 이용한 쿼리 생성에 중점을 둔다. 본 기술분야의 숙련자들은 다른 순서로 수행된 동일한 단계들이 검색 결과 리-랭킹 기술을 제공하는데 사용될 수 있음을 이해할 것이다.
블록(402)에서, 열린 문서에서 주석들이 모니터링된다. 그 문서는 웹페이지, 워드 프로세싱 문서, 이메일 메시지 등과 같은 임의의 형태의 전자 문서가 될 수 있다. 콘텐트 검색을 트리거하는 어떠한 주석도 입력되지 않으면("No" 분기, 블록(404)), 모니터링은 블록(402)에서 계속된다. 콘텐트 검색을 트리거하는 주석으로 판정된 주석이 입력되면("Yes" 분기, 블록(404)), 궁극적으로 검색에 사용될 쿼리를 구축하기 시작하도록 기본 쿼리 용어들이 주석으로부터 취해진다(블록(406)).
콘텐트 검색이 시스템에 의해 인식되고 개시될 수 있는 적어도 두가지 다른 방식이 있다. 제1 구현에서, 사용자는 사용자가 관심이 있는 용어를 주석하고 이어서 그 시스템에 콘텐트 검색을 수행하라고 알리는 동작을 수행한다. 이 동작은 시스템이 콘텐트 검색을 수행하는 명령으로서 인식하는 주석을 생성하는 것, 검색 아이콘의 선택 등일 수 있다. 적어도 한가지 구현에서, 주석을 인식하거나 사용자가 그 주석 위에 펜 또는 스타일러스를 움직이는 경우에 시스템은 콘텐트 검색 옵션을 포함하는 메뉴를 팝업할 수 있다. 그러면 사용자는 그 팝업 메뉴로부터 콘텐트 검색 옵션을 선택할 수 있다.
제2 구현에서, 시스템은 사용자가 콘텐트 검색을 수행하기를 원할 것으로 인식함으로써 콘텐트 검색을 자동으로 개시한다. 이는 특별한 주석에 의해 콘텐트 검색을 개시시킴으로써 구현될 수 있다. 예를 들어, 시스템은 사용자가 임의의 용어들에 동그라미를 그릴 때, 사용자가 텍스트에 이중 밑줄 그을 때, 사용자가 텍스트에 중요표시(highlight)할 때 등의 경우, 콘텐트 검색을 개시하도록 프로그램될 수 있다.
기본 쿼리 용어를 얻는 예로서, 한 사용자가 모터싸이클의 브랜드인 "인디언(Indian)"의 애호가들을 위한 모터싸이클 클럽에 대한 웹페이지 기사를 읽고 있고, 모터싸이클을 구매하는 것에 관심이 있는 사용자가 "인디언" 모터싸이클에 대한 더 많은 정보를 보고 싶어한다고 가정하자. 그래서, 사용자가 그 기사를 읽으면서 워드 "인디언"에 대한 주석을 만든다. 이러한 주석은 워드 둘레에 동그라미, 워드의 이중 밑줄 긋기 등이 될 수 있다.
그러면 검색 쿼리의 형식화(formulation)는 기본 용어 "인디언"으로 시작될 수 있다. 그러나, 검색이 이러한 단일의 용어에 대해 수행된다면, 사용자는 미국 인디언들에 대한 기사에서부터 나라 인도에 대한 기사들이나 범위의 "뉴잉글랜드에서의 인디언 썸머(Indian Summers in New England)"라는 제목의 책에 대한 서평(book review)에 이르는 결과들을 얻을 것이다. "인디언" 모터싸이클에 대한 고객 호응도와 같은 사용자가 진심으로 관심을 가질 수 있는 기사는 리스트의 아래에 리스트되어 있어, 사용자가 관심의 대상을 찾아내기 전에 상당수의 제목들을 읽어 내려가야만 하게 된다.
그러나, 블록(408)에서, <레벨-1> 키워드는 그 문서에 연관된 문서 객체 모델(DOM) 트리에 위치되고, 그 <레벨-1> 키워드는 쿼리에 부가된다. <레벨-1> 키워드는 DOM 트리 내의 주석에 비교적 가까운 문서 객체의 특징으로서 정의된다. 주석에 얼마나 정확하게 근접하는가는 각각의 특정 어플리케이션에 대해 정의될 수 있는 구현 상세이다. 본 예에서, 부가적인 검색 용어 "모터싸이클"이 기본 쿼리 용어 "인디언"에 부가될 수 있다. 이는 검색 결과들을 상당히 좁힌다.
또한, 블록(410)에서, <레벨-2> 키워드가 DOM 트리에 위치된다. <레벨-2> 키워드는 <레벨-1> 특징보다 DOM 트리 내의 주석으로부터 더 멀리 떨어진 범위에 있는 특징이다. 본 예에서, 이는 ("회원들은 그들이 인디언 모터싸이클에 관련된 정보, 뉴스 및 일화를 공유하는 월별 모임을 갖는다"라는 문장에서와 같이) "모임", "정보" 및 "뉴스"와 같은 부가적인 검색 용어들을 추가할 수 있다.
이어서 블록(412)에서 검색 용어에는 특정 "가중치"가 할당된다. 주석된 또는 기본의 용어에는 가장 높은 가중치가 제공되고, <레벨-2> 용어들에는 가장 낮은 가중치가 제공되고, <레벨-1> 용어들에는 상기 둘 사이의 가중치가 제공된다. 그 쿼리 검색 용어들 및 그들 각각의 가중치들은 블록(414)에서 키워드 벡터를 생성하는데 사용된다.
키워드 벡터는 각각이 그들과 연관된 가중치를 갖는 키워드들을 포함한다. 본 예에서, 키워드 벡터가: [(인디언, 0.6)(모터싸이클, 0.4)(정보, 0.1)(모임 0.1)]으로서 얻어질 수 있다. 이어서 다음의 검색은 가중치에 따라 결과들을 랭크할 것이다.
그 키워드 벡터들은 가중된 검색을 수행하기 위한 본 기술분야에 공지되어 있는 임의의 방식으로 사용될 수 있다. 적어도 하나의 구현에서, 키워드 벡터에는 문서들과의 유사성을 계산하기 위해 코싸인 측정이 사용된다:
블록(416)에서, 사용자에게는 검색이 수행되어야 하는 도메인을 지정하기 위한 팝업 메뉴가 제공된다. 예를 들어, 그 팝업 메뉴는 로컬 컴퓨터, 로컬 네트워크 드라이브, 인터넷 등을 지정할 수 있다. 부가적으로, 그 팝업 메뉴는 또한 "검색하지 마시오" 옵션을 지정할 수도 있으며, 사용자가 그 검색을 취소할 수도 있다. 이어서 지정된 도메인은 블록(418)에서 검색되고 그 결과들은 블록(420)에서 사용자에게 돌아온다.
가중된 용어들, "인디언", "모터싸이클", "모임", "정보" 및 "뉴스"를 포함하는 쿼리는 단순히 "인디언"이라는 쿼리보다 사용자가 실제로 찾고 있는 것이 무엇인지를 다루는 결과들을 최상위에 가까운 위치에 리턴할 것임을 이해해야 한다. 그처럼, 사용자는 그가 이용가능한 그러한 특징을 가짐으로써 시간과 수고를 절감한다.
앞서 언급된 바와 같이, 상술된 쿼리 생성에 대한 대안은 결과들을 리-랭킹하는 것이다. 그러한 처리에서, 처음에는 단지 주석 용어 "인디언"을 사용하여 검색이 수행된다. 키워드 벡터는 상술된 바와 같이 생성되고, 다수의 결과들이 수신된 후에, 그 결과들은 키워드 벡터에 따라 리-랭킹된다. 그러한 기술은 쿼리 생성 방법을 이용하여 획득된 결과들과 유사한 결과들을 제공한다.
방법론적 구현 - 주석 기반의 키워드 검색
한편, 사용자가 현재 읽고 있는 문서 내의 키 용어들을 찾고 싶을 수 있다. 현재의 문서에서 찾고자 하는 키 용어들을 검색 박스 내에 입력하는 통상의 방법은 펜-기반 시스템에서 실행하기 어렵다. 또한, 이 방법은 사용자가 문서 내에서 찾고자 하는 각각의 키 용어에 대해 반복되어야 한다.
펜-기반 시스템에서는, 사용자가 읽고 있는 문서에서 찾고자 하는 하나 이상의 키 용어들을 주석하여, 키 용어들이 자동적으로 찾아지도록 하는 것이 보다 효율적이다. 이하에 기술된 주석-기반 키워드 검색은 그러한 처리를 설명한다.
도 5는 주석-기반 키워드 검색의 방법론적 구현을 도시하는 흐름도(500)이다. 블록(502)에서, 열려 있는 문서에서 주석들이 모니터링된다. 앞서 기술된 바와 같이, 그 문서는 웹페이지, 워드 프로세싱 문서, 이-메일 메시지 등과 같은 임의의 형태의 전자 문서가 될 수 있다. 키워드 검색을 트리거하는 어떠한 주석도 입력되지 않는다면("No" 분기, 블록(504)), 그 모니터링은 블록(502)에서 계속될 것이다. 키워드 검색을 트리거할 주석이 되는 것으로 판정된 주석이 입력되면("Yes" 분기, 블록(504)), 사용자에게 흥미거리일 것 같은 키워드들은 블록(506)에서 결정될 것이다.
키워드 검색을 트리거할 하나 이상의 주석들을 결정하는 것은 하나 이상의 몇가지 방식들로 구현될 수 있다. 예를 들어, 시스템은 사용자가 메뉴를 팝업하기 위해 주석 위에 펜을 이동시키고 이어서 메뉴로부터 키워드 검색 아이템을 선택하면, 키워드 검색을 개시하도록 프로그램될 수 있다. 적어도 하나의 다른 구현에서, 소정의 유형의 주석이 키워드 검색을 트리거하는데 사용될 수 있다.
어떤 키워드들이 사용자에게 흥미거리일 것 같은지를 판정함에 있어서, 이 단계에서 사용될 수 있는 방법은 4가지가 존재한다. 이러한 특정 구현에서, 정보 필터링 모듈(228)(도 2)은 이하에 기재된 태스크들을 수행하도록 구성된다.
제1 방법은 Pr(w｜u)를 결정한다: 현재 사용자를 (u)라고 하면, 어떤 워드들(w)이 그에게 흥미거리일 수 있는가? 그러한 판정을 하기 위해서, 학습 모듈(224, 도 2)은 사용자의 동작을 모니터링하고, 동작에 관련된 소정의 데이터를 특징 데이터베이스(222, 도 2)에 저장하도록 구성된다.
장기(long-term)의 관심 모델을 구현하기 위해서, 학습 모듈(224)은 사용자가 읽은 모든 문서들에 나타난 워드들을 트랙킹하고, 정보 필터링 모듈(228)은 현재 문서 내의 워드들이 그 학습 모듈(224)에 의해 트랙킹되는 빈도를 판정함으로써 현재 문서 내에 나타나는 워드들의 중요도를 결정한다.
각각의 특정 워드를 트랙킹하는 것은 시스템에 지나치게 성가신 태스크를 제공할 수 있다. 그러므로, 문서 내에 통상적으로 나타나는 소정 부분의 그러한 구현에서 기계적으로(routinely) 생략될 수 있다. 예를 들어, "상기(the)", "또는(or)", "때문에(because)" 등과 같은 워드들은 트랙킹되지 않을 수 있다.
사용자의 단기(short-term) 관심에 대해 더 많은 강조를 제공하는 것이 그러한 처리를 위해 바람직할 수 있다. 그러한 경우, 최근에 사용자에 의해 억세스된 문서 내에 나타나는 워드들만이 현재 문서 내의 워드들과 비교될 수 있다. 예를 들어, 현재 문서 내의 워드들만이 이전 주에 사용자에 의해 억세스된 문서들과 비교될 수 있다.
사용자에게 관심이 될 키워드들을 결정하기 위한 제2 방법은 사용자에 의해 만들어진 주석에 집중할 수 있다. 그러한 구현에서, 정보 필터링 모듈(228)은 그 주석된 워드(들)을 포함한 문서에서 빈번히 나타나는 워드들을 결정한다. 그러면 그 워드들은 사용자에게 흥미거리일 수 있는 키워드들로 결정된다.
사용자에게 관심이 될 키워드들을 결정하기 위한 제3 방법은 사용자의 과거의 주석에 기초하여 키 관련 워드들을 결정한다. 그러한 구현에서, 사용자의 과거 주석의 히스토리가 유지된다. 키워드들은 그 히스토리와 비교되고 그 키워드들과 연관된 가중치는 키워드가 그 히스토리 내에 존재하는 지, 존재한다면 그 키워드는 사용자에 의해 주석으로서 언제 최종 입력되었는지에 따라서 조정된다.
비교적 최근에 사용자에 의해 입력되었던 것으로 발견된 키워드에는 보다 높은 가중치가 연관될 것이다. 유사하게, 그 히스토리에는 있지만 보다 오래 전에 사용했던 키워드는 보다 낮은 가중치 조정을 받을 것이다. 그 히스토리에 없는 키워드들은 증가된 가중치를 갖지 않겠지만, 일반(general) 가중치를 유지하거나 이미 할당된 가중치를 감소시킬 것이다.
제4 방법은 단지 현재 사용자만 고려되는 것이 아니라 모든 사용자들의 과거의 주석들이 고려된다는 것을 제외하고는 제3 방법과 유사하다. 모든 사용자들로부터의 모든 주석들을 포함하는 히스토리가 사용된다는 것을 제외하고는 주석 히스토리를 사용하는 상술된 동일한 기술이 여기서도 사용된다.
사용자에게 흥미거리일 것 같은 키워드들이 결정된 후에, 이러한 키워드들은 제안된 키워드들로서 사용자에게 제시된다(블록(508)). 그러면 사용자는 블록(510)에서 하나 이상의 제안된 키워드들을 선택한다. 이어서 선택된 키워드들은 블록(512)에서 그 문서 전체적으로 중요표시되고, (시스템 디스플레이가 컬러 디스플레이라면) 각각의 고유 키워드가 다른 컬러로 중요표시된다.
방법론적 구현 - 주석 기반의 제스츄어
펜-기반 컴퓨팅 시스템이 주석들을 이용함으로써 관리하기에 더 쉬울 수 있는 또 다른 방식은 사용자가 특정 태스크를 특정 제스츄어로 할당할 수 있는 경우이다. 제스츄어는 핸드라이팅 또는 드로잉한 잉크 객체라기보다는 컴퓨터의 동작을 명령하거나 제어하는 잉크 객체이다. 그러므로, 사용자는 그 주석을 만들어 기초를 이루는(underlying) 태스크를 그 주석과 연관시킬 수 있다. 그 이후, 그 시스템이 동일한 주석을 검출한 경우, 그 시스템은 그 주석과 연관된 태스크를 실행할 것이다.
도 6은 펜-기반의 시스템에서 주석들을 제스츄어로서 사용하는 방법론적 구현을 도시하는 흐름도(600)이다. 블록(602)에서, 추출 모듈(220)(도 2)은 열린 전자 문서에서 주석들을 모니터링한다. 제스츄어를 나타내는 어떠한 주석도 검출되지 않는다면("No" 분기, 블록(604)), 그 모니터링은 블록(602)에서 계속된다. 제스츄어가 검출된다면("Yes" 분기, 블록(604)), 그 제스츄어가 새로운 제스츄어인지 아니면 이전에 사용된 제스츄어인지가 판정된다.
사용자가 특정 주석이 제스츄어임을 시스템에 나타낼 수 있는 많은 방식들이 있다. 한가지 구현에서, 사용자는 주석을 만들고, 1초 이상 그 주석을 누른다. 펜에 의해 연장된 탭은 지시된 주석이 제스츄어로 이해되어야 함을 시스템에 나타낸다.
제스츄어가 지시되는 경우, 시스템은 제스츄어가 이전에 사용되었는지를 판정하기 위해 특징 데이터베이스(222)를 검색해야 한다. 그 제스츄어가 새로운 제스츄어라면("Yes" 분기, 블록(606)), 그 주석은 특징 데이터베이스(222)에 기록(즉, 저장)된다(블록(608)). 제스츄어 명령이 사용자에 의해 만들어진 후에, 사용자는 제스츄어 주석과 연관될 하나 이상의 명령들을 입력한다. 제스츄어에 관련된 이러한 명령들은 블록(612)에서 수신되고, 블록(614)에서 관련된 주석과 함께 특징 데이터베이스(222)에 저장된다. 이어서 그 제스츄어 명령은 블록(616)에서 실행된다.
제스츄어 표시가 검출된 후에 그 제스츄어가 특징 데이터베이스(222)에 위치되면, 즉 그 제스츄어가 새로운 제스츄어가 아니라 이전에 사용된 것이라면("No" 분기, 블록(606)), 그 제스츄어와 연관된 명령들은 특징 데이터베이스(222)로부터 검색되고 블록(616)에서 실행된다.
예로서, 달력 어플리케이션을 열기 위한 제스츄어를 생성하고자 하는 사용자를 고려하자. 그 사용자는 달력 어플리케이션을 론칭하는데 무한대 마크(∞)를 사용하기로 결정한다. 그 사용자는 열린 전자 문서 상에 주석(무한대 마크)을 마크하고, 이어서 그 무한대 마크 상에 펜을 탭하고 유지한다. 사용자가 최초로 이를 행하는 때에는, 그 시스템은 제스츄어를 찾지 못할 것이며, 그 주석과 연관시킬 명령들을 입력하도록 사용자를 재촉(prompt)할 것이다. 그러면 사용자는 달력 어플리케이션을 론칭하기 위한 단계들을 취한다. 이어서 이러한 단계들은 무한대 마크와 연관되고 주석과 연관된 단계들이 저장된다.
그 후에 사용자가 달력 어플리케이션을 론칭하고자 하는 때에는, 사용자는 무한대 마크를 만들고 그 마크를 누르고 유지한다. 그 시스템은 제스츄어를 인식하고 달력 어플리케이션을 론칭하기 위한 명령들을 실행할 것이므로, 그 어플리케이션을 론칭하는 사용자 시간 및 단계들을 절감한다.
다른 특징들에서와 마찬가지로, 그 시스템은 사용자가 원한다면 이러한 특징을 턴오프할 수 있는 편리한 방식을 포함한다.
결론
따라서 기재된 시스템 및 방법은 그 시스템이 사용자가 통상적인 태스크들을 수행하는데 사용하기에 더 용이하도록 펜-기반 시스템에서 주석들을 더 잘 관리할 방식을 제공한다. 사용자가 이용하기에 보다 편리한 펜-기반 시스템을 제공하는 것은 시장에서의 펜-기반 시스템의 사용을 증진시킨다.
특정 구현 및 실시예의 상세가 상술되었을지라도, 그러한 상세들은 다음 청구의 범위를 제한한다기 보다는 법정 공개 의무를 만족하도록 의도된 것이다. 그러므로, 청구항에 정의된 본 발명은 앞서 기재된 특정 특징들에 제한을 두는 것이 아니다. 오히려, 본 발명은 등가물의 교리에 따라서 적절하게 해석되는 첨부 청구항의 적절한 범위에 있는 임의의 형태들 또는 변경들에 청구된 것이다.
본 발명은, 펜이 사용자가 전자 문서에 핸드라이팅된 주석들을 입력할 수 있도록 기능한다는 점에서 정보를 관리하기 위한 새로운 툴을 제공하며, 이러한 핸드라이팅된 주석들의 적절한 관리는 펜-기반 컴퓨팅 시스템에서의 보다 쉽고 보다 효율적인 정보 관리를 가져다 줄 수 있다.
도 1은 예시적인 컴퓨팅 환경.
도 2는 주석 시스템 아키텍쳐의 간략화된 블록도.
도 3은 태스크를 주석으로 스케줄링한 방법론적 구현을 도시한 흐름도.
도 4는 주석과 주석의 콘텍스트로부터 얻어진 키워드를 이용한 콘텐트 검색의 방법론적 구현을 도시한 흐름도.
도 5는 주석을 이용한 키워드 검색의 방법론적 구현을 도시한 흐름도.
도 6은 주석을 제스츄어로서 이용한 방법론적 구현을 도시한 흐름도.
<도면을 설명하는 부호의 간단한 설명>
200 : 주석 시스템
202 : 저장 층
204 : 추출 층
206 : 어플리케이션 층
208 : 주석 및 문서 데이터베이스
210 : 앵커링 모듈
212 : 주석 재구성 모듈
220 : 추출 모듈
222 : 특징 데이터베이스
224 : 학습 모듈
226 : 쿼리 변경 모듈
228 : 정보 필터링 모듈
229 : 히스토리
230 : 개인 정보 관리 어플리케이션
232 : 웹브라우저
234 : 주석 요약 어플리케이션

Claims (32)

  1. 사용자 주석을 위해 전자 문서를 모니터링하는 단계;
    상기 전자 문서로의 주석의 엔트리를 인식하는 단계;
    상기 주석 및 콘텍스트 데이터를 사용하여 상기 주석에 관련된 정보를 찾아내는 단계; 및
    상기 주석에 인접한(proximal) 콘텍스트 데이터를 수집하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 콘텍스트 데이터를 수집하는 단계는 상기 주석에 인접한 텍스트로부터 하나 이상의 워드들을 추출하는 단계를 더 포함하는 방법.
  3. 제1항에 있어서,
    상기 콘텍스트 데이터를 수집하는 단계는 상기 주석과 연관된 DOM(document object model) 내의 주석 객체에 가까운(near) 객체들을 찾아내는 단계를 더 포함하는 방법.
  4. 제1항에 있어서,
    상기 콘텍스트 데이터를 수집하는 단계는:
    상기 주석으로부터의 제1 거리를 정의하는 단계;
    상기 주석으로부터의 제2 거리를 정의하는 단계;
    상기 주석으로부터의 제1 거리 내에 있는 하나 이상의 키워드들을 위치지정하는 단계;
    상기 주석으로부터의 제2 거리 내에 있지만 상기 주석으로부터의 제1 거리 내에는 있지 않는 하나 이상의 키워드들을 찾아내는 단계; 및
    상기 주석으로부터의 거리에 따라 상기 하나 이상의 키워드들을 가중하되, 상기 제1 거리 내에 있는 키워드들이 상기 제2 거리 내에 있지만 상기 제1 거리 내에는 있지 않는 키워드들보다 큰 가중치를 갖도록하는 단계를 더 포함하고;
    상기 주석에 관련된 정보를 찾아내는 단계는 그에 할당된 가중치들에 따라 상기 키워드들을 이용하는 방법.
  5. 제1항에 있어서,
    상기 콘텍스트 데이터를 수집하는 단계는:
    적어도 두 개의 검색 용어들을 얻는 단계;
    상기 검색 용어들을 검색 용어들의 히스토리와 비교하는 단계; 및
    특정 검색 용어가 상기 검색 용어들의 히스토리에 포함되는지에 따라서 상기 검색 용어들 각각을 가중 - 상기 검색 용어들의 히스토리에 포함된 검색 용어에 보다 높은 가중치가 할당됨 - 하는 단계를 더 포함하는 방법.
  6. 제5항에 있어서,
    상기 검색 용어들의 히스토리는 특정 사용자에 의해 사용된 검색 용어들의 히스토리를 더 구비하는 방법.
  7. 제5항에 있어서,
    상기 검색 용어들의 히스토리는 특정 그룹의 모든 사용자들에 의해 사용된 검색 용어들의 히스토리를 더 구비하는 방법.
  8. 제1항에 있어서,
    상기 주석에 관련된 정보를 찾아내는 단계는 상기 전자 문서에서 상기 주석과 일치(match)하거나 상기 주석과 유사한 용어들을 검색하는 단계를 더 포함하는 방법.
  9. 제1항에 있어서,
    상기 주석에 관련된 정보를 찾아내는 단계는 원격 사이트에서 상기 주석과 일치하거나 상기 주석과 유사한 용어들을 포함하는 문서들을 검색하는 단계를 더 포함하는 방법.
  10. 제1항에 있어서,
    상기 주석에 관련된 정보를 찾아내는 단계는:
    상기 주석 및 상기 사용자에 의해 억세스된 이전 문서들에 포함된 워드들에 기초하여 기초하여 사용자에게 흥미거리일 것 같은 키워드들을 결정하는 단계; 및
    상기 키워드들을 사용하여 정보를 찾아내는 단계를 더 포함하는 방법.
  11. 제5항에 있어서,
    상기 이전 문서들은 지정된 기간 내에 억세스된 문서들로 제한되는 방법.
  12. 제1항에 있어서,
    상기 주석에 관련된 정보를 찾아내는 단계는:
    상기 주석 및 상기 사용자에 의해 억세스된 이전 문서들 내에서 상기 주석들과 함께 나타나는 발생한 워드들에 기초하여 사용자에게 흥미거리일 것 같은 키워드들을 결정하는 단계; 및
    상기 키워드들을 사용하여 정보를 찾아내는 단계를 더 포함하는 방법.
  13. 제1항에 있어서,
    상기 주석은 다음 유형의 주석들: 동그라미(circle), 밑줄(underline), 네모(block), 화살표(arrow), 설명선(callout), 자유노트(free note), 포스트잇 노트(post-it note) 중 하나를 포함하는 방법.
  14. 주석의 엔트리를 위해 전자 문서를 모니터링하도록 구성된 주석 모니터링 모듈;
    상기 전자 문서에 입력된 주석 가까이 나타나는 콘텍스트 데이터를 수집하고 상기 콘텍스트 데이터로부터 하나 이상의 키워드들을 추출하도록 구성된 추출 모듈; 및
    상기 키워드들 및 상기 주석을 이용하여 관련된 콘텐트를 찾아내도록 구성된 정보 처리 모듈을 포함하는 시스템.
  15. 제14항에 있어서,
    상기 시스템에서 이전에 사용된 하나 이상의 히스토리 키워드들을 포함하는 히스토리 모듈을 더 구비하고;
    상기 추출 모듈은 상기 키워드들이 상기 히스토리 모듈에 포함되어 있는지의 여부에 따라서 키워드들을 가중하도록 구성되어 있는 시스템.
  16. 제14항에 있어서,
    상기 콘텍스트 데이터는 상기 주석에 인접한 텍스트로부터 얻어진 복수의 키워드들을 더 구비하고;
    상기 추출 모듈은 상기 주석으로부터 상기 키워드의 상대적 거리에 따라 각각의 키워드를 가중하도록 구성되어 있고;
    상기 정보 처리 모듈은 상기 주석 및 상기 가중된 키워드들에 기초하여 검색을 개시하도록 구성되어 있는 시스템.
  17. 제16항에 있어서,
    상기 검색은 상기 주석을 검색 용어로 이용하여 수행되고 상기 검색의 결과들은 상기 가중된 키워드들에 따라 리-랭킹(re-rank)되는 시스템.
  18. 제16항에 있어서,
    상기 검색은 상기 가중된 키워드들 및 상기 주석으로부터 얻어진 쿼리를 사용하여 수행되는 시스템.
  19. 제14항에 있어서,
    상기 정보 처리 모듈에 의해 찾아낸 상기 관련된 콘텐트는 상기 전자 문서 내에 포함된 키워드들을 더 포함하는 시스템.
  20. 제14항에 있어서,
    상기 정보 처리 모듈에 의해 찾아낸 상기 관련 콘텐트는 상기 키워드를 하나 이상 포함하는 네트워크 상의 문서들을 더 포함하는 시스템.
  21. 제14항에 있어서,
    상기 정보 처리 모듈은 상기 주석 및 상기 사용자에 의해 억세스된 다른 문서들 - 상기 문서에는 동일한 주석이 입력되었음 - 에 나타나는 워드들에 기초한 상기 사용자에게 흥미거리일 것 같은 제안된 키워드들을 결정하도록 구성되어 있는 시스템.
  22. 제21항에 있어서,
    상기 사용자에게 상기 제안된 키워드들을 제시하고 상기 사용자에게 상기 제안된 키워드들 중 0개 또는 하나 이상의 선택을 제공하도록 구성되어 있는 사용자 인터페이스를 더 구비하는 시스템.
  23. 컴퓨터 실행가능 명령들을 포함하는 하나 이상의 컴퓨터 판독가능 매체에 있어서,
    컴퓨터 상에서 실행되는 경우, 다음의 단계들:
    사용자에 의해 전자 문서에 입력된 주석을 인식하는 단계;
    상기 주석의 위치에 관련된 콘텍스트 데이터를 수집하는 단계; 및
    상기 콘텍스트 데이터로부터 얻어진 하나 이상의 키워드들 및 상기 주석에 의해 표시된 하나 이상의 워드들로 검색을 실행함으로써 상기 사용자에게 흥미거리일 수 있는 부가적인 콘텐트를 찾아내는 단계를 수행하는 하나 이상의 컴퓨터 판독가능 매체.
  24. 제23항에 있어서,
    상기 주석은 다음의 주석들의 집합: 동그라미(circle), 박스(box), 화살표(arrow), 밑줄(underline), 이중 밑줄(double underline), 괄호(bracket), 중요표시(highlight), 핸드라이팅된 문자(handwritten character), 자유 노트(free note), 포스트잇 노트(post-it note)에 포함된 주석인 하나 이상의 컴퓨터 판독가능 매체.
  25. 제23항에 있어서,
    상기 주석의 위치에 관련된 콘텍스트 데이터를 수집하는 단계는 주석 객체와 연관된 문서 객체 모델 내의 주석 객체로부터 소정의 거리 내에서 나타나는 객체들을 수집하는 단계를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  26. 제23항에 있어서,
    상기 부가적 콘텐트를 찾아내는 단계는 상기 전자 문서에서 하나 이상의 로컬 키워드들을 찾아내는 단계를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  27. 제23항에 있어서,
    상기 부가적 콘텐트를 찾아내는 단계는 상기 콘텍스트 데이터로부터 얻어진 하나 이상의 키워드들 또는 상기 주석에 의해 표시된 하나 이상의 워드들을 포함하는 네트워크 상에 하나 이상의 문서들을 찾아내는 단계를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  28. 제23항에 있어서,
    상기 부가적 콘텐트를 찾아내는 단계는 상기 사용자에 의해 억세스된 다른 문서들 내의 상기 주석과 함께 빈번하게 나타나는 워드들을 식별함으로써 상기 콘텍스트 데이터로부터 하나 이상의 키워드들을 얻는 단계를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  29. 제23항에 있어서,
    상기 부가적 콘텐트를 찾아내는 단계는 상기 사용자에 의해 억세스된 다른 문서들 내의 상기 주석과 함께 빈번하게 나타나는 워드들을 식별함으로써 상기 콘텍스트 데이터로부터 하나 이상의 키워드들을 얻는 단계를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  30. 제23항에 있어서,
    상기 키워드들을 가중하는 단계; 및
    상기 가중된 키워드들에 따라 검색 결과들을 랭크하는 단계를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  31. 제30항에 있어서,
    현재 사용자에 의해 이전에 사용된 키워드들을 포함하는 키워드 히스토리 리스트를 참조하는 단계를 더 포함하고,
    상기 키워드들을 가중하는 단계는 상기 키워드 히스토리 리스트에 포함된 키워드들에 보다 높은 가중치를 할당하는 단계를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
  32. 제30항에 있어서,
    사용자들의 그룹 내의 모든 사용자들에 의해 이전에 사용된 키워드들을 포함하는 키워드 히스토리 리스트를 참조하는 단계를 더 포함하고,
    상기 키워드들을 가중하는 단계는 상기 키워드 히스토리 리스트에 포함된 키워드들에 보다 높은 가중치를 할당하는 단계를 더 포함하는 하나 이상의 컴퓨터 판독가능 매체.
KR1020040072722A 2003-09-10 2004-09-10 펜-기반 컴퓨팅 시스템에서의 주석 관리 KR101122869B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/659,568 US7555705B2 (en) 2003-09-10 2003-09-10 Annotation management in a pen-based computing system
US10/659,568 2003-09-10

Publications (2)

Publication Number Publication Date
KR20050026902A true KR20050026902A (ko) 2005-03-16
KR101122869B1 KR101122869B1 (ko) 2012-03-20

Family

ID=34136760

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040072722A KR101122869B1 (ko) 2003-09-10 2004-09-10 펜-기반 컴퓨팅 시스템에서의 주석 관리

Country Status (5)

Country Link
US (1) US7555705B2 (ko)
EP (1) EP1515242A3 (ko)
JP (1) JP4806178B2 (ko)
KR (1) KR101122869B1 (ko)
CN (1) CN1637741B (ko)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155061B2 (en) * 2000-08-22 2006-12-26 Microsoft Corporation Method and system for searching for words and phrases in active and stored ink word documents
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
EP1725957A4 (en) * 2004-03-15 2009-06-10 Yahoo Inc SEARCH SYSTEMS AND METHODS WITH INTEGRATION OF USER NANNOTATION
US20060067576A1 (en) * 2004-03-17 2006-03-30 James Marggraff Providing a user interface having interactive elements on a writable surface
US7831933B2 (en) * 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060127872A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and device for associating a user writing with a user-writable element
US20060078866A1 (en) * 2004-03-17 2006-04-13 James Marggraff System and method for identifying termination of data entry
US20060077184A1 (en) * 2004-03-17 2006-04-13 James Marggraff Methods and devices for retrieving and using information stored as a pattern on a surface
US7853193B2 (en) * 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US20050210042A1 (en) * 2004-03-22 2005-09-22 Goedken James F Methods and apparatus to search and analyze prior art
JP4081056B2 (ja) * 2004-08-30 2008-04-23 株式会社東芝 情報処理装置、情報処理方法及びプログラム
US20060080286A1 (en) * 2004-08-31 2006-04-13 Flashpoint Technology, Inc. System and method for storing and accessing images based on position data associated therewith
US7685209B1 (en) * 2004-09-28 2010-03-23 Yahoo! Inc. Apparatus and method for normalizing user-selected keywords in a folksonomy
US8749480B2 (en) 2005-03-18 2014-06-10 The Invention Science Fund I, Llc Article having a writing portion and preformed identifiers
US20060212430A1 (en) * 2005-03-18 2006-09-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Outputting a saved hand-formed expression
JP4733415B2 (ja) 2005-04-05 2011-07-27 シャープ株式会社 電子文書の表示装置及び方法、並びにコンピュータプログラム
US7922099B1 (en) 2005-07-29 2011-04-12 Leapfrog Enterprises, Inc. System and method for associating content with an image bearing surface
US7779347B2 (en) * 2005-09-02 2010-08-17 Fourteen40, Inc. Systems and methods for collaboratively annotating electronic documents
US20070118509A1 (en) * 2005-11-18 2007-05-24 Flashpoint Technology, Inc. Collaborative service for suggesting media keywords based on location data
US7895223B2 (en) * 2005-11-29 2011-02-22 Cisco Technology, Inc. Generating search results based on determined relationships between data objects and user connections to identified destinations
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
US8037051B2 (en) * 2006-11-08 2011-10-11 Intertrust Technologies Corporation Matching and recommending relevant videos and media to individual search engine results
JP4398454B2 (ja) * 2006-12-13 2010-01-13 富士通株式会社 アノテーション管理プログラム、アノテーション管理装置、アノテーション編集プログラム及びアノテーション編集装置
US7739304B2 (en) * 2007-02-08 2010-06-15 Yahoo! Inc. Context-based community-driven suggestions for media annotation
US20080225757A1 (en) * 2007-03-13 2008-09-18 Byron Johnson Web-based interactive learning system and method
US8737908B1 (en) * 2007-03-30 2014-05-27 University Of South Florida Interactive book and spatial accountability method
US8972458B2 (en) 2007-08-09 2015-03-03 Yahoo! Inc. Systems and methods for comments aggregation and carryover in word pages
TWI399652B (zh) * 2007-08-09 2013-06-21 Yahoo Inc 文書頁面中註解聚合及傳遞系統與方法
JP5157318B2 (ja) * 2007-08-24 2013-03-06 富士ゼロックス株式会社 文書監視装置、文書監視プログラムおよび文書監視システム
US20090058820A1 (en) 2007-09-04 2009-03-05 Microsoft Corporation Flick-based in situ search from ink, text, or an empty selection region
US8566752B2 (en) * 2007-12-21 2013-10-22 Ricoh Co., Ltd. Persistent selection marks
US8694887B2 (en) * 2008-03-26 2014-04-08 Yahoo! Inc. Dynamic contextual shortcuts
JP5051080B2 (ja) * 2008-09-25 2012-10-17 富士通株式会社 情報表示装置、情報表示方法、及びプログラム
US20100205190A1 (en) * 2009-02-09 2010-08-12 Microsoft Corporation Surface-based collaborative search
US8095524B2 (en) * 2009-03-18 2012-01-10 International Business Machines Corporation Method and system for integrating personal information search and interaction on web/desktop applications
US8145594B2 (en) * 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
US20100306670A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Gesture-based document sharing manipulation
US9049258B2 (en) 2009-09-17 2015-06-02 Border Stylo, LLC Systems and methods for anchoring content objects to structured documents
US8683317B2 (en) * 2009-09-23 2014-03-25 Fisher-Rosemount Systems, Inc. Dynamically linked graphical messages for process control systems
WO2011041547A1 (en) * 2009-09-30 2011-04-07 Georgia Tech Research Corporation Systems and methods to facilitate active reading
WO2012044363A1 (en) 2010-09-30 2012-04-05 Georgia Tech Research Corporation Systems and methods to facilitate active reading
US11023675B1 (en) 2009-11-03 2021-06-01 Alphasense OY User interface for use with a search engine for searching financial related documents
JP5345963B2 (ja) * 2010-02-16 2013-11-20 レノボ・シンガポール・プライベート・リミテッド 画像イメージを検索するタグデータの生成方法
US20120078979A1 (en) * 2010-07-26 2012-03-29 Shankar Raj Ghimire Method for advanced patent search and analysis
KR20120021061A (ko) * 2010-08-31 2012-03-08 삼성전자주식회사 특정 영역에서 키워드를 추출하는 검색 서비스 제공방법 및 이를 적용한 디스플레이 장치
US9262390B2 (en) 2010-09-02 2016-02-16 Lexis Nexis, A Division Of Reed Elsevier Inc. Methods and systems for annotating electronic documents
KR101731968B1 (ko) * 2010-11-01 2017-05-04 삼성전자주식회사 로봇의 리로케이션 장치 및 방법
WO2012061462A1 (en) * 2010-11-05 2012-05-10 Rakuten, Inc. Systems and methods regarding keyword extraction
JP5699623B2 (ja) * 2011-01-20 2015-04-15 村田機械株式会社 画像処理装置、画像処理システム、画像処理方法、および、プログラム
US8984003B2 (en) * 2012-01-31 2015-03-17 Bank Of America Corporation System and method for processing, maintaining, and verifying data
JP5694236B2 (ja) 2012-05-28 2015-04-01 株式会社東芝 文書検索装置、方法およびプログラム
US8903813B2 (en) * 2012-07-02 2014-12-02 International Business Machines Corporation Context-based electronic document search using a synthetic event
US10380233B2 (en) 2012-07-26 2019-08-13 International Business Machines Corporation Launching workflow processes based on annotations in a document
JP2014032632A (ja) 2012-08-06 2014-02-20 Toshiba Corp 電子機器、方法、およびプログラム
EP2922018A4 (en) 2012-11-14 2015-10-14 Fujitsu Ltd ANALYSIS OF MEDICAL INFORMATION PROGRAM, MEDICAL INFORMATION ANALYSIS DEVICE AND METHOD OF ANALYZING MEDICAL INFORMATION
JP5610019B2 (ja) * 2013-03-28 2014-10-22 セイコーエプソン株式会社 検索装置およびプログラム
US11210457B2 (en) 2014-08-14 2021-12-28 International Business Machines Corporation Process-level metadata inference and mapping from document annotations
US20160164814A1 (en) * 2014-12-05 2016-06-09 Kobo Incorporated Persistent anchored supplementary content for digital reading
CN104881451A (zh) * 2015-05-18 2015-09-02 百度在线网络技术（北京）有限公司 图片搜索方法及装置
US10430437B2 (en) 2017-02-08 2019-10-01 Bank Of America Corporation Automated archival partitioning and synchronization on heterogeneous data systems
KR102382478B1 (ko) 2017-10-13 2022-04-05 삼성전자주식회사 전자 장치 및 그 제어 방법
CN108415778A (zh) * 2018-03-29 2018-08-17 北京中油瑞飞信息技术有限责任公司 任务排序方法、装置及调度系统
US11977551B2 (en) * 2018-05-24 2024-05-07 Sap Se Digital paper based interaction to system data

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554085A (ja) * 1991-08-28 1993-03-05 Fuji Xerox Co Ltd 動画像検索支援装置
JPH10207901A (ja) * 1997-01-22 1998-08-07 Nippon Telegr & Teleph Corp <Ntt> 情報提供方法及びシステム
JPH11161682A (ja) * 1997-09-29 1999-06-18 Toshiba Corp 情報検索装置、情報検索方法及び記録媒体
JP4183311B2 (ja) * 1997-12-22 2008-11-19 株式会社リコー 文書の注釈方法、注釈装置および記録媒体
US6509912B1 (en) * 1998-01-12 2003-01-21 Xerox Corporation Domain objects for use in a freeform graphics system
US6941321B2 (en) * 1999-01-26 2005-09-06 Xerox Corporation System and method for identifying similarities among objects in a collection
US7091959B1 (en) * 1999-03-31 2006-08-15 Advanced Digital Systems, Inc. System, computer program product, computing device, and associated methods for form identification and information manipulation
US6397213B1 (en) * 1999-05-12 2002-05-28 Ricoh Company Ltd. Search and retrieval using document decomposition
JP2001092832A (ja) * 1999-09-21 2001-04-06 Matsushita Electric Ind Co Ltd 情報推薦方法
JP2001167124A (ja) * 1999-12-13 2001-06-22 Sharp Corp 文書分類装置及び文書分類プログラムを記録した記録媒体
US6868525B1 (en) * 2000-02-01 2005-03-15 Alberti Anemometer Llc Computer graphic display visualization system and method
JP3838014B2 (ja) * 2000-09-27 2006-10-25 日本電気株式会社 嗜好学習装置、嗜好学習システム、嗜好学習方法および記録媒体
CN1227611C (zh) * 2001-03-09 2005-11-16 北京大学 判断一组查询关键字或词在网页中位置相关性的方法
US6778979B2 (en) * 2001-08-13 2004-08-17 Xerox Corporation System for automatically generating queries
JP2003173352A (ja) * 2001-12-05 2003-06-20 Nippon Telegr & Teleph Corp <Ntt> 検索ログ解析方法および装置、文書情報検索方法および装置、検索ログ解析プログラム、文書情報検索プログラム、および記録媒体
US7107261B2 (en) * 2002-05-22 2006-09-12 International Business Machines Corporation Search engine providing match and alternative answer

Also Published As

Publication number Publication date
JP4806178B2 (ja) 2011-11-02
US7555705B2 (en) 2009-06-30
CN1637741B (zh) 2010-07-21
CN1637741A (zh) 2005-07-13
US20050055628A1 (en) 2005-03-10
JP2005085285A (ja) 2005-03-31
EP1515242A2 (en) 2005-03-16
EP1515242A3 (en) 2006-06-14
KR101122869B1 (ko) 2012-03-20

Similar Documents

Publication Publication Date Title
KR101122869B1 (ko) 펜-기반 컴퓨팅 시스템에서의 주석 관리
US10191940B2 (en) Gesture-based searching
US9659084B1 (en) System, methods, and user interface for presenting information from unstructured data
US8051080B2 (en) Contextual ranking of keywords using click data
US8073877B2 (en) Scalable semi-structured named entity detection
KR101448325B1 (ko) 향상된 질의 결과를 전달하는 것을 용이하게 해주는 시스템, 정황을 갖는 질의 결과를 제공하는 것을 용이하게 해주는 컴퓨터 구현 방법 및 컴퓨터 구현 시스템
US9195754B2 (en) Expansion of search result information
CN109918555B (zh) 用于提供搜索建议的方法、装置、设备和介质
Won et al. Contextual web history: using visual and contextual cues to improve web browser history
US20130124515A1 (en) Method for document search and analysis
US9195662B2 (en) Online analysis and display of correlated information
CN102722499B (zh) 搜索引擎及其实现方法
CN102768683B (zh) 一种图片信息的搜索方法及搜索装置
US9280522B2 (en) Highlighting of document elements
US11887011B2 (en) Schema augmentation system for exploratory research
US20080133449A1 (en) Adaptive help system and user interface
JP6157965B2 (ja) 電子機器、方法、およびプログラム
WO2012069096A1 (en) Automatic association of informational entities
Baldauf et al. Getting context on the go: mobile urban exploration with ambient tag clouds
US8832082B2 (en) Presentation of search results with diagrams
US7860704B2 (en) Lexicon-based content correlation and navigation
James Computer Supported Cooperative Work: Some Perspectives and the Hidden Web
KR20150015570A (ko) 사용자의 개별학습을 위한 전자책 뷰어 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 및 전자책 뷰어 단말 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150121

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160127

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170201

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190129

Year of fee payment: 8