KR101638812B1 - 관찰 정보의 검색 및 관련 특정 컨텍스트의 검색을 위해 안구 운동 추적을 사용하는 시스템, 방법 및 컴퓨터 프로그램 제품 - Google Patents

관찰 정보의 검색 및 관련 특정 컨텍스트의 검색을 위해 안구 운동 추적을 사용하는 시스템, 방법 및 컴퓨터 프로그램 제품 Download PDF

Info

Publication number
KR101638812B1
KR101638812B1 KR1020147026951A KR20147026951A KR101638812B1 KR 101638812 B1 KR101638812 B1 KR 101638812B1 KR 1020147026951 A KR1020147026951 A KR 1020147026951A KR 20147026951 A KR20147026951 A KR 20147026951A KR 101638812 B1 KR101638812 B1 KR 101638812B1
Authority
KR
South Korea
Prior art keywords
content
user
display
record
interest
Prior art date
Application number
KR1020147026951A
Other languages
English (en)
Other versions
KR20140129293A (ko
Inventor
미첼 자콥
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20140129293A publication Critical patent/KR20140129293A/ko
Application granted granted Critical
Publication of KR101638812B1 publication Critical patent/KR101638812B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Economics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

디스플레이의 특정 영역에서 사용자가 관측한 콘텐츠를 기록하는 것에 관한 방법, 시스템 및 컴퓨터 프로그램 제품. 이 영역은 본 명세서에서 관심 영역(region of interest, ROI)으로서 지칭된다. 사용자에 의해 관측된 콘텐츠는, 관측된 콘텐츠에 관한 컨텍스트 정보와 함께 기록될 수 있다. 이 컨텍스트 정보는 처리 컨텍스트를 포함할 수 있다. 그리고, 기록된 정보는 ROI에서 이전에 관측된 콘텐츠를 상기시키는데 후속하여 사용될 수 있다. 사용자는 ROI의 위치를 확인하는 정보 및/또는 ROI가 관측된 시간 등 검색 기준을 입력할 수 있다. 대안적인 실시예에서는, 키 워드, 사용자 행동 컨텍스트, 시간 컨텍스트, 및/또는 공간 컨텍스트 등 추가적인 또는 다른 기준이 사용자에 의해 입력될 수 있다. ROI에서 관측된 콘텐츠는 사용자에게 제공될 수 있다. 이러한 콘텐츠는 예를 들어 동일 애플리케이션을 사용하여, 이미 관측된 것과 동일한 처리 컨텍스트 내에서 제공될 수 있다. 이는 디스플레이 상의 특정 영역, 그것이 관측된 시간 또는 다른 기준을 참조하여, 사용자가 스크린 상에서 이미 보았던 정보로 되돌아갈 수 있게 한다.

Description

관찰 정보의 검색 및 관련 특정 컨텍스트의 검색을 위해 안구 운동 추적을 사용하는 시스템, 방법 및 컴퓨터 프로그램 제품{SYSTEM, METHOD, AND COMPUTER PROGRAM PRODUCT FOR USING EYE MOVEMENT TRACKING FOR RETRIEVAL OF OBSERVED INFORMATION AND OF RELATED SPECIFIC CONTEXT}
컴퓨터 사용자들은 스크린 상에서 최근에 보았던 것을 종종 재방문할 필요가 있다. 이러한 필요성에 대처하는 기술의 일 예로는 검색 이력이 있다. 검색 엔진들은 종종 이미 입력된 검색어를 저장하도록 설계되어, 사용자가 이미 보았던 데이터를 재방문할 수 있다. 다른 예에서는, 웹 브라우저가 이미 방문했던 사이트들의 기록을 유지할 수 있다. 이미 방문했던 웹사이트를 찾기를 원하면, 이름, URL 또는 시간표(timeline)에 따라 검색할 수 있고, 원하는 페이지를 검색할 수 있다. 운영 체제의 "프로그램 및 파일 검색(search programs and files)" 유틸리티를 사용하여, 최근 사용된 파일들 또는 애플리케이션들을 액세스하는데 유사한 방식이 사용될 수 있다.
그러나, 현재의 유틸리티는 일반적으로 프로그램 또는 파일의 사용에 기초하는 검색에 제한된다. 사용자는, 예를 들어, 이미 열었던 파일들 또는 이미 방문했던 웹사이트의 목록을 받을 것이다. 이는 애매하고 집중되지 못한 데이터만 공급하며, 특별히 자연스럽지 않고, 사용자가 이전에 집중하였던 정보의 직접 검색을 허용하지 않는다. 또한, 검색 기준은, 사용자의 행동에 의존하지 않기 때문에, 피상적인 데이터(예를 들어, 키워드, 시간, 파일 크기 등)로 제한될 것이다. 이는 컴퓨터와 인간 사용자의 상호작용의 자연스러운 흐름을 이용하지 않는다. 이는 검색중인 데이터의 컨텍스트를 고려하지 않고, 사용자가 자신의 의도적이고 특정한 관심에 따라 정확히 되짚어 가는 것을 항상 허용하는 것은 아니다. 현재의 검색 방법은, 예를 들어, 사용자가 최근에 보거나 읽은 것을 어렴풋이 기억할 때 사용자가 데이터를 검색하는 것을 반드시 도와주는 것은 아니다.
도 1은 일 실시예에 따라 본 명세서에 개시되는 시스템의 사용을 도시한다.
도 2는 일 실시예에 따라 본 명세서에 개시되는 시스템의 처리를 도시하는 순서도이다.
도 3은 대안적인 실시예에 따라 본 명세서에 개시되는 시스템의 처리를 도시하는 순서도이다.
도 4는 일 실시예에 따른 데이터의 캡쳐를 도시하는 순서도이다.
도 5는 일 실시예에 따른 요청 처리를 도시하는 순서도이다.
도 6은 일 실시예에 따라 관심 영역과 관련된 레코드를 도시한다.
도 7은 대안적인 실시예에 따라 관심 영역과 관련된 레코드를 도시한다.
도 8은 일 실시예에 따라 본 명세서에 개시되는 시스템이 구현될 수 있는 컴퓨팅 시스템을 도시한다.
도 9는 일 실시예에 따라 본 명세서에 개시되는 시스템이 동작할 수 있는 플랫폼을 도시한다.
도 10은 일 실시예에 따라 본 명세서에 개시되는 시스템이 구현될 수 있는 모바일 정보 디바이스를 도시한다.
도면에서, 참조 번호의 가장 좌측 숫자(들)는 해당 참조 번호가 최초로 나타나는 도면을 알려준다.
이제 도면을 참조하여 실시예가 설명되며, 동일한 참조 번호는 동일하거나 또는 기능적으로 유사한 구성요소들을 나타낸다. 특정 구성 및 배치가 논의되지만, 이는 예시적인 목적으로만 행해진다는 점이 이해되어야 한다. 당업자라면 본 발명의 사상 및 범위를 벗어나지 않고도 다른 구성 및 배치가 사용될 수 있다는 점을 인식할 것이다. 당업자에게는 이러한 것이 본 명세서에 개시되는 것 이외에 다양한 다른 시스템 및 애플리케이션에 채택될 수 있다는 점이 자명할 것이다.
정보 기기의 디스플레이 상에서 사용자가 이미 본 콘텐츠를 캡쳐하거나 상기시키는 것에 관해서 사용자가 반드시 그렇게 하는 명시적 행동을 취할 필요없이 그 기술적 문제점을 해결하는 방법, 시스템 및 컴퓨터 프로그램 제품이 본 명세서에 개시된다.
이하 개시되는 방법, 시스템 및 컴퓨터 프로그램 제품은 사용자가 컴퓨터 디스플레이의 영역에서 관측한 텍스트 또는 이미지 데이터를 기록하는 것에 관련된다. 이러한 영역은 본 명세서에서 관심 영역(region of interest, ROI)이라고 불릴 수 있다. ROI에서 사용자가 관측한 콘텐츠는 이 콘텐츠에 관계되는 컨텍스트 정보와 함께 기록될 수 있다. 이러한 컨텍스트 정보는 처리 컨텍스트를 포함할 수 있고, 이는, 예를 들어, 시청된 특정 파일, 그 파일이 열렸던 애플리케이션, 및/또는 시청된 웹페이지를 포함할 수 있다. 실시예에서는, 시청이 발생한 시간, 시청된 ROI의 스크린 좌표, ROI 인접 콘텐츠, 및/또는 ROI의 시청 전후에 시청된 콘텐츠 등의 추가적인 정보가 기록될 수 있다.
그리고, 모든 기록된 정보는 ROI에서 이미 관측된 콘텐츠를 상기시키기 위해 후속하여 사용될 수 있다. 사용자는, 예를 들어, ROI의 위치 및/또는 ROI가 시청된 시간을 식별하는 정보 등의 검색 기준을 입력할 수 있다. 대안적인 실시예에서는, 사용자에 의해 추가적인 또는 다른 기준이 입력될 수 있다. 그리고, ROI에서 관측된 콘텐츠는 사용자에게 제공된다. 일 실시예에서, 이러한 콘텐츠는, 예를 들어, 동일한 애플리케이션을 사용하여, 그 콘텐츠가 이미 관측된 동일한 처리 컨텍스트 내에서 제공될 수 있다. 이는 디스플레이 상의 특정 영역, 관측된 시간 또는 다른 기준을 참조하여, 사용자가 스크린 상에서 이미 보았던 정보로 되돌아갈 수 있게 한다. 실시예에서, 관측된 ROI들 및 관련 데이터의 기록은 지속적으로 수행될 수도 있고; 대안적으로, 특정 ROI들 및 관련 데이터의 기록은 사용자가 선택한 때에만 수행될 수도 있다.
본 명세서에 개시되는 시스템 및 방법은 인간 관측의 생리학을 이용할 수 있으며, 이는 고시(fixations)(가시 영역에서 특정 지점의 관측) 및 단속적 운동(saccades)(고시 지점의 재배치)으로 구성된다. 고시의 분석 및 정량화는, 특히 무리를 이룰 때, 집중된 영역, 즉 ROI의 추론을 참작할 수 있다. 따라서, 안구 운동 추적은 관심 영역 및 관련 컨텍스트 정보를 저장하는데(및, 향후, 검색하는데) 관측자의 자연스러운 행동의 활용을 참작할 수 있다.
도 1은 일 실시예에 따라 본 명세서에 개시되는 시스템을 구현하는 컴퓨터 시스템과 상호작용하는 사용자를 도시한다. 대안적인 실시예에서는, 다른 컴퓨팅 플랫폼이 사용될 수 있고, 중앙 처리부, 키보드, 및/또는 마우스가 분리된 개별 구성요소가 아닐 수 있다. 도 1에서, 사용자(110)는 디스플레이(120)를 바라보고 있다. 디스플레이(120)에는 임의의 공지된 운영 체제에 의해 제공되는 바와 같은 그래픽 사용자 인터페이스가 있다. 도 1의 예에는 2개의 윈도우가 있는데, 그 중 하나는 파일 Y가 열린 애플리케이션 X를 나타낸다. 나머지 윈도우는 오픈 폴더(open folder) Z를 나타낸다. 본 도면에서, 사용자(110)는 폴더 Z에서 아이콘 c로 도시되는 최우측 아이콘을 쳐다볼 수 있고, 그 후 그의 시선을 열린 파일 Y로 이동하여, "continent"라는 단어를 쳐다볼 수 있다. 사용자(110)의 눈의 위치 및 눈이 집중된 방향은 공지된 기술을 사용하여, 장치(150)로 도시된 카메라 장치를 사용하여 결정될 수 있다. 이러한 기술은, 예를 들어, 사용자의 눈 높이 아래에, 디스플레이의 하부에, 적외선 발광 다이오드(LED) 및 카메라를 포함하는 안구 운동 추적 시스템을 포함한다.
당업자에게 알려진 바와 같이, 사용자 눈의 위치 및 방향은 디스플레이(120)의 위치 및 방향과 조합하여 사용되어, 사용자(110)가 바라보고 있는 디스플레이(120)의 영역을 결정할 수 있다. 상술된 바와 같이, 이러한 영역은 관심 영역, 또는 ROI라고 불릴 수 있다. 시간이 흐르면, 사용자(110)는 시야를 디스플레이의 다른 영역들로 돌릴 수 있다. 이들 중 일부는 후속 ROI들일 수 있고, 나머지는 진정 관심이 있는 곳이 아닌 영역들을 나타낼 수 있고, 그 대신 임의적이거나 또는 의도하지 않은 고시일 수 있다. 또한, 사용자(110)는 디스플레이(120) 상의 운영 체제 및/또는 애플리케이션과 상호작용하여, 시간이 흐르고 디스플레이(120) 상의 이미지 및 텍스트가 변화할 수 있다.
일 실시예에서, 사용자(110)의 ROI가 결정되면, 이 위치에서의 콘텐츠가 저장될 수 있다. 이는 사용자(110)가 원하는 경우 이 콘텐츠를 차후에 검색할 수 있게 한다. ROI에서의 콘텐츠(텍스트 또는 이미지)는, 레코드 또는 기타 데이터 구조에 기록되어, 사용자에 의한 후속 검색을 가능하게 한다. ROI의 콘텐츠가 저장될 때, 몇몇 관련 정보도 저장될 수 있다. 이들 관련 정보는, ROI가 관측된 시간, ROI 상에 시각적으로 체류하면서 소비된 시간의 양 및 ROI의 스크린 좌표를 포함할 수 있다. 이러한 정보는 후속하여 검색 기준으로서 사용될 수 있다. 검색 기준은 키보드(180) 및/또는 마우스(190) 등의 입력 디바이스를 통해 사용자(110)에 의해 입력될 수 있다.
ROI에 관련된 정보는 콘텐츠에 대한 컨텍스트 정보를 포함할 수도 있다. ROI의 컨텍스트 정보도 기록될 수 있다. 컨텍스트 정보는 콘텐츠의 처리 컨텍스트를 포함할 수 있다. 처리 컨텍스트는, 예를 들어, ROI에 보여지는 파일의 이름, ROI에서 시청되는 파일에서의 위치, 파일이 열린 애플리케이션, 애플리케이션에서의 위치(예를 들어, 애플리케이션에서 선택된 옵션 등), 및/또는 시청되는 웹사이트의 이름을 포함할 수 있다.
ROI에 관련되는 정보는 또한 다른 형태의 컨텍스트도 포함할 수 있다. 이는, 시각적 시간 컨텍스트 정보(visual temporal context information), 즉 ROI를 관측하기 직전에 또는 직후에 사용자에 의해 시청된 콘텐츠에 관한 정보를 포함할 수 있다. 도 1의 예에서, 사용자(110)가 파일 Y를 보기 직전에 아이콘 c를 보았고, "continent"라는 단어가 ROI에서의 콘텐츠를 나타내면, 아이콘 c의 이미지는 ROI의 시각적 시간 컨텍스트를 나타낼 수 있고, 아이콘 c는 ROI 관측 직전에 사용자(110)에 의해 시청되었다는 것이다. "continent"라는 단어를 보고 나서, 사용자(110)가 "Four score"라는 단어에 주의를 기울이면, 후자의 문구 또한 ROI의 시각적 시간 컨텍스트를 나타낸다.
ROI의 다른 형태의 컨텍스트는 공간 컨텍스트, 즉 디스플레이 상에서 ROI에 인접하는 콘텐츠에 관련된 정보일 수 있다. 도 1의 예에서, "continent"라는 단어가 ROI를 나타내면, "new nation"이라는 문구는 ROI의 공간 컨텍스트의 경우를 나타낼 수 있고, "new nation"이 ROI에 인접하였다는 것이다. 이러한 ROI에 대한 공간 컨텍스트의 다른 예는 애플리케이션 X의 윈도우 좌측의 오픈 폴더 Z일 것이다.
ROI의 다른 형태의 컨텍스트는 사용자 행동 컨텍스트, 즉 ROI 관측 직전 또는 직후 사용자(110)의 행동에 관한 정보일 수 있다. 예를 들어, 애플리케이션의 열기 또는 닫기, 문서의 저장, 또는 윈도우의 리사이징을 포함할 수 있다.
ROI의 콘텐츠 및 저장된 관련 데이터가 후속 검색 목적으로 사용될 수 있다. 특정 시간에 관측된 소정 ROI에 대해, ROI의 콘텐츠 및 기타 관련 데이터는 레코드 또는 다른 데이터 구조에 필드 또는 서브필드로서 저장될 수 있다. 일 실시예에서, 이러한 레코드는 중앙 처리부(CPU; 160)의 비휘발성(NV) 메모리(170)에 있는 저장소에 저장될 수 있다. NV 메모리(170)는 하드 드라이브, 플래시 메모리 또는 기타 디바이스일 수 있다. 다른 실시예에서, NV 메모리(170)는 CPU(160) 외부에 있을 수 있다. 일 실시예에서, 레코드는 네트워크 접속(도시되지 않음)을 통해 액세스가능한 다른 위치에 원격으로 저장될 수 있다.
저장된 레코드는 사용자가 과거 ROI들을 검색하여 이미 본 콘텐츠를 찾을 수 있게 하며, 이러한 검색은 저장된 정보에 대응하는 하나 이상의 기준에 기초하여 수행될 수 있다. 예를 들어, 사용자(110)는 애플리케이션 X를 닫았을 수 있고, 차후에 그가 이미 본 파일을 볼 필요가 있다고 결정하고, 파일에서 "continent"라는 단어를 보았다는 것만을 기억할 수 있다. 이미 관측한 ROI의 콘텐츠(여기서는, "continent"라는 단어임)를 저장하여 둔 것에 의해서, 사용자(110)는 저장된 ROI들에 대해 이 단어를 검색하여 파일 Y에 이를 수 있다. 이하 보다 상세히 설명되는 바와 같이, 파일 Y는, 예를 들어 애플리케이션 X의 컨텍스트에서 사용자(110)에게 제공될 수 있는 등, 적절한 처리 컨텍스트에서 사용자(110)에게 제공될 수 있다.
다른 검색 기준이 사용될 수 있다. 다른 예에서, 사용자(110)는 디스플레이(120)의 하부 우측 사분면에서 그가 보았던 컨텐츠 - "continent"라는 단어를 보았음 - 를 검색할 수 있다. 여기서, 검색은, 그 스크린 좌표가 하부 우측 사분면에 대응하고, 그 콘텐츠가 "continent"에 대응하는 레코드에 대해 수행될 수 있다. 그러면, 매칭 레코드, 즉 애플리케이션 X의 컨텍스트에서 열린 파일 Y가 리턴될 수 있다. 애플리케이션 X 및 파일 Y는 매칭 레코드에서의 처리 컨텍스트 정보에서 식별되었기 때문에 선택될 수 있다.
ROI가 관측되었던 시간이 검색 기준으로서 사용될 수도 있다. 사용자(110)는 어제 정오쯤 관심 파일을 본 것을 기억할 수 있다. 그 시간쯤 관측된 ROI들에 대응하는 레코드들은, 각 레코드에 저장될 수 있는 시청 시간을 사용하여, 식별될 수 있다. 여러가지 가능성이 있는 이러한 검색 및 임의의 기타 검색에는, 당업자들에게 알려지거나 또는 당업자들이 인식할 수 있는 임의의 텍스트 및/또는 그래픽 포맷을 사용하는 레코드의 목록으로서 가능한 매치들이 사용자에게 제공될 수 있다. 이러한 목록이 주어지면, 사용자(110)는, 레코드를 선택할 수 있고, 원하는 바에 따라 그 콘텐츠를 열 수 있다.
또한, 이러한 정보를 하나 사용하여 또는 여러 정보를 조합으로 사용하여 검색이 수행될 수 있다. 예를 들어, 사용자(110)는 하부 우측 사분면에서 관측되었고 "continent"라는 단어를 포함하는 콘텐츠를 보기를 원할 것이다. 그러면, 이들 기준 양자 모두를 사용하여 검색이 수행될 수 있다.
위 예들이 가능성의 종합적인 목록을 나타내려는 의미는 아니고; 당업자들에 의해 이해될 수 있듯이, ROI에 관하여 저장된 임의의 정보를 사용하여, 다른 검색 시나리오가 사용될 수 있다는 점에 주의하자.
도 1은 실시예가 구현될 수 있는 하나의 컴퓨팅 플랫폼을 도시하지만, 대안적인 타입의 플랫폼에 다른 실시예들이 구현될 수 있다는 점이 이해되어야 한다. 이들 다른 플랫폼은, 예를 들어, 별도의 CPU, 키보드 및 마우스를 구비하지 않을 수 있다. 이러한 다른 플랫폼은, 랩탑 및 노트북 컴퓨터, 태블릿 컴퓨팅 디바이스, 셀 폰 등 보다 많은 포터블 컴퓨팅 디바이스를 포함할 수 있다. 이러한 플랫폼에서의 실시예의 동작은 상술된 동작들과 비교할만한 것으로, 관련 컨텍스트 정보와 함께 사용자의 눈이 체류하는 디스플레이 상의 위치가 캡쳐되고 기록될 수 있다.
상술된 바와 같이, 본 명세서에 개시되는 시스템은 ROI들을 계속하여 기록할 수 있다. 이러한 실시예에서, 사용자에 의해 시청되는 영역은 항상 모니터되어, 소정 간격보다 길게 사용자가 시청하는 임의의 ROI에 대해 기록이 생성되고 첨부될 수 있다. 이러한 실시예에 대한 처리가 도 2에 도시된다. 도시된 프로세스의 동작은 안구 운동 추적 기능성이 활성화된 것으로 가정한다. 일 실시예에서, 이러한 기능성은 사용자에 의해 턴-온 된다. 210에서, 데이터가 캡쳐될 수 있다. 상술된 바와 같이, 이렇게 캡쳐된 데이터는, ROI에서 관측된 콘텐츠 또는 이미지, ROI가 관측된 시간, ROI 상에서 체류하며 소비된 시간의 양, 및 ROI의 스크린 좌표 중 하나 이상을 포함할 수 있다. 이러한 데이터는 또한 처리 컨텍스트, 공간 컨텍스트, 시각적 시간 컨텍스트 및 사용자 행동 컨텍스트 중 하나 이상을 포함할 수도 있다.
220에서, 이러한 데이터는 저장소에 저장될 수 있다. 일 실시예에서, ROI에 대한 레코드가 생성될 수 있고, 레코드는 위 아이템들 각각에 대한 필드를 포함한다. 그리고, 레코드는 저장소에 저장될 수 있다. ROI들이 연속하여 기록되기 때문에, 처리는 210으로 복귀할 수 있고, 사용자가 다른 영역을 시청함에 따라 다음 ROI에 관련된 위 데이터 아이템들이 캡쳐될 수 있다.
230에서, 사용자로부터 이미 관측된 콘텐츠를 찾는 검색 요청이 수신될 수 있다. 상술된 바와 같이, 이러한 요청은 캡쳐된 데이터의 타입에 따라 여러 형태를 취할 수 있다. 요청에 검색 기준이 특정된다면 임의의 캡쳐된 데이터가 그러한 검색 기준으로서 사용될 수 있다. 사용자는, 예를 들어, 특정 시간에 관측된 콘텐츠, 또는 디스플레이 상의 특정 위치에 나타났던 콘텐츠, 또는 이메일을 보내기 직전에 보았던 콘텐츠, 또는 몇몇 다른 기준 지점에 인접하여 나타났던 콘텐츠를 찾을 수 있다. 이들 예가 가능성의 총체적인 목록을 의도하는 것은 아니며; 당업자에 의해 이해될 수 있듯이, 다른 검색 요청이 가능하다.
240에서, 이하 보다 상세히 설명되는 방식으로 요청이 처리된다. 요청에 일치하는 레코드가 발견되면, 사용자에게 대응 콘텐츠가 제공될 수 있다. 여러 레코드가 일치하면, 사용자에게 완벽한 형태 또는 축약된 형태로 매칭 레코드들이 제공될 수 있고; 사용자가 가능한 매치들로부터 선택할 수 있다. 모든 레코드(들)가 제공되는 실시예에서는, ROI로부터의 콘텐츠가 하이라이트될 수 있다. 매치가 발견되지 않으면, 사용자는 그 통지를 받을 수 있고; 대안적으로, 대략 일치하는 레코드가 제공될 수 있다.
일 실시예(도시되지 않음)에서, 데이터의 캡쳐 및 저장은 검색 요청이 처리되는 동안 계속될 수 있다. 이러한 동작에서, 데이터 캡쳐 및 저장은 검색 요청의 처리와 병렬로 동작할 수 있다.
대안적인 실시예가 도 3에 도시된다. 여기서, 데이터는 사용자가 명백히 선택할 때에만 캡쳐될 수 있다. 310에서, 사용자가 ROI 및 임의의 관련 데이터를 캡쳐할 것을 선택하였는지 여부에 대한 판정이 이루어질 수 있다. 예를 들어, 사용자가 ROI를 시청할 수 있고, 그가 ROI의 콘텐츠 및 관련 데이터를 가능한 후속 액세스 동안 캡쳐하기를 원한다면, 마우스 버튼을 클릭하거나 기능 키를 히트하여 캡쳐를 수행할 수 있거나, 또는 몇몇 다른 의도하는 소정 행동을 수행할 수 있다. 그 순간 관측되고 있는 ROI에서의 콘텐츠가 320에서 임의의 관련 데이터와 함께 포착될 수 있다.
330에서, 이 데이터는 저장소에 저장될 수 있다. 일 실시예에서, ROI에 대한 레코드가 생성될 수 있고, 이 레코드는 관련 데이터에 대한 필드를 포함한다. 이러한 필드는 저장소에 저장될 수 있다.
340에서, 이미 관측된 콘텐츠를 찾는 검색 요청이 사용자로부터 수신될 수 있다. 상술된 바와 같이, 이러한 요청은 캡쳐되는 데이터의 타입에 따라서 여러 형태를 취할 수 있다. 검색 기준이 요청에서 특정되면 임의의 캡쳐된 데이터가 그러한 검색 기준으로서 사용될 수 있다. 350에서, 요청은 아래에 더 상세히 설명되는 방식으로 처리된다. 요청에 일치하는 레코드가 발견되면, 사용자에게 대응 콘텐츠가 제공될 수 있다. 여러 레코드가 일치하면, 사용자에게 완벽한 형태 또는 축약된 형태로 매칭 레코드들이 제공될 수 있고; 사용자가 가능한 매치들로부터 선택할 수 있다. 매치가 발견되지 않으면, 사용자는 그 통지를 받을 수 있고; 대안적으로, 대략 일치하는 레코드가 제공될 수 있다.
여기서, 도 2의 경우에서와 같이, 데이터의 캡쳐 및 저장은 검색 요청이 처리되는 동안 계속될 수 있다. 이러한 실시예에서, 데이터 캡쳐 및 저장은 검색 요청의 처리와 병렬로 동작할 수 있다.
일 실시예에 따라, 데이터의 캡쳐링(도 2에서의 210 및 도 3에서의 320)이 도 4에 도시된다. 410에서, 사용자의 눈의 활동이 검출되고 분석될 수 있다. 일반적으로, 데이터는 3개 레벨로 캡쳐되고 분석될 수 있다. 첫째, 원시 응시 데이터(raw gaze data)가 60 Hz 등의 특정 주파수로 샘플링될 수 있다. 둘째, 안구 운동은, 예를 들어, 고시 또는 탄도 운동(단속적 운동으로서 알려짐) 중 하나로 분류될 수 있다. 셋째, 고시가 무리를 이루는 것(또는 다른 필적할 만한 체험)이 의도적으로 관측되는 영역, 즉, ROI를 추론하는데 사용될 수 있다.
보다 구체적으로, 사용자의 눈이 향하는 방향이 검출될 수 있고, 사용자의 고시의 지속시간(즉, 체류 시간)이 판정될 수 있다. 사용자의 눈의 방향은, 디스플레이의 위치 및 방향과 조합하여, 420에서, 피관측 영역, 또는 ROI의 판정을 가능하게 한다. 430에서는, ROI에서 관측된 텍스트 또는 이미지가 기록될 수 있다. 440에서, ROI에 대한 처리 컨텍스트가 기록될 수 있다. 상술된 바와 같이, 처리 컨텍스트는, ROI에 관측되는 파일의 이름, 파일을 디스플레이하는 애플리케이션, 및/또는 ROI에서 시청되는 웹페이지 중 하나 이상을 포함할 수 있다. 450에서는, 시청이 발생되는 시간 및/또는 체류 시간이 기록될 수 있고, 체류 시간은 410에서 측정된 것일 수 있다. 460에서, ROI의 스크린 좌표가 기록될 수 있다.
470에서, 공간 컨텍스트, 시각적 시간 컨텍스트 또는 사용자 행동 컨텍스트가 기록될 수 있다. 상술된 바와 같이, 대안적인 실시예에서는, ROI에 관련된 이러한 데이터의 서브셋이 기록될 수 있다(또는 아무것도 기록되지 않음). 대안적으로, 추가적인 관련 데이터도 기록될 수 있다.
대안적인 실시예에서, 430 - 470은 임의의 순서로 발생할 수 있다. 또한, 이들 중 임의의 2 이상이 병렬로 동작할 수 있다.
도 5는, 일 실시예에 따라, 검색 요청의 처리(도 2의 240 및 도 3의 350)를 도시한다. 510에서는, 사용자에 의해 제공된 검색 기준과 일치할 수 있는 레코드들을 식별하도록 저장소의 레코드들이 검사된다. 예를 들어, 사용자가 디스플레이의 상부 우측 코너의 ROI를 찾는 검색 기준을 입력하면, 디스플레이의 그 위치에 있는 스크린 좌표를 갖는 레코드들이 확인될 수 있다. 일 실시예에서, 사용자는 관심 영역을 마킹할 수 있는 유틸리티를 가질 수 있다. 사용자가 "continent"라는 단어를 찾는 검색 기준을 입력하면, 콘텐츠 필드에 그 단어를 갖는 레코드들이 확인될 수 있다. 일 실시예에서는, 검색 기준에 비슷한 콘텐츠를 갖는 레코드들도 확인될 수 있는데, 예를 들어, "continual" 또는 "continental" 등의 단어를 포함하는 콘텐츠를 갖는 레코드들이 확인될 수 있다. 대안적으로, 검색 기준은, ROI가 관측된 시간 또는 시간의 범위, 또는 ROI가 보여진 디스플레이 상의 위치를 특정할 수 있다. 그리고, 이러한 데이터를 포함하는 필드를 찾으며, 레코드가 검색될 것이다. 검색 기준은 대안적으로 ROI 관측 직전 또는 직후 수행되는 사용자 행동을 참조할 수 있다. 애플리케이션을 열거나 닫기 직전에 ROI가 관측되었으면, 열기 또는 닫기가 검색에서 기준으로서 사용될 수 있고; 사용자는, 예를 들어, 그의 웹 브라우저를 열기 직전에 보여진 ROI를 찾을 것이다. 그러면, 검색은 브라우저의 열기 직전에 해당 ROI가 관측되었음을 나타내는 필드를 갖는 ROI들의 레코드를 찾을 것이다.
일 실시예에서는, 다수의 기준이 조합될 수 있다. 사용자는, 예를 들어, "continent"라는 단어를 갖고 어제 오후 2시쯤 보여진 ROI를 찾는 검색 기준을 입력할 수 있다. 그러면 이들 기준에 일치하거나 비슷한 레코드들이 확인될 것이다.
일 실시예에서, 사용자는 공간 컨텍스트 또는 시각적 시간 컨텍스트에 관한 검색 기준을 제공할 수 있다. 예를 들어, 사용자는 "My Computer" 아이콘의 바로 우측 ROI에서 콘텐츠를 본 것을 상기할 수 있다. 이러한 공간 컨텍스트 기준을 사용하는 검색을 수용하기 위해서, ROI 레코드는 공간 컨텍스트에 관한 데이터용 필드를 하나 이상 가질 수 있다. 일 실시예에서, 임의의 ROI 및 그 관련 데이터의 기록은, ROI에 인접하여 나타나는 텍스트 및/또는 이미지 데이터의 기록을 포함할 수 있다. 원하는 ROI에 대한 레코드는, 예를 들어, 텍스트 또는 이미지 데이터를 포함하는 필드를 하나 이상 가질 수 있고, 이러한 텍스트 또는 이미지는 본래의 시청 시간에 ROI에 인접하여 나타났던 것이다. 저장소의 레코드 세트에 대한 검색은 이러한 필드들에서 "My Computer" 아이콘에 관한 이미지 또는 텍스트를 찾을 것이다. 그러면, 검색은 "My Computer" 아이콘을 근처에 갖는 ROI들의 레코드들을 확인할 수 있다.
대안적으로, ROI 및 그 관련 데이터의 기록은 ROI의 각 인접 영역들에 대한 추가적인 레코드의 생성을 포함할 수 있다. 그리고, 이러한 레코드 각각은, 인접 영역의 레코드들에 대한 링크를 포함하는, 그들 자신의 공간 컨텍스트 필드를 포함할 것이다. 예를 들어, 사용자가 "My Computer" 아이콘 바로 옆에 나타난 콘텐츠를 찾고 있다고 가정하자. 이 경우, 검색은 콘텐츠 필드가 이 아이콘을 포함하는 레코드들을 추적할 것이다. 따라서, 검색은 콘텐츠 필드가 "My Computer" 아이콘을 포함하는 영역들에 대한 레코드를 찾을 것이다. 이러한 레코드는 그들 자신의 공간 컨텍스트 필드를 가질 것이며, 원하는 ROI에 대한 레코드를 포함하여, 이 아이콘에 인접했던 영역들의 레코드들을 가리킨다. "My Computer" 아이콘에 대한 레코드에서 공간 컨텍스트 링크는 따라서 "My Computer" 아이콘에 인접하는 ROI들에 대한 레코드들을 확인하는데 사용될 수 있다. 이러한 ROI 중 적어도 하나는 원하는 ROI일 것이다. 다른 예에서, 사용자는 애플리케이션에 의해 열렸던 문서(또는 그 일부) 바로 옆에 나타난 콘텐츠를 찾을 것이다. 여기서, 검색은 콘텐츠 필드가 이 문서 또는 그 일부를 포함하는 레코드들을 추적할 것이다. 따라서, 검색은 콘텐츠 필드가 이 문서를 포함하는 영역에 대한 레코드들을 찾을 것이다. 다시, 이러한 레코드들은 그들 자신의 공간 컨텍스트 필드를 갖고, 원하는 ROI의 레코드를 포함하여, 이 문서에 인접하였던 영역의 레코드들을 가리킨다. 문서에 대한 레코드에서 공간 컨텍스트 링크는 따라서 문서에 인접하는 ROI들에 대한 레코드들을 확인하는데 사용될 수 있다.
시각적 시간 컨텍스트에 관한 기준을 사용하는 검색을 구현하는데 비슷한 방식이 사용될 수 있다. 예를 들어, 사용자는 아이콘 c를 본 직후 ROI에서 콘텐츠를 본 것을 기억할 수 있다. 그러면, 사용자는 이러한 시간 참조를 사용하여 ROI의 콘텐츠를 복구하기를 원할 것이다. 이러한 시각적 시간 컨텍스트 기준을 사용하는 검색을 수용하기 위해서, ROI 레코드는 시각적 시간 컨텍스트에 관한 데이터용 필드를 하나 이상 가질 것이다. ROI 레코드는, 예를 들어, ROI 관측 이전 또는 이후에 시청되었던 텍스트 또는 이미지를 포함하는 하나 이상의 필드를 가질 수 있다. 이러한 실시예에서, ROI 및 그 관련 데이터의 기록은, 원하는 ROI 관측 이전 또는 이후에 시청되었던 텍스트 및/또는 이미지 데이터의 기록을 포함할 수 있다. 예로 돌아가서, 저장소의 레코드 세트에 대한 검색은 이들 필드에서 아이콘 c에 관한 이미지 또는 텍스트를 찾을 것이다. 따라서, 검색은 아이콘 c 시청 직전 또는 직후에 관측되었던 ROI에 대한 레코드들을 리턴할 것이다. 또한, 시각적 시간 컨텍스트는, 단일 이벤트로서가 아니라(예를 들어, 아이콘 c를 보았던 것 등), ROI 관측에 선행하거나 후속한 일련의 이벤트로서, 또는 ROI 관측을 포함한 일련의 이벤트로서 정의될 수 있다. 여기서, ROI 레코드는, 예를 들어, 텍스트 또는 이미지 데이터를 포함하는 필드를 하나 이상 가질 것이며, 텍스트 또는 이미지는 이러한 일련의 이벤트 중 시청된 것이다. 이러한 필드를 포함하는 레코드들에 대한 검색은 원하는 ROI에 이르게 될 것이다.
대안적으로, ROI 및 그 관련 데이터의 기록은, 원하는 ROI 관측 직전 및 직후 관측된 각 ROI들에 대한 추가적인 레코드들의 생성을 포함할 수 있다. 그리고, ROI에 대한 임의의 레코드는 직전 또는 직후에 관측된 이들 각각의 ROI들의 레코드들에 대한 링크를 포함하는 시간 시각적 컨텍스트 필드를 포함할 것이다. 이 경우, 사용자가 아이콘 c를 시청한 직후 시청된 콘텐츠를 검색하려고 하면, 콘텐츠 필드가 이 아이콘을 포함하는 레코드들이 검사될 것이다. 이들 레코드에서의 시각적 시간 컨텍스트 링크는 아이콘 c를 시청한 직후 관측된 ROI들에 대한 레코드들을 확인하는데 사용될 수 있다.
도 5로 돌아가서, 520에서는, 하나 이상의 가능한 매치가 사용자에게 제공될 수 있다. 정확한 매치가 리턴될 수 있고; 대안적인 실시예에서는, 비슷한 매치가 리턴될 수도 있다. 530에서는, 제공된 매치들 중에서 사용자의 선택이 수신된다. 540에서는, 선택된 레코드가 페치되고, 550에서는, 사용자에게 대응 콘텐츠가 제공된다. 일 실시예에서, 이러한 콘텐츠는, 예를 들어, 그것이 본래 시청되었던 애플리케이션을 사용하여 본래 파일을 제공하는 등, 그 본래 처리 컨텍스트에서 사용자에게 제공될 수 있다.
도 6은 일 실시예에서 ROI에 대한 레코드(600)를 도시한다. 6개의 필드가 도시되지만, 대안적인 실시예에서는 보다 많은 필드 또는 보다 적은 필드가 채택될 수 있다는 점이 이해되어야 한다. 필드 610은 ROI에서 관측된 콘텐츠를 포함하고; 이 콘텐츠는 ROI에서 곽측된 이미지, 텍스트형, 또는 기타 형태의 데이터일 수 있다. 필드 620은 필드 610의 이미지 또는 텍스트를 디스플레이하기 위해 채택되었던 애플리케이션을 확인한다. 일 실시예에서, 필드 620은 애플리케이션에서의 위치를 포함할 수도 있다(예를 들어, 애플리케이션에서의 선택된 옵션 등). 필드 630은 필드 620의 애플리케이션에 의해 열렸었고 ROI에서 관측된 이미지 또는 텍스트를 포함하였던 파일을 확인할 수 있다. 필드 620의 애플리케이션이 웹 브라우저이면, 필드 640은 ROI에서 시청된 웹페이지를 확인할 수 있다. 필드 650은 ROI가 관측되었던 시간 및/또는 이러한 시청의 지속시간 또는 체류 시간을 확인할 수 있다. 대안적인 실시예에서는, 각각에 대해 별도의 필드가 존재할 수도 있다. 필드 660은 ROI의 위치의 스크린 좌표를 확인할 수 있다. 일 실시예에서는, ROI 및 관련 데이터의 기록이 도 3에 도시된 바와 같이 사용자의 명백한 지시에 의해 발생되는 상황에서, 레코드(600) 등의 레코드가 사용될 수 있다.
도 7은 대안적인 실시예에서의 ROI에 대한 레코드를 도시한다. 본 특정 실시예에는 11개의 필드가 도시된다. 필드 710은 이미지 데이터 또는 텍스트형 데이터 등 ROI에서 관측된 콘텐츠를 포함할 수 있다. 필드 720은 필드 710의 이미지 또는 텍스트를 디스플레이하는데 채택된 애플리케이션을 확인할 수 있다. 일 실시예에서는, 필드 720이 애플리케이션에서의 위치를 포함할 수도 있다(예를 들어, 애플리케이션에서 선택된 옵션 등). 필드 730은 필드 720의 애플리케이션에 의해 열렸었고 ROI에서 관측된 이미지 또는 텍스트를 포함하였던 파일을 확인할 수 있다. 필드 720의 애플리케이션이 웹 브라우저이면, 필드 740은 ROI에서 시청된 웹페이지를 확인할 수 있다. 필드 750은 ROI가 관측되었던 시간 및/또는 이러한 시청의 지속시간 또는 체류 시간을 확인할 수 있다. 대안적인 실시예에서는, 각각에 대해 별도의 필드가 존재할 수도 있다. 필드 760은 ROI의 위치의 스크린 좌표를 확인할 수 있다.
필드 765는 ROI의 시간 컨텍스트에 관한 정보를 저장할 수 있다. 사용자가 통상적으로 시시각각 디스플레이의 다른 영역들에 집중할 수 있다는 점을 고려할 때, 본 필드는 레코드(700)의 ROI 관측 이전 및/또는 이후에 시청되는 영역들에 관한 정보를 저장할 수 있다. 예를 들어, 시간 컨텍스트 필드 765는, 상술된 바와 같이, 필드 710의 콘텐츠 시청 이전 또는 이후 사용자에 의해 시청된 것을 나타내는 이미지 데이터 또는 텍스트 데이터를 저장할 수 있다. 대안적으로, 필드 765는 다른 레코드들로의 링크를 하나 이상 저장할 수 있으며, 이들 다른 레코드들은 필드 710의 콘텐츠 시청 이전 또는 이후 사용자에 의해 관측된 ROI들에 대응한다. 필드 765는, 원하는 ROI 관측 이전 또는 이후 시청된 것을 검색 기준으로서 특정함으로써, 사용자가 레코드(700)을 검색할 수 있게 한다.
필드 770은 ROI의 공간 컨텍스트에 관한 정보를 저장할 수 있다. ROI는 통상적으로 디스플레이 상에 인접한 영역을 가질 것이므로, 이 필드는 이러한 인접 영역들에 관한 정보를 저장할 것이다. 예를 들어, 공간 컨텍스트 필드 770은 ROI에 인접하는 하나 이상의 영역에서 발생한 이미지 데이터 또는 텍스트 데이터를 저장할 수 있다. 대안적으로, 필드 770은 이러한 인접 영역들의 ROI들에 대응하는 다른 레코드들에 대한 하나 이상의 링크를 저장할 수 있다. 필드 770은 원하는 ROI에 인접하는 영역들에서 스크린 상에 존재하였던 것을 검색 기준으로서 특정함으로써 사용자가 레코드(700)를 검색할 수 있게 한다.
필드 775는 ROI의 사용자 행동 컨텍스트에 관한 정보를 저장할 수 있다. 사용자는 통상적으로 컴퓨터를 사용하는 과정에서 다양한 행동들을 수행할 것이다. 사용자는, 예를 들어, 애플리케이션을 시작하거나 닫고, 윈도우를 열거나 닫고, 이메일을 보내고, 버튼을 클릭하고, 스크롤을 행할 수 있다. 필드 775는 ROI 관측 이전 및/또는 이후에 취해지는 행동들을 특정하는 데이터를 저장할 수 있다. 이러한 데이터는, 예를 들어, 파일 a 열기, 또는 윈도우 Z 닫기, 또는 애플리케이션 X 열기를 설명할 수 있다. 필드 775는 원하는 ROI 관측 이전 또는 이후 사용자에 의해 수행되었던 것을 검색 기준으로서 특정함으로써 사용자가 레코드(700)를 검색할 수 있게 한다.
여러 실시예에서, 필드 765 내지 775는 실제로 하나 이상의 필드 또는 서브필드를 나타낼 수 있고, 각각의 필드 또는 서브필드는 특정 컨텍스트의 구성요소를 저장할 수 있다는 점에 주의하자. 필드 765의 경우, 예를 들어, 하나의 서브필드는 ROI 관측 이전에 시청되었던 것을 나타내는 데이터를 저장할 수 있고, 다른 서브필드는 ROI 관측 이후에 시청되었던 것을 나타내는 데이터를 저장할 수 있다. 필드 770의 경우, 하나의 서브필드는 ROI 아래에 있었던 텍스트 또는 이미지를 나타내는 데이터를 저장할 수 있고, 다른 서브필드는 ROI 위에 있었던 텍스트 또는 이미지를 나타내는 데이터를 저장할 수 있다, 등등. 필드 775의 경우, 하나의 서브필드는 ROI 관측 이전에 취해진 하나 이상의 행동을 특정하는 데이터를 저장할 수 있고, 다른 서브필드는 ROI 관측 이후에 취해진 하나 이상의 행동을 특정하는 데이터를 저장할 수 있다. 또한, ROI 관측 이전 또는 이후에 취해진 행동을 특정하는 데이터를 각각 저장하는 다수의 서브필드들이 사용될 수 있다.
일 실시예에서, 레코드(700) 등의 레코드는 도 2에 도시된 바와 같이 ROI들 및 관련 데이터의 기록이 연속적으로 발생하는 상황에서 사용될 수 있다.
하드웨어 엘리먼트, 소프트웨어 엘리먼트 또는 이들 양자 모두의 조합을 사용하여 다양한 실시예들이 구현될 수 있다. 하드웨어 엘리먼트의 예로서는, 프로세서, 마이크로프로세서, 회로, 회로 엘리먼트(예를 들어, 트랜지스터, 저항, 커패시터, 인덕터 등), 집적 회로, ASIC(application specific integrated circuits), PLD(programmable logic devices), DSP(digital signal processors), FPGA(field programmable gate array), 논리 게이트, 레지스터, 반도체 디바이스, 칩, 마이크로칩, 칩 셋 등이 포함될 수 있다. 소프트웨어의 예로서는, 소프트웨어 컴포넌트, 프로그램, 애플리케이션, 컴퓨터 프로그램, 애플리케이션 프로그램, 시스템 프로그램, 머신 프로그램, 운영 체제 소프트웨어, 미들웨어, 펌웨어, 소프트웨어 모듈, 루틴, 서브루틴, 함수, 메소드, 프로시져, 소프트웨어 인터페이스, API(application program interfaces), 명령어 세트, 컴퓨팅 코드, 컴퓨터 코드, 코드 세그먼트, 컴퓨터 코드 세그먼트, 워드, 값, 심볼 또는 이들의 임의의 조합이 포함될 수 있다. 일 실시예가 하드웨어 엘리먼트 및/또는 소프트웨어 엘리먼트를 사용하여 구현되는가를 결정하는 것은, 원하는 계산 속도, 파워 레벨, 내열성, 처리 사이클 예산, 입력 데이터 레이트, 출력 데이터 레이트, 메모리 리소스, 데이터 버스 속도 및 기타 설계 또는 성능 제약 등의 임의 개수의 요소에 따라 변경될 수 있다.
본 명세서에 사용되는 바와 같이, 소프트웨어라는 용어는, 컴퓨터 시스템이 본 명세서에 개시되는 하나 이상의 특징들 및/또는 특징들의 조합을 수행하게 하는 컴퓨터 프로그램 로직이 저장되는 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품을 지칭할 수 있다. 컴퓨터 판독가능 매체는 일시적이거나 또는 비일시적인 것일 수 있다. 일시적인 컴퓨터 판독가능 매체의 예는, 무선 주파수를 통하거나 또는 전기 전도체를 통해, 근거리 또는 광역 네트워크를 통해, 또는 인터넷 등의 네트워크를 통해 송신되는 디지털 신호일 수 있다. 비일시적 컴퓨터 판독가능 매체의 예는, 컴팩트 디스크, 플래시 메모리, 램덤 액세스 메모리, 리드-온리 메모리 또는 기타 데이터 스토리지 디바이스일 수 있다.
일 실시예에 따라 이러한 소프트웨어/펌웨어를 실행하는 컴퓨팅 시스템이 도 8에 도시된다. 도시된 시스템(800)은, 하나 이상의 프로세서(들)(820)를 포함할 수 있고, 메모리(810) 본체를 더 포함할 수 있다. 프로세서(들)(820)는 하나 이상의 중앙 처리부 코어 및/또는 하나 이상의 GPU 코어를 갖는 그래픽 처리부를 포함할 수 있다. 메모리(810)는 컴퓨터 프로그램 로직(840)을 저장할 수 있는 컴퓨터 판독가능 매체를 하나 이상 포함할 수 있다. 메모리(810)는, 예를 들어, 하드 디스크 및 드라이브, 컴팩트 디스크 등의 이동식 매체, ROM(read-only memory) 또는 RAM(random access memory) 디바이스, 이들의 조합으로서 구현될 수 있다. 프로세서(들)(820)와 메모리(810)는 버스 또는 지점-대-지점 상호접속 등 당업자들에게 알려진 여러 기술 중 임의의 것을 사용하여 통신할 수 있다. 메모리(810)에 포함되는 컴퓨터 프로그램 로직(840)은 프로세서(들)(820)에 의해 판독되고 실행될 수 있다. 통합하여 I/O(830)로 도시된 하나 이상의 I/O 포트 및/또는 I/O 디바이스 또한 프로세서(들)(820)와 메모리(810)에 접속될 수 있다. 일 실시예에서, I/O(830)는 도 1에 도시된 바와 같이 디스플레이(120) 및 카메라 장치(150)를 포함할 수 있다.
컴퓨터 프로그램 로직(840)은 상술된 처리를 구현하는 로직을 포함할 수 있다. 도시된 실시예에서, 컴퓨터 프로그램 로직(840)은 도 4를 참조하여 설명된 로직을 구현하는 데이터 캡쳐 모듈(850)을 포함할 수 있다. 컴퓨터 프로그램 로직(840)은, 또한, 상술된 로직(일 실시예에서, 도 4의 430 - 470)을 구현하고, 도 6 및 7의 포맷에 따라 데이터를 저장하는 데이터 스토리지 모듈(860)을 포함할 수 있다. 컴퓨터 프로그램 로직(840)은, 또한, 도 5를 참조하여 상술된 로직을 구현하는 요청 처리 모듈(870)을 포함할 수 있다. 컴퓨터 프로그램 로직(840)은, 또한, 사용자에 의해 시청된 디스플레이 위치의 판정을 수행하거나 또는 촉진하는 하나 이상의 처리 모듈을 포함할 수 있다. 대안적으로, 이러한 판정은 하드웨어 또는 하드웨어와 소프트웨어의 조합을 사용하여 수행될 수 있다.
본 명세서에 설명되는 시스템은 다기능성 정보 시스템의 일부일 수 있다. 도 9는 다기능성 정보 시스템의 실시예를 도시한다. 실시예에서, 시스템(900)은 미디어 시스템일 수 있지만 시스템(900)은 이러한 컨텍스트에 한정되는 것은 아니다. 예를 들어, 시스템(900)은, PC(personal computer), 랩탑 컴퓨터, 울트라-랩탑 컴퓨터, 태블릿, 터치 패드, 포터블 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, PDA(personal digital assistant), 이-리더, 셀룰러 전화, 컴비네이션 셀룰러 전화/PDA, 텔레비전, 스마트 디바이스(예를 들어, 스마트 폰, 스마트 태블릿 또는 스마트 텔레비전 등), MID(mobile internet device), 메시징 디바이스, 데이터 통신 디바이스 등에 통합될 수 있다.
실시예에서, 시스템(900)은 디스플레이(920)에 연결되는 플랫폼(902)을 포함한다. 플랫폼(902)은, 콘텐츠 서비스 디바이스(들)(930) 또는 콘텐츠 전달 디바이스(들)(940) 등의 콘텐츠 디바이스 또는 기타 유사한 콘텐츠 소스로부터 콘텐츠를 수신할 수 있다. 하나 이상의 내비게이션 피처들을 포함하는 내비게이션 컨트롤러(950)가, 예를 들어, 플랫폼(902) 및/또는 디스플레이(920)과 상호작용하는데 사용될 수 있다. 이들 컴포넌트 각각이 이하 보다 상세히 설명된다.
실시예에서, 플랫폼(902)은, 로직(905), 프로세서(910), 메모리(912), 스토리지(914), 그래픽 서브시스템(915), 애플리케이션(916) 및/또는 라디오(918)의 임의의 조합을 포함할 수 있다. 로직(905)은, I/O 컨트롤 로직 및/또는 메모리 컨트롤 로직을 포함할 수 있고, 프로세서(910), 메모리(912), 스토리지(914), 그래픽 서브시스템(915), 애플리케이션(916) 및/또는 라디오(918) 사이의 상호통신을 제공할 수 있다. 예를 들어, 로직(905)은 스토리지(914)와의 상호통신을 제공할 수 있는 스토리지 어댑터(도시되지 않음)를 포함할 수 있다. 대안적인 실시예에서, 로직(905)의 I/O 컨트롤 로직 및 메모리 컨트롤 로직은, 별개의 컴포넌트들에 구현될 수 있고, 프로세서(910)에 구현되거나 구현되지 않을 수도 있다.
프로세서(910)는, CISC(Complex Instruction Set Computer) 또는 RISC(Reduced Instruction Set Computer) 프로세서, x86 명령어 셋 호환형 프로세서, 멀티-코어 또는 임의의 다른 마이크로프로세서 또는 CPU(central processing unit)으로서 구현될 수 있다. 실시예에서, 프로세서(910)는 듀얼-코어 프로세서(들), 듀얼-코어 모바일 프로세서(들) 등을 포함할 수 있다.
메모리(912)는, 이에 한정되는 것은 아니지만, RAM(Random Access Memory), DRAM(Dynamic Random Access Memory) 또는 SRAM(Static RAM) 등의 휘발성 메모리 디바이스로서 구현될 수 있다.
스토리지(914)는, 이에 한정되는 것은 아니지만, 자기 디스크 드라이브, 광 디스크 드라이브, 테이프 드라이브, 내부 스토리지 디바이스, 부착형 스토리지 디바이스, 플래시 메모리, 배터리 백-업 SDRAM(synchronous DRAM), 및/또는 네트워크 액세스형 스토리지 디바이스 등의 비휘발성 스토리지 디바이스로서 구현될 수 있다. 실시예에서, 스토리지(914)는, 예를 들어, 다수의 하드 드라이브가 포함될 때 값비싼 디지털 미디어에 대해 스토리지 성능 강화 보호를 증가시키는 테크놀러지를 포함할 수 있다.
그래픽 서브시스템(915)은 디스플레이를 위해 스틸 또는 비디오 등의 이미지의 처리를 수행할 수 있다. 그래픽 서브시스템(915)은, 예를 들어, GPU(graphics processing unit) 또는 VPU(visual processing unit)일 수 있다. 그래픽 서브시스템(915)과 디스플레이(920)를 통신 결합하는데 아날로그 또는 디지털 인터페이스가 사용될 수 있다. 예를 들어, 이러한 인터페이스는, HDMI(High-Definition Multimedia Interface), DisplayPort, 무선 HDMI, 및/또는 무선 HD 순응형 기술 중 임의의 것일 수 있다. 그래픽 서브시스템(915)은 프로세서(910) 또는 칩셋(905)에 통합될 수 있다. 그래픽 서브시스템(915)은 칩셋(905)에 통신 결합되는 독립형 카드일 수 있다.
본 명세서에 개시되는 그래픽 및/또는 비디오 처리 기술은 다양한 하드웨어 아키텍쳐로 구현될 수 있다. 예를 들어, 그래픽 및/또는 비디오 기능성은 칩셋 내에 통합될 수 있다. 대안적으로, 개별 그래픽 및/또는 비디오 프로세서가 사용될 수 있다. 또 다른 실시예로서, 그래픽 및/또는 비디오 기능은 멀티-코어 프로세서를 포함하는 범용 프로세서에 의해 구현될 수 있다. 또 다른 실시예에서, 이러한 기능은 소비자 전자 디바이스에 구현될 수 있다.
라디오(918)는 다양한 적합한 무선 통신 기술을 사용하여 신호를 송수신할 수 있는 하나 이상의 라디오를 포함할 수 있다. 이러한 기술은 하나 이상의 무선 네트워크를 통하는 통신을 포함할 수 있다. 무선 네트워크의 예로는(이에 한정되는 것은 아니지만), WLAN(wireless local area networks), WPAN(wireless personal area networks), WMAN(wireless metropolitan area network), 셀룰러 네트워크 및 위성 네트워크가 포함된다. 이러한 네트워크를 통하는 통신에 있어서, 라디오(918)는 임의 버전의 하나 이상의 적용가능한 표준에 따라 동작할 수 있다.
실시예에서, 디스플레이(920)는, 임의의 모니터 또는 디스플레이를 포함할 수 있고, 도 1의 디스플레이(120)에 대응할 수 있다. 디스플레이(920)는, 예를 들어, 컴퓨터 디스플레이 스크린, 터치 스크린 디스플레이, 비디오 모니터, 텔레비전형 디바이스, 및/또는 텔레비전을 포함할 수 있다. 디스플레이(920)는 디지털 및/또는 아날로그일 수 있다. 실시예에서, 디스플레이(920)는 홀로그래픽 디스플레이일 수 있다. 또한, 디스플레이(920)는 시각적 투영을 수신하는 투명한 표면일 수 있다. 이러한 투영은 다양한 형태의 정보, 이미지, 및/또는 객체를 전달할 수 있다. 예를 들어, 이러한 투영은 MAR(mobile augmented reality) 애플리케이션에 대한 시각적 중첩일 수 있다. 하나 이상의 소프트웨어 애플리케이션(916)의 컨트롤하에, 플랫폼(902)은 디스플레이(920) 상에 사용자 인터페이스(922)를 디스플레이할 수 있다.
실시예에서, 콘텐츠 서비스 디바이스(들)(930)는, 임의의 국내, 국제 및/또는 독립적 서비스에 의해 호스트될 수 있고, 따라서, 예를 들어, 인터넷을 통해 플랫폼(902)에 액세스할 수 있다. 콘텐츠 서비스 디바이스(들)(930)는 플랫폼(902) 및/또는 디스플레이(920)에 연결될 수 있다. 플랫폼(902) 및/또는 콘텐츠 서비스 디바이스(들)(930)는 네트워크(960)에 연결되어 네트워크(960)와 미디어 정보를 통신(예를 들어, 송신 및/또는 수신 등)할 수 있다. 콘텐츠 전달 디바이스(들)(940) 또한 플랫폼(902) 및/또는 디스플레이(920)에 연결될 수 있다.
실시예에서, 콘텐츠 서비스 디바이스(들)(930)는, 케이블 텔레비전 박스, 개인용 컴퓨터, 네트워크, 전화, 인터넷 가능형 디바이스들 또는 디지털 정보 및/또는 콘텐츠를 전달할 수 있는 기기, 및 콘텐츠 프로바이더들과 플랫폼(902) 및 디스플레이(920) 사이에 네트워크(960)를 통해서 또는 직접 단방향으로 또는 쌍방항으로 콘텐츠를 통신할 수 있는 임의의 다른 유사 디바이스를 포함할 수 있다. 콘텐츠는 네트워크(960)을 통해 시스템(900)의 어느 하나의 컴포넌트 및 콘텐츠 프로바이더와 당방향으로 및/또는 쌍방향으로 통신될 수 있다는 점이 이해될 것이다. 콘텐츠의 예로는, 예를 들어, 비디오, 음악, 의료 및 게임 정보 등을 포함하는 임의의 미디어 정보가 포함될 수 있다.
콘텐츠 서비스 디바이스(들)(930)는, 미디어 정보, 디지털 정보를 포함하는 케이블 텔레비전 프로그래밍 등의 콘텐츠 및/또는 다른 콘텐츠를 수신한다. 콘텐츠 프로바이더의 예로는, 임의의 케이블 또는 위성 텔레비전, 라디오 또는 인터넷 콘텐츠 프로바이더가 포함될 수 있다. 제공된 예들이 본 발명의 실시예를 한정하려는 것은 아니다.
실시예에서, 플랫폼(902)은 하나 이상의 내비게이션 피처들을 갖는 내비게이션 컨트롤러(950)로부터 컨트롤 신호를 수신할 수 있다. 컨트롤러(950)의 내비게이션 피처들은, 예를 들어, 사용자 인터페이스(922)와 상호작용하는데 사용될 수 있다. 실시예에서, 내비게이션 컨트롤러(950)는, 사용자가 컴퓨터에 공간(예를 들어, 연속적이고 다차원인 것 등) 데이터를 입력할 수 있게 하는 컴퓨터 하드웨어 컴포넌트(구체적으로 인간 인터페이스 디바이스)일 수 있는 포인팅 디바이스일 수 있다. GUI(graphical user interfaces), 텔레비전 및 모니터 등 다수의 시스템은 사용자가 물리적 제스쳐를 사용하여 컴퓨터 또는 텔레비전을 컨트롤하고 이들에 데이터를 제공할 수 있게 한다.
컨트롤러(950)의 내비게이션 피처들의 이동은, 디스플레이 상에 표시되는 포인터, 커서, 포커스 링 또는 기타 시각적 표시자의 이동에 의해 디스플레이(예를 들어, 디스플레이(920) 등) 상에 반영될 수 있다. 예를 들어, 소프트웨어 애플리케이션(916)의 컨트롤하에, 내비게이션 컨트롤러(950) 상에 배치된 내비게이션 피처들은, 예를 들어, 사용자 인터페이스(922) 상에 표시되는 가상 내비게이션 피처들에 맵핑될 수 있다. 실시예에서, 컨트롤러(950)는 별도의 컴포넌트가 아니라 플랫폼(902) 및/또는 디스플레이(920)에 통합될 수도 있다. 그러나, 실시예가 본 명세서에 도시되거나 개시되는 엘리먼트 또는 컨텍스트에 한정되는 것은 아니다.
실시예에서, 드라이버(도시되지 않음)는, 예를 들어, 인에이블될 때, 초기 부트-업 이후 버튼의 터치에 의해 텔레비전 등 플랫폼(902)을 사용자가 즉시 턴 온 및 오프할 수 있게 하는 기술을 포함할 수 있다. 프로그램 로직은, 플랫폼이 턴 "오프"될 때, 플랫폼(902)이 미디어 어댑터 또는 기타 콘텐츠 서비스 디바이스(들)(930) 또는 콘텐츠 전달 디바이스(들)(940)에 콘텐츠를 스트리밍하는 것을 허용할 수 있다. 또한, 칩 셋(905)은, 예를 들어 5.1 서라운드 사운드 오디오 및/또는 고정밀 7.1 서라운드 사운드 오디오에 대한 하드웨어 및/또는 소프트웨어 지원을 포함할 수 있다. 드라이버는 통합형 그래픽 플랫폼에 대한 그래픽 드라이버를 포함할 수 있다. 실시예에서, 그래픽 드라이버는 PCI(peripheral component interconnect) Express 그래픽 카드를 포함할 수 있다.
여러 실시예에서, 시스템(900)에 도시된 임의의 하나 이상의 컴포넌트가 통합될 수 있다. 예를 들어, 플랫폼(902)과 콘텐츠 서비스 디바이스(들)(930)가 통합될 수 있거나, 또는 플랫폼(902)과 콘텐츠 전달 디바이스(들)(940)가 통합될 수 있거나, 또는 플랫폼(902), 컨텐츠 서비스 디바이스(들)(930) 및 콘텐츠 전달 디바이스(들)(940)가 통합될 수 있다. 여러 실시예에서, 플랫폼(902)과 디스플레이(920)는 통합된 유닛일 수 있다. 예를 들어, 디스플레이(920)와 콘텐츠 서비스 디바이스(들)(930)가 통합될 수 있거나, 또는 디스플레이(920)와 콘텐츠 전달 디바이스(들)(940)가 통합될 수 있다. 이들 예가 본 발명을 한정하려는 것은 아니다.
여러 실시예에서, 시스템(900)은, 무선 시스템, 유선 시스템 또는 이들 양자 모두의 조합으로서 구현될 수 있다. 무선 시스템으로서 구현될 때, 시스템(900)은, 하나 이상의 안테나, 송신기, 수신기, 송수신기, 증폭기, 필터, 컨트롤 로직 등 무선 공유 매체를 통해 통신하기에 적합한 컴포넌트 및 인터페이스를 포함할 수 있다. 무선 공유 매체의 일 예로는, RF 스펙트럼 등 무선 스펙트럼 부분이 포함될 수 있다. 유선 시스템으로서 구현될 때, 시스템(900)은, I/O(input/output) 어댑터, I/O 어댑터를 대응 유선 통신 매체와 접속시키는 물리적 커넥터, NIC(network interface card), 디스크 컨트롤러, 비디오 컨트롤러, 오디오 컨트롤러 등 유선 통신 매체를 통해 통신하기에 적합한 컴포넌트들 및 인터페이스들을 포함할 수 있다. 유선 통신 매체의 예로는, 배선, 케이블, 금속 리드, PCB(printed circuit board), 백플레인, 스위치 패브릭, 반도체 재료, 꼬임 쌍선, 동축 케이블, 광 섬유 등이 포함된다.
플랫폼(902)은 정보를 통신하기 위한 하나 이상의 논리적 또는 물리적 채널을 수립할 수 있다. 정보는 미디어 정보 및 컨트롤 정보를 포함할 수 있다. 미디어 정보는 사용자를 위해 의도된 콘텐츠를 나타내는 임의의 데이터를 지칭할 수 있다. 콘텐츠의 예로는, 예를 들어, 음성 대화로부터의 데이터, 비디오 회의, 스트리밍 미디오, 전자 메일("이메일") 메시지, 음성 메일 메시지, 영숫자 심볼, 그래픽, 이미지, 비디오, 텍스트 등이 포함될 수 있다. 음성 대화로부터의 데이터는, 예를 들어, 담화 정보, 침묵 주기, 배경 잡음, 컴포트 노이즈, 톤 등일 수 있다. 컨트롤 정보는, 자동화된 시스템용 커맨드, 명령어 또는 컨트롤 워드를 나타내는 임의의 데이터를 지칭할 수 있다. 예를 들어, 컨트롤 정보는, 시스템을 통해 미디어 정보를 라우트하거나 또는 소정 방식으로 미디어 정보를 처리하도록 노드에 명령하는데 사용될 수 있다. 그러나, 실시예가 도 9에 도시되거나 설명된 엘리먼트들 또는 컨텍스트에 한정되는 것은 아니다.
상술된 바와 같이, 시스템(900)은 다양한 물리적 스타일 또는 폼 팩터(form factor)로 구현될 수 있다. 도 10은 시스템(900)이 구현될 수 있는 소형 폼 팩터 디바이스(1000)의 실시예를 도시한다. 실시예에서, 예를 들어, 디바이스(1000)는 무선 능력이 있는 모바일 컴퓨팅 디바이스로서 구현될 수 있다. 모바일 컴퓨팅 디바이스는, 처리 시스템과 예를 들어 하나 이상의 배터리 등 모바일 전원을 갖는 임의의 디바이스를 지칭할 수 있다.
상술된 바와 같이, 모바일 컴퓨팅 디바이스의 예로는, PC, 랩탑 컴퓨터, 울트라-랩탑 컴퓨터, 태블릿, 터치 패드, 포터블 컴퓨터, 핸드헬드 컴퓨터, 팜탑 컴퓨터, PDA(personal digital assistant), 이-리더, 셀룰러 전화, 조합 셀룰러 전화/PDA, 텔레비전, 스마트 디바이스(예를 들어, 스마트 폰, 스마트 테이블 또는 스마트 텔레비전 등), MID(mobile internet device), 메시징 디바이스, 데이터 통신 디바이스 등이 포함될 수 있다.
모바일 컴퓨팅 디바이스의 예로는 사람에 의해 착용되는 방식의 컴퓨터도 포함될 수 있다. 실시예에서, 예를 들어, 모바일 컴퓨팅 디바이스는, 음성 통신 및/또는 데이터 통신뿐만 아니라 컴퓨터 애플리케이션들을 실행할 수 있는 스마트 폰으로서 구현될 수 있다. 일부 실시예들이 예를 들어 스마트 폰으로서 구현되는 모바일 컴퓨팅 디바이스에 의해 설명되더라도, 다른 무선 모바일 컴퓨팅 디바이스를 사용하여 다른 실시예도 구현될 수 있다는 점이 이해될 수 있다. 실시예가 이러한 컨텍스트에 한정되는 것은 아니다.
도 10에 도시된 바와 같이, 디바이스(1000)는, 하우징(1002), 디스플레이(1004), I/O(input/output) 디바이스(1006) 및 안테나(1008)를 포함할 수 있다. 디바이스(1000)는 또한 내비게이션 피처들(1012)을 포함할 수 있다. 디스플레이(1004)는 모바일 컴퓨팅 디바이스에 적절한 정보를 디스플레이하기에 적합한 임의의 디스플레이 유닛을 포함할 수 있다. I/O 디바이스(1006)는 모바일 컴퓨팅 디바이스에 정보를 입력하기에 적합한 임의의 적합한 I/O 디바이스를 포함할 수 있다. I/O 디바이스(1006)의 예로는, 영숫자 키보드, 숫자 키패드, 터치 패드, 입력 키, 버튼, 스위치, 로커 스위치, 마이크로폰, 스피커, 음성 인식 디바이스 및 소프트웨어 등이 포함될 수 있다. 정보는 또한 마이크로폰에 의해 디바이스(1000)에 입력될 수 있다. 이러한 정보는 음성 인식 디바이스에 의해 디지털화될 수 있다. 실시예가 이러한 컨텍스트에 한정되는 것은 아니다.
적어도 하나의 실시예의 하나 이상의 양상들은, 프로세서 내에서 다양한 로직을 나타내며 머신-판독가능 매체에 저장되는 전형적인 명령어들에 의해 구현될 수 있고, 이는 머신에 의해 판독될 때 머신으로 하여금 본 명세서에 개시되는 기술들을 수행하는 로직을 제조하도록 한다. "IP cores"라고 알려진 이러한 표현들은, 유형의 머신 판독가능 매체에 저장되어, 실제 로직 또는 프로세서를 이루는 제조 머신에 로드하기 위해 다양한 고객 또는 제조 설비에 제공될 수 있다.
기능, 특징 및 그 관계를 예시하는 기능적 구성 블록들의 도움으로 방법 및 시스템이 본 명세서에 개시된다. 이러한 기능적 구성 블록들의 경계들 중 적어도 일부는 설명의 편의상 본 명세서에 임의로 정의되었다. 그 특정된 기능 및 관계가 적절히 수행되는 한 대안적인 경계들이 정의될 수 있다.
본 명세서에 개시된 하나 이상의 특징들은, 하드웨어, 소프트웨어, 펌웨어 및 이들의 조합으로 구현될 수 있고, 이는 개별 및 집적 회로 로직, ASIC(application specific integrated circuit) 로직 및 마이크로컨트롤러를 포함하며, 도메인-특정 집적 회로 패키지의 일부로서, 또는 집적 회로 패키지의 조합으로서 구현될 수 있다. 본 명세서에 사용되는 바와 같이, 소프트웨어라는 용어는, 컴퓨터 시스템이 본 명세서에 개시되는 하나 이상의 특징들 및/또는 특징들의 조합을 수행하게 하는 컴퓨터 프로그램 로직이 저장되는 적어도 하나의 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품을 지칭한다. 컴퓨터 판독가능 매체는 일시적이거나 또는 비일시적인 것일 수 있다. 일시적인 컴퓨터 판독가능 매체의 예는, 무선 주파수를 통하거나 또는 전기 전도체를 통해, 근거리 또는 광역 네트워크를 통해, 또는 인터넷 등의 네트워크를 통해 송신되는 디지털 신호일 수 있다. 비일시적 컴퓨터 판독가능 매체의 예는, 컴팩트 디스크, 플래시 메모리, 또는 기타 데이터 스토리지 디바이스일 수 있다.
본 명세서에 다양한 실시예가 개시되지만, 이는 예시적인 것으로만 제공되는 것이고 제한적인 것은 아니라는 점이 이해되어야 한다. 당업자에게는, 본 명세서에 개시되는 방법 및 시스템의 사상 및 범위를 벗어나지 않고도, 형태 및 상세에 있어서 다양한 변경이 이루어질 수 있다는 점이 명백할 것이다. 따라서, 특허청구범위의 폭과 범위는 본 명세서에 개시된 임의의 실시예에 의해 한정되어서는 안 된다.
일 실시예에서, 상술한 처리를 구현하는 방법은, 디스플레이 상에서 사용자에 의해 관측된 관심 영역(region of interest, ROI)를 판정하는 단계, 그 영역에서 관측된 콘텐츠를 기록하는 단계, 그 콘텐츠의 처리 컨텍스트를 기록하는 단계, 기록된 정보를 저장소(repository)에 저장하는 단계, 및 기록된 정보를 차후에 요청시 사용자가 액세스할 수 있게 하는 단계를 포함할 수 있다.
콘텐츠는 텍스트 정보 및 이미지 정보 중 하나 이상을 포함할 수 있다. 처리 컨텍스트는, 그 영역에서 관측된 애플리케이션, 애플리케이션에서의 위치, 그 영역에서의 파일 오픈, 그 영역에 있는 파일에서의 위치, 그 영역에서 관측된 웹 페이지 및 그 영역에 있는 웹 페이지에서의 위치 중 하나 이상을 포함할 수 있다.
본 방법은, 상기 저장 단계 이전에 수행되며, 관심 영역이 관측된 시간을 기록하는 단계를 더 포함할 수 있다. 본 방법은, 또한, 상기 저장 단계 이전에 수행되며, 관측된 관심 영역의 스크린 좌표를 기록하는 단계를 포함할 수 있다.
저장 단계는, 레코드를 생성하는 단계 및 상기 기록된 정보를 레코드에 저장하는 단계를 포함할 수 있다. 이는, 레코드에, 하나 이상의 관련 레코드에 대한 링크를 저장하는 단계를 포함할 수 있다. 하나 이상의 관련 레코드는, 이미 관측된 관심 영역에 대한 레코드, 후속하여 관측된 관심 영역에 대한 레코드, 및 관측된 관심 영역에 인접하는 영역에 대한 레코드 중 적어도 하나를 포함할 수 있다. 저장 단계는 또한, 레코드에, 관측 전에 취해진 사용자 행동의 식별 정보, 및 관측 후에 취해진 사용자 행동의 식별 정보를 저장하는 단계를 포함할 수 있다. 저장 단계는, 또한, 레코드에, 사용자가 그 영역 상에 시각적으로 체류하였던 지속시간을 저장하는 단계를 포함할 수 있다.
정보를 액세스할 수 있게 하는 단계는, 사용자로부터 검색 기준을 수신하는 단계, 검색 기준에 일치하는 기록된 정보를 얻기 위해 저장소를 검색하는 단계, 검색 기준에 일치하는 임의의 기록된 정보에 대한 하나 이상의 참조를 사용자에게 리턴하는 단계, 사용자로부터 참조들 중 하나 이상의 선택을 수신하는 단계, 및 선택에 대응하는 콘텐츠를 대응 콘텐츠와 관련되어 재현된 컨텍스트에서 사용자에게 제공하는 단계를 포함할 수 있다. 검색 기준은, 관심 영역에서의 콘텐츠의 설명, 관심 영역이 관측된 시간 또는 시간의 범위에 대한 참조, 관심 영역이 관측된 디스플레이 상의 위치 또는 영역에 대한 참조, 관측 이전에 취해진 사용자 행동에 대한 참조, 관측 이후에 취해진 사용자 행동에 대한 참조, 이미 관측된 관심 영역에 대한 참조, 후속하여 관측된 관심 영역에 대한 참조, 및 관측된 관심 영역에 인접하는 영역에 대한 참조 중 하나 이상을 포함할 수 있다.
실시예는 컨트롤 로직을 저장하고 있는 비-일시적 컴퓨터 사용가능한 매체를 포함하는 컴퓨터 프로그램 제품에 의해 구현될 수 있고, 컴퓨터 컨트롤 로직은 프로세서로 하여금 상술된 처리를 수행하게 하는 로직을 포함한다.
일 실시예에서, 상술된 처리는, 프로세서 및 상기 프로세서와 통신하는 메모리를 포함하는 시스템에 의해 수행될 수 있고, 상기 메모리는, 디스플레이 상에 사용자에 의해 관측된 관심 영역(region of interest, ROI)를 판정하고, 그 영역에서 관측된 콘텐츠를 기록하고, 콘텐츠의 처리 컨텍스트를 기록하고, 기록된 정보를 저장소에 저장하고, 기록된 정보를 차후 요청시 사용자가 액세스할 수 있게 하도록 상기 프로세서에게 지시하도록 구성된 복수의 처리 명령어를 저장한다.
콘텐츠는 텍스트 정보 및 이미지 정보 중 하나 이상을 포함할 수 있다. 처리 컨텍스트는, 그 영역에서 관측된 애플리케이션, 애플리케이션에서의 위치, 그 영역에서의 파일 오픈, 그 영역에 있는 파일에서의 위치, 그 영역에서 관측된 웹 페이지 및 그 영역에 있는 웹 페이지에서의 위치 중 하나 이상을 포함할 수 있다.
복수의 처리 명령어는, 상기 저장 이전에 수행될 수 있으며, 관심 영역이 관측된 시간을 기록하도록 상기 프로세서에게 지시하도록 더 구성될 수 있다. 복수의 처리 명령어는, 저장 이전에 수행될 수 있으며, 관측된 관심 영역의 스크린 좌표를 기록하도록 상기 프로세서에게 지시하도록 더 구성될 수 있다.
저장 단계는, 레코드를 생성하는 단계 및 상기 기록된 정보를 레코드에 저장하는 단계를 포함할 수 있다. 복수의 처리 명령어는, 레코드에, 하나 이상의 관련 레코드에 대한 링크를 저장하도록 상기 프로세서에게 지시하도록 더 구성될 수 있다. 하나 이상의 관련 레코드는, 이미 관측된 관심 영역에 대한 레코드, 후속하여 관측된 관심 영역에 대한 레코드, 및 관측된 관심 영역에 인접하는 영역에 대한 레코드 중 적어도 하나를 포함할 수 있다. 기록된 정보를 레코드에 저장하도록 상기 프로세서에게 지시하도록 구성된 복수의 처리 명령어는, 관측 이전에 취해진 사용자 행동의 식별 정보, 및 관측 이후에 취해진 사용자 행동의 식별 정보 중 하나 이상을 저장하도록 상기 프로세서에게 지시하도록 구성된 복수의 처리 명령어를 포함할 수 있다. 레코드에, 기록된 정보를 저장하도록 상기 프로세서에게 지시하도록 구성된 복수의 처리 명령어는, 사용자가 그 영역 상에 시각적으로 체류하였던 지속시간을 저장하도록 상기 프로세서에게 지시하도록 구성된 복수의 명령어를 포함할 수 있다.
정보를 액세스할 수 있게 하도록 상기 프로세서에게 지시하도록 구성된 복수의 처리 명령어는, 사용자로부터 검색 기준을 수신하고, 검색 기준에 일치하는 기록된 정보를 얻기 위해 저장소를 검색하고, 검색 기준에 일치하는 임의의 기록된 정보에 대한 하나 이상의 참조를 사용자에게 리턴하고, 사용자로부터 참조들 중 하나 이상의 선택을 수신하고, 선택에 대응하는 콘텐츠를 대응 콘텐츠와 관련되어 재현된 컨텍스트에서 사용자에게 제공하도록 상기 프로세서에게 지시하도록 구성된 복수의 처리 명령어를 포함할 수 있다. 검색 기준은, 관심 영역에서의 콘텐츠의 설명, 관심 영역이 관측된 시간 또는 시간의 범위에 대한 참조, 관심 영역이 관측된 디스플레이 상의 위치 또는 영역에 대한 참조, 관측 이전에 취해진 사용자 행동에 대한 참조, 관측 이후에 취해진 사용자 행동에 대한 참조, 이미 관측된 관심 영역에 대한 참조, 후속하여 관측된 관심 영역에 대한 참조, 및 관측된 관심 영역에 인접하는 영역에 대한 참조 중 하나 이상을 포함할 수 있다.
시스템은 상기 저장소를 저장하도록 구성된 비휘발성 메모리를 더 포함할 수 있다. 시스템은 상기 저장소를 저장하도록 구성된 비휘발성 메모리에의 원격 액세스를 제공하도록 구성되는 네트워크로의 접속을 더 포함할 수 있다.
본 시스템, 방법 및 컴퓨터 프로그램 제품은, 정보 기기의 디스플레이 상에 사용자에 의해 이미 시청되었던 콘텐츠의 캡쳐 또는 상기(recall)를 가능하게 하는 이점이 있다. 추가적인 이점은 사용자가 그렇게 하는 명시적인 행동을 반드시 취할 필요가 없다는 점이다.

Claims (30)

  1. 디스플레이에서 제공되는 콘텐츠의 다수의 인스턴스 각각에 대해, 사용자의 안구 고시(eye fixation) 및 단속적 안구 운동(saccadic eye movement)들에 기초하여 콘텐츠의 부분을 식별하는 단계;
    상기 콘텐츠의 부분들을 데이터 저장소에 기록하는 단계;
    상기 콘텐츠의 부분들의 레코드들에 콘텐츠의 각각의 부분들에 관련된 컨텍스트 정보를 첨부하는(populating) 단계;
    상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되게 한 애플리케이션 프로그램, 상기 사용자의 관심 콘텐츠의 파일 타입, 상기 사용자의 관심 콘텐츠에 관련된 URL, 상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었던 시간, 상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었을 때의 상기 디스플레이의 위치, 상기 사용자의 관심 콘텐츠의 제공 이전에, 동시에, 및/또는 이후에 상기 디스플레이에서 제공된 콘텐츠에 관련된 정보, 및 상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었던 시간 이전에 및/또는 이후에 상기 사용자에 의해 수행된 행동의 표시 중 사용자가 특정한 하나 이상에 기초하여, 상기 레코드들의 하나 이상의 데이터 필드를 검색하여 콘텐츠의 기록된 부분들 중 상기 사용자의 관심 콘텐츠를 식별하는 단계; 및
    각각의 데이터 레코드가 사용자 쿼리를 만족시키는 콘텐츠의 하나 이상의 부분들을 상기 디스플레이에서 제공하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 첨부하는 단계는, 상기 콘텐츠의 각각의 부분이 상기 디스플레이에서 제공되게 한 애플리케이션 프로그램의 표시를 레코드의 애플리케이션 프로그램 필드에 첨부하는 단계를 포함하고,
    상기 검색하는 단계는, 상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되게 한 사용자 특정 애플리케이션 프로그램에 기초하여 상기 레코드의 애플리케이션 프로그램 필드를 검색하는 단계를 포함하는 방법.
  3. 제1항에 있어서,
    상기 첨부하는 단계는, 콘텐츠의 각각의 부분의 파일 타입을 레코드의 파일 타입 필드에 첨부하는 단계를 포함하고,
    상기 검색하는 단계는, 상기 사용자의 관심 콘텐츠의 사용자 특정 파일 타입에 기초하여 상기 레코드의 파일 타입 필드를 검색하는 단계를 포함하는 방법.
  4. 제1항에 있어서,
    상기 첨부하는 단계는, 콘텐츠의 각각의 부분의 URL을 레코드의 URL 필드에 첨부하는 단계를 포함하고,
    상기 검색하는 단계는, 상기 사용자의 관심 콘텐츠에 관련된 사용자 특정 URL에 기초하여 상기 레코드의 URL 필드를 검색하는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    상기 첨부하는 단계는, 콘텐츠의 각각의 부분이 상기 디스플레이에서 제공되었던 시간을 레코드의 시간 필드에 첨부하는 단계를 포함하고,
    상기 검색하는 단계는, 상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었던 사용자 특정 시간에 기초하여 상기 레코드의 시간 필드를 검색하는 단계를 포함하는 방법.
  6. 제1항에 있어서,
    상기 첨부하는 단계는, 콘텐츠의 각각의 부분이 제공되었을 때의 상기 디스플레이의 위치를 레코드의 위치 필드에 첨부하는 단계를 포함하고,
    상기 검색하는 단계는, 상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었을 때의 사용자 특정 위치에 기초하여 상기 레코드의 위치 필드를 검색하는 단계를 포함하는 방법.
  7. 제1항에 있어서,
    상기 첨부하는 단계는, 콘텐츠의 각각의 부분의 제공 이전에 및/또는 이후에 상기 디스플레이에서 제공된 콘텐츠에 관련된 정보를 레코드의 시간 컨텍스트 필드에 첨부하는 단계를 포함하고,
    상기 검색하는 단계는, 상기 사용자의 관심 콘텐츠의 제공 이전에 및/또는 이후에 상기 디스플레이에서 제공된 콘텐츠에 관련된 사용자 특정 정보에 기초하여 상기 레코드의 시간 컨텍스트 필드를 검색하는 단계를 포함하는 방법.
  8. 제1항에 있어서,
    상기 첨부하는 단계는, 콘텐츠의 각각의 부분의 제공과 동시에 상기 디스플레이에서 제공된 콘텐츠에 관련된 정보를 레코드의 공간 컨텍스트 필드에 첨부하는 단계를 포함하고,
    상기 검색하는 단계는, 상기 사용자의 관심 콘텐츠의 제공과 동시에 상기 디스플레이에서 제공된 콘텐츠에 관련된 사용자 특정 정보에 기초하여 상기 레코드의 공간 컨텍스트 필드를 검색하는 단계를 포함하는 방법.
  9. 제1항에 있어서,
    상기 첨부하는 단계는, 콘텐츠의 각각의 부분이 상기 디스플레이에서 제공되었던 시간 이전에 및/또는 이후에 상기 사용자에 의해 수행된 행동의 표시를 레코드의 사용자 행동 필드에 첨부하는 단계를 포함하고,
    상기 검색하는 단계는, 상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었던 시간 이전에 및/또는 이후에 상기 사용자에 의해 수행된 행동의 사용자 특정 표시에 기초하여 상기 레코드의 사용자 행동 필드를 검색하는 단계를 포함하는 방법.
  10. 제1항에 있어서,
    상기 식별하는 단계, 상기 기록하는 단계 및 상기 첨부하는 단계를 수행하는 동안 상기 검색하는 단계 및 상기 제공하는 단계를 수행하는 단계를 더 포함하는 방법.
  11. 프로세서 및 메모리를 포함하는 시스템으로서, 상기 프로세서 및 메모리는,
    디스플레이에서 제공되는 콘텐츠의 다수의 인스턴스 각각에 대해, 사용자의 안구 고시 및 단속적 안구 운동들에 기초하여 콘텐츠의 부분을 식별하고;
    상기 콘텐츠의 부분들을 데이터 저장소에 기록하고;
    상기 콘텐츠의 부분들의 레코드들에 콘텐츠의 각각의 부분들에 관련된 컨텍스트 정보를 첨부하고;
    상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되게 한 애플리케이션 프로그램, 상기 사용자의 관심 콘텐츠의 파일 타입, 상기 사용자의 관심 콘텐츠에 관련된 URL, 상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었던 시간, 상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었을 때의 상기 디스플레이의 위치, 상기 사용자의 관심 콘텐츠의 제공 이전에, 동시에, 및/또는 이후에 상기 디스플레이에서 제공된 콘텐츠에 관련된 정보, 및 상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었던 시간 이전에 및/또는 이후에 상기 사용자에 의해 수행된 행동의 표시 중 사용자가 특정한 하나 이상에 기초하여, 상기 레코드들의 하나 이상의 데이터 필드를 검색하여 콘텐츠의 기록된 부분들 중 상기 사용자의 관심 콘텐츠를 식별하고;
    각각의 데이터 레코드가 사용자 쿼리를 만족시키는 콘텐츠의 하나 이상의 부분들을 상기 디스플레이에서 제공하도록 구성되는 시스템.
  12. 제11항에 있어서,
    상기 프로세서 및 메모리는 또한,
    상기 콘텐츠의 각각의 부분이 상기 디스플레이에서 제공되게 한 애플리케이션 프로그램의 표시를 레코드의 애플리케이션 프로그램 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되게 한 사용자 특정 애플리케이션 프로그램에 기초하여 상기 레코드의 애플리케이션 프로그램 필드를 검색하도록 구성되는 시스템.
  13. 제11항에 있어서,
    상기 프로세서 및 메모리는 또한,
    콘텐츠의 각각의 부분의 파일 타입을 레코드의 파일 타입 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠의 사용자 특정 파일 타입에 기초하여 상기 레코드의 파일 타입 필드를 검색하도록 구성되는 시스템.
  14. 제11항에 있어서,
    상기 프로세서 및 메모리는 또한,
    콘텐츠의 각각의 부분의 URL을 레코드의 URL 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠에 관련된 사용자 특정 URL에 기초하여 상기 레코드의 URL 필드를 검색하도록 구성되는 시스템.
  15. 제11항에 있어서,
    상기 프로세서 및 메모리는 또한,
    콘텐츠의 각각의 부분이 상기 디스플레이에서 제공되었던 시간을 레코드의 시간 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었던 사용자 특정 시간에 기초하여 상기 레코드의 시간 필드를 검색하도록 구성되는 시스템.
  16. 제11항에 있어서,
    상기 프로세서 및 메모리는 또한,
    콘텐츠의 각각의 부분이 제공되었을 때의 상기 디스플레이의 위치를 레코드의 위치 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었을 때의 사용자 특정 위치에 기초하여 상기 레코드의 위치 필드를 검색하도록 구성되는 시스템.
  17. 제11항에 있어서,
    상기 프로세서 및 메모리는 또한,
    콘텐츠의 각각의 부분의 제공 이전에 및/또는 이후에 상기 디스플레이에서 제공된 콘텐츠에 관련된 정보를 레코드의 시간 컨텍스트 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠의 제공 이전에 및/또는 이후에 상기 디스플레이에서 제공된 콘텐츠에 관련된 사용자 특정 정보에 기초하여 상기 레코드의 시간 컨텍스트 필드를 검색하도록 구성되는 시스템.
  18. 제11항에 있어서,
    상기 프로세서 및 메모리는 또한,
    콘텐츠의 각각의 부분의 제공과 동시에 상기 디스플레이에서 제공된 콘텐츠에 관련된 정보를 레코드의 공간 컨텍스트 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠의 제공과 동시에 상기 디스플레이에서 제공된 콘텐츠에 관련된 사용자 특정 정보에 기초하여 상기 레코드의 공간 컨텍스트 필드를 검색하도록 구성되는 시스템.
  19. 제11항에 있어서,
    상기 프로세서 및 메모리는 또한,
    콘텐츠의 각각의 부분이 상기 디스플레이에서 제공되었던 시간 이전에 및/또는 이후에 상기 사용자에 의해 수행된 행동의 표시를 레코드의 사용자 행동 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었던 시간 이전에 및/또는 이후에 상기 사용자에 의해 수행된 행동의 사용자 특정 표시에 기초하여 상기 레코드의 사용자 행동 필드를 검색하도록 구성되는 시스템.
  20. 제11항에 있어서,
    상기 프로세서 및 메모리는 또한,
    상기 디스플레이에서 제공되는 콘텐츠의 부분을 참조하여 레코드를 식별하고, 기록하고, 첨부하는 동안, 상기 레코드들의 하나 이상의 필드를 검색하고 상기 콘텐츠의 하나 이상의 부분을 제공하도록 구성되는 시스템.
  21. 명령어들을 포함하는 컴퓨터 프로그램으로 인코딩된 비일시적인 컴퓨터 판독가능 매체로서, 상기 명령어들은 프로세서로 하여금,
    디스플레이에서 제공되는 콘텐츠의 다수의 인스턴스 각각에 대해, 사용자의 안구 고시 및 단속적 안구 운동들에 기초하여 콘텐츠의 부분을 식별하고;
    상기 콘텐츠의 부분들을 데이터 저장소에 기록하고;
    상기 콘텐츠의 부분들의 레코드들에 콘텐츠의 각각의 부분들에 관련된 컨텍스트 정보를 첨부하고;
    상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되게 한 애플리케이션 프로그램, 상기 사용자의 관심 콘텐츠의 파일 타입, 상기 사용자의 관심 콘텐츠에 관련된 URL, 상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었던 시간, 상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었을 때의 상기 디스플레이의 위치, 상기 사용자의 관심 콘텐츠의 제공 이전에, 동시에, 및/또는 이후에 상기 디스플레이에서 제공된 콘텐츠에 관련된 정보, 및 상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었던 시간 이전에 및/또는 이후에 상기 사용자에 의해 수행된 행동의 표시 중 사용자가 특정한 하나 이상에 기초하여, 상기 레코드들의 하나 이상의 데이터 필드를 검색하여 콘텐츠의 기록된 부분들 중 상기 사용자의 관심 콘텐츠를 식별하고;
    각각의 데이터 레코드가 사용자 쿼리를 만족시키는 콘텐츠의 하나 이상의 부분들을 상기 디스플레이에서 제공하게 하는, 비일시적인 컴퓨터 판독가능 매체.
  22. 제21항에 있어서,
    상기 프로세서로 하여금,
    상기 콘텐츠의 각각의 부분이 상기 디스플레이에서 제공되게 한 애플리케이션 프로그램의 표시를 레코드의 애플리케이션 프로그램 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되게 한 사용자 특정 애플리케이션 프로그램에 기초하여 상기 레코드의 애플리케이션 프로그램 필드를 검색하게 하는 명령어들을 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  23. 제21항에 있어서,
    상기 프로세서로 하여금,
    콘텐츠의 각각의 부분의 파일 타입을 레코드의 파일 타입 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠의 사용자 특정 파일 타입에 기초하여 상기 레코드의 파일 타입 필드를 검색하게 하는 명령어들을 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  24. 제21항에 있어서,
    상기 프로세서로 하여금,
    콘텐츠의 각각의 부분의 URL을 레코드의 URL 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠에 관련된 사용자 특정 URL에 기초하여 상기 레코드의 URL 필드를 검색하게 하는 명령어들을 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  25. 제21항에 있어서,
    상기 프로세서로 하여금,
    콘텐츠의 각각의 부분이 상기 디스플레이에서 제공되었던 시간을 레코드의 시간 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었던 사용자 특정 시간에 기초하여 상기 레코드의 시간 필드를 검색하게 하는 명령어들을 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  26. 제21항에 있어서,
    상기 프로세서로 하여금,
    콘텐츠의 각각의 부분이 제공되었을 때의 상기 디스플레이의 위치를 레코드의 위치 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었을 때의 사용자 특정 위치에 기초하여 상기 레코드의 위치 필드를 검색하게 하는 명령어들을 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  27. 제21항에 있어서,
    상기 프로세서로 하여금,
    콘텐츠의 각각의 부분의 제공 이전에 및/또는 이후에 상기 디스플레이에서 제공된 콘텐츠에 관련된 정보를 레코드의 시간 컨텍스트 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠의 제공 이전에 및/또는 이후에 상기 디스플레이에서 제공된 콘텐츠에 관련된 사용자 특정 정보에 기초하여 상기 레코드의 시간 컨텍스트 필드를 검색하게 하는 명령어들을 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  28. 제21항에 있어서,
    상기 프로세서로 하여금,
    콘텐츠의 각각의 부분의 제공과 동시에 상기 디스플레이에서 제공된 콘텐츠에 관련된 정보를 레코드의 공간 컨텍스트 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠의 제공과 동시에 상기 디스플레이에서 제공된 콘텐츠에 관련된 사용자 특정 정보에 기초하여 상기 레코드의 공간 컨텍스트 필드를 검색하게 하는 명령어들을 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  29. 제21항에 있어서,
    상기 프로세서로 하여금,
    콘텐츠의 각각의 부분이 상기 디스플레이에서 제공되었던 시간 이전에 및/또는 이후에 상기 사용자에 의해 수행된 행동의 표시를 레코드의 사용자 행동 필드에 첨부하고,
    상기 사용자의 관심 콘텐츠가 상기 디스플레이에서 제공되었던 시간 이전에 및/또는 이후에 상기 사용자에 의해 수행된 행동의 사용자 특정 표시에 기초하여 상기 레코드의 사용자 행동 필드를 검색하게 하는 명령어들을 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
  30. 제21항에 있어서,
    상기 프로세서로 하여금,
    상기 디스플레이에서 제공되는 콘텐츠의 부분을 참조하여 레코드를 식별하고, 기록하고, 첨부하는 동안, 상기 레코드들의 하나 이상의 필드를 검색하고 상기 콘텐츠의 하나 이상의 부분을 제공하게 하는 명령어들을 더 포함하는, 비일시적인 컴퓨터 판독가능 매체.
KR1020147026951A 2012-04-23 2012-04-23 관찰 정보의 검색 및 관련 특정 컨텍스트의 검색을 위해 안구 운동 추적을 사용하는 시스템, 방법 및 컴퓨터 프로그램 제품 KR101638812B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/034700 WO2013162508A1 (en) 2012-04-23 2012-04-23 System, method, and computer program product for using eye movement tracking for retrieval of observed information and of related specific context

Publications (2)

Publication Number Publication Date
KR20140129293A KR20140129293A (ko) 2014-11-06
KR101638812B1 true KR101638812B1 (ko) 2016-07-12

Family

ID=49483622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147026951A KR101638812B1 (ko) 2012-04-23 2012-04-23 관찰 정보의 검색 및 관련 특정 컨텍스트의 검색을 위해 안구 운동 추적을 사용하는 시스템, 방법 및 컴퓨터 프로그램 제품

Country Status (7)

Country Link
US (1) US9483480B2 (ko)
EP (1) EP2842065A4 (ko)
JP (1) JP5969108B2 (ko)
KR (1) KR101638812B1 (ko)
CN (1) CN104205101B (ko)
TW (1) TWI570593B (ko)
WO (1) WO2013162508A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2842065A4 (en) 2012-04-23 2016-09-28 Intel Corp SYSTEM, METHOD AND COMPUTER PROGRAM PRODUCT FOR USING EYE MOTION TRACKING FOR OBSERVED INFORMATION EXTRACTION AND ACCURATE CONTEXT THEREFOR
KR101848475B1 (ko) 2014-06-30 2018-04-13 주식회사 퓨처플레이 문맥 정보에 기초하여 스크롤을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN104318223A (zh) * 2014-11-18 2015-01-28 新开普电子股份有限公司 一种人脸显著特征位置标定方法及系统
BR102019007123A2 (pt) * 2018-04-16 2019-10-29 Panasonic Avionics Corp assistentes digitais e métodos associados para um veículo de transporte
CN109726167B (zh) * 2018-12-29 2023-08-18 咪咕数字传媒有限公司 一种信息提示方法、装置及存储介质
CN111488057B (zh) * 2020-03-30 2022-08-09 维沃移动通信有限公司 页面内容处理方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002238856A (ja) * 2000-12-08 2002-08-27 Xerox Corp 眼球追跡データを分析するシステムおよび方法
WO2006110472A2 (en) * 2005-04-07 2006-10-19 User Centric, Inc. Website evaluation tool

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4974010A (en) * 1989-06-09 1990-11-27 Lc Technologies, Inc. Focus control system
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6873314B1 (en) * 2000-08-29 2005-03-29 International Business Machines Corporation Method and system for the recognition of reading skimming and scanning from eye-gaze patterns
US6886137B2 (en) * 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
US7343365B2 (en) * 2002-02-20 2008-03-11 Microsoft Corporation Computer system architecture for automatic context associations
JP2005025550A (ja) * 2003-07-03 2005-01-27 Fujitsu Ltd 電子文書管理装置および管理方法
US7365738B2 (en) * 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
US7590310B2 (en) * 2004-05-05 2009-09-15 Facet Technology Corp. Methods and apparatus for automated true object-based image analysis and retrieval
US7783645B2 (en) * 2005-12-14 2010-08-24 Siemens Aktiengesellschaft Methods and apparatus to recall context relevant information
JP2007226357A (ja) * 2006-02-21 2007-09-06 Canon Inc データ閲覧装置及び方法、並びにプログラム及び記録媒体
EP2002322B1 (en) * 2006-03-23 2009-07-15 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation
JP2007287018A (ja) * 2006-04-19 2007-11-01 Fujifilm Corp 診断支援システム
US8255827B2 (en) 2009-01-26 2012-08-28 Microsoft Corporation Dynamic feature presentation based on vision detection
EP2264988A1 (en) * 2009-06-18 2010-12-22 Deutsche Telekom AG Method of detecting a current user activity and environment context of a user of a mobile phone using an accelerator sensor and a microphone, computer program product, and mobile phone
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
EP2842065A4 (en) 2012-04-23 2016-09-28 Intel Corp SYSTEM, METHOD AND COMPUTER PROGRAM PRODUCT FOR USING EYE MOTION TRACKING FOR OBSERVED INFORMATION EXTRACTION AND ACCURATE CONTEXT THEREFOR

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002238856A (ja) * 2000-12-08 2002-08-27 Xerox Corp 眼球追跡データを分析するシステムおよび方法
WO2006110472A2 (en) * 2005-04-07 2006-10-19 User Centric, Inc. Website evaluation tool

Also Published As

Publication number Publication date
TWI570593B (zh) 2017-02-11
TW201403384A (zh) 2014-01-16
US9483480B2 (en) 2016-11-01
WO2013162508A1 (en) 2013-10-31
CN104205101A (zh) 2014-12-10
KR20140129293A (ko) 2014-11-06
EP2842065A4 (en) 2016-09-28
EP2842065A1 (en) 2015-03-04
US20140006463A1 (en) 2014-01-02
CN104205101B (zh) 2018-07-03
JP2015518592A (ja) 2015-07-02
JP5969108B2 (ja) 2016-08-10

Similar Documents

Publication Publication Date Title
US11847314B2 (en) Machine translation method and electronic device
KR101634154B1 (ko) 눈 추적에 기초한 디스플레이의 선택적 백라이팅
CN109313812B (zh) 具有上下文增强的共享体验
CN110276007B (zh) 用于提供信息的装置和方法
US10921979B2 (en) Display and processing methods and related apparatus
US9448694B2 (en) Graphical user interface for navigating applications
US8743021B1 (en) Display device detecting gaze location and method for controlling thereof
KR101638812B1 (ko) 관찰 정보의 검색 및 관련 특정 컨텍스트의 검색을 위해 안구 운동 추적을 사용하는 시스템, 방법 및 컴퓨터 프로그램 제품
US8849845B2 (en) System and method for displaying search results on electronic devices
CN108920515B (zh) 网页显示过程的信息推荐方法、装置、设备及存储介质
KR102178892B1 (ko) 정보 제공 방법 및 그 전자 장치
EP2866159A1 (en) Electronic device and method for controlling a screen
KR20170059201A (ko) 전자 장치 및 전자 장치의 컨텐츠 출력 방법
CN110391966B (zh) 一种消息处理方法、装置和用于消息处理的装置
US20140223273A1 (en) Mobile terminal and control method thereof
CN112307294B (zh) 一种数据处理方法及装置
US20180188907A1 (en) Content item state retrieval system
US20190114131A1 (en) Context based operation execution
US10482151B2 (en) Method for providing alternative service and electronic device thereof
KR102335207B1 (ko) 전자 장치 및 그의 소셜 미디어 컨텐츠 제공 방법
US11122324B2 (en) Method for displaying video related service, storage medium, and electronic device therefor
EP2450803A1 (en) System and method for displaying search results on electronic devices
CN112818205B (zh) 页面处理方法、装置、电子设备、存储介质及产品
US20160299566A1 (en) Retrieving focus-based information
KR101218684B1 (ko) 이동 단말기 및 이동 단말기의 데이터 출력 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant