KR20160068830A

KR20160068830A - 아이 트래킹

Info

Publication number: KR20160068830A
Application number: KR1020167011489A
Authority: KR
Inventors: 봉신 리; 케네스 피. 힝클리; 스티븐 엔. 배티쉬
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2013-10-11
Filing date: 2014-10-08
Publication date: 2016-06-15
Also published as: EP3055753A1; WO2015054328A1; WO2015054326A1; CN105745601A; US20150102981A1; US20150106386A1

Abstract

본 발명은 아이 트래킹에 관한 것이다. 하나의 예는, 웨어러블 안경 디바이스를 사용하여, 사용자가 보고 있는 위치를 식별하고 그 위치에 있는 컨텐츠를 식별할 수 있으며, 웨어러블 안경 디바이스는, 사용자의 머리에 웨어러블 안경 디바이스를 위치시키도록 구성된 프레임, 사용자의 눈 중의 적어도 하나의 배향을 추적하도록 구성된 제1 센서 세트, 사용자의 시야를 동시에 식별하도록 구성된 제2 센서 세트, 및 사용자의 눈의 배향을 시야 내의 위치와 상관시키고 위치로부터의 컨텐츠를 기록하도록 구성된 상관 컴포넌트를 포함한다.

Description

아이 트래킹{EYE TRACKING}

본 발명은 아이 트래킹(eye tracking)에 관한 것이다.

컴퓨팅 자원을 이용하는데 있어서 사용자를 돕도록 다양한 시도가 행해져 왔다. 예를 들어, 사용자 검색 질의(search query) 및 결과의 선택이 미래 검색을 맞춤화(customize)하기를 시도하도록 저장될 수 있다. 그러나, 이들 시도는 사용자가 타이핑하고 클릭한 것을 아는 것 이상으로 사용자에 대한 통찰력을 거의 제공하지 못한다.

본 발명은 아이 트래킹(eye tracking)에 관한 것이다. 하나의 예는, 사용자가 보고 있는 위치를 식별하도록 구성된 센서를 포함한다. 이 예는 또한, 그 위치에 있는 컨텐츠를 식별하도록 구성된 컨텐츠 상관(content correlation) 컴포넌트를 포함한다.

또다른 예는, 디지털 컨텐츠를 디스플레이하고, 사용자가 디지털 컨텐츠의 서브세트를 보고 있다고 결정할 수 있다. 이 예는 사용자와 디지털 컨텐츠의 서브세트를 관련시킬 수 있다. 예는 디지털 컨텐츠의 서브세트가 사용자와 연관된 메모리 모방(memory-mimicking) 사용자 프로파일에 추가되게 할 수 있다. 메모리 모방 사용자 프로파일은 사용자가 이전에 본 것에 관련된 검색가능한 데이터를 포함할 수 있다.

상기 열거된 예들은 독자들을 돕기 위한 빠른 참조를 제공하고자 한 것이며, 여기에 기재된 개념의 범위를 정의하도록 의도되지 않는다.

첨부 도면은 본 명세서에서 전달되는 개념의 구현을 예시한다. 예시된 구현의 특징은 첨부 도면과 함께 취해진 다음의 설명을 참조함으로써 보다 용이하게 이해될 수 있다. 다양한 도면들에서 유사한 참조 번호는 유사한 요소들을 나타내도록 실현가능한 곳마다 사용된다. 또한, 각 참조 번호의 가장 왼쪽의 숫자는 그 참조 번호가 처음 소개되는 도면 및 관련 설명을 전달한다.
도 1은 본 개념의 일부 구현에 따른 예시적인 시각화 기술의 흐름도이다.
도 2 내지 도 8은 본 개념의 일부 구현에 따른 예시적인 시각화 시나리오를 예시한다.
도 9 내지 도 15는 본 개념의 일부 구현에 따른 예시적인 시각화 시스템을 도시한다.
도 16 및 도 17은 본 개념의 일부 구현에 따른 예시적인 시각화 기술의 흐름도이다.

본 발명은 아이 트래킹을 통해 사용자(들)가 보는 것을 결정하는 것에 관한 것이다. 그 다음, 사용자가 보는 것에 관한 정보는 사용자에게 강화된 사용자 경험을 제공하도록 그리고/또는 다른 용도에 사용될 수 있다.

서두 목적으로 방법(100)을 도시한 도 1을 고려하자. 방법은 102에서 사용자의 시각적 경험(예를 들어, 시각화(visualization))을 추적할 수 있다. 시각화 및 관련 메타데이터는 "시각화 정보(visualization information)"라 불릴 수 있다. 방법은 단일 사용자에 대해 설명되지만, 복수의 사용자들에게도 적용될 수 있다. 일부 구현은 디지털 컨텐츠에 관한 것일 수 있다(예를 들어, 사용자가 무슨 디지털 컨텐츠를 보았는지). 디지털 컨텐츠는 (텍스트와 같은) 문자, 이미지, 및/또는 다른 형태의 디지털 컨텐츠일 수 있다. 예를 들어, 이들 구현은 사용자가 디스플레이 디바이스를 볼 때에 디스플레이 디바이스 상의 무슨 특정 디지털 컨텐츠를 사용자가 보고 있는지 결정할 수 있다. 예를 들어, 구현은, 사용자가 위치 "A"를 보고 있고 그 때에 컨텐츠 "B"가 위치 "A"에 디스플레이되었다고 결정할 수 있다.

다른 구현은 디지털 컨텐츠에 한정되지 않는다. 이들 구현은 사용자가 물리적 컨텐츠(예를 들어, 디지털 컨텐츠가 아님)를 보고 있을 때를 결정할 수 있다. 따라서, 물리적 컨텐츠 및 디지털 컨텐츠 둘 다의 보기(viewing)가 추적될 수 있다. 104에서, 이 시각화 정보가 사용자의 프로파일에 추가될 수 있다. 하나의 관점에서 고려하면, 시각화 정보는 "메모리 모방 사용자 프로파일"을 생성하는데 사용될 수 있거나 기존의 메모리 모방 사용자 프로파일에 추가될 수 있다. 따라서, 본 명세서에서 사용될 때에, "컨텐츠"는 사용자가 볼 수 있는 임의의 것일 수 있고, "본 컨텐츠(viewed content)"는 사용자가 본 컨텐츠의 서브세트이다. 컨텐츠 및/또는 본 컨텐츠는 시각화 정보의 일부로서 취급될 수 있다.

방법은 106에서 메모리 모방 사용자 프로파일의 시각화 정보를 레버리징(leveraging)함으로써 사용자에 대해 강화된 서비스를 제공할 수 있다. 하나의 관점에서, 시각화 정보는 사용자 경험 및/또는 미래 사용자 경험을 강화하도록 사용될 수 있다. 예를 들어, 사용자는 "나는 화성에서 물을 찾기 위한 화성 탐사 로봇 미션에 관해 읽은 것을 기억한다"를 질의할 수 있다. 사용자가 본 대응하는 컨텐츠를 조회(retrieve)하도록 메모리 모방 사용자 프로파일의 시각화 정보가 검색될 수 있다. 물론, 이는 메모리 모방 사용자 프로파일이 사용자 경험을 강화하도록 이용될 수 있는 하나의 방식일 뿐이며, 이의 일부가 아래에 기재된다. 또한, 시각화 정보는 메모리 모방 사용자 프로파일을 넘어 다른 목적에도 사용될 수 있다.

도 2 내지 도 10은 본 시각화 개념이 적용될 수 있는 시나리오를 총괄하여 예시한다. 도 11 내지 도 15는 시각화 개념을 달성할 수 있는 디바이스를 예시한다. 도 16 및 도 17은 시각화 방법의 흐름도이다.

도 2는 동물원에 있는 사용자(202)를 도시한다. 204에서, 사용자의 눈이 동물원에서 추적될 수 있다. 이 경우에, 204(1)에서 사용자는 울타리 내의 재규어를 보았고, 그 다음 204(2)에서 사용자는 중남미로부터의 재규어로서 동물을 식별하는 정보판을 보았다. 이들 시각화(예를 들어, 사용자가 본 것)는, 무엇보다도 위치(예를 들어, 동물원, 어느 도시 내의 어느 동물원, 등), 날짜, 시간, 및/또는 사용자가 누구와 함께 있는지와 같은 메타데이터와 연관될 수 있다. 이 시각화 정보는 사용자의 메모리 모방 사용자 프로파일(206)에 추가될 수 있으며, 이는 아래에 보다 상세하게 기재된다.

도 3은 사용자(202)가 그 다음에 사용자의 컴퓨팅 디바이스(302) 상에서 "재규어 이미지(JAGUAR IMAGES)"에 대한 검색 질의를 입력하는 사례를 도시한다. 이 경우에, 메모리 모방 사용자 프로파일(206) 내의 시각화 정보는, 예를 들어 사용자가 '재규어 차' 또는 '재규어 스포츠 팀'이 아니라 '재규어 동물'의 이미지를 보기 원할 것이라고 결정하는데(예를 들어, 차이를 분명히 보이는데) 사용될 수 있다. 또다른 방식으로 서술하자면, 사용자가 최근에 동물원에 갔고 재규어를 봤다는 시각화 정보가 사용자의 컴퓨팅 경험을 맞춤화하는데 이용될 수 있다.

도 4는 도 3의 질의에 응답하여 디바이스(302) 상에 2개의 재규어 이미지(404(1) 및 404(2))가 사용자에 대하여 디스플레이될 때 402에서 사용자의 눈이 추적되는 것을 도시한다. 이 예에서, 아이 트래킹(402)은, 사용자가 둘 다의 이미지를 간략하게 보았고 그 다음 왼쪽 이미지(404(1))를 주시하며 오른쪽 이미지(404(2))를 무시했다고 결정하였다. 이 시각화 정보는 사용자의 메모리 모방 사용자 프로파일(206)에 추가될 수 있다.

도 5는 사용자(202)가 다시 또다른 디바이스(502) 상에서 "재규어 이미지"에 대해 질의하는 후속 사례를 도시한다. 도 6은 사용자의 메모리 모방 사용자 프로파일(206)을 사용함으로써 획득된 결과를 도시한다. 이 경우에, 사용자에 대하여 디스플레이되는 이미지(404(1))는 사용자가 도 4에서 주시한 왼쪽 이미지이다. 이 예에서, 도 4에 관련하여 메모리 모방 사용자 프로파일(206)에서의 사용자의 시각화 정보는, 사용자가 이미 오른쪽 이미지(404(2))를 보았고 그 이미지에 관심이 없었다는 것을 나타낸다. 따라서, 사용자에게 그 이미지를 다시 디스플레이하지 않도록 결정되었다. 물론, 이는 메모리 모방 사용자 프로파일(206)로부터의 시각화 정보가 어떻게 레버리징될 수 있는지의 하나의 단순화된 예일 뿐이다.

도 7 및 도 8은 또다른 시각화 시나리오를 예시한다. 도 7에서, 2명의 사용자(702(1) 및 702(2))는 글래이셔 국립 공원(Glacier National Park)에서 방문자 센터 안의 정보 디스플레이를 보고 있다. 사용자(702(1) 및 702(2))는 다양한 기술을 사용하여 서로 구별될 수 있다. 또한 이 경우에, 각각의 사용자가 식별된다고 가정하자. (사용자들을 식별 및/또는 구별하기 위한 기술은 도 11 내지 도 15에 관련하여 아래에 기재된다.) 704(1)에 나타낸 바와 같이, 왼쪽에 있는 사용자(702(1))는 공원 내의 하이킹(Hikes)을 보고 있다. 오른쪽에 있는 사용자(702(2))는 공원의 지도를 보고 있다(사용자로부터 지도로의 점선에 의해 표시됨, 하지만 도면 페이지 상의 공간 제약으로 인해 구체적으로 지정되지는 않음). 각각의 사용자에 대한 이 시각화 정보는 그 각자의 메모리 모방 사용자 프로파일(도시되지 않음)에 추가될 수 있다.

도 8에 관련하여, 오른쪽에 있는 사용자(702(2))가 그의 차로 되돌아가고 자신의 스마트 폰(802) 상에서 그가 방문자 센터에서 방금 본 지도를 보기를 원한다고 가정하자. 이 경우에, 사용자는 검색 질의 "글래이셔 지도(Glacier Maps)"를 입력하였다. 종래의 기술은 "알래스카 내의 빙하 지도"와 같이 사용자에게 잘못된 결과를 제공할 수 있다. 또한, 기존의 기술이 사용자가 글래이셔 국립 공원의 지도를 원한다고 적절하게 식별했다 해도, 기존에는 수십 또는 수백개의 상이한 지도들이 존재할 수 있다. 이와 달리, 도 8에서 검증된 바와 같이, 본 구현은 사용자의 메모리 모방 사용자 프로파일로부터 사용자의 시각화 정보를 이용하여, 사용자가 방문자 센터에서 본 정확한 지도를 조회할 수 있다. 따라서, 본 구현은 시각화 정보를 사용하여 원하는 사용자 결과를 정확하게 조회하고 그에 의해 기존의 기술 이상으로 강화된 사용자 경험을 제공할 수 있다.

물론, 예시된 예는 도면 페이지의 제약으로 인해 비교적 단순한 예인 경향이 있다. 그러나, 시각화 정보가 다양한 방식으로 처리 및 이용될 수 있다는 것을 유의하자. 이들 양상의 일부가 도 9 내지 도 15의 시스템 및 디바이스 및/또는 도 16 및 도 17의 방법에 관련하여 아래에 보다 상세하게 기재된다.

도 9 및 도 10은 디지털 화이트보드 디바이스(902)를 수반한 또다른 시각화 시스템(900) 및 2명의 사용자(904(1) 및 904(2))를 총괄하여 예시한다. 이 예에서, 4개의 꽃 이미지(906(1)-906(4))가 디지털 화이트보드 디바이스 상에 디스플레이되어 있다. 사용자들이 꽃 이미지들을 보고 있으며 이를 논하고 있다고 가정하다. 이 경우에, 시스템은 사용자가 이미지를 보는 것을 검출할 수 있다. 또한, 이 경우에, 시스템은 사용자가 둘 다 동시에 단일 이미지(906(2))를 보고 있다는 것을 검출할 수 있다. 또한, 시스템은, 제1 사용자(및 제2 사용자)가 이미지(906(2))를 보고 있는 동안, 사용자(904(2))가 이미지(906(2))를 가리켰다는(도 10) 것을 검출할 수 있다. 둘 다 그 이미지를 보는 동안 포인팅 제스처를 포함한 이 시각화 정보는 각자의 사용자의 메모리 모방 사용자 프로파일에 추가될 수 있다. 다른 유형의 데이터가 또한 메모리 모방 사용자 프로파일에 추가될 수 있다. 예를 들어, 토론(예를 들어, 사용자들이 이미지를 보고 있는 동안 이미지에 대해 말한 것)이 또한 메모리 모방 사용자 프로파일에 추가될 수 있다. 따라서, 각각의 사용자의 메모리 모방 사용자 프로파일은, 그/그녀가 본 것, 언제, 누구와, 그리고 첨부 설명을 반영하도록 업데이트될 수 있다.

시각화 정보는, 예를 들어 이들 두 사용자의 중복된 관심을 결정하고 중복된 관심에 기초하여 사용자의 대한 컨텐츠 및/또는 액티비티의 후속 제안을 행하도록, 다양한 방식으로 사용될 수 있다. 예를 들어, 꽃 이미지가 그림의 사진이었다면, 사용자가 유사한 그림을 볼 수 있는 박물관에 대한 제안이 행해질 수 있거나, 또는 그림의 프린트가 판매를 위해 온라인으로 식별되고 구매를 위해 사용자에게 제시될 수 있다. 이미지가 실제 식물의 사진이었다면, 이 유형의 식물을 갖는 수목원의 위치가 사용자에게 제공될 수 있다.

대안으로서 또는 추가적으로, 일부 구현은, 개별 사용자에게 전용되는 것이 아니라, 이들 두 사용자 간의 상호작용에 전용되는 메모리 모방 사용자 프로파일을 생성할 수 있다(예를 들어, 이들 사용자의 공유된 시각화를 캡처함).

또 다른 옵션은, 본 컨텐츠 및/또는 디지털 화이트보드가 메모리 모방 사용자 프로파일을 갖는 것이다. 예를 들어, 컨텐츠에 대한 프로파일은, 사용자가 컨텐츠에서 무엇을 봤는지, 컨텐츠를 얼마나 오래 봤는지, 컨텐츠에 대한 그의 반응 등을 나타낼 수 있다. 마찬가지로, 디지털 화이트보드는, 무슨 컨텐츠가 디스플레이되었는지, 누구에게, 그의 반응, 다음에 무엇을 했는지(예를 들어, 유사한 컨텐츠를 보았음) 등의 프로파일을 가질 수 있다. 또한, 이 예에서는 사용자가 디지털 화이트보드 상의 디지털 컨텐츠를 보았지만, 도 2의 동물원 또는 도 7의 글래이셔 국립 공원에서의 정보 디스플레이와 같이, 물리적 컨텐츠에 대하여 마찬가지의 구성이 구현될 수 있다는 것을 유의하자.

도 11은 사용자(202)와 연관된 단일 디바이스(1102)에 완비되어 있는 사용자 시각화 구현 시스템(1100)을 도시한다. 디바이스는, 프로세서(1104), 스토리지/메모리(1106), 카메라(1108), 컨텐츠 상관 컴포넌트(1110), 메모리 모방 사용자 프로파일(206) 및/또는 애플리케이션(1112)을 포함한다.

이 예에서, 사용자(202)는 로그인된 사용자인 것으로 가정되고, 그리하여 어떠한 부가의 사용자 식별 기술도 채용되지 않는다. 대안의 시나리오가 도 12 내지 도 15에 관련하여 아래에 기재된다.

이 경우에, 컨텐츠 상관 컴포넌트(1110)는 사용자가 디바이스 상의 무슨 컨텐츠를 보는지 추적할 수 있다. 이 예에서, 복수의 전방 카메라(1108(1) 및 1108(2))가 사용자의 눈을 추적하는데 이용된다. 컨텐츠 상관 컴포넌트(1110)는 사용자의 눈의 배향(orientation)을, 아이 트래킹 시에 디바이스(1102)의 특정 위치 상에 디스플레이된 컨텐츠와 상관시킬 수 있다. 또다른 방식으로 서술하자면, 컨텐츠 상관 컴포넌트(1110)는 사용자가 보고 있는 위치를, 그 때에 그 위치 상에 디스플레이된 컨텐츠에 매핑 또는 참조시킬 수 있다. 또한, 컨텐츠 상관 컴포넌트(1110)는 보기에 관한 다양한 추가의 정보를 획득할 수 있다. 예를 들어, 사용자의 눈의 움직임이 카메라(1108)에 의해 검출될 수 있다. 눈 움직임 정보는, 예를 들어 사용자가 이미지를 보는 것이 아니라 컨텐츠를 읽고 있었다는 것을 결정/확인하는데 이용될 수 있다. 예를 들어, 보기가 아닌 읽기 동안에는 눈 움직임이 상이한 경향이 있다. 또한, 사용자가 특별히 특정 컨텐츠에 관심있거나 단어를 읽는데 어려움이 있을 때 눈 움직임은 변할 수 있다. 예를 들어, 사용자가 구절에 특히 관심있는 경우, 사용자는 그 구절을 여러 번 읽을 수 있다. 또한, 사용자가 특정 단어를 인식하지 못하는 경우, 사용자의 눈이 여러 번 그리고/또는 사용자가 인식하는 단어와는 다른 속도로 그 단어로 다시 돌아갈 수 있다.

컨텐츠 상관 컴포넌트(1110)는 디바이스(1102) 상의 메모리 모방 사용자 프로파일(206)에 시각화 정보(예를 들어, 본 컨텐츠 및/또는 관련 메타데이터)를 추가할 수 있다. 이 경우에, 컨텐츠는 디지털 컨텐츠이다. 그리하여, 컨텐츠 상관 컴포넌트(1110)는, 메모리 모방 사용자 프로파일에 컨텐츠를 보관하거나, 예를 들어 사용자에 대하여 디스플레이되었던 컨텐츠에의 링크를 제공함으로써, 컨텐츠를 참조할 수 있다. 시각화 정보는 또한, 보았던 디스플레이된 컨텐츠의 서브세트의 표시를 포함할 수 있다. 또다른 방식으로 서술하자면, 메모리 모방 사용자 프로파일(206)에 컨텐츠를 보내는 것에 대안으로서 또는 추가적으로, 컨텐츠 상관 컴포넌트(1110)는, 메모리 모방 사용자 프로파일에 액세스함으로써 (디스플레이 및 본 그리고/또는 보지 않은) 컨텐츠가 나중에 액세스 및/또는 조회될 수 있도록, 컨텐츠 제공자에게 링크를 보낼 수 있다.

무엇보다도, 시간, 위치, 및/또는 눈 움직임 패턴과 같은 다른 시각화 정보가 또한 메모리 모방 사용자 프로파일(206)에 추가될 수 있다. 메모리 모방 사용자 프로파일(206)의 시각화 정보는 그의 유용성을 증가시키도록 상이한 방식으로 처리될 수 있다. 예를 들어, 시각화 정보는, 예를 들어 컨텐츠 유형, 내용, 시간, 위치 등에 의해 인덱싱될 수 있다. 컨텐츠의 이미지는 인덱싱을 가능하게 하도록 메타데이터로 태그될 수 있다.

그 다음에, 예를 들어 애플리케이션(1112)에 의해 서비스가 사용자에게 제공될 때, 메모리 모방 사용자 프로파일(206)의 시각화 정보는 그 서비스와 연관된 사용자 경험을 강화하도록 이용될 수 있다.

디바이스(1102)는 대안으로서 또는 추가적으로, 입력/출력 디바이스, 버스, 그래픽 카드(예를 들어, GPU(graphics processing unit)) 등과 같은 다른 요소를 포함할 수 있으며, 이는 간결하게 하기 위해 여기에 예시되거나 설명되지 않는다.

여기에서 사용된 용어 "디바이스", "컴퓨터" 또는 "컴퓨팅 디바이스"는, 어느 정도의 프로세싱 능력 및/또는 저장 능력을 갖는 임의의 유형의 디바이스를 의미할 수 있다. 프로세싱 능력은 기능을 제공하기 위해 컴퓨터 판독가능한 명령어의 형태의 데이터를 실행할 수 있는 하나 이상의 프로세서에 의해 제공될 수 있다. 컴퓨터 판독가능한 명령어 및/또는 사용자 관련 데이터와 같은 데이터가 컴퓨터 내부 또는 외부에 있을 수 있는 스토리지와 같은 스토리지 상에 저장될 수 있다. 스토리지는 무엇보다도, 휘발성 또는 비휘발성 메모리, 하드 드라이브, 플래시 스토리지 디바이스, 및/또는 광학 스토리지 디바이스(예를 들어, CD, DVD 등), 원격 스토리지(예를 들어, 클라우드 기반의 스토리지) 중의 임의의 하나 이상을 포함할 수 있다. 여기에 사용될 때, 용어 "컴퓨터 판독가능한 매체"는 신호를 포함할 수 있다. 이와 달리, 용어 "컴퓨터 판독가능한 저장 매체"는 신호를 배제한다. 컴퓨터 판독가능한 저장 매체는 "컴퓨터 판독가능한 저장 디바이스"를 포함한다. 컴퓨터 판독가능한 저장 디바이스의 예는 무엇보다도, RAM과 같은 휘발성 저장 매체, 및 하드 드라이브, 광 디스크 및 플래시 메모리와 같은 비휘발성 저장 매체를 포함한다.

일부 구성에서, 디바이스는 SOC(system on a chip) 타입 설계를 포함할 수 있다. 이러한 경우에, 디바이스에 의해 제공되는 기능은 단일 SOC 또는 복수의 연결된 SOC 상에 집적될 수 있다. 하나 이상의 프로세서는, 메모리, 스토리지 등과 같은 공유 자원 및/또는 특정 구체적 기능을 수행하도록 구성된 하드웨어 블록과 같은 하나 이상의 전용 자원과 조정하도록 구성될 수 있다. 따라서, 여기에서 사용된 용어 "프로세서"는 또한, CPU(central processing units), GPU(graphical processing units), 컨트롤러, 마이크로컨트롤러, 프로세서 코어, 또는 종래의 컴퓨팅 아키텍처 뿐만 아니라 SOC 설계 둘 다 구현에 적합한 다른 유형의 프로세싱 디바이스를 지칭할 수 있다. 프로세서와 같은 개별 컴포넌트는 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 임의의 조합으로 구현될 수 있다는 것을 유의하자.

디바이스의 예는, 개인용 컴퓨터, 데스크톱 컴퓨터, 노트북 컴퓨터, 휴대 전화, 스마트 폰, PDA, 패드 타입 컴퓨터, 디지털 화이트보드, 카메라, 스마트 글라스와 같은 웨어러블(wearable) 디바이스 등의 종래의 컴퓨팅 디바이스, 또는 임의의 무수한 계속 진화하거나 이제 개발될 타입의 컴퓨팅 디바이스를 포함할 수 있다.

사용자의 프라이버시는 사용자가 자신의 명시적 동의를 부여한 경우에만 시각화 특징(visualization feature)을 가능하게 함으로써 보호될 수 있다. 모든 프라이버시 및 보안 절차는 사용자를 보호하도록 구현될 수 있다. 예를 들어, 사용자는 디바이스(1102)에 대한 인가(authorization)를 제공할 수 있다(그리고/또는 인가의 조건을 정의할 수 있음). 디바이스는 인가의 조건에 따라서만 사용자의 아이 트래킹을 진행할 수 있다. 그렇지 않은 경우에는, 사용자 정보가 수집되지 않는다. 마찬가지로, 사용자는 시각화 데이터를 포함하는 그/그녀의 메모리 모방 사용자 프로파일의 사용을 정의하는 것이 허용될 수 있다. 메모리 모방 사용자 프로파일의 임의의 사용은 정의된 사용자 조건과 일치하여야 한다.

도 12는 예시적인 분산형 시각화 시스템(1200)을 도시한다. 이 시스템 예는 복수의 디바이스(1202(1)-1202(7))를 포함한다. 이 경우에, 디바이스(1202(1)-1202(5))는 사용자 시각화 정보를 포함하는 메모리 모방 사용자 프로파일(206)에 기여하고/하거나 이를 이용할 수 있다. 일부 경우에, 이들 디바이스(1202(1)-1202(5))는 클라이언트측 디바이스로 생각될 수 있다. 이들 디바이스의 일부는 도 13 내지 도 15에 대해 아래에 보다 상세하게 기재된다. 도 11은 또한 클라이언트측 디바이스로서 기능할 수 있는 디바이스의 예를 기재한다. 그 경우에, 디바이스는 다른 디바이스에 독립적으로 또는 협력하여 메모리 모방 사용자 프로파일(206)의 로컬 카피(local copy)를 유지할 수 있다.

설명 목적을 위해, 예시된 구성에서, 디바이스(1202(6) 및 1202(7))는 프로세서(1104) 및/또는 스토리지/메모리(1106)를 갖는 것으로 예시되어 있다. 또한, 디바이스(1202(6))는 컨텐츠 상관 컴포넌트(1110) 및 메모리 모방 사용자 프로파일(206)을 포함할 수 있다. (예시된 컴포넌트는 또한 클라이언트측 디바이스 상에도 생길 수 있지만, 도면 페이지의 물리적 제약으로 인해 예시되지 않는다.) 디바이스(1202(7))는 무엇보다도 애플리케이션 또는 검색 엔진과 같은 서비스 프로바이더(1204)를 포함할 수 있다.

클라이언트측 디바이스(1202(1)-1202(5))는 시각화 정보를 수집할 수 있다. 시각화 정보는 개별 사용자와 연관되고, 전반적으로 화살표(1206)로 나타낸 바와 같이 메모리 모방 사용자 프로파일(206)을 유지하는 디바이스(1202(6))에 보내질 수 있다. 단일 메모리 모방 사용자 프로파일만 예시되어 있지만, 디바이스(1202(6))는 각자의 사용자에 대하여 수천개 또는 심지어는 수백만개의 메모리 모방 사용자 프로파일을 포함할 수 있다. 일부 경우에, 디바이스(1202(6))는 서버 팜(server farm)과 같은 클라우드 기반의 컴퓨팅 디바이스일 수 있다. 일부 구성에서, 클라이언트측 디바이스는 디바이스(1202(6))에 시각화 정보를 보내기 전에 시각화 정보에 대한 컨텐츠 상관을 수행할 수 있다. 예를 들어, 도 11의 디바이스(1102)는 이 프로세싱을 달성할 수 있는 컨텐츠 상관 컴포넌트를 포함한다. 대안으로서, 프로세싱은 개별 디바이스(1202(1)-1202(5))로부터 획득된 시각화 정보에 대해 디바이스(1202(6)) 상에서 수행될 수 있다. 그 다음, 시각화 정보는 메모리 모방 사용자 프로파일(206)에 저장될 수 있다.

그 후에, 개별 사용자(또는 사용자 그룹)는 디바이스(1202(1))와 같은 개별 디바이스를 통해 웹 검색과 같은 서비스를 요청할 수 있다. 화살표(1208)에 의해 나타낸 바와 같이, 디바이스(1202(1))는 서비스를 제공하는 디바이스(1202(7))와 같은 또다른 디바이스와 통신할 수 있다. 디바이스(1202(7))는 화살표(1210)에 의해 나타낸 바와 같이 사용자의 메모리 모방 사용자 프로파일(206)을 획득하도록 디바이스(1202(6))와 통신할 수 있다. 디바이스(1202(6))는 화살표(1212)에 의해 나타낸 바와 같이 사용자의 메모리 모방 사용자 프로파일(206)을 전달할 수 있다. 그 다음, 디바이스(1202(7))는 사용자의 메모리 모방 사용자 프로파일을 사용하여 서비스를 수행하고, 화살표(1214)에 의해 나타낸 바와 같이 그 결과를 다시 컴퓨팅 디바이스(1202(1))로 제공할 수 있다.

디바이스(1202(1))는 제공된 서비스와 연관된 추가의 사용자 시각화를 추적할 수 있다. 화살표(1216)에 의해 나타낸 바와 같이, 디바이스(1202(1))는 사용자의 메모리 모방 사용자 프로파일(206)이 그에 따라 업데이트될 수 있도록 디바이스(1202(6))에 이 추가의 사용자 시각화 정보를 공급할 수 있다. 따라서, 웹 검색 질의를 입력한 사용자는, 질의 용어 뿐만 아니라 사용자가 이전에 본 것에 기초하여 웹 검색 결과를 얻을 수 있다. 요악하자면, 도 12는 복수의 디바이스로부터의 시각화 데이터를 포함할 수 있는 글로벌(global) 메모리 모방 사용자 프로파일을 유지할 수 있는 분산형 시각화 시스템을 예시한 것으로서 특징될 수 있다. 글로벌 메모리 모방 사용자 프로파일은 사용자에게 제공된 기능을 강화하도록 복수의 디바이스에 대해 이용가능할 수 있다.

도 13은 도 12에 관련하여 소개된 디지털 화이트보드와 같은 디스플레이 디바이스 형태의 디바이스(1202(3))를 도시한다. 이 디바이스는 디스플레이(1302) 및 센서 세트(1304)를 포함할 수 있다. 센서 세트(1304)는 디스플레이(1302)와 일체형일 수 있고/있거나 디스플레이 외부에 있을 수 있다. 예를 들어, 센서의 일부는 사용자를 향하여 밖을 향해 있는, 디스플레이 근방의 카메라일 수 있다. 다른 센서는 디스플레이로부터 원격으로 배치될 수 있고, 디스플레이 상에 제시된 컨텐츠 및/또는 디스플레이 근방의 사용자 제스처를 검출하도록 디스플레이를 향해 있을 수 있다. 카메라의 일부는 사용자를 검출하도록 광각 렌즈를 가질 수 있는 반면, 다른 카메라는 사용자 눈 움직임을 추적하도록 더 좁은 시야(field of view)를 가질 수 있다.

센서(1304)는 무엇보다도 가시광 카메라, 비가시광 카메라, 생체 센서, RFID 센서, 하나 이상의 IR 센서/이미터 쌍, 및/또는 다른 디바이스를 검출하기 위한 다양한 통신 컴포넌트를 포함할 수 있다. 예를 들어, 통신 컴포넌트(1306)는, 사용자가 휴대하거나 사용자와 연관될 수 있는 스마트 폰, 스마트 워치, 스마트 글라스, ID 뱃지 등과 같은 개인 디바이스를 디바이스(1202(3))가 검출할 수 있게 할 수 있다. 이들 디바이스는, 사용자(들)를 식별하도록 이용될 수 있는 로그인 정보와 같은, 사용자(들)에 관한 정보를 가질 수 있다. 디바이스로부터 및/또는 생체 센서로부터의 정보가 사용자를 식별하도록 이용될 수 있다. 일부 구현에서, 각각의 사용자의 아이덴티티(identity)에 신뢰 점수(confidence score)가 할당될 수 있다. 또다른 방식으로 서술하자면, 시스템은 개별 사용자를 정확하게 식별하였다는 신뢰 점수를 할당할 수 있다.

어느 사용자가 디스플레이 상의 무슨 컨텐츠를 봤는지 결정하도록 임의의 조합의 센서(1304)가 이용될 수 있다. 이 시각화 정보는, 시각화 정보를 갖는 메모리 모방 사용자 프로파일을 유지하는 (도 12의 디바이스(1202(6))와 같은) 또다른 디바이스에 보내질 수 있다. 시각화 정보는 원시 형태 또는 가공된 형태로 보내질 수 있다. 예를 들어, 컨텐츠 상관 컴포넌트(1110)는 사용자 및 사용자가 디스플레이(1302) 상의 무슨 위치를 봤는지 식별할 수 있다. 컨텐츠 상관 컴포넌트는 사용자가 그 위치를 봤을 때에 그 위치에 무슨 컨텐츠가 디스플레이되었는지 식별할 수 있다. 그 다음, 컨텐츠 상관 컴포넌트는 이 시각화 정보가 사용자의 메모리 모방 사용자 프로파일에 저장되게 할 수 있다. 대안으로서, 컨텐츠 상관 컴포넌트(1110)는 주어진 시각에 사용자가 무슨 위치를 봤는지 그리고 그 때에 디스플레이 상에 무엇이 디스플레이되었는지 식별할 수 있고, 프로세싱을 위해 그 정보를 또다른 디바이스에 전달할 수 있다.

도 14는 도 12에 소개된 디바이스(1202(4) 및 1202(5))의 세부사항을 도시한다. 이 경우에, 디바이스(1202(4) 및 1202(5))는 웨어러블 디바이스의 예일 수 있다. 보다 구체적으로, 예시된 구성에서, 디바이스(1202(4) 및 1202(5))는 스마트 폰 디바이스(1202(4)) 및 아이 트래킹 안경 디바이스(예를 들어, 웨어러블 안경 디바이스 또는 스마트 글라스)(1202(5))로서 나타나 있다. 이 경우에, 아이 트래킹 안경 디바이스 및 스마트폰 디바이스는 협력하여 동작할 수 있는 개인용 디바이스로 생각될 수 있다(예를 들어, 동일 사용자에게 속함). 물론, 아이 트래킹 안경 디바이스는 더욱 독립적으로 동작할 수 있다. 예를 들어, 아이 트래킹 안경 디바이스는 사용자의 메모리 모방 사용자 프로파일에의 포함을 위해 도 12의 디바이스(1202(6))에 시각화 정보를 전달할 수 있다. 그러나, 아이 트래킹 안경 디바이스를 또다른 로컬 디바이스와 쌍을 이루면, 아이 트래킹 안경 디바이스에 의한 배터리 사용과 같은 자원 사용을 감소시킬 수 있다. 또한, 아이 트래킹 안경 디바이스는 로컬 메모리 모방 사용자 프로파일을 유지할 수 있고/있거나 글로벌 메모리 모방 사용자 프로파일에 기여할 수 있다. 예시된 구성에서, 스마트 폰 디바이스는 도 12에 대해 설명된 글로벌 메모리 모방 사용자 프로파일에 기여하도록 아이 트래킹 안경 디바이스를 보조할 수 있다.

이 경우에, 스마트 폰 디바이스(1202(4)) 및 아이 트래킹 안경 디바이스(1202(5))는 프로세서(1104), 스토리지/메모리(1106), 센서(1304), 통신 컴포넌트(1306), 컨텐츠 상관 컴포넌트(1110) 및/또는 배터리(1402)의 사례들을 포함한다. 아이 트래킹 안경 디바이스(1202(5))는 또한 카메라(1404 및 1406), 렌즈(1408(1) 및 1408(2))(교정 또는 비교정, 클리어 또는 착색) 및/또는 프레임(1410)을 포함할 수 있다. 프레임은 이어피스(1414(1) 및 1414(2))로 끝나는 한 쌍의 안경다리(1412(1) 및 1412(2))를 포함할 수 있다.

아이 트래킹 안경 디바이스(1202(5))는 2개의 기본 특징을 포함할 수 있다. 첫 번째로, 아이 트래킹 안경 디바이스는 사용자의 눈을 추적할 수 있는 능력을 포함할 수 있다. 두 번째로, 아이 트래킹 안경 디바이스는 사용자의 눈이 보고 있는 방향으로 환경을 동시에 볼 수 있는 능력을 포함할 수 있다. 이들 특징은 센서(1304(5))에 의해 달성될 수 있다. 이 구현에서, 첫 번째 기능은 사용자의 눈을 추적하는 센서 세트로 달성된다. 마찬가지로, 두 번째 기능은 사용자가 보고 있는 위치에 있는 컨텐츠를 동시에 검출하는 또다른 센서 세트로 달성된다. 이 예에서, 제1 센서 세트는 눈마다 복수의, 안쪽을 향해 있는 카메라(1404)를 포함한다. 이들 카메라(1404)는 사용자의 눈을 향해 있다. 안쪽을 향해 있는 카메라가 제공하는 데이터는 총괄하여 눈이 향해 있는 방향을 나타낼 수 있다. 제2 센서 세트는 제2 카메라 세트로 나타날 수 있다. 이 예는, 눈이 향해 있는 방향이 가로막는 위치에 있는 컨텐츠의 이미지를 캡처할 수 있는 2개의, 바깥쪽을 향해 있는 카메라(1406)를 포함한다.

카메라(1404 및 1406) 형태의 개별 센서들이 예시되어 있지만, 안경 안에, 예를 들어 렌즈(1408(1) 및 1408(2)) 및/또는 프레임(1410) 안에 센서가 통합될 수 있는 것이 구상될 수 있다. 부가의 구현에서, 단일 카메라는 CCD(charge-coupled device)와 같은 공통 이미지 센서로 2개의 상이한 카메라 렌즈를 통해 이미지를 수신할 수 있다. 예를 들어, 카메라는 60 Hertz(또는 다른 값)에서 동작하도록 셋업될 수 있다. 홀수 사이클에 카메라는 사용자의 눈의 이미지를 수신할 수 있고, 짝수 사이클에 카메라는 사용자 앞에 있는 것(예를 들어, 사용자가 보고 있는 방향)의 이미지를 수신할 수 있다. 이 구성은 더 적은 카메라로 기재된 기능을 달성할 수 있다.

이 경우에, 바깥쪽을 향해 있는 카메라(1406)는 비가시광 패턴 프로젝터(1416)에 의해 보조될 수 있다. 비가시광 패턴 프로젝터는 (사용자가 보고 있는) 위치 근방의 객체들을 구별하는 것을 도울 수 있는 패턴 또는 패터닝된 이미지(예를 들어, 구조화된 광(structured light))를 투사할 수 있다. 구조화된 광이 무선 주파수(RF) 스펙트럼의 비가시광 부분으로 투사될 수 있으며, 그리하여 사용자에 의해서가 아니라 카메라에 의해 검출 가능하다. 예를 들어, 사용자가 동물원 전시에서 재규어를 보는 경우, 패턴은 바깥쪽을 향해 있는 카메라(1406)에 의해 캡처된 이미지를 분석함으로써 서식지로부터 재규어를 구별하는 것을 더 쉽게 할 수 있다. 구조화된 광 기술에 대안으로서 또는 추가적으로, 바깥쪽을 향해 있는 카메라는 사용자가 보고 있는 물체들을 구별하도록 전파 시간(time-of-flight) 및/또는 다른 기술을 구현할 수 있다.

아이 트래킹 안경 디바이스(1202(5))는 위치에 관련된 시각화 정보를 캡처할 수 있다. 또다른 방식으로 서술하자면, 시각화 정보는, 바깥쪽을 향해 있는 카메라에 의해 캡처된 이미지를, 사용자가 본 이미지 상의 무슨 위치(들)에 있는지의 식별정보와 함께 제공할 수 있다. 시각화 정보는 블루투스(Bluetooth), 와이파이(Wi-Fi) 또는 다른 기술과 같은 통신 컴포넌트(1306(5))에 의해 스마트 폰 디바이스(1202(4))에 전달될 수 있다. 예를 들어, 통신 컴포넌트(1306(5))는 스마트 폰 디바이스(1202(4))에 원시 또는 압축된 시각화 정보를 전달하는 불루투스 호환 송신기일 수 있다.

스마트 폰 디바이스(1202(4))는 아이 트래킹 안경 디바이스(1202(5))로부터 수신된 시각화 정보에 대해 컨텐츠 상관 프로세싱을 수행할 수 있다. 일부 경우에, 컨텐츠 상관 컴포넌트(1110(4))는 위치에 있는 컨텐츠를 식별하려고 더 시도할 수 있다. 예를 들어, 컨텐츠 상관 컴포넌트는 다양한 이미지 분석 기술을 채용할 수 있다.

이미지 분석 기술은 무엇보다도 OCR(optical character recognition), 객체 인식(또는 식별), 안면 인식, 장면 인식, 및/또는 GPS-위치 기술을 포함할 수 있다. 다른 이미지 분석 기술이 대안으로서 또는 추가적으로 포함될 수 있다. 또한, 이미지 분석 기술의 복수의 사례들이 채용될 수 있다. 예를 들어, 단 하나가 아니라 둘 이상의 안면 인식 이미지 분석 기술이 채용될 수 있다.

간단하게, 이미지 분석은 바깥쪽을 향해 있는 카메라(1406)에 의해 캡처된 이미지 상의 위치의 픽셀 데이터를, 다른 데이터와 함께 처리할 수 있다. 다른 데이터는, 안쪽을 향해 있는 카메라(1404)에 의해 제공된 눈 움직임 패턴과 같은 데이터 및/또는 메타데이터를 포함할 수 있다. 예를 들어, 다른 데이터는 사용자가 그 위치를 얼마나 오래 보았는지를 나타낼 수 있다. 유용할 수 있는 다른 데이터의 또다른 예는, 사용자가 그 위치를 본 동안의 눈 움직임(예를 들어, 단속적 운동(saccades) 및/또는 고정)이다.

이미지 분석 기술은 직렬 또는 병렬 방식으로 픽셀 데이터에 적용될 수 있다. 하나의 구성은 파이프라인 구성으로 생각될 수 있다. 이러한 구성에서, 여러 가지 이미지 분석 기술들은, 픽셀 데이터 및 하나의 기술로부터의 출력이 두 번째 기술에의 입력으로서 작용하여, 두 번째 기술 단독으로는 이미지에 대한 연산을 얻을 수 없는 결과를 달성하는 방식으로 수행될 수 있다. 채용된 구성에 관계없이, 그 위치의 이미지의 프로세싱으로부터 획득된 임의의 정보는, 예를 들어 메타데이터의 형태로, 이미지와 연관될 수 있다. 예를 들어, 프로세싱은 사용자가 테이블 위의 백팩을 보았음을 식별할 수 있다. 객체(예를 들어, 백팩 및 테이블)의 식별은 메타데이터로서 이미지와 연관될 수 있다. 그 다음, 이미지 및 메타데이터는 사용자의 메모리 모방 사용자 프로파일에 추가될 수 있다. 대안의 구성에서, 이미지는 너무 자원 집약적(resource intensive)인 것으로 취급될 수 있고, 메타데이터만 사용자의 메모리 모방 사용자 프로파일에 추가될 수 있다. 요약하자면, 상기의 기술은 사용자가 본 것 및/또는 사용자가 볼 수 있었지만 보지 않은 것(예를 들어, 보는 것이 가능했지만 보지 않음)을 식별할 수 있다. 이 처리된 시각화 데이터는 메모리 모방 사용자 프로파일에 전달될 수 있다. 아이 트래킹 안경 디바이스(1202(5))(및/또는 스마트 폰 디바이스(1202(4)) 상에서 발생하는 시각화 정보의 프로세싱의 양 및 유형은 소정의 구현의 자원에 따라 좌우될 수 있다. 예를 들어, 시각화 정보를 어떻게 그리고 어디에서 처리할지를 결정할 때에 프로세싱 자원, 스토리지 자원, 전력 자원 및/또는 이용가능한 대역폭이 고려될 수 있다.

스마트 폰 디바이스(1202(4))는 아이 트래킹 안경 디바이스(1202(5))로부터 시각화 정보를 수신할 수 있다. 스마트 폰 디바이스(1202(4))는 시각화 데이터를 더 처리하거나 처리하지 않을 수 있다. 스마트 폰 디바이스는 로컬 메모리 모방 사용자 프로파일에 시각화 데이터를 저장하고/하거나, 사용자에 대한 글로벌 메모리 모방 사용자 프로파일을 유지하는 디바이스(예를 들어, 도 12의 디바이스(1202(6))와 같은 또다른 디바이스에 시각화 정보를 전달할 수 있다.

상기 언급된 바와 같이, 가까운 근방에 있는 디바이스(이 경우 스마트 폰)에 프로세싱 및 전송의 일부를 오프로딩하면, 아이 트래킹 안경에 의한 자원 사용을 감소시킬 수 있다. 다른 구성에서, 아이 트래킹 안경 디바이스(1202(5))는 더 자족적일(self-contained) 수 있고, 메모리 모방 사용자 프로파일 유지 디바이스에 직접 시각화 데이터를 전송할 수 있다. 또한, 상기에 강조되지 않았지만, 아이 트래킹 안경 디바이스(1202(5))가 사용자를 식별하는데 사용될 수 있다는 것을 유의하자. 예를 들어, 안쪽을 향해 있는 카메라(1404)는, 사용자를 식별하고/하거나 사용자들을 서로 구별하도록 이용될 수 있는 눈의 생체 정보를 획득할 수 있다.

또한, 스마트 폰 디바이스(1202(4))는, 아이 트래킹 정보에 다른 정보를 기여할 수 있으며 그에 의해 아이 트래킹 안경 디바이스(1202(5))를 더 단순화할 수 있는 다른 능력을 가질 수 있다는 것을 유의하자. 예를 들어, 스마트 폰 디바이스는 그의 위치를 결정하기 위한 GPS 센서/회로를 가질 수 있다. 스마트 폰 디바이스는, 메모리 모방 사용자 프로파일 유지 디바이스(도 12 참조)에 시각화 데이터를 보내기 전에, 위치 정보(및/또는 다른 정보)를 시각화 데이터와 연관시킬 수 있다. 이는 공간 한정된 아이 트래킹 안경 디바이스에 GPS 회로를 포함시키려는 시도를 없앨 수 있다.

도 15는 아이 트래킹 안경 디바이스(1202(5))에 대해 기재된 또다른 아이 트래킹 시스템(1500) 구성 및 도 2의 동물원 시나리오에서의 호랑이 전시를 도시한다. 이 예에서, 센서(1304)(도 13)는 적외선(IR) 센서/이미터 쌍(1502)으로서 나타난다. IR 센서/이미터 쌍(1502)의 첫 번째 사례는 아이 트래킹 안경 디바이스(1202(5))에 대해 예시되어 있다. IR 센서/이미터 쌍(1502)의 다른 사례는 아이 트래킹 디바이스(1504)에 포함된다. 아이 트래킹 디바이스는 서로 그리고/또는 원격 디바이스(도시되지 않음)와 통신할 수 있다. 아이 트래킹 안경(1202(5))에 대해, 단일 IR 센서/이미터 쌍(1502(1))은 사용자가 글라스를 통해 보는 방향과 똑같은 방향으로 배향된다. 호랑이 전시에 대해, IR 센서/이미터 쌍(1502(2)-1502(5))은 바깥쪽을 향한 방식으로(예를 들어, 방문자를 향해) 전시에 대해 배열되어 있다.

개별 아이 트래킹 디바이스(1504)는 적어도 하나의 IR 센서/이미터 쌍(1502)을 포함할 수 있다. 아이 트래킹 디바이스(1504)는 또한, 프로세서, 스토리지, 통신, 및 컨텐츠 상관 컴포넌트의 사례들을 가질 수 있으며, 이들은 도 11 내지 도 14에 관련하여 상기에 소개되어 있고 간략화를 위해 여기에서 다시 소개되지 않는다.

IR 센서/이미터 쌍(1502)은 밝은 눈/어두운 눈 효과에 의해 사용자 아이 컨택(eye contact)을 검출하도록 구성될 수 있다. 따라서, 아이 트래킹 디바이스(1504)는 사용자(들)가 호랑이 전시를 보았다는 것을 검출할 수 있다. 마찬가지로, 아이 트래킹 안경(1202(5))은 호랑이 전시로부터의 IR 방사를 감지할 수 있고, 호랑이 전시 상의 IR 센서/이미터 쌍이 아이 컨택을 검출하였음을 감지할 수 있다. 그 다음, 이 대응하는 신호는 이 특정 사용자가 환경에서 특정 센서/이미터 쌍과 아이 컨택을 했다는 추론을 가능하게 한다. 따라서 시스템(1500)은 아이 트래킹 디바이스(1504(1)-1504(4))에 의해 제공된 집단(collective) 입력을 통해 전반적으로 (그리고/또는 특정 부분에서) 사용자가 호랑이 전시를 보았다고 결정 및 기록할 수 있다.

또다른 예로서, 사용자가 또한 아이 트래킹 안경(1202(5))을 착용한 또다른 사용자를 본 경우, 시스템은 또한 사용자들 간의 상호 아이 컨택을 검출할 수 있다. 그러면 이는 안면 인식 또는 다른 이러한 잠재적으로 자원 집약적인 인식 기술의 필요 없이, 메모리 모방 사용자 프로파일이 사용자가 만난 다른 사람을 포함할 수 있게 한다.

또한 상기 기재는 본 개념을 달성하기 위한 여러 예를 포함한 것임을 유의하자. 간략하게 하기 위해 모든 잠재적인 구현이 설명된 것이 아니다. 또한, 각각의 디바이스에 대해 모든 컴포넌트가 설명된 것은 아니며, 다른 디바이스는 상기 언급된 컴포넌트 및/또는 다른 컴포넌트의 조합을 포함할 수 있다는 것을 인식하여야 한다.

제1 방법 예

도 16은 예시적인 시각화 방법(1600)을 도시한다.

이 경우에, 방법은 블록 1602에서 디지털 컨텐츠를 디스플레이할 수 있다. 디지털 컨텐츠는 텍스트, 수기, 심볼, 문자, 이미지, 또는 임의의 다른 유형의 디지털 컨텐츠를 포함할 수 있다.

방법은 블록 1604에서 사용자가 디지털 컨텐츠의 서브세트를 보고 있다고 결정할 수 있다. 사용자가 보고 있는 것을 결정하기 위한 디바이스 구성은 도 11 내지 도 15에 관련하여 상기에 기재되어 있다.

방법은 블록 1606에서 사용자와 디지털 컨텐츠의 서브세트를 관련시킬 수 있다. 사용자가 본(그리고 보지 않은) 디지털 컨텐츠 뿐만 아니라 관련 메타데이터가, 다양한 목적을 위해, 예를 들어 메모리 모방 사용자 프로파일을 생성/업데이트하기 위해 이용될 수 있다.

제2 방법 예

도 17은 예시적인 시각화 방법(1700)을 도시한다.

이 경우에, 블록 1702에서 방법은 사용자가 본 컨텐츠에 관한 정보 뿐만 아니라 사용자에게 보였지만 사용자가 보지 않은 다른 컨텐츠에 관한 기타 정보를 수신할 수 있다. 컨텐츠는 물리적 컨텐츠, 디지털 컨텐츠, 다른 컨텐츠, 또는 이들의 혼합일 수 있다.

방법은 블록 1704에서 정보 및 기타 정보로 사용자의 메모리 모방 사용자 프로파일을 증대시킬(augment) 수 있다. 사용자가 기존의 메모리 모방 사용자 프로파일을 갖지 않는 경우에, 증대는 메모리 모방 사용자 프로파일을 생성하는 것을 포함할 수 있다.

방법은 블록 1706에서 메모리 모방 사용자 프로파일의 정보 및 기타 정보가 사용자 입력에 대한 응답을 맞춤화하는데 이용될 수 있게 할 수 있다. 사용자 입력은 검색 질의 또는 커맨드일 수 있다. 예를 들어, 사용자 입력은, "내가 어제 본 BBQ 식당에 예약해 주십시오"라는 커맨드일 수 있다. 사용자는 전통 방식으로 검색 질의를 사용할 수 있지만, 더 맞춤화되고 정확한 결과를 얻을 수 있다. 대안으로서, 사용자는 '그/그녀 자신의 메모리를 조그(jog)'하도록 검색 질의를 사용할 수 있다. 예를 들어, 사용자는 "내가 Mona Lisa를 언제 보았지" 또는 "내가 Mona Lisa를 봤을 때 누구랑 함께 있었지?" 물을 수 있다. 사용자의 메모리 모방 사용자 프로파일 내의 시각화 정보는 검색 엔진이 정확한 대답을 식별할 수 있게 할 것이다. 검색 엔진은 사용자와 함께 한 사람의 이름 및 날짜와 같은 메타데이터를 제시할 수 있다. 검색 엔진은 대안으로서 또는 추가적으로 그 때에 사용자가 본 것의 이미지를 제시할 수 있다(예를 들어, 사용자가 본 정확한 관점 및 조건으로부터의 Mona Lisa의 뷰). 따라서, 메모리 모방 사용자 프로파일은 이전에는 이용불가능했던 방식으로 사용자를 지원할 수 있다. 예를 들어, 사용자는 그/그녀가 과거에 보았던 것에 대하여 그/그녀 자신의 메모리를 검색하는 방식으로서 메모리 모방 사용자 프로파일을 검색할 수 있다.

기재된 방법은 도 11 내지 도 15에 대해 상기 기재된 시스템 및/또는 디바이스에 의해 그리고/또는 다른 디바이스 및/또는 시스템에 의해 수행될 수 있다. 방법이 기재되어 있는 순서는 한정으로서 해석되도록 의도되지 않으며, 임의의 수의 기재된 동작들은 방법 또는 대안의 방법을 구현하도록 임의의 순서로 조합될 수 있다. 또한, 방법은 디바이스가 방법을 구현하도록 임의의 적합한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로 구현될 수 있다. 하나의 경우에, 방법은, 컴퓨팅 디바이스의 프로세서에 의한 실행으로 컴퓨팅 디바이스가 방법을 수행하게 하도록, 명령어 세트로서 컴퓨터 판독가능한 저장 매체 상에 저장된다.

결론

요약하자면, 사용자가 본 것(예를 들어, 사용자 시각화)은 그 사용자에게 중요한 것을 우선순위화하는 데 사용될 수 있다. 본 구현은 디지털 및 물리적 둘 다 사용자가 본 것을 알 수 있고, 그것을 사용자의 프로파일(예를 들어, 메모리 모방 사용자 프로파일)에 추가할 수 있다. 이 방식으로, 메모리 모방 사용자 프로파일은 본질적으로 사용자의 메모리를 반영할(mirror) 수 있다. 메모리 모방 사용자 프로파일은 사용자의 메모리/경험의 재생성을 효과적으로 가능하게 할 수 있다.

아이 트래킹 기술은 사용자가 무엇을 얼마나 오랫동안 봤는지 그리고/또는 사용자가 단지 보는 것이 아니라 읽은 것이었는지 여부를 알 수 있다. 사용자가 주시한 컨텐츠는 사용자가 훑어본 것보다 상이하게 가중화될 수 있다. 아이 트래킹 기술은, 단순히 사용자가 문서를 봤다는 것이 아니라, 사용자가 단락의 무슨 문장을 읽었는지 그리고/또는 사용자가 문서의 무슨 단락을 읽었는지 알 수 있다. 또다른 방식으로 서술하자면, 본 구현은 사용자가 전체 문서를 읽었는지 아니면 부분만 읽었는지 그리고 그러한 경우 무슨 부분인지 알 수 있다.

아이 트래킹 기술은 사용자가 "나 전에 이걸 본 적이 있고 오래전일 수 있는데, 완전히 기억해낼 수 없어"라고 생각하는 상황을 가능하게 할 수 있다. 시스템은 사용자가 봤던 것을 알고 그것을 기억해내도록 도울 수 있다. 시스템은 검색에 관련하여 또는 사용자가 "내가 '이 주제'에 대해 봤던 것을 상기시켜줄 수 있나?" 한다면 이 정보를 사용할 수 있다.

시각화 강화된 메모리 모방 사용자 프로파일은 사용자의 메모리에 있는 것과 (대략) 일치하는 연산 모델일 수 있다. 연산 모델은 사용자가 본 것 그리고 사용자가 읽은 것을 알 수 있는데, 연산 모델이 사용자가 본 것을 정확하게 알기 때문이다(예를 들어, 아이 트래킹을 통해). 이는 이 정보를 저장하고 나중에 이를 재성할 수 있다. 시각화 정보는 상이한 것들, 시간, 물리적 위치, 사용자가 누구와 함께 있는지 등으로 인덱싱될 수 있다. 그리하여 사용자는 나중에 "내가 Joe와 함께 본 것을 전부 보여줘" 요청할 수 있다.

메모리 모방 사용자 프로파일의 시각화는 검색과 같은 강화된 서비스를 가능하게 할 수 있다. 이는 사용자가 전에 봤던 것의 모델을 생성할 수 있다. 이 정보는, 사용자가 지금 보기 원하는 것은 사용자가 예전에 본 것일 수 있으며 또는 대안으로서 사용자가 예전에 본 것이 아닐 수 있다(예를 들어, 사용자는 다른 어떤 것을 보기 원함)는 점에서, 레버리징될 수 있다. 본 개념은 임의의 유형의 컨텐츠, 물리적 또는 디지털, 텍스트, 및/또는 이미지에 적용될 수 있다.

시각화 정보에 관한 기술, 방법, 디바이스, 시스템 등이 구조적 특징 및/또는 방법 동작에 특정한 언어로 기재되어 있지만, 첨부된 청구항에 정의된 내용은 반드시 기재된 특정 특징 또는 동작에 한정되는 것은 아님을 이해하여야 한다. 오히려, 특정 특징 및 동작은 청구된 방법, 디바이스, 시스템 등을 구현하는 예시적인 형태로서 개시된 것이다.

Claims

웨어러블(wearable) 안경 디바이스에 있어서,
사용자의 머리에 웨어러블 안경 디바이스를 위치시키도록 구성된 프레임;
사용자의 눈 중의 적어도 하나의 배향(orientation)을 추적하도록 구성된 제1 센서 세트;
사용자의 시야(field of view)를 동시에 식별하도록 구성된 제2 센서 세트; 및
상기 사용자의 눈의 배향을 상기 시야 내의 위치와 상관시키고(correlate) 상기 위치로부터의 컨텐츠를 기록하도록 구성된 상관 컴포넌트를 포함하는 웨어러블 안경 디바이스.
청구항 1에 있어서, 상기 프레임은 프로세서, 스토리지, 및 전원을 더 포함하는 것인 웨어러블 안경 디바이스.
청구항 1에 있어서, 상기 프레임에 의해 지지되는 한 쌍의 렌즈를 더 포함하는 웨어러블 안경 디바이스.
청구항 3에 있어서, 상기 한 쌍의 렌즈는 교정 렌즈인 것인 웨어러블 안경 디바이스.
청구항 1에 있어서, 상기 제1 센서 세트와 상기 제2 센서 세트는 동일한 센서들이거나, 상기 제1 센서 세트와 상기 제2 센서 세트는 상이한 센서들인 것인 웨어러블 안경 디바이스.
청구항 1에 있어서, 상기 사용자에 의해서가 아니라 상기 제1 센서 세트에 의해 검출 가능한 패터닝된 이미지를 투사하도록 구성된 프로젝터를 더 포함하는 웨어러블 안경 디바이스.
청구항 6에 있어서, 상기 상관 컴포넌트는 또한, 상기 위치에 있는 객체를 구별하기 위해 상기 패터닝된 이미지를 이용하도록 구성되는 것인 웨어러블 안경 디바이스.
청구항 7에 있어서, 상기 상관 컴포넌트는 또한, 상기 객체를 식별하도록 구성되는 것인 웨어러블 안경 디바이스.
청구항 8에 있어서, 상기 상관 컴포넌트는 또한, 메타데이터로서의 상기 객체의 아이덴티티를 기록된 컨텐츠와 연관시키도록 구성되는 것인 웨어러블 안경 디바이스.
웨어러블 디바이스에 있어서,
사용자가 보고 있는 위치를 식별하도록 구성된 센서; 및
상기 위치에 있는 컨텐츠를 식별하도록 구성된 컨텐츠 상관 컴포넌트를 포함하는 웨어러블 디바이스.