KR20210034669A

KR20210034669A - 추천들을 전달하기 위한 방법, 디바이스, 및 시스템

Info

Publication number: KR20210034669A
Application number: KR1020217006264A
Authority: KR
Inventors: 앨빈 리 라이; 페리 에이. 카로; 마이클 제이. 록웰; 베누 마다브 두기네니; 란지트 데사이
Original assignee: 애플 인크.
Priority date: 2018-09-11
Filing date: 2019-09-11
Publication date: 2021-03-30
Also published as: JP2021536054A; WO2020055935A1; EP3850467B1; EP4206871A1; JP2022172061A; US20210150774A1; CN112639684A; EP3850467A1; JP7379603B2; US20200082576A1

Abstract

전자 디바이스는 이미지 센서에 의해 캡처된 시야를 특성화하는 패스 스루 이미지 데이터를 획득하고; 패스 스루 이미지 데이터 내의 인식된 대상이 사용자 특정 추천 프로파일과 연관된 신뢰 점수 임계치를 충족하는지 여부를 결정하고; 패스 스루 이미지 데이터 내의 인식된 대상이 신뢰 점수 임계치를 충족한다고 결정하는 것에 응답하여, 인식된 대상과 연관된 하나 이상의 컴퓨터생성 현실(CGR) 콘텐츠 아이템들을 생성하고; 하나 이상의 CGR 콘텐츠 아이템들과 패스 스루 이미지 데이터를 합성하며, 여기서 하나 이상의 CGR 콘텐츠 아이템들은 시야 내의 인식된 대상에 근접해 있다.

Description

추천들을 전달하기 위한 방법, 디바이스, 및 시스템

관련 출원에 대한 상호 참조

본 출원은, 2018년 9월 11일자로 출원된 미국 가특허 출원 제62/729,960호에 대한 우선권을 주장하며, 그 가특허 출원은 이로써 그 전체가 참고로 포함된다.

기술분야

본 발명은, 대체적으로, 컴퓨터생성 현실(computer-generated reality, CGR) 환경들에서 최적의 추천들의 전달을 가능하게 하는 전자 디바이스들을 포함하지만 이들로 제한되지 않는, 추천들을 전달하는 것에 관한 것이다.

물리적 환경은 사람들이 전자 시스템들의 도움없이 감지하고/하거나 그와 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 공원과 같은 물리적 환경들은 물리적 물품들, 예컨대 물리적 나무들, 물리적 건물들, 및 물리적 사람들을 포함한다. 사람들은, 예컨대 시각, 촉각, 청각, 미각, 및 후각을 통해, 물리적 환경을 직접 감지하고/하거나 그와 상호작용할 수 있다.

대조적으로, 컴퓨터생성 현실(CGR) 환경은 사람들이 전자 시스템을 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 시뮬레이션된 환경을 지칭한다. CGR에서, 사람의 물리적 모션들, 또는 이들의 표현들의 서브세트가 추적되고, 이에 응답하여, CGR 환경에서 시뮬레이션된 하나 이상의 가상 객체의 하나 이상의 특성이 적어도 하나의 물리 법칙을 따르는 방식으로 조정된다. 예를 들어, CGR 시스템은 사람이 고개를 돌리는 것을 검출할 수 있고, 이에 응답하여, 그 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 물리적 환경에서 그러한 뷰들 및 소리들이 변화하는 방식과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예컨대, 접근성 이유들 때문에), CGR 환경에서의 가상 객체(들)의 특성(들)에 대한 조정들은 물리적 모션들의 표현들(예컨대, 음성 커맨드들)에 응답하여 이루어질 수 있다.

사람은, 시각, 청각, 촉각, 미각, 및 후각을 포함하는 그들의 감각들 중 임의의 하나를 사용하여 CGR 객체를 감지하고/하거나 그와 상호작용할 수 있다. 예를 들어, 사람은 3D 공간에서 포인트 오디오 소스들의 지각을 제공하는 3D 또는 공간적 오디오 환경을 생성하는 오디오 객체들을 감지하고/하거나 그와 상호작용할 수 있다. 다른 예에서, 오디오 객체들은 오디오 투명성을 가능하게 할 수 있으며, 이는 선택적으로, 물리적 환경으로부터의 주변 소리들을 컴퓨터생성 오디오와 함께 또는 그것 없이 통합한다. 일부 CGR 환경들에서, 사람은 오디오 객체들만을 감지하고/하거나 그와 상호작용할 수 있다.

CGR의 예들은 가상 현실(virtual reality, VR) 및 혼합 현실(mixed reality, MR)을 포함한다.

가상 현실(VR) 환경은 하나 이상의 감각들에 대한 컴퓨터생성 감각 입력들에 전적으로 기초하도록 설계된 시뮬레이션된 환경을 지칭한다. VR 환경은 사람이 감지하고/하거나 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 예를 들어, 나무들, 빌딩들, 및 사람들을 표현하는 아바타들의 컴퓨터생성 형상화가 가상 객체들의 예들이다. 사람은, 컴퓨터생성 환경 내의 사람의 존재의 시뮬레이션을 통해 그리고/또는 컴퓨터생성 환경 내의 사람의 신체적 움직임들의 서브세트의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 감지하고/하거나 그와 상호작용할 수 있다.

컴퓨터생성 감각 입력들에 전적으로 기초하도록 설계되는 VR 환경과는 대조적으로, 혼합 현실(MR) 환경은 컴퓨터생성 감각 입력들(예컨대, 가상 객체들)을 포함하는 것에 부가하여, 물리적 환경으로부터의 감각 입력들, 또는 그들의 표현을 통합하도록 설계되는 시뮬레이션된 환경을 지칭한다. 가상 연속체(virtuality continuum)에서, 혼합 현실 환경은 한쪽의 전체 물리적 환경과 다른 쪽의 가상 현실 환경 사이 중 임의의 곳에 있지만, 이를 포함하지는 않는다.

일부 MR 환경들에서, 컴퓨터생성 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 응답할 수 있다. 또한, MR 환경을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 위치 및/또는 배향을 추적하여 가상 객체들이 실제 객체들(즉, 물리적 환경으로부터의 물리적 물품들 또는 물리적 물품들의 표현들)과 상호작용할 수 있게 할 수 있다. 예를 들어, 시스템은 움직임들을 고려하여 가상 나무가 물리적 땅에 대하여 고정되어 있는 것처럼 보이도록 할 수 있다.

혼합 현실들의 예들은 증강 현실(augmented reality, AR) 및 증강 가상(augmented virtuality, AV)을 포함한다.

증강 현실(AR) 환경은 하나 이상의 가상 객체가 물리적 환경, 또는 그의 표현 위에 중첩되어 있는 시뮬레이션된 환경을 지칭한다. 예를 들어, AR 환경을 제시하기 위한 전자 시스템은 사람이 직접 물리적 환경을 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은 투명 또는 반투명 디스플레이 상에 가상 객체들을 제시하도록 구성되어, 사람이, 시스템을 사용하여, 물리적 환경 위에 중첩된 가상 객체들을 지각하도록 할 수 있다. 대안적으로, 시스템은 불투명 디스플레이, 및 물리적 환경의 표현들인 물리적 환경의 이미지들 또는 비디오를 캡처하는 하나 이상의 이미징 센서들을 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 합성하고, 합성물을 불투명 디스플레이 상에 제시한다. 사람은, 시스템을 사용하여, 물리적 환경의 이미지들 또는 비디오에 의해 물리적 환경을 간접적으로 보고, 물리적 환경 위에 중첩된 가상 객체들을 지각한다. 본 명세서에 사용되는 바와 같이, 불투명 디스플레이 상에 보여지는 물리적 환경의 비디오는 "패스 스루(pass-through) 비디오"로 불리는데, 이는 시스템이 하나 이상의 이미지 센서(들)를 사용하여 물리적 환경의 이미지들을 캡처하고, AR 환경을 불투명 디스플레이 상에 제시할 시에 이들 이미지들을 사용하는 것을 의미한다. 추가로 대안적으로, 시스템은 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하는 투영 시스템을 가질 수 있어서, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 지각하게 한다.

증강 현실 환경은 또한, 물리적 환경의 표현이 컴퓨터생성 감각 정보에 의해 변환되는 시뮬레이션된 환경을 지칭한다. 예를 들어, 패스 스루 비디오를 제공할 시에, 시스템은 하나 이상의 센서 이미지를 변환하여 이미징 센서들에 의해 캡처된 관점과 상이한 선택 관점(예컨대, 시점)을 부과할 수 있다. 다른 예로서, 물리적 환경의 표현은 그것의 일부들을 그래픽적으로 수정(예컨대, 확대)함으로써 변환될 수 있고, 수정된 부분은 원래 캡처된 이미지들의 대표적인 버전일 수 있지만, 실사 버전은 아닐 수 있다. 추가적인 예로서, 물리적 환경의 표현은 그의 일부들을 그래픽적으로 제거하거나 또는 흐리게 함으로써 변환될 수 있다.

증강 가상(AV) 환경은, 가상 또는 컴퓨터생성 환경이 물리적 환경으로부터의 하나 이상의 감각 입력을 포함하는 시뮬레이션된 환경을 지칭한다. 감각 입력들은 물리적 환경의 하나 이상의 특성들의 표현들일 수 있다. 예를 들어, AV 공원은 가상 나무들 및 가상 빌딩들을 가질 수 있지만, 사람들의 얼굴들은 물리적 사람들을 촬영한 이미지들로부터 실사처럼 재현될 수 있다. 다른 예로서, 가상 객체는 하나 이상의 이미징 센서에 의해 이미징되는 물리적 물품의 형상 또는 색상을 채택할 수 있다. 추가적인 예로서, 가상 객체는 물리적 환경에서 태양의 포지션에 부합하는 그림자들을 채택할 수 있다.

사람이 다양한 CGR 환경들을 감지하고/하거나 그와 상호작용할 수 있게 하는 많은 상이한 유형들의 전자 시스템들이 존재한다. 예들은 스마트폰들, 태블릿들, 데스크톱/랩톱 컴퓨터들, 헤드 마운티드(head-mounted) 시스템들, 투영 기반 시스템들, 헤드업 디스플레이(heads-up display, HUD)들, 디스플레이 능력이 통합되어 있는 차량 앞유리들, 디스플레이 능력이 통합되어 있는 창문들, 사람의 눈에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예컨대, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예컨대, 햅틱 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들 및/또는 손 추적 및/또는 다른 신체 포즈 추정 능력들을 갖는 카메라들)을 포함한다.

헤드 마운티드 시스템은 하나 이상의 스피커(들) 및 통합된 불투명 디스플레이를 가질 수 있다. 대안적으로, 헤드 마운티드 시스템은 외부 불투명 디스플레이(예컨대, 스마트폰)를 수용하도록 구성된 헤드 마운티드 인클로저(head-mounted enclosure, HME)일 수 있다. 헤드 마운티드 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰을 포함할 수 있다. 헤드 마운티드 시스템은 불투명 디스플레이보다는, 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈으로 지향되게 하는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 구현예에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명해지도록 구성될 수 있다. 투영 기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투영하는 망막 투영 기술을 채용할 수 있다. 투영 시스템들은 또한, 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하도록 구성될 수 있다.

CGR (AR) 기술은 사용자의 일상 생활의 필수적인 부분이 될 잠재력을 갖는다. CGR을 구현하는 디바이스들은 내비게이션에서 날씨, 건축, 게임, 그리고 훨씬 더한 것에 이르기까지 많은 태양들에 관련된 정보를 사용자에게 제공할 수 있다. 그러나, 사용자에게 제공되는 정보는 압도적일 수 있고, 사용자의 관심에 관련되지 않을 수 있다.

일부 실시예들에 따르면, 방법은 하나 이상의 프로세서들 및 비일시적 메모리를 갖는 전자 디바이스에서 수행된다. 본 방법은 이미지 센서에 의해 캡처된 시야를 특성화하는 패스 스루 이미지 데이터를 획득하는 단계를 포함한다. 본 방법은 또한, 패스 스루 이미지 데이터 내의 인식된 대상이 사용자 특정 추천 프로파일과 연관된 신뢰 점수 임계치를 충족하는지 여부를 결정하는 단계를 포함한다. 본 방법은, 패스 스루 이미지 데이터 내의 인식된 대상이 신뢰 점수 임계치를 충족한다고 결정하는 것에 응답하여 인식된 대상과 연관된 하나 이상의 컴퓨터생성 현실(AR) 콘텐츠 아이템들을 생성하는 단계를 추가로 포함한다. 본 방법은 하나 이상의 CGR 콘텐츠 아이템들과 패스 스루 이미지 데이터를 합성하는 단계를 추가로 포함하고, 여기서 하나 이상의 CGR 콘텐츠 아이템들은 시야 내의 인식된 대상에 근접해 있다.

일부 실시예들에 따르면, 방법은 하나 이상의 프로세서들 및 비일시적 메모리를 갖는 전자 디바이스에서 수행된다. 본 방법은 디바이스의 제1 포즈와 연관된 대상들의 제1 세트를 획득하는 단계를 포함한다. 본 방법은 또한, 사용자 콘텍스트 및 제1 포즈에 기초하여 대상들의 제1 세트 각각에 대한 가능성 추정 값들을 결정하는 단계를 포함한다. 본 방법은, 대상들의 제1 세트 내의 적어도 하나의 각각의 대상에 대한 적어도 하나의 가능성 추정 값이 신뢰 임계치를 초과하는지 여부를 결정하는 단계를 추가로 포함한다. 본 방법은, 적어도 하나의 가능성 추정 값이 신뢰 임계치를 초과한다고 결정하는 것에 응답하여 적어도 하나의 각각의 대상 및 사용자 콘텍스트와 연관된 적어도 하나의 분류기를 사용하여 적어도 하나의 각각의 대상과 연관된 추천된 콘텐츠 또는 액션들을 생성하는 단계를 추가로 포함한다.

일부 실시예들에 따르면, 전자 디바이스는 디스플레이, 하나 이상의 입력 디바이스들, 하나 이상의 프로세서들, 비일시적 메모리, 및 하나 이상의 프로그램들을 포함하며; 하나 이상의 프로그램들은 비일시적 메모리에 저장되고, 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 하나 이상의 프로그램들은 본 명세서에 설명되는 방법들 중 임의의 방법의 동작들을 수행하거나 또는 이들의 수행을 야기하기 위한 명령어들을 포함한다. 일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체는, 디스플레이 및 하나 이상의 입력 디바이스들을 갖는 전자 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 디바이스로 하여금, 본 명세서에서 기술되는 방법들 중 임의의 방법의 동작들을 수행하게 하거나 이들의 수행을 야기하게 하는 명령어들을 내부에 저장하였다. 일부 실시예들에 따르면, 전자 디바이스는: 디스플레이, 하나 이상의 입력 디바이스들; 및 본 명세서에서 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 이들의 수행을 야기하기 위한 수단을 포함한다. 일부 실시예들에 따르면, 디스플레이 및 하나 이상의 입력 디바이스들을 갖는 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치는 본 명세서에서 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 이들의 수행을 야기하기 위한 수단을 포함한다.

다양하게 기술된 실시예들의 더 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1은 일부 구현예들에 따른 예시적인 동작 환경의 블록도이다.
도 2a 내지 도 2g는 일부 실시예들에 따른, 사용자 특정 컴퓨터생성 현실(CGR) 콘텐츠 아이템들을 렌더링하기 위한 예시적인 사용자 인터페이스들을 도시한다.
도 3은 일부 실시예들에 따른, 사용자 특정 CGR 콘텐츠를 생성하기 위한 예시적인 추상적 블록도를 도시한다.
도 4a 내지 도 4c는 일부 실시예들에 따른, 업데이트 사용자 콘텍스트 및/또는 포즈들에 기초하여 사용자 특정 CGR 콘텐츠 아이템들을 추천하기 위한 예시적인 사용자 인터페이스들을 도시한다.
도 5는 일부 실시예들에 따른, CGR 환경에서 최적의 추천들을 전달하기 위한 예시적인 추상적 블록도를 도시한다.
도 6은 일부 실시예들에 따른, 사용자 특정 CGR 콘텐츠 아이템들을 렌더링하는 방법의 흐름도를 도시한다.
도 7은 일부 실시예들에 따른, 추천된 CGR 콘텐츠를 생성하는 방법의 흐름도를 도시한다.
도 8은 일부 실시예들에 따른 컴퓨팅 디바이스의 블록도이다.

도면들에 도시된 예시적인 구현예들의 완전한 이해를 제공하기 위해 다수의 세부사항들이 설명된다. 그러나, 도면들은 본 개시내용의 일부 예시적인 태양들만을 도시할 뿐이며, 따라서 제한적인 것으로 고려되지 않는다. 당업자들은 다른 효과적인 태양들 및/또는 변형들이 본 명세서에 설명되는 특정 세부사항들 모두를 포함하지는 않음을 인식할 것이다. 또한, 잘 알려진 시스템들, 방법들, 컴포넌트들, 디바이스들 및 회로들은 본 명세서에 설명되는 예시적인 구현예들의 더 적절한 태양들을 모호하게 하지 않기 위해 철저히 상세하게 설명되지 않았다.

후술되는 실시예들에서, 이미지 센서에 의해 캡처된 시야를 특성화하는 패스 스루 이미지 데이터는 하나 이상의 컴퓨터생성 현실(CGR) 콘텐츠 아이템들과 합성된다. 하나 이상의 CGR 콘텐츠 아이템들은 패스 스루 이미지 데이터 내의 인식된 대상과 연관되고, 패스 스루 이미지 데이터 내의 인식된 대상은 신뢰 점수 임계치를 충족시킨다. 합성된 이미지에서, 하나 이상의 CGR 콘텐츠 아이템들은 시야 내의 인식된 대상에 근접하게 배치된다. 따라서, 후술되는 실시예들은 사용자 특정 콘텐츠의 원활한(seamless) 통합을 제공한다. 사용자 특정 콘텐츠는 사용자 관심의 가능성들에 기초하여 생성되고 사용자에게 디스플레이된다. 예를 들어, 사용자의 시야 내에서 컵케이크가 인식되는 경우, 컵케이크 레시피 또는 컵케이크에 대한 영양학적 정보가 생성되고 사용자에게 디스플레이된다. 이와 같이, 본 명세서에 기술된 다양한 실시예들에 따라 생성된 추천된 CGR 콘텐츠 아이템들은 사용자가 수동으로 검색 질의들을 입력하거나 선호도들을 나타내지 않고서 그들의 경험에 몰입한 채로 있게 한다. 원활한 통합은, 또한, 사용자가 디바이스를 더 빠르고 효율적으로 사용할 수 있게 함으로써, 디바이스의 전력 사용량을 감소시키고 그의 배터리 수명을 개선시킨다.

후술되는 실시예들에서, 디바이스의 포즈와 연관된 대상들의 세트가 획득되고, 대상들의 세트 각각에 대한 가능성 추정 값들이 사용자 콘텍스트 및 포즈에 기초하여 결정된다. 대상들의 세트 내의 적어도 하나의 각각의 대상과 연관된 추천된 콘텐츠 또는 액션들이 생성된다. 추천된 콘텐츠 또는 액션들은, 대상들의 세트 내의 적어도 하나의 각각의 대상에 대한 적어도 하나의 가능성 추정 값이 신뢰 임계치를 초과한다고 결정하는 것에 응답하여 적어도 하나의 각각의 대상과 연관된 적어도 하나의 분류기를 사용하여 생성된다. 이와 같이, 하기에 기술되는 실시예들은 사용자가 대상에 얼마나 관심을 가질 가능성이 있는지에 기초하여 추천된 CGR 콘텐츠를 생성하기 위한 프로세스를 제공한다. 따라서, 본 명세서에 기술된 다양한 실시예들에 따른 콘텐츠 추천은 정보 또는 다음 액션을 찾아낼 때 더 적은 시간 및 사용자 입력들을 요구하는 원활한 사용자 경험을 제공한다. 이는, 또한, 사용자가 디바이스를 더 빠르고 효율적으로 사용할 수 있게 함으로써, 디바이스의 전력 사용량을 감소시키고 그의 배터리 수명을 개선시킨다.

도 1은 일부 구현예들에 따른 예시적인 동작 환경(100)의 블록도이다. 관련 특징부들이 도시되어 있지만, 당업자는 본 개시내용으로부터, 다양한 다른 특징부들이 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 구현예들의 더 많은 관련 태양들을 모호하게 하지 않기 위해 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 동작 환경(100)은 제어기(102) 및 CGR 디바이스(104)를 포함한다. 도 1의 예에서, CGR 디바이스(104)는 사용자(10)에 의해 착용된다.

일부 구현예들에서, CGR 디바이스(104)는 태블릿 또는 모바일 폰에 대응한다. 다양한 구현예들에서, CGR 디바이스(104)는 헤드 마운티드 디바이스(HMD) 또는 태블릿이나 모바일 폰이 내부에 삽입되어 있는 헤드 마운티드 인클로저(HME)와 같은 헤드 마운티드 시스템에 대응한다. 일부 구현예들에서, CGR 디바이스(104)는 CGR 콘텐츠를 사용자에게 제시하도록 구성된다. 일부 구현예들에서, CGR 디바이스(104)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다.

일부 구현예들에 따르면, CGR 디바이스(104)는, 사용자가 장면(106) 내에 가상적으로 그리고/또는 물리적으로 존재하는 동안 CGR 콘텐츠를 디스플레이(122)를 통해 사용자에게 제시한다. 일부 구현예들에서, CGR 디바이스(104)는 가상 콘텐츠(예컨대, 가상 실린더(109))를 제시하도록 그리고 디스플레이 상에 (예컨대, 테이블(107)의 표현(117)을 포함하는) 장면(106)의 비디오 패스 스루를 가능하게 하도록 구성된다. 일부 구현예들에서, CGR 디바이스(104)는 가상 콘텐츠를 제시하도록 그리고 장면(106)의 광학적 시스루(see-through)를 가능하게 하도록 구성된다.

일부 구현예들에서, 사용자는 자신의 손(들)에 CGR 디바이스(104)를 들고 있다. 일부 구현예들에서, 사용자는 CGR 디바이스(104)를 자신의 머리에 착용한다. 이와 같이, CGR 디바이스(104)는 CGR 콘텐츠를 디스플레이하기 위해 제공되는 하나 이상의 CGR 디스플레이들을 포함한다. 예를 들어, CGR 디바이스(104)는 사용자의 시야를 둘러싼다. 일부 구현예들에서, CGR 디바이스(104)는 CGR 콘텐츠를 제시하도록 구성된 CGR 챔버, 인클로저, 또는 룸으로 대체되고, 여기서 사용자는 CGR 디바이스(104)를 착용하지 않는다.

일부 구현예들에서, 제어기(102)는 사용자에 대한 CGR 콘텐츠의 제시를 관리하고 조절하도록 구성된다. 일부 구현예들에서, 제어기(102)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 일부 구현예들에서, 제어기(102)는 장면(106)에 대해 로컬인 또는 원격인 컴퓨팅 디바이스이다. 예를 들어, 제어기(102)는 장면(106) 내에 위치된 로컬 서버이다. 다른 예에서, 제어기(102)는 장면(106)의 외부에 위치된 원격 서버(예컨대, 클라우드 서버, 중앙 서버 등)이다. 일부 구현예들에서, 제어기(102)는 하나 이상의 유선 또는 무선 통신 채널들(144)(예컨대, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 CGR 디바이스(104)와 통신가능하게 결합된다. 일부 구현예들에서, 제어기(102)의 기능들은 CGR 디바이스(104)에 의해 제공되고 그리고/또는 그와 조합된다.

도 1에 예시된 바와 같이, CGR 디바이스(104)는 장면(106)을 표현을 제시한다. 일부 구현예들에서, 장면(106)의 표현은 제어기(102) 및/또는 CGR 디바이스(104)에 의해 생성된다. 일부 구현예들에서, 장면(106)의 표현은 장면(106)의 시뮬레이션된 대체물인 가상 장면을 포함한다. 다시 말하면, 일부 구현예들에서, 장면(106)의 표현은 제어기(102) 및/또는 CGR 디바이스(104)에 의해 시뮬레이션된다. 그러한 구현예들에서, 장면(106)의 표현은 CGR 디바이스(104)가 위치되는 장면(106)과 상이하다. 일부 구현예들에서, 장면(106)의 표현은 장면(106)의 수정된 버전(예컨대, 가상 실린더(109)를 포함함)인 증강 장면을 포함한다. 예를 들어, 일부 구현예들에서, 제어기(102) 및/또는 CGR 디바이스(104)는 장면(106)의 표현을 생성하기 위해 장면(106)을 수정(예컨대, 증강)한다. 일부 구현예들에서, 제어기(102) 및/또는 CGR 디바이스(104)는 장면(106)의 복제물을 시뮬레이션함으로써 장면(106)의 표현을 생성한다. 일부 구현예들에서, 제어기(102) 및/또는 CGR 디바이스(104)는 장면(106)의 시뮬레이션된 복제물로부터 아이템들을 제거함으로써 그리고/또는 이를 추가함으로써 장면(106)의 표현을 생성한다.

도 2a 내지 도 2g는 일부 실시예들에 따른, 사용자 특정 컴퓨터생성 현실(CGR) 콘텐츠를 렌더링하기 위한 예시적인 사용자 인터페이스들을 도시한다. 이 도면들에서의 사용자 인터페이스들은 도 5에서의 프로세스를 포함한, 후술되는 프로세스들을 예시하는 데 사용된다. 일부 실시예들에서, 디바이스는 디스플레이와는 별개인 입력 디바이스(예컨대, 음성 활성화된 커맨드들을 갖는 헤드 마운티드 디바이스(HMD), 별개의 터치패드 및 디스플레이를 갖는 랩톱, 또는 별개의 마우스 및 디스플레이를 갖는 데스크톱)를 통해 입력들을 검출한다.

도 2a에 도시된 바와 같이, 디바이스(104)는 미디어 캡처/상호작용 인터페이스(202)를 디스플레이한다. 일부 실시예들에 따르면, 미디어 캡처/상호작용 인터페이스(202)는 이미지 센서의 시야에 있는 대상들을 갖는 장면을 디스플레이한다. 장면을 나타내는 이미지 데이터(또는 패스 스루 이미지 데이터)는 이미지 센서에 의해 캡처된다. 일부 실시예들에서, 패스 스루 이미지 데이터는 미리보기 이미지, 표면 이미지(예컨대, 평면 표면), 깊이 매핑들, (예컨대, 깊이 매핑들에 대한) 앵커 좌표들 등을 포함한다. 일부 실시예들에서, 패스 스루 이미지 데이터는 시각적 콘텐츠를 포함할 뿐만 아니라, 오디오 콘텐츠, 3D 렌더링, (디스플레이된 실제 프레임의) 타임스탬프들, 헤더 파일(예컨대, 콘트라스트, 채도, 화이트 밸런스 등과 같은 카메라 설정들), 및/또는 메타데이터를 포함한다.

도 1을 참조하여 전술된 바와 같이, 일부 실시예들에서, 장면을 캡처하기 위한 이미지 센서는 디바이스(104)의 일부이거나 디바이스(104)에 부착되고; 반면에 일부 다른 실시예들에서, 이미지 센서는 디바이스(104)로부터 분리되는데, 예컨대 디바이스(104)로부터 원격에 있는 카메라 상에 있다. 다양한 실시예들에서, 장면은 이미지 센서의 시야가 변화함에 따라 변경되는데, 이는 도 2c 내지 도 2g를 참조하여 아래에 도시되는 바와 같다. 도 2a에서, 미디어 캡처/상호작용 인터페이스(202)는 "201"로 라벨링된 도어 사인(210)을 갖는 개방 출입구를 포함한다. 미디어 캡처/상호작용 인터페이스(202)는 또한, 개방 출입구를 통해 룸 내의 픽처 프레임(picture frame)(220) 및 테이블(230)을 보여준다.

도 2b는 미디어 캡처/상호작용 인터페이스(202) 내의 CGR 콘텐츠 아이템들을 갖는 합성된 패스 스루 이미지 데이터 렌더링을 도시한다. 일부 실시예들에 따르면, 합성된 패스 스루 이미지 데이터는 정보, 예컨대, 룸 정보(212) 및 그 룸과 연관된 플로어 맵(floor map)(214)을 포함한다. 룸 정보(212) 및 플로어 맵(214)은, 디바이스(104)가 도어 사인(210)을 인식하고 사용자가 룸 및 건물에 관해 더 많이 배우는데 관심이 있다고 결정하는 것에 기초하여 생성된 CGR 콘텐츠 아이템들이다. 일부 실시예들에서, 도어 사인(210) 주위의 점선으로 나타낸 바와 같이, 시야 내의 인식된 대상은 인식된 대상(210)과 추가적인 CGR 콘텐츠 아이템들(212, 214)의 연관성을 나타내도록 강조된다. 일부 실시예들에서, CGR 콘텐츠 아이템들(212, 214)은 인식된 대상(210)과의 연관성을 나타내기 위해 인식된 대상(210) 부근에서 애니메이션화된다(예컨대, 플래싱, 수축/확대, 이동 등). 일부 실시예들에서, 디바이스(104)의 디스플레이 상에 CGR 콘텐츠 아이템들(212, 214)을 디스플레이하는 것에 더하여 또는 그 대신에, 오디오 콘텐츠가 CGR 콘텐츠 아이템들로서 재생되는데, 예컨대, 도어 사인, 룸 정보, 및/또는 플로어 맵을 사용자에게 읽는다.

도 2b 및 도 2c는 미디어 캡처/상호작용 인터페이스(202)가 이미지 센서의 시야의 변화에 기초하여 업데이트되는 시퀀스를 도시한다. 이미지 센서의 관점 또는 유리한 지점은 도 2b와 도 2c 사이에서 변화한다. 예를 들어, 도 2c에서, 출입구는 미디어 캡처/상호작용 인터페이스(202)에 더 이상 디스플레이되지 않는데, 이는 사용자가 룸에 들어갔음을 나타낸다. 그 결과, 도 2b에 도시된 바와 같은 도어 사인(210)과 연관된 CGR 콘텐츠 아이템들(212, 214)은 더 이상 사용자에게 제공되지 않는다. 대신에, 사용자가 룸에 들어감에 따라, 사용자는 룸의 전체 뷰(full view)를 갖는다. 그 결과, 도 2c에 도시된 바와 같이, 미디어 캡처/상호작용 인터페이스(202)는 룸의 3개의 벽들을 디스플레이한다. 미디어 캡처/상호작용 인터페이스(202)는 또한, 룸 내의 픽처 프레임(220), 테이블(230), 시계(240), 및 개(236)를 디스플레이한다. 추가적으로, 도 2c에 도시된 바와 같이, 미디어 캡처/상호작용 인터페이스(202)는 테이블(230) 상의 컵케이크(232) 및 책(234)을 디스플레이한다.

도 2d 및 도 2e는 상이한 사용자 콘텍스트에 기초하여 사용자에게 렌더링된 상이한 CGR 콘텐츠 아이템들을 도시한다. 도 2d에서, 합성된 패스 스루 이미지 데이터는 컵케이크(232)와 연관된 CGR 콘텐츠 아이템(250)을 포함한다. CGR 콘텐츠 아이템(250)은 컵케이크(232)에 인접하여 또는 그에 대해 렌더링된다. 또한, CGR 콘텐츠 아이템(250)은 컵케이크(232)와 연관된 정보, 예컨대, 컵케이크의 칼로리, 및 컵케이크(232)에 대한 레시피로의 링크(252) 및 컵케이크(232)를 식이요법 로그에 추가하기 위한 버튼(254)을 포함하는 어포던스들을 포함한다. 어포던스들(252)은 컵케이크(232)와 연관된 액션, 예컨대 링크(252)를 탭핑하여 컵케이크에 대한 레시피를 찾거나 또는 버튼(254)을 클릭하여 컵케이크(232)를 식이요법 로그에 추가하는 것을 수행하기 위해 사용자에게 옵션들로서 제공된다.

도 2d에 도시된 CGR 콘텐츠 아이템(250)은 사용자가 컵케이크(232)에 관심이 있다는 결정에 기초하여 생성되며, 컵케이크(232)에 관한 정보를 제공하기 위한 추천이 이루어진다. 비교하면, 도 2e는 상이한 CGR 콘텐츠 아이템(256)을 도시하며, 이는 컵케이크(232) 상에 오버레이(overlay)된다. 사용자가 여전히 컵케이크(230)에 관심이 있는 동안, CGR 콘텐츠 아이템(256)은 상이한 사용자 콘텍스트에 기초하여 만들어지며, 예컨대, 사용자는 식이 제한 등을 갖는다.

도 2f는 인식된 대상(예컨대, 테이블(230))에 근접한 CGR 콘텐츠 아이템(260)을 예시하며, 여기서 CGR 콘텐츠 아이템(260)은 인식된 대상(230)의 적어도 일부를 포함하는 영역(262)에 근접한 시선을 검출하는 것에 응답하여 생성된다. 도 2f에서, 디바이스(104)는 테이블(230)의 일부, 테이블(230) 상의 컵케이크(232)의 일부, 및 테이블(230) 상의 책(234)의 일부를 포함하는, 시선에 근접한 영역(262)을 검출한다. 디바이스(104)는 영역(262)에 대응하는 패스 스루 이미지 데이터의 서브세트를 사용하여 그리고 이미지 데이터의 서브세트에 테이블 분류기를 적용하여, 테이블(230)을 인식한다.

일부 실시예들에서, 테이블 분류기는 분류기들의 클러스터에 할당된 가중치들에 기초하여 선택된다. 일부 실시예들에서, 분류기들은 객체들/대상들의 라이브러리 내의 엔트리들, 예컨대, 형상, 숫자, 동물, 음식, 식물, 사람, 개, 정사각형, 꽃, 형상, 조명 등에 대응한다. 하나 이상의 분류기들을 사용하여, 대상이 이미지 데이터에서 인식될 수 있다. 대상 인식 동안, 가중치들은 상이한 분류기들에 할당되고, 하나 이상의 분류기들은 각각의 분류기와 연관된 가중치에 기초하여 선택될 수 있다. 선택된 분류기(들)는 이어서, 이미지 데이터에서 대상을 인식하는 데 사용될 수 있다.

예를 들어, 영역(262)에 근접한 시선에 기초하여, 가중치들은 테이블 분류기, 컵케이크 분류기, 및 책 분류기에 할당된다. 시선이 테이블 표면 상에 머물게 됨에 따라, 테이블 분류기에 할당된 가중치가 증가하는 반면, 컵케이크 분류기 및 책 분류기에 할당된 가중치는 감소한다. 분류기들에 할당된 가중치들에 기초하여, 시선 영역(262)에 근접한 테이블 대상(230)을 식별하기 위해 테이블 분류기가 선택된다. 테이블(230)을 인식하면, 디바이스(104)는 테이블(230)에 인접한, 테이블(230)의 스타일과 매칭될 수 있는 의자의 추천들과 같은 CGR 콘텐츠(260)를 렌더링한다.

도 2g는 인식된 대상(234)에 근접한 CGR 콘텐츠 아이템(270)(예컨대, 포인팅 구성의 손 아이콘)을 예시하며, 여기서 시선 영역(272)은 인식된 대상(234)으로부터 임계 거리 내에 있다. 도 2g에서, 디바이스(104)는 시선 영역(272)이 시야 내의 개(236) 상에 있다는 것을 검출한다. 그러나, 사용자 콘텍스트에 기초하여, 사용자는 미디어 캡처/상호작용 인터페이스(202)에 디스플레이된 개(236)에 관한 더 많은 정보를 보는 데 관심이 있을 것 같지 않으며, 예컨대 사용자는 동물들을 싫어한다. 또한, 사용자 콘텍스트에 기초하여, 디바이스는, 책(234)이 사용자에게 더 관심이 있고(예컨대, 사용자는 최근에 도서관에서 책(234)을 획득함), 책(234)이 시선 영역(272)으로부터 임계 거리 내에 있음을 결정한다. 후속하여, 디바이스(104)는 시선 영역(272)을 확장시켜 더 많은 대상들이 영역 내에 포함되고 분석되도록 한다. 이어서, 책(234)은 확장된 시선 영역에 대응하는 이미지 데이터로부터 인식되고, CGR 콘텐츠 아이템(270)이 책(234) 위에 생성되고 렌더링된다.

도 2g는 CGR 콘텐츠 아이템(270)이 가능성 추정을 통해 특정 사용자에 대해 생성되는 것을 보여주는데, 여기서 사용자에 관한 선험적 정보뿐만 아니라 현재의 패스 스루 이미지 데이터가 입력들이다. 이는, 인식된 대상이 다수의 검색가능 요소들을 포함하고 각각이 적어도 분류기와 연관될 때 특히 유용하다. 예를 들어, 도 2a 내지 도 2g에서, 픽처 프레임(220)은 프레임 자체, 픽처 내의 꽃병, 및 픽처화된 꽃병 내의 꽃들을 포함한, 다수의 검색가능 요소들을 포함한다. 이러한 검색가능 요소들을 구별하고 사용자가 가장 관심을 가질 것 같은 요소에 대한 CGR 콘텐츠 아이템들을 생성하기 위해, 도 3을 참조하여 더 상세히 후술되는 바와 같이 콘텐츠 추천들이 미세 조정된다.

도 3은 사용자가 가장 관심을 가질 것 같은 대상을 식별하기 위한 다중 반복 프로세스(300)와 연관된 추상적 블록도를 도시한다. 관련 특징부들이 도시되어 있지만, 당업자들은 본 개시내용으로부터, 다양한 다른 특징부들이 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 실시예들의 더 많은 관련 태양들을 모호하게 하지 않기 위해 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 도 3에서, 시선 영역(222)이 시야에서 픽처 프레임(220)에 근접함에 따라, 픽처 프레임(220)은 프레임(310), 꽃(320), 및 꽃병(330)을 포함한 다수의 검색가능 요소들을 포함하고, 이들 각각은 시선 영역에 근접해 있다. 가능성 추정 값들은 다중 반복들 동안 결정된다.

일부 실시예들에서, 가능성 추정 값들 각각은 초기 값을 할당받는데, 예컨대 모든 가능성 추정 값들이 0이거나 가능성 추정 값들이 동일하게 분배된다. 도 3에 도시된 바와 같이, 제1 반복 동안, 프레임(310), 꽃(320), 및 꽃병(330)에 대한 가능성 추정 값들은 대략 1/3, 예컨대 프레임(310)에 대해 0.33, 꽃(320)에 대해 0.33, 및 꽃병(330)에 대해 0.34로 동일하게 할당된다. 제2 반복 동안, 가능성 추정 값들은 사용자가 제1 반복 후 다음 시간 단계에서 무엇에 관심이 있는지를 반영하도록 업데이트된다. 또한, 도 4a 내지 도 4c를 참조하여 아래에서 상세히 설명되는 바와 같이, 포즈들 및/또는 사용자 콘텍스트에서의 변화들이 가능성 추정 값의 변경들에 기여할 수 있다. 따라서, 제2 반복 동안, 프레임(310)에 대한 가능성 추정 값은 0.25이고, 꽃(320)에 대한 가능성 추정 값은 0.00이고, 꽃병(330)에 대한 가능성 추정 값은 0.75이다. 마찬가지로, 제3 반복 동안, 포즈들 및/또는 사용자 콘텍스트에서의 더 많은 변화들은 프레임(310)에 대한 가능성 추정 값을 0.75로, 꽃(320)에 대한 가능성 추정 값을 0.00으로, 그리고 꽃병(330)에 대한 가능성 추정 값을 0.25로 변경하게 한다. 꽃(320)에 대한 0.00의 가능성 추정 값은 사용자가 꽃(320)에 관해 더 많이 배우는데 관심이 없을 가능성이 크다는 것을 나타내지만, 일부 실시예들에서, 디바이스는 예컨대, 신뢰 임계치를 초과하지 않는 0.25와 0.75의 값들에서 사용자가 가장 관심있는 하나의 요소를 식별하기 위해 더 많은 반복(들)을 필요로 할 것이다. 도 3에 도시된 바와 같이, 제4 및 최종 반복 동안, 프레임(310)에 대한 가능성 추정 값은 0.90으로 증가하였으며, 이는 사용자가 프레임 내에 그려진 픽처가 아닌 프레임 자체에 가장 관심이 있을 것 같다는 것을 나타낸다.

도 3에 도시된 선택 프로세스는 깔때기 형상화되어, 시간 경과에 따라, 예컨대 제2 및 제3 반복들 또는 임계량의 시간 후에, 임계 값 미만의 가능성 추정 값들(예컨대, 0.00의 가능성 추정 값을 갖는 꽃)이 다음 반복에 포함되지 않도록 한다. 다수의 반복들 후에, 가능성 추정 값들은 특정 값으로 수렴되어, 사용자가 가장 관심있을 것 같은 특정 대상에 대해 추천들이 이루어질 수 있게 된다.

도 4a 내지 도 4c로 돌아가, 도 4a 내지 도 4c는 일부 실시예들에 따른, 사용자 콘텍스트 및/또는 포즈들에 기초하여 사용자 특정 CGR 콘텐츠 아이템들을 렌더링하기 위한 예시적인 사용자 인터페이스들을 도시한다. 예시적인 사용자 인터페이스들은 도 5의 추천된 콘텐츠 생성 프로세스를 예시하는 데 사용된다.

예를 들어, 도 4a에서, 디바이스(104)는 디바이스(104)의 포즈에 기초하여 픽처 프레임(220)에 근접한, 점선으로 나타낸 바와 같은 시선 영역(222)을 검출한다. 픽처 프레임(220)은 프레임 자체, 픽처 내의 꽃병, 및 픽처화된 꽃병 내의 꽃들을 포함한다. 디바이스(104)의 가능성 추정기는 대상들 각각에 대한 가능성 추정 값들, 예컨대 프레임에 대한 가능성 추정 값, 꽃병에 대한 가능성 추정 값, 및 꽃들에 대한 가능성 추정 값을 결정한다. 일부 실시예들에서, 가능성 추정 값들은 사용자 콘텍스트 및 포즈 둘 모두에 기초하여 결정된다. 도 4a에서, 시선 영역(222a)은 프레임, 꽃병, 및 꽃들에 근접해 있다. 사용자 콘텍스트, 예컨대 사용자는 아티스트가 아니라 식물학자임을 사용하면, 사용자는 프레임(220) 내에 그려진 꽃들에 관심이 있을 가능성이 더 크다. 따라서, 디바이스(104)는 사용자에게 꽃 정보를 제공하기 위해 추천된 콘텐츠(224)를 생성한다.

도 4b 및 도 4c는 미디어 캡처/상호작용 인터페이스(202)가 도 4a에 도시된 인터페이스에 대해 업데이트됨을 도시한다. 도 4a에 도시된 뷰에 비해, 도 5b 및 도 5c에 도시된 바와 같은 디바이스(104)의 관점 또는 유리한 지점은, 예컨대 디바이스(104)의 이동들로 인해, 시야가 우측으로 시프트됨에 따라 변화한다. 시선이 우측으로 시프트됨에 따라, 시선 영역(222b)은 중앙에 있는 픽처 프레임(220)으로부터 멀리 이동하여 우측으로 이동한다. 도 4b는, 포즈 변화의 결과로서, 디바이스(104)가, 우측 벽 상의 시계가 사용자에게 관심의 대상임을 예측하고, 시계(240)에 인접한 이벤트 캘린더(242)가 생성되는 것을 도시한다. 도 4c는 시선 영역(222c)이 시계(240)에 훨씬 더 가깝게 이동함에 따라, 다른 추천된 콘텐츠(244)가 인터페이스(202)에 보여지는 것을 도시한다. 추천된 콘텐츠(244)는 수의사가 방문할 시간이라는 사용자 콘텍스트에 기초하여 생성되고, 사용자는 수의사 방문을 위한 준비로 개(236)와 연관된 정보를 얻는 것에 더 관심이 있다.

도 5는 일부 실시예들에 따른, CGR 환경에서 최적의 추천들을 전달하기 위한 프로세스(500)와 연관된 추상적 블록도를 도시한다. 관련 특징부들이 도시되어 있지만, 당업자들은 본 개시내용으로부터, 다양한 다른 특징부들이 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 실시예들의 더 많은 관련 태양들을 모호하게 하지 않기 위해 예시되지 않았음을 인식할 것이다. 예를 들어, 프로세스(500)를 구현하는 시스템은 다수의 분산형 디바이스들을 포함하는 이종 시스템(heterogeneous system)일 수 있다. 이와 같이, 점선으로 나타낸 바와 같이, 계산 리소스 집약적인 작업들을 수행하는 일부 컴포넌트들은 원격 에이전트들 상에서 구현되고, 로컬, 피어-투-피어(peer-to-peer), 및 분산형 에이전트들 사이에서 동적으로 재구성될 수 있다.

도 5에 도시된 바와 같이, 스캐너(510)(예컨대, 도 8의 이미지 캡처 제어 모듈(850))는 이미지들을 획득하고, 이미지 데이터 또는 패스 스루 이미지 데이터를 도출한다. 일부 실시예들에서, 패스 스루 이미지 데이터는 오디오 콘텐츠, 시각적 콘텐츠, 3D 렌더링, (디스플레이된 실제 프레임의) 타임스탬프들, 헤더 파일(콘트라스트, 채도, 화이트 밸런스 등과 같은 카메라 설정들 모두를 포함함), 및/또는 메타데이터를 포함한다. 일부 실시예들에서, 패스 스루 이미지 데이터는 미리보기 이미지, 표면 이미지(예컨대, 평면 표면), 깊이 매핑들, (예컨대, 깊이 매핑들에 대한) 앵커 좌표들을 포함한다. 일부 실시예들에서, 패스 스루 이미지 데이터와 함께, 스캐너(510)는 또한, 디바이스의 포즈 정보, 예컨대 이미지 센서의 시야 내의 초점, 복수의 실세계 객체들에 대한 이미지 센서의 거리, 시야 내의 대상들에 의해 점유되는 시각적 공간의 백분율, 및/또는 현재 시선 등을 제공한다.

일부 실시예들에서, 사용자 콘텍스트(505)는 사용자 특정 추천 프로파일로 특정된다. 일부 실시예들에서, 사용자 특정 추천 프로파일은 사용자 이력, 사용자 특정 목록, (예컨대, 엔진 수리와 같은 커리어 특정의 또는 태스크 특정의) 사용자 인에이블된 모듈들 등을 포함한다.

일부 실시예들에서, 분석기(520)는 복수의 분류기들(522)을 포함한다. 일부 실시예들에서, 복수의 분류기들(522)은 대상들의 라이브러리 내의 엔트리들, 예컨대 형상, 숫자, 동물, 음식, 식물, 사람 등에 대응한다. 분류기들은 연관된 가중치들, 예컨대 개를 식별하기 위한 개 분류기 등과 함께 가능성 추정기(530)에 제공된다.

분석기(520)로부터의 입력들과 함께, 가능성 추정기(530)는 이미지 데이터 및 포즈 정보를 스캐너(510)로부터 수신하고 사용자 콘텍스트(505)를 수신한다. 수신된 정보에 기초하여, 가능성 추정기(530)는, 사용자가 가장 관심을 가질 것 같은 시야 내의 대상을 식별하고, 도 2a 내지 도 2g 및 도 4a 내지 도 4c에 도시된 바와 같이 사용자가 보고/보거나 상호작용하기 위한 추천된 CGR 콘텐츠 아이템들(560)을 생성한다.

일부 실시예들에서, 캐스케이드된 캐시들(550-1, 550-2, 550-3... 550-N)은 대상 식별 및 CGR 콘텐츠 아이템 추천을 용이하게 하는 데 사용된다. 대상들 및 연관된 추천들은 캐스케이드된 캐시들에 가중치들의 순서로 저장된다. 예를 들어, 하나의 반복 동안, 제1 캐스케이드된 캐시(550-1)는 가장 낮은 추천 가중치를 갖는 대상을 저장하고, 마지막 캐스케이드된 캐시(550-N)는 가장 높은 추천 가중치를 갖는 대상을 저장한다. 이와 같이, 제1 캐스케이드된 캐시(550-1)는 이러한 단계에서 사용자에게 가장 덜 중요하거나 관련이 있는 것으로 결정되는 대상에 관한 정보를 포함하고, 마지막 캐스케이드된 캐시(550-N)는 이러한 단계에서 사용자에 가장 중요하거나 관련이 있는 것으로 결정되는 대상에 관한 정보를 포함한다. 도 3에 도시된 바와 같은 후속 단계들 또는 반복들 동안, 캐스케이드된 캐시들(550)에 저장된 정보는 사용자 콘텍스트 및/또는 포즈 변화들에 따라 조정될 수 있다.

일부 실시예들에서, 가능성 추정기(530)로부터 결과들을 미세 조정하기 위해 미세 매칭(540)이 수행된다. 일부 실시예들에서, 미세 매칭(540)은 로컬 디바이스의 계산 리소스들을 보존하기 위해 원격으로(예컨대, 제2 디바이스에서) 수행된다. 그러한 실시예들에서, 인코더(532)는 원격 소스에 대한 데이터의 효율적인 통신을 위해 벡터 차원(vector dimensionality)을 감소시키는 데 사용된다. 인코딩된 데이터를 수신할 시에, 원격 소스 상의 디코더(542)는 미세 단위 매칭(fine grained matching)이 수행되기 전에 데이터를 디코딩한다. 일부 실시예들에서, 원격 소스에서, 기계 학습이 다수의 사용자들에 걸쳐 적용되어, 특정 사용자에 대해 더 좋은 추천들이 생성될 수 있게 한다.

도 6은 일부 구현예들에 따른, 사용자 특정 CGR 콘텐츠 아이템들을 렌더링하는 방법(600)의 흐름도 표현이다. 일부 실시예들에서 (그리고 일례로서 아래에서 상세히 설명되는 바와 같이), 본 방법(600)은 하나 이상의 프로세서들 및 비일시적 메모리를 포함하는, 도 1의 전자 디바이스(104) 또는 도 3의 디바이스(300)와 같은, 전자 디바이스(또는 그의 일부분)에 의해 수행된다. 일부 실시예들에서, 디바이스는 또한, 이미지 센서 또는 카메라 조립체, 디스플레이, 및 하나 이상의 입력 디바이스들을 포함한다. 예를 들어, 디스플레이 및 하나 이상의 입력 디바이스들은 터치 스크린 디스플레이로 조합된다. 이러한 예에서, 전자 디바이스는 스마트폰 또는 태블릿에 대응한다. 다른 예에서, 디스플레이 및 하나 이상의 입력 디바이스들은 분리되어 있다. 이러한 예에서, 전자 디바이스는 랩톱 또는 데스크톱 컴퓨터에 대응한다. 예를 들어, 전자 디바이스는 웨어러블 컴퓨팅 디바이스(하나 이상의 CGR 디스플레이들을 갖는 CGR 프레젠테이션 디바이스 또는 사용자의 눈(들)을 둘러싸거나 둘러싸지 않는 HMD를 포함함), 스마트폰, 태블릿, 랩톱 컴퓨터, 데스크톱 컴퓨터, 키오스크, 셋톱 박스(STB), OTT(over-the-top) 박스, 게이밍 콘솔 등에 대응한다. 일부 실시예들에서, 이미지 센서는 디바이스로부터 분리되는데, 예컨대 디바이스(104)로부터 원격에 있는 카메라 상에 있다.

일부 실시예들에서, 방법(600)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 적합한 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일부 실시예들에서, 방법(600)은 비일시적 컴퓨터 판독가능 저장 매체(예컨대, 비일시적 메모리)에 저장된 코드, 프로그램들, 또는 명령어들을 실행시키는 하나 이상의 프로세서들에 의해 수행된다. 본 방법(600)에서의 일부 동작들은 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다. 간략하게, 본 방법(600)은 이미지 센서에 의해 캡처된 시야를 특성화하는 패스 스루 이미지 데이터를 획득하는 단계; 패스 스루 이미지 데이터 내의 인식된 대상이 사용자 특정 추천 프로파일과 연관된 신뢰 점수 임계치를 충족하는지 여부를 결정하는 단계; 패스 스루 이미지 데이터 내의 인식된 대상이 신뢰 점수 임계치를 충족한다고 결정하는 것에 응답하여, 인식된 대상과 연관된 하나 이상의 컴퓨터생성 현실(CGR) 콘텐츠 아이템들을 생성하는 단계; 및 하나 이상의 CGR 콘텐츠 아이템들과 패스 스루 이미지 데이터를 합성하는 단계 - 하나 이상의 CGR 콘텐츠 아이템들은 시야 내의 인식된 대상에 근접해 있음 - 를 포함한다.

본 방법(600)은, 블록(602)에서, 전자 디바이스가 장면 데이터를 획득하는 것으로 계속된다. 일부 실시예들에 따르면, 디바이스(104) 또는 그의 컴포넌트(예컨대, 도 8에서의 이미지 캡처 제어 모듈(850))는 이미지 센서 또는 카메라 조립체로 장면의 이미지(들)를 제1 기준점/유리한 지점(예컨대, 카메라 위치, 포즈, 또는 시야)으로부터 캡처함으로써 장면 데이터(예컨대, 이미지 데이터 또는 패스 스루 이미지 데이터)를 획득한다. 디바이스(104) 또는 그의 컴포넌트(예컨대, 도 8의 이미지 프로세싱 모듈(852))는 시야를 특성화하는 패스 스루 이미지 데이터를 도출한다. 예를 들어, 도 2a에서, 디바이스(104)는 패스 스루 이미지 데이터를 획득하고, 룸 도어 상의 도어 사인(210), 테이블(230), 및 룸 내의 픽처 프레임(220)을 갖는 룸에 대응하는 장면을 포함하는 미디어 캡처/상호작용 인터페이스(202)를 디스플레이한다. 이러한 예를 계속하면, 도 2c에서, 미디어 캡처/상호작용 인터페이스(202)는 룸 내부의 장면을 도시하는데, 장면은 또한, 우측 벽 상의 시계(240), 좌측 벽에 근접한 개(236), 및 테이블(230) 상의 컵케이크(232) 및 책(234)을 포함한다.

본 방법(600)은, 블록(604)에서, 전자 디바이스가 패스 스루 이미지 데이터 내의 인식된 대상이 사용자 특정 추천 프로파일과 연관된 신뢰 점수 임계치를 충족하는지 여부를 결정하는 것으로 계속된다. 다시 말하면, 디바이스(104) 또는 그의 컴포넌트(예컨대, 도 8의 대상 인식 모듈(854) 또는 도 5의 가능성 추정기(530))는 사용자가 패스 스루 이미지 데이터 내의 인식된 대상에 관심이 있을 것 같은지 여부를 결정한다. 일부 실시예들에서, 전자 디바이스는 사용자 특정 추천 프로파일에 기초하여 사용자의 선호도에 관한 정보를 획득하였다. 예를 들어, 도 2a를 참조하면, 디바이스(104)는, 사용자 특정 추천 프로파일, 예컨대 사용자 이력, 사용자 특정 목록, (예컨대, 엔진 수리와 같은 커리어 특정의 또는 태스크 특정의) 사용자 인에이블된 모듈들 등을 사용하여 사용자가 도어 사인(210)과 연관된 룸 및 건물에 관해 더 많이 학습하는데 관심이 있는지를 결정한다.

일부 실시예들에서, 사용자 특정 추천 프로파일은 디바이스와 상호작용하는 사용자의 콘텍스트, 사용자의 바이오메트릭들, 사용자에 의한 이전의 검색들, 또는 사용자의 프로파일 중 적어도 하나를 포함한다. 예를 들어, 디바이스와 상호작용하는 사용자의 콘텍스트는, 수의사, 컵케이크 제빵사 등에게 사용자가 한 최근 주문을 포함한다. 다른 예에서, 생체인식 센서들은 사용자의 바이오메트릭들, 예컨대, 사용자가 대상에 대해 경험하는 슬픔 또는 흥분을 나타내는 상승된 혈압 및/또는 심박수를 측정하는 데 사용될 수 있다. 또 다른 예에서, 사용자 특정 추천 프로파일은 사용자에 의한 이전의 검색들 및 취해진 연관된 액션들, 예컨대, 사용자가 이전에 여러 번 컵케이크들을 검색했지만 모든 이전의 경우들에서 컵케이크들에 대해 "아니오"라고 말하기로 결정했음을 포함한다. 또 다른 예에서, 사용자 프로파일 내의 메타데이터는 가중치들 및/또는 가능성 추정 값들 할당하기 위한 선험적 정보를 보여줄 수 있다.

일부 실시예들에서, 패스 스루 이미지 데이터 내의 인식된 대상은, 블록(606)에 의해 표현되는 바와 같이 시야 내의 영역에서 시선을 검출하고, 블록(608)에 의해 표현되는 바와 같이 영역에 대응하는 패스 스루 이미지 데이터의 서브세트를 획득하고, 블록(610)에 의해 표현되는 바와 같이 패스 스루 이미지 데이터의 서브세트 및 분류기에 기초하여 인식된 대상을 식별함으로써 인식된다. 예를 들어, 도 2b에서, 도어 사인(210)에 근접한 영역에서 시선을 검출 시에, 디바이스(104) 또는 그의 컴포넌트(예컨대, 도 8의 이미지 프로세싱 모듈(852) 또는 도 5의 가능성 추정기(530))는 도어 사인(210)에 근접한 영역에 대응하는 패스 스루 이미지 데이터의 서브세트를 추가로 프로세싱한다. 이어서, 디바이스(104)는 패스 스루 이미지 데이터의 서브세트 및 도어 사인 분류기를 사용하여 도어 사인(210)을 식별한다.

일부 실시예들에서, 본 방법(600)은 블록(612)에서, 전자 디바이스가 시선에 기초하여 분류기들에 가중치들을 할당하고 - 여기서 분류기들 각각은 시선 영역 내의 대상과 연관됨 -, 시선에 대한 업데이트들에 기초하여 분류기들에 가중치들을 조정하는 것으로 추가로 계속된다. 일부 실시예들에서, 본 방법(600)은 블록(614)에서, 전자 디바이스가 가장 높은 가중치를 갖는 분류기들로부터 분류기를 선택하는 것으로 추가로 계속된다.

예를 들어, 도 2c에서, 시선을 검출하기 전에, 동일한 가중치들이 시야 내의 모든 대상들에 할당되는데, 예컨대 동일한 가중치들이 픽처 프레임(220), 테이블(230), 컵케이크(232), 책(234), 시계(240), 및 개(236)에 할당된다. 도 2d 및 도 2e를 계속하면, 일단 시선이 테이블(230)의 상부의 컵케이크(232) 상에 머물게 되면, 컵케이크 분류기와 연관된 가중치들은 증가하지만, 다른 분류기들과 연관된 가중치들은 감소한다. 그 결과, 컵케이크 분류기는, 컵케이크(232) 대상을 인식하고 컵케이크(232)와 연관된 CGR 콘텐츠 아이템들, 예컨대 도 2d에 도시된 바와 같은 추가 어포던스(예컨대, 버튼(254)) 및 컵케이크 레시피로의 링크(252)를 갖는 CGR 콘텐츠 아이템(250) 또는 도 2e에 도시된 바와 같은 컵케이크-없음 사인(예컨대, CGR 콘텐츠 아이템(256))을 추천하기 위해 분류기들로부터 선택된다.

일부 실시예들에서, 블록(616)에 의해 표현되는 바와 같이, 시선 영역은 인식된 대상의 적어도 일부분을 포함한다. 예를 들어, 도 2f에서, 시선 영역(262)은 테이블(230)의 일부, 테이블(230) 상의 컵케이크(232)의 일부, 및 테이블(230) 상의 책(234)의 일부를 포함한다. 디바이스(104)는 테이블(230)을 식별하기 위해 테이블 이미지 데이터의 적어도 일부를 사용하여 그리고 테이블 이미지 데이터에 테이블 분류기를 적용하여 테이블(230)을 인식한다. 비교하면, 일부 실시예들에서, 블록(618)에 의해 표현되는 바와 같이, 시선 영역은 CGR 콘텐츠 추천을 위해 인식된 대상으로부터 임계 거리 내에 있고, 인식된 대상은 사용자 특정 추천 프로파일에 기초하여 식별된다. 예를 들어, 도 2g에서, 시선 영역(272)은 개(236)에 근접해 있는 반면, 인식된 대상은 테이블(230) 상의 책(234)이다. 책(234)은 사용자가 가장 관심을 가질 것 같은 대상으로서 식별되는데, 그 이유는 사용자 특정 추천 프로파일이, 사용자가 개(236)보다는 책(234)에 더 관심이 있고 책(234)은 시선 영역(272)으로부터 임계 거리 내에 있음을 나타내기 때문이다. 이와 같이, 시선 영역(272)은 책 이미지 데이터를 포함하도록 확장되고, 더 높은 가중치가 책 분류기에 할당되고, 책 분류기는 관심 대상으로서 책(234)을 식별하기 위해 확장된 이미지 데이터를 프로세싱하는 데 사용된다.

일부 실시예들에서, 블록(620)에 의해 표현되는 바와 같이, 인식된 대상은 다수의 검색가능 요소들을 포함하고, 각각은 적어도 하나의 분류기와 연관된다. 예를 들어, 픽처 프레임(220)은 다수의 검색가능 요소들, 즉 프레임 자체, 픽처 내의 꽃병, 및 픽처화된 꽃병 내의 꽃들을 포함한다. 이러한 검색가능 요소들을 구별하고 사용자가 가장 관심을 가질 것 같은 요소에 대한 CGR 콘텐츠 아이템을 생성하기 위해, 도 3을 참조하여 전술된 바와 같이 콘텐츠 추천들이 미세 조정된다.

도 6을 계속 참조하면, 본 방법(600)은 블록(622)에서, 패스 스루 이미지 데이터 내의 인식된 대상이 신뢰 점수 임계치를 충족한다고 결정하는 것에 응답하여, 전자 디바이스가 인식된 대상과 연관된 하나 이상의 컴퓨터생성 현실(CGR) 콘텐츠 아이템들을 생성하는 것으로 계속된다. 일부 실시예들에 따르면, 디바이스(104) 또는 그의 컴포넌트(예컨대, 도 8의 CGR 콘텐츠 추천 모듈(856))에 의해 생성된 하나 이상의 CGR 콘텐츠 아이템들은 인식된 대상과 연관된 정보 또는 인식된 대상과 연관된 액션을 수행하기 위한 옵션 중 적어도 하나를 포함한다. 예를 들어, 도 2b에 도시된 바와 같은 룸(212)에 관한 텍스트 및 플로어(214)에 관한 텍스트, 상점 정보(예컨대, CGR 콘텐츠 아이템(250)), 컵케이크 레시피로의 링크(252), 및 도 2d에 도시된 바와 같은 식이요법 잡지에 컵케이크를 추가하기 위한 버튼(254), 도 2e에서의 컵케이크-없음 사인(예컨대, CGR 콘텐츠 아이템(256)), 도 2f에 도시된 바와 같은 의자 추천(예컨대, CGR 콘텐츠 아이템(260)), 또는 도 2g에 도시된 바와 같은 책(234)을 가리키는 표시자(270).

본 방법(600)은, 블록(624)에서, 전자 디바이스가 하나 이상의 CGR 콘텐츠 아이템들과 패스 스루 이미지 데이터를 합성하는 것으로 계속된다. 일부 실시예들에서, 전자 디바이스는 인식된 대상에 근접하여 디스플레이된 하나 이상의 CGR 콘텐츠 아이템들로 시야 내의 패스 스루 이미지 데이터를 추가로 렌더링한다. 일부 다른 실시예들에서, 하나 이상의 CGR 콘텐츠 아이템들은 디바이스를 사용하는 사용자의 시야에 따라 인식된 대상에 인접하게 디스플레이된다. 예를 들어, CGR 인에이블된 안경의 경우에, 이미지 센서 및 사용자의 광학 트레인을 갖는 카메라는 2개의 별개의 것일 수 있다. 이와 같이, 하나 이상의 CGR 콘텐츠 아이템들의 위치(들)는 이미지 센서 또는 사용자의 시야에 기초하여 결정될 수 있다. 대안적으로, 이미지 센서 및 사용자의 시야는 조정될 수 있는데, 예컨대 하나는 다른 것을 오버레이할 수 있다. 이러한 실시예들에서, 하나 이상의 CGR 콘텐츠 아이템들의 위치(들)는 이미지 센서 및 사용자의 시야에 기초하여 결정될 수 있다.

예를 들어, 디바이스(104) 또는 그의 컴포넌트(예컨대, 도 8의 CGR 콘텐츠 렌더링 모듈(858) 또는 도 5의 뷰 및 상호작용 모듈(560))는 대상 옆에 대상에 관한 텍스트 또는 사인들을 디스플레이하는데, 예컨대 도 2a에 도시된 바와 같이 도어 사인(210) 옆에 룸 정보(212) 및 플로어 맵(214)을 디스플레이하고, 도 2e에 도시된 바와 같이 컵케이크(232) 상에 컵케이크-없음 사인(256)을 오버레이하고, 도 2f에 도시된 바와 같이 테이블(230) 옆에 의자 추천(예컨대, CGR 콘텐츠 아이템(260))을 디스플레이하고, 도 2g에 도시된 바와 같이 포인팅 사인(270)을 책(234)에 띄운다. 다른 예에서, 디바이스(104) 또는 그의 컴포넌트(예컨대, 도 8의 CGR 콘텐츠 렌더링 모듈(858) 또는 도 5의 뷰 및 상호작용 모듈(560))는 대상에 인접한 대상으로의 링크를 디스플레이하는데, 예컨대 도 2d에 도시된 바와 같이 컵케이크(232) 위에 컵케이크 레시피로의 링크(252)를 디스플레이한다. 또 다른 예에서, 디바이스(104) 또는 그의 컴포넌트(예컨대, 도 8의 CGR 콘텐츠 렌더링 모듈(858) 또는 도 5의 뷰 및 상호작용 모듈(560))는 대상에 인접한 상호작용 어포던스들을 디스플레이하는데, 예컨대 도 2d에 도시된 바와 같이 컵케이크(232) 옆에 버튼(254)을 디스플레이한다.

도 7은 일부 실시예들에 따른, 추천된 CGR 콘텐츠를 생성하는 방법(700)의 흐름도 표현이다. 일부 실시예들에서 (그리고 일례로서 아래에서 상세히 설명되는 바와 같이), 본 방법(700)은 하나 이상의 프로세서들 및 비일시적 메모리를 포함하는, 도 1의 전자 디바이스(104) 또는 도 3의 디바이스(300)와 같은, 전자 디바이스(또는 그의 일부분)에 의해 수행된다. 일부 실시예들에서, 디바이스는 또한, 이미지 센서 또는 카메라 조립체, 디스플레이, 및 하나 이상의 입력 디바이스들을 포함한다. 예를 들어, 디스플레이 및 하나 이상의 입력 디바이스들은 터치 스크린 디스플레이로 조합된다. 이러한 예에서, 전자 디바이스는 스마트폰 또는 태블릿에 대응한다. 다른 예에서, 디스플레이 및 하나 이상의 입력 디바이스들은 분리되어 있다. 이러한 예에서, 전자 디바이스는 랩톱 또는 데스크톱 컴퓨터에 대응한다. 예를 들어, 전자 디바이스는 웨어러블 컴퓨팅 디바이스(하나 이상의 CGR 디스플레이들을 갖는 CGR 프레젠테이션 디바이스 또는 사용자의 눈(들)을 둘러싸거나 둘러싸지 않는 HMD를 포함함), 스마트폰, 태블릿, 랩톱 컴퓨터, 데스크톱 컴퓨터, 키오스크, 셋톱 박스(STB), OTT 박스, 게이밍 콘솔 등에 대응한다. 일부 실시예들에서, 이미지 센서는 디바이스로부터 분리되는데, 예컨대 디바이스(104)로부터 원격에 있는 카메라 상에 있다.

일부 실시예들에서, 방법(700)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 적합한 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일부 실시예들에서, 방법(700)은 비일시적 컴퓨터 판독가능 저장 매체(예컨대, 비일시적 메모리)에 저장된 코드, 프로그램들, 또는 명령어들을 실행시키는 하나 이상의 프로세서들에 의해 수행된다. 본 방법(700)에서의 일부 동작들은 선택적으로 조합되고/되거나, 일부 동작들의 순서가 선택적으로 변경된다. 간략하게, 본 방법(700)은 디바이스의 제1 포즈와 연관된 대상들의 제1 세트를 획득하는 단계; 사용자 콘텍스트 및 제1 포즈에 기초하여 대상들의 제1 세트 각각에 대한 가능성 추정 값들을 결정하는 단계; 대상들의 제1 세트 내의 적어도 하나의 각각의 대상에 대한 적어도 하나의 가능성 추정 값이 신뢰 임계치를 초과하는지 여부를 결정하는 단계; 및 적어도 하나의 가능성 추정 값이 신뢰 임계치를 초과한다고 결정하는 것에 응답하여 적어도 하나의 각각의 대상 및 사용자 콘텍스트와 연관된 적어도 하나의 분류기를 사용하여 적어도 하나의 각각의 대상과 연관된 추천된 콘텐츠 또는 액션들을 생성하는 단계를 포함한다.

본 방법(700)은, 블록(702)에서, 전자 디바이스가 디바이스의 제1 포즈와 연관된 대상들의 제1 세트를 획득하는 것으로 시작한다. 일부 실시예들에 따르면, 디바이스(104) 또는 그의 컴포넌트(예컨대, 도 8에서의 이미지 캡처 제어 모듈(850) 또는 도 5의 스캐너(510))는 이미지 센서 또는 카메라 조립체로 장면의 이미지(들)를 제1 기준점/유리한 지점(예컨대, 카메라 위치, 포즈, 또는 시야)으로부터 캡처함으로써 장면 데이터(예컨대, 이미지 데이터 또는 패스 스루 이미지 데이터)를 획득한다. 디바이스(104) 또는 그의 컴포넌트(예컨대, 도 8의 이미지 프로세싱 모듈(852))는 시야를 특성화하는 이미지 데이터를 도출하고 시야 내의 대상들의 세트를 인식한다. 일부 실시예들에서, 디바이스의 시야 내의 제1 영역에 근접한 시선을 검출하고, 제1 영역에 대응하는 이미지 데이터를 획득하고, 도 6을 참조하여 전술된 바와 같은 이미지 데이터 및 하나 이상의 분류기들에 기초하여 대상들의 제1 세트를 분류함으로써, (예컨대, 디바이스(104) 또는 도 8의 대상 인식 모듈(854)과 같은 그의 컴포넌트에 의해) 대상들의 제1 세트가 인식된다,

본 방법(700)은, 블록(704)에서, 전자 디바이스가 사용자 콘텍스트 및 제1 포즈에 기초하여 대상들의 제1 세트 각각에 대한 가능성 추정 값들을 결정하는 것으로 계속된다. 예를 들어, 도 5 및 도 4a에 도시된 바와 같이, 디바이스(104) 또는 그의 컴포넌트(예컨대, 도 8의 CGR 콘텐츠 추천 모듈(856) 또는 도 5의 가능성 추정기(530))는 프레임 자체(310), 꽃(320), 및 꽃병(330)을 포함한, 시선 영역(222)에 근접한 대상들의 세트를 획득한다. 도 3에 도시된 바와 같이, 디바이스는 프레임(310), 꽃(320), 및 꽃병(330)에 대한 가능성 추정 값들을 결정한다. 일부 실시예들에서, 가능성 추정 값들은 복수의 대상들 중에서 사용자가 관심이 있을 가능성이 어느 정도 있는 복수의 대상들 각각의 크기/가중치에 대응한다.

일부 실시예들에서, 가능성 추정 값들은 재귀적으로 결정된다. 블록(706)에 의해 표현되는 바와 같이, 일부 실시예들에서, 가능성 추정 값들은 다수의 기간들 동안 업데이트된 사용자 콘텍스트에 기초하여 재귀적으로 결정된다. 예를 들어, 도 3에서, 제1 반복 동안의 가능성 추정 값들은 제1 기간 동안 할당되고, 사용자 콘텍스트의 값들은 제1 반복과 제2 반복 사이의 제2 기간 동안 업데이트될 수 있다. 그 결과, 프레임(310), 꽃(320), 및 꽃병(330)에 대한 가능성 추정 값들은 사용자 콘텍스트의 업데이트된 값들, 예컨대 사용자는 꽃(320)에 더 이상 관심을 갖지 않음에 기초하여 업데이트된다. 블록(708)에 의해 표현되는 바와 같이, 일부 실시예들에서, 가능성 추정 값들은 업데이트된 포즈들에 기초하여 재귀적으로 결정된다. 일부 실시예들에서, 디바이스(104) 또는 그의 컴포넌트(예컨대, 도 8의 이미지 캡처 제어 모듈(850) 및/또는 도 8의 이미지 프로세싱 모듈(852) 또는 도 5의 스캐너(510))는 디바이스의 제2 포즈와 연관된 대상들의 제2 세트를 획득하고 - 여기서, 적어도 하나의 대상은 대상들의 제1 세트 및 제2 세트에 있음 -, 제2 포즈, 사용자 콘텍스트, 및 제1 포즈에 기초하여 적어도 하나의 대상에 대한 적어도 하나의 가능성 추정 값을 결정한다.

예를 들어, 도 2a 및 도 2b에서, 디바이스(104)는 룸으로 들어가기 전에 제1 기준점으로부터 패스 스루 이미지 데이터를 획득한다. 도 2a 및 도 2b에 도시된 바와 같은 장면은 룸 도어 상의 도어 사인(210), 테이블(230), 및 룸 내부의 픽처 프레임(220)과 같은 대상들을 포함한다. 도 2c에서, 사용자가 룸으로 들어감에 따라 기준점이 변경되었고, 여기서 룸의 내부에서, 미디어 캡처/상호작용 인터페이스(202)는 우측 벽 상의 시계(240), 좌측 벽에 근접한 개(236), 및 테이블(230) 상의 컵케이크(232)와 책(234)과 같은 대상들을 포함한 장면을 도시한다. 그 결과, 기준점 변화로 인해, 사용자가 도어 사인과 연관된 룸 또는 건물에 관한 더 많은 정보를 볼 가능성이 변경된다. 다른 예로서, 도 4a에서, 디바이스(104)는 픽처 프레임(220)이 시야의 중앙에 있는 장면을 획득한다. 도 4b에서, 포즈 변화들은, 시야가, 중앙에 있는 픽처 프레임(220)을 보는 것으로부터 우측 벽 상에 걸린 시계(240)를 더 많이 보는 것으로 시프트하게 한다. 그 결과, 픽처 프레임(220) 및 시계(240)에 대한 가능성 추정 값들이 변경된다.

일부 실시예들에서, 가능성 추정 값들은 초기 가능성 추정 값을 할당받거나(예컨대, 모든 가능성 추정 값들이 0임), 또는 가능성 추정 값들은 균등하게 분배된다(예컨대, 프레임(310), 꽃(320), 및 꽃병(330)은 초기에 도 3에 도시된 바와 같이 동일한 값들을 할당받음). 일부 실시예들에서, 초기 가능성 추정 값은 사용자 콘텍스트에 의해 결정된다. 일례로, 전기 엔지니어는 그의 관심이 "전기 엔지니어 책"을 사용하는 것에 있음을 나타내는데, 여기서 전기 엔지니어 책은 전기 엔지니어링(예컨대, 신호 프로세싱, 솔더링, 제어 시스템 등)에 특정된 토픽들을 포함한 분류기들의 클러스터를 포함한다. 전기 엔지니어 책은 또한, 토픽들 각각에 대한 각자의 초기 가능성 추정 값들을 포함할 수 있다. 예를 들어, 신호 프로세싱은 기계학보다 더 높은 가능성 추정 값을 가질 것이다. 일부 실시예들에서, 초기 가능성 추정 값은 제1 포즈 정보(예컨대, 이미지 센서의 시야 내에 현재 무엇이 있는지), 시야 내의 대상들에 의해 점유되는 시각적 공간의 백분율(예컨대, 화이트보드는 화이트보드용 마커(dry-erase marker)보다 더 많은 공간을 점유함), 이미지 센서에 대한 대상의 거리, 및/또는 현재 시선 등에 의해 결정된다. 예를 들어, 도 2c에서, 사용자가 룸으로 들어감에 따라, 컵케이크(232)는, 도어에 대한 그것의 가까운 거리로 인해 픽처 프레임(220)과 비교하여 더 높은 초기 가능성 추정 값을 가질 수 있다. 대안적으로, 예를 들어, 도 2c에서, 픽처 프레임(220)은, 더 높은 백분율의 시각적 공간이 점유되는 것으로 인해, 컵케이크(232)와 비교하여 더 높은 초기 가능성 추정 값을 가질 수 있다.

본 방법(700)은, 블록(710)에서, 전자 디바이스가, 대상들의 제1 세트 내의 적어도 하나의 각자의 대상에 대한 적어도 하나의 가능성 추정 값이 신뢰 임계치를 초과하는지 여부를 결정하는 것으로 계속된다. 예를 들어, 가능성 추정 값이 A = 0.4, B = 0.3, C = 0.3인 대상들 A, B, 및 C가 주어지면, 디바이스(104) 또는 그의 컴포넌트(예컨대, 도 8의 CGR 콘텐츠 추천 모듈(856) 또는 도 5의 가능성 추정기(530))는 대상 A가 0.3의 신뢰 임계치를 초과한다고 결정한다. 일부 실시예들에서, 블록(712)에 의해 표현되는 바와 같이, 결정은 다른 가능성 추정 값들에 대한 비교를 포함한다. 예를 들어, 가능성 추정 값들이 A = 0.6, B = 0.2, C = 0.2인 대상들 A, B, 및 C가 주어지면, 대상에 대한 가능성 추정 값은 A > (B+C)이고, 따라서 대상 A는 신뢰 임계치를 초과한다.

일부 실시예들에서, 가능성 추정 값들 중 어느 것도 임계치를 초과하지 않거나, 다수의 가능성 추정 값들이 임계치를 초과하는 경우 대등한 상태이다. 그러한 실시예들에서, 단계들(706, 708)을 참조하여 전술된 바와 같이, 업데이트된 가능성 추정 값들을 재귀적으로 결정하기 위해 하나 초과의 반복이 필요하다. 다시 말하면, 가능성 추정 값들 중 적어도 하나가 임계치를 초과하는지 여부를 결정하는 것은, 블록(714)에 의해 표현되는 바와 같이, 단일 대상에 대응하는 단일 가능성 추정 값으로의 수렴을 나타낸다. 예를 들어, 디바이스(104) 또는 그의 컴포넌트(예컨대, 도 8의 CGR 콘텐츠 추천 모듈(856) 또는 도 5의 가능성 추정기(530))는 대상들의 제1 세트 내의 적어도 하나의 각자의 대상에 대한 적어도 하나의 가능성 추정 값이 제1 대상에 대한 제1 가능성 추정 값 및 제2 대상에 대한 제2 가능성 추정 값을 포함한다고 결정한다. 다수의 가능성 추정 값들이 임계치를 초과하는 경우 대등한 상태라고 결정하는 것에 응답하여, 디바이스(104)는 제1 대상에 대한 업데이트된 제1 가능성 추정 값 및 제2 대상에 대한 업데이트된 제2 가능성 추정 값을 생성하는 것을 포함하여, 업데이트된 사용자 콘텍스트 및 업데이트된 제1 포즈 정보 중 적어도 하나에 기초하여 대상들의 제1 세트 각각에 대한 가능성 추정 값들을 업데이트한다. 디바이스(104)는, 추가로, 업데이트된 제1 가능성 추정 값 및 업데이트된 제2 가능성 추정 값에 기초하여 제1 대상과 제2 대상 사이에서 선택한다. 도 3에 도시된 바와 같이, 프레임(310) 및 꽃병(330)은 제2 및 제3 반복 동안 대등한 상태이다. 제4 반복 동안 업데이트된 가능성 추정 값들을 사용하여, 가능성 추정 값들은 프레임(310)에 대응하는 단일 가능성 추정 값으로 수렴한다.

본 방법(700)은 블록(716)에서, 전자 디바이스가, 적어도 하나의 가능성 추정 값이 신뢰 임계치를 초과한다고 결정하는 것에 응답하여 적어도 하나의 각각의 대상 및 사용자 콘텍스트와 연관된 적어도 하나의 분류기를 사용하여 적어도 하나의 각각의 대상과 연관된 추천된 콘텐츠 또는 액션들을 생성하는 것으로 계속된다. 일부 실시예들에서, 디바이스(104) 또는 그의 컴포넌트(예컨대, 도 8의 CGR 콘텐츠 렌더링 모듈(858) 또는 가능성 추정기(530))는 블록(718)에 의해 표현되는 바와 같이 제2 컴퓨팅 디바이스에 대한 미세 매칭과 같은 계산 집약적인 태스크들을 분배한다. 그러한 실시예들에서, 도 5를 참조하여 전술된 바와 같이, 디바이스(104)는 사용자 콘텍스트 및 제1 포즈와 연관된 대상들의 제1 세트를 나타내는 압축된 벡터들을 (예컨대, 도 5의 인코더(532)에서) 생성한다. 이어서, 디바이스(104)는 대상들의 제1 세트와 연관된 분류기들에 대한 추천된 가중치들을 생성하기 위해 압축된 벡터들을 제2 디바이스로 원격으로 전송한다. 예컨대, 사용자들에 걸친 기계 학습에 의해 제2 디바이스에서의 미세 단위 매칭을 수행한 후에, 디바이스(104)는 추천된 콘텐츠 또는 액션들을 생성하기 위해 제2 디바이스로부터 추천된 가중치들을 수신한다. 일부 실시예들에서, 블록(720)에 의해 표현되는 바와 같이, 추천 생성을 더 용이하게 하기 위해, 디바이스(104)는 대상들의 제1 세트 및 연관된 가중치들을 복수의 캐스케이드된 캐시들(예컨대, 도 5의 캐스케이드된 캐시들(550-1, 550-2, 550-3,... 550-N))에 저장한다. 그러한 실시예들에서, 대상들은 캐스케이드된 캐시들에 가중치들의 순서로 저장된다.

일부 실시예들에서, 방법(700)은 블록(722)에서, 전자 디바이스가 업데이트된 사용자 콘텍스트 및 업데이트된 제1 포즈 정보 중 적어도 하나에 기초하여 신뢰 임계치를 초과하는 상이한 대상을 예측하고, 상이한 대상과 연관된 추천된 콘텐츠 또는 액션들의 세트를 생성하는 것으로 계속된다. 예를 들어, 제1 포즈와 제2 포즈가, 초점이 사용자 콘텍스트에 기초하여 시야 내에서 우측으로 이동하고 있음을 나타내는 경우, 가능성 추정기는 추천된 콘텐츠를 제공하기 위해 시야의 우측에서 다음 대상을 예측한다. 예를 들어, 도 4a에 도시된 바와 같이, 초기에, 제1 포즈와 연관된 초점은 시야 중앙의 프레임 상에 있었다. 이 예를 계속하면, 도 4b에 도시된 바와 같이, 제2 포즈와 연관된 초점이 달력 내의 회의의 사용자 콘텍스트에 기초하여 우측으로 이동함에 따라, 시선 영역(222)이 여전히 시계(240)로부터 임계 거리 내에 있더라도 사용자는 우측 벽 상의 시계를 보려고 할 가능성이 더 높다. 대조적으로, 제1 포즈로부터 제2 포즈로의 변경들은 시선 영역이 우측으로 시프트하고 있음을 나타내기 때문에, 사용자가 좌측의 개(236)에 관한 정보를 획득하려고 할 가능성이 없다. 업데이트된 포즈 정보에 기초하여, 디바이스(104)는 사용자가 시계(240)와 연관된 이벤트 캘린더(242)에 관심이 있을 가능성이 가장 크다는 것을 예측한다. 그러나, 도 4c에 도시된 바와 같이, 업데이트된 사용자 콘텍스트 정보, 예컨대 다가오는 수의사 방문이 개(236)를 위한 것임에 기초하여, 디바이스(104)는 개(236)에 관한 더 많은 정보와 수의사에 대한 약속 정보(예컨대, 추천된 콘텐츠(244))를 제공하는 것이 생성됨을 예측한다.

도 8은 일부 실시예들에 따른 컴퓨팅 디바이스(800)의 블록도이다. 일부 실시예들에서, 컴퓨팅 디바이스(800)는 도 1의 디바이스(104)의 적어도 일부에 대응하고, 전술된 기능들 중 하나 이상을 수행한다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 다양한 다른 특징부들이 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 태양들을 모호하게 하지 않기 위해 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, 컴퓨팅 디바이스(800)는 하나 이상의 프로세싱 유닛(CPU)들(802)(예컨대, 프로세서들), 하나 이상의 입력/출력(I/O) 인터페이스들(803)(예컨대, 네트워크 인터페이스들, 입력 디바이스들, 출력 디바이스들, 및/또는 센서 인터페이스들), 메모리(810), 프로그래밍 인터페이스(805), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(804)을 포함한다.

일부 실시예들에서, 하나 이상의 통신 버스들(804)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 메모리(810)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스들과 같은 고속 랜덤 액세스 메모리를 포함하며; 일부 실시예들에서는, 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드 스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(810)는 선택적으로, 하나 이상의 CPU들(802)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(810)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 또한, 일부 실시예들에서, 메모리(810) 또는 메모리(810)의 비일시적 컴퓨터 판독가능 저장 매체는 선택적 운영 시스템(820), 이미지 캡처 제어 모듈(850), 이미지 프로세싱 모듈(852), 대상 인식 모듈(854), CGR 콘텐츠 추천 모듈(856), 및 CGR 콘텐츠 렌더링 모듈(858)을 포함하는 프로그램들, 모듈들 및 데이터 구조들, 또는 이들의 서브세트를 저장한다. 일부 실시예들에서, 하나 이상의 명령어들은 로직과 비일시적 메모리의 조합에 포함된다. 운영 시스템(820)은, 다양한 기본 시스템 서비스들을 처리하기 위한 그리고 하드웨어 의존 태스크들을 수행하기 위한 절차들을 포함한다.

일부 실시예들에서, 이미지 캡처 제어 모듈(850)은, 이미지들을 캡처하거나 이미지 데이터를 획득하기 위해 이미지 센서 또는 카메라 조립체의 기능을 제어하도록 구성된다. 이를 위해, 이미지 캡처 제어 모듈(850)은 한 세트의 명령어들(851a) 및 휴리스틱 및 메타데이터(851b)를 포함한다.

일부 실시예들에서, 이미지 프로세싱 모듈(852)은 이미지 센서 또는 카메라 조립체로부터 원시 이미지 데이터를 사전 프로세싱하도록(예컨대, 원시 이미지 데이터를 RGB 또는 YCbCr 이미지 데이터로 변환하고 포즈 정보 등을 도출하도록) 구성된다. 이를 위해, 이미지 프로세싱 모듈(852)은 한 세트의 명령어들(853a) 및 휴리스틱 및 메타데이터(853b)를 포함한다.

일부 실시예들에서, 대상 인식 모듈(854)은 이미지 데이터로부터 대상(들)을 인식하도록 구성된다. 이를 위해, 대상 인식 모듈(854)은 한 세트의 명령어들(855a) 및 휴리스틱 및 메타데이터(855b)를 포함한다.

일부 실시예들에서, CGR 콘텐츠 추천 모듈(856)은 인식된 대상(들)과 연관된 CGR 콘텐츠 아이템(들)을 추천하도록 구성된다. 이를 위해, CGR 콘텐츠 추천 모듈(856)은 한 세트의 명령어들(857a) 및 휴리스틱 및 메타데이터(857b)를 포함한다.

일부 실시예들에서, CGR 콘텐츠 렌더링 모듈(858)은 인식된 대상에 근접한 시야 내의 CGR 콘텐츠 아이템들을 합성하고 렌더링하도록 구성된다. 이를 위해, CGR 콘텐츠 렌더링 모듈(858)은 한 세트의 명령어들(859a) 및 휴리스틱 및 메타데이터(859b)를 포함한다.

이미지 캡처 제어 모듈(850), 이미지 프로세싱 모듈(852), 대상 인식 모듈(854), CGR 콘텐츠 추천 모듈(856), 및 CGR 콘텐츠 렌더링 모듈(858)이 단일 컴퓨팅 디바이스 상에 존재하는 것으로 예시되어 있지만, 다른 실시예들에서, 이미지 캡처 제어 모듈(850), 이미지 프로세싱 모듈(852), 대상 인식 모듈(854), CGR 콘텐츠 추천 모듈(856), 및 CGR 콘텐츠 렌더링 모듈(858)의 임의의 조합이 다양한 실시예들에서의 별개의 컴퓨팅 디바이스들에 존재할 수 있다는 것을 이해해야 한다. 예를 들어, 일부 실시예들에서, 이미지 캡처 제어 모듈(850), 이미지 프로세싱 모듈(852), 대상 인식 모듈(854), CGR 콘텐츠 추천 모듈(856), 및 CGR 콘텐츠 렌더링 모듈(858) 각각은 별개의 컴퓨팅 디바이스 상에 또는 클라우드 내에 존재할 수 있다.

또한, 도 8은 본 명세서에 기술된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재하는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 도 8에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 다양한 실시예들에서 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수 및 특정 기능들의 분할, 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 실시예들마다 다를 것이고, 특정 실시예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존할 수 있다.

첨부된 청구범위의 범주 내의 구현예들의 다양한 태양들이 전술되지만, 전술된 구현예들의 다양한 특징부들이 광범위하게 다양한 형태들로 구현될 수 있고 전술된 임의의 특정 구조 및/또는 기능이 단지 예시적이라는 것이 명백할 것이다. 본 개시내용에 기초하여, 당업자는 본 명세서에 설명된 태양이 임의의 다른 태양들과 독립적으로 구현될 수 있고 이들 태양들 중 2개 이상이 다양한 방식들로 조합될 수 있음을 이해해야 한다. 예를 들어, 본 명세서에 기재된 임의의 수의 태양들을 사용하여 장치가 구현될 수 있고/있거나 방법이 실시될 수 있다. 부가적으로, 본 명세서에 기재된 태양들 중 하나 이상에 부가하여 또는 그 이외의 다른 구조 및/또는 기능을 사용하여 그러한 장치가 구현될 수 있고/있거나 그러한 방법이 실시될 수 있다.

용어들 "제1", "제2" 등이 다양한 요소들을 설명하기 위해 본 명세서에서 사용될 수 있지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이러한 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 모든 "제1 노드"의 발생이 일관되게 재명명되고 모든 "제2 노드"의 발생이 일관되게 재명명되기만 한다면, 제1 노드는 제2 노드로 지칭될 수 있고, 유사하게, 제2 노드는 제1 노드로 지칭될 수 있으며, 이는 설명의 의미를 변경한다. 제1 노드 및 제2 노드는 둘 모두 노드들이지만, 그것들은 동일한 노드가 아니다.

본 명세서에서 사용되는 용어는 단지 특정 구현예들만을 설명하는 목적을 위한 것이고, 청구범위를 제한하도록 의도되지 않는다. 본 구현예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수형들("a", "an" 및 "the")은 문맥상 명확하게 달리 나타나지 않으면 복수형들도 또한 포함하도록 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "및/또는"은 열거되는 연관된 항목들 중 하나 이상의 항목들의 임의의 및 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 본 명세서에서 사용될 때 "포함한다(comprise)" 및/또는 "포함하는(comprising)"이라는 용어들은 진술되는 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들 및/또는 이들의 그룹들의 존재 또는 부가를 배제하지 않는다는 것이 추가로 이해될 것이다.

본 명세서에서 사용되는 바와 같이, 맥락에 의존하여, 언급된 선행 조건이 사실"인 경우(if)"라는 용어는 그가 사실"일 때(when)", 그가 사실"일 시(upon)" 또는 그가 사실"이라고 결정하는 것에 응답하여(in response to determining)" 또는 그가 사실"이라는 결정에 따라(in accordance with a determination)" 또는 그가 사실"임을 검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석될 수 있다. 유사하게, 어구 "[언급된 선행 조건이 사실이라고] 결정하면" 또는 "[언급된 선행 조건이 사실]이면" 또는 "[언급된 선행 조건이 사실]일 때"는 상황에 따라, 언급된 선행 조건이 사실"이라고 결정할 시에" 또는 그 조건이 사실"이라고 결정하는 것에 응답하여" 또는 그 조건이 사실"이라는 결정에 따라" 또는 그 조건이 사실"이라는 것을 검출할 시에" 또는 그 조건이 사실"이라는 것을 검출하는 것에 응답하여"를 의미하는 것으로 해석될 수 있다.

Claims

방법으로서,
하나 이상의 프로세서들 및 비일시적 메모리를 포함하는 디바이스에서:
이미지 센서에 의해 캡처된 시야를 특성화하는 패스 스루(pass-through) 이미지 데이터를 획득하는 단계;
패스 스루 이미지 데이터 내의 인식된 대상이 사용자 특정 추천 프로파일과 연관된 신뢰 점수 임계치를 충족하는지 여부를 결정하는 단계;
상기 패스 스루 이미지 데이터 내의 인식된 대상이 상기 신뢰 점수 임계치를 충족한다고 결정하는 것에 응답하여 상기 인식된 대상과 연관된 하나 이상의 컴퓨터생성 현실(computer-generated reality, CGR) 콘텐츠 아이템들을 생성하는 단계; 및
상기 하나 이상의 CGR 콘텐츠 아이템들과 상기 패스 스루 이미지 데이터를 합성하는 단계를 포함하고, 상기 하나 이상의 CGR 콘텐츠 아이템들은 상기 시야 내의 상기 인식된 대상에 근접해 있는, 방법.
제1항에 있어서, 상기 패스 스루 이미지 데이터 내의 상기 인식된 대상은,
상기 시야 내의 영역에서 시선을 검출하고;
상기 영역에 대응하는 상기 패스 스루 이미지 데이터의 서브세트를 획득하고;
상기 패스 스루 이미지 데이터의 서브세트 및 분류기에 기초하여 상기 인식된 대상을 식별함으로써 인식되는, 방법.
제2항에 있어서,
상기 시선에 기초하여 분류기들에 가중치들을 할당하는 단계 - 상기 분류기들 각각은 상기 영역 내의 대상과 연관됨 -;
상기 시선에 대한 업데이트들에 기초하여 상기 분류기들에 대한 가중치들을 조정하는 단계; 및
상기 분류기들로부터 가장 높은 가중치를 갖는 분류기를 선택하는 단계를 추가로 포함하는, 방법.
제2항 또는 제3항에 있어서, 상기 영역은 상기 인식된 대상의 적어도 일부를 포함하는, 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 시야 내의 영역에 근접한 시선을 검출하는 단계 - 상기 인식된 대상은 상기 영역으로부터 임계 거리 내에 있고 상기 사용자 특정 추천 프로파일에 기초하여 식별됨 - 를 추가로 포함하고,
확장된 영역에 대응하는 상기 패스 스루 이미지 데이터의 서브세트를 획득하는 단계; 및
상기 패스 스루 이미지 데이터의 서브세트 및 분류기에 기초하여 상기 인식된 대상을 식별하는 단계를 포함하는, 방법.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 인식된 대상에 근접하여 디스플레이된 상기 하나 이상의 CGR 콘텐츠 아이템들로 상기 시야 내의 상기 패스 스루 이미지 데이터를 렌더링하는 단계를 추가로 포함하는, 방법.
제1항 내지 제6항 중 어느 한 항에 있어서, 상기 하나 이상의 CGR 콘텐츠 아이템들은 상기 인식된 대상과 연관된 정보 또는 상기 인식된 대상과 연관된 액션을 수행하기 위한 옵션 중 적어도 하나를 포함하는, 방법.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 인식된 대상은 다수의 검색가능 요소들을 포함하고, 그들 각각은 적어도 하나의 분류기와 연관되는, 방법.
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 사용자 특정 추천 프로파일은 상기 디바이스와 상호작용하는 사용자의 콘텍스트, 상기 사용자의 바이오메트릭들, 상기 사용자에 의한 이전의 검색들, 또는 상기 사용자의 프로파일 중 적어도 하나를 포함하는, 방법.
디바이스로서,
비일시적 메모리; 및
하나 이상의 프로세서들을 포함하며,
상기 하나 이상의 프로세서들은,
이미지 센서에 의해 캡처된 시야를 특성화하는 패스 스루 이미지 데이터를 획득하도록;
상기 패스 스루 이미지 데이터 내의 인식된 대상이 사용자 특정 추천 프로파일과 연관된 신뢰 점수 임계치를 충족하는지 여부를 결정하도록;
상기 패스 스루 이미지 데이터 내의 인식된 대상이 상기 신뢰 점수 임계치를 충족한다고 결정하는 것에 응답하여 상기 인식된 대상과 연관된 하나 이상의 컴퓨터생성 현실(CGR) 콘텐츠 아이템들을 생성하도록; 그리고
상기 하나 이상의 CGR 콘텐츠 아이템들과 상기 패스 스루 이미지 데이터를 합성하도록 구성되고, 상기 하나 이상의 CGR 콘텐츠 아이템들은 상기 시야 내의 상기 인식된 대상에 근접해 있는, 디바이스.
제10항에 있어서, 상기 패스 스루 이미지 데이터 내의 상기 인식된 대상은,
상기 시야 내의 영역에서 시선을 검출하고;
상기 영역에 대응하는 상기 패스 스루 이미지 데이터의 서브세트를 획득하고;
상기 패스 스루 이미지 데이터의 서브세트 및 분류기에 기초하여 상기 인식된 대상을 식별함으로써 인식되는, 디바이스.
제11항에 있어서, 상기 하나 이상의 프로세서들은:
상기 시선에 기초하여 분류기들에 가중치들을 할당하도록 - 상기 분류기들 각각은 상기 영역 내의 대상과 연관됨 -;
상기 시선에 대한 업데이트들에 기초하여 상기 분류기들에 대한 가중치들을 조정하도록; 그리고
상기 분류기들로부터 가장 높은 가중치를 갖는 분류기를 선택하도록 추가로 구성되는, 디바이스.
제11항 또는 제12항에 있어서, 상기 영역은 상기 인식된 대상의 적어도 일부를 포함하는, 디바이스.
제10항 내지 제13항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서들은 상기 시야 내의 영역에 근접한 시선을 검출하도록 추가로 구성되고, 상기 인식된 대상은 상기 영역으로부터 임계 거리 내에 있고, 상기 사용자 특정 추천 프로파일에 기초하여,
확장된 영역에 대응하는 상기 패스 스루 이미지 데이터의 서브세트를 획득하고;
상기 패스 스루 이미지 데이터의 서브세트 및 분류기에 기초하여 상기 인식된 대상을 식별함으로써 식별되는, 디바이스.
제10항 내지 제14항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서들은 상기 인식된 대상에 근접하여 디스플레이된 상기 하나 이상의 CGR 콘텐츠 아이템들로 상기 시야 내의 상기 패스 스루 이미지 데이터를 렌더링하도록 추가로 구성되는, 디바이스.
제10항 내지 제15항 중 어느 한 항에 있어서, 상기 하나 이상의 CGR 콘텐츠 아이템들은 상기 인식된 대상과 연관된 정보 또는 상기 인식된 대상과 연관된 액션을 수행하기 위한 옵션 중 적어도 하나를 포함하는, 디바이스.
제10항 내지 제16항 중 어느 한 항에 있어서, 상기 인식된 대상은 다수의 검색가능 요소들을 포함하고, 각각은 적어도 하나의 분류기와 연관되는, 디바이스.
제10항 내지 제17항 중 어느 한 항에 있어서, 상기 사용자 특정 추천 프로파일은 상기 디바이스와 상호작용하는 사용자의 콘텍스트, 상기 사용자의 바이오메트릭들, 상기 사용자에 의한 이전의 검색들, 또는 상기 사용자의 프로파일 중 적어도 하나를 포함하는, 디바이스.
명령어들이 인코딩되어 있는 비일시적 컴퓨터 판독가능 매체로서,
상기 명령어들은, 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 디바이스로 하여금:
이미지 센서에 의해 캡처된 시야를 특성화하는 패스 스루 이미지 데이터를 획득하게 하고;
상기 패스 스루 이미지 데이터 내의 인식된 대상이 사용자 특정 추천 프로파일과 연관된 신뢰 점수 임계치를 충족하는지 여부를 결정하게 하고;
상기 패스 스루 이미지 데이터 내의 인식된 대상이 상기 신뢰 점수 임계치를 충족한다고 결정하는 것에 응답하여 상기 인식된 대상과 연관된 하나 이상의 컴퓨터생성 현실(CGR) 콘텐츠 아이템들을 생성하게 하고;
상기 하나 이상의 CGR 콘텐츠 아이템들과 상기 패스 스루 이미지 데이터를 합성하게 하며, 상기 하나 이상의 CGR 콘텐츠 아이템들은 상기 시야 내의 상기 인식된 대상에 근접해 있는, 비일시적 컴퓨터 판독가능 매체.
방법으로서,
하나 이상의 프로세서들 및 비일시적 메모리를 포함하는 디바이스에서:
상기 디바이스의 제1 포즈와 연관된 대상들의 제1 세트를 획득하는 단계;
사용자 콘텍스트 및 상기 제1 포즈에 기초하여 상기 대상들의 제1 세트 각각에 대한 가능성 추정 값들을 결정하는 단계;
상기 대상들의 제1 세트 내의 적어도 하나의 각각의 대상에 대한 적어도 하나의 가능성 추정 값이 신뢰 임계치를 초과하는지 여부를 결정하는 단계; 및
상기 적어도 하나의 가능성 추정 값이 상기 신뢰 임계치를 초과한다고 결정하는 것에 응답하여 상기 적어도 하나의 각각의 대상 및 상기 사용자 콘텍스트와 연관된 적어도 하나의 분류기를 사용하여 상기 적어도 하나의 각각의 대상과 연관된 추천된 콘텐츠 또는 액션들을 생성하는 단계를 포함하는, 방법.
제20항에 있어서, 상기 대상들의 제1 세트는 제1 기간 동안 이미지 센서에 의해 캡처되고, 상기 방법은, 제2 기간 동안,
제2 기간 동안 상기 사용자 콘텍스트의 업데이트된 값들을 획득하는 단계; 및
상기 사용자 콘텍스트의 상기 업데이트된 값들 및 상기 제1 포즈에 기초하여 상기 대상들의 제1 세트 각각에 대한 상기 가능성 추정 값들을 업데이트하는 단계를 추가로 포함하는, 방법.
제20항 또는 제21항에 있어서, 상기 사용자 콘텍스트 및 상기 제1 포즈에 기초하여 상기 대상들의 제1 세트 각각에 대한 상기 가능성 추정 값들을 결정하는 단계는,
상기 디바이스의 제2 포즈와 연관된 대상들의 제2 세트를 획득하는 단계 - 적어도 하나의 대상은 상기 대상들의 제1 세트 및 제2 세트 내에 있음 -; 및
상기 제2 포즈, 상기 사용자 콘텍스트, 및 상기 제1 포즈에 기초하여 상기 적어도 하나의 대상에 대한 적어도 하나의 가능성 추정 값을 결정하는 단계를 포함하는, 방법.
제20항 내지 제22항 중 어느 한 항에 있어서, 상기 대상들의 제1 세트 내의 상기 적어도 하나의 각각의 대상에 대한 상기 적어도 하나의 가능성 추정 값이 상기 신뢰 임계치를 초과하는지 여부를 결정하는 단계는, 상기 적어도 하나의 가능성 추정 값을 상기 대상들의 제1 세트 내의 다른 대상들에 대한 가능성 추정 값들과 비교하는 단계를 포함하는, 방법.
제20항 내지 제23항 중 어느 한 항에 있어서,
상기 대상들의 제1 세트 내의 상기 적어도 하나의 각각의 대상에 대한 상기 적어도 하나의 가능성 추정 값은 제1 대상에 대한 제1 가능성 추정 값 및 제2 대상에 대한 제2 가능성 추정 값을 포함하고;
상기 방법은,
상기 제1 대상에 대한 업데이트된 제1 가능성 추정 값 및 상기 제2 대상에 대한 업데이트된 제2 가능성 추정 값을 생성하는 것을 포함하여, 업데이트된 사용자 콘텍스트 및 업데이트된 제1 포즈 정보 중 적어도 하나에 기초하여 상기 대상들의 제1 세트 각각에 대한 상기 가능성 추정 값들을 업데이트하는 단계; 및
상기 업데이트된 제1 가능성 추정 값 및 상기 업데이트된 제2 가능성 추정 값에 기초하여 상기 제1 대상과 상기 제2 대상 사이에서 선택하는 단계를 추가로 포함하는, 방법.
제20항 내지 제24항 중 어느 한 항에 있어서,
상기 사용자 콘텍스트 및 상기 제1 포즈와 연관된 상기 대상들의 제1 세트를 나타내는 압축된 벡터들을 생성하는 단계;
상기 대상들의 제1 세트와 연관된 분류기들에 대한 추천된 가중치들을 생성하기 위해 상기 압축된 벡터들을 제2 디바이스로 전송하는 단계; 및
상기 추천된 콘텐츠 또는 액션들을 생성하기 위해 상기 제2 디바이스로부터 상기 추천된 가중치들을 수신하는 단계를 추가로 포함하는, 방법.
제20항 내지 제25항 중 어느 한 항에 있어서, 상기 대상들의 제1 세트 내의 대상들에 대한 분류기들과 연관된 가중치들에 의해 순서화된 복수의 캐스케이드된 캐시들 내에 상기 대상들의 제1 세트 및 연관된 가중치들을 저장하는 단계를 추가로 포함하는, 방법.
제20항 내지 제26항 중 어느 한 항에 있어서,
업데이트된 사용자 콘텍스트 및 업데이트된 제1 포즈 정보 중 적어도 하나에 기초하여 상기 신뢰 임계치를 초과하는 상이한 대상을 예측하는 단계; 및
상기 상이한 대상과 연관된 한 세트의 추천된 콘텐츠 또는 액션들을 생성하는 단계를 추가로 포함하는, 방법.
제20항 내지 제27항 중 어느 한 항에 있어서, 상기 대상들의 제1 세트는:
상기 디바이스의 시야 내의 제1 영역에 근접한 시선을 검출하고;
상기 제1 영역에 대응하는 이미지 데이터를 획득하고;
상기 이미지 데이터 및 하나 이상의 분류기들에 기초하여 상기 대상들의 제1 세트를 분류함으로써 인식되는, 방법.
디바이스로서,
비일시적 메모리; 및
하나 이상의 프로세서들을 포함하며,
상기 하나 이상의 프로세서들은,
상기 디바이스의 제1 포즈와 연관된 대상들의 제1 세트를 획득하도록;
사용자 콘텍스트 및 상기 제1 포즈에 기초하여 상기 대상들의 제1 세트 각각에 대한 가능성 추정 값들을 결정하도록;
상기 대상들의 제1 세트 내의 적어도 하나의 각각의 대상에 대한 적어도 하나의 가능성 추정 값이 신뢰 임계치를 초과하는지 여부를 결정하도록; 그리고
상기 적어도 하나의 가능성 추정 값이 상기 신뢰 임계치를 초과한다고 결정하는 것에 응답하여 상기 적어도 하나의 각각의 대상 및 상기 사용자 콘텍스트와 연관된 적어도 하나의 분류기를 사용하여 상기 적어도 하나의 각각의 대상과 연관된 추천된 콘텐츠 또는 액션들을 생성하도록 구성되는, 디바이스.
제29항에 있어서, 상기 대상들의 제1 세트는 제1 기간 동안 이미지 센서에 의해 캡처되고, 상기 하나 이상의 프로세서들은, 제2 기간 동안,
제2 기간 동안 상기 사용자 콘텍스트의 업데이트된 값들을 획득하도록; 그리고
상기 사용자 콘텍스트의 상기 업데이트된 값들 및 상기 제1 포즈에 기초하여 상기 대상들의 제1 세트 각각에 대한 상기 가능성 추정 값들을 업데이트하도록 추가로 구성되는, 디바이스.
제29항 또는 제30항에 있어서, 상기 하나 이상의 프로세서들은,
상기 디바이스의 제2 포즈와 연관된 대상들의 제2 세트를 획득하는 것 - 적어도 하나의 대상은 상기 대상들의 제1 세트 및 제2 세트 내에 있음 -; 및
상기 제2 포즈, 상기 사용자 콘텍스트, 및 상기 제1 포즈에 기초하여 상기 적어도 하나의 대상에 대한 적어도 하나의 가능성 추정 값을 결정하는 것에 의해, 상기 사용자 콘텍스트 및 상기 제1 포즈에 기초하여 상기 대상들의 제1 세트 각각에 대한 상기 가능성 추정 값들을 결정하도록 구성되는, 디바이스.
제29항 내지 제31항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서들은, 상기 적어도 하나의 가능성 추정 값을 상기 대상들의 제1 세트 내의 다른 대상들에 대한 가능성 추정 값들과 비교함으로써 상기 대상들의 제1 세트 내의 상기 적어도 하나의 각각의 대상에 대한 상기 적어도 하나의 가능성 추정 값이 상기 신뢰 임계치를 초과하는지 여부를 결정하도록 구성되는, 디바이스.
제29항 내지 제32항 중 어느 한 항에 있어서,
상기 대상들의 제1 세트 내의 상기 적어도 하나의 각각의 대상에 대한 상기 적어도 하나의 가능성 추정 값은 제1 대상에 대한 제1 가능성 추정 값 및 제2 대상에 대한 제2 가능성 추정 값을 포함하고;
상기 하나 이상의 프로세서들은:
상기 제1 대상에 대한 업데이트된 제1 가능성 추정 값 및 상기 제2 대상에 대한 업데이트된 제2 가능성 추정 값을 생성하는 것을 포함하여, 업데이트된 사용자 콘텍스트 및 업데이트된 제1 포즈 정보 중 적어도 하나에 기초하여 상기 대상들의 제1 세트 각각에 대한 상기 가능성 추정 값들을 업데이트하도록; 그리고
상기 업데이트된 제1 가능성 추정 값 및 상기 업데이트된 제2 가능성 추정 값에 기초하여 상기 제1 대상과 상기 제2 대상 사이에서 선택하도록 추가로 구성되는, 디바이스.
제29항 내지 제33항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서들은,
상기 사용자 콘텍스트 및 상기 제1 포즈와 연관된 상기 대상들의 제1 세트를 나타내는 압축된 벡터들을 생성하도록;
상기 대상들의 제1 세트와 연관된 분류기들에 대한 추천된 가중치들을 생성하기 위해 상기 압축된 벡터들을 제2 디바이스로 전송하도록; 그리고
상기 추천된 콘텐츠 또는 액션들을 생성하기 위해 상기 제2 디바이스로부터 상기 추천된 가중치들을 수신하도록 추가로 구성되는, 디바이스.
제29항 내지 제34항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서들은, 상기 대상들의 제1 세트 내의 대상들에 대한 분류기들과 연관된 가중치들에 의해 순서화된 복수의 캐스케이드된 캐시들 내에 상기 대상들의 제1 세트 및 연관된 가중치들을 저장하도록 추가로 구성되는, 디바이스.
제29항 내지 제35항 중 어느 한 항에 있어서, 상기 하나 이상의 프로세서들은,
업데이트된 사용자 콘텍스트 및 업데이트된 제1 포즈 정보 중 적어도 하나에 기초하여 상기 신뢰 임계치를 초과하는 상이한 대상을 예측하도록; 그리고
상기 상이한 대상과 연관된 한 세트의 추천된 콘텐츠 또는 액션들을 생성하도록 추가로 구성되는, 디바이스.
제29항 내지 제36항 중 어느 한 항에 있어서, 상기 대상들의 제1 세트는:
상기 디바이스의 시야 내의 제1 영역에 근접한 시선을 검출하고;
상기 제1 영역에 대응하는 이미지 데이터를 획득하고;
상기 이미지 데이터 및 하나 이상의 분류기들에 기초하여 상기 대상들의 제1 세트를 분류함으로써 인식되는, 디바이스.
명령어들이 인코딩되어 있는 비일시적 컴퓨터 판독가능 매체로서,
상기 명령어들은, 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 디바이스로 하여금:
상기 디바이스의 제1 포즈와 연관된 대상들의 제1 세트를 획득하게 하고;
사용자 콘텍스트 및 상기 제1 포즈에 기초하여 상기 대상들의 제1 세트 각각에 대한 가능성 추정 값들을 결정하게 하고;
상기 대상들의 제1 세트 내의 적어도 하나의 각각의 대상에 대한 적어도 하나의 가능성 추정 값이 신뢰 임계치를 초과하는지 여부를 결정하게 하고;
상기 적어도 하나의 가능성 추정 값이 상기 신뢰 임계치를 초과한다고 결정하는 것에 응답하여 상기 적어도 하나의 각각의 대상 및 상기 사용자 콘텍스트와 연관된 적어도 하나의 분류기를 사용하여 상기 적어도 하나의 각각의 대상과 연관된 추천된 콘텐츠 또는 액션들을 생성하게 하는, 비일시적 컴퓨터 판독가능 매체.