KR20210016288A

KR20210016288A - 컴퓨터 생성 렌더링 환경을 위한 시각적 검색 세분화

Info

Publication number: KR20210016288A
Application number: KR1020200095704A
Authority: KR
Inventors: 에샨 베르마; 다니엘 울브라이트; 안젤라 블레흐슈미트; 모함마드 하리스 바이그; 첸-유 리; 탄마이 바트라
Original assignee: 애플 인크.
Priority date: 2019-08-01
Filing date: 2020-07-31
Publication date: 2021-02-15
Also published as: US11189103B2; KR102590957B1; KR20220084242A; US20210035367A1; US20220044486A1; KR102406878B1; US11710283B2; CN112306228A

Abstract

본 명세서에 개시된 다양한 구현예들은 더 빠르고 더 효율적인 실시간 물리적 객체 인식, 정보 검색, 및 CGR 환경의 업데이트를 가능하게 하는 디바이스들, 시스템들, 및 방법들을 포함한다. 일부 구현예들에서, 물리적 객체의 분류에 기초하여 제1 디바이스에 CGR 환경이 제공되고, 물리적 객체를 포함하는 이미지 또는 비디오 데이터가 제1 디바이스에 의해 제2 디바이스로 전송되고, CGR 환경은 제2 디바이스로부터 수신된 물리적 객체와 연관된 응답에 기초하여 제1 디바이스에 의해 업데이트된다.

Description

컴퓨터 생성 렌더링 환경을 위한 시각적 검색 세분화{VISUAL SEARCH REFINEMENT FOR COMPUTER GENERATED RENDERING ENVIRONMENTS}

관련 출원에 대한 상호 참조

본 출원은 2019년 8월 1일자로 출원된 미국 가출원 제62/881,476호의 이익을 주장하며, 그 가출원은 그 전체가 본 명세서에 포함된다.

기술분야

본 발명은 컴퓨터 생성 렌더링(computer generated rendering, CGR) 환경을 제공하는 것에 관한 것으로, 특히, 물리적 객체들을 식별하고 식별된 물리적 객체들과 연관된 정보에 기초하여 CGR 환경을 업데이트하기 위한 시스템들, 방법들, 및 디바이스들에 관한 것이다.

디바이스에 의해 이미지 또는 비디오 데이터에서 검출되는 물리적 객체들에 대해 디바이스(예컨대, 휴대용 전자 디바이스)에서 정보를 제공하는 것은 계산상 고비용이고 시간 소모적이며, 이는 종종 이미지 또는 비디오 데이터의 세그먼트화 및 객체 인식을 수행하는 것과 연관된 상당한 프로세싱 지연들을 야기한다. 예를 들어, 디바이스의 사용자는 룸(room) 안으로 걸어 들어가서 룸 내의 임의의 객체들을 인식하기 전에 상당한 지연을 경험할 수 있다.

본 명세서에 개시된 다양한 구현예들은 더 빠르고 더 효율적인 실시간 물리적 객체 인식, 정보 검색, 및 CGR 환경의 업데이트를 가능하게 하는 디바이스들, 시스템들, 및 방법들을 포함한다. 일부 구현예들에서, 프로세서, 디스플레이, 및 카메라를 갖는 디바이스(예컨대, 모바일 컴퓨팅 디바이스 또는 헤드 마운트 디바이스(head mounted display, HMD))가 카메라를 통해 물리적 세팅(physical setting)의 이미지 또는 비디오를 획득하는 방법을 구현한다. 예를 들어, 디바이스는 라이브 비디오의 스트림을 캡처할 수 있다. 디바이스는 물리적 객체를 이미지 또는 비디오에서 검출되는 물리적 객체와 연관된 특징부에 기초하여 일정 범주로 분류하고, 그 범주에 기초하여 디스플레이 상에 CGR 환경을 제공한다. 일부 구현예들에서, 디바이스는 물리적 객체의 대략적인 인식에 기초하여, 예컨대, 상대적으로 더 적은 정보에 기초하여 또는 더 미세한 인식 기법들보다 더 낮은 프로세싱 요건들을 갖는 프로세싱 기법들을 이용하여 물리적 객체를 분류한다. 더욱이, 이미지 또는 비디오의 특정 부분은 객체를 포함하는 것으로 식별될 수 있다. 예를 들어, 디바이스는 객체가 형상, 색상, 크기, 부피, 마커들, 또는 객체와 연관된 임의의 수의 단순한 또는 복잡한 특징부들에 기초하여 로컬 신경망을 통해 랩톱인 것을 검출할 수 있고, 랩톱 범주에서 물리적 객체를 분류하는 것에 기초하여 애셋 스토어(asset store)로부터 일반적인 랩톱을 디스플레이할 수 있다. 일부 구현예들에서, 디바이스는, 그 범주에 기초하여, 물리적 객체를 디바이스 상에 존재하는 애셋 스토어로부터의 일반적인 가상 콘텐츠로 대체하거나, 향상시키거나, 보완할 수 있다.

일부 구현예들에서, 디바이스는 이미지 또는 비디오의 일부분(예컨대, 일부 또는 전부)을 제2 디바이스(예컨대, 서버, 데스크톱 컴퓨터, 클라우드 컴퓨팅 디바이스 등)로 전송한다. 예를 들어, 디바이스는 물리적 객체를 포함하는 이미지 또는 비디오의 그 일부분을 제2 디바이스로 송신할 수 있다. 일부 구현예들에서, 디바이스는 이미지 또는 비디오가 프라이버시 기준들을 만족하는지 여부를 결정한다. 더욱이, 디바이스는 물리적 객체를 포함하는 이미지 또는 비디오의 그 일부분을 프라이버시 기준들의 만족도에 기초하여 제2 디바이스로 전송할지 여부를 결정할 수 있다. 일부 구현예들에서, 디바이스는 하나 이상의 검출된 특징부들 또는 결정된 범주를 제2 디바이스로 전송한다.

일부 구현예들에서, 디바이스는 객체와 연관된 응답을 수신하고, 응답에 기초하여 디스플레이 상의 CGR 환경을 업데이트한다. 응답은 제2 디바이스에 의해 수행되는 물리적 객체의 식별에 기초하여 결정된다. 제2 디바이스는 물리적 객체의 미세한 인식에 기초하여, 예컨대, 상대적으로 더 많은 정보에 기초하여 또는 객체를 분류하는 데 사용되는 대략적인 인식 기법보다 더 높은 프로세싱 요건들을 갖는 프로세싱 기법들을 이용하여 물리적 객체를 식별한다. 제2 디바이스는, 예를 들어, 특정 객체를 식별하거나 객체에 관한 특정 정보를 획득하기 위해 제1 디바이스에서 이용가능하지 않은 객체 정보의 강건한 라이브러리에 액세스할 수 있다. 예를 들어, 객체와 연관된 응답은 하위 범주(예컨대, 브랜드 X 랩톱 컴퓨터)의 식별, 특정 유형의 아이템(예컨대, 모델 번호)의 식별, 보완 정보(예컨대, 사용자 매뉴얼), 객체와 연관된 애니메이션, 3-D 포즈(pose), CAD(computer-aided drafting) 모델 등을 포함할 수 있다. 제2 디바이스로부터 응답을 수신한 디바이스는 식별에 기초하여 객체의 묘사를 변경할 수 있거나(예를 들어, 특정 모델에 매칭하도록 랩톱 묘사를 디스플레이하는 것, 랩톱에 인접한 사용자 매뉴얼을 디스플레이하는 것 등), 또는 객체와 연관된 경험을 생성할 수 있다(예컨대, 애니메이션을 트리거하는 것, 3-D 포즈를 제공하는 것 등). 일부 구현예들에서, 객체와 연관된 수신된 응답은, 향후의 이미지 또는 비디오에서 물리적 객체를 식별하기 위해 디바이스에 의해 사용될 식별 데이터(예컨대, 속성들의 벡터, 디스크립터(descriptor)들 등)를 포함한다. 더욱이, 일부 구현예들에서, 객체와 연관된 수신된 응답은 물리적 객체의 상태(예컨대, 디바이스의 손상 여부, 무손상 여부, 습윤 여부, 건조 여부, 직립 여부, 수평 여부 등)의 평가를 포함한다.

일부 구현예들에서, 이어서, 디바이스는 범주에 기초하여 디스플레이되는 일반적인 가상 콘텐츠를 객체와 연관된 수신된 응답에 기초하여 객체 특정 콘텐츠로 대체할 수 있다.

일부 구현예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체는 본 명세서에 기술된 방법들 중 임의의 방법을 수행하거나 또는 그의 수행을 야기하도록 컴퓨터 실행가능한 명령어들을 그 안에 저장하고 있다. 일부 구현예들에 따르면, 디바이스는 하나 이상의 프로세서들, 비일시적 메모리, 및 하나 이상의 프로그램들을 포함하고; 하나 이상의 프로그램들은 비일시적 메모리에 저장되며 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 하나 이상의 프로그램들은 본 명세서에 기술된 방법들 중 임의의 방법을 수행하거나 또는 그의 수행을 야기하기 위한 명령어들을 포함한다.

본 개시내용이 당업자들에 의해 이해될 수 있도록, 더 상세한 설명이 일부 예시적인 구현예들의 양태들에 대한 참조에 의해 이루어질 수 있으며, 이들 중 일부는 첨부 도면들에 도시된다.
도 1은 일부 구현예들에 따른 디바이스의 디스플레이 상에 제공된 물리적 환경의 CGR 환경을 도시한다.
도 2는 일부 구현예들에 따른 도 1에 의해 제공된 CGR 환경을 도시한다.
도 3은 일부 구현예들에 따른, 제2 디바이스로부터 수신된 물리적 객체와 연관된 응답에 기초하여 객체 특정 콘텐츠를 포함하는 디바이스 상에 제공된 CGR 환경을 도시한다.
도 4는 일부 구현예들에 따른 도면에 의해 제공된 CGR 환경을 도시한다.
도 5는 일부 구현예들에 따른 예시적인 디바이스의 블록도이다.
도 6은 일부 구현예들에 따른 예시적인 디바이스의 블록도이다.
도 7은 일부 구현예들에 따른, CGR 환경을 제공하는 예시적인 방법을 도시하는 흐름도이다.
일반적인 실시에 따라, 도면에 도시된 다양한 특징부들은 축척대로 그려지지 않을 수 있다. 따라서, 다양한 특징부들의 치수는 명료함을 위해 임의대로 확대 또는 축소될 수 있다. 부가적으로, 도면들 중 일부는 주어진 시스템, 방법 또는 디바이스의 컴포넌트들 모두를 도시하지는 않을 수 있다. 마지막으로, 동일한 도면 번호들은 명세서 및 도면들 전반에 걸쳐 동일한 특징부를 나타내기 위해 사용될 수 있다.

도면들에 도시된 예시적인 구현예들의 완전한 이해를 제공하기 위해 다수의 세부사항들이 설명된다. 그러나, 도면들은 단지 본 개시내용의 일부 예시적인 양태들만을 도시할 뿐이며, 따라서 제한적인 것으로 고려되지 않는다. 통상의 기술자는 다른 효과적인 양태들 또는 변형들이 본 명세서에 설명되는 특정 세부사항들 모두를 포함하지는 않음을 인식할 것이다. 또한, 잘 알려진 시스템들, 방법들, 컴포넌트들, 디바이스들 및 회로들은 본 명세서에 기술된 예시적인 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 철저히 상세하게 기술되지 않았다.

도 1 및 도 2를 참조하면, 예시적인 오퍼레이팅 환경(operating environment)(100)이 일부 구현예들에 따라 도시된다. 관련 특징부들이 도시되어 있지만, 당업자는 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 구현예들의 더 많은 관련 양태들을 불명료하게 하지 않도록 하기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 그를 위해, 비제한적인 예로서, 오퍼레이팅 환경(100)은 디바이스(120)(예컨대, 모바일 전자 디바이스 또는 헤드 마운트 디바이스(HMD)) 및 디바이스(145)(예컨대, 서버, 클라우드 컴퓨팅 디바이스, 개인용 컴퓨터, 또는 모바일 전자 디바이스)를 포함하며, 이들 중 하나 또는 둘 모두는 물리적 세팅(105) 내에 있을 수 있다. 물리적 세팅(105)은 전자 시스템들의 보조 없이 사람들이 감지할 수 있거나 사람들과 상호작용할 수 있는 세계를 지칭한다. 물리적 세팅(예컨대, 물리적 숲)은 물리적 객체들(예컨대, 물리적 나무, 물리적 구조물, 및 물리적 동물)을 포함한다. 사람들은, 예컨대 촉각, 시각, 후각, 청각, 및 미각을 통해, 물리적 세팅과 직접 상호작용하거나 이를 감지할 수 있다.

일부 구현예들에서, 디바이스(120)는 사용자에 대한 컴퓨터 생성 렌더링(CGR) 환경(125)을 관리 및 조정하도록 구성되고, 일부 구현예들에서, 디바이스(120)는 CGR 환경(125)을 사용자에게 제시하도록 구성된다. 일부 구현예들에서, 디바이스(120)는 소프트웨어, 펌웨어, 또는 하드웨어의 적합한 조합을 포함한다. 디바이스(120)는 도 5와 관련하여 아래에서 더욱 상세히 기술된다.

일부 구현예들에서, 디바이스(120)는 물리적 세팅(105)에 대해 로컬 또는 원격인 컴퓨팅 디바이스이다. 일부 구현예들에서, 디바이스(120)의 기능들은 제어기(예컨대, 물리적 세팅(105) 내에 위치된 로컬 서버 또는 물리적 세팅(105) 외측에 위치된 원격 서버)에 의해 제공되거나 그와 조합된다. 일부 구현예들에서, 디바이스(120)는 하나 이상의 유선 또는 무선 통신 채널들(예컨대, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 다른 디바이스들 또는 주변기기들과 통신가능하게 결합된다.

일부 구현예들에 따르면, 디바이스(120)는 사용자가 물리적 세팅(105) 내에 존재하는 동안 CGR 환경(125)을 사용자에게 제시한다. 물리적 세팅과 대조적으로, CGR 환경은 전자 시스템을 통해 사람들이 감지할 수 있거나 사람들과 상호작용할 수 있는 전체적 또는 부분적 컴퓨터 생성 세팅을 지칭한다.

일부 구현예들에서, CGR 환경(125)을 제공하는 것은 가상 현실(virtual reality, VR)을 포함한다. VR 세팅은 감각들 중 적어도 하나에 대한 컴퓨터 생성 감각 입력들만을 포함하도록 설계된 시뮬레이션 세팅(simulated setting)을 지칭한다. VR 세팅은 사람과 상호작용하거나 사람이 감지할 수 있는 다수의 가상 객체들을 포함한다. 사람은 컴퓨터 생성 세팅 내의 사람의 행동들의 서브세트의 시뮬레이션을 통해, 또는 컴퓨터 생성 세팅 내의 사람 또는 그의 존재의 시뮬레이션을 통해 VR 세팅 내의 가상 객체들과 상호작용하거나 이를 감지할 수 있다.

일부 구현예들에서, CGR 환경(125)을 제공하는 것은 혼합 현실(mixed reality, MR)을 포함한다. MR 세팅은 컴퓨터 생성 감각 입력들(예컨대, 가상 객체들)을 물리적 세팅, 또는 이의 표현으로부터의 감각 입력들과 통합하도록 설계된 시뮬레이션 세팅을 지칭한다. 현실 스펙트럼 상에서, 혼합 현실 세팅은 한편으로의 VR 세팅과, 다른 한편으로의 완전히 물리적 세팅 사이에 존재하며, 둘 모두를 포함하지는 않는다.

일부 MR 세팅들에서, 컴퓨터 생성 감각 입력들은 물리적 세팅으로부터의 감각 입력들의 변화에 적응할 수 있다. 또한, MR 세팅들을 제시하기 위한 일부 전자 시스템들은 가상 객체들과 실제 객체들(이는 물리적 세팅 또는 이의 표현들로부터의 물리적 객체들임) 사이의 상호작용을 가능하게 하기 위하여 물리적 세팅에 대한 배향 또는 위치를 모니터링할 수 있다. 예를 들어, 시스템은 움직임들을 모니터링하여 가상 식물이 물리적 빌딩에 대해 고정된 것처럼 보이도록 할 수 있다.

혼합 현실의 일례는 증강 현실(augmented reality, AR)이다. AR 세팅은 적어도 하나의 가상 객체가 물리적 세팅, 또는 이의 표현 위에 중첩되는 시뮬레이션 세팅을 지칭한다. 예를 들어, 전자 시스템은 불투명 디스플레이, 및 물리적 세팅의 표현들인, 물리적 세팅의 이미지들 또는 비디오를 캡처하기 위한 적어도 하나의 이미지 센서를 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 조합하고, 불투명 디스플레이 상에 그 조합을 디스플레이한다. 사람은, 시스템을 이용하여, 물리적 세팅의 이미지들 또는 비디오를 통해 간접적으로 물리적 세팅을 보고, 물리적 세팅 위에 중첩된 가상 객체들을 관찰한다. 시스템이 이미지 센서(들)를 이용하여 물리적 세팅의 이미지들을 캡처하고, 이러한 이미지들을 이용하여 불투명 디스플레이 상에 AR 세팅을 제시할 때, 디스플레이된 이미지들은 비디오 패스-스루(pass-through)라고 불린다. 대안적으로, AR 세팅을 디스플레이하기 위한 전자 시스템은 사람이 물리적 세팅을 직접 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은 가상 객체들을 투명 또는 반투명 디스플레이 상에 디스플레이하여, 사람이, 시스템을 이용하여, 물리적 세팅 위에 중첩된 가상 객체들을 관찰하게 할 수 있다. 다른 예에서, 시스템은 가상 객체들을 물리적 세팅 안으로 투사하는 투사 시스템을 포함할 수 있다. 가상 객체들은, 예를 들어, 물리적 표면 상에 또는 홀로그래프로서 투사되어, 사람이, 시스템을 이용하여, 물리적 세팅 위에 중첩된 가상 객체들을 관찰하도록 할 수 있다.

증강 현실 세팅은 또한 물리적 세팅의 표현이 컴퓨터 생성 감각 정보에 의해 변경되는 시뮬레이션 세팅을 지칭할 수 있다. 예를 들어, 물리적 세팅의 표현의 일부분은 그래픽적으로 변경되어(예컨대, 확대되어), 변경된 부분이 여전히 대표성은 있지만 원래 캡처된 이미지(들)의 충실하게 재현된 버전은 아닐 수 있다. 다른 예로서, 비디오 패스-스루를 제공함에 있어서, 시스템은 센서 이미지들 중 적어도 하나를 변경하여 이미지 센서(들)에 의해 캡처된 관점과 상이한 특정 관점을 부과할 수 있다. 추가적인 예로서, 물리적 세팅의 표현은 그의 부분들을 그래픽적으로 모호하게 하거나 배제함으로써 변경될 수 있다.

혼합 현실의 다른 예는 증강 가상(augmented virtuality, AV)이다. AV 세팅은 컴퓨터 생성 또는 가상 세팅이 물리적 세팅으로부터의 적어도 하나의 감각 입력을 포함시키는 시뮬레이션 세팅을 지칭한다. 물리적 세팅으로부터의 감각 입력(들)은 물리적 세팅의 적어도 하나의 특성의 표현들일 수 있다. 예를 들어, 가상 객체는 이미지 센서(들)에 의해 캡처된 물리적 객체의 색상을 취할 수 있다. 다른 예에서, 가상 객체는, 이미징, 날씨-관련 센서들, 또는 온라인 날씨 데이터를 통해 식별된 바와 같은, 물리적 세팅에서의 실제 날씨 조건들과 일치하는 특성들을 나타낼 수 있다. 또 다른 예에서, 증강 현실 숲은 가상 나무들 및 구조물들을 가질 수 있지만, 동물들은 물리적 동물들의 촬영된 이미지들로부터 정확하게 재현되는 특징부들을 가질 수 있다.

많은 전자 시스템들은 사람이 다양한 형태들의 혼합 현실과 상호작용하거나 이를 감지하는 것을 가능하게 한다. 일례는 헤드 마운트 시스템들을 포함한다. 헤드 마운트 시스템은 불투명 디스플레이 및 스피커(들)를 가질 수 있다. 대안적으로, 헤드 마운트 시스템은 외부 디스플레이(예컨대, 스마트폰)를 수용하도록 설계될 수 있다. 헤드 마운트 시스템은 각각 이미지들/비디오를 촬영하거나 물리적 세팅의 오디오를 캡처하기 위한 이미징 센서(들) 또는 마이크로폰들을 가질 수 있다. 헤드 마운트 시스템은 또한 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 나타내는 광이 사람의 눈으로 인도되게 하는 기판을 포함할 수 있다. 디스플레이는 LED, OLED, 디지털 광 프로젝터, 레이저 스캐닝 광원, 실리콘 액정 표시장치(liquid crystal on silicon), 또는 이 기술들의 임의의 조합을 포함할 수 있다. 광이 통과해서 전송될 수 있는 기판은 도광체, 광학 조합기, 광학 반사기, 홀로그래픽 기판, 또는 이 기판들의 임의의 조합일 수 있다. 일 구현예에서, 투명 또는 반투명 디스플레이는 불투명 상태와 투명 또는 반투명 상태 사이에서 선택적으로 전이될 수 있다. 다른 예에서, 전자 시스템은 투사-기반 시스템일 수 있다. 투사-기반 시스템은 망막 투사를 이용하여 이미지들을 사람의 망막에 투사할 수 있다. 대안적으로, 투사 시스템은 또한 가상 객체들을 물리적 세팅 안에(예컨대, 물리적 표면 상에 또는 홀로그래프로서) 투사할 수 있다. SR 시스템들의 다른 예들은 헤드 업 디스플레이, 그래픽을 디스플레이하는 능력을 갖는 자동차 앞유리, 그래픽을 디스플레이하는 능력을 갖는 창, 그래픽을 디스플레이하는 능력을 갖는 렌즈, 헤드폰 또는 이어폰, 스피커 배열, 입력 메커니즘(예컨대, 햅틱 피드백을 갖거나 갖지 않는 제어기), 태블릿, 스마트폰, 및 데스크톱 또는 랩톱 컴퓨터를 포함한다.

일부 구현예들에서, 디바이스(120)는 사용자(115)가 디바이스(120)의 디스플레이 상에서 물리적 환경(105)을 동시에 볼 수 있도록 CGR 환경(125)을 디스플레이하는데, 예컨대 디바이스는 실세계 콘텐츠와 함께 실세계 좌표계에서 CGR 환경(125)을 디스플레이한다. 일부 구현예들에서, 그러한 관찰 모드는 CGR 콘텐츠를 물리적 환경(105)의 실세계 콘텐츠와 조합하는 시각적 콘텐츠를 포함한다. 더욱이, CGR 환경(125)은 (예컨대, 실세계 콘텐츠가 카메라에 의해 캡처되고 3D 모델과 함께 디스플레이 상에 디스플레이되는) 비디오 시스루(video-see-through) 또는 (예컨대, 실세계 콘텐츠가 직접 또는 유리를 통해 보여지고 디스플레이된 3D 모델로 보완되는) 광학 시스루(optical-see-through)일 수 있다.

예를 들어, CGR 환경(125)은, 렌더링된 3차원(3D) 그래픽을 온보드(onboard) 카메라에 의해 캡처된 라이브 비디오 스트림 내로 통합함으로써 소비자 셀-폰의 디스플레이 상에서 비디오 시스루 CGR를 사용자(115)에게 제공할 수 있다. 다른 예로서, CGR 환경(125)은, 렌더링된 3D 그래픽을 웨어러블 시스루 HMD 내로 중첩시킴으로써 광학 시스루 CGR을 사용자(115)에게 제공하여, 중첩된 3D 모델로 실세계의 사용자의 광학적 뷰를 전자적으로 향상시킬 수 있다.

일부 구현예들에서, 물리적 환경(10)은 적어도 하나의 물리적 객체(130)를 포함한다. 예를 들어, 물리적 객체(130)는 소비자 전자 디바이스(예컨대, 랩톱), 하나의 가구 또는 미술품, 사진 등일 수 있다. 일부 구현예들에서, 디바이스(120)는 이미지 또는 비디오 데이터를 수신하고, 물리적 객체(130)를 검출하고, 물리적 객체(130)를 포함하는 것으로서 이미지 또는 비디오의 일부분(예컨대, 물리적 환경(105)의 이미지 또는 비디오 묘사 부분(135)의 일부분)을 식별한다.

일부 구현예들에서, 디바이스(120)는 물리적 객체(130)와 연관된 하나 이상의 단순한 또는 복잡한 특징부들(예컨대, 형상, 색상, 크기, 부피, 마커들 등)에 기초하여, 물리적 객체(130)를 로컬 신경망을 통해 일정 범주로 분류하고, 물리적 객체(130)에 대응하는 콘텐츠와 (예컨대, 물리적 환경(105)의 국소적으로 캡처된 이미지들 또는 비디오를 통해) 물리적 환경(105)을 조합하는 CGR 환경(125)을 제공한다. 예를 들어, 디바이스(120)는 형상, 색상, 크기, 부피, 또는 마커들과 같은 물리적 객체(130)와 연관된 하나 이상의 단순한 또는 복잡한 특징부들에 기초하여 로컬 신경망을 통해 물리적 객체(130)(예컨대, 랩톱)의 대략적인 인식을 수행할 수 있다. 일부 구현예들에서, 디바이스(120)는 물리적 객체와 연관된 특징부들(예컨대, 형상, 색상, 크기, 부피, 마커들 등) 중 하나 이상을 디바이스(145)로 전송한다. 예를 들어, 디바이스(120)는 물리적 객체(30)와 연관된 마커들을 식별할 수 있고, 마커들을 디바이스(145)로 전송할 수 있고, 디바이스(145)는 마커들에 기초하여 물리적 객체(130)를 식별할 수 있다(예컨대, 마커들은 랩톱의 특정 제조사 및 모델과 연관될 수 있다).

일부 구현예들에서, 디바이스(120)는 CGR 환경(125) 내의 물리적 객체(130)를 일반적인 가상 콘텐츠(140)로 대체하거나, 향상시키거나, 보완한다. 예를 들어, 일반적인 가상 콘텐츠(140)(예컨대, 랩톱 식별자)는 물리적 객체(130)의 결정된 범주에 기초하여 디바이스(120) 상의 애셋 스토어로부터 획득될 수 있다.

다양한 구현예들은 디바이스(120)가 물리적 객체(130)와 연관된 응답 또는 물리적 객체(130)에 관한 추가 정보를 수신하는 것을 가능하게 한다. 일부 구현예들에서, 디바이스(120)는 이미지 또는 비디오의 일부분(예컨대, 물리적 객체(130)를 포함하는 물리적 환경(105)의 이미지 또는 비디오 묘사 부분(135)의 일부분)을 링크(150)를 통해 디바이스(145)로 전송한다. 예를 들어, 디바이스(120)는 랩톱을 포함하는 이미지 또는 비디오의 일부를 디바이스(145)(예컨대, 원격 서버, 개인용 컴퓨터, 또는 클라우드 컴퓨팅 디바이스)로 송신할 수 있다.

그러나, 프라이버시를 이유로, 사용자(115)는 디바이스(145)(예컨대, 원격 서버)로 송신된 물리적 환경(105)과 연관된 데이터를 갖기를 원하지 않을 수 있다. 따라서, 일부 구현예들에서, 디바이스(120)는, 데이터가 미리결정된 프라이버시 기준들을 충족시키는 경우, 물리적 환경(105)과 연관된 이미지 또는 비디오 데이터만을 디바이스(145)로 송신한다. 더욱이, 일부 구현예들에서, 디바이스(120)는 이미지 또는 비디오의 일부분이 프라이버시 기준들을 만족하는지 여부의 결정에 기초하여 이미지 또는 비디오의 일부분을 디바이스(145)로 송신할지 여부를 결정한다. 그러한 프라이버시 기준들은 이미지 또는 비디오가 사람들, 이름들, 식별 번호들, 금융 정보 등을 포함하는지 여부를 포함할 수 있다. 일부 구현예들에서, 사용자(115)는 그가 이미지 또는 비디오 데이터를 디바이스(145)로 송신하기를 원하지 않는 것으로 특정할 수 있다. 예를 들어, 프라이버시 기준들은 디바이스(120)에 대한 구성 설정이 데이터가 디바이스(145)로 송신되게 하도록 설정되어 있는지 여부를 포함할 수 있다. 일부 구현예들에서, 프라이버시 기준들은 데이터가 물리적 객체의 특정 범주와 연관되는지 또는 특정 물리적 위치(예컨대, 집 또는 직장 GPS 위치)에서 수집되는지를 포함할 수 있다. 디바이스 레벨에서 구성되거나 사용자 특정된 많은 다른 프라이버시 기준들이 또한, 이미지 또는 비디오 데이터가 디바이스(145)로 송신되는지 여부를 결정하는 데 사용될 수 있다.

일부 구현예들에서, 디바이스(145)는 물리적 객체(130)의 식별을 수행한다. 예를 들어, 디바이스(145)는 디바이스(120)에 의해 수행되는 대략적인 인식보다 더 미세한 레벨에서 물리적 객체(130)를 식별할 수 있다. 더욱이, 디바이스(120)는 분류된 범주를 디바이스(145)로 전송할 수 있다. 예를 들어, 디바이스(120)는 물리적 객체(30)를 랩톱으로서 분류할 수 있고, 디바이스(145)는 물리적 객체(130)를 추가로 식별할 수 있다(예컨대, 랩톱의 특정 제조사 및 모델).

도 1에 도시된 바와 같이, 일부 구현예들에 따르면, 디바이스(120)는 모바일 전자 디바이스이고, 일부 구현예들에 따르면, 디바이스(120)는 사용자(115)의 머리에 착용되도록 구성된 HMD이다. 그러한 HMD는 사용자(115)의 시야를 둘러쌀 수 있다. 디바이스(120)는 CGR 환경(125)을 디스플레이하도록 구성된 하나 이상의 스크린들 또는 다른 디스플레이들을 포함할 수 있다. 일부 구현예들에서, 디바이스(120)는 사용자(115)의 시야에 있는 실세계 콘텐츠와 함께 가상 요소를 디스플레이하기 위한 하나 이상의 스크린들 또는 다른 디스플레이들을 포함한다. 일부 구현예들에서, 디바이스(120)는, 하나 이상의 스크린들이 사용자(115)의 시야에서 물리적 환경(105)의 실세계 콘텐츠와 함께 CGR 환경(125)을 디스플레이하도록 위치되는 방식으로 착용된다. 일부 구현예들에서, CGR 환경(125)을 제공하는 디바이스(120)는, 사용자(115)가 디바이스(120)를 착용하거나 또는 보유하지 않는 CGR 환경(125)을 제시하도록 구성된 챔버, 인클로저, 또는 실내이다.

일부 구현예들에 따른 도 3 및 도 4에 도시된 바와 같이, 디바이스(120)는 디바이스(145)에 의해 수행되는 물리적 객체(130)의 식별에 기초하여 결정되는 물리적 객체(130)와 연관된 응답(160)을 수신한다. 예를 들어, 수신된 응답(160)은 하위 범주의 식별, 특정 유형의 아이템의 식별, 또는 보완 정보를 포함할 수 있다.

일부 구현예들에서, 정보(160)는 CGR 환경(125)에서 사용자(115)에게 제시된다. 예를 들어, 물리적 객체(130)에 관한 정보(160)는 하위 범주(예컨대, 랩톱 컴퓨터)의 식별, 특정 유형의 아이템(예컨대, 모델 번호)의 식별, 보완 정보(예컨대, 사용자 매뉴얼, 수리 정보, 액세서리 정보 등), 또는 물리적 객체(130)의 상태의 평가를 포함할 수 있다. 일부 구현예들에서, 일반적인 가상 콘텐츠(140)는 정보(160)에 기초하여 객체 특정 콘텐츠로 대체된다. 예를 들어, 일반적인 랩톱 묘사가 특정 모델의 묘사로 변경될 수 있다.

일부 구현예들에서, 디바이스(120)는 디바이스(120)에 의해 사용될 객체 식별 데이터를 디바이스(145)로부터 수신하여 물리적 환경(105)의 향후의 이미지 또는 비디오에서 물리적 객체(130)를 식별할 수 있다. 예를 들어, 디바이스(120)는 디바이스(145)로부터 물리적 객체(130)와 연관된 3차원 모델들, 벡터들, 또는 디스크립터들을 수신할 수 있다. 일부 구현예들에서, 디바이스(120)는 수신된 응답(160)에 기초하여 경험을 생성할 수 있다. 예를 들어, 수신된 응답(160)은 물리적 객체(130)와 연관된 애니메이션, 3-D 포즈, 또는 CAD 모델을 디스플레이하도록 디바이스(120)를 인에이블하거나 또는 달리 트리거할 수 있다.

도 3에 도시된 바와 같이, 일부 구현예들에 따르면, 디바이스(120)는 모바일 전자 디바이스이고, 일부 구현예들에 따르면, 디바이스(120)는 사용자(115)의 머리에 착용되도록 구성된 HMD이다.

도 5는 일부 구현예들에 따른 디바이스(120)의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터 다양한 다른 특징부들이 간결함을 위해, 그리고 본 명세서에 개시된 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 예시되지 않았음을 이해할 것이다. 그를 위해, 비-제한적인 예로서, 일부 구현예들에서, 디바이스(120)는 하나 이상의 프로세싱 유닛들(502)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입력/출력("I/O") 디바이스들 및 센서들(506), 하나 이상의 통신 인터페이스들(508)(예를 들어, USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, ZIGBEE, SPI, I2C, 또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(510), 하나 이상의 디스플레이들(512), 하나 이상의 내부 또는 외부 대면 이미지 센서 시스템들(514), 메모리(520), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(504)을 포함한다.

일부 구현예들에서, 하나 이상의 통신 버스들(504)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 구현예들에서, 하나 이상의 I/O 디바이스들 및 센서들(506)은 관성 측정 유닛(inertial measurement unit, IMU), 가속도계, 자력계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 하나 이상의 심도 센서들(예를 들어, 구조화된 광, 빛의 비행시간(time-of-flight) 등) 등 중 적어도 하나를 포함한다.

일부 구현예들에서, 하나 이상의 디스플레이들(512)은 CGR 환경을 사용자에게 제시하도록 구성된다. 일부 구현예들에서, 하나 이상의 디스플레이들(512)은 홀로그래픽, 디지털 광 프로세싱(DLP), 액정 디스플레이(LCD), 실리콘 액정 표시장치(LCoS), 유기 발광 전계 효과 트랜지스터(OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(QD-LED), 마이크로-전자-기계 시스템(MEMS), 또는 유사 디스플레이 유형들에 대응한다. 일부 구현예들에서, 하나 이상의 디스플레이들(512)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다. 예를 들어, 디바이스(120)는 단일 디스플레이를 포함한다. 다른 예에서, 디바이스(120)는 사용자의 각각의 눈을 위한 디스플레이를 포함한다.

일부 구현예들에서, 하나 이상의 이미지 센서 시스템들(514)은 사용자의 눈들을 포함하는 사용자의 얼굴의 적어도 일부분에 대응하는 이미지 또는 비디오 데이터를 획득하도록 구성된다. 예를 들어, 하나 이상의 이미지 센서 시스템들(514)은 하나 이상의 RGB 카메라(예를 들어, 상보형 금속-산화물-반도체(CMOS) 이미지 센서 또는 전하-결합 디바이스(CCD) 이미지 센서를 구비함), 흑백 카메라, IR 카메라, 이벤트-기반 카메라 등을 포함한다. 다양한 구현예들에서, 하나 이상의 이미지 센서 시스템들(514)은 플래시 또는 글린트 소스(glint source)와 같은 사용자의 얼굴의 일부분 상에 광을 방출하는 조명원들을 추가로 포함한다.

메모리(520)는 고속 랜덤-액세스 메모리, 예컨대 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들을 포함한다. 일부 구현예들에서, 메모리(520)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(520)는 선택적으로, 하나 이상의 프로세싱 유닛들(502)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(520)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 구현예들에서, 메모리(520) 또는 메모리(520)의 비일시적 컴퓨터 판독가능 저장 매체는 선택적인 운영 체제(530) 및 CGR 환경 모듈(540)을 포함하는 프로그램들, 모듈들 및 데이터 구조들, 또는 그들의 서브세트를 저장한다.

운영 체제(530)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 절차들을 포함한다. 일부 구현예들에서, CGR 환경 모듈(540)은 CGR 환경을 생성, 편집, 또는 경험하도록 구성된다. 콘텐츠 생성 유닛(542)은 하나 이상의 사용자들에 대한 CGR 환경들의 일부(예컨대, 하나 이상의 사용자들에 대한 단일 SR 환경, 또는 하나 이상의 사용자들의 각각의 그룹들에 대한 다수의 SR 환경들)로서 사용될 CGR 콘텐츠를 생성 및 편집하도록 구성된다. 이러한 모듈들 및 유닛들이 단일 디바이스(예컨대, 디바이스(120)) 상에 존재하는 것으로 도시되어 있지만, 다른 구현예들에서, 이러한 모듈들 및 유닛들의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해하여야 한다.

게다가, 도 5는 본 명세서에 설명된 구현예들의 구조적 개략도와는 대조적으로 특정 구현예들에 존재하는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 구현예들에서, 도 5에서 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 구현예들에서, 특정 구현예들에 대해 선택된 하드웨어, 소프트웨어, 또는 펌웨어의 특정 조합에 부분적으로 의존할 것이다.

도 6은 일부 구현예들에 따른 디바이스(145)의 일례의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터 다양한 다른 특징부들이 간결함을 위해, 그리고 본 명세서에 개시된 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 예시되지 않았음을 이해할 것이다. 그를 위해, 비-제한적인 예로서, 일부 구현예들에서, 디바이스(145)는 하나 이상의 프로세싱 유닛들(602)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입력/출력("I/O") 디바이스들 및 센서들(606), 하나 이상의 통신 인터페이스들(608)(예를 들어, USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, ZIGBEE, SPI, I2C, 또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(610), 하나 이상의 디스플레이들(612), 하나 이상의 내부 또는 외부 대면 이미지 센서 시스템들(614), 메모리(620), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(604)을 포함한다.

일부 구현예들에서, 하나 이상의 통신 버스들(604)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 구현예들에서, 하나 이상의 I/O 디바이스들 및 센서들(606)은 IMU, 가속도계, 자력계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 하나 이상의 심도 센서들(예를 들어, 구조화된 광, 빛의 비행시간 등) 등 중 적어도 하나를 포함한다.

일부 구현예들에서, 하나 이상의 디스플레이들(612)은 CGR 환경을 사용자에게 제시하도록 구성된다. 일부 구현예들에서, 하나 이상의 디스플레이들(612)은 홀로그래픽, DLP, LCD, LCoS, OLET, OLED, SED, FED, QD-LED, MEMS, 또는 유사 디스플레이 유형들에 대응한다. 일부 구현예들에서, 하나 이상의 디스플레이들(612)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다.

일부 구현예들에서, 하나 이상의 이미지 센서 시스템들(614)은 사용자의 눈들을 포함하는 사용자의 얼굴의 적어도 일부분에 대응하는 이미지 또는 비디오 데이터를 획득하도록 구성된다. 예를 들어, 하나 이상의 이미지 센서 시스템들(614)은 하나 이상의 RGB 카메라(예를 들어, 상보형 금속-산화물-반도체(CMOS) 이미지 센서 또는 전하-결합 디바이스(CCD) 이미지 센서를 구비함), 흑백 카메라, IR 카메라, 이벤트-기반 카메라 등을 포함한다. 다양한 구현예들에서, 하나 이상의 이미지 센서 시스템들(614)은 플래시 또는 글린트 소스와 같은 사용자의 얼굴의 일부분 상에 광을 방출하는 조명원들을 추가로 포함한다.

메모리(620)는 고속 랜덤-액세스 메모리, 예컨대 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들을 포함한다. 일부 구현예들에서, 메모리(620)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(620)는 선택적으로, 하나 이상의 프로세싱 유닛들(602)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(620)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 구현예들에서, 메모리(620) 또는 메모리(620)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(630), 객체들의 데이터베이스(640), 및 식별 모듈(650)을 포함하는 그들의 서브세트를 저장한다.

일부 실시예들에서, 객체들의 데이터베이스(640)는 특정 물리적 객체들 또는 객체 범주들과 연관된 특성들(예컨대, 형상, 색상, 크기, 부피, 또는 마커들)을 포함한다. 예를 들어, 객체들의 데이터베이스(640)는 물리적 객체의 식별을 용이하게 하는 객체와 연관된 임의의 정보를 포함할 수 있다. 추가로, 일부 실시예들에서, 객체들의 데이터베이스(640)는 물리적 객체들 또는 물리적 객체들의 범주들과 연관된 모델들 또는 가상 콘텐츠의 라이브러리를 포함한다.

운영 체제(630)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 절차들을 포함한다. 일부 구현예들에서, 식별 모듈(650)은 물리적 객체들을 식별하도록 구성된다. 객체 식별 유닛(652)은 물리적 객체들을 식별 또는 범주화하는 데 사용될 객체 식별 데이터에 액세스하고, 그를 생성하고, 그를 편집하도록 구성된다. 이러한 모듈들 및 유닛들이 단일 디바이스(예컨대, 디바이스(145)) 상에 존재하는 것으로 도시되어 있지만, 다른 구현예들에서, 이러한 모듈들 및 유닛들의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해하여야 한다.

게다가, 도 6은 본 명세서에 설명된 구현예들의 구조적 개략도와는 대조적으로 특정 구현예들에 존재하는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 구현예들에서, 도 6에서 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 구현예들에서, 특정 구현예들에 대해 선택된 하드웨어, 소프트웨어, 또는 펌웨어의 특정 조합에 부분적으로 의존할 것이다.

도 7은 일부 구현예들에 따른, CGR 환경을 제공하는 예시적인 방법을 도시하는 흐름도이다. 일부 구현예들에서, 방법(700)은 디바이스(예를 들어, 도 1 내지 도 6의 디바이스(120) 또는 디바이스(145))에 의해 수행된다. 방법(700)은 모바일 디바이스, HMD, 데스크톱, 랩톱, 서버 디바이스에서, 또는 서로 통신하는 다수의 디바이스들에 의해 수행될 수 있다. 일부 구현예들에서, 방법(700)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일부 구현예들에서, 방법(700)은 비일시적 컴퓨터 판독가능 매체(예를 들어, 메모리)에 저장된 코드를 실행하는 프로세서에 의해 수행된다.

블록(702)에서, 방법(700)은 카메라를 통해 물리적 세팅의 이미지 또는 비디오를 획득한다. 일례에서, 이미지 또는 비디오는 사용자 입력 또는 선택에 기초하여 수집되고, 다른 예에서, 이미지 또는 비디오는 디바이스에 의해 자동으로 수집된다.

블록(704)에서, 방법(700)은 이미지 또는 비디오에서 검출되는 물리적 객체와 연관된 특징부에 기초하여 물리적 객체를 일정 범주로 분류한다. 일례에서, 물리적 객체는 전자 디바이스(예컨대, 랩톱)이고, 형상, 색상, 크기, 부피, 마커들 등을 포함하는 특징부들 중 임의의 하나 또는 이들의 조합의 대략적인 인식에 기초하여 범주화된다. 더욱이, 다른 예에서, 이미지 또는 비디오의 특정 부분은 물리적 객체를 포함하는 것으로 식별된다.

블록(706)에서, 방법(700)은 그 범주에 기초하여 디스플레이 상에 컴퓨터 생성 렌더링(CGR) 환경을 제공한다. 일례에서, CGR 환경은 물리적 객체의 일반적인 표현 또는 식별뿐만 아니라 물리적 세팅의 다른 묘사들을 포함한다.

블록(708)에서, 방법(700)은 물리적 객체와 연관된 하나 이상의 특징부들 또는 이미지의 일부분을 전송한다. 일례에서, 이미지 또는 비디오, 또는 이미지 또는 비디오의 일부분은 원격 서버 또는 클라우드 컴퓨팅 디바이스로 전송된다. 다른 예에서, 물리적 객체와 연관된 특징부들은 다른 로컬 디바이스로 전송된다. 더욱이, 임의의 이미지 또는 비디오 데이터의 전송은 이미지 또는 비디오가 프라이버시 기준들(예를 들어, 사용자 정의 프라이버시 설정들, 개인 데이터의 식별 등)을 만족한다는 결정에 기초할 수 있다. 일례에서, 방법(700)은 또한, 블록(704)에서 결정된 범주를 전송할 수 있다.

블록(710)에서, 방법(700)은 객체와 연관된 응답을 수신하는데, 여기서 응답은 물리적 객체의 식별에 기초하여 결정된다. 일례에서, 응답은 원격 또는 로컬 디바이스로부터 수신되고, 하위 범주의 식별, 특정 유형의 아이템(예컨대, 모델 번호)의 식별, 보완 정보(예컨대, 사용자 매뉴얼), 또는 물리적 상태를 포함한다. 더욱이, 응답은 객체와 연관된 경험을 생성할 수 있다(예컨대, 애니메이션을 트리거함, 3-D 포즈를 제공함 등).

블록(712)에서, 방법(700)은 수신된 응답에 기초하여 디스플레이 상의 CGR 환경을 업데이트한다. 일례에서, 방법(700)은 물리적 객체의 일반적인 표현 또는 식별의 묘사를 물리적 객체의 더 구체적인 표현 또는 식별로 변경한다. 다른 예에서, 방법(700)은 물리적 객체의 표현에 근접한 추가 정보 또는 리소스들을 디스플레이한다. 예를 들어, 물리적 객체의 묘사된 범주화는 물리적 객체의 식별로 변경될 수 있다. 또 다른 예에서, 사용자 매뉴얼이 물리적 객체에 인접하게 디스플레이될 수 있다. 다른 예에서, 방법(700)은 3-D 포즈 또는 CAD 모델과 같은 객체와 연관된 애니메이션을 디스플레이할 수 있다.

본 명세서에 개시된 다양한 구현예들은 계산 리소스들을 절약하고 더 빠른 프로세싱 시간을 허용하는 물리적 객체들을 분류 및 식별하기 위한 기법들을 제공한다. 예를 들어, HMD를 착용한 사용자는 그의 주변에 관한 정보를 원할 수 있다. 그러나, 그러한 정보를 제공하는 것은, HMD가 계산상 고비용이고 시간 소모적인 유입 비디오 스트림에 대한 세그먼트화 및 객체 인식을 수행할 것을 요구할 수 있다. 따라서, 사용자가 룸 안으로 걸어 들어가고 어떠한 것도 인식되기 전에 상당한 지연이 있는 경우 바람직하지 않은 경험이 발생하며, 이는 사용자에게 바람직하지 않은 경험을 야기한다.

그러나, 일부 구현예들에 따르면, 객체들에 관한 기본 정보를 신속히 제공하기 위해 객체들의 대략적인 인식이 HMD 상에서 수행된다. 더욱이, 객체들의 대략적인 아이디어 식별이 또한, 서버 또는 클라우드 컴퓨팅 디바이스로 송신되는데, 여기서 세밀한(fine-grained) 인식을 획득 및 반환하기 위해 더 상세한 분석이 수행된다. 서버 또는 클라우드 컴퓨팅 디바이스는 또한, 향후에 객체의 HMD에 의한 식별을 용이하게 할 정보를 HMD로 송신할 수 있다. 예를 들어, HMD에 의해 서버 또는 클라우드 컴퓨팅 디바이스로 송신되는 정보는 시각적 검색의 슬림해진 버전(slimmed down version)을 포함할 수 있다. 서버 또는 클라우드 컴퓨팅 디바이스로부터 HMD에 의해 수신된 정보는 메타 정보와 혼합된 동시 국소화 및 맵핑(simultaneous localization and mapping, SLAM) 포인트 클라우드 또는 객체의 학습된 버전의 추상적 표현(abstract representation)을 포함할 수 있다. 추가로, HMD는 특정 사용자에 의해 소유되거나 또는 달리 그와 연관된 객체들의 메모리에 대한 지속성을 유지할 수 있다.

일례에서, 디바이스는 추후 사용 또는 참조를 위해 이전에 식별된 물리적 객체들에 관한 정보를 저장할 수 있다. 예시적인 사용 경우에, 소매 상점에서 사용자는 테이블과 같은 물리적 객체를 식별할 수 있다. 이어서, 사용자는 사용자의 집 또는 사무실에서의 물리적 객체들의 이전 식별에 기초하여 테이블이 사용자의 집 또는 사무실에 잘 맞을지를 확인할 수 있다.

더욱이, MR 응용에서, 물리적 객체의 뷰가 디바이스에 의해 가상 객체로 대체될 수 있다. 초기에, 물리적 객체는 디바이스에 의해 객체의 일반적인 버전으로 대체될 수 있지만, 이어서, 뷰는 서버 또는 클라우드 컴퓨팅 디바이스로부터 수신된 정보에 기초하여 객체의 더 특정적인 3D 표현으로 세분될 수 있다.

다수의 특정 세부사항들은 청구되는 주제 내용의 철저한 이해를 제공하기 위해 본 명세서에 기재된다. 그러나, 당업자들은 청구되는 주제 내용이 이들 특정 세부사항들 없이 실시될 수 있음을 이해할 것이다. 다른 경우에 있어서, 통상의 기술자에 의해 알려진 방법들, 장치들 또는 시스템들은 청구되는 주제 내용이 가려지지 않도록 상세히 설명되지 않았다.

구체적으로 달리 언급되지 않는다면, 본 명세서 전반에 걸쳐 "프로세싱", "컴퓨팅", "계산", "결정", 및 "식별" 등과 같은 용어들을 이용하는 논의들은, 메모리들, 레지스터들, 또는 컴퓨팅 플랫폼의 다른 정보 저장 디바이스들, 송신 디바이스들, 또는 디스플레이 디바이스들 내에서 물리적 전자 또는 자기 양들로서 표현되는 데이터를 조작 또는 변환하는, 하나 이상의 컴퓨터들 또는 유사한 전자 컴퓨팅 디바이스 또는 디바이스들과 같은 컴퓨팅 디바이스의 작동들 또는 프로세스들을 지칭함이 이해될 것이다.

본 명세서에 논의된 시스템 또는 시스템들은 임의의 특정 하드웨어 아키텍처 또는 구성에 제한되지 않는다. 컴퓨팅 디바이스는 하나 이상의 입력들에 반응하는 결과를 제공하는 컴포넌트들의 임의의 적합한 배열을 포함할 수 있다. 적합한 컴퓨팅 디바이스들은 범용 컴퓨팅 장치로부터 본 주제 내용의 하나 이상의 구현예들을 구현하는 특수 컴퓨팅 장치까지 컴퓨팅 시스템을 프로그래밍 또는 구성하는, 저장된 소프트웨어에 액세스하는 다목적 마이크로프로세서-기반 컴퓨터 시스템들을 포함한다. 임의의 적합한 프로그래밍, 스크립팅, 또는 다른 유형의 언어 또는 언어들의 조합들은 본 명세서에 포함된 교시들을, 컴퓨팅 디바이스를 프로그래밍 또는 구성하는 데 사용될 소프트웨어로 구현하는 데 사용될 수 있다.

본 명세서에 개시된 방법들의 구현예들은 이러한 컴퓨팅 디바이스들의 동작에서 수행될 수 있다. 위 예들에 제시된 블록들의 순서는 달라질 수 있는데, 예를 들어, 블록들이 재정렬되거나, 조합되거나, 또는 하위-블록들로 나뉠 수 있다. 소정의 블록들 또는 프로세스들은 병렬로 수행될 수 있다.

본 명세서에서 "~ 하도록 적응되는(adapted to)" 또는 "~ 하도록 구성되는(configured to)"의 사용은 부가적인 태스크들 또는 단계들을 수행하도록 적응되거나 또는 구성되는 디바이스들을 배제하지 않는 개방적이고 포괄적인 언어로서 의도된다. 부가적으로, "~에 기초하여"의 사용은, 하나 이상의 인용 조건들 또는 값들"에 기초한" 프로세스, 단계, 계산, 또는 다른 작동이, 실제로, 인용된 것들 이상으로 부가적인 조건들 또는 값에 기초할 수 있다는 점에서 개방적이고 포괄적인 것으로 의도된다. 본 명세서에 포함된 표제들, 목록들, 및 번호는 단지 설명의 용이함을 위한 것이며 제한적인 것으로 의도되지 않는다.

용어들 "제1", "제2" 등이 다양한 객체들을 설명하기 위해 본 명세서에서 사용될 수 있지만, 이들 객체들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이러한 용어들은 하나의 객체를 다른 객체와 구별하는 데에만 사용된다. 예를 들어, 모든 "제1 노드"의 발생이 일관되게 재명명되고 모든 "제2 노드"의 발생이 일관되게 재명명되기만 한다면, 제1 노드는 제2 노드로 지칭될 수 있고, 유사하게, 제2 노드는 제1 노드로 지칭될 수 있으며, 이는 설명의 의미를 변경한다. 제1 노드 및 제2 노드는 둘 모두 노드들이지만, 그것들은 동일한 노드가 아니다.

본 명세서에서 사용되는 용어는 단지 특정 구현예들만을 설명하는 목적을 위한 것이고, 청구범위를 제한하도록 의도되지 않는다. 본 구현예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수형들("a", "an" 및 "the")은 문맥상 명확하게 달리 나타나지 않으면 복수형들도 또한 포함하도록 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "또는"은 열거되는 연관된 아이템들 중 하나 이상의 아이템의 임의의 그리고 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 본 명세서에서 사용될 때 용어들 "포함한다(comprise)" 또는 "포함하는(comprising)"은 언급된 특징들, 정수들, 단계들, 동작들, 객체들, 또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 객체들, 컴포넌트들 또는 이들의 그룹들의 존재 또는 부가를 배제하지 않는다는 것이 추가로 이해될 것이다.

본 명세서에서 사용되는 바와 같이, "~인 경우(if)"라는 용어는, 문맥에 따라, 진술된 선행 조건이 사실"일 때(when)" 또는 그 조건이 사실"일 시(upon)" 또는 그 조건이 사실"이라고 결정하는 것에 응답하여(in response to determining)" 또는 그 조건이 사실"이라는 결정에 따라(in accordance with a determination)" 또는 그 조건이 사실"임을 검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석될 수 있다. 유사하게, 어구 "[진술된 선행 조건이 사실이라고] 결정되는 경우" 또는 "[진술된 선행 조건이 사실]인 경우" 또는 "[진술된 선행 조건이 사실]일 때"는, 문맥에 따라, 진술된 선행 조건이 사실"이라고 결정할 시에" 또는 그 조건이 사실"이라고 결정하는 것에 응답하여" 또는 그 조건이 사실"이라는 결정에 따라" 또는 그 조건이 사실"이라는 것을 검출할 시에" 또는 그 조건이 사실"이라는 것을 검출하는 것에 응답하여"를 의미하는 것으로 해석될 수 있다.

본 발명의 상세한 설명 및 발명의 내용은 모든 면에서 도시적이고 예시적이지만, 제한적이지 않은 것으로 이해될 것이며, 본 명세서에 개시된 발명의 범주는 예시적인 구현예들의 상세한 설명에만 의존하여 결정되지 않고, 특허법에서 허용되는 전체 범위에 따라 결정될 것이다. 본 명세서에 도시되고 기재된 구현예들은 단지 본 발명의 원리에 대한 예시일뿐이고, 다양한 변형예가 본 발명의 범주 및 사상을 벗어나지 않고 당업자들에 의해 구현될 수 있음이 이해될 것이다.

Claims

방법으로서,
프로세서, 디스플레이, 및 카메라를 갖는 제1 디바이스에서:
상기 카메라를 통해 물리적 세팅(physical setting)의 이미지 또는 비디오를 획득하는 단계;
물리적 객체를 상기 이미지 또는 비디오에서 검출되는 상기 물리적 객체와 연관된 특징부에 기초하여 일정 범주로 분류하는 단계;
상기 범주에 기초하여 상기 디스플레이 상에 컴퓨터 생성 렌더링(computer generated rendering, CGR) 환경을 제공하는 단계;
상기 이미지 또는 비디오의 일부분, 상기 특징부, 또는 상기 분류된 범주를 제2 디바이스로 전송하는 단계;
상기 물리적 객체와 연관된 응답을 수신하는 단계 - 상기 응답은 상기 제2 디바이스에 의해 수행되는 상기 물리적 객체의 식별에 기초하여 결정됨 -; 및
상기 응답에 기초하여 상기 디스플레이 상의 상기 CGR 환경을 업데이트하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 CGR 환경을 제공하는 단계는 상기 범주에 기초하여 상기 물리적 객체를 상기 디바이스 상에 존재하는 애셋 스토어(asset store)로부터의 일반적인 가상 콘텐츠로 대체하거나, 향상시키거나, 보완하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 CGR 환경을 업데이트하는 단계는 상기 물리적 객체에 관한 정보에 기초하여 상기 일반적인 가상 콘텐츠를 객체 특정 콘텐츠로 대체하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 물리적 객체를 일정 범주로 분류하는 단계는 상기 물리적 객체의 대략적인 인식에 기초하는, 방법.
제1항에 있어서, 상기 이미지 또는 비디오의 일부분은 상기 이미지 또는 비디오의 제2 부분을 배제하는, 방법.
제1항에 있어서, 상기 특징부는 형상, 색상, 크기, 부피, 또는 마커인, 방법.
제1항에 있어서, 상기 수신된 응답은 하위 범주의 식별, 특정 유형의 아이템의 식별, 또는 보완 정보를 포함하는, 방법.
제1항에 있어서,
상기 이미지 또는 비디오가 프라이버시 기준들을 만족하는지 여부를 결정하는 단계; 및
상기 프라이버시 기준들의 만족도에 기초하여 상기 이미지 또는 비디오의 상기 일부분을 결정하는 단계를 추가로 포함하는, 방법.
제1항에 있어서, 프라이버시 기준들에 기초하여 상기 이미지 또는 비디오의 상기 일부분을 전송할지 여부를 결정하는 단계를 추가로 포함하는, 방법.
제1항에 있어서, 상기 범주를 상기 제2 디바이스로 전송하는 단계를 추가로 포함하는, 방법.
제1항에 있어서, 상기 물리적 객체와 연관된 상기 수신된 응답은 향후의 이미지 또는 비디오에서 상기 물리적 객체를 식별하기 위해 상기 디바이스에 의해 사용될 식별 데이터를 포함하는, 방법.
제1항에 있어서, 상기 물리적 객체와 연관된 상기 수신된 응답은 상기 물리적 객체의 상태의 평가를 포함하는, 방법.
제1항에 있어서, 상기 제1 디바이스는 헤드 마운트 디바이스(head mounted device, HMD)인, 방법.
제1항에 있어서, 상기 제1 디바이스는 모바일 전자 디바이스인, 방법.
시스템으로서,
디스플레이 및 카메라를 갖는 제1 디바이스;
프로세서; 및
상기 프로세서에 의한 실행 시에 상기 시스템으로 하여금 동작들을 수행하게 하는 명령어들을 포함하는 컴퓨터 판독가능 저장 매체를 포함하며,
상기 동작들은,
상기 카메라를 통해 물리적 세팅의 이미지 또는 비디오를 획득하는 것;
물리적 객체를 상기 이미지 또는 비디오에서 검출되는 상기 물리적 객체와 연관된 특징부에 기초하여 일정 범주로 분류하는 것;
상기 범주에 기초하여 상기 디스플레이 상에 컴퓨터 생성 렌더링(CGR) 환경을 제공하는 것;
상기 이미지 또는 비디오의 일부분을 제2 디바이스로 전송하는 것;
상기 물리적 객체와 연관된 응답을 수신하는 것 - 상기 응답은 상기 디바이스에 의해 수행되는 상기 물리적 객체의 식별에 기초하여 결정됨 -; 및
상기 응답에 기초하여 상기 디스플레이 상의 상기 CGR 환경을 업데이트하는 것을 포함하는, 시스템.
제15항에 있어서, 상기 CGR 환경을 제공하는 것은 상기 범주에 기초하여 상기 물리적 객체를 상기 디바이스 상에 존재하는 애셋 스토어로부터의 일반적인 가상 콘텐츠로 대체하거나, 향상시키거나, 보완하는 것을 포함하는, 시스템.
제15항에 있어서, 상기 CGR 환경을 업데이트하는 것은 상기 물리적 객체와 연관된 상기 응답에 기초하여 상기 일반적인 가상 콘텐츠를 객체 특정 콘텐츠로 대체하는 것을 포함하는, 시스템.
제15항에 있어서, 상기 물리적 객체를 일정 범주로 분류하는 것은 상기 물리적 객체의 대략적인 인식에 기초하는, 시스템.
제15항에 있어서, 상기 이미지 또는 비디오의 일부분은 상기 이미지 또는 비디오의 제2 부분을 배제하는, 시스템.
동작들을 수행하도록 실행가능한 프로그램 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 동작들은,
카메라 및 디스플레이를 포함하는 제1 디바이스에 의해, 상기 카메라를 통해 물리적 세팅의 이미지 또는 비디오를 획득하는 것;
상기 제1 디바이스에 의해, 상기 이미지 또는 비디오에서 검출되는 물리적 객체와 연관된 특징부에 기초하여 상기 물리적 객체를 일정 범주로 분류하는 것;
상기 제1 디바이스에 의해, 상기 범주에 기초하여 상기 디스플레이 상에 컴퓨터 생성 렌더링(CGR) 환경을 제공하는 것;
상기 제1 디바이스에 의해, 상기 이미지 또는 비디오의 일부분을 제2 디바이스로 전송하는 것;
상기 제1 디바이스에 의해, 상기 물리적 객체와 연관된 응답을 수신하는 것 - 상기 응답은 상기 제2 디바이스에 의해 수행되는 상기 물리적 객체의 식별에 기초하여 결정됨 -; 및
상기 제1 디바이스에 의해, 상기 응답에 기초하여 상기 디스플레이 상의 상기 CGR 환경을 업데이트하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.