KR20220002444A

KR20220002444A - 환경에 기초한 통신 데이터 제시

Info

Publication number: KR20220002444A
Application number: KR1020217038239A
Authority: KR
Inventors: 브루노 엠. 솜머; 레아니드 보우크; 루이스 라파엘 델리즈 센테노
Original assignee: 애플 인크.
Priority date: 2019-05-31
Filing date: 2020-05-28
Publication date: 2022-01-06
Also published as: JP2022532864A; CN113767358A; US20230334794A1; EP3977242A1; WO2020243212A1; JP7397883B2

Abstract

본 명세서에 개시된 다양한 구현예들은 통신 데이터를 제시하기 위한 디바이스들, 시스템들, 및 방법들을 포함한다. 다양한 구현예들에서, 제1 사람과 연관된 제1 디바이스는 디스플레이, 비일시적 메모리, 및 디스플레이 및 비일시적 메모리와 결합된 하나 이상의 프로세서들을 포함한다. 일부 구현예들에서, 방법은 제2 사람에 대응하는 제2 디바이스와 연관된 통신 데이터를 획득하는 단계를 포함한다. 일부 구현예들에서, 본 방법은 제1 디바이스 및 제2 디바이스가 공유 환경에 있는지 여부를 결정하는 단계를 포함한다. 일부 구현예들에서, 본 방법은, 제1 디바이스 및 제2 디바이스가 공유 환경에 있지 않다고 결정하는 것에 응답하여, 제2 디바이스와 연관된 통신 데이터에 기초하여 제2 사람의 표현을 디스플레이하는 단계를 포함한다.

Description

환경에 기초한 통신 데이터 제시

관련 출원에 대한 상호 참조

본 출원은 2019년 5월 31일자로 출원된 미국 가특허 출원 제62/855,155호의 이익을 주장하며, 이는 전체적으로 참조로서 포함된다.

기술분야

본 개시내용은 일반적으로 환경에 기초하여 통신 데이터를 제시하는 것에 관한 것이다.

일부 디바이스들은 향상 현실(enhanced reality, ER) 설정들을 생성하고 제시할 수 있다. 일부 ER 설정들은 물리적 설정들의 시뮬레이션된 대체물들인 가상 설정들을 포함한다. 일부 ER 설정들은 물리적 설정들의 수정된 버전들인 증강 설정들을 포함한다. ER 설정들을 제시하는 일부 디바이스들은 스마트폰, 헤드-장착가능 디스플레이(head-mountable display, HMD), 안경, 헤드-업 디스플레이(heads-up display, HUD), 및 광학 프로젝션 시스템과 같은 모바일 통신 디바이스들을 포함한다. ER 설정들을 제시하는 대부분의 이전에 이용가능한 디바이스들은 통신 데이터를 제시하는 데 효과적이지 않다.

도면의 간단한 설명

본 개시내용이 당업자들에 의해 이해될 수 있도록, 더 상세한 설명이 일부 예시적인 구현예들의 양태들에 대한 참조에 의해 이루어질 수 있으며, 이들 중 일부는 첨부 도면들에 도시된다.

도 1a 내지 도 1g는 일부 구현예들에 따른 예시적인 동작 환경들의 도면들이다.

도 2a 내지 도 2d는 일부 구현예들에 따른 통신 데이터를 제시하는 방법의 흐름도 표현들이다.

도 3a 내지 도 3c는 일부 구현예들에 따른 통신 데이터를 마스킹하는 방법의 흐름도 표현들이다.

도 4는 일부 구현예들에 따른, 통신 데이터를 제시하는 디바이스의 블록도이다.

일반적인 실시에 따라, 도면에 예시된 다양한 특징부들은 축척대로 그려지지 않을 수 있다. 따라서, 다양한 특징부들의 치수들은 명료함을 위해 임의대로 확대 또는 축소될 수 있다. 부가적으로, 도면들 중 일부는 주어진 시스템, 방법 또는 디바이스의 컴포넌트들 모두를 도시하지는 않을 수 있다. 마지막으로, 동일한 도면 번호들은 명세서 및 도면들 전반에 걸쳐 동일한 특징부들을 나타내기 위해 사용될 수 있다.

본 명세서에 개시된 다양한 구현예들은 통신 데이터를 제시하기 위한 디바이스들, 시스템들, 및 방법들을 포함한다. 다양한 구현예들에서, 제1 사람과 연관된 제1 디바이스는 디스플레이, 비일시적 메모리, 및 디스플레이 및 비일시적 메모리와 결합된 하나 이상의 프로세서들을 포함한다. 일부 구현예들에서, 방법은 제2 사람에 대응하는 제2 디바이스와 연관된 통신 데이터를 획득하는 단계를 포함한다. 일부 구현예들에서, 본 방법은 제1 디바이스 및 제2 디바이스가 공유 환경(shared environment)에 있는지 여부를 결정하는 단계를 포함한다. 일부 구현예들에서, 본 방법은, 제1 디바이스 및 제2 디바이스가 공유 환경에 있지 않다고 결정하는 것에 응답하여, 제2 디바이스와 연관된 통신 데이터에 기초하여 제2 사람의 향상 현실(ER) 표현을 디스플레이하는 단계를 포함한다.

본 명세서에 개시된 다양한 구현예들은 통신 데이터를 마스킹하기 위한 디바이스들, 시스템들, 및 방법들을 포함한다. 다양한 구현예들에서, 제1 디바이스는 출력 디바이스, 비일시적 메모리, 및 출력 디바이스 및 비일시적 메모리와 결합된 하나 이상의 프로세서들을 포함한다. 일부 구현예들에서, 방법은, 제1 디바이스가 제2 디바이스와 통신 세션에 있는 동안, 제2 디바이스와 연관된 통신 데이터를 획득하는 단계를 포함한다. 일부 구현예들에서, 본 방법은 제1 디바이스 및 제2 디바이스가 공유 물리적 설정에 있다고 결정하는 단계를 포함한다. 일부 구현예들에서, 본 방법은 출력 디바이스가 통신 데이터의 일부분을 출력하는 것을 방지하기 위해 통신 데이터의 일부분을 마스킹하는 단계를 포함한다.

일부 구현예들에 따르면, 디바이스는 하나 이상의 프로세서들, 비일시적 메모리, 및 하나 이상의 프로그램들을 포함한다. 일부 구현예들에서, 하나 이상의 프로그램들은 비일시적 메모리에 저장되고, 하나 이상의 프로세서들에 의해 실행된다. 일부 구현예들에서, 하나 이상의 프로그램들은 본 명세서에 설명된 방법들 중 임의의 방법을 수행하거나 수행을 야기하기 위한 명령어들을 포함한다. 일부 구현예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체는, 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 디바이스로 하여금, 본 명세서에 설명되는 방법들 중 임의의 방법을 수행하게 하거나 수행을 야기하는 명령어들을 내부에 저장한다. 일부 구현예들에 따르면, 디바이스는 하나 이상의 프로세서들, 비일시적 메모리, 및 본 명세서에 설명되는 방법들 중 임의의 방법을 수행하거나 수행을 야기하기 위한 수단을 포함한다.

도면들에 도시된 예시적인 구현예들의 완전한 이해를 제공하기 위해 다수의 세부사항들이 설명된다. 그러나, 도면들은 단지 본 개시내용의 일부 예시적인 양태들만을 도시할 뿐이며, 따라서 제한적인 것으로 고려되지 않는다. 당업자들은 다른 효과적인 양태들 및/또는 변형들이 본 명세서에 설명되는 특정 세부사항들 모두를 포함하지는 않음을 인식할 것이다. 또한, 잘 알려진 시스템들, 방법들, 컴포넌트들, 디바이스들 및 회로들은 본 명세서에 설명되는 예시적인 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 철저히 상세하게 설명되지 않았다.

다양한 향상 현실 기술들과 관련하여 그러한 시스템들을 사용하기 위한 전자 시스템들 및 기법들의 다양한 예들이 설명된다.

물리적 설정은 다양한 사람들이 전자 시스템들의 사용없이 감지하고/하거나 그와 상호작용할 수 있는 세계를 지칭한다. 물리적 공원과 같은 물리적 설정들은, 예를 들어, 물리적 야생 동물, 물리적 나무들, 및 물리적 식물들과 같은 물리적 요소들을 포함한다. 사람들은 예를 들어, 시각, 후각, 촉각, 미각, 및 청각을 포함하는 하나 이상의 감각들을 사용하여, 물리적 설정을 직접 감지하고/하거나 달리 그와 상호작용할 수 있다.

물리적 설정과는 대조적으로, 향상 현실(ER) 설정은 전자 시스템을 사용하여 다양한 사람들이 감지하고/하거나 그렇지 않으면 그와 상호작용할 수 있는 완전히(또는 부분적으로) 컴퓨터-생성된 설정을 지칭한다. ER에서, 사람의 이동들이 부분적으로 모니터링되고, 그것에 응답하여, ER 설정에서의 적어도 하나의 가상 객체에 대응하는 적어도 하나의 속성이 하나 이상의 물리 법칙들을 준수하는 방식으로 변경된다. 예를 들어, ER 시스템이 위쪽을 바라보는 사람을 검출하는 것에 응답하여, ER 시스템은 그러한 사운드 및 외관이 물리적 설정에서 어떻게 변화할 것인지에 부합하는 방식으로 사람에게 제시되는 다양한 오디오 및 그래픽을 조정할 수 있다. ER 설정에서의 가상 객체(들)의 속성(들)에 대한 조정들은 또한, 예를 들어, 이동의 표현들(예컨대, 음성 커맨드들)에 응답하여 이루어질 수 있다.

사람은, 시각, 후각, 미각, 촉각, 및 청각과 같은 하나 이상의 감각들을 사용하여 ER 객체를 감지하고/하거나 그와 상호작용할 수 있다. 예를 들어, 사람은 다차원 또는 공간 음향 설정을 생성하는 객체들을 감지하고/하거나 그와 상호작용할 수 있다. 다차원 또는 공간 음향 설정들은 사람에게 다차원 공간에서 개별적인 음향 소스들에 대한 인식을 제공한다. 그러한 객체들은 또한 음향 투명도를 인에이블할 수 있는데, 이는 컴퓨터-생성 오디오의 유무와 상관없이 물리적 설정으로부터 오디오를 선택적으로 통합할 수 있다. 일부 ER 설정들에서, 사람은 음향 객체들만을 감지하고/하거나 이들과만 상호작용할 수 있다.

가상 현실(VR)은 ER의 일례이다. VR 설정은 하나 이상의 감각들에 대한 컴퓨터-생성 감각 입력들만을 포함하도록 구성되는 향상된 설정을 지칭한다. VR 설정은 사람이 감지하고/하거나 그와 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 사람은 컴퓨터-생성 설정 내의 사람의 액션들의 적어도 일부의 시뮬레이션을 통해, 그리고/또는 컴퓨터-생성 설정 내의 사람 또는 그녀의 존재의 시뮬레이션을 통해, VR 설정 내의 가상 객체들을 감지하고/하거나 이들과 상호작용할 수 있다.

혼합 현실(mixed reality, MR)은 ER의 다른 예이다. MR 설정은 컴퓨터-생성 감각 입력들(예컨대, 가상 객체들)을 물리적 설정으로부터의 감각 입력들, 또는 물리적 설정으로부터의 감각 입력들의 표현과 통합하도록 구성된 향상된 설정을 지칭한다. 현실 스펙트럼 상에서, MR 설정은 한편으로의 완전히 물리적 설정과, 다른 한편으로의 VR 설정 사이에 존재하지만, 이들을 포함하지는 않는다.

일부 MR 설정들에서, 컴퓨터-생성 감각 입력들은 물리적 설정으로부터의 감각 입력들에 대한 변경들에 기초하여 조정될 수 있다. 또한, MR 설정들을 제시하기 위한 일부 전자 시스템들은 실제 객체들(즉, 물리적 설정으로부터의 물리적 요소들 또는 이들의 표현들)과 가상 객체들 사이의 상호작용을 가능하게 하기 위하여 물리적 설정에 대한 장소 및/또는 배향을 검출할 수 있다. 예를 들어, 시스템은, 예를 들어 가상 나무가 물리적 구조물에 대해 고정된 것으로 보이도록, 이동들을 검출하고 그에 따라 컴퓨터-생성 감각 입력들을 조정할 수 있다.

증강 현실(augmented reality, AR)은 MR의 예이다. AR 설정은 하나 이상의 가상 객체들이 물리적 설정(또는 그의 표현) 상에 중첩되는 향상된 설정을 지칭한다. 일례로서, 전자 시스템은 불투명 디스플레이, 및 물리적 설정의 비디오 및/또는 이미지들을 캡처하기 위한 하나 이상의 이미징 센서들을 포함할 수 있다. 그러한 비디오 및/또는 이미지들은, 예를 들어, 물리적 설정의 표현들일 수 있다. 비디오 및/또는 이미지들은 가상 객체들과 조합되며, 이 조합은 이어서 불투명 디스플레이 상에 디스플레이된다. 물리적 설정은 물리적 설정의 이미지들 및/또는 비디오를 통해 간접적으로 사람에 의해 보여질 수 있다. 따라서, 사람은 물리적 설정 상에 중첩된 가상 객체들을 관찰할 수 있다. 시스템이 물리적 설정의 이미지들을 캡처하고, 캡처된 이미지들을 사용하여 불투명 디스플레이 상에 AR 설정을 디스플레이할 때, 디스플레이되는 이미지들은 비디오 패스-스루(pass-through)라고 불린다. 대안적으로, 투명 또는 반투명 디스플레이가 AR 설정을 디스플레이하기 위한 전자 시스템에 포함될 수 있어서, 개인이 투명 또는 반투명 디스플레이들을 통해 직접 물리적 설정을 볼 수 있다. 가상 객체들은, 개인이 물리적 설정 위에 중첩된 가상 객체들을 관찰하도록 반투명 또는 투명 디스플레이 상에 디스플레이될 수 있다. 또 다른 예에서, 가상 객체들을 물리적 설정 상으로 투영하기 위해 투영 시스템이 사용될 수 있다. 예를 들어, 가상 객체들은 물리적 표면 상에 또는 홀로그래프로서 투영되어, 개인이 물리적 설정 상에 중첩된 가상 객체들을 관찰할 수 있다.

AR 설정은 또한 물리적 설정의 표현이 컴퓨터-생성 감각 데이터에 의해 수정되는 향상된 설정을 지칭할 수 있다. 예를 들어, 물리적 설정의 표현의 적어도 일부분은 그래픽적으로 수정되어(예를 들어, 확대됨), 수정된 부분이 (원래 캡처된 이미지(들)의 충실하게 재현된 버전은 아닐 수 있지만) 원래 캡처된 이미지(들)을 여전히 대표하도록 할 수 있다. 대안적으로, 비디오 패스-스루를 제공하는 데 있어서, 하나 이상의 센서 이미지들은 이미지 센서(들)에 의해 캡처된 시점과는 상이한 특정 시점을 부과하기 위해 수정될 수 있다. 다른 예로서, 물리적 설정의 표현의 부분들은 그래픽적으로 그 부분들을 모호하게 하거나 배제함으로써 변경될 수 있다.

증강 가상성(AV)은 MR의 다른 예이다. AV 설정은 가상 또는 컴퓨터-생성 설정이 물리적 설정으로부터의 하나 이상의 감각 입력들을 통합하는 향상된 설정을 지칭한다. 그러한 감각 입력(들)은 물리적 설정의 하나 이상의 특성들의 표현들을 포함할 수 있다. 가상 객체는, 예를 들어 이미징 센서(들)에 의해 캡처된 물리적 요소와 연관된 색상을 포함할 수 있다. 대안적으로, 가상 객체는, 예를 들어, 이미징, 온라인 날씨 정보, 및/또는 날씨-관련 센서들을 통해 식별된 날씨 조건들과 같은, 물리적 설정에 대응하는 현재 날씨 조건들과 일치하는 특성들을 채택할 수 있다. 다른 예로서, AR 공원은 가상 구조물들, 식물들 및 나무들을 포함할 수 있지만, AR 공원 설정 내의 동물들은 물리적 동물들의 이미지들로부터 정확하게 재현된 특징부들을 포함할 수 있다.

다양한 시스템들은 사람들이 ER 설정들을 감지하고/하거나 그와 상호작용할 수 있게 한다. 예를 들어, 헤드 장착형 시스템은 하나 이상의 스피커들 및 불투명 디스플레이를 포함할 수 있다. 다른 예로서, 외부 디스플레이(예컨대, 스마트폰)가 헤드 장착형 시스템 내에 통합될 수 있다. 헤드 장착형 시스템은 물리적 설정의 오디오를 캡처하기 위한 마이크로폰들, 및/또는 물리적 설정의 이미지들/비디오를 캡처하기 위한 이미지 센서들을 포함할 수 있다. 투명 또는 반투명 디스플레이가 또한 헤드 장착형 시스템에 포함될 수 있다. 반투명 또는 투명 디스플레이는, 예를 들어, (이미지들을 표현하는) 광이 그를 통해 사람의 눈으로 지향되는 기판을 포함할 수 있다. 디스플레이는 또한 LED들, OLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 디지털 광 프로젝터, 또는 이들의 임의의 조합을 포함할 수 있다. 광이 투과되는 기판은 광학 반사기, 홀로그래픽 기판, 광 도파관, 광학 조합기, 또는 이들의 임의의 조합일 수 있다. 투명 또는 반투명 디스플레이는, 예를 들어 투명/반투명 상태와 불투명 상태 사이에서 선택적으로 전환할 수 있다. 다른 예에서, 전자 시스템은 투영-기반 시스템일 수 있다. 투영-기반 시스템에서, 이미지들을 사람의 망막 상으로 투영하기 위해 망막 투영이 사용될 수 있다. 대안적으로, 투영-기반 시스템은 또한, 예를 들어, 가상 객체들을 홀로그래프로서 투영하거나 물리적 표면 상에 투영하는 것과 같이, 가상 객체들을 물리적 설정으로 투영할 수 있다. ER 시스템의 다른 예들은 그래픽을 디스플레이하도록 구성된 윈도우, 헤드폰, 이어폰, 스피커 배열, 그래픽을 디스플레이하도록 구성된 렌즈, 헤드 업 디스플레이, 그래픽을 디스플레이하도록 구성된 자동차 윈드쉴드, 입력 메커니즘(예컨대, 햅틱 기능을 갖거나 갖지 않는 제어기들), 데스크톱 또는 랩톱 컴퓨터, 태블릿, 또는 스마트폰을 포함한다.

제1 사람과 연관된 제1 디바이스가 제2 사람과 연관된 제2 디바이스와 통신할 때, 제1 디바이스 상에 제2 사람의 비디오 또는 ER 표현을 제시하는 것은 때때로 합리적이지 않을 수 있다. 예를 들어, 제1 디바이스 및 제2 디바이스가 동일한 환경에 있는 경우, 제1 디바이스 상에 제2 사람의 비디오 또는 ER 표현을 제시하는 것은 제1 사람이 제2 사람을 볼 수 있기 때문에 합리적이지 않을 수 있다. 일부 시나리오들에서, 제2 디바이스의 유형을 나타내는 것은 도움이 될 수 있어서, 제1 사람이 제2 사람과 어떻게 상호작용하는지를 알게 된다. 예를 들어, 제2 디바이스가 제2 사람에게 제1 디바이스의 주위 환경의 제한된 뷰를 제공하는 경우, 제1 사람은 제2 사람에게 보이지 않는 주위 환경의 영역들을 가리킬 필요가 없다.

본 개시내용은 제1 디바이스가 제2 디바이스의 존재 상태에 기초하여 제2 디바이스와 연관된 통신 데이터를 제시할 수 있게 하는 방법들, 디바이스들 및/또는 시스템들을 제공한다. 제1 디바이스가 제2 디바이스와 연관된 통신 데이터를 획득할 때, 제1 디바이스는 제2 디바이스가 제1 디바이스와 동일한 환경에 있지 않은 경우에 제2 사람의 비디오 또는 ER 표현을 제시한다. 제2 디바이스가 제1 디바이스와 동일한 환경에 있는 경우, 제1 디바이스는 환경의 패스-스루를 제시하고, 통신 데이터에 인코딩된 비디오 또는 ER 표현을 제시하는 것을 보류한다. 일부 시나리오들에서, 제1 디바이스는 제2 디바이스가 HMD를 포함할 때 제2 사람의 ER 표현을 제시하고, 제1 디바이스는 제2 디바이스가 비-HMD 디바이스(예컨대, 태블릿 또는 스마트폰과 같은 핸드헬드 디바이스, 랩톱 및/또는 데스크톱)를 포함할 때 비디오를 제시한다.

제1 사람과 연관된 제1 디바이스가 제2 사람과 연관된 제2 디바이스와 통신할 때, 네트워크 오디오 및 비디오를 제시하는 것은 비가청 스피치 및 비합리적인 비디오로 인한 손상된(detracted) 경험을 야기할 수 있다. 예를 들어, 제1 디바이스 및 제2 디바이스가 동일한 물리적 설정에 있는 경우, 제1 사람은 제1 디바이스를 통해 네트워크 오디오를 듣고 제2 사람으로부터의 직접 오디오를 들을 가능성이 있을 것이다. 네트워크 오디오와 직접 오디오 사이의 간섭은 비가청 스피치를 야기할 수 있다. 유사하게, 제2 디바이스가 제1 디바이스와 동일한 물리적 설정에 있는 동안 제1 디바이스가 제2 사람의 ER 표현을 디스플레이하는 경우, 제1 사람은 제2 사람 대신에 제2 사람의 ER 표현을 봄으로써 손상된 통신 경험을 야기할 수 있다.

본 개시내용은 제1 디바이스 및 제2 디바이스가 동일한 물리적 설정에 있을 때 통신 데이터를 마스킹하기 위한 방법들, 디바이스들 및/또는 시스템들을 제공한다. 제2 디바이스가 제1 디바이스와 동일한 물리적 설정에 있는 경우, 제1 디바이스는 네트워크 오디오와 직접 오디오 사이의 간섭을 감소시키기 위해 네트워크 오디오를 마스킹한다. 제2 디바이스가 제1 디바이스와 동일한 물리적 설정에 있을 때 네트워크 오디오를 마스킹하는 것은 제1 사람이 직접 오디오를 들을 수 있게 한다. 제2 디바이스가 제1 디바이스와 동일한 물리적 설정에 있는 경우, 제1 디바이스는 통신 데이터에 의해 나타내어진 제2 사람의 비디오 또는 ER 표현을 마스킹한다. 제2 사람의 비디오 또는 ER 표현의 디스플레이를 보류하는 것은, 제1 사람이 제2 사람을 볼 수 있게 함으로써 제1 사람에 대한 사용자 경험을 개선한다. 일부 시나리오들에서, 제1 디바이스는 물리적 설정의 패스-스루를 제시하고, 제1 사람은 패스-스루를 통해 제2 사람을 본다.

도 1a는 일부 구현예들에 따른 예시적인 동작 환경(1)의 블록도이다. 관련 특징부들이 도시되어 있지만, 당업자는 본 개시내용으로부터, 다양한 다른 특징부들이 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 구현예들의 더 적절한 양태들을 불명료하게 하지 않도록 하기 위해 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 동작 환경(1)은 제1 환경(10)(예컨대, 제1 설정) 및 제2 환경(40)(예컨대, 제2 설정)을 포함한다. 일부 구현예들에서, 제1 환경(10)은 제1 물리적 설정(예컨대, 제1 물리적 환경)을 포함하고, 제2 환경(40)은 제2 물리적 설정(예컨대, 제2 물리적 환경)을 포함한다. 일부 구현예들에서, 제1 환경(10)은 제1 ER 설정을 포함하고, 제2 환경(40)은 제2 ER 설정을 포함한다.

도 1a에 도시된 바와 같이, 제1 환경(10)은 제1 전자 디바이스(14)와 연관되는(예컨대, 동작시키고 있는) 제1 사람(12)을 포함하고, 제2 환경(40)은 제2 전자 디바이스(44)와 연관되는(예컨대, 동작시키고 있는) 제2 사람(42)을 포함한다. 도 1a의 예에서, 제1 사람(12)은 제1 전자 디바이스(14)를 잡고 있고, 제2 사람(42)은 제2 전자 디바이스(44)를 잡고 있다. 다양한 구현예들에서, 제1 전자 디바이스(14) 및 제2 전자 디바이스(44)는 핸드헬드 디바이스들(예컨대, 태블릿, 스마트폰 또는 랩톱)을 포함한다. 일부 구현예들에서, 제1 전자 디바이스(14) 및 제2 전자 디바이스(44)는 헤드-장착가능 디바이스들이 아니다(예컨대, 핸드헬드 디바이스, 데스크톱 컴퓨터 또는 시계와 같은 비-HMD 디바이스들).

다양한 구현예들에서, 제1 전자 디바이스(14) 및 제2 전자 디바이스(44)는 네트워크(70)(예컨대, 인터넷의 일부분, 광역 네트워크(WAN), 로컬 영역 네트워크(LAN) 등)를 통해 서로 통신한다. 제1 전자 디바이스(14) 및 제2 전자 디바이스(44)가 서로 통신하고 있는 동안, 제1 전자 디바이스(14)는 제1 통신 데이터(16)를 전송하고, 제2 전자 디바이스(44)는 제2 통신 데이터(46)를 전송한다. 제1 통신 데이터(16)는 제1 전자 디바이스(14)의 마이크로폰에 의해 캡처된 제1 오디오 데이터(18), 및 제1 전자 디바이스(14)의 이미지 센서(예컨대, 카메라, 예를 들어, 전방-대면 카메라)에 의해 캡처된 제1 비디오 데이터(20)를 포함한다. 유사하게, 제2 통신 데이터(46)는 제2 전자 디바이스(44)의 마이크로폰에 의해 캡처된 제2 오디오 데이터(48), 및 제2 전자 디바이스(44)의 이미지 센서에 의해 캡처된 제2 비디오 데이터(50)를 포함한다.

제1 전자 디바이스(14)는 제2 통신 데이터(46)를 수신하고, 제2 전자 디바이스(44)는 제1 통신 데이터(16)를 수신한다. 도 1a에 도시된 바와 같이, 제1 전자 디바이스(14)는 제2 통신 데이터(46)를 제시하고, 제2 전자 디바이스(44)는 제1 통신 데이터(16)를 제시한다. 예를 들어, 제1 전자 디바이스(14)는 제1 전자 디바이스(14)의 스피커를 통해 제2 오디오 데이터(48)를 출력하고(예를 들어, 재생하고), 제2 비디오 데이터(50)를 제1 전자 디바이스(14)의 디스플레이 상에 디스플레이한다. 유사하게, 제2 전자 디바이스(44)는 제2 전자 디바이스(14)의 스피커를 통해 제1 오디오 데이터(18)를 출력하고, 제1 비디오 데이터(20)를 제2 전자 디바이스(14)의 디스플레이 상에 디스플레이한다. 다양한 구현예들에서, 제1 오디오 데이터(18)는 제1 사람(12)에 의해 제공되는 스피치 입력을 인코딩하고, 제1 비디오 데이터(20)는 제1 사람(12)의 비디오 스트림을 인코딩한다. 유사하게, 제2 오디오 데이터(48)는 제2 사람(42)에 의해 제공되는 스피치 입력을 인코딩하고, 제2 비디오 데이터(50)는 제2 사람(42)의 비디오 스트림을 인코딩한다.

다양한 구현예들에서, 제1 전자 디바이스(14)는 제2 전자 디바이스(42)가 제1 환경(10)에 있는지 여부를 결정한다. 제1 전자 디바이스(14)가 제2 전자 디바이스(44)가 제1 환경(10)에 있다고 결정할 때, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)를 로컬에 있는 것으로 간주한다. 다양한 구현예들에서, 제1 전자 디바이스(14)가 제2 전자 디바이스(44)가 로컬에 있다고 결정할 때, 제1 전자 디바이스(14)는 제2 통신 데이터(46)의 제시를 변경한다. 다양한 구현예들에서, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 로컬에 있다고 결정하는 것에 응답하여 제2 통신 데이터(46)의 일부분을 마스킹한다. 예를 들어, 일부 구현예들에서, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 로컬에 있다고 결정하는 것에 응답하여 제2 오디오 데이터(48)를 출력하는 것을 보류하고/하거나 제2 비디오 데이터(50)를 디스플레이하는 것을 보류한다.

도 1a의 예에서, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 제1 환경(10)에 있지 않다고 결정한다. 제1 전자 디바이스(14)가 제2 전자 디바이스(44)가 제1 환경(10)에 있지 않다고 결정할 때, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)를 원격에 있는 것으로 간주한다. 도 1a에 도시된 바와 같이, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 원격에 있다고 결정하는 것에 응답하여 제2 통신 데이터(46)를 제시한다. 예를 들어, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 원격에 있는 것에 응답하여 제2 오디오 데이터(48)를 출력하고/하거나 제2 비디오 데이터(50)를 디스플레이한다. 일부 구현예들에서, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 원격에 있다고 결정하는 것에 응답하여 제2 통신 데이터(46)를 마스킹하는 것을 보류한다.

도 1b를 참조하면, 제1 사람(12)에 의해 착용되는 제1 헤드-장착가능 장치(HMD)(24)는 다양한 구현예들에 따라 제1 ER 설정(26)을 제시(예컨대, 디스플레이)한다. 도 1b는 제1 HMD(24)를 잡고 있는 제1 사람(12)을 예시하지만, 다양한 구현예들에서, 제1 사람(12)은 제1 사람(12)의 머리에 제1 HMD(24)를 착용한다. 일부 구현예들에서, 제1 HMD(24)는 제1 ER 설정(26)을 디스플레이하는 통합된 디스플레이(예컨대, 내장 디스플레이)를 포함한다. 일부 구현예들에서, 제1 HMD(24)는 헤드-장착가능 인클로저를 포함한다. 다양한 구현예들에서, 헤드-장착가능 인클로저는 디스플레이를 갖는 다른 디바이스가 부착될 수 있는 부착 영역을 포함한다. 예를 들어, 일부 구현예들에서, 제1 전자 디바이스(14)는 헤드-장착가능 인클로저에 부착될 수 있다. 일부 구현예들에서, 헤드-장착가능 인클로저는 디스플레이를 포함하는 다른 디바이스(예컨대, 제1 전자 디바이스(14))를 수용하기 위한 리셉터클을 형성하도록 형상화된다. 예를 들어, 일부 구현예들에서, 제1 전자 디바이스(14)는 헤드-장착가능 인클로저 내로 슬라이딩/스냅되거나, 그렇지 않으면 그에 부착된다. 일부 구현예들에서, 헤드-장착가능 인클로저에 부착된 디바이스의 디스플레이는 제1 ER 설정(26)을 제시(예컨대, 디스플레이)한다. 다양한 구현예들에서, 제1 전자 디바이스(14)의 예들은 스마트폰, 태블릿, 미디어 재생기, 랩톱 등을 포함한다.

도 1b의 예에서, 제1 ER 설정(26)은 제2 비디오 데이터(50)를 카드 그래픽 사용자 인터페이스(GUI) 요소(28) 내에 제시(예컨대, 디스플레이)한다. 일부 구현예들에서, 카드 GUI 요소(28)는 카드의 유사성 임계치 내에 있다(예를 들어, 카드 GUI 요소(28)의 시각적 외관은 카드의 시각적 외관과 닮았다). 일부 구현예들에서, 카드 GUI 요소(28)는 비디오 카드로 지칭된다. 일부 구현예들에서, 제1 HMD(24)는 제2 전자 디바이스(44)의 유형에 기초하여 카드 GUI 요소(28)에 제2 비디오 데이터(50)를 제시한다. 예를 들어, 제1 HMD(24)는 제2 전자 디바이스(44)가 비-HMD(예를 들어, 태블릿, 스마트폰 또는 랩톱과 같은 핸드헬드 디바이스, 데스크톱 컴퓨터, 또는 시계)라고 결정하는 것에 응답하여 카드 GUI 요소(28)에 제2 비디오 데이터(50)를 제시한다. 일부 구현예들에서, 제1 HMD(24)는 제1 HMD(24)의 스피커를 통해 제2 오디오 데이터(48)를 출력한다(예컨대, 재생한다). 일부 구현예들에서, 제1 HMD(24)는 제2 오디오 데이터(48)가 카드 GUI 요소(28)로부터 유래하고 있는 외관을 제공하기 위해 제2 오디오 데이터(48)를 공간화한다. 일부 구현예들에서, 제1 HMD(24)는 제2 환경(40) 내에서의 제2 사람(42) 및/또는 제2 전자 디바이스(44)의 이동에 기초하여 제1 ER 설정(26) 내의 카드 GUI 요소(28)의 위치를 변경한다. 예를 들어, 제1 HMD(24)는 카드 GUI 요소(28)를 제2 사람(42) 및/또는 제2 전자 디바이스(44)와 동일한 방향으로 이동시킨다.

도 1c를 참조하면, 제2 사람(42)에 의해 착용되는 제2 HMD(54)는 다양한 구현예들에 따라 제2 ER 설정(56)을 제시(예컨대, 디스플레이)한다. 도 1c는 제2 HMD(54)를 잡고 있는 제2 사람(42)을 예시하지만, 다양한 구현예들에서, 제2 사람(42)은 제2 사람(42)의 머리에 제2 HMD(54)를 착용한다. 일부 구현예들에서, 제2 HMD(54)는 제2 ER 설정(56)을 디스플레이하는 통합된 디스플레이(예컨대, 내장 디스플레이)를 포함한다. 일부 구현예들에서, 제2 HMD(54)는 헤드-장착가능 인클로저를 포함한다. 다양한 구현예들에서, 헤드-장착가능 인클로저는 디스플레이를 갖는 다른 디바이스가 부착될 수 있는 부착 영역을 포함한다. 예를 들어, 일부 구현예들에서, 제2 전자 디바이스(44)는 헤드-장착가능 인클로저에 부착될 수 있다. 일부 구현예들에서, 헤드-장착가능 인클로저는 디스플레이를 포함하는 다른 디바이스(예컨대, 제2 전자 디바이스(44))를 수용하기 위한 리셉터클을 형성하도록 형상화된다. 예를 들어, 일부 구현예들에서, 제2 전자 디바이스(44)는 헤드-장착가능 인클로저 내로 슬라이딩/스냅되거나, 그렇지 않으면 그에 부착된다. 일부 구현예들에서, 헤드-장착가능 인클로저에 부착된 디바이스의 디스플레이는 제2 ER 설정(56)을 제시(예컨대, 디스플레이)한다. 다양한 구현예들에서, 제2 전자 디바이스(44)의 예들은 스마트폰, 태블릿, 미디어 재생기, 랩톱 등을 포함한다.

도 1c에 도시된 바와 같이, 일부 구현예들에서, 제1 통신 데이터(16)는 제1 환경 데이터(22)를 포함하고, 제2 통신 데이터(46)는 제2 환경 데이터(52)를 포함한다. 일부 구현예들에서, 제1 환경 데이터(22)는 제1 환경(10)의 다양한 속성들 및/또는 특성들을 나타내고, 제2 환경 데이터(52)는 제2 환경(40)의 다양한 속성들 및/또는 특성들을 나타낸다. 일부 구현예들에서, 제1 환경 데이터(22)는 제1 환경(10)에 위치되는 물리적 요소들을 나타내고, 제2 환경 데이터(52)는 제2 환경(40)에 할당되는 물리적 요소들을 나타낸다. 일부 구현예들에서, 제1 환경 데이터(22)는 제1 환경(10)의 메시 맵을 포함하고, 제2 환경 데이터(52)는 제2 환경(40)의 메시 맵을 포함한다. 일부 구현예들에서, 제1 환경 데이터(22)는 제1 사람(12)의 신체 자세를 나타내고, 제2 환경 데이터(52)는 제2 사람(42)의 신체 자세를 나타낸다. 일부 구현예들에서, 제1 환경 데이터(22)는 제1 사람(12)의 얼굴 표정을 나타내고, 제2 환경 데이터(52)는 제2 사람(42)의 얼굴 표정을 나타낸다. 일부 구현예들에서, 제1 환경 데이터(22)는 제1 사람(12)의 얼굴의 메시 맵을 포함하고, 제2 환경 데이터(52)는 제2 사람(42)의 얼굴의 메시 맵을 포함한다.

다양한 구현예들에서, 제1 HMD(24)는 제2 사람(42)을 표현하는 ER 객체(30)를 제시한다. 일부 구현예들에서, 제1 HMD(24)는 제2 환경 데이터(52)에 기초하여 ER 객체(30)를 생성한다. 예를 들어, 일부 구현예들에서, 제2 환경 데이터(52)는 제2 사람(42)을 표현하는 ER 객체(30)를 인코딩한다. 다양한 구현예들에서, ER 객체(30)는 제2 사람(42)의 ER 표현을 포함한다. 예를 들어, 일부 구현예들에서, ER 객체(30)는 제2 사람(42)의 아바타를 포함한다. 일부 구현예들에서, 제2 환경 데이터(52)는 제2 사람(42)의 신체 자세를 나타내고, ER 객체(30)는 제2 사람(42)의 신체 자세와 유사도(degree of similarity) 내에 있는 자세를 갖는다. 일부 구현예들에서, 제2 환경 데이터(52)는 제2 사람(42)의 물리적 얼굴 표정을 나타내고, ER 객체(30)의 ER 얼굴은 제2 사람(42)의 물리적 얼굴 표정과 유사도 내에 있는 ER 표정을 갖는다. 다양한 구현예들에서, 제2 환경 데이터(52)는 제2 사람(42)의 이동들을 나타내고, ER 객체(30)는 제2 사람(42)의 이동들을 모방한다.

다양한 구현예들에서, 제2 HMD(54)는 제1 사람(12)을 표현하는 ER 객체(60)를 제시한다. 일부 구현예들에서, 제2 HMD(54)는 제1 환경 데이터(22)에 기초하여 ER 객체(60)를 생성한다. 예를 들어, 일부 구현예들에서, 제1 환경 데이터(22)는 제1 사람(12)을 표현하는 ER 객체(60)를 인코딩한다. 다양한 구현예들에서, ER 객체(60)는 제1 사람(12)의 ER 표현을 포함한다. 예를 들어, 일부 구현예들에서, ER 객체(60)는 제1 사람(12)의 아바타를 포함한다. 일부 구현예들에서, 제1 환경 데이터(22)는 제1 사람(12)의 신체 자세를 나타내고, ER 객체(60)는 제1 사람(12)의 신체 자세와 유사도 내에(예컨대, 그의 유사성 임계치 내에) 있는 자세를 갖는다. 일부 구현예들에서, 제1 환경 데이터(22)는 제1 사람(12)의 물리적 얼굴 표정을 나타내고, ER 객체(60)의 ER 얼굴은 제1 사람(12)의 물리적 얼굴 표정과 유사도 내에(예컨대, 그의 유사성 임계치 내에) 있는 ER 표정을 갖는다. 다양한 구현예들에서, 제1 환경 데이터(22)는 제1 사람(12)의 이동들을 나타내고, ER 객체(60)는 제1 사람(12)의 이동들을 모방한다.

다양한 구현예들에서, 제1 HMD(24)는 제2 사람(42)과 연관된 디바이스의 유형에 기초하여 ER 객체(30)를 제시한다. 일부 구현예들에서, 제1 HMD(24)는 제2 사람(42)이 비-HMD 대신에 HMD를 이용하고 있다고 결정하는 것에 응답하여 ER 객체(30)를 생성하고 제시한다. 일부 구현예들에서, 제1 HMD(24)는 제2 환경 데이터(52)를 포함하는 제2 통신 데이터(46)를 획득하는 것에 응답하여 제2 사람(42)이 제2 HMD(54)를 이용하고 있다고 결정한다. 일부 구현예들에서, 제1 HMD(24)는 제2 오디오 데이터(48)가 ER 객체(30)로부터 유래하고 있는 외관을 제공하기 위해 제2 오디오 데이터(48)를 공간화한다. ER 객체(30)를 제시하는 것은 제1 HMD(24)의 사용자 경험을 향상시킨다. 예를 들어, ER 객체(30)를 제시하는 것은 제2 사람(42)이 실제로 원격에 있더라도 제2 사람(42)이 제1 환경(10)에 있는 외관을 제공한다.

도 1d의 예에서, 제1 사람(12) 및 제2 사람(42)은 제1 환경(10)에 있다. 결과적으로, 제1 전자 디바이스(14) 및 제2 전자 디바이스(44)는 제1 환경(10)에 있다. 도 1d의 예에서, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 제1 환경(10)에 있다고 결정한다. 제1 전자 디바이스(14) 및 제2 전자 디바이스(44)가 동일한 환경에 있을 때, 환경은 공유 환경(예컨대, 공유 물리적 설정)으로 지칭될 수 있다. 제1 전자 디바이스(14)가 제2 전자 디바이스(44)가 제1 전자 디바이스(14)와 동일한 환경에 있음을 검출할 때, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)를 (예컨대, 원격 대신에) 로컬에 있는 것으로 간주한다.

다양한 구현예들에서, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 로컬에 있다고 결정하는 것에 응답하여 제2 통신 데이터(46)의 일부분을 마스킹한다. 예를 들어, 일부 구현예들에서, 제1 전자 디바이스(14)는 제1 전자 디바이스(14)의 디스플레이 상에 제2 비디오 데이터(50)를 디스플레이하는 것을 보류한다. 제1 전자 디바이스(14)는 제2 비디오 데이터(50)를 디스플레이하지 않기 때문에, 제1 전자 디바이스(14)는 제1 사람(12)이 제2 비디오 데이터(50)의 제시에 의해 주의가 산만해지지 않고 제2 사람(42)을 볼 수 있게 한다. 일부 구현예들에서, 제1 전자 디바이스(14)는 제1 전자 디바이스(14)의 스피커를 통해 제2 오디오 데이터(48)를 재생하는 것을 보류한다. 일부 구현예들에서, 제2 오디오 데이터(48)를 재생하지 않는 것은 제1 사람(12)이 제2 사람(42)의 스피치(80)를 들을 수 있게 한다. 제1 전자 디바이스(14)는 제2 오디오 데이터(48)를 재생하고 있지 않기 때문에, 제2 오디오 데이터(48)는 제2 사람(42)의 스피치(80)를 방해하지 않음으로써, 제1 사람(12)이 스피치(80)를 들을 수 있게 한다. 유사하게, 일부 구현예들에서, 제2 전자 디바이스(44)는 제1 전자 디바이스(14)가 로컬에 있다고 결정하는 것에 응답하여 제1 통신 데이터(16)의 일부분을 마스킹한다(예를 들어, 제2 전자 디바이스(44)는 제1 비디오 데이터(20)를 디스플레이하는 것을 보류하고/하거나 제1 오디오 데이터(18)를 재생하는 것을 보류한다). 본 명세서에 설명된 바와 같이, 일부 구현예들에서, 제1 통신 데이터(16)는 제1 환경 데이터(22)(도 1c에 도시됨)를 포함하고, 제2 통신 데이터(46)는 제2 환경 데이터(52)(도 1c에 도시됨)를 포함한다. 그러한 구현예들에서, 제1 및 제2 전자 디바이스들(14, 44)이 로컬에 있을 때 제1 전자 디바이스(14)는 제2 환경 데이터(52)의 일부분을 마스킹하고, 제2 전자 디바이스(44)는 제1 환경 데이터(22)의 일부분을 마스킹한다.

일부 구현예들에서, 제1 전자 디바이스(14)는 제1 환경(10)의 제1 비디오 패스-스루(74)를 디스플레이한다. 일부 구현예들에서, 제1 전자 디바이스(14)는 제1 시야(72)를 갖는 이미지 센서(예컨대, 후방-대면 카메라)를 포함한다. 제1 비디오 패스-스루(74)는 제1 전자 디바이스(14)의 이미지 센서에 의해 캡처되는 비디오 피드를 표현한다. 제2 사람(42)이 제1 시야(72) 내에 있기 때문에, 제1 비디오 패스-스루(74)는 제2 사람(42)의 표현(예컨대, 제2 사람(42)의 비디오 피드)을 포함한다. 유사하게, 일부 구현예들에서, 제2 전자 디바이스(44)는 제1 환경(10)의 제2 비디오 패스-스루(78)를 디스플레이한다. 일부 구현예들에서, 제2 전자 디바이스(44)는 제2 시야(76)를 갖는 이미지 센서를 포함한다. 제2 비디오 패스-스루(78)는 제2 전자 디바이스(44)의 이미지 센서에 의해 캡처되는 비디오 피드를 표현한다. 제1 사람(12)이 제1 시야(76) 내에 있기 때문에, 제2 비디오 패스-스루(78)는 제1 사람(12)의 표현(예컨대, 제1 사람(12)의 비디오 피드)을 포함한다.

도 1e를 참조하면, 제1 HMD(24)는 제2 전자 디바이스(44)가 로컬에 있다고 결정하는 것에 응답하여 제2 통신 데이터(46)의 일부분을 마스킹한다. 예를 들어, 일부 구현예들에서, 제1 HMD(24)는 제1 ER 설정(26) 내에서 제2 사람(42)을 표현하는 제2 비디오 데이터(50) 및/또는 ER 객체(30)(도 1c에 도시됨)를 디스플레이하는 것을 보류한다. 일부 구현예들에서, 제1 HMD(24)는 제1 HMD(24)의 스피커를 통해 제2 오디오 데이터(48)를 재생하는 것을 보류한다. 일부 구현예들에서, 제2 오디오 데이터(48)를 재생하지 않는 것은 제1 사람(12)이 제2 사람(42)의 스피치(80)를 들을 수 있게 한다. 제1 HMD(24)는 제2 오디오 데이터(48)를 재생하고 있지 않기 때문에, 제2 오디오 데이터(48)는 제2 사람(42)의 스피치(80)를 방해하지 않음으로써, 제1 사람(12)이 스피치(80)를 들을 수 있게 한다.

일부 구현예들에서, 제1 HMD(24)는 제1 환경(10)의 제1 패스-스루(84)를 제시한다. 일부 구현예들에서, 제1 HMD(24)는 제1 검출-필드(field-of-detection)(82)를 갖는 환경 센서(예컨대, 깊이 카메라와 같은 깊이 센서, 및/또는 후방-대면 카메라와 같은 이미지 센서)를 포함한다. 일부 구현예들에서, 제1 패스-스루(84)는 도 1d에 도시된 제1 비디오 패스-스루(74)와 유사한 비디오 패스-스루를 포함한다. 일부 구현예들에서, 제1 패스-스루(84)는 제1 환경(10)으로부터의 광(예컨대, 자연 광 또는 인공 광)이 제1 사람(12)의 눈에 들어가도록 허용되는 광학 패스-스루를 포함한다. 제2 사람(42)이 제1 검출-필드(82)에 있기 때문에, 제1 패스-스루(84)는 제2 사람(42)의 표현(예컨대, 제2 사람(42)의 비디오 피드, 또는 제2 사람(42)에서 반사되는 광)을 포함한다. 제1 패스-스루(84)를 제시하는 것은 제1 HMD(24)에 의해 제공되는 사용자 경험을 향상시키는데, 그 이유는 제1 패스-스루(84)가 제2 환경 데이터(52)에 기초하여 제2 비디오 데이터(50)를 디스플레이하거나 ER 객체(30)를 생성하는 것보다 더 낮은 레이턴시를 갖는 경향이 있기 때문이다.

도 1f를 참조하면, 제2 HMD(54)는 제1 HMD(24)가 로컬에 있다고 결정하는 것에 응답하여 제1 통신 데이터(16)의 일부분을 마스킹한다. 예를 들어, 일부 구현예들에서, 제2 HMD(54)는 제2 ER 설정(56) 내에서 제1 사람(12)을 표현하는 제1 비디오 데이터(20) 또는 ER 객체(60)(도 1c에 도시됨)를 디스플레이하는 것을 보류한다. 일부 구현예들에서, 제2 HMD(54)는 제2 HMD(54)의 스피커를 통해 제1 오디오 데이터(18)를 재생하는 것을 보류한다. 일부 구현예들에서, 제1 오디오 데이터(18)를 재생하지 않는 것은 제2 사람(42)이 제1 사람(12)의 스피치(예컨대, 제1 사람(12)으로부터의 직접 오디오)를 들을 수 있게 한다. 제2 HMD(54)는 제1 오디오 데이터(18)를 재생하고 있지 않기 때문에, 제1 오디오 데이터(18)는 제1 사람(12)의 스피치를 방해하지 않음으로써, 제2 사람(42)이 스피치를 들을 수 있게 한다.

일부 구현예들에서, 제2 HMD(54)는 제1 환경(10)의 제2 패스-스루(88)를 제시한다. 일부 구현예들에서, 제2 HMD(54)는 제2 검출-필드(86)를 갖는 환경 센서(예컨대, 깊이 카메라와 같은 깊이 센서, 및/또는 후방-대면 카메라와 같은 이미지 센서)를 포함한다. 일부 구현예들에서, 제2 패스-스루(88)는 도 1d에 도시된 제2 비디오 패스-스루(78)와 유사한 비디오 패스-스루를 포함한다. 일부 구현예들에서, 제2 패스-스루(88)는 제1 환경(10)으로부터의 광(예컨대, 자연 광 또는 인공 광)이 제2 사람(42)의 눈에 들어가도록 허용되는 광학 패스-스루를 포함한다. 제1 사람(12)이 제2 검출-필드(86)에 있기 때문에, 제2 패스-스루(88)는 제1 사람(12)의 표현(예컨대, 제1 사람(12)의 비디오 피드, 또는 제1 사람(12)에서 반사되는 광)을 포함한다. 제2 패스-스루(88)를 제시하는 것은 제2 HMD(54)에 의해 제공되는 사용자 경험을 향상시키는데, 그 이유는 제2 패스-스루(88)가 제1 환경 데이터(22)에 기초하여 제1 비디오 데이터(20)를 디스플레이하거나 ER 객체(60)를 생성하는 것보다 더 낮은 레이턴시를 갖는 경향이 있기 때문이다.

도 1g에 도시된 바와 같이, 일부 구현예들에서, 제1 HMD(24)는 다수의 디바이스들과 통신한다. 도 1g는 제3 전자 디바이스(94)와 연관된 제3 사람(92)을 포함하는 제3 환경(90)을 예시한다. 도 1g는 또한 제3 HMD(104)와 연관된 제4 사람(102)을 포함하는 제4 환경(100)을 예시한다(예컨대, 제4 사람(102)은 제4 사람(102)의 머리에 제3 HMD(104)를 착용하고 있다). 도 1g의 예에서, 제1 HMD(24)는 제2 HMD(54), 제3 전자 디바이스(94) 및 제3 HMD(104)와 통신하고 있다. 일부 구현예들에서, 제1 HMD(24), 제2 HMD(54), 제3 전자 디바이스(94) 및 제3 HMD(104)는 원격회의에(예컨대, 원격회의 세션에) 있다.

일부 구현예들에서, 제1 HMD(24)는 제2 HMD(54)가 제1 HMD(24)와 동일한 환경에 있기 때문에 제2 HMD(54)가 로컬에 있다고 결정한다. 이와 같이, 본 명세서에 설명된 바와 같이, 일부 구현예들에서, 제1 HMD(24)는 제2 HMD(24)와 연관된 통신 데이터의 일부분을 마스킹한다. 또한, 본 명세서에 설명된 바와 같이, 일부 구현예들에서, 제1 HMD(24)는 제1 환경(10)의 제1 패스-스루(84)를 제시한다. 도 1g에 도시된 바와 같이, 제1 HMD(24)는 제1 ER 설정(26) 내에서 제1 패스-스루(84)를 제시한다.

일부 구현예들에서, 제1 HMD(24)는 제3 전자 디바이스(94)가 제1 HMD(24)와 동일한 환경에 있지 않기 때문에 제3 전자 디바이스(94)가 원격에 있다고 결정한다. 일부 구현예들에서, 제1 HMD(24)는 제3 전자 디바이스(94)가 비-HMD(예컨대, 태블릿, 스마트폰, 미디어 재생기, 랩톱 또는 데스크톱 컴퓨터)라고 결정한다. 도 1g의 예에서, 제1 HMD(24)는 제3 전자 디바이스(94)와 연관된(예컨대, 그로부터 유래하는) 비디오 데이터(98)를 포함하는 카드 GUI 요소(96)를 디스플레이한다.

일부 구현예들에서, 제1 HMD(24)는 제3 HMD(104)가 제1 HMD(24)와 동일한 환경에 있지 않기 때문에 제3 HMD(104)가 원격에 있다고 결정한다. 일부 구현예들에서, 제1 HMD(24)는 제4 사람(102)이 HMD-형 디바이스를 이용하고 있다고 결정한다. 이와 같이, 도 1g에 도시된 바와 같이, 제1 HMD(24)는 제4 사람(102)을 표현하는 ER 객체(106)를 디스플레이한다. 일부 구현예들에서, ER 객체(106)는 제4 사람(102)의 ER 표현을 포함한다. 일부 구현예들에서, ER 객체(106)는 제4 사람(102)의 아바타를 포함한다.

도 2a는 통신 데이터를 제시하는 방법(200)의 흐름도 표현이다. 다양한 구현예들에서, 방법(200)은 제1 사람과 연관된 제1 디바이스에 의해 수행된다. 일부 구현예들에서, 제1 디바이스는 디스플레이, 비일시적 메모리, 및 디스플레이 및 비일시적 메모리와 결합된 하나 이상의 프로세서들을 포함한다. 일부 구현예들에서, 방법(200)은 제1 전자 디바이스(14), 제2 전자 디바이스(44), 제1 HMD(24) 및/또는 제2 HMD(54)에 의해 수행된다. 일부 구현예들에서, 방법(200)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일부 구현예들에서, 방법(200)은 비일시적 컴퓨터 판독가능 매체(예를 들어, 메모리)에 저장된 코드를 실행하는 프로세서에 의해 수행된다.

블록(210)에 의해 표현되는 바와 같이, 다양한 구현예들에서, 방법(200)은 제2 사람에 대응하는 제2 디바이스와 연관된(예컨대, 그로부터 유래하거나 그에 의해 생성된) 통신 데이터를 획득하는 단계를 포함한다. 예를 들어, 도 1a에 도시된 바와 같이, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)와 연관된 제2 통신 데이터(46)를 획득한다. 일부 구현예들에서, 방법(200)은 네트워크를 통해 통신 데이터를 수신하는 단계를 포함한다. 일부 구현예들에서, 통신 데이터는 오디오 데이터(예컨대, 네트워크 오디오, 예를 들어, 도 1a 내지 도 1f에 도시된 제2 오디오 데이터(48))를 포함한다. 일부 구현예들에서, 통신 데이터는 비디오 데이터(예컨대, 도 1a 내지 도 1f에 도시된 제2 비디오 데이터(50))를 포함한다. 일부 구현예들에서, 통신 데이터는 환경 데이터(예컨대, 도 1c에 도시된 제2 환경 데이터(52))를 포함한다. 일부 구현예들에서, 통신 데이터(예컨대, 비디오 데이터 및/또는 환경 데이터)는 제2 사람을 표현하는 ER 객체(예컨대, 아바타)를 인코딩한다.

블록(220)에 의해 표현되는 바와 같이, 다양한 구현예들에서, 방법(200)은 제1 디바이스 및 제2 디바이스가 공유 환경에 있는지 여부를 결정하는 단계를 포함한다. 일부 구현예들에서, 방법(200)은, 제1 디바이스에 의해, 제2 디바이스가 제1 디바이스와 동일한 환경에 있는지 여부를 결정하는 단계를 포함한다. 예를 들어, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 제1 환경(10)에 있는지 여부를 결정한다. 일부 구현예들에서, 방법(200)은, 제1 디바이스에 의해, 제2 디바이스가 로컬에 있는지 또는 원격에 있는지를 결정하는 단계를 포함한다.

블록(230)에 의해 표현되는 바와 같이, 다양한 구현예들에서, 방법(200)은, 제1 디바이스 및 제2 디바이스가 공유 환경에 있지 않다고 결정하는 것에 응답하여, 제2 디바이스와 연관된 통신 데이터에 기초하여 제2 사람의 ER 표현을 디스플레이하는 단계를 포함한다. 일부 구현예들에서, ER 표현을 디스플레이하는 것은 통신 데이터에 포함된 비디오 데이터를 디스플레이하는 것을 포함한다. 예를 들어, 도 1a에 도시된 바와 같이, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 제1 환경(10)에 있지 않다고 결정하는 것에 응답하여 제2 비디오 데이터(50)를 디스플레이한다. 일부 구현예들에서, ER 표현을 디스플레이하는 것은 ER 설정을 디스플레이하는 것, ER 설정 내에 카드 GUI 요소를 디스플레이하는 것, 및 카드 GUI 요소 내에 제2 디바이스와 연관된 비디오 데이터를 디스플레이하는 것을 포함한다. 예를 들어, 도 1b에 도시된 바와 같이, 제1 HMD(24)는 제1 ER 설정(26), 제1 ER 설정(26) 내의 카드 GUI 요소(28), 및 카드 GUI 요소(28) 내의 제2 비디오 데이터(50)를 디스플레이한다. 일부 구현예들에서, ER 표현을 디스플레이하는 것은 제2 디바이스와 연관된 비디오 데이터 및/또는 환경 데이터에 기초하여 ER 객체를 생성하는 것, 및 ER 설정 내에 ER 객체를 디스플레이하는 것을 포함한다. 예를 들어, 도 1c에 도시된 바와 같이, 제1 HMD(24)는 제2 사람(42)을 표현하는 ER 객체(30)를 생성하고 디스플레이한다.

도 2b를 참조하면, 블록(240)에 의해 표현되는 바와 같이, 일부 구현예들에서, 방법(200)은 제2 디바이스의 디바이스 유형을 결정하는 단계, 및 디바이스 유형에 기초하여 제2 사람의 ER 표현을 생성하는 단계를 포함한다. 예를 들어, 도 1b 및 도 1c에 도시된 바와 같이, 제1 HMD(24)는 제2 사람(42)과 연관된 디바이스의 디바이스 유형을 결정하고, 디바이스 유형에 기초하여 제2 사람의 ER 표현을 생성한다. 도 1b의 예에서, 제1 HMD(24)는 제2 사람(42)이 비-HMD를 사용하고 있다고 결정하고, 제1 HMD(24)는 카드 GUI 요소(28) 내에서 제2 비디오 데이터(50)를 디코딩 및 디스플레이한다. 도 1c의 예에서, 제1 HMD(24)는 제2 사람(42)이 HMD를 사용하고 있다고 결정하고, 제1 HMD(24)는 제2 사람(42)을 표현하는 ER 객체(30)를 생성하고 디스플레이한다.

블록(242)에 의해 표현되는 바와 같이, 일부 구현예들에서, 방법(200)은 디바이스 유형이 제1 디바이스 유형인 것에 응답하여, 제2 디바이스와 연관된 통신 데이터에 기초하여 제2 사람의 ER 표현의 제1 유형을 생성하는 단계를 포함한다. 블록(242a)에 의해 표현되는 바와 같이, 일부 구현예들에서, 제2 사람의 ER 표현의 제1 유형을 생성하는 것은 제2 사람을 표현하는 3차원(3D) ER 객체(예컨대, 아바타)를 생성하는 것을 포함한다. 블록(242b)에 의해 표현되는 바와 같이, 일부 구현예들에서, 제1 디바이스 유형은 HMD를 포함한다. 예를 들어, 도 1c에 도시된 바와 같이, 제1 HMD(24)는 제2 사람(42)이 HMD를 사용하고 있다고 결정하는 것에 응답하여 제2 사람(42)을 표현하는 ER 객체(30)를 생성한다.

블록(244)에 의해 표현되는 바와 같이, 일부 구현예들에서, 방법(200)은 디바이스 유형이 제2 디바이스 유형인 것에 응답하여, 제2 디바이스와 연관된 통신 데이터에 기초하여 제2 사람의 ER 표현의 제2 유형을 생성하는 단계를 포함한다. 블록(244a)에 의해 표현되는 바와 같이, 일부 구현예들에서, 제2 사람의 ER 표현의 제2 유형을 생성하는 것은 제2 사람을 표현하는 2차원(2D) ER 객체를 생성하는 것을 포함한다. 블록(244b)에 의해 표현되는 바와 같이, 일부 구현예들에서, ER 표현의 제2 유형은 제2 사람의 비디오를 포함한다. 일부 구현예들에서, 비디오는 제2 디바이스와 연관된 통신 데이터에 인코딩된다. 블록(244c)에 의해 표현되는 바와 같이, 일부 구현예들에서, 제2 디바이스 유형은 핸드헬드 디바이스(예컨대, 스마트폰, 태블릿, 랩톱, 미디어 재생기, 및/또는 시계)를 포함한다. 블록(244d)에 의해 표현되는 바와 같이, 일부 구현예들에서, 제2 디바이스 유형은 HMD가 아닌 디바이스(예컨대, 핸드헬드 디바이스, 데스크톱 컴퓨터, 텔레비전 및/또는 프로젝터와 같은 비-HMD)를 포함한다. 블록(244e)에 의해 표현되는 바와 같이, 일부 구현예들에서, 방법(200)은 카드와 유사도 내에 있는 GUI 요소(예컨대, 카드 GUI 요소, 예를 들어, 도 1b에 도시된 카드 GUI 요소(28)) 내에 제2 사람의 ER 표현의 제2 유형을 디스플레이하는 단계를 포함한다. 예를 들어, 도 1b에 도시된 바와 같이, 제1 HMD(24)는 제2 사람(42)이 비-HMD와 연관된다고 결정하는 것에 응답하여 제2 비디오 데이터(50)를 디스플레이한다. 일부 구현예들에서, 방법(200)은 제2 환경 내에서의 제2 사람 및/또는 제2 전자 디바이스의 이동에 기초하여 제1 ER 설정 내의 GUI 요소(예컨대, 카드 GUI 요소(28))의 위치를 변경하는 단계를 포함한다. 예를 들어, 방법(200)은 제2 사람 및/또는 제2 전자 디바이스와 동일한 방향으로 GUI 요소를 이동시키는 단계를 포함한다.

도 2c를 참조하면, 블록(250)에 의해 표현되는 바와 같이, 일부 구현예들에서, 제1 디바이스는 하나 이상의 스피커들을 포함하고, 방법(200)은, 하나 이상의 스피커들을 통해, 제2 사람에 대응하는 오디오를 출력하는 단계를 포함한다. 일부 구현예들에서, 오디오는, 오디오가 제2 사람의 ER 표현으로부터 유래하고 있는 외관을 제공하기 위해 공간화된다. 예를 들어, 도 1b와 관련하여 설명된 바와 같이, 제1 HMD(24)는 제2 오디오 데이터(48)가 카드 GUI 요소(28)로부터 유래하고 있는 외관을 제공하기 위해 제2 오디오 데이터(48)를 공간화한다. 유사하게, 도 1c와 관련하여 설명된 바와 같이, 제1 HMD(24)는 제2 오디오 데이터(48)가 제2 사람(42)을 표현하는 ER 객체(30)로부터 유래하고 있는 외관을 제공하기 위해 제2 오디오 데이터(48)를 공간화한다.

블록(252)에 의해 표현되는 바와 같이, 일부 구현예들에서, 방법(200)은 제2 디바이스와 연관된 통신 데이터에 기초하여 오디오를 생성하는 단계를 포함한다. 예를 들어, 도 1a에 도시된 바와 같이, 제1 전자 디바이스(14)는 제2 통신 데이터(46)로부터 제2 오디오 데이터(48)를 추출한다. 일부 구현예들에서, 방법(200)은 오디오를 식별하기 위해 통신 데이터를 디코딩하는 단계를 포함한다(예를 들어, 제1 전자 디바이스(14)는 제2 오디오 데이터(48)를 식별하기 위해 제2 통신 데이터(46)를 디코딩한다).

블록(254)에 의해 표현되는 바와 같이, 일부 구현예들에서, 방법(200)은 오디오가 표면들에서 반사되고 있는 외관을 제공하기 위해 초기 반사(early reflection)를 생성하는 단계를 포함한다. 예를 들어, 제1 HMD(24)는 제2 오디오 데이터(48)에 대응하는 사운드가 제1 환경(10)의 표면들에서 반사되고 있는 외관을 제공하기 위해 제2 오디오 데이터(48)에 대한 초기 반사를 생성한다. 일부 구현예들에서, 방법(200)은 오디오를 출력하기 전에 초기 반사를 출력하는 단계를 포함한다(예를 들어, 제1 HMD(24)는 제2 오디오 데이터(48)를 재생하기 전에 초기 반사를 출력한다). 일부 구현예들에서, 방법(200)은 초기 반사 및 오디오를 동시에 출력하는 단계를 포함한다(예컨대, 제1 HMD(24)는 제2 오디오 데이터(48)의 초기 반사 및 제2 오디오 데이터(48)를 동시에 재생한다). 일부 구현예들에서, 방법(200)은 제1 환경의 유형에 기초하여 초기 반사를 생성하는 단계를 포함한다. 일부 구현예들에서, 제1 환경은 물리적 설정이고, 초기 반사는 오디오가 물리적 설정의 물리적 표면들에서 반사되고 있는 외관을 제공한다. 일부 구현예들에서, 제1 환경은 ER 설정(예컨대, 가상 환경)이고, 초기 반사는 오디오가 ER 설정의 ER 표면들(예컨대, 가상 표면들)에서 반사되고 있는 외관을 제공한다.

블록(256)에 의해 표현되는 바와 같이, 일부 구현예들에서, 방법(200)은 오디오가 에코를 갖는 외관을 제공하기 위해 후기 잔향(late reverberation)을 생성하는 단계를 포함한다. 예를 들어, 제1 HMD(24)는 제2 오디오 데이터(48)에 대응하는 사운드가 제1 환경(10)에서 반향하고 있는 외관을 제공하기 위해 제2 오디오 데이터(48)에 대한 후기 잔향을 생성한다. 일부 구현예들에서, 방법(200)은 오디오를 출력한 후에 후기 잔향을 출력하는 단계를 포함한다(예를 들어, 제1 HMD(24)는 제2 오디오 데이터(48)를 재생한 후에 후속 잔향을 출력한다). 일부 구현예들에서, 방법(200)은 제1 환경의 유형에 기초하여 후기 잔향을 생성하는 단계를 포함한다. 일부 구현예들에서, 제1 환경은 물리적 설정이고, 후기 잔향은 오디오가 물리적 환경에서 반향하고 있는 외관을 제공한다. 일부 구현예들에서, 제1 환경은 ER 설정(예컨대, 가상 환경)이고, 초기 반사는 오디오가 ER 설정의 ER 표면들(예컨대, 가상 표면들)에서 반사되고 있는 외관을 제공한다.

블록(260)에 의해 표현되는 바와 같이, 일부 구현예들에서, 방법(200)은 제1 디바이스 및 제2 디바이스가 공유 환경에 있다고 결정하는 것에 응답하여, 제2 사람의 ER 표현의 디스플레이를 보류하는 단계를 포함한다. 일부 구현예들에서, 방법(200)은 제2 디바이스와 연관된 통신 데이터에 포함된 비디오 데이터의 디스플레이를 보류하는 단계를 포함한다. 예를 들어, 도 1d에 도시된 바와 같이, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 제1 전자 디바이스(14)와 동일한 환경에 있다고 결정하는 것에 응답하여 제2 비디오 데이터(50)를 디스플레이하는 것을 보류한다. 유사하게, 도 1e에 도시된 바와 같이, 제1 HMD(24)는 제2 전자 디바이스(44)가 제1 전자 디바이스(14)와 동일한 환경에 있다고 결정하는 것에 응답하여 제2 비디오 데이터(50)를 디스플레이하는 것을 보류한다. 일부 구현예들에서, 방법(200)은 제2 사람과 연관된 통신 데이터에 기초하여 생성되는 제2 사람의 ER 표현의 디스플레이를 보류하는 단계(예컨대, 제2 사람이 로컬에 있을 때 제2 사람의 아바타를 디스플레이하는 것을 보류함)를 포함한다. 예를 들어, 도 1f에 도시된 바와 같이, 제1 HMD(24)는 제2 HMD(54)가 제1 HMD(24)와 동일한 환경에 있다고 결정하는 것에 응답하여 제2 사람을 표현하는 ER 객체(30)를 디스플레이하는 것을 보류한다.

블록(262)에 의해 표현되는 바와 같이, 일부 구현예들에서, 방법(200)은 공유 환경의 패스-스루를 제시하는 단계를 포함한다. 예를 들어, 도 1e 및 도 1f에 도시된 바와 같이, 제1 HMD(24)는 제1 환경(10)의 제1 패스-스루(84)를 제시한다. 블록(262a)에 의해 표현되는 바와 같이, 일부 구현예들에서, 방법(200)은 공유 환경의 광학 패스-스루를 제시하는 단계를 포함한다. 예를 들어, 도 1e 및 도 1f와 관련하여 설명된 바와 같이, 일부 구현예들에서, 제1 패스-스루(84)는 광학 패스-스루를 포함한다. 블록(262b)에 의해 표현되는 바와 같이, 일부 구현예들에서, 방법(200)은 공유 환경의 비디오 패스-스루를 디스플레이하는 단계를 포함한다. 예를 들어, 제1 비디오 패스-스루(74)를 디스플레이하는 것은 도 1d에 도시된다. 예를 들어, 도 1e 및 도 1f와 관련하여 설명된 바와 같이, 일부 구현예들에서, 제1 패스-스루(84)는 비디오 패스-스루를 포함한다. 블록(262c)에 의해 표현되는 바와 같이, 일부 구현예들에서, 방법(200)은 윈도우를 디스플레이하는 단계 및 윈도우 내에 패스-스루를 제시하는 단계를 포함한다. 예를 들어, 도 1e 및 도 1f에 도시된 바와 같이, 제1 패스-스루(84)는 도 1b에 도시된 카드 GUI 요소(28)와 유사한 카드 GUI 요소 내에 도시된다.

도 2d를 참조하면, 블록(220a)에 의해 표현되는 바와 같이, 일부 구현예들에서, 공유 환경은 공유 물리적 설정을 포함한다. 예를 들어, 도 1a와 관련하여 설명된 바와 같이, 일부 구현예들에서, 제1 환경(10)은 제1 물리적 설정을 포함한다. 블록(220b)에 의해 표현되는 바와 같이, 일부 구현예들에서, 공유 환경은 공유 ER 설정을 포함한다. 예를 들어, 도 1a와 관련하여 설명된 바와 같이, 일부 구현예들에서, 제1 환경(10)은 제1 ER 설정을 포함한다.

블록(220c)에 의해 표현되는 바와 같이, 일부 구현예들에서, 제1 디바이스 및 제2 디바이스가 공유 환경에 있는지 여부를 결정하는 것은 제2 디바이스와 연관된 식별자(ID)가 단거리 통신을 통해 검출가능한지 여부를 결정하는 것을 포함한다. 예시적인 단거리 통신은 블루투스, Wi-Fi, 근거리 통신(NFC), 지그비 등을 포함한다. 예를 들어, 도 1a와 관련하여, 제1 전자 디바이스(14)는 제1 전자 디바이스(14)가 제2 전자 디바이스(44)와 연관된 ID를 검출할 수 있는지 여부를 결정한다. 도 1a의 예에서, 제1 전자 디바이스(14)는 단거리 통신을 통해 제2 전자 디바이스(44)와 연관된 ID를 검출하지 않는다. 따라서, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 원격에 있다고 결정한다. 다른 예로서, 도 1c와 관련하여, 일부 구현예들에서, 제1 HMD(24)는 제1 HMD(24)가 단거리 통신을 통해 제2 HMD(54)의 ID를 검출할 수 없기 때문에 제2 HMD(54)가 원격에 있다고 결정한다. 또 다른 예로서, 도 1f와 관련하여, 제1 HMD(24)는 제1 HMD(24)가 단거리 통신을 통해 제2 HMD(54)의 ID를 검출하기 때문에 제2 HMD(54)가 로컬에 있다고 결정한다.

블록(220d)에 의해 표현되는 바와 같이, 일부 구현예들에서, 제1 디바이스 및 제2 디바이스가 공유 환경에 있는지 여부를 결정하는 것은, 제1 디바이스의 마이크로폰을 통해 수신된 오디오가 제2 디바이스와 연관된 통신 데이터에 인코딩된 오디오의 유사도 내에 있는지 여부를 결정하는 것을 포함한다. 예를 들어, 일부 구현예들에서, 방법(200)은 제2 사람으로부터의 직접 오디오가 제2 디바이스와 연관된 네트워크 오디오와 유사도 내에 있는지 여부를 결정하는 것을 포함한다. 일례로서, 도 1d와 관련하여, 일부 구현예들에서, 제1 전자 디바이스(14)는, 제2 사람(42)의 스피치(80)가 제2 통신 데이터(46)에 인코딩된 제2 오디오 데이터(48)와 유사도 내에 있기 때문에, 제2 전자 디바이스(44)가 로컬에 있다고 결정한다.

블록(220e)에 의해 표현되는 바와 같이, 일부 구현예들에서, 제1 디바이스 및 제2 디바이스가 공유 환경에 있는지 여부를 결정하는 것은, 제1 디바이스의 이미지 센서를 통해 캡처된 이미지에 기초하여 제2 사람이 공유 환경에 있는지 여부를 결정하는 것을 포함한다. 일례로서, 도 1d와 관련하여, 일부 구현예들에서, 제1 전자 디바이스(14)는 제1 시야(72)에 대응하는 이미지를 캡처하고, 제2 사람(42)이 제1 환경(10)에 있는지 여부를 결정하기 위해 이미지에 대한 얼굴 검출/인식을 수행한다. 제2 사람(42)이 제1 시야(72) 내에 있기 때문에, 이미지에 대한 얼굴 검출/인식을 수행한 후, 제1 전자 디바이스(14)는 제2 사람(42)이 로컬에 있다고 결정한다.

도 3a는 통신 데이터를 마스킹하는 방법(300)의 흐름도 표현이다. 다양한 구현예들에서, 방법(300)은 출력 디바이스, 비일시적 메모리, 및 출력 디바이스 및 비일시적 메모리와 결합된 하나 이상의 프로세서들을 포함하는 제1 디바이스에 의해 수행된다. 일부 구현예들에서, 방법(300)은 제1 전자 디바이스(14), 제2 전자 디바이스(44), 제1 HMD(24) 및/또는 제2 HMD(54)에 의해 수행된다. 일부 구현예들에서, 방법(300)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일부 구현예들에서, 방법(300)은 비일시적 컴퓨터 판독가능 매체(예를 들어, 메모리)에 저장된 코드를 실행하는 프로세서에 의해 수행된다.

블록(310)에 의해 표현되는 바와 같이, 다양한 구현예들에서, 방법(300)은, 제1 디바이스가 제2 디바이스와 통신 세션에 있는 동안, 제2 디바이스와 연관된(예컨대, 그로부터 유래하는 또는 그에 의해 생성된) 통신 데이터를 획득하는 단계를 포함한다. 예를 들어, 도 1d에 도시된 바와 같이, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)와 연관된 제2 통신 데이터(46)를 획득한다. 일부 구현예들에서, 방법(300)은 네트워크를 통해 통신 데이터를 수신하는 단계를 포함한다. 일부 구현예들에서, 통신 데이터는 오디오 데이터(예컨대, 네트워크 오디오, 예를 들어, 도 1a 내지 도 1f에 도시된 제2 오디오 데이터(48))를 포함한다. 일부 구현예들에서, 통신 데이터는 비디오 데이터(예컨대, 도 1a 내지 도 1f에 도시된 제2 비디오 데이터(50))를 포함한다. 일부 구현예들에서, 통신 데이터는 환경 데이터(예컨대, 도 1c에 도시된 제2 환경 데이터(52))를 포함한다. 일부 구현예들에서, 통신 데이터(예컨대, 비디오 데이터 및/또는 환경 데이터)는 제2 사람을 표현하는 ER 객체(예컨대, 아바타)를 인코딩한다.

블록(320)에 의해 표현되는 바와 같이, 다양한 구현예들에서, 방법(300)은 제1 디바이스 및 제2 디바이스가 공유 환경에 있다고 결정하는 단계를 포함한다. 일부 구현예들에서, 방법(300)은, 제1 디바이스에 의해, 제2 디바이스가 제1 디바이스와 동일한 환경에 있다고 결정하는 단계를 포함한다. 예를 들어, 도 1d와 관련하여, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 제1 환경(10)에 있다고 결정한다. 일부 구현예들에서, 방법(300)은, 제1 디바이스에 의해, 제2 디바이스가 로컬에 있다고 결정하는 단계를 포함한다.

블록(330)에 의해 표현되는 바와 같이, 다양한 구현예들에서, 방법(300)은 출력 디바이스가 통신 데이터의 일부분을 출력하는 것을 방지하기 위해 통신 데이터의 일부분을 마스킹하는 단계를 포함한다. 일부 구현예들에서, 통신 데이터의 일부분을 마스킹하는 것은 통신 데이터의 일부분의 제시를 보류하는 것을 포함한다. 예를 들어, 도 1d와 관련하여, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 로컬에 있다고 결정하는 것에 응답하여 제2 통신 데이터(46)의 제시를 보류한다. 다양한 구현예들에서, 제2 디바이스가 로컬에 있을 때 통신 데이터의 일부분을 마스킹하는 것은, 네트워크 통신과 연관된 레이턴시 없이 제1 사람이 직접 제2 사람을 듣고/듣거나 볼 수 있도록 함으로써 제1 디바이스의 사용자 경험을 향상시킨다.

도 3b를 참조하면, 블록(320a)에 의해 표현되는 바와 같이, 일부 구현예들에서, 제1 디바이스 및 제2 디바이스가 공유 물리적 설정에 있는지 여부를 결정하는 것은 단거리 통신을 통해 제2 디바이스와 연관된 식별자를 검출하는 것을 포함한다. 예시적인 단거리 통신은 블루투스, Wi-Fi, 근거리 통신(NFC), 지그비 등을 포함한다. 예를 들어, 도 1d와 관련하여, 일부 구현예들에서, 제1 전자 디바이스(14)는 단거리 통신을 통해 제2 전자 디바이스(44)와 연관된 ID를 검출하는 것에 응답하여 제2 전자 디바이스(44)가 로컬에 있다고 결정한다. 다른 예로서, 도 1f와 관련하여, 일부 구현예들에서, 제1 HMD(24)는 단거리 통신을 통해 제2 HMD(54)의 ID를 검출하는 것에 응답하여 제2 HMD(54)가 로컬에 있다고 결정한다.

블록(320b)에 의해 표현되는 바와 같이, 일부 구현예들에서, 제1 디바이스 및 제2 디바이스가 공유 물리적 설정에 있다고 결정하는 것은, 제1 디바이스의 마이크로폰을 통해, 통신 데이터에 인코딩된 제2 오디오와 유사도 내에(예를 들어, 그의 유사성 임계치 내에) 있는 제1 오디오를 검출하는 것을 포함한다. 일부 구현예들에서, 방법(300)은 통신 데이터에 인코딩된 네트워크 오디오와 유사도 내에 있는 직접 오디오를 검출하는 것에 응답하여 제2 디바이스가 로컬에 있다고 결정하는 단계를 포함한다. 예를 들어, 도 1e와 관련하여, 일부 구현예들에서, 제1 HMD(24)는, 제1 HMD(24)의 마이크로폰을 통해 스피치(80)를 검출하고, 스피치(80)가 제2 통신 데이터(46)에 인코딩된 제2 오디오 데이터(48)와 유사도 내에 있다고 결정하는 것에 응답하여, 제2 전자 디바이스(44)가 로컬에 있다고 결정한다.

블록(320c)에 의해 표현되는 바와 같이, 일부 구현예들에서, 제1 디바이스 및 제2 디바이스가 공유 물리적 설정에 있다고 결정하는 것은, 제1 디바이스의 이미지 센서를 통해, 제2 디바이스와 연관된 사람을 검출하는 것을 포함한다. 일례로서, 도 1d와 관련하여, 일부 구현예들에서, 제1 전자 디바이스(14)는 제1 시야(72)에 대응하는 이미지를 캡처하고, 제2 사람(42)이 제1 환경(10)에 있는지 여부를 결정하기 위해 이미지에 대한 얼굴 검출/인식을 수행한다. 제2 사람(42)이 제1 시야(72) 내에 있기 때문에, 이미지에 대한 얼굴 검출/인식을 수행한 후, 제1 전자 디바이스(14)는 제2 디바이스(44)가 로컬에 있다고 결정한다.

블록(330a)에 의해 표현되는 바와 같이, 일부 구현예들에서, 출력 디바이스는 스피커를 포함하고, 통신 데이터의 일부분을 마스킹하는 것은 스피커가 통신 데이터의 오디오 부분을 재생하는 것을 방지하기 위해 통신 데이터의 오디오 부분을 마스킹하는 것을 포함한다. 도 1d와 관련하여 설명된 바와 같이, 일부 구현예들에서, 제1 전자 디바이스(14)는 제1 전자 디바이스(14)의 스피커가 제2 오디오 데이터(48)를 재생하는 것을 방지하기 위해 제2 오디오 데이터(48)를 마스킹한다. 본 명세서에 설명된 바와 같이, 제1 전자 디바이스(14)에서 제2 오디오 데이터(48)를 재생하는 것을 보류하는 것은, 제1 사람(12)이 제2 오디오 데이터(48)로부터의 간섭 없이 제2 사람(42)에 의해 발언되는 스피치(80)를 들을 수 있게 함으로써 제1 전자 디바이스(14)의 사용자 경험을 향상시킨다.

블록(330b)에 의해 표현되는 바와 같이, 일부 구현예들에서, 출력 디바이스는 디스플레이를 포함하고, 통신 데이터의 일부분을 마스킹하는 것은 디스플레이가 통신 데이터의 비디오 부분을 디스플레이하는 것을 방지하기 위해 통신 데이터의 비디오 부분을 마스킹하는 것을 포함한다. 도 1e와 관련하여 설명된 바와 같이, 일부 구현예들에서, 제1 HMD(24)는 제1 HMD(24)의 디스플레이가 제2 비디오 데이터(50)를 디스플레이하는 것을 방지하기 위해 제2 비디오 데이터(50)를 마스킹한다. 본 명세서에 설명된 바와 같이, 제1 HMD(24)에서 제2 비디오 데이터(50)의 디스플레이를 보류하는 것은, 제1 사람(12)이 제2 비디오 데이터(50)에 의해 주의가 산만해지지 않게 하고 제1 사람(12)이 제1 환경(10)의 제1 패스-스루(84)를 볼 수 있게 함으로써 제1 HMD(24)의 사용자 경험을 향상시킨다.

블록(330c)에 의해 표현되는 바와 같이, 일부 구현예들에서, 통신 데이터는 제2 디바이스와 연관된 사람의 ER 표현을 인코딩하고, 통신 데이터의 일부분을 마스킹하는 것은 사람의 ER 표현의 디스플레이를 보류하는 것을 포함한다. 예를 들어, 도 1f와 관련하여 설명된 바와 같이, 일부 구현예들에서, 제1 HMD(24)는 제2 사람(42)이 제1 HMD(24)와 동일한 환경에 있다고 결정하는 것에 응답하여 제2 사람(42)을 표현하는 ER 객체(30)를 디스플레이하는 것을 보류한다. 본 명세서에 설명된 바와 같이, 제1 HMD(24)에서 ER 객체(30)의 디스플레이를 보류하는 것은, 제1 사람(12)이 ER 객체(30)를 생성하고 디스플레이하는 것보다 더 낮은 레이턴시와 연관된 제1 패스-스루(84)를 볼 수 있게 함으로써 제1 HMD(24)의 사용자 경험을 향상시킨다.

블록(340)에 의해 표현되는 바와 같이, 일부 구현예들에서, 방법(300)은 공유 물리적 설정의 패스-스루를 제시하는 단계를 포함한다. 예를 들어, 도 1e 및 도 1f에 도시된 바와 같이, 제1 HMD(24)는 제1 환경(10)의 제1 패스-스루(84)를 제시한다. 블록(340a)에 의해 표현되는 바와 같이, 일부 구현예들에서, 패스-스루를 제시하는 것은 공유 물리적 설정의 광학 패스-스루를 제시하는 것을 포함한다. 예를 들어, 도 1e 및 도 1f와 관련하여 설명된 바와 같이, 일부 구현예들에서, 제1 패스-스루(84)는, 제1 HMD(24)가 제1 환경(10)으로부터의 광이 제1 사람(12)의 눈에 도달할 수 있게 하는 광학 패스-스루를 포함한다. 블록(340b)에 의해 표현되는 바와 같이, 일부 구현예들에서, 패스-스루를 제시하는 것은 공유 물리적 설정의 비디오 패스-스루를 디스플레이하는 것을 포함한다. 예를 들어, 도 1e 및 도 1f와 관련하여 설명된 바와 같이, 일부 구현예들에서, 제1 패스-스루(84)는, 제1 HMD(24)의 디스플레이가 제1 검출-필드(82)에 대응하는 비디오 스트림을 디스플레이하는 비디오 패스-스루를 포함한다.

도 3c를 참조하면, 블록(350)에 의해 표현되는 바와 같이, 일부 구현예들에서, 방법(300)은 공유 물리적 설정으로부터 멀어지는 제2 디바이스의 이동을 검출하는 단계, 및 출력 디바이스가 통신 데이터의 일부분을 출력하도록 허용하기 위해 통신 데이터의 일부분을 마스킹하는 것을 보류하는 단계를 포함한다. 예를 들어, 일부 구현예들에서, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 제1 환경(10)을 떠났음을 검출하고, 제1 전자 디바이스(14)는 제2 전자 디바이스(44)가 제1 환경(10)을 떠났음을 검출하는 것에 응답하여 제2 통신 데이터(46)를 마스킹하는 것을 보류한다.

블록(350a)에 의해 표현되는 바와 같이, 일부 구현예들에서, 공유 물리적 설정으로부터 멀어지는 제2 디바이스의 이동을 검출하는 것은, 제2 디바이스와 연관된 식별자가 단거리 통신을 통해 검출가능하지 않다고 결정하는 것을 포함한다. 예를 들어, 일부 구현예들에서, 제1 전자 디바이스(14) 및/또는 제1 HMD(24)는 제2 전자 디바이스(44) 및/또는 제2 HMD(54)와 연관된 ID가 단거리 통신을 통해 검출가능하지 않다고 결정한다.

블록(350b)에 의해 표현되는 바와 같이, 일부 구현예들에서, 공유 물리적 설정으로부터 멀어지는 제2 디바이스의 이동을 검출하는 것은, 제1 디바이스의 마이크로폰을 통해 검출된 제1 오디오가 통신 데이터에 인코딩된 제2 오디오와 유사도 내에 있지 않다고 결정하는 것을 포함한다. 예를 들어, 일부 구현예들에서, 제1 전자 디바이스(14) 및/또는 제1 HMD(24)는 제1 전자 디바이스(14) 및/또는 제1 HMD(24)의 마이크로폰을 통해 검출된 오디오가 제2 오디오 데이터(48)와 매칭되지 않는다고 결정한다.

블록(350c)에 의해 표현되는 바와 같이, 일부 구현예들에서, 공유 물리적 설정으로부터 멀어지는 제2 디바이스의 이동을 검출하는 것은, 제1 디바이스의 환경 센서에 의해 캡처된 환경 데이터가 제2 디바이스와 연관된 사람이 공유 물리적 설정으로부터 멀어지게 이동했음을 나타낸다고 결정하는 것을 포함한다. 예를 들어, 일부 구현예들에서, 제1 전자 디바이스(14) 및/또는 제1 HMD(24)는 제1 전자 디바이스(14) 및/또는 제1 HMD(24)의 환경 센서에 의해 캡처된 환경 데이터(예컨대, 카메라에 의해 캡처된 이미지들 및/또는 깊이 센서에 의해 캡처된 깊이 데이터)가 제2 사람(42)이 제1 환경(10)에 있지 않음을 나타낸다고 결정한다.

블록(350d)에 의해 표현되는 바와 같이, 일부 구현예들에서, 출력 디바이스는 스피커를 포함하고, 통신 데이터의 일부분을 마스킹하는 것을 보류하는 것은 스피커를 통해 통신 데이터의 오디오 부분을 출력하는 것을 포함한다. 예를 들어, 제1 전자 디바이스(14) 및/또는 제1 HMD(24)는 제2 전자 디바이스(44) 및/또는 제2 HMD(54)가 제1 환경(10)을 떠났다고 결정하는 것에 응답하여 제2 오디오 데이터(48)를 출력한다.

블록(350e)에 의해 표현되는 바와 같이, 일부 구현예들에서, 오디오 부분을 출력하는 것은, 오디오 부분이 제2 디바이스와 연관된 사람의 ER 표현으로부터 유래하고 있는 외관을 제공하기 위해 오디오 부분을 공간화하는 것을 포함한다. 예를 들어, 도 1b 및 도 1c와 관련하여 설명된 바와 같이, 제1 전자 디바이스(14) 및/또는 제1 HMD(24)는 제2 오디오 데이터(48)가 제2 사람(42)을 표현하는 ER 객체(30) 또는 카드 GUI 요소(28)로부터 유래하고 있는 외관을 제공하기 위해 제2 오디오 데이터(48)를 공간화한다.

블록(350f)에 의해 표현되는 바와 같이, 일부 구현예들에서, 출력 디바이스는 디스플레이를 포함하며, 여기서 통신 데이터의 일부분을 마스킹하는 것을 보류하는 것은 디스플레이 상에 통신 데이터의 비디오 부분을 디스플레이하는 것을 포함한다. 예를 들어, 일부 구현예들에서, 제1 전자 디바이스(14) 및/또는 제1 HMD(24)는 제2 전자 디바이스(44)가 제1 환경(10)을 떠났음을 검출하는 것에 응답하여 제2 비디오 비디오 데이터(50)를 디스플레이한다.

블록(350g)에 의해 표현되는 바와 같이, 일부 구현예들에서, 통신 데이터는 제2 디바이스와 연관된 사람의 ER 표현을 인코딩하고, 통신 데이터의 일부분을 마스킹하는 것을 보류하는 것은 사람의 ER 표현을 디스플레이하는 것을 포함한다. 예를 들어, 일부 구현예들에서, 제1 HMD(24)는 제2 HMD(54)가 제1 환경(10)을 떠났음을 검출하는 것에 응답하여 제2 사람(42)을 표현하는 ER 객체(30)를 디스플레이한다.

도 4는 일부 구현예들에 따른, 통신 데이터를 제시/마스킹하는 디바이스(400)의 블록도이다. 소정의 특정 특징들이 예시되어 있지만, 당업자들은 본 개시내용으로부터 다양한 다른 특징들이 간결함을 위해, 그리고 본 명세서에 개시된 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 구현예들에서, 디바이스(400)는 하나 이상의 프로세싱 유닛들(CPU들)(401), 네트워크 인터페이스(402), 프로그래밍 인터페이스(403), 메모리(404), 환경 센서(407), 하나 이상의 입력/출력(I/O) 디바이스들(410), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(405)을 포함한다.

일부 구현예들에서, 네트워크 인터페이스(402)는, 다른 용도들 중에서도, 클라우드 호스팅된 네트워크 관리 시스템과, 하나 이상의 호환 디바이스들을 포함하는 적어도 하나의 사설 네트워크 사이에 메타데이터 터널을 설정하고 유지하도록 제공된다. 일부 구현예들에서, 하나 이상의 통신 버스들(405)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 메모리(404)는 고속 랜덤 액세스 메모리, 예컨대 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스들을 포함하고, 비휘발성 메모리, 예컨대 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드 스테이트 저장 디바이스들을 포함할 수도 있다. 메모리(404)는 선택적으로, 하나 이상의 CPU들(401)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(404)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다.

다양한 구현예들에서, 환경 센서(407)는 이미지 센서를 포함한다. 예를 들어, 일부 구현예들에서, 환경 센서(407)는 카메라(예컨대, 장면-대면 카메라, 외향-대면 카메라 또는 후방-대면 카메라)를 포함한다. 일부 구현예들에서, 환경 센서(407)는 깊이 센서를 포함한다. 예를 들어, 일부 구현예들에서, 환경 센서(407)는 깊이 카메라를 포함한다.

일부 구현예들에서, 메모리(404) 또는 메모리(404)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(406), 데이터 획득기(410), 환경 분석기(420), 및 ER 경험 생성기(430)를 포함하는 그들의 서브세트를 저장한다. 다양한 구현예들에서, 디바이스(400)는 도 2a 내지 도 2d에 도시된 방법(200)을 수행한다. 다양한 구현예들에서, 디바이스(400)는 도 3a 내지 도 3c에 도시된 방법(300)을 수행한다. 다양한 구현예들에서, 디바이스(400)는 제1 전자 디바이스(14), 제2 전자 디바이스(44), 제1 HMD(24), 제2 HMD(54), 제3 전자 디바이스(94) 및/또는 제3 HMD(104)를 구현한다.

일부 구현예들에서, 데이터 획득기(410)는 데이터를 획득한다. 일부 구현예들에서, 데이터 획득기(410)는 다른 디바이스와 연관된 통신 데이터(예컨대, 도 1a 내지 도 1f에 도시된 제2 통신 데이터(46))를 획득한다. 일부 구현예들에서, 데이터 획득기(410)는 방법(200)의 적어도 일부분을 수행한다. 예를 들어, 일부 구현예들에서, 데이터 획득기(410)는 도 2a에 도시된 블록(210)에 의해 표현된 동작들을 수행한다. 일부 구현예들에서, 데이터 획득기(410)는 방법(300)의 적어도 일부분을 수행한다. 예를 들어, 일부 구현예들에서, 데이터 획득기(410)는 도 3a에 도시된 블록(310)에 의해 표현된 동작(들)을 수행한다. 이를 위해, 데이터 획득기(410)는 명령어들(410a), 및 휴리스틱 및 메타데이터(410b)를 포함한다.

본 명세서에 설명된 바와 같이, 일부 구현예들에서, 환경 분석기(420)는 디바이스(400) 및 다른 디바이스가 공유 환경에 있는지 여부를 결정한다. 예를 들어, 환경 분석기(420)는 제1 전자 디바이스(14) 및 제2 전자 디바이스(44)가 제1 환경(10)에 있는지 여부를 결정한다. 일부 구현예들에서, 환경 분석기(420)는 방법(200)의 적어도 일부분을 수행한다. 예를 들어, 일부 구현예들에서, 환경 분석기(420)는 도 2a 및 도 2d의 블록(220)에 의해 표현된 동작(들)을 수행한다. 일부 구현예들에서, 환경 분석기(420)는 방법(300)의 적어도 일부분을 수행한다. 예를 들어, 일부 구현예들에서, 환경 분석기(420)는 도 3a 및 도 3b의 블록(320)에 의해 표현된 동작(들)을 수행한다. 이를 위해, 환경 분석기(420)는 명령어들(420a), 및 휴리스틱 및 메타데이터(420b)를 포함한다.

일부 구현예들에서, ER 경험 생성기(430)는, 환경 분석기(420)가 다른 디바이스가 원격에 있다고(예컨대, 디바이스(400)와 동일한 환경에 있지 않다고) 결정하는 것에 응답하여 다른 디바이스와 연관된 사람의 ER 표현을 디스플레이한다. 일부 구현예들에서, ER 경험 생성기(430)는 방법(200)의 적어도 일부분을 수행한다. 예를 들어, 일부 구현예들에서, ER 경험 생성기(430)는 도 2a 내지 도 2c의 블록들(230, 240, 250, 260)에 의해 표현된 동작(들)을 수행한다. 일부 구현예들에서, ER 경험 생성기(430)는, 환경 분석기(420)가 다른 디바이스가 로컬에 있다고(예컨대, 디바이스(400)와 동일한 환경에 있다고) 결정하는 것에 응답하여 통신 데이터의 일부분을 마스킹한다. 일부 구현예들에서, ER 경험 생성기(430)는 방법(300)의 적어도 일부분을 수행한다. 예를 들어, 일부 구현예들에서, ER 경험 생성기(430)는 도 3a 내지 도 3c에 도시된 블록들(330, 340, 350)에 의해 표현된 동작(들)을 수행한다. 이를 위해, ER 경험 생성기(430)는 명령어들(430a), 및 휴리스틱 및 메타데이터(430b)를 포함한다.

일부 구현예들에서, 하나 이상의 I/O 디바이스들(410)은 환경(예컨대, 도 1a 내지 도 1g에 도시된 제1 환경(10))과 연관된 환경 데이터를 캡처하기 위한 하나 이상의 센서들을 포함한다. 예를 들어, 일부 구현예들에서, 하나 이상의 I/O 디바이스들(410)은 이미지 센서(예컨대, 카메라), 주변광 센서(ALS), 마이크로폰 및/또는 위치 센서를 포함한다. 일부 구현예들에서, 하나 이상의 I/O 디바이스들(410)은 디스플레이(예컨대, 불투명 디스플레이 또는 광학 투시 디스플레이), 및/또는 통신 데이터를 제시하기 위한 스피커를 포함한다.

첨부된 청구범위의 범주 내의 구현예들의 다양한 양태들이 위에서 설명되지만, 위에서 설명된 구현예들의 다양한 특징들이 광범위하게 다양한 형태들로 구현될 수 있고 위에서 설명된 임의의 특정 구조 및/또는 기능이 단지 예시적이라는 것이 명백할 것이다. 본 개시내용에 기초하여, 당업자는 본 명세서에 설명된 양태가 임의의 다른 양태들과 독립적으로 구현될 수 있고 이들 양태들 중 2개 이상이 다양한 방식들로 조합될 수 있음을 이해해야 한다. 예를 들어, 본 명세서에 기재된 임의의 수의 양태들을 사용하여 장치가 구현될 수 있고/있거나 방법이 실시될 수 있다. 부가적으로, 본 명세서에 기재된 양태들 중 하나 이상에 부가하여 또는 그 이외의 다른 구조 및/또는 기능을 사용하여 그러한 장치가 구현될 수 있고/있거나 그러한 방법이 실시될 수 있다.

용어들 "제1", "제2" 등이 다양한 요소들을 설명하기 위해 본 명세서에서 사용될 수 있지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이들 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 모든 "제1 노드"의 발생이 일관되게 재명명되고 모든 "제2 노드"의 발생이 일관되게 재명명되기만 한다면, 제1 노드는 제2 노드로 지칭될 수 있고, 유사하게, 제2 노드는 제1 노드로 지칭될 수 있으며, 이는 설명의 의미를 변경한다. 제1 노드 및 제2 노드는 둘 모두 노드들이지만, 그것들은 동일한 노드가 아니다.

본 명세서에서 사용되는 용어는 단지 특정 구현예들만을 설명하는 목적을 위한 것이고, 청구범위를 제한하도록 의도되지 않는다. 본 구현예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수형들("a", "an" 및 "the")은 문맥상 명확하게 달리 나타나지 않으면 복수형들도 또한 포함하도록 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "및/또는"은 열거되는 연관된 항목들 중 하나 이상의 항목들의 임의의 그리고 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 본 명세서에서 사용될 때 "포함한다(comprise)" 및/또는 "포함하는(comprising)"이라는 용어들은 진술되는 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들 및/또는 이들의 그룹들의 존재 또는 부가를 배제하지 않는다는 것이 추가로 이해될 것이다.

본 명세서에서 사용되는 바와 같이, 맥락에 의존하여, 진술된 선행 조건이 사실"인 경우(if)"라는 용어는 그가 사실"일 때(when)", 그가 사실"일 시(upon)" 또는 그가 사실"이라고 결정하는 것에 응답하여(in response to determining)" 또는 그가 사실"이라는 결정에 따라(in accordance with a determination)" 또는 그가 사실"임을 검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석될 수 있다. 유사하게, 어구 "[진술된 선행 조건이 사실이라고] 결정되는 경우" 또는 "[진술된 선행 조건이 사실]인 경우" 또는 "[진술된 선행 조건이 사실]일 때"는, 맥락에 의존하여, 진술된 선행 조건이 사실"이라고 결정할 시" 또는 그가 사실"이라고 결정하는 것에 응답하여" 또는 그가 사실"이라는 결정에 따라" 또는 그가 사실"임을 검출할 시" 또는 그가 사실"임을 검출하는 것에 응답하여"를 의미하는 것으로 해석될 수 있다.

Claims

방법으로서,
제1 사람과 연관된 제1 디바이스에서 - 상기 제1 디바이스는 디스플레이, 비일시적 메모리, 및 상기 디스플레이 및 상기 비일시적 메모리와 결합된 하나 이상의 프로세서들을 포함함 -:
제2 사람에 대응하는 제2 디바이스와 연관된 통신 데이터를 획득하는 단계;
상기 제1 디바이스 및 상기 제2 디바이스가 공유 환경(shared environment)에 있는지 여부를 결정하는 단계; 및
상기 제1 디바이스 및 상기 제2 디바이스가 공유 환경에 있지 않다고 결정하는 것에 응답하여, 상기 제2 디바이스와 연관된 상기 통신 데이터에 기초하여 상기 제2 사람의 가상 표현을 디스플레이하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 제2 디바이스의 디바이스 유형을 결정하는 단계, 및
상기 디바이스 유형에 기초하여 상기 제2 사람의 상기 가상 표현을 생성하는 단계를 추가로 포함하는, 방법.
제2항에 있어서,
상기 디바이스 유형이 제1 디바이스 유형인 것에 응답하여, 상기 제2 디바이스와 연관된 상기 통신 데이터에 기초하여 상기 제2 사람의 상기 가상 표현의 제1 유형을 생성하는 단계를 추가로 포함하는, 방법.
제3항에 있어서, 상기 제2 사람의 상기 가상 표현의 상기 제1 유형을 생성하는 단계는 상기 제2 사람을 표현하는 3차원(3D) 가상 객체를 생성하는 단계를 포함하는, 방법.
제3항 또는 제4항에 있어서, 상기 제1 디바이스 유형은 헤드-장착가능 디바이스(head-mountable device, HMD)를 포함하는, 방법.
제2항에 있어서,
상기 디바이스 유형이 제2 디바이스 유형인 것에 응답하여, 상기 제2 디바이스와 연관된 상기 통신 데이터에 기초하여 상기 제2 사람의 상기 가상 표현의 제2 유형을 생성하는 단계를 추가로 포함하는, 방법.
제6항에 있어서, 상기 제2 사람의 상기 가상 표현의 상기 제2 유형을 생성하는 단계는 상기 제2 사람을 표현하는 2차원(2D) 가상 객체를 생성하는 단계를 포함하는, 방법.
제6항에 있어서, 상기 가상 표현의 상기 제2 유형은 상기 제2 사람의 비디오를 포함하고, 상기 비디오는 상기 제2 디바이스와 연관된 상기 통신 데이터에 인코딩되는, 방법.
제6항 내지 제8항 중 어느 한 항에 있어서, 상기 제2 디바이스 유형은 핸드헬드 디바이스를 포함하는, 방법.
제6항 내지 제9항 중 어느 한 항에 있어서, 상기 제2 디바이스 유형은 헤드-장착가능 디바이스가 아닌 디바이스를 포함하는, 방법.
제6항 내지 제10항 중 어느 한 항에 있어서,
카드의 유사성 임계치 내에 있는 그래픽 사용자 인터페이스(GUI) 요소 내에 상기 제2 사람의 상기 가상 표현의 상기 제2 유형을 디스플레이하는 단계를 추가로 포함하는, 방법.
제1항 내지 제11항 중 어느 한 항에 있어서, 상기 제1 디바이스는 하나 이상의 스피커들을 포함하며, 상기 방법은,
상기 하나 이상의 스피커들을 통해, 상기 제2 사람에 대응하는 오디오를 출력하는 단계를 추가로 포함하고, 상기 오디오는, 상기 오디오가 상기 제2 사람의 상기 가상 표현으로부터 유래하고 있는 외관을 제공하기 위해 공간화되는, 방법.
제12항에 있어서, 상기 제2 디바이스와 연관된 상기 통신 데이터에 기초하여 상기 오디오를 생성하는 단계를 추가로 포함하는, 방법.
제12항 또는 제13항에 있어서, 상기 오디오가 표면들에서 반사되고 있는 외관을 제공하기 위해 초기 반사(early reflection)를 생성하는 단계를 추가로 포함하는, 방법.
제12항 내지 제14항 중 어느 한 항에 있어서, 상기 오디오가 에코를 갖는 외관을 제공하기 위해 후기 잔향(late reverberation)을 생성하는 단계를 추가로 포함하는, 방법.
제1항 내지 제15항 중 어느 한 항에 있어서,
상기 제1 디바이스 및 상기 제2 디바이스가 공유 환경에 있다고 결정하는 것에 응답하여, 상기 제2 사람의 상기 가상 표현의 디스플레이를 보류하는 단계를 추가로 포함하는, 방법.
제16항에 있어서,
상기 공유 환경의 패스-스루(pass-through)를 제시하는 단계를 추가로 포함하는, 방법.
제17항에 있어서, 상기 패스-스루를 제시하는 단계는 상기 공유 환경의 광학 패스-스루를 제시하는 단계를 포함하는, 방법.
제17항에 있어서, 상기 패스-스루를 제시하는 단계는 상기 공유 환경의 비디오 패스-스루를 디스플레이하는 단계를 포함하는, 방법.
제17항 내지 제19항 중 어느 한 항에 있어서, 상기 패스-스루를 제시하는 단계는 윈도우를 디스플레이하는 단계 및 상기 윈도우 내에 상기 패스-스루를 제시하는 단계를 포함하는, 방법.
제1항 내지 제20항 중 어느 한 항에 있어서, 상기 공유 환경은 공유 물리적 설정(shared physical setting)을 포함하는, 방법.
제1항 내지 제20항 중 어느 한 항에 있어서, 상기 공유 환경은 공유 향상 현실(enhanced reality, ER) 설정을 포함하는, 방법.
제1항 또는 제22항 중 어느 한 항에 있어서, 상기 제1 디바이스 및 상기 제2 디바이스가 상기 공유 환경에 있는지 여부를 결정하는 단계는, 상기 제2 디바이스와 연관된 식별자가 단거리 통신을 통해 검출가능한지 여부를 결정하는 단계를 포함하는, 방법.
제1항 내지 제23항 중 어느 한 항에 있어서, 상기 제1 디바이스 및 상기 제2 디바이스가 상기 공유 환경에 있는지 여부를 결정하는 단계는, 상기 제1 디바이스의 마이크로폰을 통해 수신된 오디오가 상기 제2 디바이스와 연관된 상기 통신 데이터에 인코딩된 오디오의 유사성 임계치 내에 있는지 여부를 결정하는 단계를 포함하는, 방법.
제1항 내지 제24항 중 어느 한 항에 있어서, 상기 제1 디바이스 및 상기 제2 디바이스가 상기 공유 환경에 있는지 여부를 결정하는 단계는, 상기 제1 디바이스의 이미지 센서를 통해 캡처된 이미지에 기초하여 상기 제2 사람이 상기 공유 환경에 있는지 여부를 결정하는 단계를 포함하는, 방법.
디바이스로서,
하나 이상의 프로세서들;
디스플레이;
비일시적 메모리; 및
상기 비일시적 메모리에 저장된 하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 디바이스로 하여금 제1항 내지 제25항 중 어느 한 항의 방법을 수행하게 하는, 디바이스.
하나 이상의 프로그램들을 저장하는 비일시적 메모리로서, 상기 하나 이상의 프로그램들은, 디스플레이를 갖는 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 디바이스로 하여금 제1항 내지 제25항 중 어느 한 항의 방법을 수행하게 하는, 비일시적 메모리.
디바이스로서,
하나 이상의 프로세서들;
디스플레이;
비일시적 메모리; 및
상기 디바이스로 하여금 제1항 내지 제25항 중 어느 한 항의 방법을 수행하게 하기 위한 수단을 포함하는, 디바이스.
방법으로서,
출력 디바이스, 비일시적 메모리, 및 상기 출력 디바이스 및 상기 비일시적 메모리와 결합된 하나 이상의 프로세서들을 포함하는 제1 디바이스에서:
상기 제1 디바이스가 제2 디바이스와 통신 세션에 있는 동안:
상기 제2 디바이스와 연관된 통신 데이터를 획득하는 단계;
상기 제1 디바이스 및 상기 제2 디바이스가 공유 물리적 설정에 있다고 결정하는 단계; 및
상기 출력 디바이스가 상기 통신 데이터의 일부분을 출력하는 것을 방지하기 위해 상기 통신 데이터의 상기 일부분을 마스킹하는 단계를 포함하는, 방법.
제29항에 있어서, 상기 출력 디바이스는 스피커를 포함하고, 상기 통신 데이터의 상기 일부분을 마스킹하는 단계는, 상기 스피커가 상기 통신 데이터의 오디오 부분을 재생하는 것을 방지하기 위해 상기 통신 데이터의 상기 오디오 부분을 마스킹하는 단계를 포함하는, 방법.
제29항 또는 제30항에 있어서, 상기 출력 디바이스는 디스플레이를 포함하고, 상기 통신 데이터의 상기 일부분을 마스킹하는 단계는, 상기 디스플레이가 상기 통신 데이터의 비디오 부분을 디스플레이하는 것을 방지하기 위해 상기 통신 데이터의 상기 비디오 부분을 마스킹하는 단계를 포함하는, 방법.
제29항 내지 제31항 중 어느 한 항에 있어서, 상기 통신 데이터는 상기 제2 디바이스와 연관된 사람의 가상 표현을 인코딩하고, 상기 통신 데이터의 상기 일부분을 마스킹하는 단계는 상기 사람의 상기 가상 표현의 디스플레이를 보류하는 단계를 포함하는, 방법.
제29항 내지 제32항 중 어느 한 항에 있어서,
상기 공유 물리적 설정의 패스-스루를 제시하는 단계를 추가로 포함하는, 방법.
제33항에 있어서, 상기 패스-스루를 제시하는 단계는 상기 공유 물리적 설정의 광학 패스-스루를 제시하는 단계를 포함하는, 방법.
제33항에 있어서, 상기 패스-스루를 제시하는 단계는 상기 공유 물리적 설정의 비디오 패스-스루를 디스플레이하는 단계를 포함하는, 방법.
제29항 내지 제35항 중 어느 한 항에 있어서, 상기 제1 디바이스 및 상기 제2 디바이스가 상기 공유 물리적 설정에 있다고 결정하는 단계는 단거리 통신을 통해 상기 제2 디바이스와 연관된 식별자를 검출하는 단계를 포함하는, 방법.
제29항 내지 제36항 중 어느 한 항에 있어서, 상기 제1 디바이스 및 상기 제2 디바이스가 상기 공유 물리적 설정에 있다고 결정하는 단계는, 상기 제1 디바이스의 마이크로폰을 통해, 상기 통신 데이터에 인코딩된 제2 오디오의 유사성 임계치 내에 있는 제1 오디오를 검출하는 단계를 포함하는, 방법.
제29항 내지 제37항 중 어느 한 항에 있어서, 상기 제1 디바이스 및 상기 제2 디바이스가 상기 공유 물리적 설정에 있다고 결정하는 단계는, 상기 제1 디바이스의 이미지 센서를 통해, 상기 제2 디바이스와 연관된 사람을 검출하는 단계를 포함하는, 방법.
제29항 내지 제38항 중 어느 한 항에 있어서,
상기 공유 물리적 설정으로부터 멀어지는 상기 제2 디바이스의 이동을 검출하는 단계; 및
상기 출력 디바이스가 상기 통신 데이터의 상기 일부분을 출력하도록 허용하기 위해 상기 통신 데이터의 상기 일부분을 마스킹하는 것을 보류하는 단계를 추가로 포함하는, 방법.
제39항에 있어서, 상기 공유 물리적 설정으로부터 멀어지는 상기 제2 디바이스의 상기 이동을 검출하는 단계는, 상기 제2 디바이스와 연관된 식별자가 단거리 통신을 통해 검출가능하지 않다고 결정하는 단계를 포함하는, 방법.
제39항 또는 제40항에 있어서, 상기 공유 물리적 설정으로부터 멀어지는 상기 제2 디바이스의 상기 이동을 검출하는 단계는, 상기 제1 디바이스의 마이크로폰을 통해 검출된 제1 오디오가 상기 통신 데이터에 인코딩된 제2 오디오의 유사성 임계치 내에 있지 않다고 결정하는 단계를 포함하는, 방법.
제39항 내지 제41항 중 어느 한 항에 있어서, 상기 공유 물리적 설정으로부터 멀어지는 상기 제2 디바이스의 상기 이동을 검출하는 단계는, 상기 제1 디바이스의 환경 센서에 의해 캡처된 환경 데이터가 상기 제2 디바이스와 연관된 사람이 상기 공유 물리적 설정으로부터 멀어지게 이동했음을 나타낸다고 결정하는 단계를 포함하는, 방법.
제39항 내지 제42항 중 어느 한 항에 있어서, 상기 출력 디바이스는 스피커를 포함하고, 상기 통신 데이터의 상기 일부분을 마스킹하는 것을 보류하는 단계는 상기 스피커를 통해 상기 통신 데이터의 오디오 부분을 출력하는 단계를 포함하는, 방법.
제43항에 있어서, 상기 오디오 부분을 출력하는 단계는, 상기 오디오 부분이 상기 제2 디바이스와 연관된 사람의 가상 표현으로부터 유래하고 있는 외관을 제공하기 위해 상기 오디오 부분을 공간화하는 단계를 포함하는, 방법.
제39항 내지 제44항 중 어느 한 항에 있어서, 상기 출력 디바이스는 디스플레이를 포함하고, 상기 통신 데이터의 상기 일부분을 마스킹하는 것을 보류하는 단계는 상기 디스플레이 상에 상기 통신 데이터의 비디오 부분을 디스플레이하는 단계를 포함하는, 방법.
제39항 내지 제45항 중 어느 한 항에 있어서, 상기 통신 데이터는 상기 제2 디바이스와 연관된 사람의 가상 표현을 인코딩하고, 상기 통신 데이터의 상기 일부분을 마스킹하는 것을 보류하는 단계는 상기 사람의 상기 가상 표현을 디스플레이하는 단계를 포함하는, 방법.
디바이스로서,
하나 이상의 프로세서들;
디스플레이;
비일시적 메모리; 및
상기 비일시적 메모리에 저장된 하나 이상의 프로그램들을 포함하며, 상기 하나 이상의 프로그램들은, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 디바이스로 하여금 제29항 내지 제46항 중 어느 한 항의 방법을 수행하게 하는, 디바이스.
하나 이상의 프로그램들을 저장하는 비일시적 메모리로서, 상기 하나 이상의 프로그램들은, 디스플레이를 갖는 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 상기 디바이스로 하여금 제29항 내지 제46항 중 어느 한 항의 방법을 수행하게 하는, 비일시적 메모리.
디바이스로서,
하나 이상의 프로세서들;
디스플레이;
비일시적 메모리; 및
상기 디바이스로 하여금 제29항 내지 제46항 중 어느 한 항의 방법을 수행하게 하기 위한 수단을 포함하는, 디바이스.