KR102340665B1

KR102340665B1 - 프라이버시 스크린

Info

Publication number: KR102340665B1
Application number: KR1020207009322A
Authority: KR
Inventors: 클레멘트 피에르 니콜라스 보이시에르; 티모시 알. 오리올
Original assignee: 애플 인크.
Priority date: 2017-09-29
Filing date: 2018-09-26
Publication date: 2021-12-16
Also published as: KR20200046089A; JP7005753B2; US11243734B2; US20220113926A1; US11768956B2; EP3676745B1; WO2019067549A1; US20230394170A1; EP3676745A1; US20200225901A1; JP2020536311A; CN111213148A

Abstract

제1 디스플레이 및 이미지 센서와 결합된 제1 디바이스는 제1 디스플레이와 상이한 제2 디스플레이를 갖는 제2 디바이스로부터 출력 데이터를 수신한다. 출력 데이터는 제2 디스플레이 상에서 제2 디바이스에 의해 디스플레이가능한 콘텐츠를 나타낸다. 제1 디바이스는, 이미지 센서를 사용하여, 제1 디바이스에 대한 제2 디스플레이의 위치를 결정하고, 제2 디바이스로부터 수신된 출력 데이터 및 제1 디바이스에 대한 제2 디스플레이의 결정된 위치에 기초하여 제1 디스플레이가 콘텐츠를 디스플레이하게 한다.

Description

프라이버시 스크린

관련 출원에 대한 상호 참조

본 출원은, 2017년 9월 29일자로 출원되고 발명의 명칭이 "Privacy Screen for Virtual and Augmented Reality"인 미국 가특허 출원 제62/566,187호에 대한 우선권을 주장하며, 상기 출원의 내용은 그 전체가 참고로 포함된다.

기술분야

본 개시내용은 컴퓨터 시뮬레이션된 현실에서의 외부 디바이스들의 디지털 콘텐츠의 디스플레이에 관한 것이다.

일부 상황들에서, 컴퓨터, 전화, 또는 디스플레이를 갖는 다른 컴퓨팅 디바이스와 같은 전자 디바이스의 사용자는 다른 사람들이 디바이스의 스크린 상에 디스플레이된 콘텐츠를 보는 것을 방지하고 싶을 것이다. 예를 들어, 사용자는 공공 카페에서 또는 비행기에서 휴대용 디바이스를 사용하여 개인 문서를 작업하고 싶을 수 있다. 전통적인 해결책은 디스플레이의 전방에 배치되고 디스플레이로부터 방출된 광이 보일 수 있는 각도를 제한하는 물리적 스크린을 포함한다.

전술된 바와 같은 전통적인 프라이버시 스크린(privacy screen)은 여러 바람직하지 않은 특성들을 갖는다. 예를 들어, 전통적인 프라이버시 스크린들은 디스플레이에 수직인 방향으로 광의 일부를 감쇠시키며, 이는 사용자에 의해 인지되는 밝기를 감소시킨다. 보상하기 위해, 사용자는 프라이버시가 중요하지 않을 때 프라이버시 스크린을 제거할 수 있는데, 이 경우 사용자는 프라이버시 스크린을 보관, 이동, 및 재설치해야 한다. 대안적으로, 사용자는 프라이버시 스크린에 의해 차단된 광의 양을 보상하기 위해 디스플레이의 밝기 출력을 증가시킬 수 있는데, 이는 디바이스의 배터리 수명을 감소시킨다. 또한, 비-수직 방향들의 광을 차단함으로써, 프라이버시 스크린은 사용자가 디바이스를 사용할 수 있는 각도들을 제한한다. 그러나, 전통적인 프라이버시 스크린은 여전히 비-수직 각도들에서 방출된 모든 광을 차단하지 않을 수 있어서, 디바이스 바로 앞에 있지 않은 다른 사람들에게 디스플레이 상의 콘텐츠에 대한 일부 가시성을 허용한다. 마지막으로, 전통적인 프라이버시 스크린은, 디스플레이된 콘텐츠가 스크린의 바로 앞에(예를 들어, 사용자의 바로 뒤에) 또한 위치되는 다른 개인들에 의해 관찰가능한 것을 방지하지 못한다.

하기에 기술되는 기술들은, 비-사용자들이 디바이스에 의해 디스플레이되는 콘텐츠를 관찰할 수 있는 것을 제한함으로써 전자 디바이스의 콘텐츠를 보다 효과적으로 그리고 효율적으로 보호한다. 하기의 논의에서 알 수 있는 바와 같이, 그러한 기술들은 전력을 절약하고 배터리 작동형 디바이스들을 위한 배터리 충전들 사이의 시간을 증가시키는 추가적인 이점을 가질 수 있다.

일부 실시예들에서, 제1 디스플레이를 갖는 제1 디바이스 및 제1 디스플레이와 상이한 제2 디스플레이를 갖는 제2 디바이스를 포함하는 시스템을 사용하여 방법이 수행된다. 본 방법은: 제1 디바이스에 의해, 입력에 응답하여 출력 데이터를 생성하는 단계; 제1 디바이스가 제1 모드 또는 제2 모드에서 동작하고 있는지 여부를 결정하는 단계; 제1 디바이스가 제1 모드에서 동작하고 있는 경우, 출력 데이터에 따라 제1 디스플레이 상에 콘텐츠를 디스플레이하는 단계; 제1 디바이스가 제2 모드에서 동작하고 있는 경우, 출력 데이터에 따라 제1 디스플레이 상에 콘텐츠를 디스플레이하는 것을 억제하고, 출력 데이터를 제2 디바이스로 송신하는 단계; 이미지 센서를 사용하여, 제2 디스플레이에 대한 제1 디스플레이의 위치를 결정하는 단계; 및 제2 디스플레이에 대한 제1 디스플레이의 결정된 위치 및 출력 데이터에 따라 콘텐츠를 제2 디스플레이 상에 디스플레이하는 단계를 포함한다.

일부 실시예들에서, 시스템은 제1 디스플레이를 갖는 제1 디바이스 및 제1 디스플레이와 상이한 제2 디스플레이를 갖는 제2 디바이스를 포함한다. 제1 디바이스는: 입력에 응답하여 출력 데이터를 생성하고; 제1 디바이스가 제1 모드 또는 제2 모드에서 동작하고 있는지 여부를 결정하고; 제1 디바이스가 제1 모드에서 동작하고 있는 경우, 출력 데이터에 따라 제1 디스플레이 상에 콘텐츠를 디스플레이하고; 제1 디바이스가 제2 모드에서 동작하고 있는 경우, 출력 데이터에 따라 제1 디스플레이 상에 콘텐츠를 디스플레이하는 것을 억제하고, 출력 데이터를 제2 디바이스로 송신하도록 구성된다. 제2 디바이스는 제2 디스플레이에 대한 제1 디스플레이의 결정된 위치 및 출력 데이터에 따라 콘텐츠를 제2 디스플레이 상에 디스플레이하도록 구성되며, 여기서 제2 디스플레이에 대한 제1 디스플레이의 위치는 이미지 센서를 사용하여 결정된다.

일부 실시예들에서, 컴퓨터 판독가능 저장 매체는 제1 디스플레이를 갖는 제1 전자 디바이스 및 제2 디스플레이를 갖는 제2 전자 디바이스를 갖는 시스템의 하나 이상의 프로세서들에 의한 실행을 위한 하나 이상의 프로그램들을 포함한다. 하나 이상의 프로그램들은, 하나 이상의 프로세서들에 의해 실행될 때, 시스템으로 하여금: 입력에 응답하여 출력 데이터를 생성하고; 제1 디바이스가 제1 모드 또는 제2 모드에서 동작하고 있는지 여부를 결정하고; 제1 디바이스가 제1 모드에서 동작하고 있는 경우, 출력 데이터에 따라 제1 디스플레이 상에 콘텐츠를 디스플레이하고; 제1 디바이스가 제2 모드에서 동작하고 있는 경우, 출력 데이터에 따라 제1 디스플레이 상에 콘텐츠를 디스플레이하는 것을 억제하고, 출력 데이터를 제2 디바이스로 송신하고; 이미지 센서를 사용하여, 제2 디스플레이에 대한 제1 디스플레이의 위치를 결정하고; 제2 디스플레이에 대한 제1 디스플레이의 결정된 위치 및 출력 데이터에 따라 콘텐츠를 제2 디스플레이 상에 디스플레이하게 하는 명령어들을 포함한다.

일부 실시예들에서, 방법은: 제1 디스플레이 및 이미지 센서와 결합된 제1 디바이스에서: 제1 디스플레이와 상이한 제2 디스플레이를 갖는 제2 디바이스로부터 출력 데이터를 수신하는 단계 - 출력 데이터는 제2 디스플레이 상에서 제2 디바이스에 의해 디스플레이가능한 콘텐츠를 나타냄 -; 이미지 센서를 사용하여, 제1 디바이스에 대한 제2 디스플레이의 위치를 결정하는 단계; 및 제2 디바이스로부터 수신된 출력 데이터 및 제1 디바이스에 대한 제2 디스플레이의 결정된 위치에 기초하여 제1 디스플레이가 콘텐츠를 디스플레이하게 하는 단계를 포함한다.

일부 실시예들에서, 전자 디바이스는: 하나 이상의 프로세서들; 및 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함한다. 하나 이상의 프로그램들은: 전자 디바이스와 결합된 제1 디스플레이와 상이한 제2 디스플레이를 갖는 제2 디바이스로부터 출력 데이터를 수신하고 - 출력 데이터는 제2 디스플레이 상에서 제2 디바이스에 의해 디스플레이가능한 콘텐츠를 나타냄 -; 전자 디바이스와 결합된 이미지 센서를 사용하여, 전자 디바이스에 대한 제2 디스플레이의 위치를 결정하고; 제2 디바이스로부터 수신된 출력 데이터 및 전자 디바이스에 대한 제2 디스플레이의 결정된 위치에 기초하여 제1 디스플레이가 콘텐츠를 디스플레이하게 하기 위한 명령어들을 포함한다.

일부 실시예들에서, 컴퓨터 판독가능 저장 매체는 제1 디스플레이 및 이미지 센서와 결합된 전자 디바이스의 하나 이상의 프로세서들에 의한 실행을 위한 하나 이상의 프로그램들을 포함한다. 하나 이상의 프로그램들은, 하나 이상의 프로세서들에 의해 실행될 때, 전자 디바이스로 하여금: 제1 디스플레이와 상이한 제2 디스플레이를 갖는 제2 디바이스로부터 출력 데이터를 수신하고 - 출력 데이터는 제2 디스플레이 상에서 제2 디바이스에 의해 디스플레이가능한 콘텐츠를 나타냄 -; 이미지 센서를 사용하여, 전자 디바이스에 대한 제2 디스플레이의 위치를 결정하고; 제2 디바이스로부터 수신된 출력 데이터 및 전자 디바이스에 대한 제2 디스플레이의 결정된 위치에 기초하여 제1 디스플레이가 콘텐츠를 디스플레이하게 하는 명령어들을 포함한다.

이러한 기능들을 수행하기 위한 실행가능 명령어들은, 옵션적으로, 하나 이상의 프로세서들에 의한 실행을 위해 구성된 비일시적 컴퓨터 판독가능 저장 매체 또는 다른 컴퓨터 프로그램 제품에 포함된다. 이러한 기능들을 수행하기 위한 실행가능 명령어들은, 옵션적으로, 하나 이상의 프로세서들에 의한 실행을 위해 구성된 일시적 컴퓨터 판독가능 저장 매체 또는 다른 컴퓨터 프로그램 제품에 포함된다.

따라서, 디바이스들에는 전자 디바이스 상에 프라이버시 스크린을 제공하기 위한 보다 효율적이고 효과적인 방법들 및 인터페이스들이 제공되며, 이에 의해 생성되는 콘텐츠를 보호하고 디바이스가 안전하게 동작될 수 있는 환경들을 증가시킨다. 그러한 방법들 및 인터페이스들은 디바이스를 동작시키는 동안 콘텐츠를 보호하기 위한 다른 방법들을 보완하거나 대체할 수 있다.

다양하게 기술된 실시예들의 보다 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1a 및 도 1b는 컴퓨터 시뮬레이션된 현실을 포함하는, 다양한 현실 기술들에 사용하기 위한 예시적인 시스템을 도시한다.
도 2a 및 도 2b는 일부 실시예들에 따른, 예시적인 전자 디바이스 및 사용자 인터페이스들을 도시한다.
도 3a 내지 도 3d는 일부 실시예들에 따른, 예시적인 전자 디바이스들 및 사용자 인터페이스들을 도시한다.
도 4는 일부 실시예들에 따른, 예시적인 전자 디바이스들 및 사용자 인터페이스들을 도시한다.
도 5는 전자 디바이스 상에 프라이버시 스크린을 제공하기 위한 방법을 도시하는 흐름도이다.
도 6은 전자 디바이스 상에 프라이버시 스크린을 제공하기 위한 방법을 도시하는 흐름도이다.

이하의 설명은 예시적인 방법들, 파라미터들 등을 기재하고 있다. 그러나, 이러한 설명은 본 개시내용의 범주에 대한 제한으로서 의도되는 것이 아니라, 그 대신에, 예시적인 실시예들의 설명으로서 제공된다.

하기의 설명에서, 물리적 환경(physical setting)은 전자 시스템들의 도움 없이 개인들이 감지할 수 있고/있거나 개인들이 상호작용할 수 있는 세계를 지칭한다. 물리적 환경들(예컨대, 물리적 숲)은 물리적 요소들(예컨대, 물리적 나무들, 물리적 구조물들, 및 물리적 동물들)을 포함한다. 개인들은 예컨대 촉각, 시각, 후각, 청각, 및 미각을 통해, 물리적 환경과 직접 상호작용하고/하거나 이를 감지할 수 있다.

대조적으로, 시뮬레이션된 현실(simulated reality, SR) 환경은 전자 시스템을 통해 개인들이 감지할 수 있고/있거나 개인들이 상호작용할 수 있는 전체적으로 또는 부분적으로 컴퓨터-생성된 환경을 지칭한다. SR에서, 개인의 움직임들의 서브세트가 모니터링되고, 이에 응답하여, SR 환경에서 하나 이상의 가상 객체들의 하나 이상의 속성들이 하나 이상의 물리적 법칙들과 일치하는 방식으로 변화된다. 예를 들어, SR 시스템은 몇 걸음 앞으로 걷는 개인을 검출할 수 있고, 그에 응답하여, 그러한 풍경 및 소리가 물리적 환경에서 어떻게 변화할 것인지와 유사한 방식으로 개인에게 제시되는 그래픽들 및 오디오를 조정할 수 있다. SR 환경에서의 가상 객체(들)의 속성(들)에 대한 수정들은 또한 움직임의 표현들(예컨대, 오디오 명령어들)에 응답하여 이루어질 수 있다.

개인은 촉각, 후각, 시각, 맛, 및 소리를 포함하는 그의 감각들 중 임의의 하나를 사용하여 SR 객체와 상호작용하고/하거나 이를 감지할 수 있다. 예를 들어, 개인은 다차원(예컨대, 3차원) 또는 공간적 청각 환경을 생성하고/하거나 청각 투명성(aural transparency)을 가능하게 하는 청각 객체들과 상호작용하고/하거나 이들을 감지할 수 있다. 다차원 또는 공간적 청각 환경들은 다차원 공간에서 개별 청각 소스들의 인지를 개인에게 제공한다. 청각 투명성은, 컴퓨터-생성된 오디오를 갖고서 또는 갖지 않고서 또는 갖지 않고서, 물리적 환경으로부터의 소리들을 선택적으로 통합한다. 일부 SR 환경들에서, 개인은 청각 객체들과만 상호작용하고/하거나 이들을 감지할 수 있다.

SR의 일례는 가상 현실(virtual reality, VR)이다. VR 환경은 감각들 중 적어도 하나에 대한 컴퓨터-생성된 감각 입력들만을 포함하도록 설계되는 시뮬레이션된 환경을 지칭한다. VR 환경은 개인이 상호작용하고/하거나 감지할 수 있는 다수의 가상 객체들을 포함한다. 개인은 컴퓨터-생성된 환경 내에서의 개인의 동작들의 서브세트의 시뮬레이션을 통해, 그리고/또는 컴퓨터-생성된 환경 내에서의 개인 또는 그의 존재의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 상호작용하고/하거나 감지할 수 있다.

SR의 다른 예는 혼합 현실(mixed reality, MR)이다. MR 환경은 컴퓨터-생성된 감각 입력들(예컨대, 가상 객체들)을, 물리적 환경으로부터의 감각 입력들 또는 그의 표현과 통합하도록 설계되는 시뮬레이션된 환경을 지칭한다. 현실 스펙트럼 상에서, 혼합 현실 환경은 한쪽 끝의 VR 환경과 다른쪽 끝의 완전히 물리적 환경 사이에 있으며, 이들을 포함하지 않는다.

일부 MR 환경들에서, 컴퓨터-생성된 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 적응할 수 있다. 또한, MR 환경들을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 배향 및/또는 위치를 모니터링하여, 가상 객체들과 실제 객체들(이는, 물리적 환경으로부터의 물리적 요소들 또는 그들의 표현들임) 사이의 상호작용을 가능하게 할 수 있다. 예를 들어, 시스템은 움직임들을 모니터링하여 가상 식물이 물리적 건물에 대하여 고정되어 있는 것처럼 보이도록 할 수 있다.

혼합 현실의 일례는 증강 현실(augmented reality, AR)이다. AR 환경은 적어도 하나의 가상 객체가 물리적 환경, 또는 그의 표현 위에 중첩되어 있는 시뮬레이션된 환경을 지칭한다. 예를 들어, 전자 시스템은 불투명 디스플레이, 및 물리적 환경의 이미지들 또는 비디오 - 이는 물리적 환경의 표현들임 - 를 캡처하기 위한 적어도 하나의 이미징 센서를 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 조합하고, 조합물을 불투명 디스플레이 상에 디스플레이한다. 개인은, 시스템을 사용하여, 물리적 환경의 이미지들 또는 비디오를 통해 간접적으로 물리적 환경을 보고, 물리적 환경 위에 중첩된 가상 객체들을 관찰한다. 시스템이 물리적 환경의 이미지들을 캡처하기 위해 이미지 센서(들)를 사용하고, 그러한 이미지들을 사용하여 불투명 디스플레이 상에 AR 환경을 제시할 때, 디스플레이된 이미지들은 비디오 패스스루(pass-through)로 불린다. 대안적으로, AR 환경을 디스플레이하기 위한 전자 시스템은, 개인이 물리적 환경을 직접 볼 수 있는, 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은 가상 객체들을 투명 또는 반투명 디스플레이 상에 디스플레이하여, 개인이, 시스템을 사용하여, 물리적 환경 위에 중첩된 가상 객체들을 관찰하도록 할 수 있다. 다른 예에서, 시스템은 가상 객체들을 물리적 환경으로 투영하는 투영 시스템을 포함할 수 있다. 가상 객체들은 예를 들어, 물리적 표면 상에 또는 홀로그램으로서 투영되어, 개인이, 시스템을 사용하여, 물리적 환경 위에 중첩된 가상 객체들을 관찰하도록 할 수 있다.

증강 현실 환경은 또한 물리적 환경의 표현이 컴퓨터-생성된 감각 정보에 의해 변경되는 시뮬레이션된 환경을 지칭할 수 있다. 예를 들어, 물리적 환경의 표현의 일부분은 그래픽적으로 변경(예컨대, 확대)될 수 있어서, 변경된 부분은 원래 캡처된 이미지(들)의 충실하게-재현된 버전은 아니지만 그것을 여전히 나타낼 수 있다. 다른 예로서, 비디오 패스스루를 제공하는 데 있어서, 시스템은 이미지 센서(들)에 의해 캡처된 관점과는 상이한 특정 관점을 부과하기 위해 센서 이미지들 중 적어도 하나를 변경할 수 있다. 추가적인 예로서, 물리적 환경의 표현은 그의 부분들을 그래픽적으로 모호하게 하거나 배제함으로써 변경될 수 있다.

혼합 현실의 다른 예는 증강 가상(augmented virtuality, AV)이다. AV 환경은 컴퓨터-생성된 또는 가상 환경이 물리적 환경으로부터의 적어도 하나의 감각 입력을 통합하는 시뮬레이션된 환경을 지칭한다. 물리적 환경으로부터의 감각 입력(들)은 물리적 환경의 적어도 하나의 특성의 표현들일 수 있다. 예를 들어, 가상 객체는 이미징 센서(들)에 의해 캡처된 물리적 요소의 색상을 취할 수 있다. 다른 예에서, 가상 객체는, 이미징, 날씨-관련 센서들, 및/또는 온라인 날씨 데이터를 통해 식별된 바와 같은, 물리적 환경에서의 실제 날씨 조건들과 일치하는 특성들을 나타낼 수 있다. 또 다른 예에서, 증강 현실 숲은 가상 나무들 및 구조물들을 가질 수 있지만, 동물들은 물리적 동물들의 촬영된 이미지들로부터 정확하게 재현되는 특징부들을 가질 수 있다.

많은 전자 시스템들은 개인이 다양한 SR 환경들과 상호작용하고/하거나 이들을 감지할 수 있게 한다. 일례는 헤드 마운트 시스템(head mounted system)들을 포함한다. 헤드 마운트 시스템은 불투명 디스플레이 및 스피커(들)를 가질 수 있다. 대안적으로, 헤드 마운트 시스템은 외부 디스플레이(예컨대, 스마트폰)를 수용하도록 설계될 수 있다. 헤드 마운트 시스템은 각각 이미지들/비디오를 촬영하고/하거나 물리적 환경의 오디오를 캡처하기 위한 이미징 센서(들) 및/또는 마이크로폰들을 가질 수 있다. 헤드 마운트 시스템은 또한 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는, 이미지들을 나타내는 광이 그를 통해 개인의 눈들로 지향되는 기판을 통합할 수 있다. 디스플레이는 LED, OLED, 디지털 광 프로젝터, 레이저 스캐닝 광원, 액정 온 실리콘(liquid crystal on silicon), 또는 이들 기술의 임의의 조합을 통합할 수 있다. 광이 투과되는 기판은 광 도파관, 광학 조합기, 광학 반사기, 홀로그래픽 기판, 또는 이들 기판의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 불투명 상태와 투명 또는 반투명 상태 사이에서 선택적으로 전이할 수 있다. 다른 예에서, 전자 시스템은 투영-기반 시스템일 수 있다. 투영-기반 시스템은 이미지들을 개인의 망막 상으로 투영하기 위해 망막 투영을 사용할 수 있다. 대안적으로, 투영 시스템은 또한 가상 객체들을 물리적 환경으로(예컨대, 물리적 표면 상으로 또는 홀로그램으로서) 투영할 수 있다. SR 시스템들의 다른 예들은 헤드 업 디스플레이, 그래픽을 디스플레이하는 능력을 갖는 자동차 앞유리, 그래픽을 디스플레이하는 능력을 갖는 창, 그래픽을 디스플레이하는 능력을 갖는 렌즈, 헤드폰 또는 이어폰, 스피커 배열, 입력 메커니즘(예컨대, 햅틱 피드백을 갖거나 갖지 않는 제어기), 태블릿, 스마트폰, 및 데스크톱 또는 랩톱 컴퓨터를 포함한다.

도 1a 및 도 1b는 컴퓨터 시뮬레이션된 현실을 포함하는, 다양한 현실 기술들에 사용하기 위한 예시적인 시스템(100)을 도시한다.

일부 실시예들에서, 도 1a에 도시된 바와 같이, 시스템(100)은 디바이스(100a)를 포함한다. 디바이스(100a)는 다양한 컴포넌트들, 예컨대, 프로세서(들)(102), RF 회로부(들)(104), 메모리(들)(106), 이미지 센서(들)(108), 배향 센서(들)(110), 마이크로폰(들)(112), 위치 센서(들)(116), 스피커(들)(118), 디스플레이(들)(120), 및 터치 감응형 표면(들)(122)을 포함한다. 이러한 컴포넌트들은 옵션적으로 디바이스(100a)의 통신 버스(들)(150)를 통해 통신한다.

일부 실시예들에서, 시스템(100)의 요소들은 기지국 디바이스(예컨대, 원격 서버, 모바일 디바이스, 또는 랩톱과 같은 컴퓨팅 디바이스)에서 구현되고, 시스템(100)의 다른 요소들은 제2 디바이스(예컨대, 헤드 마운트 디바이스)에서 구현된다. 일부 예들에서, 디바이스(100a)는 기지국 디바이스 또는 제2 디바이스에서 구현된다.

도 1b에 도시된 바와 같이, 일부 실시예들에서, 시스템(100)은, 예컨대, 유선 연결 또는 무선 연결을 통해 통신하는 2개의(또는 그 이상의) 디바이스들을 포함한다. 제1 디바이스(100b)(예컨대, 기지국 디바이스)는 프로세서(들)(102), RF 회로부(들)(104), 메모리(들)(106)를 포함한다. 이러한 컴포넌트들은 옵션적으로 디바이스(100b)의 통신 버스(들)(150)를 통해 통신한다. 제2 디바이스(100c)(예컨대, 헤드 마운트 디바이스)는 다양한 컴포넌트들, 예컨대, 프로세서(들)(102), RF 회로부(들)(104), 메모리(들)(106), 이미지 센서(들)(108), 배향 센서(들)(110), 마이크로폰(들)(112), 위치 센서(들)(116), 스피커(들)(118), 디스플레이(들)(120), 및 터치 감응형 표면(들)(122)을 포함한다. 이러한 컴포넌트들은 옵션적으로 디바이스(100c)의 통신 버스(들)(150)를 통해 통신한다.

시스템(100)은 프로세서(들)(102) 및 메모리(들)(106)를 포함한다. 프로세서(들)(102)는 하나 이상의 일반 프로세서들, 하나 이상의 그래픽 프로세서들, 및/또는 하나 이상의 디지털 신호 프로세서들을 포함한다. 일부 실시예들에서, 메모리(들)(106)는 아래에 기재된 기술들을 수행하기 위하여 프로세서(들)(102)에 의해 실행되도록 구성된 컴퓨터 판독가능 명령어들을 저장하는 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체들(예컨대, 플래시 메모리, 랜덤 액세스 메모리)이다.

시스템(100)은 RF 회로부(들)(104)를 포함한다. RF 회로부(들)(104)는 옵션적으로 전자 디바이스들과 통신하기 위한 회로부, 인터넷, 인트라넷과 같은 네트워크들, 및/또는 셀룰러 네트워크들 및 무선 로컬 영역 네트워크들(LAN)과 같은 무선 네트워크를 포함한다. RF 회로부(들)(104)는 옵션적으로 블루투스®와 같은 근거리 통신 및/또는 단거리 통신을 이용하여 통신하기 위한 회로부를 포함한다.

시스템(100)은 디스플레이(들)(120)를 포함한다. 디스플레이(들)(120)는 불투명 디스플레이를 가질 수 있다. 디스플레이(들)(120)는 이미지들을 나타내는 광이 그를 통해 개인의 눈들로 지향되는 기판을 통합할 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 디스플레이(들)(120)는 LED, OLED, 디지털 광 프로젝터, 레이저 스캐닝 광원, 액정 온 실리콘, 또는 이들 기술의 임의의 조합을 통합할 수 있다. 광이 투과되는 기판은 광 도파관, 광학 조합기, 광학 반사기, 홀로그래픽 기판, 또는 이들 기판의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 불투명 상태와 투명 또는 반투명 상태 사이에서 선택적으로 전이할 수 있다. 디스플레이(들)(120)의 다른 예들은 헤드 업 디스플레이, 그래픽을 디스플레이하는 능력을 갖는 자동차 앞유리, 그래픽을 디스플레이하는 능력을 갖는 창, 그래픽을 디스플레이하는 능력을 갖는 렌즈, 태블릿, 스마트폰, 및 데스크톱 또는 랩톱 컴퓨터를 포함한다. 대안적으로, 시스템(100)은 외부 디스플레이(예컨대, 스마트폰)를 수용하도록 설계될 수 있다. 일부 실시예들에서, 시스템(100)은, 이미지들을 개인의 망막 상으로 투영하기 위해 망막 투영을 사용하거나 가상 객체들을 물리적 환경으로(예컨대, 물리적 표면 상으로 또는 홀로그램으로서) 투영하는 투영-기반 시스템이다.

일부 실시예들에서, 시스템(100)은 탭 입력 및 스와이프 입력과 같은 사용자 입력들을 수신하기 위한 터치 감응형 표면(들)(122)을 포함한다. 일부 예들에서, 디스플레이(들)(120) 및 터치 감응형 표면(들)(122)은 터치 감응형 디스플레이(들)를 형성한다.

시스템(100)은 이미지 센서(들)(108)를 포함한다. 이미지 센서(들)(108)는 옵션적으로 물리적 환경으로부터 물리적 요소들의 이미지들을 획득하도록 동작가능한 전하 결합 소자(CCD) 센서들, 및/또는 상보성 금속-산화물-반도체(CMOS) 센서들과 같은 하나 이상의 가시광 이미지 센서를 포함한다. 이미지 센서(들)는 또한 옵션적으로 물리적 환경으로부터 적외선 광을 검출하기 위한 수동형 IR 센서 또는 능동형 IR 센서와 같은 하나 이상의 적외선(IR) 센서(들)를 포함한다. 예를 들어, 능동형 IR 센서는 적외선 광을 물리적 환경으로 방출하기 위한 IR 도트 방출기와 같은 IR 방출기를 포함한다. 이미지 센서(들)(108)는 또한 옵션적으로 물리적 환경에서 물리적 요소들의 움직임을 캡처하도록 구성된 하나 이상의 이벤트 카메라(들)를 포함한다. 이미지 센서(들)(108)는 또한 옵션적으로 시스템(100)으로부터 물리적 요소들의 거리를 검출하도록 구성된 하나 이상의 깊이 센서(들)를 포함한다. 일부 예들에서, 시스템(100)은 CCD 센서, 이벤트 카메라, 및 깊이 센서를 조합하여 사용하여 시스템(100) 주위의 물리적 환경을 검출한다. 일부 예들에서, 이미지 센서(들)(108)는 제1 이미지 센서 및 제2 이미지 센서를 포함한다. 제1 이미지 센서 및 제2 이미지 센서는 옵션적으로 2개의 별개의 관점으로부터 물리적 환경에서의 물리적 요소들의 이미지들을 캡처하도록 구성된다. 일부 예들에서, 시스템(100)은 이미지 센서(들)(108)를 사용하여 손 제스처들과 같은 사용자 입력들을 수신한다. 일부 예들에서, 시스템(100)은 이미지 센서(들)(108)를 사용하여 물리적 환경에서의 시스템(100) 및/또는 디스플레이(들)(120)의 위치 및 배향을 검출한다. 예를 들어, 시스템(100)은 이미지 센서(들)(108)를 사용하여 물리적 환경에서의 하나 이상의 고정된 요소들에 대한 디스플레이(들)(120)의 위치 및 배향을 추적한다.

일부 실시예들에서, 시스템(100)은 마이크로폰(들)(112)을 포함한다. 시스템(100)은 마이크로폰(들)(112)을 사용하여 사용자 및/또는 사용자의 물리적 환경으로부터의 소리를 검출한다. 일부 예들에서, 마이크로폰(들)(112)은, 예컨대, 주변 소음을 식별하거나 또는 물리적 환경의 공간에서 음원을 위치파악하기 위하여 옵션적으로 나란히 동작하는 마이크로폰들의 어레이(복수의 마이크로폰들을 포함)를 포함한다.

시스템(100)은 시스템(100) 및/또는 디스플레이(들)(120)의 배향 및/또는 움직임을 검출하기 위하여 배향 센서(들)(110)를 포함한다. 예를 들어, 시스템(100)은 배향 센서(들)(110)를 사용하여, 예컨대, 물리적 환경에서의 물리적 요소들에 대한 시스템(100) 및/또는 디스플레이(들)(120)의 위치 및/또는 배향의 변화를 추적한다. 배향 센서(들)(110)는 옵션적으로 하나 이상의 자이로스코프들 및/또는 하나 이상의 가속도계들을 포함한다.

이제 도 2a, 도 2b, 도 3a 내지 도 3d, 및 도 4를 참조하면, 일부 실시예들에 따른, 전자 디바이스(예컨대, 100a) 상에 프라이버시 스크린을 제공하기 위한 예시적인 전자 디바이스들 및 사용자 인터페이스들이 기술된다. 도면들은 도 5 및 도 6에서의 프로세스들을 비롯한, 이하에 기술되는 프로세스들을 예시하기 위해 사용된다.

도 2a는 콘텐츠(예컨대, 디바이스(200)의 상태와 연관된 그래픽 사용자 인터페이스(GUI))를 제시하는 디스플레이(202)를 갖는 전자 디바이스(200)를 도시한다. 도 2a에서, 디바이스(200)에 의해 디스플레이되는 콘텐츠는 각각의 애플리케이션들을 시작하기 위한 선택가능한 아이콘들을 갖는 GUI 스크린(204)을 포함한다. 일부 실시예들에서, 디바이스(200)는 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 스마트워치, 또는 디스플레이를 갖는 다른 전자 디바이스이다. 일부 실시예들에서, 디바이스(200)는 키보드, 마우스, 조이스틱, 터치 감응형 표면(예컨대, 터치 패드 또는 터치 감응형 디스플레이), 버튼, 회전가능 입력 메커니즘(예컨대, 스크롤 휠), (예컨대, 음성 입력들 또는 커맨드들을 위한) 스피커, 또는 다른 입력 메커니즘 중 하나 이상을 통해 입력들을 수신할 수 있다. 도시된 실시예에서, 디스플레이(202)는 터치 감응형 디스플레이이다.

디바이스(200)는 입력(예컨대, 터치 감응형 디스플레이(202) 상의 접촉)을 수신하고 입력에 응답하여 출력 데이터를 생성하도록 구성된다. 일부 실시예들에서, 출력 데이터는 디스플레이(202) 상에 디바이스(200)에 의해 디스플레이가능한 콘텐츠(예컨대, 이미지들 및/또는 비디오)를 나타낸다. 일부 실시예들에서, 콘텐츠(예컨대, GUI 스크린(204))의 종횡비는 디스플레이(202)의 종횡비에 기초한다.

디바이스(200)는 또한 그것이 정상 모드 또는 프라이버시 모드에서 동작하고 있는지 여부를 결정하도록 구성된다. 도 2a 및 도 2b는 정상 모드에서의 디바이스(200)의 동작을 도시한다. 디바이스(200)는 아이콘(206) 상의 터치 입력(210)을 수신한다. 이에 응답하여, 디바이스(200)는 대응하는 메일 애플리케이션을 시작하고, 메일 애플리케이션에 대한 GUI 스크린을 나타내는 출력 데이터를 생성한다. 디바이스(200)가 정상 모드에서 동작하고 있기 때문에, 그것은 출력 데이터에 따라 디스플레이(202) 상에 메일 애플리케이션에 대한 GUI 스크린(208)을 디스플레이한다.

도 3a 내지 도 3d는 프라이버시 모드에서 동작하는 디바이스(200), 및 디바이스(200)와 통신하도록 구성되는 디스플레이(302)를 갖는 외부 디바이스(300)(예컨대, 태블릿)를 도시한다. 도시된 실시예에서, 외부 디바이스(300)는 (예컨대, 비디오 패스스루를 사용하여) AR 기능을 지원하고, 디스플레이(302)는 가상 객체들을 물리적 환경의 이미지들 위에 중첩시킨다. 도 3a 내지 도 3d의 좌측의 묘사들은 사용자의 손에 쥐어져 있는 디바이스(200)의 가로막힘이 없는 뷰를 도시한다. 도 3a 내지 도 3d의 우측의 묘사들은 외부 디바이스(300)의 디스플레이(302) 상에 보여지는 바와 같이 사용자의 손에 쥐어져 있는 디바이스(200)의 뷰를 도시하며, 이는 디바이스(200)가 프라이버시 모드에서 동작하고 있는 동안 디바이스(300)의 카메라가 디바이스(200)에 겨누고 있음을 의미한다.

프라이버시 모드에서, 디바이스(200)는 디스플레이(202) 상에 콘텐츠를 디스플레이하지 않도록(또는 민감한 정보를 숨기는, 감소된 세트의 콘텐츠를 디스플레이하도록) 구성되는 한편, 그렇지 않으면 정상적으로 동작한다. 일부 실시예들에서, 프라이버시 모드는 프라이버시 모드에 진입하라는 요청을 나타내는 사용자 입력(예를 들어, 디바이스(200)에서의 사용자 입력)에 응답하여 활성화된다. 일부 실시예들에서, 디바이스(200)는 디바이스(200)가 외부 디바이스(300)와 같은 AR 디바이스를 사용하여 보여지고 있다고 결정할 때 프라이버시 모드를 활성화한다.

도 3a에서, 디바이스(200)는 도 2a에 도시된 동일한 상태에서 동작하고 있으며, 이는 애플리케이션들을 시작하기 위한 인터페이스를 제공하지만, 디바이스가 프라이버시 모드에 있기 때문에 디스플레이(202) 상에 GUI 스크린(204)을 디스플레이하지 않는다. 대신에, 디바이스(200)는 출력 데이터를 외부 디바이스(300)로 송신한다. 일부 실시예들에서, 디바이스(200)는 유선 및/또는 무선 통신 링크를 통해(예컨대, 블루투스®, 근거리 통신(Near-field Communication, NFC), WiFi, 또는 다른 무선 통신 프로토콜을 통해) 출력 데이터를 외부 디바이스(300)로 송신한다.

외부 디바이스(300)는 디바이스(200)에 의해 송신된 출력 데이터에 따라 디스플레이(302) 상에 콘텐츠를 디스플레이하도록 구성된다. 도 3a에 도시된 바와 같이, 외부 디바이스(300)는 GUI 스크린(204)을 디스플레이한다. 일부 실시예들에서, 외부 디바이스(300)는 (예컨대, 디바이스(200)와의 통신 링크를 확립하는 것에 응답하여) 통신 링크가 확립되었고/거나 (예컨대, 디바이스(200)로부터 출력 데이터를 성공적으로 수신하는 것에 응답하여, 또는 디바이스(200)로부터 수신된 출력 데이터를 성공적으로 디스플레이하는 것에 응답하여) 콘텐츠가 디스플레이(302) 상에 성공적으로 디스플레이되고 있다는 확인을 디바이스(200)로 전송한다. 옵션적으로, 디바이스(200)가 프라이버시 모드에서 동작하고 있고 통신 링크가 확립되었다는 확인을 수신하지 않거나 통신 링크가 불량하거나 중단되었다고 결정하는 경우, 디바이스(200) 및/또는 외부 디바이스(300)는 통신 링크가 불량하다는 표시를 제공하는 한편(예컨대, "연결이 불량하다"와 같은 메시지를 울리거나(beep) 디스플레이함), 디바이스(200)는 디바이스(200) 상의 콘텐츠의 보호를 유지하기 위해 프라이버시 모드로 유지된다. 연결이 불량한 경우, 디바이스(200)는, 옵션적으로, 사용자가 프라이버시 모드를 나갈 수 있게 하는 제한된 인터페이스(예컨대, 잠재적으로 민감한 콘텐츠를 포함하지 않는, 프라이버시 모드를 나가기 위한 간단한 메뉴)를 디스플레이한다.

도 3a 내지 도 3d에 도시된 실시예에서, 디바이스(200)는 콘텐츠를 디스플레이하지 않지만, 그것은 여전히 프라이버시 모드에 있는 동안 동작들을 수행하기 위한 인터페이스를 제공한다. 예를 들어, 프라이버시 모드에 있는 동안, 디바이스(200)는 도 2a에 도시된 아이콘(206)과 동일한 디스플레이(202) 상의 위치에서 터치 입력(310)(도 3b에 도시됨)을 수신한다. 터치 입력(210)에 응답하여, 디바이스(200)는 메일 애플리케이션을 시작하고, 메일 애플리케이션에 대한 GUI 스크린을 나타내는 출력 데이터를 생성한다. 디바이스(200)가 프라이버시 모드에서 동작하고 있기 때문에, 디바이스(200)는 디스플레이(202) 상에 콘텐츠(예컨대, 메일 애플리케이션에 대한 GUI 스크린(208))를 디스플레이하는 것을 억제하고 출력 데이터를 외부 디바이스(300)로 송신한다. 외부 디바이스(300)는 입력(310)에 응답하여 생성된 출력 데이터를 수신하고, 도 3c에 도시된 바와 같이, 디스플레이(302) 상에 GUI 스크린(208)을 디스플레이한다. 따라서, 외부 디바이스(300)에 의해 디스플레이된 콘텐츠는 디바이스(200)에 의해 검출된 입력(예컨대, 터치 입력(310))에 응답하여 디바이스(200)에 의해 수행되는 동작(예컨대, 이메일 애플리케이션을 시작하는 것)에 따른다. 또한, 외부 디바이스(300)는, 디바이스(200)가 디스플레이(202) 상에 스스로 콘텐츠를 디스플레이하고 있다면 디바이스(200)가 하게 될 것과 같이, 디바이스(200)에서의 입력에 응답하여 디스플레이(202) 상에 디스플레이된 콘텐츠를 업데이트한다.

따라서, 프라이버시 모드에서, 디바이스(200)는 입력들을 수신하고, 그것이 정상 동작 모드에서 하게 될 것과 같이 동작들을 수행하지만, 대응하는 콘텐츠를 디스플레이하지 않는다. 대신에, 콘텐츠는 외부 디바이스(300)의 디스플레이(302) 상에 디스플레이된다. 프라이버시 모드에서 동작하는 동안, 디바이스(200)는 터치-검출 기능을 유지하면서 배터리 수명을 보존하기 위해 터치 스크린 디스플레이(202)의 발광 다이오드들 중 일부 또는 전부에 전력을 공급하는 것을 억제할(예컨대, 디스플레이 LED들을 끔) 수 있다는 것에 유의한다.

도 3a 내지 도 3d가 하나의 예시적인 실시예를 도시한다는 것이 인식되어야 한다. 일부 실시예들에서, 외부 디바이스(300)는, 사용자가 헤드 마운트 시스템에 의해 디스플레이되는 가상 객체(들)(예컨대, GUI 스크린(108))와 조합하여 (적어도 부분적으로) 투명 디스플레이들을 통해 디바이스(200)의 물리적 뷰를 볼 수 있게 하는, 헤드 마운트 시스템(예컨대, 헤드 마운트 디바이스)이다. 일부 실시예들에서, 외부 디바이스(300)는 전술된 특징부들 중 일부 또는 전부를 포함하는 컴퓨터 시뮬레이션된 현실 기술을 수행하는 투영-기반 또는 다른 SR 시스템이다. 일부 실시예들에서, 외부 디바이스(300)는 디스플레이(302)(또는 디스플레이(302)를 포함하는 다른 디바이스)에 유선으로 또는 무선으로(예컨대, 블루투스® 프로토콜을 통해) 연결된다. 일부 예들에서, 외부 디바이스(300)는 디스플레이(302)를 포함하는 헤드 마운트 시스템과 통신하는 컴퓨팅 디바이스(예컨대, 스마트폰)이다. 이는 본 명세서에 설명된 기술들이, 디바이스(200)가 아닌 외부 디바이스(300)와 직접 통신하도록 구성된 디스플레이(예컨대, 헤드셋)로 구현될 수 있게 한다.

외부 디바이스(300)의 디스플레이(302)가 (사용자에 의해 착용된 개인용 헤드셋의 경우에서와 같이) 사용자에 의해서만 볼 수 있을 때, 이러한 특징은, 다른 사람들이 디바이스(200)에 의해 처리되고 있는 콘텐츠(예컨대, 이메일, 문서, 애플리케이션 등) - 이는 전형적으로 디스플레이(202) 상에서 제공되었을 것임 - 를 보는 것을 방지하면서 사용자가 디바이스(200)를 동작시킬 수 있게 함으로써 프라이버시를 제공한다. 예를 들어, 도 4는 헤드 마운트 시스템(450)을 이용해 프라이버시 모드에서 동작하는 디바이스(400)(예컨대, 랩톱 컴퓨터)를 도시한다. 도 4에 도시된 바와 같이, 디바이스(400)는 헤드 마운트 시스템(450)의 디스플레이(452)를 통해 보여질 수 있고, 디스플레이(452) 상에만 제시되는 기밀 문서를 편집하는 데 사용되고 있다. 문서의 콘텐츠가 헤드 마운트 시스템(450)의 디스플레이(452) 상에만 디스플레이되기 때문에, 디바이스(400)는, 예컨대 디바이스(400)가 디바이스(400)의 키보드 및/또는 터치패드 상의 사용자 입력들을 수신하는 것에 의해, 문서를 편집하는 데 개인적으로 사용될 수 있다.

다시 도 3a 내지 도 3d에 도시된 디바이스들로 돌아가면, 일부 실시예들에서, 사용자에 의해 특정하게 지시될 때, 디바이스(200)는 출력 데이터를 하나 초과의 외부 디바이스로(예컨대, 외부 디바이스(300)로 그리고 다른 외부 디바이스로) 송신한다. 예를 들어, 디바이스(200)는 디바이스(200)의 사용자에 의해 동작되는 외부 디바이스로 그리고 다른 사용자들의 외부 디바이스로 출력 데이터를 송신하여, 디바이스(200)의 사용자의 인가된 피어들이 동시에 제시를 볼 수 있게 한다. 이러한 방식으로, 사용자는, 인가되지 않은 사람들로부터 디스플레이(202)의 프라이버시를 유지하면서 사용자에 의해 인가된 이들과 디바이스(200)의 콘텐츠를 공유할 수 있다. 일부 실시예들에서, 특정 사용자 명령 시에, 디바이스(200)는 다수의 디바이스들 상에서의 콘텐츠의 보기를 가능하게 하기 위한 제1 구성 요청을 수신한다. 제1 구성 요청을 수신하는 것에 응답하여, 디바이스(200)는 출력 데이터를 제1 외부 디바이스 및 제2 외부 디바이스로 송신한다. 후속적으로, 디바이스(200)는 다수의 디바이스들 상에서의 콘텐츠의 보기를 디스에이블하기 위한 제2 구성된 요청을 수신한다. 제2 구성 요청을 수신하는 것에 응답하여, 디바이스(200)는 출력 데이터를 제1 외부 디바이스로 계속해서 송신하고 출력 데이터를 제2 외부 디바이스로 송신하는 것을 중지한다.

일부 실시예들에서, 외부 디바이스(300)는 디스플레이(202)의 위치(예컨대, 위치 및/또는 배향)를 결정하고, 디스플레이(202)의 결정된 위치에 기초하여 콘텐츠를 디스플레이한다. 위치는 절대 위치 또는 (예컨대, 디스플레이(302)의 위치에 대한) 상대 위치일 수 있다. 일부 실시예들에서, 외부 디바이스(300)는 디바이스(200)로부터 수신된 위치 데이터에 적어도 부분적으로 기초하여 디스플레이(202)의 위치를 결정한다. 예를 들어, 디바이스(200)는 디스플레이(202)의 위치를 결정하는 센서들(예컨대, 가속도계, 자이로스코프 등)을 포함할 수 있으며, 위치는 이어서 외부 디바이스(300)로 전송된다. 일부 실시예들에서, 외부 디바이스(300)는 (예컨대, 이미지 처리 및/또는 특징부 인식 처리를 사용하여) 디스플레이(202)의 위치를 결정하는 하나 이상의 센서들(예컨대, 외부 카메라)을 포함한다. 외부 디바이스(300)는 또한 외부 디바이스(300) 자체의 위치 및/또는 모션을 결정하기 위한 센서들을 포함할 수 있으며, 이어서 이는 디스플레이(302)에 대한 디스플레이(202)의 위치를 결정하는 데 사용된다.

일부 실시예들에서, 디스플레이(202)의 위치는 디스플레이(302) 상의 콘텐츠의 위치를 결정하는 데 사용된다. 즉, 디스플레이(302) 상의 콘텐츠의 위치는 디스플레이(202)의 위치(예컨대, 디스플레이(202)의 절대 위치 또는 디스플레이(302)에 대한 디스플레이(202)의 위치)에 기초한다. 예를 들어, 도 3a 내지 도 3d에 도시된 실시예에서, GUI 스크린들(204, 208)의 위치는 GUI 스크린들(204, 108)이 디바이스(200)의 디스플레이(202) 상에 중첩되도록 디스플레이(202)의 위치에 대응한다. 다시 말하면, GUI 스크린들(204, 208)은, 그들이 외부 디바이스(300)의 디스플레이(302) 상에 실제로 디스플레이되더라도, 그들이 디바이스(200) 상에 디스플레이되는 것처럼 사용자에게 보인다. 따라서, 외부 디바이스(300)를 사용하여 볼 때, 디바이스(200)는 그것이 정상 모드에 있는 것처럼 보인다. 이는 사용자가 디바이스(200)를 용이하게 동작시킬 수 있게 한다. 예를 들어, 아이콘들이 디스플레이(202) 상에 실제로 디스플레이되지 않기 때문에, 디스플레이(302)를 사용하여 디스플레이(202) 상에 GUI 스크린(204)을 중첩시키는 것은, 사용자가 원하는 동작을 수행하기 위해 디스플레이의 정확한 영역을 터치하는 것을 돕는다.

일부 실시예들에서, 디바이스(200)는 디스플레이(202)의 업데이트된 위치를 추가로 결정하고, 이어서 업데이트된 위치에 기초하여 디스플레이(302) 상의 콘텐츠의 위치를 변화시킨다. 일부 예들에서, 디바이스(200)는 디스플레이(202)의 위치를 추적하고 콘텐츠의 디스플레이된 위치를 업데이트하여, 디스플레이(202)가 이동함에 따라 콘텐츠가 디스플레이(202) 상에 유지되는 것처럼 보이도록 한다. 일부 실시예들에서, 콘텐츠가 디스플레이(202) 상에 디스플레이되는 외관을 유지하기 위해, 외부 디바이스(300)는, 콘텐츠가 디스플레이(202) 상에 디스플레이되는 것처럼 보이도록, 디바이스(200)로부터의 출력 데이터를 변환한다(예컨대, 디스플레이될 이미지를 병진, 회전, 확대, 축소, 신장, 압축, 또는 달리 조작한다). 예를 들어, 도 3d에 도시된 바와 같이, 디스플레이(202)는 도 3a 내지 도 3c에 도시된 위치와 비교하여 회전되어 있다. 위치의 변화를 보상하기 위해, 외부 디바이스(300)는 GUI 스크린(208)의 이미지를 압축하고, 사용자의 관점에서 보이는 바와 같이, 이미지가 디스플레이(202) 상에 매핑되는 것처럼 보이도록 원근 효과를 적용한다.

도 5는 일부 실시예들에 따른, 전자 디바이스 상에 프라이버시 스크린을 제공하기 위한 방법을 도시하는 흐름도이다. 방법(500)은 제1 디스플레이(예컨대, 디스플레이(202))를 갖는 제1 디바이스(예컨대, 디바이스(200)) 및 제1 디스플레이와 상이한 제2 디스플레이(예컨대, 디스플레이(302))를 갖는 제2 디바이스(예컨대, 디바이스(300))를 포함하는 시스템에서 수행된다. 일부 실시예들에서, 제1 디바이스는 랩톱, 태블릿, 스마트폰, 또는 스마트워치이다. 일부 실시예들에서, 제2 디바이스는 헤드 마운트 디바이스이다. 방법(500)의 일부 동작들은 옵션적으로 조합되고, 일부 동작들의 순서는 옵션적으로 변경되며, 일부 동작들은 옵션적으로 생략된다.

블록(502)에서, 제1 디바이스는 제1 입력(예컨대, 입력(301))을 수신한다. 일부 실시예들에서, 제1 디스플레이는 터치 스크린 디스플레이이고, 제1 입력은 터치 스크린 상의 접촉이다. 블록(504)에서, 제1 디바이스는 제1 입력에 응답하여 출력 데이터를 생성한다. 일부 실시예들에서, 출력 데이터는 시각적 출력(예컨대, 비디오 데이터)을 포함한다.

블록(506)에서, 제1 디바이스는 제1 디바이스가 제1(예컨대, 정상) 모드 또는 제2(예컨대, 프라이버시) 모드에서 동작하고 있는지 여부를 결정한다. 블록(508)에서, 제1 디바이스가 제1 모드에서 동작하고 있는 경우, 제1 디바이스는 출력 데이터에 따라 제1 디스플레이 상에 콘텐츠를 디스플레이한다. 옵션적으로, 제1 디바이스가 제1 모드에서 동작하고 있는 경우, 제1 디바이스는 출력 데이터를 제2 디바이스로 송신하는 것을 억제한다. 블록(510)에서, 제1 디바이스가 제2 모드에서 동작하고 있는 경우, 제1 디바이스는 출력 데이터에 따라 제1 디스플레이 상에 콘텐츠를 디스플레이하는 것을 억제하고, 출력 데이터를 제2 디바이스로 송신한다. 옵션적으로, 출력 데이터에 따라 제1 디스플레이 상에 콘텐츠를 디스플레이하는 것을 억제하는 것은, 제1 디스플레이 상에 어떠한 콘텐츠도 디스플레이하지 않거나, 제1 디스플레이 상에 가시적 콘텐츠를 제시하지 않거나, 제1 디스플레이의 디스플레이 요소들(예컨대, LED들)을 끄는 것을 포함한다. 옵션적으로, 제1 디바이스가 제2 모드에서 동작하고 있는 경우, 제1 디바이스는 출력 데이터를 제1 디바이스 및 제2 디바이스와 상이한 제3 디바이스로 송신한다.

블록(512)에서, 제2 디바이스는 (예컨대, 제2 디스플레이에 대한) 제1 디스플레이의 위치를 (예컨대, 이미지 센서를 사용하여) 결정한다. 일부 실시예들에서, 제1 디스플레이의 위치를 결정하는 것은 제2 디바이스의 이미지 센서로 제1 디바이스의 이미지를 획득하는 것, 및 획득된 이미지를 사용하여 (예컨대, 제2 디스플레이에 대한) 제1 디스플레이의 위치를 결정하는 것을 포함한다. 블록(414)에서, 제2 디바이스는 출력 데이터 및 제1 디스플레이의 결정된 위치에 따라 콘텐츠를 제2 디스플레이 상에 디스플레이한다. 옵션적으로, 제2 디스플레이 상의 콘텐츠의 위치는 제2 디스플레이의 위치에 기초한다. 옵션적으로, 제2 디스플레이 상의 콘텐츠의 위치는 제1 디바이스에 대한 제2 디바이스의 위치에 기초한다. 옵션적으로, 제2 디스플레이 상의 콘텐츠의 위치는 제1 디스플레이의 위치에 대응한다. 일부 실시예들에서, 제1 디바이스의 이미지가 제2 디바이스의 이미지 센서를 사용하여 획득되고, 콘텐츠를 디스플레이하는 것은 획득된 이미지를 사용하여 제1 디바이스의 적어도 일부분의 표현을 (예컨대, 제2 디스플레이 상에) 디스플레이하는 것을 포함한다. 옵션적으로, 제2 디바이스는 (예컨대, 제2 디스플레이에 대한) 제1 디스플레이의 제2 위치를 결정하고, 제1 디스플레이의 결정된 제2 위치에 기초하여 제2 디스플레이 상의 콘텐츠의 위치를 변화시킨다.

도 6은 일부 실시예들에 따른, 전자 디바이스 상에 프라이버시 스크린을 제공하기 위한 방법을 도시하는 흐름도이다. 방법(600)은 제1 디스플레이(예컨대, 디스플레이(302)) 및 옵션적으로 이미지 센서와 결합된 제1 디바이스(예컨대, 디바이스(300))에서 수행된다. 일부 실시예들에서, 제1 디바이스는 시뮬레이션된 현실 특징부들을 지원하는 헤드 마운트 시스템이다. 방법(600)에서의 일부 동작들이 옵션적으로 조합되고, 일부 동작들의 순서들은 옵션적으로 변경된다. 방법(600)에서의 일부 동작들은 옵션적으로 방법(500)에 포함되고, 방법(500)에서의 일부 동작들은 옵션적으로 방법(600)에 포함된다.

블록(602)에서, 제1 디바이스는 제1 디스플레이와 상이한 제2 디스플레이(예컨대, 디스플레이(202))를 갖는 제2 디바이스(예컨대, 디바이스(200))로부터 출력 데이터를 수신한다. 일부 실시예들에서, 제2 디바이스는 랩톱, 태블릿, 스마트폰, 또는 스마트워치이다. 일부 실시예들에서, 출력은 제2 디바이스의 터치 스크린 디스플레이 상의 접촉에 응답하여 제2 디바이스에 의해 생성된다. 옵션적으로, 출력 데이터는 제2 디스플레이 상에서 제2 디바이스에 의해 디스플레이가능한 콘텐츠를 나타낸다. 옵션적으로, 콘텐츠는 시각적 출력(예컨대, 비디오 데이터)을 포함한다.

블록(604)에서, 제1 디바이스는 (예컨대, 제1 디바이스에 대한) 제2 디스플레이의 위치를 (예컨대, 이미지 센서를 사용하여) 결정한다. 블록(506)에서, 제1 디바이스는, 제2 디바이스로부터 수신된 출력 데이터 및 제2 디스플레이의 결정된 위치에 기초하여 제1 디스플레이가 콘텐츠를 디스플레이하게 한다. 일부 실시예들에서, 제2 디바이스의 이미지가 (예컨대, 제1 디바이스의 이미지 센서를 사용하여) 획득되고, 제1 디스플레이가 콘텐츠를 디스플레이하게 하는 것은 획득된 이미지를 사용하여 제1 디바이스의 적어도 일부분의 표현의 디스플레이를 야기하는 것을 포함한다. 옵션적으로, 콘텐츠의 위치(예컨대, 제1 디스플레이 상의 콘텐츠의 디스플레이 위치)는 제2 디스플레이의 위치에 기초한다. 옵션적으로, 콘텐츠의 위치(예컨대, 제1 디스플레이 상의 콘텐츠의 디스플레이 위치)는 제2 디스플레이의 위치에 대응한다. 옵션적으로, 제1 디바이스는 (예컨대, 제1 디스플레이에 대한) 제2 디스플레이의 제2 위치를 결정하고, 제2 디스플레이의 결정된 제2 위치에 기초하여 콘텐츠의 위치를 변화시킨다. 옵션적으로, 제1 디바이스는 제2 디바이스에서의 입력(예컨대, 입력(310))에 응답하여 제1 디스플레이에서 디스플레이된 콘텐츠를 업데이트한다. 옵션적으로, 업데이트된 콘텐츠는 제2 디바이스에 의해 검출된 입력에 응답하여 제2 디바이스에 의해 수행되는 동작에 따른다.

일부 실시예들에서, 콘텐츠는 제1 디스플레이가 콘텐츠를 디스플레이하고 있는 동안 제2 디바이스에 의해 제2 디스플레이 상에 디스플레이되지 않는다. 옵션적으로, 제1 디바이스는 제2 디스플레이 상에 콘텐츠를 디스플레이하는 것을 억제하거나 제2 디스플레이 상에 가시적 콘텐츠를 제시하는 것을 억제하기 위한 명령어들을 제2 디바이스로 전송한다. 옵션적으로, 명령어들은 제2 디스플레이의 요소들을 끄기 위한 명령어들을 포함한다. 일부 실시예들에서, 제1 디바이스는 제1 디바이스와 제2 디바이스 사이의 통신 링크가 확립되었다는 확인을 제2 디바이스로 전송한다. 옵션적으로, 제1 디바이스는 통신 링크가 중단되는 것에 응답하여 표시를 제공한다. 일부 실시예들에서, 제1 디바이스는 콘텐츠가 제1 디스플레이 및 제2 디스플레이와 상이한 제3 디스플레이 상에 디스플레이되게 한다.

전술된 방법들(500 및/또는 600)의 특징부들을 수행하기 위한 실행가능 명령어들은, 옵션적으로, 일시적인 또는 비일시적 컴퓨터 판독가능 저장 매체(예컨대, 메모리(들)(106)) 또는 하나 이상의 프로세서들(예컨대, 프로세서(들)(102))에 의한 실행을 위해 구성된 기타 컴퓨터 프로그램 제품에 포함된다.

전술된 기술들의 양태들은 전자 디바이스 상의 개선된 프라이버시 스크린을 제공하기 위해 개인 정보를 수집 및 사용할 가능성을 고려한다. 그러한 정보는 사용자의 고지에 입각한 동의에 따라 수집되어야 한다.

그러한 개인 정보를 다루는 엔티티들은 (예컨대, 이들은 제3자에 의해 보증되는) 잘 확립된 프라이버시 관례들 및/또는 프라이버시 정책들을 준수할 것이며, 이는 (1) 일반적으로 산업 또는 정부 요건을 충족하거나 초과하는 것으로 인식되고, (2) 사용자-액세스가능하고, (3) 필요에 따라 업데이트되고, (4) 적용가능한 법률들에 부합하는 것이다. 그러한 개인 정보를 다루는 엔티티들은, 적법한 사용들을 벗어나 공유하거나 판매하지 않고, 합리적이고 적법한 사용들을 위해 정보를 사용할 것이다.

그러나, 사용자들은 개인 정보의 액세스/사용을 선택적으로 제한할 수 있다. 예를 들어, 사용자들은 그들의 개인 정보의 수집을 동의하거나 동의하지 않을 수 있다. 또한, 전술된 기술들의 양태들이 개인 정보의 사용을 고려하지만, 기술들의 양태들은 개인 정보를 요구하거나 사용하지 않고서 구현될 수 있다. 예를 들어, 위치 정보, 사용자명들, 및/또는 주소들이 수집되면, 이들은 개인을 고유하게 식별하지 않도록 일반화되고/되거나 마스킹될 수 있다.

전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 설명되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 실시예들은 기술들의 원리 및 그것들의 실제적인 응용을 가장 잘 설명하기 위하여 선택되고 기술되었다. 따라서, 통상의 기술자들은 고려된 특정 사용에 적합한 바와 같이 다양한 수정을 이용하여 기술들 및 다양한 실시예들을 최상으로 활용하는 것이 가능하게 된다.

본 개시내용 및 예들이 첨부의 도면들을 참조하여 충분히 기술되었지만, 당업자들에게 다양한 변경들 및 수정들이 명백할 것이라는 것에 주목하여야 한다. 그러한 변경들 및 수정들은 청구항들에 의해 정의되는 바와 같은 개시내용 및 예들의 범주 내에 포함되는 것으로 이해되어야 한다.

Claims

제1 디스플레이를 갖는 제1 디바이스 및 상기 제1 디스플레이와 상이한 제2 디스플레이를 갖는 제2 디바이스를 포함하는 시스템을 동작시키는 방법으로서,
입력에 응답하여, 상기 제1 디바이스에 의해 출력 데이터를 생성하는 단계;
상기 제1 디바이스가 제1 모드 또는 제2 모드에서 동작하고 있는지 여부를 결정하는 단계;
상기 제1 디바이스가 상기 제1 모드에서 동작하고 있는 경우, 상기 출력 데이터에 따라 상기 제1 디스플레이 상에 콘텐츠를 디스플레이하는 단계;
상기 제1 디바이스가 상기 제2 모드에서 동작하고 있는 경우, 상기 출력 데이터에 따라 상기 제1 디스플레이 상에 콘텐츠를 디스플레이하는 것을 억제하고, 상기 출력 데이터를 상기 제2 디바이스로 송신하는 단계;
이미지 센서를 사용하여, 상기 제2 디스플레이에 대한 상기 제1 디스플레이의 위치를 결정하는 단계; 및
상기 제2 디스플레이에 대한 상기 제1 디스플레이의 상기 결정된 위치 및 상기 출력 데이터에 따라 콘텐츠를 상기 제2 디스플레이 상에 디스플레이하는 단계를 포함하는, 방법.
제1항에 있어서, 이미지 센서를 사용하여, 상기 제2 디스플레이에 대한 상기 제1 디스플레이의 위치를 결정하는 단계는,
상기 제2 디바이스의 이미지 센서를 사용하여, 상기 제1 디바이스의 이미지를 획득하는 단계; 및
상기 획득된 이미지를 사용하여, 상기 제2 디스플레이에 대한 상기 제1 디스플레이의 상기 위치를 결정하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 방법은,
상기 제2 디바이스의 이미지 센서를 사용하여, 상기 제1 디바이스의 이미지를 획득하는 단계를 추가로 포함하며,
상기 제2 디스플레이에 대한 상기 제1 디스플레이의 상기 결정된 위치 및 상기 출력 데이터에 따라 콘텐츠를 상기 제2 디스플레이 상에 디스플레이하는 단계는,
상기 획득된 이미지를 사용하여 상기 제1 디바이스의 적어도 일부분의 표현을 상기 제2 디스플레이 상에 디스플레이하는 단계를 포함하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제2 디스플레이에 대한 상기 제1 디스플레이의 제2 위치를 결정하는 단계; 및
상기 제1 디스플레이의 상기 결정된 제2 위치에 기초하여 상기 제2 디스플레이 상의 상기 콘텐츠의 위치를 변화시키는 단계를 추가로 포함하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 출력 데이터에 따라 상기 제1 디스플레이 상에 콘텐츠를 디스플레이하는 것을 억제하는 단계는 상기 제1 디스플레이 상에 가시적 콘텐츠를 제시하지 않는 단계를 포함하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 출력 데이터에 따라 상기 제1 디스플레이 상에 콘텐츠를 디스플레이하는 것을 억제하는 단계는 상기 제1 디스플레이의 디스플레이 요소들을 끄는 단계를 포함하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제1 디스플레이는 터치 스크린 디스플레이이고 상기 입력은 상기 터치 스크린 디스플레이 상의 접촉인, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제2 디바이스는 헤드 마운트 디바이스(head-mounted device)인, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 출력 데이터는 시각적 출력을 포함하는, 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
디스플레이들을 갖는 전자 디바이스들을 포함하는 시스템으로서,
제1 디스플레이를 갖는 제1 전자 디바이스;
제2 디스플레이를 갖는 제2 전자 디바이스;
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은 제1항 내지 제3항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 시스템.
제1 디스플레이를 갖는 제1 전자 디바이스 및 제2 디스플레이를 갖는 제2 전자 디바이스를 갖는 시스템의 하나 이상의 프로세서들에 의한 실행을 위한 하나 이상의 프로그램들을 포함하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 시스템으로 하여금 제1항 내지 제3항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제