KR20220038689A - 컴퓨팅 디바이스 및 확장 현실 통합 - Google Patents

컴퓨팅 디바이스 및 확장 현실 통합 Download PDF

Info

Publication number
KR20220038689A
KR20220038689A KR1020227002997A KR20227002997A KR20220038689A KR 20220038689 A KR20220038689 A KR 20220038689A KR 1020227002997 A KR1020227002997 A KR 1020227002997A KR 20227002997 A KR20227002997 A KR 20227002997A KR 20220038689 A KR20220038689 A KR 20220038689A
Authority
KR
South Korea
Prior art keywords
content
composite representation
displayed
display
virtual reality
Prior art date
Application number
KR1020227002997A
Other languages
English (en)
Inventor
더글라스 브렘스
로버트 타르츠
로빈 테레사 올리버
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20220038689A publication Critical patent/KR20220038689A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)

Abstract

모바일 디바이스 및 확장 현실(extended reality) 경험들을 통합하기 위한 기법들이 제공된다. 확장 현실 기술들은 VR(virtual reality), AR(augmented reality), MR(mixed reality) 등을 포함할 수 있다. 일부 예들에서, 디바이스(예컨대, 모바일 디바이스, 이를테면 휴대 전화 또는 다른 타입의 디바이스)의 합성(또는 가상) 표현이 생성되고, VR 디바이스(예컨대, HMD(head-mounted display))에 의해 디스플레이되는 VR 콘텐츠와 함께 디스플레이될 수 있다. 다른 예에서, 디바이스로부터의 콘텐츠(예컨대, 디바이스에 의해 재생되는 오디오 콘텐츠 및/또는 디스플레이되는 시각적 콘텐츠)가, VR 디바이스에 의해 디스플레이되는 VR 콘텐츠와 함께 출력될 수 있다. 다른 예에서, 디바이스의 카메라에 의해 캡처되는 하나 이상의 이미지들 및/또는 디바이스의 마이크로폰에 의해 획득되는 오디오가 가상 현실 디바이스에 의해 디바이스로부터 획득될 수 있고, 가상 현실 디바이스에 의해 출력될 수 있다.

Description

컴퓨팅 디바이스 및 확장 현실 통합
[0001] 본 개시내용은 일반적으로, 컴퓨팅 디바이스 및 확장 현실(extended reality) 경험들의 통합을 제공하기 위한 기법들 및 시스템들에 관한 것이다.
[0002] 확장 현실 기술들은 사용자들에게 가상 콘텐츠(virtual content)를 제시하는 데 사용될 수 있고, 그리고/또는 물리적 세계로부터의 실제 환경들과 가상 환경들을 결합하여 사용자들에게 확장 현실 경험들을 제공할 수 있다. 확장 현실이라는 용어는 가상 현실(virtual reality), 증강 현실(augmented reality), 혼합 현실(mixed reality) 등을 포함할 수 있다. 이러한 형태들의 각각의 확장 현실은, 사용자들이 몰입형(immersive) 가상 환경들 또는 콘텐츠를 경험하거나 상호 작용할 수 있게 한다. 예컨대, 확장 현실 경험은, 사용자가, 가상 콘텐츠로 향상되거나 증강된 실제 또는 물리적 환경과 상호 작용할 수 있게 할 수 있다. 확장 현실 기술들은, 이를테면 엔터테인먼트, 건강 관리, 소매업, 교육, 소셜 미디어 등과 같은 광범위한 상황들에서 사용자 경험들을 향상시키기 위해 구현될 수 있다.
[0003] 일부 예들에서, 컴퓨팅 디바이스 및 확장 현실 경험들을 통합하기 위한 시스템들, 방법들, 및 컴퓨터-판독가능 매체들이 설명된다. 예컨대, 본원에서 설명되는 기법들은, 확장 현실 경험을 즐기는 사용자가, 확장 현실 경험을 방해하지 않으면서, 컴퓨팅 디바이스(예컨대, 모바일 디바이스, 이를테면 휴대 전화, 웨어러블 디바이스, 또는 다른 타입의 디바이스) 또는 컴퓨팅 디바이스의 하나 이상의 기능들을 매끄럽게(seamlessly) 사용하는 것을 가능하게 할 수 있다.
[0004] 예시적인 일 예에서, 사용자의 컴퓨팅 디바이스(예컨대, 모바일 디바이스, 이를테면 휴대 전화, 웨어러블 디바이스, 또는 다른 타입의 디바이스)의 합성(또는 가상) 표현이 생성되고, 가상 현실 디바이스(예컨대, HMD(head-mounted display))에 의해 디스플레이되는 가상 현실 콘텐츠와 함께 디스플레이될 수 있다. 다른 예에서, 컴퓨팅 디바이스로부터의 콘텐츠(예컨대, 디바이스에 의해 디스플레이되고 있는 콘텐츠, 컴퓨팅 디바이스에 의해 수신된 메시지, 컴퓨팅 디바이스에 의해 생성된 통지, 및/또는 다른 콘텐츠)가, 가상 현실 디바이스에 의해 디스플레이되는 가상 현실 콘텐츠와 함께 디스플레이될 수 있다. 다른 예에서, 컴퓨팅 디바이스로부터의 오디오 콘텐츠(예컨대, 음성 메시지, 비디오 메시지, 브라우저 콘텐츠, 전화 통화, 스트리밍되거나 또는 로컬로 저장된(locally-stored) 음악, 및/또는 다른 오디오 콘텐츠)가, (예컨대, 가상 현실 디바이스의 하나 이상의 스피커들을 통해) 가상 현실 디바이스에 의해 재생될 수 있다. 일부 경우들에서, 오디오 콘텐츠는, 컴퓨팅 디바이스로부터의 시각적 콘텐츠(visual content)를 디스플레이하면서, 가상 현실 디바이스에 의해 재생될 수 있다. 그러한 예들에서, 사용자는 가상 현실 콘텐츠와 함께 컴퓨팅 디바이스 및/또는 컴퓨팅 디바이스로부터의 콘텐츠를 볼 수 있어서, 사용자가, (예컨대, 여전히 HMD를 착용하고 있는 동안) 가상 현실 디바이스를 제거하지 않으면서 컴퓨팅 디바이스와 상호 작용(예컨대, 휴대 전화의 하나 이상의 애플리케이션들을 제어)할 수 있게 할 수 있다. 가상 현실 콘텐츠는, 컴퓨팅 디바이스의 합성 표현이 디스플레이될 때 가상 현실 디바이스에 의해 계속 디스플레이될 수 있거나, 또는 컴퓨팅 디바이스의 합성 표현이 가상 현실 디바이스에 의해 디스플레이되는 동안 일시 정지될 수 있다.
[0005] 예시적인 다른 예에서, 컴퓨팅 디바이스(예컨대, 모바일 디바이스, 이를테면 휴대 전화, 웨어러블 디바이스, 또는 다른 타입의 디바이스)의 카메라에 의해 캡처되는 하나 이상의 이미지들이 가상 현실 디바이스에 의해 그러한 디바이스로부터 획득될 수 있다. 가상 현실 디바이스는, 가상 현실 디바이스(예컨대, HMD)를 통해 보여지는 가상 현실 콘텐츠와 함께, 그러한 하나 이상의 이미지들을 디스플레이할 수 있다. 그러한 예에서, 사용자는, (예컨대, 여전히 HMD를 착용하고 있는 동안) 가상 현실 디바이스를 제거하지 않으면서 (하나 이상의 이미지들에 의해 캡처되는) 실제 세계(real world)를 볼 수 있다. 일부 경우들에서, 컴퓨팅 디바이스의 마이크로폰으로부터의 오디오가 가상 현실 디바이스에 제공될 수 있다. 예컨대, 컴퓨팅 디바이스의 마이크로폰으로부터의 오디오를 제공하는 것은, 사용자가 가상 현실 디바이스를 제거할 필요 없이, 실제 세계에서 일어나고 있는 것을 인지할 수 있게 할 수 있다.
[0006] 예시적인 일 예에 따르면, 하나 이상의 오브젝트(object)들의 하나 이상의 크기들을 결정하는 방법이 제공된다. 방법은: 제1 디바이스가, 가상 현실 콘텐츠를 디스플레이하는 단계; 제1 디바이스가, 제2 디바이스의 합성 표현을 획득하는 단계; 제1 디바이스가, 가상 현실 콘텐츠와 함께 제2 디바이스의 합성 표현을 디스플레이하는 단계; 제1 디바이스가, 제2 디바이스의 기능성(functionality)의 변경(change)을 요청하는 입력을 수신하는 단계; 및 제1 디바이스에 의해 수신된 입력에 기반하여, 제2 디바이스의 합성 표현의 변경을 디스플레이하는 단계를 포함하고, 제2 디바이스의 합성 표현의 변경은 제2 디바이스의 기능성의 변경을 표현한다.
[0007] 다른 예에서, 하나 이상의 오브젝트들의 하나 이상의 크기들을 결정하기 위한 장치가 제공되고, 이 장치는 하나 이상의 이미지들을 저장하도록 구성된 메모리, 및 회로(circuitry)로 구현되며 그리고 메모리에 커플링되는 하나 이상의 프로세서들을 포함한다. 하나 이상의 프로세서들은: 가상 현실 콘텐츠가 디스플레이 상에 디스플레이되게 하도록; 디바이스의 합성 표현을 획득하도록; 디스플레이 상에 가상 현실 콘텐츠와 함께 디바이스의 합성 표현이 디스플레이되게 하도록; 디바이스의 기능성의 변경을 요청하는 입력을 수신하도록; 그리고 수신된 입력에 기반하여, 디바이스의 합성 표현의 변경이 디스플레이 상에 디스플레이되게 하도록 구성되고 그리고 이러한 동작들을 수행할 수 있으며, 디바이스의 합성 표현의 변경은 디바이스의 기능성의 변경을 표현한다.
[0008] 다른 예에서, 명령들이 저장되어 있는 비-일시적인 컴퓨터-판독가능 매체가 제공되며, 명령들은 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금: 가상 현실 콘텐츠가 제1 디바이스에 의해 디스플레이되게 하고; 제1 디바이스가, 제2 디바이스의 합성 표현을 획득하게 하고; 가상 현실 콘텐츠와 함께 제2 디바이스의 합성 표현이 디스플레이되게 하고; 제1 디바이스가, 제2 디바이스의 기능성의 변경을 요청하는 입력을 수신하게 하고; 그리고 제1 디바이스에 의해 수신된 입력에 기반하여, 제2 디바이스의 합성 표현의 변경이 제1 디바이스에 의해 디스플레이되게 하고, 제2 디바이스의 합성 표현의 변경은 제2 디바이스의 기능성의 변경을 표현한다.
[0009] 다른 예에서, 하나 이상의 오브젝트들의 하나 이상의 크기들을 결정하기 위한 장치가 제공된다. 장치는: 제1 디바이스가, 가상 현실 콘텐츠를 디스플레이하기 위한 수단; 제1 디바이스가, 제2 디바이스의 합성 표현을 획득하기 위한 수단; 제1 디바이스가, 가상 현실 콘텐츠와 함께 제2 디바이스의 합성 표현을 디스플레이하기 위한 수단; 제1 디바이스가, 제2 디바이스의 기능성의 변경을 요청하는 입력을 수신하기 위한 수단; 및 제1 디바이스에 의해 수신된 입력에 기반하여, 제2 디바이스의 합성 표현의 변경을 디스플레이하기 위한 수단을 포함하고, 제2 디바이스의 합성 표현의 변경은 제2 디바이스의 기능성의 변경을 표현한다.
[0010] 일부 양상들에서, 제2 디바이스의 합성 표현은 제2 디바이스의 디스플레이의 합성 표현을 포함하며, 제2 디바이스에 의해 디스플레이되는 콘텐츠는 제2 디바이스의 디스플레이의 합성 표현 내에 디스플레이된다.
[0011] 일부 양상들에서, 위에서 설명된 방법, 장치들, 및 컴퓨터-판독가능 매체는: 제1 디바이스가, 제2 디바이스에 의해 프로세싱되는 하나 이상의 입력들의 표시를 수신하는 것; 및 제2 디바이스에 의해 프로세싱되는 하나 이상의 입력들의 표시에 기반하여, 제2 디바이스의 합성 표현의 부가적인 변경을 디스플레이하는 것을 더 포함하고, 제2 디바이스의 합성 표현의 부가적인 변경은 제2 디바이스의 기능성의 부가적인 변경을 표현한다.
[0012] 일부 양상들에서, 제2 디바이스의 합성 표현은 가상 현실 콘텐츠 위에 오버레이(overlay)된다. 일부 양상들에서, 제1 디바이스는 가상 현실 헤드 장착형 디스플레이(virtual reality head mounted display)를 포함한다. 일부 양상들에서, 제2 디바이스는 모바일 디바이스를 포함한다.
[0013] 일부 양상들에서, 위에서 설명된 방법, 장치들, 및 컴퓨터-판독가능 매체는: 제1 디바이스가, 제2 디바이스로부터 오디오 콘텐츠를 획득하는 것; 및 제1 디바이스가, 제2 디바이스로부터의 오디오 콘텐츠를 재생하는 것을 더 포함한다.
[0014] 일부 양상들에서, 위에서 설명된 방법, 장치들, 및 컴퓨터-판독가능 매체는: 제1 디바이스가, 제2 디바이스의 마이크로폰에 의해 캡처되는 오디오 콘텐츠를 획득하는 것; 및 제1 디바이스가, 오디오 콘텐츠를 재생하는 것을 더 포함한다.
[0015] 일부 양상들에서, 위에서 설명된 방법, 장치들, 및 컴퓨터-판독가능 매체는: 제1 디바이스가, 제2 디바이스의 카메라에 의해 캡처되는 하나 이상의 이미지들을 획득하는 것; 및 제1 디바이스가, 가상 현실 콘텐츠와 함께 하나 이상의 이미지들을 디스플레이하는 것을 더 포함한다. 일부 양상들에서, 하나 이상의 이미지들은 제2 디바이스의 카메라에 의해 캡처되는 비디오의 일부이다. 일부 양상들에서, 하나 이상의 이미지들은 제2 디바이스의 합성 표현의 일부로서 가상 현실 콘텐츠와 함께 디스플레이된다. 일부 양상들에서, 하나 이상의 이미지들은 제2 디바이스의 디스플레이의 합성 표현 내에 디스플레이된다.
[0016] 일부 양상들에서, 위에서 설명된 방법, 장치들, 및 컴퓨터-판독가능 매체는: 제1 디바이스가, 제2 디바이스의 마이크로폰에 의해 캡처되는 오디오 콘텐츠를 획득하는 것; 및 제1 디바이스가, 가상 현실 콘텐츠와 함께 하나 이상의 이미지들을 디스플레이하면서 오디오 콘텐츠를 재생하는 것을 더 포함한다.
[0017] 일부 양상들에서, 위에서 설명된 방법, 장치들, 및 컴퓨터-판독가능 매체는: 트리거(trigger)를 수신하는 것; 및 트리거를 수신하는 것에 기반하여, 가상 현실 콘텐츠와 함께 제2 디바이스의 합성 표현을 디스플레이하는 것을 더 포함한다. 일부 양상들에서, 트리거는 제2 디바이스로부터 수신되는 정보에 기반한다.
[0018] 일부 양상들에서, 위에서 설명된 방법, 장치들, 및 컴퓨터-판독가능 매체는: 제거 트리거(removal trigger)를 수신하는 것; 및 제1 디바이스가, 트리거를 수신하는 것에 기반하여, 디스플레이로부터 제2 디바이스의 합성 표현을 제거하는 것을 더 포함한다.
[0019] 본 개요는, 청구되는 청구대상의 핵심적인 또는 필수적인 특징들을 식별하는 것으로 의도되지 않으며, 청구되는 청구대상의 범위를 결정하기 위해 별도로 사용하고자 의도되는 것도 아니다. 청구대상은 본 특허의 전체 명세서의 적절한 부분들, 임의의 또는 모든 도면들, 및 각각의 청구항을 참조하여 이해되어야 한다.
[0020] 전술한 내용은 다른 특징들 및 실시예들과 함께, 다음의 명세서, 청구항들, 및 첨부 도면들을 참조하면 더 명백해질 것이다.
[0021] 본 출원의 예시적인 실시예들은 다음의 도면들을 참조하여 아래에서 상세히 설명된다.
[0022] 도 1은 일부 예들에 따른, 가상 현실 디바이스에 의해 디스플레이되는 가상 콘텐츠의 예를 예시하는 도면이다.
[0023] 도 2는 일부 예들에 따른, 가상 콘텐츠와 함께 디스플레이되는 디바이스의 합성 표현의 예를 예시하는 도면이고, 여기서, 디바이스의 합성 표현 및 가상 콘텐츠는 가상 현실 디바이스에 의해 디스플레이된다.
[0024] 도 3은 일부 예들에 따른, 가상 콘텐츠와 함께 디스플레이되는 디바이스의 콘텐츠의 예를 예시하는 도면이고, 여기서, 디바이스의 콘텐츠 및 가상 콘텐츠는 가상 현실 디바이스에 의해 디스플레이된다.
[0025] 도 4는 일부 예들에 따른, 가상 콘텐츠와 함께 디스플레이되는, 디바이스에 의해 캡처된 이미지의 예를 예시하는 도면이고, 여기서, 이미지 및 가상 콘텐츠는 가상 현실 디바이스에 의해 디스플레이된다.
[0026] 도 5는 일부 예들에 따른, 가상 현실 디바이스에 의한 실제 세계의 디스플레이와 가상 콘텐츠의 디스플레이 사이의 스위칭의 예를 예시하는 도면이다.
[0027] 도 6은 일부 예들에 따른, 가상 현실 디바이스의 컴포넌트들의 예를 예시하는 도면이다.
[0028] 도 7은 일부 예들에 따른, 상이한 디스플레이 계층(display layer)들의 예를 예시하는 도면이다.
[0029] 도 8은 일부 예들에 따른, 가상 현실 디바이스의 컴포넌트들의 다른 예를 예시하는 도면이다.
[0030] 도 9는 일부 예들에 따른, 가상 콘텐츠를 디스플레이하기 위한 프로세스의 예를 예시하는 흐름도이다.
[0031] 도 10은 일부 예들에 따른, 가상 콘텐츠를 디스플레이하기 위한 프로세스의 다른 예를 예시하는 흐름도이다.
[0032] 도 11은 일부 예들에 따른, 가상 콘텐츠를 디스플레이하기 위한 프로세스의 다른 예를 예시하는 흐름도이다.
[0033] 도 12는 본원에서 설명되는 다양한 기법들을 구현할 수 있는 예시적인 컴퓨팅 디바이스의 예시적인 컴퓨팅 디바이스 아키텍처이다.
[0034] 본 개시내용의 특정 양상들 및 실시예들이 아래에 제공된다. 이들 양상들 및 실시예들 중 일부는 독립적으로 적용될 수 있고, 이들 중 일부는 당업자에게 명백한 바와 같이 조합하여 적용될 수 있다. 다음의 설명에서, 설명의 목적들을 위해, 본 출원의 실시예들에 대한 완전한 이해를 제공하기 위해 특정 세부사항들이 제시된다. 그러나, 이러한 특정 세부사항들 없이 다양한 실시예들이 실시될 수 있다는 것이 명백할 것이다. 도면들 및 설명은 제한적인 것으로 의도되지 않는다.
[0035] 다음의 설명은 단지 예시적인 실시예들을 제공하며, 그리고 본 개시내용의 범위, 적용가능성 또는 구성을 제한하도록 의도되지 않는다. 오히려, 예시적인 실시예들의 다음의 설명은 당업자들에게 예시적인 실시예를 구현하기 위한 가능한 설명을 제공할 것이다. 첨부된 청구항들에 제시되는 바와 같은 본 출원의 사상 및 범위로부터 벗어나지 않으면서, 엘리먼트들의 기능 및 어레인지먼트에 있어서 다양한 변화들이 이루어질 수 있다는 것이 이해되어야 한다.
[0036] 이전에 설명된 바와 같이, XR(extended reality) 기술들은 사용자에게 가상 콘텐츠를 제공할 수 있고, 그리고/또는 실제 또는 물리적 환경들과 (가상 콘텐츠로 이루어진) 가상 환경들을 결합하여, 사용자들에게 확장 현실 경험들을 제공할 수 있다. 확장 현실 경험들은 VR(virtual reality), AR(augmented reality), MR(mixed reality), 및/또는 다른 몰입형 콘텐츠(immersive content)를 포함한다. 본원에서 설명되는 예들은 예시적인 목적들을 위해 VR을 사용할 것이다. 그러나, 당업자는, 본원에서 설명되는 기법들이 다른 확장 현실 경험들, 이를테면 AR 및 MR에 적용될 수 있다는 것을 인식할 것이다. 예컨대, 일부 경우들에서, 본원에서 설명되는 기법들은 AR 디바이스들 및/또는 MR 디바이스들에 대해 사용될 수 있다. MR 디바이스는, 가상 콘텐츠와 함께 물리적 현실을 렌더링하기 위해, (예컨대, 도 5와 관련하여 아래에 도시되고 설명되는 바와 같이) 비디오 패스-스루(video pass-through)를 사용할 수 있다. 그러나, 전형적인 비디오 패스-스루 디바이스들의 열악한 품질로 인해, 사용자가 MR 디바이스(예컨대, MR 헤드셋 또는 헤드-장착형 디스플레이)에 사용자의 전화를 대는 경우, 사용자는 전화의 윤곽을 볼 수 있지만, 비디오 패스-스루와 연관된 해상도, 왜곡, 플리커, 및/또는 레이턴시로 인해 콘텐츠를 보지 못할/판독 못할 수 있다. 아래에서 설명되는 기법들을 사용하여, 콘텐츠는 MR 디바이스 디스플레이(예컨대, MR 헤드셋의 디스플레이 또는 헤드-장착형 디스플레이) 상에서 사용자에 의해 용이하게 보여질 수 있다.
[0037] VR은, 외견상 실제적인 또는 물리적인 방식으로 상호 작용할 수 있는 3차원의, 때로는 컴퓨터-생성 환경을 설명한다. VR 환경을 경험하고 있는 사용자가 실제 세계에서 이동함에 따라, 가상 환경에서 렌더링되는 이미지들이 또한 변경되어, 사용자에게 자신이 가상 환경 내에서 이동하고 있다는 인식을 제공한다. 예컨대, 사용자는 좌회전 또는 우회전하고, 위 또는 아래를 보고, 그리고/또는 전방 또는 후방으로 이동할 수 있어서, 가상 환경에 대한 사용자의 관점을 변경할 수 있다. 사용자가 이동함에 따라, 사용자에게 제시되는 VR 콘텐츠가 그에 따라 변경될 수 있으며, 따라서, 사용자의 경험은 실제 세계에서와 같이 매끄럽게 된다. 일부 경우들에서, VR 콘텐츠는, 매우 높은 품질로 캡처 및 렌더링될 수 있는 VR 비디오를 포함할 수 있어서, 잠재적으로 진정한 몰입형 가상 현실 경험을 제공할 수 있다. VR 애플리케이션들은 게임, 훈련, 교육, 비디오(예컨대, 특히, 스포츠 이벤트들, 영화들, 쇼들), 온라인 쇼핑, 원격 동작들(예컨대, 특히, 로봇의 원격 제어, 무인 항공기, 원격 수술), 및/또는 다른 애플리케이션들을 포함한다.
[0038] 다양한 디바이스들이 XR 콘텐츠를 렌더링하는 데 사용될 수 있다. 예컨대, VR 콘텐츠는, VR 경험 동안 사용자의 눈을 완전히 덮는 VR 장비, 이를테면 HMD(head mounted display) 또는 다른 VR 헤드셋들을 사용하여 렌더링 및 디스플레이될 수 있다. 도 1은 사용자(100)가 착용하고 있는 VR 헤드셋(102)에 의해 디스플레이되는 가상 콘텐츠의 예를 예시하는 도면이다. 도시된 바와 같이, 사용자는 (VR 프레임(110)에 의해 예시된 바와 같이) VR 환경에 완전히 몰입된다.
[0039] VR 장비가 사용자의 눈을 그리고 일부 경우들에서는 사용자의 귀를 완전히 덮을 수 있기 때문에, 사용자는 가상 현실 환경에 몰입되는 동안 다른 디바이스들(예컨대, 휴대 전화) 및/또는 실제 세계와 상호 작용을 하지 못할 수 있다. 예컨대, 일부 경우들에서, 사용자의 전화 또는 다른 컴퓨팅 디바이스는 VR 헤드셋(또는 다른 VR 디바이스)을 위한 제어기로서 사용될 수 있지만, 사용자가 VR 경험에 몰입되는 동안 전화의 애플리케이션들 및/또는 기타 기능성들과 상호 작용할 수 있는 능력이 없다. 또한, VR 헤드셋을 사용하는 경우, 사용자는 자신을 둘러싼 실제 환경에서 발생하는 일에 취약하고 소외감을 느낄 수 있다. 일부 경우들에서, VR 헤드셋에 의해 제공되는 오디오는 사용자가 외부 세계로부터의 소리들을 듣지 못하게 할 수 있다. VR 경험에 관여(engage)하고 있을 때, 사용자가, VR 헤드셋을 제거하지 않으면서 그리고 가상 현실 경험을 일시 정지하거나 중단하지 않으면서, 실제 세계에서 일어나는 일을 시각적으로 그리고/또는 청각적으로 체크할 수 있는 용이한 방법을 제공하는 것이 유리할 것이다. 사용자가 물리적 환경을 체크하고 그리고/또는 다른 디바이스와 상호 작용할 수 있도록, VR 헤드셋이 제거될 수 있지만(이 경우, VR 콘텐츠는 일시 정지되거나 중단될 필요가 있음), 사용자가 자신의 전화(또는 다른 컴퓨팅 디바이스)를 보거나 또는 환경을 체크하기를 원할 때마다 헤드셋을 제거하는 것은 지루한 작업이 될 수 있으며, 열악한 VR 사용자 경험을 초래할 수 있다.
[0040] 컴퓨팅 디바이스 및 확장 현실 경험들을 통합하기 위한 시스템들, 방법들, 및 컴퓨터-판독가능 매체들이 본원에서 설명된다. 위에서 언급된 바와 같이, XR 경험의 예로서 VR을 사용하는 예들이 본원에서 제공될 것이다. 그러나, 당업자는 본원에서 설명되는 기법들이 다른 타입들의 XR 경험들에 적용될 수 있다는 것을 인식할 것이다.
[0041] 본원에서 설명되는 기법들에 따르면, VR 디바이스는 다수의 상이한 동작 모드들을 포함할 수 있다. VR 디바이스는 VR 헤드셋, 이를테면, HMD(head mounted display)를 포함할 수 있다. VR 디바이스는, 사용자가 VR 디바이스에 의해 디스플레이되고 있는 VR 경험을 일시 정지시키거나 또는 중단시키지 않으면서, 다수의 모드들 사이에서 토글링(toggle)하는 것을 가능하게 할 수 있다. 예컨대, 사용자가 토글링할 수 있는 다양한 모드들은, 정규(regular) VR 모드(도 1에 도시되고, 위에서 논의됨), VR 콘텐츠 위에 오버레이되는 실제 현실의 컴퓨팅 디바이스로부터의 콘텐츠 및/또는 그러한 컴퓨팅 디바이스의 합성 표현을 갖는 VR 모드(도 2 및 도 3에 도시되고, 아래에서 논의됨), VR 콘텐츠 위에 오버레이되는 외부 세계의 엿보기(peek)를 갖는 VR 모드(도 4에 도시되고, 아래에서 논의됨), 및/또는 VR 디바이스를 통해 실제 세계 환경을 보는 것과 VR 콘텐츠를 보는 것 사이의 완전한 스위칭(도 5에 도시되고, 아래에서 논의됨)을 포함한다. 컴퓨팅 디바이스는 모바일 디바이스(예컨대, 휴대 전화, 태블릿 컴퓨터, 또는 다른 모바일 디바이스), 웨어러블 디바이스(예컨대, 스마트 워치, 심박수 모니터, 또는 다른 웨어러블 디바이스), IoT(Internet-of-Things) 디바이스, 원격 제어기(예컨대, 텔레비전 리모트(remote), 또는 다른 원격 제어기), 또는 다른 타입의 디바이스를 포함할 수 있다.
[0042] 사용자는 하나 이상의 입력들을 사용하여 상이한 모드들 사이를 토글링할 수 있다. 모드들 중 하나 이상의 모드들로 스위칭하기 위한 입력은 사용자에 의해 제공되는 임의의 적절한 입력, 이를테면, 컴퓨팅 디바이스 및/또는 VR 디바이스의 오디오 입력 디바이스(예컨대, 마이크로폰)를 사용하여 검출되는 음성 입력, 컴퓨팅 디바이스 및/또는 VR 디바이스의 터치 인터페이스 상의 터치 입력, 컴퓨팅 디바이스 및/또는 VR 디바이스의 하나 이상의 센서들을 사용하여 검출되는 제스처(gesture) 입력, 컴퓨팅 디바이스 또는 VR 디바이스의 물리적 버튼, VR 디바이스를 제어할 수 있는 VR 제어기 디바이스 상의 물리적 버튼의 선택, 컴퓨팅 디바이스 또는 VR 디바이스에 의해 디스플레이되는 아이콘 또는 가상 버튼의 선택(예컨대, 사용자가 아이콘을 누르는 것, 사용자가 아이콘을 응시하는 것(이는 시선 검출(gaze detection)을 사용하여 검출됨), 또는 다른 타입의 선택), 이들의 임의의 조합, 및/또는 다른 입력을 포함할 수 있다. 모드 변경을 야기할 수 있는 터치 입력의 예는, 이를테면 1초, 2초, 또는 그 초과와 같은 임계 시간량 동안, 그리고/또는 (예컨대, 가속도계, 또는 압력 또는 힘을 측정할 수 있는 다른 컴포넌트에 의해 측정되는 바와 같은) 특정량의 압력으로, 컴퓨팅 디바이스의 터치스크린을 손가락으로 누르는 것을 포함할 수 있다. 터치 입력의 다른 예는, 사용자가 하나의 스트로크(stroke)로 터치스크린 주위에 원을 그리는 것을 포함할 수 있는 스트로크 제스처(stroke gesture), 및/또는 어떠한 다른 스트로크 제스처를 포함할 수 있다. 터치 입력의 다른 예는, (예컨대, 가속도계에 의해 측정되는 바와 같은) 힘 임계치를 초과하는 힘 또는 압력으로 터치스크린을 손가락으로 탭하는 것을 포함할 수 있는, 터치스크린에 대한 강한 탭 제스처(strong tap gesture)를 포함할 수 있다.
[0043] 일부 예들에서, 임계량보다 많은 양만큼의 컴퓨팅 디바이스의 이동(예컨대, 가속도, 속도 등)이 검출되고, 모드들 중 하나 이상(예컨대, VR 콘텐츠 위에 오버레이되는 실제 컴퓨팅 디바이스의 합성 표현 및/또는 컴퓨팅 디바이스로부터의 콘텐츠를 갖는 VR 모드, VR 콘텐츠 위에 오버레이되는 외부 세계의 엿보기를 갖는 VR 모드 등)을 트리거링하는 데 사용될 수 있다. 일부 예들에서, VR 디바이스는, (예컨대, VR 디바이스의 외향(outward-facing) 카메라를 사용하여, 광학 센서를 사용하여, 모션 감지를 사용하여, 또는 다른 적절한 기술을 사용하여), 사용자가 VR 디바이스(예컨대, HMD) 앞에 전화를 놓았다고 검출할 수 있으며, 이 경우, VR 디바이스는 모드들 중 하나 이상의 모드들(예컨대, VR 콘텐츠 위에 오버레이되는 실제 컴퓨팅 디바이스의 합성 표현 및/또는 컴퓨팅 디바이스로부터의 콘텐츠를 갖는 VR 모드, VR 콘텐츠 위에 오버레이되는 외부 세계의 엿보기를 갖는 VR 모드 등)로 스위칭할 수 있다.
[0044] 일부 예들에서, VR 디바이스는 6DOF(6-degrees of freedom) 입력 인터페이스를 사용하여 사용자 입력을 검출할 수 있다. XR 디바이스들, 이를테면 VR 헤드셋들은, VR 기능성들을 수행하기 위해, 물리적 세계에서의 그 자신들의 위치를 지속적으로 또는 주기적으로 추적할 수 있다. 이러한 추적은 인사이드-아웃 6DOF 추적 － 인사이드-아웃으로 지칭될 수 있는데, 왜냐하면 디바이스는 3개의 회전 벡터들(피치, 요, 롤) 및 3개의 병진 벡터들(위/아래, 왼쪽/오른쪽, 앞/뒤)의 관점에서 그 자신의 포지션을 추적할 수 있기 때문에, 디바이스는 임의의 외부 비컨들 또는 송신기들없이 그 자체를 추적할 수 있기 때문이다. 하나 이상의 센서들, 이를테면 하나 이상의 IMU(inertial measurement unit)들, 하나 이상의 GPS(global positioning system) 디바이스들, 하나 이상의 가속도계들, 하나 이상의 자이로스코프들, 이들의 임의의 조합, 및/또는 다른 센서들이, 사용자 입력을 검출하고 그리고/또는 추적을 수행하는 데 사용될 수 있다. 일부 경우들에서, 추적은, (하나 이상의 카메라 센서들로부터의) 시각적 데이터가 (자이로스코프들 및 가속도계들로부터의) 관성 데이터와 함께 융합(fuse)되어, 물리적 세계에서의 디바이스의 이동 거리를 측정하는 프로세스인 VIO(Visual Inertial Odometry)에 의해 달성될 수 있다. VIO는, 세계에서의 디바이스의 포지션을 결정(로컬화(localization))하고 그리고 디바이스와 연관된 (세계에서의) 장면을 맵핑하기 위해 동시에 사용될 수 있다.
[0045] 도 2는, VR 헤드셋(102)이, VR 콘텐츠의 프레임(210) 위에 오버레이된 실제 모바일 디바이스(204)(물리적 디바이스)의 합성 표현(214)을 디스플레이할 수 있게 하는, VR 헤드셋(102)의 VR 모드의 예를 예시하는 도면이다. 도 2에 예시된 바와 같이, 모바일 디바이스(204)의 합성 표현(214)은 모바일 디바이스(204)의 디스플레이(또는 스크린)의 합성 표현(216)을 포함한다. 실제 세계에서 실제 모바일 디바이스(204)에 의해 디스플레이되는 콘텐츠는, 모바일 디바이스(204)의 디스플레이의 합성 표현(216) 내에 가상 콘텐츠로서 디스플레이된다. 이러한 VR 모드에서, 사용자(100)는 VR 헤드셋(102)의 디스플레이에 의해 제시되는, 모바일 디바이스(204) 디스플레이의 표현을 볼 수 있다. 일부 예들에서, 모바일 디바이스(204)로부터의 오디오 콘텐츠는, 모바일 디바이스(204)의 합성 표현(214)을 디스플레이하면서, VR 헤드셋(102)에 의해 재생될 수 있다. 예컨대, 사용자가 모바일 디바이스(204) 상에서 음성 메시징 애플리케이션(voice messaging application)을 선택할 때, 음성 메시지가 재생될 수 있다. 다른 예들에서, 비디오(비디오의 시각적 및 오디오 부분들을 포함함), 비디오 메시지, 웹 브라우저로부터의 오디오, 전화 통화, 네트워크 위치로부터(예컨대, 인터넷-기반 제공자로부터) 스트리밍되는 음악, 로컬로 저장된 음악(예컨대, 이전에 다운로드한 음악), 및/또는 기타 오디오 콘텐츠가 재생될 수 있다. VR 콘텐츠는, 모바일 디바이스(204)의 합성 표현이 디스플레이될 때 그리고/또는 오디오 콘텐츠가 재생되고 있을 때, VR 헤드셋(102)에 의해 계속 디스플레이될 수 있거나, 또는 모바일 디바이스(204)의 합성 표현이 디스플레이되는 동안 그리고/또는 오디오 콘텐츠가 VR 헤드셋(102)에 의해 재생되고 있을 때, 일시 정지될 수 있다.
[0046] 사용자는, (사용자의 머리로부터 VR 헤드셋(102)을 제거하지 않으면서) 실제 모바일 디바이스(204)와 상호 작용할 수 있으며, 그리고 모바일 디바이스(204)가 디스플레이하는, 하지만 VR 헤드셋(102) 내부에 있는 모든 것을 볼 수 있으며 (그리고 일부 경우들에서는, 모바일 디바이스(204)에 의해 출력되는 오디오를 들을 수 있다). 일부 경우들에서, 사용자는 모바일 디바이스(204)의 입력 인터페이스(들)(예컨대, 터치스크린, 푸시 버튼들, 음성 입력, 터치 호버 피드백(touch hover feedback) 등)를 사용하여 실제 모바일 디바이스(204)와 상호 작용할 수 있으며, 그리고 모바일 디바이스(204)의 기능성의 변경은 모바일 디바이스(204)의 디스플레이의 합성 표현(216) 상에 디스플레이될 것이다. 일부 경우들에서, 사용자는, 이를테면 제스처 입력, 시선 입력(gaze input), 음성 입력, VR 원격 제어기, 이들의 임의의 조합, 및/또는 VR 헤드셋(102)에 제공될 수 있는 다른 적절한 입력을 사용하여, VR 헤드셋(102)에 입력을 제공함으로써, 모바일 디바이스(204)와 상호 작용할 수 있다. 예시적인 일 예에서, 사용자(100)는, 집게 손가락을 아래쪽 방향으로 이동시키는 것을 포함하는 제스처 입력을 VR 헤드셋(102)에 제공할 수 있으며, 이러한 제스처 입력은, VR 헤드셋(102)에 의해 검출될 때, 모바일 디바이스(204)의 디스플레이의 합성 표현(216) 상에 디스플레이된 콘텐츠가 아래쪽 방향으로 스크롤되게 할 수 있다. 예시적인 다른 예에서, 사용자(100)는, (예컨대, 사용자가 아이콘을 선택하고 있는 것처럼) 집게 손가락을 VR 헤드셋(102)으로부터 멀어지게 깊이 방향으로 이동시키는 것을 포함하는 제스처 입력을 VR 헤드셋(102)에 제공할 수 있고, 이러한 제스처 입력은, VR 헤드셋(102)에 의해 검출될 때, 모바일 디바이스(204)의 디스플레이의 합성 표현(216) 상에 디스플레이된 콘텐츠의 아이템이 선택되게 할 수 있다. 예시적인 다른 예에서, 사용자는 VR 원격 제어기를 포인터로서 사용하여 모바일 디바이스(204)와 상호 작용할 수 있다.
[0047] 모바일 디바이스(204)의 디스플레이의 합성 표현(216) 상에 디스플레이되는 콘텐츠의 변경을 야기하는 입력(예컨대, 제스처들, 시선, 음성 등)은 또한, 실제 모바일 디바이스(204)에 의해 디스플레이되는 콘텐츠가 변경되게 할 수 있다. 예시적인 일 예에서, VR 헤드셋(102)에 의해 검출되는 제스처를 사용하여 메시징 아이콘을 선택하게 되면, 모바일 디바이스(204)의 디스플레이의 합성 표현(216) 상에 그리고 실제 모바일 디바이스(204)의 디스플레이 상에 메시징 애플리케이션이 디스플레이되게 할 수 있다.
[0048] 일부 예들에서, 사용자는 터치 호버 피드백을 사용하여 실제 모바일 디바이스(204)와 상호 작용할 수 있다. 예컨대, 터치 호버 피드백은, 사용자가 모바일 디바이스(204)의 물리적 디스플레이로부터 특정 거리(예컨대, 0.5 센티미터(cm), 0.75 센티미터, 1 센티미터, 1.25 센티미터 또는 다른 적절한 거리)에 손가락 또는 엄지 손가락을 홀딩(holding)하는 것을 포함할 수 있으며, 그리고 손가락 또는 엄지 손가락이 위에 있는 아이템에 대응하는 디스플레이 엘리먼트(예컨대, 아이콘, 리스트 내의 아이템, 또는 모바일 디바이스(204)의 디스플레이의 합성 표현(216) 내의 다른 디스플레이 엘리먼트)는 모바일 디바이스(204)의 디스플레이의 합성 표현(216)에서의 포커스 상태(focus state)를 나타낼 수 있다(예컨대, 디스플레이 엘리먼트는 하이라이트(highlight)되고, 더 크게 만들어지고, 그리고/또는 다른 방식으로 강조될 수 있다). 그런 다음, (예컨대, 위에서 설명된 바와 같이, 제스처 입력, 시선 입력, 터치 입력, 음성 입력, 및/또는 다른 입력을 사용하여), 하이라이트된 디스플레이 엘리먼트를 선택함으로써, 디스플레이 엘리먼트의 선택이 사용자에 의해 수행될 수 있다. 터치 호버 피드백은, 사용자가 선택하기 전에 손가락을 정확하게 포지셔닝할 수 있게 함으로써, 모바일 디바이스(204)의 합성 표현(214)과의 상호 작용이 더 유용하게 되도록 허용한다. 이는 도 2에 도시된 예에서 특히 유용할 수 있으며, 여기서, 사용자는 선택을 목표로 하기 위해 모바일 디바이스(204) 디스플레이를 직접 볼 수 없다.
[0049] 일부 구현들에서, 액션 통지(action notification)(215)가 프레임(210) 위에 디스플레이될 수 있다. 액션 통지(215)는, 모바일 디바이스(204)에서 액션이 발생했음을 사용자에게 표시한다. 일부 예들에서, 액션 통지(215)는, 모바일 디바이스(204)에 의해 메시지가 수신되었다는 통지(예컨대, 새로운 문자 메시지가 수신됨, 새로운 이메일이 수신됨, 모바일 디바이스(204)로의 착신 전화의 통지, 모바일 디바이스(204)에 의해 소셜 미디어 게시물이 통지됨, 모바일 디바이스(204)에 의해 긴급 경보가 수신됨, 그리고/또는 다른 메시지들)를 포함할 수 있다. 일부 예들에서, 액션 통지(215)는 수신된 실제 메시지를 포함할 수 있다. 일부 경우들에서, 사용자는, 모바일 디바이스(204)의 합성 표현(214)이 (아직 디스플레이되지 않은 경우) 디스플레이되도록 하기 위해, 액션 통지(215)를 선택할 수 있다.
[0050] 모바일 디바이스(204)의 합성 표현(214)은 다양한 기법들을 사용하여 VR 헤드셋(102)에 의해 생성될 수 있다. 예시적인 일 예에서, VR 헤드셋(102)의 사용자는, 사용되고 있는 모바일 디바이스(204)의 타입(예컨대, 모바일 디바이스(204)의 제조사, 모델, 및 버전, 이를테면 SamsungTM Galaxy S10TM)을 표시하는 입력을 제공할 수 있으며, 그리고 VR 헤드셋(102)은 그러한 타입의 모바일 디바이스와 동일한 피처(feature)들 및 치수들을 갖는 가상 표현을 생성 또는 획득할 수 있다. 다른 예에서, VR 헤드셋(102)은 모바일 디바이스(204)의 하나 이상의 이미지들을 캡처할 수 있고, VR 헤드셋(102)은 그러한 하나 이상의 이미지들을 사용하여 모바일 디바이스(204)의 가상 표현을 생성할 수 있다.
[0051] 모바일 디바이스(204)의 합성 표현(214)은 VR 좌표 시스템의 다양한 위치들에 디스플레이될 수 있다. 예컨대, 일부 경우들에서, 합성 표현(214)은 전화의 현실의 실제 세계 위치에 나타나도록 디스플레이될 수 있다. 예시적인 일 예에서, 사용자가 사용자 앞에서 사용자의 오른손에 휴대 전화를 잡고 있는 경우, 모바일 디바이스(204)의 합성 표현(214)은 프레임(210)의 우측 하단 코너에 디스플레이될 수 있다. 다른 예들에서, 합성 표현(214)이 VR 콘텐츠와 중첩되지 않도록 그리고/또는 프레임(210) 내에서 가장 중요한 영역(예컨대, VR 사용자의 시야에 대응하는 프레임(210)의 중심)과 중첩되지 않도록, 이러한 합성 표현(214)은 프레임(210)의 에지 또는 프레임(210) 내의 다른 위치에 디스플레이될 수 있다. 일부 예들에서, 모바일 디바이스(204)의 합성 표현(214)이 디스플레이되는 위치는 사용자가 선택할 수 있다. 예컨대, 사용자는, VR 헤드셋(102)에 의해 디스플레이되는 프레임들의 좌측 상단 코너에 합성 표현(214)이 디스플레이될 것임을 표시할 수 있다.
[0052] 일부 경우들에서, 실제 모바일 디바이스(204)에 의해 출력되는 오디오 콘텐츠 및/또는 디스플레이되는 콘텐츠는 VR 헤드셋(102)에 송신 또는 스트리밍될 수 있고, VR 헤드셋(102)은 모바일 디바이스(204)의 디스플레이의 합성 표현(216) 내에 콘텐츠를 디스플레이할 수 있다. 일부 경우들에서, 모바일 디바이스(204)에 의해 디스플레이되는 콘텐츠는, (예컨대, 피어-투-피어 WiFi Direct 표준 또는 AirPlay를 사용하는 Miracast와 같은 스크린 미러링을 사용하여) VR 헤드셋(102)의 디스플레이 상에 미러링될 수 있다.
[0053] 도 6은 XR 디바이스, 이를테면 (예컨대, VR 헤드셋(102) 또는 다른 VR 디바이스의) VR 디바이스, MR 디바이스, 및/또는 AR 디바이스의 컴포넌트들의 예를 예시하는 도면이다. 이러한 컴포넌트들은, 실제 모바일 디바이스(204)(예컨대, 모바일 디바이스(204))에 의해 출력되는 오디오 콘텐츠 및/또는 디스플레이되는 콘텐츠가 XR 디바이스에 의해 디스플레이될 수 있도록 동작한다. XR 디바이스는 하나 이상의 애플리케이션들(632)을 포함할 수 있다. 애플리케이션은, 런타임 엔진(Runtime engine)(634)에 의해 제공되는 런타임 서비스들(예컨대, 렌더링 및/또는 다른 런타임 서비스들)을 등록(register)할 수 있다. 런타임 엔진(634)은, XR 디바이스에 의해 디스플레이될 수 있는 각각의 디스플레이 또는 그래픽 계층에 대한 렌더링을 핸들링할 수 있다. 런타임 엔진(634)은 또한, 각각의 계층에 대한 헤드 추적 포즈 및 입력 이벤트들(head tracking pose and input events)(예컨대, 제어기, 손 제스처, 음성, 및/또는 다른 입력 이벤트들)을 프로세싱할 수 있다. 일부 경우들에서, 런타임 엔진(634)은 하나 이상의 애플리케이션들(632)로부터의 애플리케이션의 일부일 수 있거나, 운영 체제(OS)(638)의 일부일 수 있거나, 또는 런타임 엔진(634)이 컴포지션(composition)을 포함할 수 있는 XR 액티비티들을 조정하는 경우들에서는 컴포지터 엔진(compositor engine)(636)과 결합될 수 있다.
[0054] 컴포지터 엔진(636)은, XR(예컨대, VR 세션) 내에서 보기 위해 다수의 그래픽 계층들(예컨대, 특히, 윈도우들, 타일(tile)들)을 함께 위빙(weave)할 수 있다. 컴포지터 엔진(636)은, 특히, 타임워프(timewarp), 스페이스워프(spacewarp)와 같은 XR-관련 프로세스들을 또한 수행할 수 있다. 일부 경우들에서, 컴포지터 엔진(636)은, 위에서 설명된 바와 같이, 런타임 엔진(634)의 일부일 수 있거나, 또는 OS(638)의 일부일 수 있다. OS(638)는 임의의 적합한 OS, 이를테면, AndroidTM 또는 다른 적합한 OS일 수 있다.
[0055] 도 7은 런타임 엔진(634)에 의해 핸들링될 수 있는 상이한 그래픽 계층들의 예를 예시하는 도면이다. 예컨대, 도 7에 도시된 계층 A(Layer A)는 모바일 디바이스(예컨대, 모바일 디바이스(204))에 의해 디스플레이되는 콘텐츠에 대응하고, 계층 B(Layer B)는 XR 디바이스(예컨대, VR 헤드셋(102))에 의해 디스플레이되는 XR 콘텐츠에 대응한다. VR 콘텐츠가 XR 콘텐츠의 예로서 사용될 것이다. 그러나, 당업자는 XR 콘텐츠가 MR 콘텐츠, AR 콘텐츠, 및/또는 다른 콘텐츠를 포함할 수 있다는 것을 인식할 것이다. OS(638)(예컨대, Android 또는 다른 OS)는 모바일 디바이스 사용자 인터페이스(UI)를 하나의 디스플레이(예컨대, 주(primary) 디스플레이)에 할당할 수 있고, VR 뷰(view)는 다른 디스플레이(예컨대, 보조(secondary) 디스플레이)에 할당될 수 있다. 런타임 엔진(634)은 모바일 디바이스 콘텐츠에 할당된 주 디스플레이를 계층(예컨대, 도 7의 계층 A)으로서 렌더링할 수 있으며, 이는 다른 계층(예컨대, 도 7의 계층 B)으로서 렌더링된 보조 VR 디스플레이 상의 비디오 스트림으로서 보여질 수 있다. 컴포지터 엔진(636)은, 모바일 디바이스 뷰 계층(계층 A)이 전경에 나타나고 그리고 VR 뷰 계층(계층 B)이 계층 A 뒤의 배경에서 실행되도록, 각각의 계층을 함께 위빙할 수 있다.
[0056] 런타임 엔진(634)은 계층화된 VR 세션으로부터의 입력 이벤트들(예컨대, 제어기, 손 제스처, 음성 등)을 핸들링할 수 있다. 예컨대, 모바일 디바이스 계층(계층 A) 상의 아이템을 선택하는 입력 이벤트는, 런타임 엔진(634)으로 하여금, 그 입력 이벤트를 터치 이벤트로 맵핑하게 할 수 있고, 이는 그런 다음 프로세싱되도록 모바일 디바이스로 다시 전달된다. 다른 예에서, VR 계층(계층 B) 상의 아이템을 선택하는 입력 이벤트는, 런타임 엔진(634)으로 하여금, 입력 이벤트를 프로세싱되도록 VR 디바이스에 전달하게 할 수 있다.
[0057] 도 8은 가상 현실 디바이스의 컴포넌트들의 다른 예를 예시하는 도면이다. 도시된 바와 같이, XR 애플리케이션(832)은 XR 애플리케이션(832)의 XR 애플리케이션 사용자 인터페이스(UI)(833)를 제어한다. 모바일 디바이스(804)는 모바일 디바이스(804)의 모바일 디바이스 UI(835)를 제어한다. 사용자에 의해 모바일 디바이스(804)에 제공되는 사용자 입력은 모바일 디바이스(804)에 의해 모바일 디바이스 UI(835)에 제공될 수 있다. 유사하게, 사용자에 의해 XR 디바이스에 제공되는 사용자 입력은 XR 디바이스에 의해 XR 애플리케이션 UI(833)에 제공될 수 있다. 사용자들은, 특히 제어기들, 포인터들, 시선, 손 추적 입력(hand tracking input), 음성과 같은 입력 디바이스들을 사용하여 모바일 디바이스 UI(835) 및/또는 XR 애플리케이션 UI(833)와 상호 작용할 수 있다. XR 런타임 엔진(834)은 사용자 입력들을 프로세싱할 수 있으며, 그리고 XR 디바이스의 하나 이상의 XR 디바이스 디스플레이들(846)에 의해 XR 장면 사용자 인터페이스(XR scene user interface)(844)에 디스플레이될 수 있는 각각의 그래픽 계층에 대한 렌더링을 핸들링할 수 있다. XR 장면 사용자 인터페이스(844)는, XR 애플리케이션 UI(833) 및/또는 XR 디바이스 상의 다른 XR 애플리케이션들의 UI들의 콘텐츠를 포함하여, XR 디바이스에 의해 디스플레이되는 모든 콘텐츠를 포함한다.
[0058] 일부 경우들에서, 모바일 디바이스들(예컨대, 휴대 전화들)은 다수의 디스플레이들을 가질 수 있으며, 이들은 XR 애플리케이션 상호 작용들 및 디스플레이와 동시에 UI 상호 작용들(예컨대, 스마트폰 UI 상호 작용들) 및 디스플레이를 지원할 수 있다. 모바일 디바이스 디스플레이(842) 상에 모바일 디바이스(804)(예컨대, 모바일 디바이스 UI(835))에 의해 디스플레이되는 콘텐츠는 그 전체가 XR 장면 사용자 인터페이스(844)에 표현될 수 있거나(예컨대, 모바일 디바이스에 의해 디스플레이되는 모든 콘텐츠가 XR 콘텐츠와 함께 디스플레이될 수 있음), 또는 컴포넌트 형태로 표현될 수 있다(예컨대, 단일 애플리케이션 UI 또는 단일 애플리케이션 UI의 UI 프래그먼트(fragment)가 XR 콘텐츠와 함께 디스플레이될 수 있음).
[0059] 모바일 디바이스 UI(835)는 모바일 디바이스 디스플레이(842), 하나 이상의 XR 디바이스 디스플레이들(846), 모바일 디바이스 디스플레이(842)와 하나 이상의 XR 디바이스 디스플레이들(846) 둘 모두에서 볼 수 있거나, 또는 이러한 디스플레이들 중 어느 것에서도 볼 수 없다. 일부 경우들에서, XR 런타임 엔진(834)은 XR 애플리케이션(832) 내에 또는 외부에 상주할 수 있다. 일부 경우들에서, 위에서 설명된 바와 같이, XR 런타임 엔진(834)은 OS 내에 또는 OS 외부에 상주할 수 있다. 일부 경우들에서, XR 런타임 엔진(834)은 모바일 디바이스 및 XR 디바이스 상에 공동 상주(co-resident)할 수 있다. 일부 경우들에서, XR 런타임 엔진(834)은 연결된 디바이스(connected device) 상에, 이를테면 모바일 디바이스를 통합하는 올인원(all-in-one) VR 헤드셋 상에 상주할 수 있다. 이러한 연결된 디바이스와 XR 디바이스 사이의 연결은, (예컨대, Wi-Fi, BluetoothTM, ZigbeeTM, 또는 다른 무선 연결을 사용하여) 무선 또는 유선일 수 있다.
[0060] 도 2에 도시된 모드를 사용하여, 사용자(100)는, 여전히 VR 콘텐츠를 보는 동안 VR 헤드셋(102)의 디스플레이 상에 제시되는 모바일 디바이스(204)를 볼 수 있고(그리고 일부 경우들에서는, 모바일 디바이스(204)로부터의 오디오 콘텐츠를 들을 수 있음), 사용자가 모바일 디바이스(204)와 직접 상호 작용하는 것처럼 모바일 디바이스(204)의 모든 기능성들과 상호 작용할 수 있다. 일부 경우들에서, 사용자(100)가 모바일 디바이스(204)와 상호 작용하는 동안, VR 콘텐츠는 계속 재생될 수 있다. 일부 경우들에서, VR 헤드셋(102)은, 사용자(100)가 모바일 디바이스(204)와 상호 작용하는 동안 VR 콘텐츠를 일시 정지시키는 옵션을 제공할 수 있다. 어느 경우이든, 사용자는 VR 헤드셋(102)을 제거할 필요 없이, 모바일 디바이스(204)와 상호 작용할 수 있다.
[0061] 도 3은, VR 헤드셋(102)이, VR 콘텐츠의 프레임(310) 위에 오버레이된 모바일 디바이스(204)로부터의 콘텐츠를 디스플레이할 수 있게 하는, VR 헤드셋(102)의 VR 모드의 예를 예시하는 도면이다. 실제 세계에서 실제 모바일 디바이스(204)에 의해 디스플레이되는 콘텐츠는 가상 콘텐츠의 프레임(310) 위에 가상 콘텐츠(317)로서 디스플레이된다. VR 모드에서, 사용자(100)는 모바일 디바이스(204)에 의해 디스플레이되고 있는 것을 볼 수 있지만, 모바일 디바이스(204)의 합성 표현을 디스플레이하지 않을 수 있다. 가상 콘텐츠(317)는 VR 좌표 시스템의 다양한 위치들에 디스플레이될 수 있다. 예컨대, 일부 경우들에서, 가상 콘텐츠(317)는 전화의 현실의 실제 세계 위치에 나타나도록 디스플레이될 수 있다. 다른 예들에서, 가상 콘텐츠(317)가 VR 콘텐츠와 충돌하지 않도록 그리고/또는 가장 중요한 영역(예컨대, VR 사용자의 시야에 대응하는 프레임(310)의 중심)과 충돌하지 않도록, 이러한 가상 콘텐츠(317)는 (예컨대, 도 3에 도시된 바와 같이) 프레임(310)의 에지에 디스플레이되거나 또는 그렇지 않으면 프레임(310) 내에 위치될 수 있다. 일부 예들에서, 가상 콘텐츠(317)가 디스플레이되는 위치는 사용자가 선택할 수 있다.
[0062] 일부 예들에서, 모바일 디바이스(204)로부터의 오디오 콘텐츠는, 모바일 디바이스(204)로부터의 콘텐츠를 디스플레이하면서, VR 헤드셋(102)에 의해 재생될 수 있다. VR 콘텐츠는, 모바일 디바이스(204)로부터의 콘텐츠가 디스플레이될 때 그리고/또는 오디오 콘텐츠가 재생되고 있을 때, VR 헤드셋(102)에 의해 계속 디스플레이될 수 있거나, 또는 모바일 디바이스(204)로부터의 콘텐츠가 디스플레이되는 동안 그리고/또는 오디오 콘텐츠가 VR 헤드셋(102)에 의해 재생되고 있을 때, 일시 정지될 수 있다.
[0063] 도 2에 도시된 모드와 관련하여 설명된 것과 유사하게, 사용자는 (VR 헤드셋(102)을 제거하지 않으면서) 실제 모바일 디바이스(204)와 상호 작용할 수 있으며, 그리고 전화에 의해 디스플레이되는, 그러나 VR 헤드셋(102) 내부에 있는 모든 것을 볼 수 있다. 도 2와 관련하여 위에서 설명된 것과 유사하게, 사용자는 모바일 디바이스(204)의 입력 인터페이스(들)를 사용하여 실제 모바일 디바이스(204)와 상호 작용할 수 있고 그리고/또는 VR 헤드셋(102)에 입력을 제공함으로써 모바일 디바이스(204)와 상호 작용할 수 있다.
[0064] 모바일 디바이스(204)의 합성 표현(214)은, 사용되는 모바일 디바이스(204)의 타입을 표시하는, 사용자에 의해 제공되는 입력에 기반하여, VR 헤드셋(102)에 의해 캡처되는 모바일 디바이스(204)의 하나 이상의 이미지들에 기반하여, 그리고/또는 임의의 다른 적절한 기법을 사용하여, VR 헤드셋(102)에 의해 생성될 수 있다. 실제 모바일 디바이스(204)에 의해 디스플레이되는 콘텐츠는 VR 헤드셋(102)에 송신 또는 스트리밍될 수 있거나, (예컨대, 스크린 미러링을 사용하여) VR 헤드셋(102)의 디스플레이 상에 미러링될 수 있거나, 또는 임의의 다른 적절한 기법을 사용하여 VR 헤드셋(102)에 제공될 수 있다.
[0065] 도 2와 관련하여 설명된 것과 유사하게, 액션 통지(315)가 프레임(310) 위에 디스플레이될 수 있다. 액션 통지(315)는, 모바일 디바이스(204)에서 액션이 발생했음을, 이를테면 메시지 또는 전화가 수신되고 있음을 표시할 수 있다. 일부 예들에서, 액션 통지(315)는 수신된 실제 메시지를 포함할 수 있다. 사용자는, 모바일 디바이스(204)로부터의 가상 콘텐츠(317)가 (아직 디스플레이되지 않은 경우) 디스플레이되도록 하기 위해, 액션 통지(315)를 선택할 수 있다. 예컨대, 액션 통지(315)의 선택에 대한 응답으로, 모바일 디바이스(204)로부터의 메시징 애플리케이션이 VR 디바이스(102) 상에 디스플레이될 수 있다.
[0066] 도 3에 도시된 모드를 사용하여, 사용자(100)는, 여전히 VR 콘텐츠를 보는 동안 VR 헤드셋(102)의 디스플레이 상에 제시되는 모바일 디바이스(204)로부터의 콘텐츠를 볼 수 있고, 사용자가 모바일 디바이스(204)와 직접 상호 작용하는 것처럼 모바일 디바이스(204)의 모든 기능성들과 상호 작용할 수 있다.
[0067] 도 4는, 모바일 디바이스(204)에 의해 캡처되는 (이미지(418)를 포함하는) 하나 이상의 이미지들을 VR 콘텐츠의 프레임(410) 위에 오버레이되는 오버레이로서 디스플레이함으로써, VR 헤드셋(102)이 외부 세계의 엿보기를 제공할 수 있게 하는, VR 헤드셋(102)의 VR 모드의 예를 예시하는 도면이다. 하나 이상의 이미지들은 모바일 디바이스(204)의 카메라 또는 다수의 카메라들에 의해 캡처될 수 있고, 다수의 연속적인 이미지들을 포함하는 비디오 또는 하나 이상의 스틸 이미지(still image)들을 포함할 수 있다. 일부 경우들에서, 하나 이상의 이미지들을 캡처하는 데 사용되는 모바일 디바이스(204)의 카메라는, (모바일 디바이스(204)의 후면에 위치된) 후면 카메라(back-facing camera), 그리고/또는 모바일 디바이스(204)의 다른 카메라(예컨대, 전면 카메라(front-facing camera), 전면 카메라 및 후면 카메라, 다수의 전면 및/또는 후면 카메라들 등)일 수 있다. 모바일 디바이스(204)는 VR 헤드셋(102)에 하나 이상의 이미지들을 송신할 수 있고, 그런 다음 VR 헤드셋(102)은 VR 헤드셋(102)의 디스플레이 상에 하나 이상의 이미지들을 디스플레이할 수 있다. 일부 경우들에서, 모바일 디바이스(204)의 마이크로폰으로부터의 오디오가 VR 헤드셋(102)에 제공될 수 있고, VR 헤드셋(102)은 VR 헤드셋(102)의 하나 이상의 스피커들을 사용하여 오디오를 출력할 수 있다. 모바일 디바이스(204)의 마이크로폰으로부터 오디오를 제공하게 되면, 사용자가 헤드셋을 제거할 필요 없이, 실제 세계에서 일어나고 있는 것을 인지할 수 있게 하기 위해, 더 많은 정보를 사용자에게 제공할 수 있다.
[0068] 도 4에 도시된 예는 모바일 디바이스(204)의 합성 표현(414)의 일부로서 디스플레이되는 이미지(418)를 포함한다. 일부 구현들에서, 모바일 디바이스(204)에 의해 캡처되는 (이미지(418)를 포함하는) 하나 이상의 이미지들은 가상 콘텐츠 위에 디스플레이되며, 이 경우, 모바일 디바이스(204)의 합성 표현(414)은 VR 헤드셋(102)에 의해 디스플레이되지 않는다. 일부 구현들에서, 하나 이상의 이미지들은 VR 헤드셋(102)의 디스플레이 상에 (예컨대, 풀-스크린(full-screen) 모드로) 완전히 디스플레이될 수 있으며, 이 경우, 하나 이상의 이미지들이 디스플레이되는 동안 VR 헤드셋(102)에 의해 어떠한 VR 콘텐츠도 디스플레이되지 않는다. 일부 구현들에서, 사용자(100)는, VR 헤드셋(102) 디스플레이가 하나 이상의 이미지들을 디스플레이하기 위해 얼마나 많이 사용되는지를 제어할 수 있다.
[0069] 도 4에 도시된 모드를 사용하여, 사용자(100)는 여전히 VR 콘텐츠를 보면서, VR 헤드셋(102)의 디스플레이 상에 제시되는, 모바일 디바이스(204)의 카메라로부터의 실제 세계 환경의 뷰를 볼 수 있다. 위에서 언급된 바와 같이, 사용자는 또한 모바일 디바이스(204)의 마이크로폰으로부터의 오디오를 제공받을 수 있으며, 이는 사용자가 실제 세계 환경에서 발생하고 있는 임의의 사운드들을 들을 수 있게 할 수 있다. 일부 경우들에서, VR 헤드셋(102)은, 사용자(100)가 모바일 디바이스(204)로부터의 하나 이상의 이미지들을 보는 동안 VR 콘텐츠를 일시 정지시키는 옵션을 제공할 수 있다. 어느 경우이든, 사용자는 VR 헤드셋(102)을 제거할 필요 없이, 실제 세계 환경의 뷰를 볼 수 있고 (그리고 일부 경우들에서는, 실제 세계 환경에서 발생하고 있는 것을 들을 수 있다).
[0070] 도 5는, VR 헤드셋(102)이 가상 VR 콘텐츠의 디스플레이와 실제 세계의 디스플레이 사이를 스위칭할 수 있게 하는, VR 헤드셋(102)의 VR 모드의 예를 예시하는 도면이다. 예컨대, VR 콘텐츠의 프레임들(프레임(510)을 포함함)이 VR 헤드셋(102)에 의해 디스플레이될 수 있으며, 이는 사용자의 포즈에 기반한 가상 환경의 장면을 포함한다. 사용자 입력에 대한 응답으로, VR 헤드셋(102)은 실제 세계 디스플레이 모드로 스위칭할 수 있고, 일단 실제 세계 디스플레이 모드에 있게 되면, 사용자의 포즈에 기반하여 실제 세계 환경의 뷰(프레임(520)를 포함함)를 디스플레이할 수 있다.
[0071] 일부 경우들에서, 실제 세계 환경의 이미지들을 캡처하기 위해, VR 헤드셋(102)의 일부인 외부 카메라가 사용될 수 있다. 캡처된 이미지들은, 사용자가 실제 세계 디스플레이 모드로 스위칭할 때, VR 헤드셋(102)의 디스플레이에 의해 디스플레이될 수 있다. 캡처된 이미지들은, 다수의 연속적인 이미지들을 포함하는 비디오, 또는 하나 이상의 스틸 이미지들을 포함할 수 있다. 스틸 이미지(들) 또는 비디오는, 사용자가 하나 이상의 스틸 이미지들 없이 VR 콘텐츠가 디스플레이되는 완전(full) VR 모드로 다시 스위칭하도록 VR 헤드셋(102)에 명령하는 입력을 제공할 때까지, 디스플레이될 수 있다.
[0072] 도 5에 도시된 모드를 사용하여, 사용자(100)는 실제 세계 환경과 상호 작용하기 위해, VR 헤드셋(102)을 벗을 필요 없이, VR 세계의 뷰와 사용자가 위치되는 실제 세계 환경 사이를 토글링할 수 있다. 예컨대, 사용자(100)는, 사용자(100)가 앉아있는 방의 전체 뷰를 제공받을 수 있고, 그에 따라, 사용자(100)는 여전히 VR 헤드셋(102)을 착용하면서 방 내의 오브젝트들과 상호 작용할 수 있다.
[0073] 이제, 본원에서 설명되는 기법들을 사용하여 수행되는 프로세스들의 예들이 설명될 것이다. 도 9는 가상 콘텐츠를 디스플레이하기 위한 프로세스(900)의 예를 예시하는 흐름도이다. 블록(902)에서, 프로세스(900)는, 제1 디바이스가 가상 현실 콘텐츠를 디스플레이하는 것을 포함한다. 제1 디바이스는, VR(virtual reality) 헤드셋(예컨대, HMD 또는 다른 타입의 VR 헤드셋), 이를테면 도 1 내지 도 5에 도시된 VR 헤드셋(102)을 포함할 수 있다.
[0074] 블록(904)에서, 프로세스(900)는, 제1 디바이스가, 제2 디바이스의 합성 표현을 생성하는 것을 포함한다. 제2 디바이스는 모바일 디바이스, 이를테면 도 1 내지 도 4에 도시된 모바일 디바이스(204)를 포함할 수 있다. 블록(906)에서, 프로세스(900)는, 제1 디바이스가, 제2 디바이스의 합성 표현을 가상 콘텐츠와 함께 디스플레이하는 것을 포함한다. 일부 예들에서, 제2 디바이스의 합성 표현은 가상 콘텐츠 위에 오버레이된다. 예컨대, 예시적인 예로서 도 2를 사용하여, 모바일 디바이스(204)의 합성 표현(214)이 가상 콘텐츠 프레임(210)과 함께 디스플레이된다.
[0075] 제2 디바이스의 합성 표현(예컨대, 도 2에 도시된 합성 표현(214))은 제2 디바이스의 디스플레이의 합성 표현을 포함할 수 있다. 제2 디바이스에 의해 디스플레이되는 콘텐츠는 제2 디바이스의 디스플레이의 합성 표현 내에 디스플레이된다. 예컨대, 도 2에 도시된 바와 같이, 모바일 디바이스(204)의 합성 표현(214)은 또한 모바일 디바이스(204)의 디스플레이의 합성 표현(216)을 포함하고, 모바일 디바이스(204)에 의해 디스플레이되는 콘텐츠는 모바일 디바이스(204)의 디스플레이의 합성 표현(216) 내에 도시된다.
[0076] 일부 경우들에서, 프로세스(900)는, 제2 디바이스에 의해 프로세싱되는 하나 이상의 입력들의 표시에 기반하여, 제2 디바이스의 합성 표현의 변경을 디스플레이하는 것을 포함할 수 있다. 제2 디바이스의 합성 표현의 변경은 제2 디바이스의 기능성의 변경을 표현한다. 예컨대, 사용자는, 제2 디바이스로 하여금 하나 이상의 기능들(예컨대, 특히, 메시징 애플리케이션을 사용하여 문자 메시지를 전송하는 것, 소셜 네트워킹 애플리케이션을 사용하여 소셜 네트워킹 계정에 메시지를 게시하는 것, 이메일을 전송하는 것)을 수행하게 하기 위해 제2 디바이스(예컨대, 모바일 디바이스)와 상호 작용할 수 있다. 제2 디바이스의 기능성의 변경에 기반하여 제2 디바이스에 의해 디스플레이되는 콘텐츠의 변경은 또한, 제2 디바이스의 기능성의 변경을 표현하는 제2 디바이스의 합성 표현의 변경으로서 디스플레이될 수 있다.
[0077] 일부 경우들에서, 프로세스(900)는, 제1 디바이스에 의해 수신되는 입력에 기반하여, 제2 디바이스의 합성 표현의 변경을 디스플레이하는 것을 포함할 수 있다. 제2 디바이스의 합성 표현의 변경은 제2 디바이스의 기능성의 변경을 표현한다. 예컨대, 사용자는, 제2 디바이스로 하여금 하나 이상의 기능들(예컨대, 특히, 메시징 애플리케이션을 사용하여 문자 메시지를 전송하는 것, 소셜 네트워킹 애플리케이션을 사용하여 소셜 네트워킹 계정에 메시지를 게시하는 것, 이메일을 전송하는 것)을 수행하게 하기 위해 제1 디바이스(예컨대, VR 헤드셋) 또는 제2 디바이스와 상호 작용할 수 있다. 사용자는, 제2 디바이스로 하여금, 이를테면 위에서 설명된 것과 같은 임의의 적절한 입력을 사용하여(예컨대, 모바일 디바이스의 사용자 인터페이스(들)를 사용하여, VR 헤드셋에 입력을 제공함으로써, 터치 호버 피드백 또는 다른 적절한 입력을 사용하여) 하나 이상의 기능들을 수행하게 하도록 하기 위해, 제2 디바이스와 상호 작용할 수 있다. 제2 디바이스의 기능성의 변경에 기반하여 제2 디바이스에 의해 디스플레이되는 콘텐츠의 변경은 또한, 제2 디바이스의 기능성의 변경을 표현하는 제2 디바이스의 합성 표현의 변경으로서 디스플레이될 수 있다.
[0078] 일부 예들에서, 프로세스(900)는 트리거를 검출하는 것, 및 트리거에 대한 응답으로, (제2 디바이스에 의해 디스플레이되는 콘텐츠와 함께) 제2 디바이스의 합성 표현을 디스플레이하는 것을 포함한다. 일부 경우들에서, 트리거는 제2 디바이스로부터 수신되는 정보에 기반한다. 예시적인 일 예에서, 제2 디바이스로부터 수신되는 정보는, 제2 디바이스에 의해 메시지가 수신되었다는 통지(예컨대, 새로운 문자 메시지 또는 이메일이 수신되었다는 통지), 제2 디바이스에 의해 수신되는 입력(예컨대, 제2 디바이스에 제공되는 사용자 입력), 및/또는 다른 통지를 포함한다. 일부 경우들에서, 트리거는 제2 디바이스가 임계량보다 많은 양만큼 이동하는 것에 기반한다. 예컨대, 가속도계 또는 제2 디바이스의 다른 센서는 제2 디바이스의 이동량을 표시하는 정보를 제공할 수 있다. 일부 경우들에서, 트리거는, (예컨대, 6DOF 추적을 사용하여) 제1 디바이스에 의해 검출되는 바와 같은, 제2 디바이스를 향하는 사용자의 시선의 검출에 기반한다. 일부 경우들에서, 트리거는 시간량에 기반한다. 예컨대, (제2 디바이스에 의해 디스플레이되는 콘텐츠와 함께) 제2 디바이스의 합성 표현은, 어떠한 다른 트리거도 수신되지 않은 경우 매 임계 시간 간격마다(예컨대, 5분마다, 10분마다, 또는 다른 적절한 시간 기간마다) 제1 디바이스에 의해 가상 콘텐츠와 함께 디스플레이될 수 있다. 일부 경우들에서, 트리거는 가상 콘텐츠와 함께 디스플레이되는 아이콘의 선택에 기반한다. 예컨대, 사용자는, 제스처, 눈 시선, 음성 명령, 및/또는 다른 입력을 사용하여 아이콘을 선택할 수 있다. 일부 예들에서, 트리거는 사용자에 의해 제공되는 음성 입력에 기반한다. 예컨대, 사용자는 "내 모바일 디바이스 보여줘" 또는 다른 문구를 큰 소리로 말할 수 있으며, 이는 제1 디바이스에 의해 입력으로서 수신될 수 있고 그리고 제2 디바이스의 합성 표현이 디스플레이되게 하는 트리거로서 해석될 수 있다. 일부 예들에서, 트리거는, 사용자가 모바일 디바이스를 들어올리고 그리고/또는 (예컨대, 지문 입력을 통해, 하드 버튼(hard button)을 누름으로써, 얼굴 인식 또는 얼굴 ID(identification)를 통해, 또는 디바이스를 잠금 해제(unlock)하기 위한 다른 메커니즘을 사용하여) 모바일 디바이스를 잠금 해제하는 것에 기반한다.
[0079] 제2 디바이스의 합성 표현은 다양한 제거 트리거들에 기반하여 제1 디바이스에 의해 디스플레이로부터 제거될 수 있다. 예컨대, 사용자는 터치 입력(예컨대, 사용자 인터페이스 상의 스와이프 입력), 음성 입력, 시선 입력, 제스처 입력, 및/또는 다른 입력을 제1 디바이스 또는 제2 디바이스에 제공할 수 있으며, 이러한 입력은 제2 디바이스의 합성 표현을 디스플레이되는 것으로부터 제거하도록 제1 디바이스를 트리거하는 제거 트리거로서 제1 디바이스에 의해 해석될 수 있다. 다른 예에서, 제거 트리거는, 사용자가 제2 디바이스를 특정 포인트로 이동시키거나 또는 (예컨대, 가속도계 또는 제2 디바이스의 다른 센서에 의해 검출되는 바와 같이 디바이스를 하강시킴으로써) 특정 모션을 사용하는 것에 기반하여, 제1 디바이스로 하여금 디스플레이로부터 제2 디바이스의 합성 표현을 제거하게 할 수 있다. 다른 예에서, 제2 디바이스의 합성 표현은, 제2 디바이스와의 마지막 상호 작용 이후의 시간량에 기반하여 제거될 수 있다. 예컨대, 제2 디바이스로부터 입력이 수신된 이후 또는 사용자가 제2 디바이스의 합성 표현과 상호 작용한 이후 임계 시간량이 경과한 경우, 디스플레이로부터 합성 표현이 제거될 수 있다. 디스플레이로부터 제2 디바이스의 합성 표현을 제거한 결과, 제2 디바이스의 합성 표현 없이 가상 콘텐츠가 디스플레이될 것이다.
[0080] 도 10은 가상 콘텐츠를 디스플레이하기 위한 프로세스(1000)의 다른 예를 예시하는 흐름도이다. 블록(1002)에서, 프로세스(1000)는, 제1 디바이스가 가상 현실 콘텐츠를 디스플레이하는 것을 포함한다. 제1 디바이스는, VR(virtual reality) 헤드셋(예컨대, HMD 또는 다른 타입의 VR 헤드셋), 이를테면 도 1 내지 도 5에 도시된 VR 헤드셋(102)을 포함할 수 있다.
[0081] 블록(1004)에서, 프로세스(1000)는, 제1 디바이스가, 제2 디바이스에 의해 디스플레이되는 콘텐츠를 획득하는 것을 포함한다. 제2 디바이스는 모바일 디바이스, 이를테면 도 1 내지 도 4에 도시된 모바일 디바이스(204)를 포함할 수 있다. 블록(1006)에서, 프로세스(1000)는, 제1 디바이스가, 가상 콘텐츠와 함께 콘텐츠를 디스플레이하는 것을 포함한다. 일부 경우들에서, 콘텐츠는, 제2 디바이스에 의해 실행되는 적어도 하나의 애플리케이션, 이를테면, 이메일 애플리케이션, 메시징 애플리케이션, 소셜 네트워킹 애플리케이션, 비즈니스 애플리케이션, 맵 애플리케이션(maps application), 및/또는 다른 적합한 애플리케이션으로부터의 정보를 포함한다. 일부 예들에서, 콘텐츠는 가상 콘텐츠 위에 오버레이된다. 예컨대, 예시적인 예로서 도 3을 사용하여, 모바일 디바이스(204)에 의해 디스플레이되는 콘텐츠는 가상 콘텐츠의 프레임(310) 위에 가상 콘텐츠(317)로서 디스플레이된다. 일부 예들에서, 제2 디바이스의 합성 표현은 가상 콘텐츠 위에 오버레이되고, 콘텐츠는 (예컨대, 도 2에 도시된 바와 같이) 제2 디바이스의 합성 표현과 함께 디스플레이될 수 있다.
[0082] 일부 경우들에서, 프로세스(1000)는, 제2 디바이스에 의해 프로세싱되는 하나 이상의 입력들의 표시에 기반하여, 제2 디바이스의 콘텐츠의 변경을 디스플레이하는 것을 포함할 수 있다. 콘텐츠의 변경은 제2 디바이스의 기능성의 변경을 표현한다. 예컨대, 사용자는, 제2 디바이스로 하여금 하나 이상의 기능들(예컨대, 특히, 메시징 애플리케이션을 사용하여 문자 메시지를 전송하는 것, 소셜 네트워킹 애플리케이션을 사용하여 소셜 네트워킹 계정에 메시지를 게시하는 것, 이메일을 전송하는 것)을 수행하게 하기 위해 제2 디바이스(예컨대, 모바일 디바이스)와 상호 작용할 수 있다. 제2 디바이스의 기능성의 변경에 기반하여 제2 디바이스에 의해 디스플레이되는 콘텐츠의 변경은 또한, 제2 디바이스의 기능성의 변경을 표현하는 콘텐츠의 변경으로서 디스플레이될 수 있다.
[0083] 일부 예들에서, 프로세스(1000)는, 제1 디바이스에 의해 수신되는 입력에 기반하여, 제2 디바이스의 콘텐츠의 변경을 디스플레이하는 것을 포함할 수 있다. 제2 디바이스의 콘텐츠의 변경은 제2 디바이스의 기능성의 변경을 표현한다. 예컨대, 사용자는, 제2 디바이스로 하여금 하나 이상의 기능들(예컨대, 특히, 메시징 애플리케이션을 사용하여 문자 메시지를 전송하는 것, 소셜 네트워킹 애플리케이션을 사용하여 소셜 네트워킹 계정에 메시지를 게시하는 것, 이메일을 전송하는 것)을 수행하게 하기 위해 제1 디바이스(예컨대, VR 헤드셋)와 상호 작용할 수 있다. 제2 디바이스의 기능성의 변경에 기반하여 제2 디바이스에 의해 디스플레이되는 콘텐츠의 변경은 또한, 제2 디바이스의 기능성의 변경을 표현하는 제2 디바이스의 콘텐츠의 변경으로서 디스플레이될 수 있다.
[0084] 일부 예들에서, 프로세스(1000)는 트리거를 검출하는 것, 및 트리거에 대한 응답으로, 가상 콘텐츠와 함께 콘텐츠를 디스플레이하는 것을 포함한다. 일부 경우들에서, 트리거는 제2 디바이스로부터 수신되는 정보에 기반한다. 예시적인 일 예에서, 제2 디바이스로부터 수신되는 정보는, 제2 디바이스에 의해 메시지가 수신되었다는 통지(예컨대, 새로운 문자 메시지 또는 이메일이 수신되었다는 통지), 제2 디바이스에 의해 수신되는 입력(예컨대, 제2 디바이스에 제공되는 사용자 입력), 및/또는 다른 통지를 포함한다. 일부 경우들에서, 트리거는 제2 디바이스가 임계량보다 많은 양만큼 이동하는 것에 기반한다. 예컨대, 가속도계 또는 제2 디바이스의 다른 센서는 제2 디바이스의 이동량을 표시하는 정보를 제공할 수 있다. 일부 경우들에서, 트리거는 제1 디바이스에 의해 검출되는 바와 같은, 제2 디바이스를 향하는 사용자의 시선의 검출에 기반한다. 일부 경우들에서, 트리거는 시간량에 기반한다. 예컨대, 제2 디바이스로부터의 콘텐츠는, 어떠한 다른 트리거도 수신되지 않은 경우 매 임계 시간 간격마다(예컨대, 5분마다, 10분마다, 또는 다른 적절한 시간 기간마다) 제1 디바이스에 의해 가상 콘텐츠와 함께 디스플레이될 수 있다. 일부 경우들에서, 트리거는 가상 콘텐츠와 함께 디스플레이되는 아이콘의 선택에 기반한다. 예컨대, 사용자는, 제스처, 눈 시선, 음성 명령, 및/또는 다른 입력을 사용하여 아이콘을 선택할 수 있다. 일부 예들에서, 트리거는 사용자에 의해 제공되는 음성 입력에 기반한다. 예컨대, 사용자는 "내 모바일 디바이스 보여줘" 또는 다른 문구를 큰 소리로 말할 수 있으며, 이는 제1 디바이스에 의해 입력으로서 수신될 수 있고 그리고 제2 디바이스에 의해 디스플레이되는 콘텐츠가 디스플레이되게 하는 트리거로서 해석될 수 있다. 일부 예들에서, 트리거는, 사용자가 모바일 디바이스를 들어올리고 그리고/또는 (예컨대, 지문 입력을 통해, 하드 버튼을 누름으로써, 얼굴 인식 또는 얼굴 ID(identification)를 통해, 또는 디바이스를 잠금 해제하기 위한 다른 메커니즘을 사용하여) 모바일 디바이스를 잠금 해제하는 것에 기반한다.
[0085] 제2 디바이스에 의해 디스플레이되는 콘텐츠는 다양한 제거 트리거들에 기반하여 제1 디바이스에 의해 디스플레이로부터 제거될 수 있다. 예컨대, 사용자는 터치 입력(예컨대, 사용자 인터페이스 상의 스와이프 입력), 음성 입력, 시선 입력, 제스처 입력, 및/또는 다른 입력을 제1 디바이스 또는 제2 디바이스에 제공할 수 있으며, 이러한 입력은 제2 디바이스에 의해 디스플레이되는 콘텐츠를 제1 디바이스 상에 디스플레이되는 것으로부터 제거하도록 제1 디바이스를 트리거하는 제거 트리거로서 제1 디바이스에 의해 해석될 수 있다. 다른 예에서, 제거 트리거는, 사용자가 제2 디바이스를 특정 포인트로 이동시키거나 또는 (예컨대, 가속도계 또는 제2 디바이스의 다른 센서에 의해 검출되는 바와 같이 디바이스를 하강시킴으로써) 특정 모션을 사용하는 것에 기반할 수 있다. 다른 예에서, 제2 디바이스에 의해 디스플레이되는 콘텐츠는, 제2 디바이스와의 마지막 상호 작용 이후의 시간량에 기반하여 제거될 수 있다. 예컨대, 제2 디바이스로부터 입력이 수신된 이후 또는 사용자가 제1 디바이스에 의해 디스플레이되는 제2 디바이스로부터의 콘텐츠와 상호 작용한 이후 임계 시간량이 경과한 경우, 제2 디바이스에 의해 디스플레이되는 콘텐츠는 제1 디바이스 상의 디스플레이로부터 제거될 수 있다. 디스플레이로부터 제2 디바이스에 의해 디스플레이되는 콘텐츠를 제거한 결과, 제2 디바이스에 의해 디스플레이되는 콘텐츠 없이 가상 콘텐츠가 디스플레이될 것이다.
[0086] 도 11은 가상 콘텐츠를 디스플레이하기 위한 프로세스(1100)의 다른 예를 예시하는 흐름도이다. 블록(1102)에서, 프로세스(1100)는, 제1 디바이스가 가상 현실 콘텐츠를 디스플레이하는 것을 포함한다. 제1 디바이스는, VR(virtual reality) 헤드셋(예컨대, HMD 또는 다른 타입의 VR 헤드셋), 이를테면 도 1 내지 도 5에 도시된 VR 헤드셋(102)을 포함할 수 있다.
[0087] 블록(1104)에서, 프로세스(1100)는, 제1 디바이스가, 제2 디바이스의 카메라에 의해 캡처되는 하나 이상의 이미지들을 획득하는 것을 포함한다. 제2 디바이스는 모바일 디바이스, 이를테면 도 1 내지 도 4에 도시된 모바일 디바이스(204)를 포함할 수 있다. 블록(1106)에서, 프로세스(1100)는, 제1 디바이스가, 가상 콘텐츠와 함께 하나 이상의 이미지들을 디스플레이하는 것을 포함한다. 일부 예들에서, 하나 이상의 이미지들은 가상 콘텐츠 위에 오버레이된다. 예컨대, 예시적인 예로서 도 4를 사용하여, 모바일 디바이스(204)에 의해 캡처되는 이미지(418)는 가상 콘텐츠 프레임(410)과 함께 디스플레이된다. 일부 예들에서, 하나 이상의 이미지들은 제2 디바이스의 카메라에 의해 캡처되는 비디오를 포함한다. 일부 예들에서, 하나 이상의 이미지들은 제2 디바이스의 카메라에 의해 캡처되는 적어도 하나의 스틸 이미지를 포함한다.
[0088] 일부 구현들에서, 프로세스(1100)는, 제1 디바이스를 사용하여, 제2 디바이스의 합성 표현을 가상 콘텐츠와 함께 디스플레이하는 것을 포함한다. 하나 이상의 이미지들은 제2 디바이스의 합성 표현의 일부로서 가상 콘텐츠와 함께 디스플레이될 수 있다. 예컨대, 하나 이상의 이미지들은 제2 디바이스의 디스플레이의 합성 표현 내에 디스플레이될 수 있다. 예시적인 목적들을 위해 도 4를 사용하는 일 예에서, 모바일 디바이스(204)의 합성 표현(414)이 도시되며, 이미지(418)는 모바일 디바이스(204)의 실제 디스플레이를 표현하는 디스플레이의 합성 표현 내에 디스플레이된다.
[0089] 일부 예들에서, 프로세스들(900, 1000, 및/또는 1100)은 컴퓨팅 디바이스 또는 장치, 이를테면 도 12에 도시된 컴퓨팅 디바이스 아키텍처(1200)를 갖는 컴퓨팅 디바이스에 의해 수행될 수 있다. 예시적인 일 예에서, (예컨대, 프로세스들(900, 1000, 및/또는 1100)을 수행하는) 컴퓨팅 디바이스는 확장 현실 디스플레이 디바이스, 이를테면 HMD(head mounted display) 또는 다른 타입의 XR 헤드셋을 포함할 수 있다.
[0090] 일부 경우들에서, 컴퓨팅 디바이스 또는 장치는, 프로세스들(900, 1000, 및/또는 1100)의 단계들을 수행하도록 구성된, 입력 디바이스, 출력 디바이스, 하나 이상의 프로세서들, 하나 이상의 마이크로프로세서들, 하나 이상의 마이크로컴퓨터들, 및/또는 다른 컴포넌트(들)를 포함할 수 있다. 컴퓨팅 디바이스의 컴포넌트들(예컨대, 하나 이상의 프로세서들, 하나 이상의 마이크로프로세서들, 하나 이상의 마이크로컴퓨터들, 및/또는 다른 컴포넌트)은 회로로 구현될 수 있다. 예컨대, 컴포넌트들은, 본원에서 설명되는 다양한 동작들을 수행하기 위해, 하나 이상의 프로그램가능한 전자 회로들(예컨대, 마이크로프로세서들, GPU(graphics processing unit)들, DSP(digital signal processor)들, CPU(central processing unit)들, 및/또는 기타 적절한 전자 회로들)을 포함할 수 있는 전자 회로들 또는 다른 전자 하드웨어를 포함할 수 있고 그리고/또는 이들을 사용하여 구현될 수 있고, 그리고/또는 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함할 수 있고 그리고/또는 이들을 사용하여 구현될 수 있다. 컴퓨팅 디바이스는, (출력 디바이스의 예로서 또는 출력 디바이스에 부가하여) 디스플레이, 데이터를 통신 및/또는 수신하도록 구성된 네트워크 인터페이스, 이들의 임의의 조합, 및/또는 다른 컴포넌트(들)를 더 포함할 수 있다. 네트워크 인터페이스는, IP(Internet Protocol) 기반 데이터 또는 다른 타입의 데이터를 통신 및/또는 수신하도록 구성될 수 있다.
[0091] 프로세스들(900, 1000, 및/또는 1100)은 논리 흐름도들로서 예시되며, 그 동작은 하드웨어, 컴퓨터 명령들, 또는 이들의 조합으로 구현될 수 있는 동작들의 시퀀스를 표현한다. 컴퓨터 명령들의 맥락에서, 동작들은 하나 이상의 컴퓨터-판독가능 저장 매체들 상에 저장된 컴퓨터-실행가능 명령들을 표현하며, 이러한 명령들은 하나 이상의 프로세서들에 의해 실행될 때, 열거된 동작들을 수행한다. 일반적으로, 컴퓨터-실행가능 명령들은, 특정 기능들을 수행하거나 특정 데이터 타입들을 구현하는 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 데이터 구조들 등을 포함한다. 동작들이 설명되는 순서는 제한으로서 해석되는 것으로 의도되지 않으며, 설명된 동작들의 임의의 수는 프로세스들을 구현하기 위해 임의의 순서로 그리고/또는 병렬로 결합될 수 있다.
[0092] 부가적으로, 프로세스들(900, 1000, 및/또는 1100)은 실행가능 명령들로 구성된 하나 이상의 컴퓨터 시스템들의 제어하에 수행될 수 있으며, 그리고 하나 이상의 프로세서들 상에서 집합적으로 실행되는 코드(예컨대, 실행가능 명령들, 하나 이상의 컴퓨터 프로그램들, 또는 하나 이상의 애플리케이션들)로서, 하드웨어에 의해, 또는 이들의 조합들로 구현될 수 있다. 위에서 언급된 바와 같이, 코드는, 예컨대, 하나 이상의 프로세서들에 의해 실행가능한 복수의 명령들을 포함하는 컴퓨터 프로그램의 형태로, 컴퓨터-판독가능 또는 머신-판독가능 저장 매체 상에 저장될 수 있다. 컴퓨터-판독가능 또는 머신-판독가능 저장 매체는 비-일시적일 수 있다.
[0093] 도 12는 본원에서 설명되는 다양한 기법들을 구현할 수 있는 예시적인 컴퓨팅 디바이스의 예시적인 컴퓨팅 디바이스 아키텍처(1200)를 예시한다. 컴퓨팅 디바이스 아키텍처(1200)의 컴포넌트들은 버스와 같은 연결부(connection)(1205)를 사용하여 서로 전기적으로 통신하는 것으로 도시된다. 예시적인 컴퓨팅 디바이스 아키텍처(1200)는 프로세싱 유닛(CPU 또는 프로세서)(1210) 및 컴퓨팅 디바이스 연결부(1205)를 포함하며, 그 컴퓨팅 디바이스 연결부(1205)는 컴퓨팅 디바이스 메모리(1215), 이를테면 ROM(read only memory)(1220) 및 RAM(random access memory)(1225)를 포함하는 다양한 컴퓨팅 디바이스 컴포넌트들을 프로세서(1210)에 커플링시킨다.
[0094] 컴퓨팅 디바이스 아키텍처(1200)는, 프로세서(1210)와 직접적으로 연결되거나, 프로세서(1210)와 근접하거나, 또는 프로세서(1210)의 일부로서 통합되는 고속 메모리의 캐시를 포함할 수 있다. 컴퓨팅 디바이스 아키텍처(1200)는, 프로세서(1210)에 의한 신속한 액세스를 위해, 메모리(1215) 및/또는 저장 디바이스(1230)로부터의 데이터를 캐시(1212)에 카피(copy)할 수 있다. 이러한 방식으로, 캐시는 데이터를 기다리는 동안 프로세서(1210) 지연들을 회피하는 성능 향상을 제공할 수 있다. 이들 및 다른 모듈들은, 다양한 액션들을 수행하도록 프로세서(1210)를 제어하거나 또는 프로세서(1210)를 제어하도록 구성될 수 있다. 다른 컴퓨팅 디바이스 메모리(1215)가 또한 사용하도록 이용가능할 수 있다. 메모리(1215)는 상이한 성능 특성들을 갖는 다수의 상이한 타입들의 메모리를 포함할 수 있다. 프로세서(1210)는, 프로세서(1210)를 제어하도록 구성된, 임의의 범용 프로세서 및 하드웨어 또는 소프트웨어 서비스, 이를테면 저장 디바이스(1230)에 저장된 서비스 1(1232), 서비스 2(1234), 및 서비스 3(1236)뿐만 아니라, 소프트웨어 명령들이 프로세서 설계에 통합된 특수-목적 프로세서를 포함할 수 있다. 프로세서(1210)는, 다수의 코어들 또는 프로세서들, 버스, 메모리 제어기, 캐시 등을 포함하는 독립형(self-contained) 시스템일 수 있다. 멀티-코어 프로세서는 대칭적이거나 또는 비대칭적일 수 있다.
[0095] 컴퓨팅 디바이스 아키텍처(1200)와의 사용자 상호 작용을 가능하게 하기 위해, 입력 디바이스(1245)는 임의의 수의 입력 메커니즘들, 이를테면 스피치용 마이크로폰, 제스처 또는 그래픽 입력을 위한 터치-감응 스크린, 키보드, 마우스, 모션 입력, 스피치 등을 표현할 수 있다. 출력 디바이스(1235) 또한, 당업자에게 공지된 다수의 출력 메커니즘들, 이를테면 디스플레이, 프로젝터, 텔레비전, 스피커 디바이스 등 중 하나 이상일 수 있다. 일부 경우들에서, 멀티모달(multimodal) 컴퓨팅 디바이스들은 사용자로 하여금 컴퓨팅 디바이스 아키텍처(1200)와 통신하기 위한 다수의 타입들의 입력을 제공할 수 있게 한다. 통신 인터페이스(1240)는 일반적으로, 사용자 입력 및 컴퓨팅 디바이스 출력을 제어 및 관리할 수 있다. 임의의 특정 하드웨어 어레인지먼트에 대해 동작하는 것에 대한 제한이 없으며, 따라서, 본원에서의 기본적인 특징들은, 개선된 하드웨어 또는 펌웨어 어레인지먼트들이 개발될 때 이들로 쉽게 대체될 수 있다.
[0096] 저장 디바이스(1230)는 비휘발성 메모리이며, 그리고 컴퓨터에 의해 액세스 가능한 데이터를 저장할 수 있는 하드 디스크 또는 다른 타입들의 컴퓨터 판독가능 매체들, 이를테면 자기 카세트들, 플래시 메모리 카드들, 솔리드 스테이트 메모리 디바이스들, 디지털 다목적 디스크들, 카트리지들, RAM(random access memory)들(1225), ROM(read only memory)들(1220), 및 이들의 결합(hybrid)들일 수 있다. 저장 디바이스(1230)는 프로세서(1210)를 제어하기 위한 서비스들(1232, 1234, 1236)을 포함할 수 있다. 다른 하드웨어 또는 소프트웨어 모듈들이 고려된다. 저장 디바이스(1230)는 컴퓨팅 디바이스 연결부(1205)에 연결될 수 있다. 일 양상에서, 특정 기능을 수행하는 하드웨어 모듈은, 그 기능을 수행하기 위해, 필요한 하드웨어 컴포넌트들, 이를테면, 프로세서(1210), 연결부(1205), 출력 디바이스(1235) 등과 관련하여 컴퓨터-판독가능 매체에 저장된 소프트웨어 컴포넌트를 포함할 수 있다.
[0097] 본 개시내용의 기법들은 반드시 무선 애플리케이션들 또는 세팅들로 제한되는 것은 아니다. 이러한 기법들은 다양한 멀티미디어 애플리케이션들, 예컨대, 오버-디-에어 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 인터넷 스트리밍 비디오 송신들, 예컨대, DASH(dynamic adaptive streaming over HTTP), 데이터 저장 매체 상에 인코딩된 디지털 비디오, 데이터 저장 매체 상에 저장된 디지털 비디오의 디코딩 또는 다른 애플리케이션들 중 임의의 것의 지원으로 비디오 코딩에 적용될 수 있다. 일부 예들에서, 시스템은 비디오 스트리밍, 비디오 재생, 비디오 브로드캐스팅 및/또는 비디오 텔레포니와 같은 애플리케이션들을 지원하기 위해 일방향 또는 양방향 비디오 송신을 지원하도록 구성될 수 있다.
[0098] 본원에서 사용되는 바와 같이, "컴퓨터-판독가능 매체"라는 용어는, 휴대용 또는 비 휴대용 저장 디바이스들, 광학 저장 디바이스들, 및 명령(들) 및/또는 데이터를 저장, 포함 또는 반송할 수 있는 다양한 다른 매체들을 포함하지만, 이들로 제한되지 않는다. 컴퓨터-판독가능 매체는, 데이터가 저장될 수 있고 그리고 무선으로 또는 유선 연결들을 통해 전파되는 반송파들 및/또는 일시적인 전자 신호들을 포함하지 않는 비-일시적인 매체를 포함할 수 있다. 비-일시적인 매체의 예들은, 자기 디스크 또는 테이프, 광학 저장 매체들, 이를테면 CD(compact disk) 또는 DVD(digital versatile disk), 플래시 메모리, 메모리 또는 메모리 디바이스들을 포함할 수 있지만, 이들로 제한되지 않는다. 컴퓨터-판독가능 매체에는, 프로시저(procedure), 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들 또는 프로그램문(program statement)들의 임의의 조합을 표현할 수 있는 코드 및/또는 머신-실행가능 명령들이 저장되어 있을 수 있다. 코드 세그먼트는, 정보, 데이터, 인수들, 파라미터들, 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수 있다. 정보, 인수들, 파라미터들, 데이터 등은, 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 송신 등을 포함하는 임의의 적절한 수단을 통해 전달, 포워딩, 또는 송신될 수 있다.
[0099] 일부 실시예들에서, 컴퓨터-판독가능 저장 디바이스들, 매체들, 및 메모리들은, 비트 스트림 등을 포함하는 무선 신호 또는 케이블을 포함할 수 있다. 그러나, 언급될 때, 비-일시적인 컴퓨터-판독가능 저장 매체들은 에너지, 캐리어 신호들, 전자기파들, 및 신호들 자체와 같은 매체들을 명시적으로 배제한다.
[0100] 본원에서 제공되는 실시예들 및 예들의 완전한 이해를 제공하기 위해, 위의 설명에서 특정 세부사항들이 제공된다. 그러나, 실시예들이 이러한 특정 세부사항들 없이도 실시될 수 있음이 당업자들에 의해 이해될 것이다. 설명의 명확성을 위해, 일부 경우들에서, 본 기술은, 디바이스들, 디바이스 컴포넌트들, 소프트웨어로 구현되는 방법의 단계들 또는 루틴들, 또는 하드웨어와 소프트웨어의 조합들을 포함하는 기능 블록들을 포함하는 개별 기능 블록들을 포함하는 것으로 제시될 수 있다. 도면들에 도시되고 그리고/또는 본원에서 설명되는 것들 이외의 부가적인 컴포넌트들이 사용될 수 있다. 예컨대, 회로들, 시스템들, 네트워크들, 프로세스들, 및 다른 컴포넌트들은, 실시예들을 불필요하게 상세히 불명료하게 하지 않기 위해, 블록도 형태의 컴포넌트들로서 도시될 수 있다. 다른 경우들에서, 잘-알려진 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들은 실시예들을 불명료하게 하는 것을 회피하기 위해 불필요한 세부사항 없이 도시될 수 있다.
[0101] 개별적인 실시예들은, 플로우챠트, 흐름도, 데이터 흐름도, 구조도, 또는 블록도로서 도시된 프로세스 또는 방법으로서 위에서 설명될 수 있다. 흐름도가 순차적인 프로세스로서 동작들을 설명할 수 있지만, 동작들의 대부분은 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수 있다. 프로세스는 그 동작들이 완료될 때 종료되지만, 도면에 포함되지 않은 부가적인 단계들을 가질 수 있다. 프로세스는 방법, 함수, 프로시저, 서브루틴, 서브프로그램 등에 대응할 수 있다. 프로세스가 함수에 대응하는 경우, 그 종료는 호출 함수 또는 메인 함수로의 함수의 리턴에 대응할 수 있다.
[0102] 위에서 설명된 예들에 따른 프로세스들 및 방법들은, 저장되거나 또는 그렇지 않으면 컴퓨터-판독가능 매체들로부터 이용 가능한 컴퓨터-실행가능 명령들을 사용하여 구현될 수 있다. 그러한 명령들은, 예컨대, 범용 컴퓨터, 특수 목적 컴퓨터, 또는 프로세싱 디바이스로 하여금 특정 기능 또는 기능들의 그룹을 수행하게 하거나 또는 그렇지 않으면 이들을 구성하는 명령들 및 데이터를 포함할 수 있다. 사용되는 컴퓨터 자원들의 일부분들은 네트워크를 통해 액세스 가능할 수 있다. 컴퓨터 실행가능 명령들은, 예컨대, 바이너리들(binaries), 중간 포맷 명령들, 이를테면 어셈블리 언어, 펌웨어, 소스 코드 등일 수 있다. 설명된 예들에 따른 방법들 동안 생성된 정보, 사용된 정보, 및/또는 명령들을 저장하는 데 사용될 수 있는 컴퓨터-판독가능 매체들의 예들은 자기 또는 광 디스크들, 플래시 메모리, 비휘발성 메모리가 제공된 USB 디바이스들, 네트워킹된 저장 디바이스(networked storage device)들 등을 포함한다.
[0103] 이러한 개시내용들에 따른 프로세스들 및 방법들을 구현하는 디바이스들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 이들의 임의의 조합을 포함할 수 있고, 다양한 폼 팩터(form factor)들 중 임의의 폼 팩터를 취할 수 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들(예컨대, 컴퓨터-프로그램 제품)은 컴퓨터-판독가능 또는 머신-판독가능 매체에 저장될 수 있다. 프로세서(들)는 필요한 작업들을 수행할 수 있다. 폼 팩터들의 전형적인 예들은 랩톱들, 스마트 폰들, 이동 전화들, 태블릿 디바이스들 또는 다른 소형 폼 팩터 개인용 컴퓨터들, 개인용 휴대 정보 단말기들, 랙마운트(rackmount) 디바이스들, 독립형 디바이스들 등을 포함한다. 본원에서 설명되는 기능성은 또한 주변기기들 또는 애드인 카드(add-in card)들로 구현될 수 있다. 그러한 기능성은 또한, 추가의 예로서, 단일 디바이스에서 실행되는 상이한 프로세스들 또는 상이한 칩들 간에 회로 보드 상에서 구현될 수 있다.
[0104] 명령들, 그러한 명령들을 전달하기 위한 매체들, 이들을 실행하기 위한 컴퓨팅 자원들, 및 그러한 컴퓨팅 자원들을 지원하기 위한 다른 구조들이, 본 개시내용에서 설명된 기능들을 제공하기 위한 예시적인 수단들이다.
[0105] 전술한 설명에서, 본 출원의 양상들이 본 출원의 특정 실시예들을 참조하여 설명되지만, 당업자들은 본 출원이 이에 제한되지 않는다는 것을 인식할 것이다. 따라서, 본 출원의 예시적인 실시예들이 본원에서 상세히 설명되었지만, 본 발명의 개념들은 다른 방식으로 다양하게 구현 및 이용될 수 있으며, 그리고 첨부된 청구범위는, 종래 기술에 의해 제한되는 경우를 제외하고, 그러한 변형들을 포함하는 것으로 해석되어야 한다는 것을 이해해야 한다. 위에서 설명된 본 출원의 다양한 특징들 및 양상들은 개별적으로 또는 공동으로 사용될 수 있다. 또한, 실시예들은, 본 명세서의 더 넓은 사상 및 범위를 벗어나지 않으면서, 본원에서 설명된 것들 이외의 임의의 수의 환경들 및 애플리케이션들에서 활용될 수 있다. 따라서, 본 명세서 및 도면들은 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다. 예시의 목적들을 위해, 방법들은 특정 순서로 설명되었다. 대안적인 실시예들에서, 방법들은 설명된 순서와 상이한 순서로 수행될 수 있다는 것이 인식되어야 한다.
[0106] 당업자는, 본원에서 사용되는 미만("<") 및 초과(">") 기호들 또는 용어가 본 설명의 범위를 벗어나지 않으면서 이하("≤") 및 이상("≥") 기호들로 각각 대체될 수 있다는 것을 인식할 것이다.
[0107] 컴포넌트들이 특정 동작들을 수행"하도록 구성"되는 것으로 설명되는 경우, 그러한 구성은, 예컨대, 동작을 수행하도록 전자 회로들 또는 다른 하드웨어를 설계함으로써, 동작을 수행하도록 프로그래밍가능한 전자 회로들(예컨대, 마이크로프로세서들, 또는 다른 적합한 전자 회로들)을 프로그래밍함으로써, 또는 이들의 임의의 조합에 의해 달성될 수 있다.
[0108] "~에 커플링된"이라는 문구는, 직접적으로 또는 간접적으로 다른 컴포넌트에 물리적으로 연결된 임의의 컴포넌트, 및/또는 직접적으로 또는 간접적으로 다른 컴포넌트와 통신하는(예컨대, 유선 또는 무선 연결, 및/또는 다른 적절한 통신 인터페이스를 통해 다른 컴포넌트에 연결됨) 임의의 컴포넌트를 지칭한다.
[0109] 세트 "중 적어도 하나" 및/또는 세트 중 "하나 이상"을 인용하는 청구항 언어 또는 다른 언어는, 세트 중 하나의 멤버 또는 세트의 다수의 멤버들이 (임의의 조합으로) 청구항을 만족시킨다는 것을 나타낸다. 예컨대, "A 및 B 중 적어도 하나"를 인용하는 청구항 언어는 A, B, 또는 A 및 B를 의미한다. 다른 예에서, "A, B, 및 C 중 적어도 하나"를 인용하는 청구항 언어는 A, B, C, 또는 A 및 B, 또는 A 및 C, 또는 B 및 C, 또는 A 및 B 및 C를 의미한다. 세트 "중 적어도 하나" 및/또는 세트 중 "하나 이상" 이라는 언어는 세트 내에 열거된 아이템들로 그 세트를 제한하지 않는다. 예컨대, "A 및 B 중 적어도 하나"를 인용하는 청구항 언어는 A, B, 또는 A 및 B를 의미할 수 있고, A 및 B의 세트에 열거되지 않은 아이템들을 부가적으로 포함할 수 있다.
[0110] 본원에서 개시된 실시예들과 관련하여 설명되는 다양한 예시적인 로직 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 조합들로 구현될 수 있다. 하드웨어와 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 일반적으로 이들의 기능적 관점에서 앞서 설명되었다. 이러한 기능이 하드웨어로 구현되는지, 또는 소프트웨어로 구현되는지 여부는 특정 애플리케이션 및 전체 시스템에 대해 부과된 설계 제한들에 의존한다. 당업자들은 설명된 기능성을 각각의 특정 애플리케이션에 대해 다양한 방식들로 구현할 수 있지만, 이러한 구현 결정들이 본 출원의 범주를 벗어나는 것으로 해석되어서는 안된다.
[0111] 본원에서 설명되는 기법들은 또한, 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 그러한 기법들은, 이를테면 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들, 또는 무선 통신 디바이스 핸드셋들 및 기타 디바이스들에서의 애플리케이션을 포함하는 다수의 용도들을 갖는 집적 회로 디바이스들과 같은 다양한 디바이스들 중 임의의 디바이스에서 구현될 수 있다. 모듈들 또는 컴포넌트들로서 설명된 임의의 특징들은 통합된 로직 디바이스에서 함께 구현될 수 있거나, 또는 별개이지만 상호 운용 가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기법들은, 실행될 때, 위에서 설명된 방법들 중 하나 이상을 수행하는 명령들을 포함하는 프로그램 코드를 포함하는 컴퓨터-판독가능 데이터 저장 매체에 의해 적어도 부분적으로 실현될 수 있다. 컴퓨터-판독가능 데이터 저장 매체는, 패키징 재료들을 포함할 수 있는 컴퓨터 프로그램 제품의 일부를 형성할 수 있다. 컴퓨터-판독가능 매체는 메모리 또는 데이터 저장 매체들, 이를테면 SDRAM(synchronous dynamic random access memory)과 같은 RAM(random access memory), ROM(read-only memory), NVRAM(non-volatile random access memory), EEPROM(electrically erasable programmable read-only memory), 플래시 메모리, 자기 또는 광학 데이터 저장 매체들 등을 포함할 수 있다. 부가적으로 또는 대안적으로, 기법들은, 명령들 또는 데이터 구조들의 형태로 프로그램 코드를 운반 또는 통신하며 그리고 컴퓨터에 의해 액세스, 판독, 및/또는 실행될 수 있는 컴퓨터-판독가능 통신 매체, 이를테면 전파되는 신호들 또는 파(wave)들에 의해 적어도 부분적으로 실현될 수 있다.
[0112] 프로그램 코드는, 이를테면 하나 이상의 DSP(digital signal processor)들, 범용 마이크로프로세서들, ASIC(application specific integrated circuit)들, FPGA(field programmable logic array)들, 또는 다른 동등한 집적 또는 이산 로직 회로와 같은 하나 이상의 프로세서들을 포함할 수 있는 프로세서에 의해 실행될 수 있다. 그러한 프로세서는 본 개시내용에서 설명되는 기법들 중 임의의 기법을 수행하도록 구성될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안적으로, 프로세서는 임의의 종래 프로세서, 제어기, 마이크로제어기 또는 상태 머신일 수 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예컨대 DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수 있다. 따라서, 본원에서 사용되는 바와 같은 "프로세서"라는 용어는, 본원에서 설명되는 기법들을 구현하는 데 적합한 전술한 구조 중 임의의 것, 전술한 구조의 임의의 조합, 또는 임의의 다른 구조 또는 장치를 지칭할 수 있다. 또한, 일부 양상들에서, 본원에서 설명된 기능성은, 인코딩 및 디코딩을 위해 구성된 전용 소프트웨어 모듈들 또는 하드웨어 모듈들 내에 제공될 수 있거나, 또는 CODEC(combined video encoder-decoder)으로 통합될 수 있다.

Claims (33)

  1. 제1 디바이스가, 가상 현실 콘텐츠를 디스플레이하는 단계;
    상기 제1 디바이스가, 제2 디바이스의 합성 표현(synthetic representation)을 획득하는 단계;
    상기 제1 디바이스가, 상기 가상 현실 콘텐츠와 함께 상기 제2 디바이스의 합성 표현을 디스플레이하는 단계;
    상기 제1 디바이스가, 상기 제2 디바이스의 기능성(functionality)의 변경을 요청하는 입력을 수신하는 단계; 및
    상기 제1 디바이스에 의해 수신된 입력에 기반하여, 상기 제2 디바이스의 합성 표현의 변경을 디스플레이하는 단계를 포함하고, 상기 제2 디바이스의 합성 표현의 변경은 상기 제2 디바이스의 기능성의 변경을 표현하는,
    방법.
  2. 제1 항에 있어서,
    상기 제2 디바이스의 합성 표현은 상기 제2 디바이스의 디스플레이의 합성 표현을 포함하며, 상기 제2 디바이스에 의해 디스플레이되는 콘텐츠는 상기 제2 디바이스의 디스플레이의 합성 표현 내에 디스플레이되는,
    방법.
  3. 제1 항에 있어서,
    상기 제1 디바이스가, 상기 제2 디바이스에 의해 프로세싱되는 하나 이상의 입력들의 표시를 수신하는 단계; 및
    상기 제2 디바이스에 의해 프로세싱되는 하나 이상의 입력들의 표시에 기반하여, 상기 제2 디바이스의 합성 표현의 부가적인 변경을 디스플레이하는 단계를 더 포함하고, 상기 제2 디바이스의 합성 표현의 부가적인 변경은 상기 제2 디바이스의 기능성의 부가적인 변경을 표현하는,
    방법.
  4. 제1 항에 있어서,
    상기 제2 디바이스의 합성 표현은 상기 가상 현실 콘텐츠 위에 오버레이(overlay)되는,
    방법.
  5. 제1 항에 있어서,
    상기 제1 디바이스는 가상 현실 헤드 장착형 디스플레이(virtual reality head mounted display)를 포함하는,
    방법.
  6. 제1 항에 있어서,
    상기 제2 디바이스는 모바일 디바이스를 포함하는,
    방법.
  7. 제1 항에 있어서,
    상기 제1 디바이스가, 상기 제2 디바이스로부터 오디오 콘텐츠를 획득하는 단계; 및
    상기 제1 디바이스가, 상기 제2 디바이스로부터의 오디오 콘텐츠를 재생하는 단계를 더 포함하는,
    방법.
  8. 제1 항에 있어서,
    상기 제1 디바이스가, 상기 제2 디바이스의 마이크로폰에 의해 캡처되는 오디오 콘텐츠를 획득하는 단계; 및
    상기 제1 디바이스가, 상기 오디오 콘텐츠를 재생하는 단계를 더 포함하는,
    방법.
  9. 제1 항에 있어서,
    상기 제1 디바이스가, 상기 제2 디바이스의 카메라에 의해 캡처되는 하나 이상의 이미지들을 획득하는 단계; 및
    상기 제1 디바이스가, 상기 가상 현실 콘텐츠와 함께 상기 하나 이상의 이미지들을 디스플레이하는 단계를 더 포함하는,
    방법.
  10. 제9 항에 있어서,
    상기 하나 이상의 이미지들은 상기 제2 디바이스의 카메라에 의해 캡처되는 비디오의 일부인,
    방법.
  11. 제9 항에 있어서,
    상기 하나 이상의 이미지들은 상기 제2 디바이스의 합성 표현의 일부로서 상기 가상 현실 콘텐츠와 함께 디스플레이되는,
    방법.
  12. 제9 항에 있어서,
    상기 하나 이상의 이미지들은 상기 제2 디바이스의 디스플레이의 합성 표현 내에 디스플레이되는,
    방법.
  13. 제9 항에 있어서,
    상기 제1 디바이스가, 상기 제2 디바이스의 마이크로폰에 의해 캡처되는 오디오 콘텐츠를 획득하는 단계; 및
    상기 제1 디바이스가, 상기 가상 현실 콘텐츠와 함께 상기 하나 이상의 이미지들을 디스플레이하면서 상기 오디오 콘텐츠를 재생하는 단계를 더 포함하는,
    방법.
  14. 제1 항에 있어서,
    트리거(trigger)를 수신하는 단계; 및
    상기 트리거를 수신하는 것에 기반하여, 상기 가상 현실 콘텐츠와 함께 상기 제2 디바이스의 합성 표현을 디스플레이하는 단계를 더 포함하는,
    방법.
  15. 제14 항에 있어서,
    상기 트리거는 상기 제2 디바이스로부터 수신되는 정보에 기반하는,
    방법.
  16. 제1 항에 있어서,
    제거 트리거(removal trigger)를 수신하는 단계; 및
    상기 제1 디바이스가, 상기 트리거를 수신하는 것에 기반하여, 상기 디스플레이로부터 상기 제2 디바이스의 합성 표현을 제거하는 단계를 더 포함하는,
    방법.
  17. 디스플레이를 위한 콘텐츠를 저장하도록 구성된 메모리; 및
    회로(circuitry)로 구현되며 그리고 상기 메모리에 커플링되는 하나 이상의 프로세서들을 포함하고,
    상기 하나 이상의 프로세서들은:
    가상 현실 콘텐츠가 디스플레이 상에 디스플레이되게 하도록;
    디바이스의 합성 표현을 획득하도록;
    상기 디스플레이 상에 상기 가상 현실 콘텐츠와 함께 상기 디바이스의 합성 표현이 디스플레이되게 하도록;
    상기 디바이스의 기능성의 변경을 요청하는 입력을 수신하도록; 그리고
    상기 수신된 입력에 기반하여, 상기 디바이스의 합성 표현의 변경이 상기 디스플레이 상에 디스플레이되게 하도록 구성되고, 상기 디바이스의 합성 표현의 변경은 상기 디바이스의 기능성의 변경을 표현하는,
    장치.
  18. 제17 항에 있어서,
    상기 디바이스의 합성 표현은 상기 디바이스의 디스플레이의 합성 표현을 포함하며, 상기 디바이스에 의해 디스플레이되는 콘텐츠는 상기 디바이스의 디스플레이의 합성 표현 내에 디스플레이되는,
    장치.
  19. 제17 항에 있어서,
    상기 하나 이상의 프로세서들은:
    상기 디바이스에 의해 프로세싱되는 하나 이상의 입력들의 표시를 수신하도록; 그리고
    상기 디바이스에 의해 프로세싱되는 하나 이상의 입력들의 표시에 기반하여, 상기 디바이스의 합성 표현의 부가적인 변경이 상기 디스플레이 상에 디스플레이되게 하도록 구성되고, 상기 디바이스의 합성 표현의 부가적인 변경은 상기 디바이스의 기능성의 부가적인 변경을 표현하는,
    장치.
  20. 제17 항에 있어서,
    상기 디바이스의 합성 표현은 상기 가상 현실 콘텐츠 위에 오버레이되는,
    장치.
  21. 제17 항에 있어서,
    상기 장치는 가상 현실 헤드 장착형 디스플레이를 포함하고, 상기 가상 현실 헤드 장착형 디스플레이는 상기 디스플레이를 포함하는,
    장치.
  22. 제17 항에 있어서,
    상기 디바이스는 모바일 디바이스를 포함하는,
    장치.
  23. 제17 항에 있어서,
    상기 하나 이상의 프로세서들은:
    상기 디바이스로부터 오디오 콘텐츠를 획득하도록; 그리고
    상기 디바이스로부터의 오디오 콘텐츠를 재생하도록 구성되는,
    장치.
  24. 제17 항에 있어서,
    상기 하나 이상의 프로세서들은:
    상기 디바이스의 마이크로폰에 의해 캡처되는 오디오 콘텐츠를 획득하도록; 그리고
    상기 오디오 콘텐츠를 재생하도록 구성되는,
    장치.
  25. 제17 항에 있어서,
    상기 하나 이상의 프로세서들은:
    상기 디바이스의 카메라에 의해 캡처되는 하나 이상의 이미지들을 획득하도록; 그리고
    상기 가상 현실 콘텐츠와 함께 상기 하나 이상의 이미지들이 디스플레이되게 하도록 구성되는,
    장치.
  26. 제25 항에 있어서,
    상기 하나 이상의 이미지들은 상기 디바이스의 카메라에 의해 캡처되는 비디오의 일부인,
    장치.
  27. 제25 항에 있어서,
    상기 하나 이상의 이미지들은 상기 디바이스의 합성 표현의 일부로서 상기 가상 현실 콘텐츠와 함께 디스플레이되는,
    장치.
  28. 제25 항에 있어서,
    상기 하나 이상의 이미지들은 상기 디바이스의 디스플레이의 합성 표현 내에 디스플레이되는,
    장치.
  29. 제25 항에 있어서,
    상기 하나 이상의 프로세서들은:
    상기 디바이스의 마이크로폰에 의해 캡처되는 오디오 콘텐츠를 획득하도록; 그리고
    상기 가상 현실 콘텐츠와 함께 상기 하나 이상의 이미지들이 디스플레이되는 동안 상기 오디오 콘텐츠를 재생하도록 구성되는,
    장치.
  30. 제17 항에 있어서,
    상기 하나 이상의 프로세서들은:
    트리거를 수신하도록; 그리고
    상기 트리거를 수신하는 것에 기반하여, 상기 가상 현실 콘텐츠와 함께 상기 디바이스의 합성 표현이 디스플레이되게 하도록 구성되는,
    장치.
  31. 제30 항에 있어서,
    상기 트리거는 상기 디바이스로부터 수신되는 정보에 기반하는,
    장치.
  32. 제17 항에 있어서,
    상기 하나 이상의 프로세서들은:
    제거 트리거를 수신하도록; 그리고
    상기 트리거를 수신하는 것에 기반하여, 상기 디스플레이에 의해 상기 디스플레이로부터 상기 디바이스의 합성 표현이 제거되게 하도록 구성되는,
    장치.
  33. 명령들을 저장하는 컴퓨터-판독가능 저장 매체로서,
    상기 명령들은, 실행될 때, 제1 디바이스의 하나 이상의 프로세서들로 하여금:
    가상 현실 콘텐츠가 상기 제1 디바이스에 의해 디스플레이되게 하고;
    상기 제1 디바이스가, 제2 디바이스의 합성 표현을 획득하게 하고;
    상기 가상 현실 콘텐츠와 함께 상기 제2 디바이스의 합성 표현이 디스플레이되게 하고;
    상기 제1 디바이스가, 상기 제2 디바이스의 기능성의 변경을 요청하는 입력을 수신하게 하고; 그리고
    상기 제1 디바이스에 의해 수신된 입력에 기반하여, 상기 제2 디바이스의 합성 표현의 변경이 상기 제1 디바이스에 의해 디스플레이되게 하고, 상기 제2 디바이스의 합성 표현의 변경은 상기 제2 디바이스의 기능성의 변경을 표현하는,
    명령들을 저장하는 컴퓨터-판독가능 저장 매체.
KR1020227002997A 2019-08-03 2020-06-15 컴퓨팅 디바이스 및 확장 현실 통합 KR20220038689A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962882488P 2019-08-03 2019-08-03
US62/882,488 2019-08-03
US16/741,617 US11231827B2 (en) 2019-08-03 2020-01-13 Computing device and extended reality integration
US16/741,617 2020-01-13
PCT/US2020/037817 WO2021025787A1 (en) 2019-08-03 2020-06-15 Computing device and extended reality integration

Publications (1)

Publication Number Publication Date
KR20220038689A true KR20220038689A (ko) 2022-03-29

Family

ID=74258701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227002997A KR20220038689A (ko) 2019-08-03 2020-06-15 컴퓨팅 디바이스 및 확장 현실 통합

Country Status (7)

Country Link
US (1) US11231827B2 (ko)
EP (1) EP4007947A1 (ko)
JP (1) JP2022542295A (ko)
KR (1) KR20220038689A (ko)
CN (1) CN114207559A (ko)
BR (1) BR112022001190A2 (ko)
WO (1) WO2021025787A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024049175A1 (ko) * 2022-09-01 2024-03-07 삼성전자 주식회사 Hmd(head mounted display) 장치를 착용 중, 디스플레이 방법 및 그 장치

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200093922A (ko) * 2019-01-29 2020-08-06 삼성전자주식회사 전자 장치의 외부 전자 장치를 제어하는 방법, 전자 장치 및 저장 매체
US11340756B2 (en) 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11449189B1 (en) * 2019-10-02 2022-09-20 Facebook Technologies, Llc Virtual reality-based augmented reality development system
US20210286502A1 (en) * 2020-03-16 2021-09-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
KR20220014213A (ko) * 2020-07-28 2022-02-04 삼성전자주식회사 전자 장치 및 오디오 볼륨 제어 방법
US11615596B2 (en) * 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11567625B2 (en) 2020-09-24 2023-01-31 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN113784105A (zh) * 2021-09-10 2021-12-10 上海曼恒数字技术股份有限公司 一种沉浸式vr终端的信息处理方法及系统
US11960652B2 (en) * 2021-10-12 2024-04-16 Qualcomm Incorporated User interactions with remote devices
EP4339873A4 (en) 2021-11-09 2024-05-01 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR PROVIDING CONTENT RELATED TO AN AUGMENTED REALITY SERVICE BETWEEN AN ELECTRONIC DEVICE AND A PORTABLE ELECTRONIC DEVICE
KR20230067197A (ko) * 2021-11-09 2023-05-16 삼성전자주식회사 전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치
US11726734B2 (en) 2022-01-13 2023-08-15 Motorola Mobility Llc Configuring an external presentation device based on an impairment of a user
TWI818613B (zh) * 2022-07-01 2023-10-11 國立臺北科技大學 非對稱式ｖｒ遠端醫療協作指導系統及訓練方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713886B (zh) * 2012-09-29 2017-11-10 腾讯科技（深圳）有限公司 一种数据处理设备中的提醒装置及其提醒处理方法
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10102674B2 (en) 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
US10157039B2 (en) * 2015-10-05 2018-12-18 Motorola Mobility Llc Automatic capturing of multi-mode inputs in applications
US10812755B2 (en) * 2015-10-14 2020-10-20 Utility Associates, Inc. Article of clothing with video recording device support
EP3236423A1 (en) 2016-04-22 2017-10-25 Thomson Licensing Method and device for compositing an image
US10692113B2 (en) 2016-06-21 2020-06-23 Htc Corporation Method for providing customized information through advertising in simulation environment, and associated simulation system
US10802787B2 (en) 2016-09-30 2020-10-13 Sony Interactive Entertainment Inc. Integrating audience participation content into virtual reality content
US20180095542A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction
KR20180044687A (ko) 2016-10-24 2018-05-03 엘지전자 주식회사 Hmd 디바이스
US10595012B2 (en) 2016-12-02 2020-03-17 Google Llc Representations of event notifications in virtual reality
GB2555501B (en) * 2017-05-04 2019-08-28 Sony Interactive Entertainment Europe Ltd Head mounted display and method
US10754496B2 (en) 2017-08-24 2020-08-25 Microsoft Technology Licensing, Llc Virtual reality input
CN110622101B (zh) 2017-09-11 2024-02-06 谷歌有限责任公司 可切换的虚拟现实和增强现实设备
US11176956B2 (en) * 2018-03-28 2021-11-16 Qualcomm Incorproated Application directed latency control for wireless audio streaming
US10740924B2 (en) * 2018-04-16 2020-08-11 Microsoft Technology Licensing, Llc Tracking pose of handheld object

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024049175A1 (ko) * 2022-09-01 2024-03-07 삼성전자 주식회사 Hmd(head mounted display) 장치를 착용 중, 디스플레이 방법 및 그 장치

Also Published As

Publication number Publication date
CN114207559A (zh) 2022-03-18
BR112022001190A2 (pt) 2022-03-15
EP4007947A1 (en) 2022-06-08
US20210034222A1 (en) 2021-02-04
JP2022542295A (ja) 2022-09-30
US11231827B2 (en) 2022-01-25
TW202107249A (zh) 2021-02-16
WO2021025787A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
US11231827B2 (en) Computing device and extended reality integration
KR102358939B1 (ko) 시선 추적 방법 및 디바이스에서의 시각적 변경의 비시각적 피드백
JP6612250B2 (ja) 会話検出
EP2959361B1 (en) Context-aware augmented reality object commands
EP2972559B1 (en) Methods and apparatus for displaying images on a head mounted display
US20180321798A1 (en) Information processing apparatus and operation reception method
WO2020186988A1 (zh) 资讯的展示方法、装置、终端及存储介质
CN109407822B (zh) 协作虚拟现实的防恶心和视频流式传输技术
US20160162259A1 (en) External visual interactions for speech-based devices
CN109407821B (zh) 与虚拟现实视频的协作交互
US10841534B2 (en) Real-world awareness for virtual reality
EP3465620A1 (en) Shared experience with contextual augmentation
KR20150047006A (ko) 데이터 전송 방법, 데이터 수신 방법, 및 디바이스
CN114205324B (zh) 消息显示方法、装置、终端、服务器及存储介质
US10705621B1 (en) Using a three-dimensional sensor panel in determining a direction of a gesture cycle
JP2023503264A (ja) ターゲットデバイス、電子デバイス及び媒体のためのビュー調整方法及び装置
CN111459363A (zh) 信息展示方法、装置、设备及存储介质
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
CN112612387B (zh) 展示信息的方法、装置、设备及存储介质
TWI839532B (zh) 計算裝置及延伸實境整合
CN111064658B (zh) 显示控制方法及电子设备
CN116490250A (zh) 环境的非对称呈现
CN114546188A (zh) 基于互动界面的互动方法、装置、设备及可读存储介质
US11934627B1 (en) 3D user interface with sliding cylindrical volumes
KR20200019486A (ko) 전자 장치, 그 제어 방법 및 전자 시스템