KR102440089B1 - 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스 - Google Patents
합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스 Download PDFInfo
- Publication number
- KR102440089B1 KR102440089B1 KR1020207021318A KR20207021318A KR102440089B1 KR 102440089 B1 KR102440089 B1 KR 102440089B1 KR 1020207021318 A KR1020207021318 A KR 1020207021318A KR 20207021318 A KR20207021318 A KR 20207021318A KR 102440089 B1 KR102440089 B1 KR 102440089B1
- Authority
- KR
- South Korea
- Prior art keywords
- content
- video content
- current plot
- setting
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000003993 interaction Effects 0.000 claims abstract description 54
- 230000004044 response Effects 0.000 claims abstract description 33
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 230000007704 transition Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000001953 sensory effect Effects 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 235000009508 confectionery Nutrition 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 239000000758 substrate Substances 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 230000032258 transport Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000005669 field effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
일 구현예에서, 방법은: 현재 플롯 세팅을 갖는 비디오 콘텐츠의 프레젠테이션을 야기하는 동안, 현재 플롯 세팅을 탐색하기 위한 요청을 나타내는 사용자 입력을 수신하는 단계; 사용자 입력을 수신하는 것에 응답하여 현재 플롯 세팅과 연관된 합성 현실(SR) 콘텐츠를 획득하는 단계; 현재 플롯 세팅과 연관된 SR 콘텐츠의 프레젠테이션을 야기하는 단계; SR 콘텐츠와의 하나 이상의 사용자 상호작용들을 수신하는 단계; 및 SR 콘텐츠와의 하나 이상의 사용자 상호작용들을 수신하는 것에 응답하여 SR 콘텐츠의 프레젠테이션을 조정하는 단계를 포함한다.
Description
본 개시내용은 일반적으로 합성 현실(synthesized reality, SR) 콘텐츠 소비에 관한 것이며, 특히, SR 컴패니언 콘텐츠를 프레젠테이션하기 위한 시스템, 방법 및 디바이스에 관한 것이다.
가상 현실(virtual reality, VR) 및 증강 현실(augmented reality, AR)은 사용자의 세계에 대한 인식을 변경하는 그들의 놀라운 능력으로 인해 점점 더 인기가 많아지고 있다. 예를 들어, VR 및 AR은 학습 목적, 게임 목적, 콘텐츠 생성 목적, 소셜 미디어 및 상호작용 목적 등을 위해 사용된다. 이러한 기술들은 사용자의 자신의 존재에 대한 인식에 있어서 상이하다. VR은 사용자를 가상 공간으로 옮겨서, 그들의 VR 인식은 자신의 실세계 인식과 상이하게 된다. 대조적으로, AR은 사용자의 실세계 인식을 취하고, 그것에 무언가를 부가한다.
이러한 기술들은, 예를 들어, 하드웨어 컴포넌트들의 소형화, 하드웨어 성능에 대한 개선, 및 소프트웨어 효율에 대한 개선으로 인해 점점 더 보편화되고 있다. 일례로서, 사용자는 핸드헬드 디스플레이(예컨대, 비디오 패스스루(video pass-through)를 갖는 AR-인에이블형 모바일 폰 또는 태블릿) 상에서 사용자의 세팅의 라이브 비디오 피드 상에 중첩된 AR 콘텐츠를 경험할 수 있다. 다른 예로서, 사용자는 사용자가 여전히 자신의 주변을 볼 수 있게 하는 헤드 마운트 디바이스(head-mounted device, HMD) 또는 헤드 마운트 인클로저(예컨대, 광학 시스루(optical see-through)를 갖는 안경)를 착용함으로써 AR 콘텐츠를 경험할 수 있다. 또 다른 예로서, 사용자는 사용자의 시야를 둘러싸고 컴퓨터에 테더링되는 HMD를 사용함으로써 VR 콘텐츠를 경험할 수 있다.
본 명세서에 개시된 다양한 구현예들은 합성 현실(SR) 컴패니언 콘텐츠를 프레젠테이션하기 위한 디바이스들, 시스템들, 및 방법들을 포함한다. 일부 구현예들에 따르면, 방법은, 비일시적 메모리 및 비일시적 메모리와 결합된 하나 이상의 프로세서들을 포함하는 디바이스에서 수행된다. 본 방법은: 현재 플롯 세팅(current plot setting)을 갖는 비디오 콘텐츠의 프레젠테이션을 야기하는 동안, 현재 플롯 세팅을 탐색하기 위한 요청을 나타내는 사용자 입력을 수신하는 단계; 사용자 입력을 수신하는 것에 응답하여 현재 플롯 세팅과 연관된 SR 콘텐츠를 획득하는 단계; 현재 플롯 세팅과 연관된 SR 콘텐츠의 프레젠테이션을 야기하는 단계; SR 콘텐츠와의 하나 이상의 사용자 상호작용들을 수신하는 단계; 및 SR 콘텐츠와의 하나 이상의 사용자 상호작용들을 수신하는 것에 응답하여 SR 콘텐츠의 프레젠테이션을 조정하는 단계를 포함한다.
일부 구현예들에 따르면, 디바이스는 하나 이상의 프로세서들, 비일시적 메모리, 및 하나 이상의 프로그램들을 포함하고; 하나 이상의 프로그램들은 비일시적 메모리에 저장되며 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 하나 이상의 프로그램들은 본 명세서에 기술된 방법들 중 임의의 방법을 수행하거나 또는 그의 수행을 야기하기 위한 명령어들을 포함한다. 일부 구현예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체는, 디바이스의 하나 이상의 프로세서들에 의해 실행될 때, 디바이스로 하여금, 본 명세서에 기술된 방법들 중 임의의 방법을 수행하게 하거나 그의 수행을 야기하게 하는 명령어들을 내부에 저장한다. 일부 구현예들에 따르면, 디바이스는 하나 이상의 프로세서들, 비일시적 메모리, 및 본 명세서에 기술된 방법들 중 임의의 방법을 수행하거나 그의 수행을 야기하기 위한 수단을 포함한다.
본 개시내용이 당업자들에 의해 이해될 수 있도록, 더 상세한 설명이 일부 예시적인 구현예들의 양태들에 대한 참조에 의해 이루어질 수 있으며, 이들 중 일부는 첨부 도면들에 도시된다.
도 1a는 일부 구현예들에 따른 예시적인 동작 아키텍처의 블록도이다.
도 1b는 일부 구현예들에 따른 다른 예시적인 동작 아키텍처의 블록도이다.
도 2는 일부 구현예들에 따른 예시적인 제어기의 블록도이다.
도 3은 일부 구현예들에 따른 예시적인 전자 디바이스의 블록도이다.
도 4는 일부 구현예들에 따른 예시적인 디스플레이 디바이스의 블록도이다.
도 5는 일부 구현예들에 따른 예시적인 콘텐츠 타임라인을 도시한다.
도 6a 내지 도 6d는 일부 구현예들에 따른 예시적인 재생 시나리오들을 도시한다.
도 7은 일부 구현예들에 따른 SR 컴패니언 콘텐츠를 프레젠테이션하는 방법의 흐름도 표현이다.
도 8은 일부 구현예들에 따른 SR 컴패니언 콘텐츠를 프레젠테이션하는 방법의 흐름도 표현이다.
일반적인 실시에 따라, 도면에 도시된 다양한 특징부들은 축척대로 그려지지 않을 수 있다. 따라서, 다양한 특징부들의 치수는 명료함을 위해 임의대로 확대 또는 축소될 수 있다. 부가적으로, 도면들 중 일부는 주어진 시스템, 방법 또는 디바이스의 컴포넌트들 모두를 도시하지는 않을 수 있다. 마지막으로, 동일한 도면 번호들은 명세서 및 도면들 전반에 걸쳐 동일한 특징부를 나타내기 위해 사용될 수 있다.
도 1a는 일부 구현예들에 따른 예시적인 동작 아키텍처의 블록도이다.
도 1b는 일부 구현예들에 따른 다른 예시적인 동작 아키텍처의 블록도이다.
도 2는 일부 구현예들에 따른 예시적인 제어기의 블록도이다.
도 3은 일부 구현예들에 따른 예시적인 전자 디바이스의 블록도이다.
도 4는 일부 구현예들에 따른 예시적인 디스플레이 디바이스의 블록도이다.
도 5는 일부 구현예들에 따른 예시적인 콘텐츠 타임라인을 도시한다.
도 6a 내지 도 6d는 일부 구현예들에 따른 예시적인 재생 시나리오들을 도시한다.
도 7은 일부 구현예들에 따른 SR 컴패니언 콘텐츠를 프레젠테이션하는 방법의 흐름도 표현이다.
도 8은 일부 구현예들에 따른 SR 컴패니언 콘텐츠를 프레젠테이션하는 방법의 흐름도 표현이다.
일반적인 실시에 따라, 도면에 도시된 다양한 특징부들은 축척대로 그려지지 않을 수 있다. 따라서, 다양한 특징부들의 치수는 명료함을 위해 임의대로 확대 또는 축소될 수 있다. 부가적으로, 도면들 중 일부는 주어진 시스템, 방법 또는 디바이스의 컴포넌트들 모두를 도시하지는 않을 수 있다. 마지막으로, 동일한 도면 번호들은 명세서 및 도면들 전반에 걸쳐 동일한 특징부를 나타내기 위해 사용될 수 있다.
도면들에 도시된 예시적인 구현예들의 완전한 이해를 제공하기 위해 다수의 세부사항들이 설명된다. 그러나, 도면들은 단지 본 개시내용의 일부 예시적인 양태들만을 도시할 뿐이며, 따라서 제한적인 것으로 고려되지 않는다. 당업자들은 다른 효과적인 양태들 및/또는 변형들이 본 명세서에 기술된 특정 세부사항들 모두를 포함하지는 않음을 인식할 것이다. 또한, 잘 알려진 시스템들, 방법들, 컴포넌트들, 디바이스들 및 회로들은 본 명세서에 기술된 예시적인 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 철저히 상세하게 기술되지 않았다.
물리적 세팅(physical setting)은 사람들이 사람들이 전자 시스템들의 보조 없이 감지할 수 있고/있거나 상호작용할 수 있는 세계를 지칭한다. 물리적 세팅(예컨대, 물리적 숲)은 물리적 요소들(예컨대, 물리적 나무, 물리적 구조물, 및 물리적 동물)을 포함한다. 사람들은, 예컨대 촉각, 시각, 후각, 청각, 및 미각을 통해, 물리적 세팅과 직접 상호작용하고/하거나 이를 감지할 수 있다.
대조적으로, 합성 현실(SR) 세팅은 사람들이 전자 시스템을 통해 감지할 수 있고/있거나 사람들이 상호작용할 수 있는 전체적으로 또는 부분적으로 컴퓨터-생성된 세팅을 지칭한다. SR에서, 사람의 움직임들의 서브세트가 모니터링되고, 그에 응답하여, SR 세팅에서의 하나 이상의 가상 객체들의 하나 이상의 속성들은 하나 이상의 물리 법칙을 지키는 방식으로 변경된다. 예를 들어, SR 시스템은 사람이 몇 걸음 앞으로 걷는 것을 검출하고, 이에 응답하여, 이러한 풍경과 소리가 물리적 세팅에서 변하는 것과 유사한 방식으로 사람에게 프레젠테이션되는 그래픽 및 오디오를 조정할 수 있다. SR 세팅에서의 가상 객체(들)의 속성(들)에 대한 수정은 또한 움직임의 표현들(예컨대, 오디오 명령어들)에 응답하여 이루어질 수 있다.
사람은 촉각, 후각, 시각, 미각, 및 청각을 포함하는 자신의 감각들 중 임의의 하나를 이용하여 SR 객체와 상호작용하고/하거나 이를 감지할 수 있다. 예를 들어, 사람은 다차원(예컨대, 3차원) 또는 공간 청각적 세팅을 생성, 및/또는 청각적 투명성을 가능하게 하는 청각 객체들과 상호작용하고/하거나 이를 감지할 수 있다. 다차원 또는 공간 청각적 세팅들은 사람에게 다차원 공간에서 개별적인 청각적 소스들에 대한 인식을 제공한다. 청각적 투명성은 물리적 세팅으로부터의 소리를, 컴퓨터-생성 오디오와 함께 또는 그것 없이 선택적으로 포함한다. 일부 SR 세팅들에서, 사람은 오직 청각적 객체들과 상호작용하고/하거나 이를 감지할 수 있다.
SR의 일례는 가상 현실(VR)이다. VR 세팅은 감각들 중 적어도 하나에 대한 컴퓨터-생성 감각 입력들만을 포함하도록 설계된 시뮬레이션 세팅(simulated setting)을 지칭한다. VR 세팅은 사람이 상호작용하고/하거나 이를 감지할 수 있는 다수의 가상 객체들을 포함한다. 사람은 컴퓨터-생성 세팅 내의 사람의 행동들의 서브세트의 시뮬레이션, 및/또는 컴퓨터-생성 세팅 내의 사람 또는 그의 존재의 시뮬레이션을 통해 VR 세팅 내의 가상 객체들과 상호작용하고/하거나 이를 감지할 수 있다.
SR의 다른 예는 혼합 현실(mixed reality, MR)이다. MR 세팅은 컴퓨터-생성 감각 입력들(예컨대, 가상 객체들)을 물리적 세팅, 또는 그것들의 표현으로부터의 감각 입력들과 통합하도록 설계된 시뮬레이션 세팅을 지칭한다. 현실 스펙트럼 상에서, 혼합 현실 세팅은 한편으로의 VR 세팅과, 다른 한편으로의 완전히 물리적 세팅 사이에 존재하며, 둘 모두를 포함하지는 않는다.
일부 MR 세팅들에서, 컴퓨터-생성 감각 입력들은 물리적 세팅으로부터의 감각 입력들의 변화에 적응할 수 있다. 또한, MR 세팅들을 프레젠테이션하기 위한 일부 전자 시스템들은 가상 객체들과 실제 객체들(이는 물리적 세팅 또는 이의 표현들로부터의 물리적 요소들임) 사이의 상호작용을 가능하게 하기 위하여 물리적 세팅에 대한 배향 및/또는 위치를 모니터링할 수 있다. 예를 들어, 시스템은 움직임들을 모니터링하여 가상 식물이 물리적 빌딩에 대해 고정된 것처럼 보이도록 할 수 있다.
혼합 현실의 일례는 증강 현실(AR)이다. AR 세팅은 적어도 하나의 가상 객체가 물리적 세팅, 또는 그것들의 표현 위에 중첩되는 시뮬레이션 세팅을 지칭한다. 예를 들어, 전자 시스템은 불투명 디스플레이, 및 물리적 세팅의 표현들인, 물리적 세팅의 이미지들 또는 비디오를 캡처하기 위한 적어도 하나의 이미지 센서를 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 조합하고, 불투명 디스플레이 상에 그 조합을 디스플레이한다. 사람은, 시스템을 이용하여, 물리적 세팅의 이미지들 또는 비디오를 통해 간접적으로 물리적 세팅을 보고, 물리적 세팅 위에 중첩된 가상 객체들을 관찰한다. 시스템이 이미지 센서(들)를 이용하여 물리적 세팅의 이미지들을 캡처하고, 이러한 이미지들을 이용하여 불투명 디스플레이 상에 AR 세팅을 프레젠테이션할 때, 디스플레이된 이미지들은 비디오 패스-스루라고 불린다. 대안적으로, AR 세팅을 디스플레이하기 위한 전자 시스템은 사람이 물리적 세팅을 직접 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은 가상 객체들을 투명 또는 반투명 디스플레이 상에 디스플레이하여, 사람이, 시스템을 이용하여, 물리적 세팅 위에 중첩된 가상 객체들을 관찰하게 할 수 있다. 다른 예에서, 시스템은 가상 객체들을 물리적 세팅 안으로 투사하는 투사 시스템을 포함할 수 있다. 가상 객체들은, 예를 들어, 물리적 표면 상에 또는 홀로그래프로서 투사되어, 사람이, 시스템을 이용하여, 물리적 세팅 위에 중첩된 가상 객체들을 관찰하도록 할 수 있다.
증강 현실 세팅은 또한 물리적 세팅의 표현이 컴퓨터-생성 감각 정보에 의해 변경되는 시뮬레이션 세팅을 지칭할 수 있다. 예를 들어, 물리적 세팅의 표현의 일부분은 그래픽적으로 변경되어(예컨대, 확대되어), 변경된 부분이 여전히 대표성은 있지만 원래 캡처된 이미지(들)의 충실하게 재현된 버전은 아닐 수 있다. 다른 예로서, 비디오 패스-스루를 제공함에 있어서, 시스템은 센서 이미지들 중 적어도 하나를 변경하여 이미지 센서(들)에 의해 캡처된 관점과 상이한 특정 관점을 부과할 수 있다. 추가적인 예로서, 물리적 세팅의 표현은 그의 부분들을 그래픽적으로 모호하게 하거나 배제함으로써 변경될 수 있다.
혼합 현실의 다른 예는 증강 가상(augmented virtuality, AV)이다. AV 세팅은 컴퓨터-생성 또는 가상 세팅이 물리적 세팅으로부터의 적어도 하나의 감각 입력을 포함시키는 시뮬레이션 세팅을 지칭한다. 물리적 세팅으로부터의 감각 입력(들)은 물리적 세팅의 적어도 하나의 특성의 표현들일 수 있다. 예를 들어, 가상 객체는 이미지 센서(들)에 의해 캡처된 물리적 요소의 색상을 취할 수 있다. 다른 예에서, 가상 객체는, 이미징, 날씨-관련 센서들, 및/또는 온라인 날씨 데이터를 통해 식별된 바와 같은, 물리적 세팅에서의 실제 날씨 조건들과 일치하는 특성들을 나타낼 수 있다. 또 다른 예에서, 증강 현실 숲은 가상 나무들 및 구조물들을 가질 수 있지만, 동물들은 물리적 동물들의 촬영된 이미지들로부터 정확하게 재현되는 특징부들을 가질 수 있다.
많은 전자 시스템들은 사람이 다양한 SR 환경들과 상호작용하고/하거나 이들을 감지할 수 있게 한다. 일례는 헤드 마운트 시스템들을 포함한다. 헤드 마운트 시스템은 불투명 디스플레이 및 스피커(들)를 가질 수 있다. 대안적으로, 헤드 마운트 시스템은 외부 디스플레이(예컨대, 스마트폰)를 수용하도록 설계될 수 있다. 헤드 마운트 시스템은 각각 이미지들/비디오를 촬영하고/하거나 물리적 세팅의 오디오를 캡처하기 위한 이미징 센서(들) 및/또는 마이크로폰들을 가질 수 있다. 헤드 마운트 시스템은 또한 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 나타내는 광이 사람의 눈으로 인도되게 하는 기판을 포함할 수 있다. 디스플레이는 LED, OLED, 디지털 광 프로젝터, 레이저 스캐닝 광원, 실리콘 액정 표시장치(liquid crystal on silicon), 또는 이 기술들의 임의의 조합을 포함할 수 있다. 광이 통과해서 전송될 수 있는 기판은 도광체, 광학 조합기, 광학 반사기, 홀로그래픽 기판, 또는 이 기판들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 불투명 상태와 투명 또는 반투명 상태 사이에서 선택적으로 전이될 수 있다. 다른 예에서, 전자 시스템은 투사-기반 시스템일 수 있다. 투사-기반 시스템은 망막 투사를 이용하여 이미지들을 사람의 망막에 투사할 수 있다. 대안적으로, 투사 시스템은 또한 가상 객체들을 물리적 세팅 안에(예컨대, 물리적 표면 상에 또는 홀로그래프로서) 투사할 수 있다. SR 시스템들의 다른 예들은 헤드 업 디스플레이, 그래픽을 디스플레이하는 능력을 갖는 자동차 앞유리, 그래픽을 디스플레이하는 능력을 갖는 창, 그래픽을 디스플레이하는 능력을 갖는 렌즈, 헤드폰 또는 이어폰, 스피커 배열, 입력 메커니즘(예컨대, 햅틱 피드백을 갖거나 갖지 않는 제어기), 태블릿, 스마트폰, 및 데스크톱 또는 랩톱 컴퓨터를 포함한다.
사용자가 텔레비전(TV) 에피소드 또는 영화를 시청하고 있는 동안, 그는 SR 경험으로서 현재 플롯 세팅을 탐색하기를 원할 수 있다. 그러나, TV 에피소드 또는 영화와 연관된 SR 콘텐츠는 이용가능하지 않거나 또는 플랫(flat) 비디오 콘텐츠(예컨대, 2차원 또는 "플랫" AVI, FLV, WMV, MOV, MP4, 또는 유사한 파일 유형)와는 별개일 수 있다. 이와 같이, 개시된 발명은 사용자가 플랫 비디오 콘텐츠를 시청하면서 SR 컴패니언 콘텐츠를 끊김없이 경험할 수 있게 한다. 일부 구현예들에 따르면, 플랫 비디오 콘텐츠를 시청하는 동안, 미묘한 어포던스 또는 통지는, 플랫 비디오 콘텐츠 내의 현재 플롯 세팅과 연관된 SR 컴패니언 콘텐츠가 사용자가 들어가고/가거나 탐색하는 데 이용가능함을 나타낸다. 이와 같이, 사용자는 SR 콘텐츠를 별도로 검색하고/하거나 로딩할 필요 없이 플랫 비디오 콘텐츠 시청을 SR 경험으로 전이시키고, 그 반대도 마찬가지이다.
일례로서, 그 SR 컴패니언 콘텐츠는 사용자가 플롯 세팅 내의 객체들을 점검하고, 악당들과 싸우고, 플롯 세팅 내의 캐릭터들에 질문하고, 문들을 열고 인접한 방들을 탐색하고, 플롯 세팅 내에서 이리저리 움직이는 것 등을 행할 수 있게 한다. 다른 예로서, 그 SR 컴패니언 콘텐츠는, 플롯 세팅과 연관된 아이템을 회수하거나, 비디오 콘텐츠의 주인공을 위해 나쁜 사람들 또는 잔해를 제거해 플롯 세팅에서 길을 내는 것과 같이, 플롯을 앞으로 전진시키기 위해 사용자가 수행할, 플롯 세팅과 연관된 태스크 또는 미션을 포함한다. 또 다른 예로서, SR 컴패니언 콘텐츠는, 베트남 전쟁에 관한 다큐멘터리를 시청하는 동안 군사 부대들의 위치를 보여주는 AR 전장 지도 또는 호치민 루트(Ho Chi Minh Trail)의 AR 버전과 같은, 비디오 콘텐츠와 연관된 교육적 도움 또는 보조 정보를 포함한다. 또 다른 예로서, SR 컴패니언 콘텐츠는, 비디오 콘텐츠 내의 주인공에게 제공하기 위해 사용자의 거실 주위에 흩어진 AR 캔디들을 수집하는 것과 같이, 플롯을 앞으로 전진시키기 위해 사용자가 수행할 태스크를 제공할 때 사용자의 현재 주변(environs)을 레버리징한다.
도 1a는 일부 구현예들에 따른 예시적인 동작 아키텍처(100A)의 블록도이다. 관련 특징부들이 도시되어 있지만, 당업자는 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 구현예들의 더 많은 관련 양태들을 불명료하게 하지 않도록 하기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비-제한적인 예로서, 동작 아키텍처(100A)는 전자 디바이스(120) 및 선택적인 디스플레이 디바이스(130)를 포함한다.
일부 구현예들에서, 전자 디바이스(120)는 SR 경험을 사용자에게 프레젠테이션하도록 구성된다. 일부 구현예들에서, 전자 디바이스(120)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 전자 디바이스(120)는 도 3과 관련하여 아래에서 더욱 상세히 기술된다. 일부 구현예들에 따르면, 전자 디바이스(120)는, 사용자가 전자 디바이스(120)의 시야(111) 내의 테이블(107)을 포함하는 물리적 세팅(103) 내에서 물리적으로 존재하는 동안, 디스플레이(122)를 통해, 합성 현실(SR) 경험을 사용자에게 프레젠테이션한다. 이와 같이, 일부 구현예들에서, 사용자는 자신의 손(들)에 전자 디바이스(120)를 들고 있다. 일부 구현예들에서, 증강 현실(AR) 경험을 프레젠테이션하는 동안, 전자 디바이스(120)는 AR 콘텐츠(예컨대, AR 실린더(109))를 프레젠테이션하도록 그리고 디스플레이(122) 상에서의 (예컨대, 테이블(107)을 포함하는) 물리적 세팅(103)의 비디오 패스-스루를 가능하게 하도록 구성된다.
일부 구현예들에서, 디스플레이 디바이스(130)는 사용자에게 미디어 콘텐츠(예컨대, 비디오 및/또는 오디오 콘텐츠)를 프레젠테이션하도록 구성된다. 일부 구현예들에서, 디스플레이 디바이스(130)는 텔레비전 또는 컴퓨팅 디바이스, 예컨대 데스크톱 컴퓨터, 키오스크, 랩톱 컴퓨터, 태블릿, 모바일 폰, 웨어러블 컴퓨팅 디바이스 등에 대응한다. 일부 구현예들에서, 디스플레이 디바이스(130)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 디스플레이 디바이스(130)는 도 4와 관련하여 아래에서 더욱 상세히 기술된다.
도 1b는 일부 구현예들에 따른 예시적인 동작 아키텍처(100B)의 블록도이다. 관련 특징부들이 도시되어 있지만, 당업자는 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 구현예들의 더 많은 관련 양태들을 불명료하게 하지 않도록 하기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비-제한적인 예로서, 동작 아키텍처(100B)는 제어기(110), 전자 디바이스(120), 및 선택적인 디스플레이 디바이스(130)를 포함한다.
일부 구현예들에서, 제어기(110)는 사용자에 대한 SR 경험을 관리 및 조정하도록 구성된다. 일부 구현예들에서, 제어기(110)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 제어기(110)는 도 2와 관련하여 아래에서 더욱 상세히 기술된다. 일부 구현예들에서, 제어기(110)는 물리적 세팅(105)에 대해 로컬 또는 원격인 컴퓨팅 디바이스이다. 예를 들어, 제어기(110)는 물리적 세팅(105) 내에 위치된 로컬 서버이다. 다른 예에서, 제어기(110)는 물리적 세팅(105) 외부에 위치된 원격 서버(예컨대, 클라우드 서버, 중앙 서버 등)이다.
일부 구현예들에서, 제어기(110)는 하나 이상의 유선 또는 무선 통신 채널들(144)(예컨대, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 전자 디바이스(120)와 통신가능하게 결합된다. 일부 구현예들에서, 제어기(110)는 하나 이상의 유선 또는 무선 통신 채널들(142)(예컨대, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 디스플레이 디바이스(130)와 통신가능하게 결합된다. 일부 구현예들에서, 전자 디바이스(120)는 하나 이상의 유선 또는 무선 통신 채널들(146)(예컨대, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 디스플레이 디바이스(130)와 통신가능하게 결합된다.
일부 구현예들에서, 전자 디바이스(120)는 SR 경험을 사용자(150)에게 프레젠테이션하도록 구성된다. 일부 구현예들에서, 전자 디바이스(120)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 전자 디바이스(120)는 도 3과 관련하여 아래에서 더욱 상세히 기술된다. 일부 구현예들에서, 제어기(110) 및/또는 디스플레이 디바이스(130)의 기능들은 전자 디바이스(120)에 의해 제공되고/되거나 이와 조합된다.
일부 구현예들에 따르면, 전자 디바이스(120)는 사용자(150)가 물리적 세팅(105) 내에 가상적으로 그리고/또는 물리적으로 존재하는 동안 합성 현실(SR) 경험을 사용자(150)에게 프레젠테이션한다. 일부 구현예들에서, 증강 현실(AR) 경험을 프레젠테이션하는 동안, 전자 디바이스(120)는 AR 콘텐츠를 프레젠테이션하도록 그리고 물리적 세팅(105)의 광학 시스루를 가능하게 하도록 구성된다. 일부 구현예들에서, 가상 현실(VR) 경험을 프레젠테이션하는 동안, 전자 디바이스(120)는 VR 콘텐츠를 프레젠테이션하도록 그리고 선택적으로 물리적 세팅(105)의 비디오 패스-스루를 가능하게 하도록 구성된다.
일부 구현예들에서, 사용자(150)는 헤드 마운트 디바이스(HMD)와 같은 전자 디바이스(120)를 자신의 머리 상에 착용한다. 이와 같이, 전자 디바이스(120)는 SR 콘텐츠를 디스플레이하도록 제공되는 하나 이상의 디스플레이들을 포함한다. 예를 들어, 전자 디바이스(120)는 사용자(150)의 시야를 둘러싼다. 다른 예로서, 전자 디바이스(120)는 헤드 마운트 인클로저 내로 슬라이딩하거나 달리 그에 부착된다. 일부 구현예들에서, 전자 디바이스(120)는 SR 콘텐츠를 프레젠테이션하도록 구성된 SR 챔버, 인클로저, 또는 방으로 대체되며, 여기서 사용자(150)는 전자 디바이스(120)를 착용하지 않는다.
일부 구현예들에서, 디스플레이 디바이스(130)는 사용자(150)에게 미디어 콘텐츠(예컨대, 비디오 및/또는 오디오 콘텐츠)를 프레젠테이션하도록 구성된다. 일부 구현예들에서, 디스플레이 디바이스(130)는 텔레비전 또는 컴퓨팅 디바이스, 예컨대 데스크톱 컴퓨터, 키오스크, 랩톱 컴퓨터, 태블릿, 모바일 폰, 웨어러블 컴퓨팅 디바이스 등에 대응한다. 일부 구현예들에서, 디스플레이 디바이스(130)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 디스플레이 디바이스(130)는 도 4와 관련하여 아래에서 더욱 상세히 기술된다.
도 2는 일부 구현예들에 따른 제어기(110)의 일 예의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터 다양한 다른 특징부들이 간결함을 위해, 그리고 본 명세서에 개시된 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 예시되지 않았음을 인식할 것이다. 이를 위해, 비-제한적인 예로서, 일부 구현예들에서, 제어기(110)는 하나 이상의 프로세싱 유닛들(202)(예를 들어, 마이크로프로세서들, 주문형 집적 회로(ASIC)들, 필드-프로그래밍가능 게이트 어레이(FPGA)들, 그래픽 프로세싱 유닛(GPU)들, 중앙 프로세싱 유닛(CPU)들, 프로세싱 코어들 등), 하나 이상의 입력/출력(I/O) 디바이스들(206), 하나 이상의 통신 인터페이스들(208)(예를 들어, 범용 직렬 버스(USB), IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, 모바일 통신들을 위한 글로벌 시스템(GSM), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 글로벌 포지셔닝 시스템(GPS), 적외선(IR), 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(210), 메모리(220), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(204)을 포함한다.
일부 구현예들에서, 하나 이상의 통신 버스들(204)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 구현예들에서, 하나 이상의 I/O 디바이스들(206)은 키보드, 마우스, 터치패드, 조이스틱, 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 하나 이상의 이미지 센서들, 하나 이상의 디스플레이들 등 중 적어도 하나를 포함한다.
메모리(220)는 동적-랜덤 액세스 메모리(DRAM), 정적 랜덤-액세스 메모리(SRAM), 더블-데이터-레이트 랜덤-액세스 메모리(DDR RAM), 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 구현예들에서, 메모리(220)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(220)는 선택적으로, 하나 이상의 프로세싱 유닛들(202)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(220)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 구현예들에서, 메모리(220) 또는 메모리(220)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(230) 및 합성 현실(SR) 경험 엔진(240)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(230)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 절차들을 포함한다. 일부 구현예들에서, SR 경험 엔진(240)은 하나 이상의 사용자들에 대한 하나 이상의 SR 경험들(예를 들어, 하나 이상의 사용자들에 대한 단일 SR 경험, 또는 하나 이상의 사용자들의 개개의 그룹들에 대한 다수의 SR 경험들)을 관리하고 조정하도록 구성된다. 이를 위해, 다양한 구현예들에서, SR 경험 엔진(240)은 데이터 획득기(242), 추적기(tracker) 및 로케이터(locator) 엔진(244), 컴패니언 콘텐츠 획득기(246), 콘텐츠 관리 유닛(248), 및 데이터 송신기(250)를 포함한다.
일부 구현예들에서, 데이터 획득기(242)는 물리적 세팅(105) 내의 센서들, 제어기(110), 전자 디바이스(120), 및 디스플레이 디바이스(130)와 연관된 센서들 중 적어도 하나로부터 데이터(예컨대, 프레젠테이션 데이터, 사용자 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 구현예들에서, 데이터 획득기(242)는 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 구현예들에서, 추적기 및 로케이터 엔진(244)은 물리적 세팅(105)을 맵핑하고, 물리적 세팅(105)에 대하여 전자 디바이스(120) 및 디스플레이 디바이스(130) 중 적어도 하나의 포지션/위치를 추적하도록 구성된다. 이를 위해, 다양한 구현예들에서, 추적기 및 로케이터 엔진(244)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 구현예들에서, 컴패니언 콘텐츠 획득기(246)는 디스플레이 디바이스(130)를 통해 사용자에게 프레젠테이션되는 비디오 콘텐츠와 연관된 SR 콘텐츠(예컨대, 비디오 콘텐츠와 상관된 컴패니언 콘텐츠)를 획득(예컨대, 수신, 검색, 또는 생성)하도록 구성된다. 이를 위해, 다양한 구현예들에서, 컴패니언 콘텐츠 획득기(246)는 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 구현예들에서, 콘텐츠 관리 유닛(248)은 비디오 콘텐츠(예컨대, 디스플레이 디바이스(130)를 통해 사용자에게 프레젠테이션됨) 및 비디오 콘텐츠와 연관된 SR 콘텐츠(예컨대, 전자 디바이스(120)에 의해 사용자에게 프레젠테이션됨)를 관리 및 조정하도록 구성된다. 이를 위해, 다양한 구현예들에서, 콘텐츠 관리 유닛(248)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 구현예들에서, 데이터 송신기(250)는 데이터(예컨대, 프레젠테이션 데이터, 위치 데이터 등)를 전자 디바이스(120) 및 디스플레이 디바이스(130) 중 적어도 하나에 송신하도록 구성된다. 이를 위해, 다양한 구현예들에서, 데이터 송신기(250)는 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득기(242), 추적기 및 로케이터 엔진(244), 컴패니언 콘텐츠 획득기(246), 콘텐츠 관리 유닛(248), 및 데이터 송신기(250)가 단일 디바이스(예컨대, 제어기(110)) 상에 존재하는 것으로 도시되어 있지만, 다른 구현예들에서, 데이터 획득기(242), 추적기 및 로케이터 엔진(244), 컴패니언 콘텐츠 획득기(246), 콘텐츠 관리 유닛(248), 및 데이터 송신기(250)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
또한, 도 2는 본 명세서에 기술된 구현예들의 구조적 개략도와는 반대로 특정 실시예에 존재하는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 구현예들에서, 도 2에서 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 실시예마다 변할 것이고, 일부 구현예들에서, 특정 실시예들에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 3은 일부 구현예들에 따른 전자 디바이스(120)의 일 예의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터 다양한 다른 특징부들이 간결함을 위해, 그리고 본 명세서에 개시된 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 예시되지 않았음을 인식할 것이다. 이를 위해, 비-제한적인 예로서, 일부 구현예들에서, 전자 디바이스(120)는 하나 이상의 프로세싱 유닛들(302)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입력/출력(I/O) 디바이스들 및 센서들(306), 하나 이상의 통신 인터페이스들(308)(예를 들어, USB, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(310), 하나 이상의 디스플레이들(312), 하나 이상의 선택적인 내부 또는 외부 대면 이미지 센서들(314), 하나 이상의 선택적인 깊이 센서들(316), 메모리(320), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(304)을 포함한다.
일부 구현예들에서, 하나 이상의 통신 버스들(304)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 구현예들에서, 하나 이상의 I/O 디바이스들 및 센서들(306)은 관성 측정 유닛(inertial measurement unit, IMU), 가속도계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 가열 및/또는 냉각 유닛, 피부 전단 엔진 등 중 적어도 하나를 포함한다.
일부 구현예들에서, 하나 이상의 디스플레이들(312)은 SR 경험을 사용자에게 프레젠테이션하도록 구성된다. 일부 구현예들에서, 하나 이상의 디스플레이들(312)은 또한 사용자에게 플랫 비디오 콘텐츠(예컨대, TV 에피소드 또는 영화와 연관된 2차원 "플랫" AVI, FLV, WMV, MOV, MP4, 또는 이와 유사한 파일, 또는 물리적 세팅(105)의 라이브 비디오 패스-스루)를 프레젠테이션하도록 구성된다. 일부 구현예들에서, 하나 이상의 디스플레이들(312)은 홀로그래픽, 디지털 광 프로세싱(DLP), 액정 디스플레이(LCD), 실리콘 액정 표시장치(LCoS), 유기 발광 전계-효과 트랜지터리(OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(QD-LED), 마이크로-전자기계 시스템(MEMS), 및/또는 유사한 디스플레이 유형들에 대응한다. 일부 구현예들에서, 하나 이상의 디스플레이들(312)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다. 예를 들어, 전자 디바이스(120)는 단일 디스플레이를 포함한다. 다른 예에서, 전자 디바이스(120)는 사용자의 각각의 눈을 위한 디스플레이를 포함한다. 일부 구현예들에서, 하나 이상의 디스플레이들(312)은 AR 및 VR 콘텐츠를 프레젠테이션할 수 있다. 일부 구현예들에서, 하나 이상의 디스플레이들(312)은 AR 또는 VR 콘텐츠를 프레젠테이션할 수 있다.
일부 구현예들에서, 하나 이상의 선택적인 이미지 센서들(314)은 사용자의 눈들을 포함하는 사용자의 얼굴의 적어도 일부분에 대응하는 이미지 데이터를 획득하도록 구성된다. 예를 들어, 하나 이상의 선택적인 이미지 센서들(314)은 하나 이상의 RGB 카메라들(예를 들어, 상보형 금속-산화물-반도체(CMOS) 이미지 센서 또는 전하-결합 디바이스(CCD) 이미지 센서를 구비함), 적외선(IR) 이미지 센서들, 이벤트-기반 카메라들 등에 대응한다.
일부 구현예들에서, 하나 이상의 선택적인 깊이 센서들(316)은 사용자의 얼굴의 적어도 일부분에 대응하는 깊이 데이터를 획득하고 사용자의 얼굴의 깊이/메시 맵을 합성하도록 구성되며, 여기서 메시 맵은 사용자의 얼굴 토포그래피를 특성화한다. 예를 들어, 하나 이상의 선택적인 깊이 센서들(316)은 구조화된 광 디바이스, 비행 시간 디바이스 등에 대응한다.
메모리(320)는 고속 랜덤-액세스 메모리, 예컨대 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들을 포함한다. 일부 구현예들에서, 메모리(320)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(320)는 선택적으로, 하나 이상의 프로세싱 유닛들(302)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(320)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 구현예들에서, 메모리(320) 또는 메모리(320)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(330) 및 SR 프레젠테이션 엔진(340)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(330)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 절차들을 포함한다. 일부 구현예들에서, SR 프레젠테이션 엔진(340)은 하나 이상의 디스플레이들(312)을 통해 SR 콘텐츠를 사용자에게 프레젠테이션하도록 구성된다. 이를 위해, 다양한 구현예들에서, SR 프레젠테이션 엔진(340)은 데이터 획득기(342), SR 프레젠터(presenter)(344), 사용자 상호작용 핸들러(346), 및 데이터 송신기(350)를 포함한다.
일부 구현예들에서, 데이터 획득기(342)는 물리적 세팅(105) 내의 센서들, 전자 디바이스(120), 제어기(110), 및 디스플레이 디바이스(130)와 연관된 센서들 중 적어도 하나로부터 데이터(예컨대, 프레젠테이션 데이터, 사용자 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 구현예들에서, 데이터 획득기(342)는 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 구현예들에서, SR 프레젠터(344)는 하나 이상의 디스플레이들(312)을 통해 SR 콘텐츠를 프레젠테이션하도록 구성된다. 일부 구현예들에서, SR 프레젠터(344)는 또한 하나 이상의 디스플레이들(312)을 통해 플랫 비디오 콘텐츠를 프레젠테이션하도록 구성된다. 이를 위해, 다양한 구현예들에서, SR 프레젠터(344)는 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 구현예들에서, 사용자 상호작용 핸들러(346)는 프레젠테이션된 SR 콘텐츠와의 사용자 상호작용들을 검출 및 해석하도록 구성된다. 이를 위해, 다양한 구현예들에서, 사용자 상호작용 핸들러(346)는 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 구현예들에서, 데이터 송신기(350)는 데이터(예컨대, 프레젠테이션 데이터, 위치 데이터, 사용자 상호작용 데이터 등)를 제어기(110) 및 디스플레이 디바이스(130) 중 적어도 하나에 송신하도록 구성된다. 이를 위해, 다양한 구현예들에서, 데이터 송신기(350)는 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득기(342), SR 프레젠터(344), 사용자 상호작용 핸들러(346), 및 데이터 송신기(350)가 단일 디바이스(예컨대, 전자 디바이스(120)) 상에 존재하는 것으로 도시되어 있지만, 다른 구현예들에서, 데이터 획득기(342), SR 프레젠터(344), 사용자 상호작용 핸들러(346), 및 데이터 송신기(350)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
또한, 도 3은 본 명세서에 기술된 구현예들의 구조적 개략도와는 반대로 특정 실시예에 존재하는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 구현예들에서, 도 3에서 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 실시예마다 변할 것이고, 일부 구현예들에서, 특정 실시예들에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 4는 일부 구현예들에 따른 디스플레이 디바이스(130)의 일 예의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터 다양한 다른 특징부들이 간결함을 위해, 그리고 본 명세서에 개시된 구현예들의 더 적절한 양태들을 불명확하게 하지 않기 위해 예시되지 않았음을 인식할 것이다. 이를 위해, 비-제한적인 예로서, 일부 구현예들에서, 디스플레이 디바이스(130)는 하나 이상의 프로세싱 유닛들(402)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입력/출력(I/O) 디바이스들 및 센서들(406), 하나 이상의 통신 인터페이스들(408)(예를 들어, USB, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(410), 디스플레이(412), 메모리(420), 및 이들 및 다양한 다른 컴포넌트들을 상호연결시키기 위한 하나 이상의 통신 버스들(404)을 포함한다. 일부 구현예들에서, 디스플레이 디바이스(130)는 선택적으로 원격-제어 디바이스, 음성 커맨드들, 전자 디바이스(120) 등에 의해 제어된다.
일부 구현예들에서, 하나 이상의 통신 버스들(404)은 시스템 컴포넌트들 사이의 통신을 상호연결시키고 제어하는 회로부를 포함한다. 일부 구현예들에서, 하나 이상의 I/O 디바이스들 및 센서들(406)은 하나 이상의 IR 센서들, 하나 이상의 물리적 버튼들, 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 하나 이상의 이미지 센서들, 하나 이상의 깊이 센서들 등 중 적어도 하나를 포함한다.
일부 구현예들에서, 디스플레이(412)는 홀로그래픽, 디지털 광 프로세싱(DLP), 액정 디스플레이(LCD), 실리콘 액정 표시장치(LCoS), 유기 발광 전계-효과 트랜지터리(OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(QD-LED), 마이크로-전자기계 시스템(MEMS), 및/또는 유사한 디스플레이 유형들에 대응한다.
메모리(420)는 고속 랜덤-액세스 메모리, 예컨대 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들을 포함한다. 일부 구현예들에서, 메모리(420)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(420)는 선택적으로, 하나 이상의 프로세싱 유닛들(402)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(420)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 구현예들에서, 메모리(420) 또는 메모리(420)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(430) 및 프레젠테이션 엔진(440)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(430)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 절차들을 포함한다. 일부 구현들에서, 프레젠테이션 엔진(440)은 디스플레이(412) 및 하나 이상의 I/O 디바이스들 및 센서들(406)(예컨대, 하나 이상의 스피커들)을 통해 사용자들에게 미디어 콘텐츠(예컨대, 비디오 및/또는 오디오 콘텐츠)를 프레젠테이션하도록 구성된다. 이를 위해, 다양한 구현예들에서, 프레젠테이션 엔진(440)은 데이터 획득기(442), 콘텐츠 프레젠터(444), 상호작용 핸들러(446), 및 데이터 송신기(450)를 포함한다.
일부 구현예들에서, 데이터 획득기(442)는 물리적 세팅(105) 내의 센서들, 디스플레이 디바이스(130), 제어기(110), 및 전자 디바이스(120)와 연관된 센서들 중 적어도 하나로부터 데이터(예컨대, 프레젠테이션 데이터, 사용자 상호작용 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 구현예들에서, 데이터 획득기(442)는 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 구현예들에서, 콘텐츠 프레젠터(444)는 디스플레이(412)를 통해 비디오 콘텐츠를 렌더링 및 디스플레이하도록 구성된다. 이를 위해, 다양한 구현예들에서, 콘텐츠 프레젠터(444)는 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 구현예들에서, 상호작용 핸들러(446)는 디스플레이 디바이스(130)와의 사용자 상호작용들(예컨대, 내비게이션, 재생, 튜닝, 볼륨 조정, 또는 유사한 커맨드들)을 검출 및 해석하도록 구성된다. 이를 위해, 다양한 구현예들에서, 상호작용 핸들러(446)는 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 구현예들에서, 데이터 송신기(450)는 데이터(예컨대, 프레젠테이션 데이터, 사용자 상호작용 데이터 등)를 제어기(110) 및 전자 디바이스(120) 중 적어도 하나에 송신하도록 구성된다. 이를 위해, 다양한 구현예들에서, 데이터 송신기(450)는 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득기(442), 콘텐츠 프레젠터(444), 상호작용 핸들러(446), 및 데이터 송신기(450)가 단일 디바이스(예컨대, 디스플레이 디바이스(130)) 상에 존재하는 것으로 도시되어 있지만, 다른 구현예들에서, 데이터 획득기(442), 콘텐츠 프레젠터(444), 상호작용 핸들러(446), 및 데이터 송신기(450)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
또한, 도 4는 본 명세서에 기술된 구현예들의 구조적 개략도와는 반대로 특정 실시예에 존재하는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 구현예들에서, 도 4에서 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 실시예마다 변할 것이고, 일부 구현예들에서, 특정 실시예들에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 5는 일부 구현예들에 따른 예시적인 콘텐츠 타임라인(500)을 도시한다. 관련 특징부들이 도시되어 있지만, 당업자는 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 구현예들의 더 많은 관련 양태들을 불명료하게 하지 않도록 하기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비-제한적인 예로서, 콘텐츠 타임라인(500)은 콘텐츠 타임라인(500) 내에서 비디오 콘텐츠의 상이한 기간들과 연관된 플롯 세팅들(515A, 515B, 515C)(예컨대, 우주선 엔진 룸 장면, 우주선 브리지 장면, 및 수송 우주선 조종석 장면)을 포함한다. 일례로서, 도 5에서, SR 컴패니언 콘텐츠(510A)는 플롯 세팅(515A)(예를 들어, 승무원이 우주선 엔진 룸에서 핵융합로를 수리하는 것을 돕는 미션)과 연관된다. 다른 예로서, SR 컴패니언 콘텐츠(510B)는 플롯 세팅(515B)(예컨대, 우주선 브리지를 탐색하고 승무원과 상호작용하는 능력)과 연관된다. 또 다른 예로서, SR 컴패니언 콘텐츠(510C)는 플롯 세팅(515C)(예컨대, 수송 우주선을 탐색하는 것을 돕는 미션)과 연관된다.
도 6a 내지 도 6d는 일부 구현예들에 따른 예시적인 재생 시나리오들을 도시한다. 관련 특징부들이 도시되어 있지만, 당업자는 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 구현예들의 더 많은 관련 양태들을 불명료하게 하지 않도록 하기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다.
도 6a에 도시된 바와 같이, 예를 들어, 장면 재생 시나리오(600A)는 디스플레이 디바이스(130)를 통한 캐릭터들(605a, 605b)을 포함하는 비디오 콘텐츠(610)의 디스플레이로부터, 전자 디바이스(120)를 통한 SR 컴패니언 콘텐츠(620A)의 프레젠테이션으로의 전이를 포함한다. 이 예에서, 비디오 콘텐츠(610) 내의 캐릭터들(605a, 605b)은, 마치 그들이 물리적 세팅(103) 내에 존재하고 테이블(107) 주위에 서 있는 것처럼, 전자 디바이스(120)의 디스플레이(122) 상에 디스플레이된다. 전자 디바이스(120)의 사용자는 캐릭터들(605a, 605b)에게 비디오 콘텐츠(610) 내의 현재의 장면과 연관된 태스크 또는 미션을 수행하도록 지시하고/하거나 캐릭터들(605a, 605b)과 대화/상호작용할 수 있다. 다시 말하면, 일부 구현예들에서, 비디오 콘텐츠(610)는 사용자의 주변으로 이동되고(transferred), 사용자는 SR 컴패니언 콘텐츠(620A)와 상호작용할 수 있다. 예를 들어, 사용자는 전자 디바이스(120)를 들고 있고, 전자 디바이스(120)는 물리적 세팅(103)의 비디오 패스-스루를 가능하게 한다.
일부 구현예들에서, 디스플레이 디바이스(130)는, 전자 디바이스(120)가 SR 컴패니언 콘텐츠(620A)를 프레젠테이션하는 동안, 비디오 콘텐츠(610)를 동시에 디스플레이한다. 일부 구현예들에서, 비디오 콘텐츠(610)는, 전자 디바이스(120)가 SR 컴패니언 콘텐츠(620A)를 프레젠테이션하는 동안, 일시정지된다. 일부 구현예들에서, 비디오 콘텐츠(610) 및 SR 컴패니언 콘텐츠(620A) 둘 모두는 전자 디바이스(120)를 통해 프레젠테이션된다.
도 6b에 도시된 바와 같이, 예를 들어, 장면 재생 시나리오(600B)는 디스플레이 디바이스(130)를 통한 캐릭터들(605a, 605b)을 포함하는 비디오 콘텐츠(610)의 디스플레이로부터, 전자 디바이스(120)를 통한 SR 컴패니언 콘텐츠(620B)의 프레젠테이션으로의 제1 전이를 포함한다. 이 예에서, 사용자(150)는 플롯 세팅과 연관된 태스크 또는 미션을 수행하고/하거나, 플롯 세팅을 탐색하고/하거나, (예컨대, VR 세팅 내에서) 플롯 세팅의 SR 재구성에 존재하는 동안 캐릭터들(605a, 605b)과 대화하기 위해 플롯 세팅 내에 배치될 수 있다. 다시 말하면, 일부 구현예들에서, 사용자(150)는 플롯 세팅 내에 배치되고 SR 컴패니언 콘텐츠(620B)와 상호작용할 수 있다. 이 예를 계속 참조하면, 재생 시나리오(600B)는 전자 디바이스(120)를 통한 SR 컴패니언 콘텐츠(620B)의 프레젠테이션으로부터, 디스플레이 디바이스(130)를 통한 비디오 콘텐츠(610)의 디스플레이로의 제2 전이를 포함한다. 일부 구현예들에서, 각각의 플롯 세팅은 SR 컴패니언 콘텐츠의 하나의 인스턴스와 연관된다. 일부 구현예들에서, 각각의 플롯 세팅은 사용자에 의해 개별적으로 선택될 수 있는 SR 컴패니언(예컨대, 플롯 세팅과 연관된 상이한 미션 또는 태스크들) 콘텐츠의 다수의 인스턴스와 연관된다.
일부 구현예들에서, 디스플레이 디바이스(130)는, 전자 디바이스(120)가 SR 컴패니언 콘텐츠(620B)를 프레젠테이션하는 동안, 비디오 콘텐츠(610)를 동시에 디스플레이한다. 일부 구현예들에서, 비디오 콘텐츠(610)는, 전자 디바이스(120)가 SR 컴패니언 콘텐츠(620B)를 프레젠테이션하는 동안, 일시정지된다. 일부 구현예들에서, 비디오 콘텐츠(610) 및 SR 컴패니언 콘텐츠(620B) 둘 모두는 전자 디바이스(120)를 통해 프레젠테이션된다.
일례로서, 사용자(150)는 전술한 전이들 사이에서 전자 디바이스(120)를 착용하고 있다. 이 예에서, 도 1b 및 도 6b를 참조하면, 전자 디바이스(120)는, 사용자(150)가 전자 디바이스(120)를 착용하고 있는 동안 디스플레이 디바이스(130)를 통해 디스플레이되는 비디오 콘텐츠(610)를 볼 수 있도록, 물리적 세팅(105)의 비디오 패스-스루를 가능하게 한다. 다른 예로서, 비디오 콘텐츠(610) 및 SR 컴패니언 콘텐츠(620B) 둘 모두는 전자 디바이스(120)를 통해 디스플레이된다.
도 6c에 도시된 바와 같이, 예를 들어, 장면 재생 시나리오(650A)는 비디오 콘텐츠(675)(예컨대, TV 에피소드 또는 영화)를 디스플레이하는 디스플레이 디바이스(130) 및 전자 디바이스(120)를 들고 있는 사용자를 포함하는 한편, 전자 디바이스(120)는 디스플레이(122) 상에 물리적 세팅(660)(예컨대, 사용자의 거실)의 비디오 패스-스루를 디스플레이한다. 비디오 콘텐츠(675)와 연관된 SR 컴패니언 콘텐츠를 보려고 요청한 후, 전자 디바이스(120)는 비디오 콘텐츠(675)와 연관된 SR 콘텐츠(670a, 670b, 670c, 670d, 670e, 670f, 670g, 672, 674)를 프레젠테이션한다. 예를 들어, 도 6c에서, 사용자는, 디스플레이(122) 상에서 터치 제스처들을 수행함으로써 물리적 세팅(660) 주위에 흩어진 SR 콘텐츠(670a, 670b, 670c, 670d, 670e, 670f, 670g)(예컨대, AR 캔디들)를 수집하고, 비디오 콘텐츠(675)와 연관된 SR 외계인 주인공(674)을 위한 SR 바스켓(672)에 그것들을 배치하는 임무를 맡는다. 이와 같이, 이 예에서, SR 컴패니언 콘텐츠는 사용자(150)가 수행할 태스크(예컨대, AR 캔디들을 수집함)를 제공할 때 사용자의 현재 주변(예컨대, 도 6c의 물리적 세팅(660))을 레버리징한다.
도 6d에 도시된 바와 같이, 예를 들어, 장면 재생 시나리오(650B)는 비디오 콘텐츠(675)(예컨대, TV 에피소드 또는 영화)를 디스플레이하는 디스플레이 디바이스(130), 및 물리적 세팅(660)(예컨대, 사용자의 거실)의 광학 시스루를 갖는 전자 디바이스(120)를 자신의 머리에 착용하고 있는(예컨대, AR-인에이블형 안경) 사용자(150)를 포함한다. 비디오 콘텐츠(675)와 연관된 SR 컴패니언 콘텐츠를 보려고 요청한 후, 전자 디바이스(120)는 비디오 콘텐츠(675)와 연관된 SR 콘텐츠(670a, 670b, 670c, 670d, 670e, 670f, 670g, 672, 674)를 프레젠테이션한다. 예를 들어, 도 6d에서, 사용자(150)는, 물리적 세팅(660) 주위에 흩어진 SR 콘텐츠(670a, 670b, 670c, 670d, 670e, 670f, 670g)(예컨대, SR 캔디들)를 수집하고, 비디오 콘텐츠(675)와 연관된 SR 외계인 주인공(674)을 위한 SR 바스켓(672)에 그것들을 배치하는 임무를 맡는다. 이와 같이, 이 예에서, SR 컴패니언 콘텐츠는 사용자(150)가 수행할 태스크(예컨대, AR 캔디들을 수집함)를 제공할 때 사용자의 현재 주변(예컨대, 도 6d의 물리적 세팅(660))을 레버리징한다.
도 7은 일부 구현예들에 따른 SR 컴패니언 콘텐츠를 프레젠테이션하는 방법(700)의 흐름도 표현이다. 다양한 구현예들에서, 방법(700)은 비일시적 메모리, 및 비일시적 메모리와 결합된 하나 이상의 프로세서들을 갖는 디바이스(예컨대, 도 1b 및 도 2의 제어기(110), 도 1a, 도 1b, 및 도 3의 전자 디바이스(120), 또는 이들의 적합한 조합)에 의해 수행된다. 일부 구현예들에서, 방법(700)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일부 구현예들에서, 방법(700)은 비일시적 컴퓨터 판독가능 매체(예를 들어, 메모리)에 저장된 코드를 실행하는 프로세서에 의해 수행된다. 간략하게, 일부 상황들에서, 방법(700)은: 현재 플롯 세팅을 갖는 비디오 콘텐츠의 프레젠테이션을 야기하는 동안, 현재 플롯 세팅을 탐색하기 위한 요청을 나타내는 사용자 입력을 수신하는 단계; 사용자 입력을 수신하는 것에 응답하여 현재 플롯 세팅과 연관된 SR 콘텐츠를 획득(예컨대, 수신, 검색, 또는 생성)하는 단계; 현재 플롯 세팅과 연관된 SR 콘텐츠의 프레젠테이션을 야기하는 단계; SR 콘텐츠와의 하나 이상의 사용자 상호작용들을 수신하는 단계; 및 SR 콘텐츠와의 하나 이상의 사용자 상호작용들을 수신하는 것에 응답하여 SR 콘텐츠의 프레젠테이션을 조정하는 단계를 포함한다.
블록(7-1)에 의해 표현되는 바와 같이, 방법(700)은, 현재 플롯 세팅을 갖는 비디오 콘텐츠의 프레젠테이션을 야기하는 동안, 현재 플롯 세팅을 탐색하기 위한 요청을 나타내는 사용자 입력을 수신하는 단계를 포함한다. 일부 구현예들에서, 비디오 콘텐츠는 TV 상에 디스플레이되고 있고, SR 콘텐츠는 HMD를 통해 프레젠테이션된다. 일부 구현예들에서, 제어기는 TV와 HMD 사이의 전이를 조정한다. 일부 구현예들에서, 비디오 콘텐츠는, SR 컴패니언 콘텐츠가 다음 X 초 동안 현재 플롯 세팅에 이용가능하다는 (예컨대, 비디오 콘텐츠 상에 중첩되거나 오버레이된) 통지를 포함한다. 일부 구현예들에서, 사용자 입력은 통지가 디스플레이되는 동안의 음성 커맨드, TV 리모컨 버튼의 선택, TV 리모컨의 움직임, 머리 움직임, 눈 움직임 등에 대응한다. 일부 구현예들에서, 비디오 콘텐츠 및 SR 콘텐츠 둘 모두는 HMD를 통해 프레젠테이션된다.
블록(7-2)에 의해 표현되는 바와 같이, 방법(700)은 사용자 입력을 수신하는 것에 응답하여 현재 플롯 세팅과 연관된 SR 콘텐츠를 획득(예컨대, 수신, 검색, 또는 생성)하는 단계를 포함한다. 일부 구현예들에서, 현재 플롯 세팅과 연관된 SR 콘텐츠는 비디오 콘텐츠와 연관된 SR 콘텐츠의 로컬 또는 원격 라이브러리(예컨대, 원격 서버, 제3자 콘텐츠 제공자 등)로부터 획득된다. 일부 구현예들에서, SR 콘텐츠는 비디오 콘텐츠 및 현재 플롯 세팅에 적어도 부분적으로 기초하여 온더플라이로(on-the-fly) 생성된다. 일부 구현예들에서, SR 콘텐츠는 미리정의된 규칙들 및 정책들의 세트(예컨대, 사용자가 현재 플롯 세팅 및 현재 플롯 세팅 내의 캐릭터들과 SR 내에서 상호작용하는 능력)에 따라 온더플라이로 생성된다.
블록(7-3)에 의해 표현되는 바와 같이, 방법(700)은 현재 플롯 세팅과 연관된 SR 콘텐츠의 프레젠테이션을 야기하는 단계를 포함한다. 일부 구현예들에서, 비디오 콘텐츠는 이용가능한 SR 컴패니언 콘텐츠의 라이브러리와 연관된다. 예를 들어, SR 컴패니언 콘텐츠는, 세팅을 탐색하고 플롯 세팅에서의 캐릭터들과 상호작용하기 위해 현재 플롯 세팅 내에 배치되는 사용자에 대응한다. 이와 같이, 사용자는, 플랫 비디오 콘텐츠의 고정된 카메라 각도에 의해 가능하지 않은 풍부함으로 플롯 세팅을 탐색할 수 있다. 일례에서, 사용자의 탐색은 현재 플롯 세팅과 연관된 방으로 제한된다. 다른 예에서, 사용자는 현재 플롯 세팅에 인접한 다른 방들을 탐색할 수 있다. 또 다른 예에서, SR 컴패니언 콘텐츠는, 현재 플롯 세팅 내에 배치되고 플롯을 앞으로 전진시키는 미션을 완료하는 임무를 맡은 사용자에 대응한다. 또 다른 예에서, SR 컴패니언 콘텐츠는 현재 플롯 세팅의 제작(making)/촬영(filming) 내에 배치되는 사용자에 대응한다.
블록(7-4)에 의해 표현되는 바와 같이, 방법(700)은 SR 콘텐츠와의 하나 이상의 사용자 상호작용들을 수신하는 단계를 포함한다. 블록(7-5)에 의해 표현되는 바와 같이, 방법(700)은 SR 콘텐츠와의 하나 이상의 사용자 상호작용들을 수신하는 것에 응답하여 SR 콘텐츠의 프레젠테이션을 조정하는 단계를 포함한다. 일부 구현예들에서, SR 컴패니언 콘텐츠는 신체 포즈 입력들/액션들, 눈 움직임들, 음성 커맨드들 등과 같은 그들 사이의 사용자 상호작용들에 기초하여 구동된다. 일례로서, 사용자는, 플롯 세팅과 연관된 아이템을 회수하거나, 비디오 콘텐츠의 주인공을 위해 나쁜 사람들 또는 잔해를 제거해 플롯 세팅에서 길을 내는 것과 같이, 플롯 세팅과 연관된 태스크 또는 미션을 수행한다. 다른 예로서, 사용자는 플롯 세팅 내의 객체들을 점검하고, 악당들과 싸우고, 플롯 세팅 내의 캐릭터들에 질문하고, 문들을 열고 인접한 방들을 탐색하고, 플롯 세팅 내에서 이리저리 움직이는 것 등을 수행한다(예컨대, 도 6a 및 도 6b에 도시된 바와 같이). 또 다른 예로서, SR 컴패니언 콘텐츠는, 베트남 전쟁에 관한 다큐멘터리를 시청하는 동안 군사 부대들의 위치를 보여주는 AR 전장 지도 또는 호치민 루트의 AR 버전과 같은, 비디오 콘텐츠와 연관된 교육적 도움 또는 보조 정보에 대응한다. 또 다른 예로서, SR 컴패니언 콘텐츠는 (예를 들어, 도 6c 및 도 6d에 도시된 바와 같이) 비디오 콘텐츠 내의 외계인 주인공에게 제공하기 위해 사용자의 거실 주위에 흩어진 SR 캔디들을 수집하는 것과 같은, 사용자가 수행할 태스크를 제공할 때 사용자의 현재 주변을 레버리징한다.
도 8은 일부 구현예들에 따른 SR 컴패니언 콘텐츠를 프레젠테이션하는 방법(800)의 흐름도 표현이다. 다양한 구현예들에서, 방법(800)은 비일시적 메모리, 및 비일시적 메모리와 결합된 하나 이상의 프로세서들을 갖는 디바이스(예컨대, 도 1b 및 도 2의 제어기(110), 도 1a, 도 1b, 및 도 3의 전자 디바이스(120), 또는 이들의 적합한 조합)에 의해 수행된다. 일부 구현예들에서, 방법(800)은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 포함하는 프로세싱 로직에 의해 수행된다. 일부 구현예들에서, 방법(800)은 비일시적 컴퓨터 판독가능 매체(예를 들어, 메모리)에 저장된 코드를 실행하는 프로세서에 의해 수행된다. 간략하게, 일부 상황들에서, 방법(800)은: 현재 플롯 세팅을 갖는 비디오 콘텐츠를 프레젠테이션하는 단계; 현재 플롯 세팅과 연관된 SR 콘텐츠를 획득하는 단계; 현재 플롯 세팅과 연관된 SR 콘텐츠가 이용가능함을 나타내는 프롬프트를 프레젠테이션하는 단계; 현재 플롯 세팅과 연관된 SR 콘텐츠를 경험하기 위한 요청을 획득하는 단계; 현재 플롯 세팅과 연관된 SR 콘텐츠를 프레젠테이션하는 단계; 현재 플롯 세팅과 연관된 SR 콘텐츠와의 사용자 상호작용들을 검출하는 단계; 사용자 상호작용들에 따라 SR 콘텐츠를 조정하는 단계; 및 SR 콘텐츠를 프레젠테이션하는 것을 중지하고 비디오 콘텐츠를 프레젠테이션하는 단계를 포함한다.
블록(8-1)에 의해 표현되는 바와 같이, 방법(800) 현재 플롯 세팅을 갖는 비디오 콘텐츠를 프레젠테이션하는 단계를 포함한다. 일부 구현예들에서, 전자 디바이스(120) 또는 그의 컴포넌트(예컨대, SR 프레젠터(344))는 하나 이상의 디스플레이들(312)을 통해 비디오 콘텐츠(예컨대, 도 6a 및 도 6b의 비디오 콘텐츠(610))를 프레젠테이션한다. 일부 구현예들에서, 디스플레이 디바이스(130) 또는 그의 컴포넌트(예컨대, 콘텐츠 프레젠터(444))는 디스플레이(412)를 통해 비디오 콘텐츠를 프레젠테이션한다. 일부 구현예들에서, 제어기(110) 또는 그의 컴포넌트(예컨대, 콘텐츠 관리 유닛(248))는 전자 디바이스(120) 및/또는 디스플레이 디바이스(130)에 의한 비디오 콘텐츠의 프레젠테이션을 야기 및 관리한다. 예를 들어, 비디오 콘텐츠는 TV 에피소드 또는 영화에 대응한다.
블록(8-2)에 의해 표현되는 바와 같이, 방법(800)은 현재 플롯 세팅과 연관된 SR 콘텐츠를 획득(예컨대, 수신, 검색, 또는 생성)하는 단계를 포함한다. 일부 구현예들에서, 제어기(110) 또는 그의 컴포넌트(예컨대, 컴패니언 콘텐츠 획득기(246))는 로컬 라이브러리 또는 원격 라이브러리(예컨대, 원격 서버, 제3자 콘텐츠 제공자 등)로부터 현재 플롯 세팅과 연관된 SR 콘텐츠를 획득한다. 일부 구현예들에서, SR 콘텐츠는 사용자에 의해 현재 보여지고 있는 비디오 콘텐츠와 연관된 라이브러리로부터 획득된다. 일부 구현예들에서, SR 콘텐츠는 비디오 콘텐츠 및 현재 플롯 세팅에 적어도 부분적으로 기초하여 온더플라이로 생성된다. 일부 구현예들에서, SR 콘텐츠는 미리정의된 규칙들 및 정책들의 세트(예컨대, 사용자가 현재 플롯 세팅 및 현재 플롯 세팅 내의 캐릭터들과 SR 내에서 상호작용하는 능력)에 따라 온더플라이로 생성된다.
블록(8-3)에 의해 표현되는 바와 같이, 방법(800)은 현재 플롯 세팅과 연관된 SR 콘텐츠가 이용가능함을 나타내는 프롬프트를 프레젠테이션하는 단계를 포함한다. 일부 구현예들에서, 비디오 콘텐츠 내의 현재 플롯 세팅과 연관된 SR 콘텐츠를 획득한 후, 제어기(110) 또는 그의 컴포넌트(예컨대, 콘텐츠 관리 유닛(248))는, SR 컴패니언 콘텐츠가 비디오 콘텐츠 내의 현재 플롯 세팅에 이용가능함을 나타내는 메시지를 전자 디바이스(120) 및/또는 디스플레이 디바이스(130)에 송신한다. 일부 구현예들에서, 비디오 콘텐츠 내의 현재 플롯 세팅과 연관된 SR 컴패니언 콘텐츠가 이용가능함을 나타내는(예컨대, 컴패니언 콘텐츠), 미묘한 전이 어포던스 또는 통지가 비디오 콘텐츠 내에 삽입된다.
블록(8-4)에 의해 표현되는 바와 같이, 방법(800)은 현재 플롯 세팅과 연관된 SR 콘텐츠를 경험하기 위한 요청을 획득하는 단계를 포함한다. 예를 들어, 사용자가 (예컨대, 전자 디바이스(120) 또는 디스플레이 디바이스(130), 디스플레이 디바이스(130)와 연관된 원격-제어 디바이스 등에 의해 수신된 음성 커맨드를 통해) 전이 어포던스를 선택할 때, 전자 디바이스(120) 또는 디스플레이 디바이스(130)는 현재 플롯 세팅과 연관된 SR 콘텐츠를 경험하려는 사용자의 의도를 나타내는 메시지를 제어기(110)에 제공한다. 이 예를 계속 참조하면, 메시지를 수신하는 것에 응답하여, 제어기(110) 또는 그의 컴포넌트(예컨대, 데이터 송신기(250))는 사용자에게 프레젠테이션하기 위해 프레젠테이션 데이터(예컨대, 렌더링된 SR 프레임들 또는 현재 플롯 세팅과 연관된 SR 콘텐츠에 대한 액세스)를 전자 디바이스(120)에 제공한다.
블록(8-5)에 의해 표현되는 바와 같이, 방법(800)은 현재 플롯 세팅과 연관된 SR 콘텐츠를 프레젠테이션하는 단계를 포함한다. 일부 구현예들에서, 전자 디바이스(120) 또는 그의 컴포넌트(예컨대, SR 프레젠터(344))는 하나 이상의 디스플레이들(312)을 통해 현재 플롯 세팅과 연관된 SR 콘텐츠(예컨대, 도 6a의 SR 컴패니언 콘텐츠(620A))를 프레젠테이션한다. 일부 구현예들에서, 사용자 경험은, 제1 전자 디바이스(예컨대, TV, 태블릿 등)가 플랫 비디오 콘텐츠를 디스플레이하는 것으로부터, 제2 SR 가능 디바이스(예컨대, HMD, 전화기, 태블릿 등)가 비디오 콘텐츠와 연관된 SR 콘텐츠(예컨대, 컴패니언 SR 콘텐츠)를 디스플레이하는 것으로 전이된다. 일례로서, 도 6b는, 사용자가 디스플레이 디바이스(130)를 통해 비디오 콘텐츠(610)를 보고, 이어서, 사용자가 전자 디바이스(120)를 통해 SR 컴패니언 콘텐츠(620B)를 보는 것으로 전이하는, 예시적인 재생 시나리오(600B)를 도시한다. 일부 구현예들에서, 비디오 콘텐츠(610) 및 SR 컴패니언 콘텐츠(620B) 둘 모두는 전자 디바이스(120)를 통해 프레젠테이션된다.
일부 구현예들에서, 비디오 콘텐츠는, 사용자가 현재 플롯 세팅을 탐색하는 동안(예컨대, 현재 플롯 세팅에 의해 지시된 시간 윈도우 내에서) 동시에 계속된다. 일부 구현예들에서, 비디오 콘텐츠는 임계 영역을 넘어서는 플롯 세팅의 사용자 탐색(예컨대, 사용자가 현재 플롯 세팅에 인접한 방을 탐색함)에 응답하여 일시정지된다. 일부 구현예들에서, 비디오 콘텐츠는 사용자가 현재 플롯 세팅을 탐색하는 동안 일시정지된다.
블록(8-6)에 의해 표현되는 바와 같이, 방법(800)은 현재 플롯 세팅과 연관된 SR 콘텐츠와의 사용자 상호작용들을 검출하는 단계를 포함한다. 일부 구현예들에서, 전자 디바이스(120) 또는 그의 컴포넌트(예컨대, 사용자 상호작용 핸들러(346))는 SR 컴패니언 콘텐츠와의 사용자 상호작용들을 검출한다. 일부 구현예들에서, 전자 디바이스(120) 또는 그의 컴포넌트(예컨대, 데이터 송신기(350))는 사용자 상호작용들과 연관된 데이터를 제어기(110)에 전송한다. 예를 들어, 사용자는 현재 플롯 세팅의 SR 재구성 내의 객체를 선택한다. 다른 예로서, 사용자는 현재 플롯 세팅에서 휴머노이드(humanoid) 캐릭터들과 싸운다. 또 다른 예에서, 사용자는 현재 플롯 세팅에서 캐릭터들과 이야기를 나눈다. 또 다른 예에서, 사용자는 다양한 각도들로부터 현재 플롯 세팅을 보기 위해 현재 플롯 세팅 둘레를 걷는다. 일부 구현예들에서, 비디오 콘텐츠는 비디오 콘텐츠를 전진시키기 위해 사용자가 현재 플롯 세팅과 연관된 태스크 또는 미션을 완료하는 동안 일시정지된다.
블록(8-7)에 의해 표현되는 바와 같이, 방법(800)은 사용자 상호작용들에 따라 SR 콘텐츠를 조정하는 단계를 포함한다. 일부 구현예들에서, 전자 디바이스(120) 또는 그의 컴포넌트(예컨대, SR 프레젠테이션 유닛(342))는 블록(8-6)에서 검출된 사용자 상호작용에 따라 SR 컴패니언 콘텐츠를 조정한다. 일부 구현예들에서, 제어기(110) 또는 그의 컴포넌트(예컨대, 콘텐츠 관리 유닛(248))는 블록(8-6)에서 검출된 사용자 상호작용들에 따라 SR 컴패니언 콘텐츠를 조정한다. 예를 들어, 사용자가 현재 플롯 세팅으로부터 SR 커피잔을 떨어뜨리는 경우, SR 커피잔은 후속하여 바닥으로 떨어져서 깨지고/깨지거나 액체를 쏟게 된다. 일부 구현예들에서, 사용자가 SR 콘텐츠와 상호작용함에 따라, 전자 디바이스(120)는 오디오, 햅틱, 피부 전단, 온도 등의 피드백을 제공한다.
블록(8-8)에 의해 표현되는 바와 같이, 방법(800)은 SR 종료 조건의 충족을 검출하는 단계를 포함한다. 일부 구현예들에서, 종료 조건은 사용자가 이스케이프 커맨드(예컨대, 제스처, 음성 커맨드 등)를 제공할 때 충족된다. 일부 구현예들에서, 종료 조건은, 사용자가 현재 플롯 세팅과 연관된 미션 또는 태스크를 완료할 때(예컨대, 시뮬레이션된 백병전에서 여러 심복들을 물리치거나, 퍼즐을 풀거나, 또는 특정 정보를 얻기 위해 캐릭터에게 질문하는 것) 충족된다. 일부 구현예들에서, 종료 조건은 미리정의된 기간이 만료될 때 충족된다.
블록(8-9)에 의해 표현되는 바와 같이, 방법(800)은 SR 콘텐츠를 프레젠테이션하는 것을 중지하고 비디오 콘텐츠를 프레젠테이션하는 단계를 포함한다. 일부 구현예들에서, 전자 디바이스(120) 또는 그의 컴포넌트(예컨대, SR 프레젠터(344))는 하나 이상의 디스플레이들(312)을 통한 현재 플롯 세팅과 연관된 SR 콘텐츠(예컨대, SR 컴패니언 콘텐츠)의 프레젠테이션을 중지한다. 이어서, 일부 구현예들에서, 전자 디바이스(120) 또는 그의 컴포넌트(예컨대, SR 프레젠터(344))는 하나 이상의 디스플레이들(312)을 통해 비디오 콘텐츠를 프레젠테이션한다. 대안적으로, 일부 구현예들에서, 디스플레이 디바이스(130) 또는 그의 컴포넌트(예컨대, 콘텐츠 프레젠터(444))는 디스플레이(412)를 통해 비디오 콘텐츠를 프레젠테이션한다.
일부 구현예들에서, 사용자 경험은, 제2 SR 디바이스(예컨대, HMD, 전화기, 태블릿 등)가 비디오 콘텐츠와 연관된 SR 콘텐츠(예컨대, 컴패니언 SR 콘텐츠)를 디스플레이하는 것으로부터, 제1 디바이스(예컨대, TV, 태블릿 등)가 플랫 비디오 콘텐츠를 디스플레이하는 것으로 전이된다. 일례로서, 도 6b는, 사용자가 전자 디바이스(120)를 통해 SR 컴패니언 콘텐츠(620B)를 보고, 이어서, 사용자가 디스플레이 디바이스(130)를 통해 비디오 콘텐츠(610)를 보는 것으로 전이하는, 예시적인 재생 시나리오(600B)를 도시한다.
첨부된 청구범위의 범주 내의 구현예들의 다양한 양태들이 전술되지만, 전술된 구현들의 다양한 특징들이 매우 다양한 형태들로 구현될 수 있고 전술된 임의의 특정 구조 및/또는 기능이 단지 예시적이라는 것이 명백할 것이다. 본 개시내용에 기초하여, 당업자는 본 명세서에 기술된 양태가 임의의 다른 양태들과 독립적으로 구현될 수 있고 이들 양태들 중 둘 이상이 다양한 방식으로 조합될 수 있음을 이해해야 한다. 예를 들어, 본 명세서에 기재된 임의의 수의 양태들을 사용하여 장치가 구현될 수 있고/있거나 방법이 실시될 수 있다. 또한, 본 명세서에 기술된 양태들 중 하나 이상에 추가로 또는 그 이외의 다른 구조물 및/또는 기능을 사용하여 그러한 장치가 구현될 수 있고/있거나 그러한 방법이 실시될 수 있다.
용어들 "제1", "제2" 등이 다양한 요소들을 설명하기 위해 본 명세서에서 사용될 수 있지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이러한 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 모든 "제1 노드"의 발생이 일관되게 재명명되고 모든 "제2 노드"의 발생이 일관되게 재명명되기만 한다면, 제1 노드는 제2 노드로 지칭될 수 있고, 유사하게, 제2 노드는 제1 노드로 지칭될 수 있으며, 이는 설명의 의미를 변경한다. 제1 노드 및 제2 노드는 둘 모두 노드들이지만, 그것들은 동일한 노드가 아니다.
본 명세서에서 사용되는 용어는 단지 특정 실시예들만을 설명하는 목적을 위한 것이고, 청구범위를 제한하도록 의도되지 않는다. 본 실시예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수의 형태들("a", "an" 및 "the")은 문맥상 명백히 다르게 나타나지 않는다면 복수의 형태들도 또한 포함하는 것으로 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "및/또는"은 열거되는 연관된 항목들 중 하나 이상의 항목들의 임의의 및 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 본 명세서에서 사용될 때 "포함한다(comprise)" 및/또는 "포함하는(comprising)"이라는 용어들은 진술되는 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들 및/또는 이들의 그룹들의 존재 또는 부가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본 명세서에서 사용되는 바와 같이, "~인 경우(if)"라는 용어는, 문맥에 따라, 진술된 선행 조건이 사실"일 때(when)", 그 조건이 사실"일 시(upon)" 또는 그 조건이 사실"이라고 결정하는 것에 응답하여(in response to determining)" 또는 그 조건이 사실"이라는 결정에 따라(in accordance with a determination)" 또는 그 조건이 사실"임을 검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석될 수 있다. 유사하게, 어구 "[진술된 선행 조건이 사실이라고] 결정되는 경우" 또는 "[진술된 선행 조건이 사실]인 경우" 또는 "[진술된 선행 조건이 사실]일 때"는, 문맥에 따라, 진술된 선행 조건이 사실"이라고 결정할 시에" 또는 그 조건이 사실"이라고 결정하는 것에 응답하여" 또는 그 조건이 사실"이라는 결정에 따라" 또는 그 조건이 사실"이라는 것을 검출할 시에" 또는 그 조건이 사실"이라는 것을 검출하는 것에 응답하여"를 의미하는 것으로 해석될 수 있다.
Claims (21)
- 방법으로서,
비일시적 메모리 및 하나 이상의 프로세서들을 포함하는 컴퓨팅 시스템에서 - 상기 컴퓨팅 시스템은 디스플레이 디바이스 및 하나 이상의 입력 디바이스들에 통신가능하게 결합됨 -:
상기 디스플레이 디바이스를 통해 현재 플롯 세팅(current plot setting)을 갖는 비디오 콘텐츠의 프레젠테이션을 야기하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 비디오 콘텐츠의 특정 기간에 대응하는 상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅을 탐색하기 위한 요청을 나타내는 사용자 입력을 획득하는 단계;
상기 사용자 입력을 수신하는 것에 응답하여:
상기 비디오 콘텐츠의 상기 특정 기간에 대한 합성 현실(synthesized reality, SR) 콘텐츠를 획득하는 단계 - 상기 SR 콘텐츠는 상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅과 연관됨 -;
상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅과 연관된 하나 이상의 미션들 또는 태스크들을 획득하는 단계;
상기 디스플레이 디바이스를 통해 상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅과 연관된 상기 SR 콘텐츠 및 상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅과 연관된 상기 하나 이상의 미션들 또는 태스크들의 표시의 프레젠테이션을 동시에 야기하는 단계;
상기 하나 이상의 입력 디바이스들을 통해, 상기 SR 콘텐츠와의 하나 이상의 사용자 상호작용들을 획득하는 단계; 및
상기 SR 콘텐츠와의 상기 하나 이상의 사용자 상호작용들을 수신하는 것에 응답하여 상기 SR 콘텐츠를 조정하는 단계; 및
상기 SR 콘텐츠와의 상기 하나 이상의 사용자 상호작용들이 상기 현재 플롯 세팅에 대한 종료 조건을 충족시킨다고 결정하는 것에 응답하여, 상기 SR 콘텐츠의 프레젠테이션을 야기하는 것을 중지하고 상기 비디오 콘텐츠의 프레젠테이션을 야기하는 것을 계속하는 단계를 포함하고, 상기 현재 플롯 세팅에 대한 상기 종료 조건은 상기 SR 콘텐츠와의 상기 하나 이상의 사용자 상호작용들이 상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅과 연관된 미션 또는 태스크를 완료할 때 충족되는, 방법. - 제1항에 있어서, 상기 SR 콘텐츠는 상기 비디오 콘텐츠와 연관된 라이브러리로부터 획득되는, 방법.
- 제1항에 있어서, 상기 SR 콘텐츠는 상기 비디오 콘텐츠에 적어도 부분적으로 기초하여 온더플라이로(on-the-fly) 생성되는, 방법.
- 제1항에 있어서, 상기 비디오 콘텐츠는 상기 SR 콘텐츠와의 상기 하나 이상의 사용자 상호작용들을 수신하는 동안 동시에 계속되는, 방법.
- 제1항에 있어서, 상기 비디오 콘텐츠는 사용자가 상기 SR 콘텐츠와 연관된 임계 영역을 넘어서는(breaching) 것에 응답하여 일시정지되는, 방법.
- 제1항에 있어서, 상기 비디오 콘텐츠는 상기 SR 콘텐츠와의 상기 하나 이상의 사용자 상호작용들을 수신하는 동안 일시정지되는, 방법.
- 제6항에 있어서,
사용자로부터 커맨드를 수신하는 것에 응답하여, 상기 SR 콘텐츠의 프레젠테이션을 야기하는 것을 중지하고 상기 비디오 콘텐츠의 프레젠테이션을 계속하는 단계를 추가로 포함하는, 방법. - 삭제
- 제1항에 있어서, 상기 컴퓨팅 시스템은 또한 물리적 세팅(physical setting)의 하나 이상의 이미지들을 캡처하는 이미지 센서와 통신가능하게 결합되고, 상기 SR 콘텐츠의 프레젠테이션을 야기하는 단계는 상기 디스플레이 디바이스를 통한 프레젠테이션을 위해 상기 물리적 세팅의 상기 하나 이상의 이미지들을 상기 SR 콘텐츠와 구성하는 단계를 포함하는, 방법.
- 제1항에 있어서, 상기 방법은,
상기 현재 플롯 세팅과 연관된 상기 SR 콘텐츠의 이용가능성을 나타내는 어포던스의 디스플레이를 야기하는 단계를 추가로 포함하며, 상기 현재 플롯 세팅과 연관된 상기 SR 콘텐츠는 상기 어포던스의 선택을 검출하는 것에 응답하여 프레젠테이션되게 되는, 방법. - 컴퓨팅 시스템으로서,
하나 이상의 프로세서들;
비일시적 메모리;
디스플레이 디바이스 및 하나 이상의 입력 디바이스들과 통신하기 위한 인터페이스; 및
상기 비일시적 메모리에 저장된 하나 이상의 프로그램들을 포함하며,
상기 하나 이상의 프로그램들은, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 컴퓨팅 시스템으로 하여금,
상기 디스플레이 디바이스를 통해 현재 플롯 세팅을 갖는 비디오 콘텐츠의 프레젠테이션을 야기하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 비디오 콘텐츠의 특정 기간에 대응하는 상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅을 탐색하기 위한 요청을 나타내는 사용자 입력을 획득하고;
상기 사용자 입력을 수신하는 것에 응답하여:
상기 비디오 콘텐츠의 상기 특정 기간에 대한 합성 현실(SR) 콘텐츠를 획득하고 - 상기 SR 콘텐츠는 상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅과 연관됨 -;
상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅과 연관된 하나 이상의 미션들 또는 태스크들을 획득하고;
상기 디스플레이 디바이스를 통해 상기 현재 플롯 세팅과 연관된 상기 SR 콘텐츠 및 상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅과 연관된 상기 하나 이상의 미션들 또는 태스크들의 표시의 프레젠테이션을 동시에 야기하고;
상기 하나 이상의 입력 디바이스들을 통해, 상기 SR 콘텐츠와의 하나 이상의 사용자 상호작용들을 획득하고;
상기 SR 콘텐츠와의 상기 하나 이상의 사용자 상호작용들을 수신하는 것에 응답하여 상기 SR 콘텐츠를 조정하고;
상기 SR 콘텐츠와의 상기 하나 이상의 사용자 상호작용들이 상기 현재 플롯 세팅에 대한 종료 조건을 충족시킨다고 결정하는 것에 응답하여, 상기 SR 콘텐츠의 프레젠테이션을 야기하는 것을 중지하고 상기 비디오 콘텐츠의 프레젠테이션을 야기하는 것을 계속하게 하며, 상기 현재 플롯 세팅에 대한 상기 종료 조건은 상기 SR 콘텐츠와의 상기 하나 이상의 사용자 상호작용들이 상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅과 연관된 미션 또는 태스크를 완료할 때 충족되는, 컴퓨팅 시스템. - 제11항에 있어서, 상기 비디오 콘텐츠는 상기 SR 콘텐츠와의 상기 하나 이상의 사용자 상호작용들을 수신하는 동안 일시정지되는, 컴퓨팅 시스템.
- 제11항에 있어서, 상기 하나 이상의 프로그램들은, 추가로 상기 컴퓨팅 시스템으로 하여금,
사용자로부터 커맨드를 수신하는 것에 응답하여, 상기 SR 콘텐츠의 프레젠테이션을 야기하는 것을 중지하고 상기 비디오 콘텐츠의 프레젠테이션을 계속하게 하는, 컴퓨팅 시스템. - 제11항에 있어서, 상기 하나 이상의 프로그램들은, 추가로 상기 컴퓨팅 시스템으로 하여금,
상기 현재 플롯 세팅과 연관된 상기 SR 콘텐츠의 이용가능성을 나타내는 어포던스의 디스플레이를 야기하게 하며, 상기 현재 플롯 세팅과 연관된 상기 SR 콘텐츠는 상기 어포던스의 선택을 검출하는 것에 응답하여 프레젠테이션되게 되는, 컴퓨팅 시스템. - 하나 이상의 프로그램들을 저장하는 비일시적 메모리로서, 상기 하나 이상의 프로그램들은, 디스플레이 디바이스 및 하나 이상의 입력 디바이스들과 통신하기 위한 인터페이스를 갖는 컴퓨팅 시스템의 하나 이상의 프로세서들에 의해 실행될 때, 상기 컴퓨팅 시스템으로 하여금,
상기 디스플레이 디바이스를 통해 현재 플롯 세팅을 갖는 비디오 콘텐츠의 프레젠테이션을 야기하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 비디오 콘텐츠의 특정 기간에 대응하는 상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅을 탐색하기 위한 요청을 나타내는 사용자 입력을 획득하고;
상기 사용자 입력을 수신하는 것에 응답하여:
상기 비디오 콘텐츠의 상기 특정 기간에 대한 합성 현실(SR) 콘텐츠를 획득하고 - 상기 SR 콘텐츠는 상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅과 연관됨 -;
상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅과 연관된 하나 이상의 미션들 또는 태스크들을 획득하고;
상기 디스플레이 디바이스를 통해 상기 현재 플롯 세팅과 연관된 상기 SR 콘텐츠 및 상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅과 연관된 상기 하나 이상의 미션들 또는 태스크들의 표시의 프레젠테이션을 동시에 야기하고;
상기 하나 이상의 입력 디바이스들을 통해, 상기 SR 콘텐츠와의 하나 이상의 사용자 상호작용들을 획득하고;
상기 SR 콘텐츠와의 상기 하나 이상의 사용자 상호작용들을 수신하는 것에 응답하여 상기 SR 콘텐츠를 조정하고;
상기 SR 콘텐츠와의 상기 하나 이상의 사용자 상호작용들이 상기 현재 플롯 세팅에 대한 종료 조건을 충족시킨다고 결정하는 것에 응답하여, 상기 SR 콘텐츠의 프레젠테이션을 야기하는 것을 중지하고 상기 비디오 콘텐츠의 프레젠테이션을 야기하는 것을 계속하게 하며, 상기 현재 플롯 세팅에 대한 상기 종료 조건은 상기 SR 콘텐츠와의 상기 하나 이상의 사용자 상호작용들이 상기 비디오 콘텐츠 내의 상기 현재 플롯 세팅과 연관된 미션 또는 태스크를 완료할 때 충족되는, 비일시적 메모리. - 제15항에 있어서, 상기 비디오 콘텐츠는 상기 SR 콘텐츠와의 상기 하나 이상의 사용자 상호작용들을 수신하는 동안 일시정지되는, 비일시적 메모리.
- 제15항에 있어서, 상기 하나 이상의 프로그램들은, 추가로 상기 컴퓨팅 시스템으로 하여금,
사용자로부터 커맨드를 수신하는 것에 응답하여, 상기 SR 콘텐츠의 프레젠테이션을 야기하는 것을 중지하고 상기 비디오 콘텐츠의 프레젠테이션을 계속하게 하는, 비일시적 메모리. - 제15항에 있어서, 상기 하나 이상의 프로그램들은, 추가로 상기 컴퓨팅 시스템으로 하여금,
상기 현재 플롯 세팅과 연관된 상기 SR 콘텐츠의 이용가능성을 나타내는 어포던스의 디스플레이를 야기하게 하며, 상기 현재 플롯 세팅과 연관된 상기 SR 콘텐츠는 상기 어포던스의 선택을 검출하는 것에 응답하여 프레젠테이션되게 되는, 비일시적 메모리. - 제1항에 있어서, 상기 SR 콘텐츠와의 상기 하나 이상의 사용자 상호작용들은 상기 SR 콘텐츠와 연관된 객체를 선택(picking up)하는 것, 상기 SR 콘텐츠와 연관된 SR 캐릭터와 싸우는(physically engaging) 것, 또는 상기 SR 콘텐츠와 연관된 SR 캐릭터와 이야기하는 것 중 적어도 하나를 포함하는, 방법.
- 제1항에 있어서, 상기 SR 콘텐츠의 적어도 일부는 물리적 세팅 내의 물리적 객체들 상에 오버레이되거나 그들과 합성되고, 상기 미션 또는 태스크는 상기 물리적 세팅에 맞춤화되는(tailored), 방법.
- 제1항에 있어서, 상기 비디오 콘텐츠는 상기 컴퓨팅 시스템과 상이한 제2 디바이스에 의해 프레젠테이션되고, 상기 제2 디바이스는 상기 컴퓨팅 시스템과 통신가능하게 결합되는, 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020227030173A KR102549932B1 (ko) | 2018-01-22 | 2019-01-18 | 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862620326P | 2018-01-22 | 2018-01-22 | |
| US62/620,326 | 2018-01-22 | ||
| US201862734050P | 2018-09-20 | 2018-09-20 | |
| US62/734,050 | 2018-09-20 | ||
| PCT/US2019/014225 WO2019143959A1 (en) | 2018-01-22 | 2019-01-18 | Method and device for presenting synthesized reality companion content |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227030173A Division KR102549932B1 (ko) | 2018-01-22 | 2019-01-18 | 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200099590A KR20200099590A (ko) | 2020-08-24 |
| KR102440089B1 true KR102440089B1 (ko) | 2022-09-05 |
Family
ID=65363367
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227045236A KR102568871B1 (ko) | 2018-01-22 | 2019-01-18 | 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스 |
| KR1020227030173A KR102549932B1 (ko) | 2018-01-22 | 2019-01-18 | 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스 |
| KR1020207021318A KR102440089B1 (ko) | 2018-01-22 | 2019-01-18 | 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227045236A KR102568871B1 (ko) | 2018-01-22 | 2019-01-18 | 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스 |
| KR1020227030173A KR102549932B1 (ko) | 2018-01-22 | 2019-01-18 | 합성 현실 컴패니언 콘텐츠를 프레젠테이션하기 위한 방법 및 디바이스 |
Country Status (5)
| Country | Link |
|---|---|
| US (3) | US11328456B2 (ko) |
| EP (1) | EP3743787A1 (ko) |
| KR (3) | KR102568871B1 (ko) |
| CN (2) | CN116974381A (ko) |
| WO (1) | WO2019143959A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021061551A1 (en) * | 2019-09-24 | 2021-04-01 | Qsinx Management Llc | Method and device for processing camera images |
| KR102339374B1 (ko) * | 2021-05-07 | 2021-12-14 | 김은진 | Ａｒ 기반 플랜트 주문제작 서비스 제공 시스템 |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2242170C (en) | 1997-08-04 | 2002-11-05 | Alfred Vaino Aho | Three dimensional virtual reality enhancement techniques |
| EP1090505A1 (en) * | 1998-06-26 | 2001-04-11 | General Instrument Corporation | Terminal for composing and presenting mpeg-4 video programs |
| US6834308B1 (en) * | 2000-02-17 | 2004-12-21 | Audible Magic Corporation | Method and apparatus for identifying media content presented on a media playing device |
| US7624337B2 (en) * | 2000-07-24 | 2009-11-24 | Vmark, Inc. | System and method for indexing, searching, identifying, and editing portions of electronic multimedia files |
| WO2003096669A2 (en) * | 2002-05-10 | 2003-11-20 | Reisman Richard R | Method and apparatus for browsing using multiple coordinated device |
| US7123696B2 (en) * | 2002-10-04 | 2006-10-17 | Frederick Lowe | Method and apparatus for generating and distributing personalized media clips |
| US20090013263A1 (en) * | 2007-06-21 | 2009-01-08 | Matthew Jonathan Fortnow | Method and apparatus for selecting events to be displayed at virtual venues and social networking |
| US8136133B2 (en) * | 2007-11-13 | 2012-03-13 | Walker Digital, Llc | Methods and systems for broadcasting modified live media |
| US10872322B2 (en) * | 2008-03-21 | 2020-12-22 | Dressbot, Inc. | System and method for collaborative shopping, business and entertainment |
| KR101021634B1 (ko) * | 2008-11-17 | 2011-03-17 | 길태숙 | 네트워크를 이용한 역사 학습 시스템 및 방법 |
| CN103649904A (zh) * | 2011-05-10 | 2014-03-19 | Nds有限公司 | 自适应内容呈现 |
| US8963956B2 (en) * | 2011-08-19 | 2015-02-24 | Microsoft Technology Licensing, Llc | Location based skins for mixed reality displays |
| US9274595B2 (en) * | 2011-08-26 | 2016-03-01 | Reincloud Corporation | Coherent presentation of multiple reality and interaction models |
| US20130249948A1 (en) * | 2011-08-26 | 2013-09-26 | Reincloud Corporation | Providing interactive travel content at a display device |
| US20130232430A1 (en) * | 2011-08-26 | 2013-09-05 | Reincloud Corporation | Interactive user interface |
| US10824310B2 (en) * | 2012-12-20 | 2020-11-03 | Sri International | Augmented reality virtual personal assistant for external representation |
| US9317972B2 (en) * | 2012-12-18 | 2016-04-19 | Qualcomm Incorporated | User interface for augmented reality enabled devices |
| US20140176661A1 (en) * | 2012-12-21 | 2014-06-26 | G. Anthony Reina | System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom) |
| CN103747237B (zh) * | 2013-02-06 | 2015-04-29 | 华为技术有限公司 | 视频编码质量的评估方法及设备 |
| JP2014182597A (ja) * | 2013-03-19 | 2014-09-29 | Yasuaki Iwai | 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法 |
| EP3149937A4 (en) * | 2014-05-29 | 2018-01-10 | NEXTVR Inc. | Methods and apparatus for delivering content and/or playing back content |
| US20160133230A1 (en) * | 2014-11-11 | 2016-05-12 | Bent Image Lab, Llc | Real-time shared augmented reality experience |
| US20160163063A1 (en) | 2014-12-04 | 2016-06-09 | Matthew Ashman | Mixed-reality visualization and method |
| US9997199B2 (en) * | 2014-12-05 | 2018-06-12 | Warner Bros. Entertainment Inc. | Immersive virtual reality production and playback for storytelling content |
| US9704298B2 (en) * | 2015-06-23 | 2017-07-11 | Paofit Holdings Pte Ltd. | Systems and methods for generating 360 degree mixed reality environments |
| CN107682688B (zh) * | 2015-12-30 | 2020-02-07 | 视辰信息科技(上海)有限公司 | 基于增强现实的视频实时录制方法及录制设备 |
| US10682911B2 (en) * | 2016-02-18 | 2020-06-16 | Sony Corporation | Active window for vehicle infomatics and virtual reality |
| US10380800B2 (en) * | 2016-04-18 | 2019-08-13 | Disney Enterprises, Inc. | System and method for linking and interacting between augmented reality and virtual reality environments |
| CN107077755B (zh) * | 2016-09-30 | 2021-06-04 | 达闼机器人有限公司 | 虚拟与现实融合方法、系统和虚拟现实设备 |
-
2019
- 2019-01-18 US US16/963,308 patent/US11328456B2/en active Active
- 2019-01-18 KR KR1020227045236A patent/KR102568871B1/ko active IP Right Grant
- 2019-01-18 WO PCT/US2019/014225 patent/WO2019143959A1/en unknown
- 2019-01-18 CN CN202311090252.3A patent/CN116974381A/zh active Pending
- 2019-01-18 KR KR1020227030173A patent/KR102549932B1/ko active IP Right Grant
- 2019-01-18 CN CN201980008464.8A patent/CN111602105B/zh active Active
- 2019-01-18 KR KR1020207021318A patent/KR102440089B1/ko active IP Right Grant
- 2019-01-18 EP EP19704484.5A patent/EP3743787A1/en active Pending
-
2022
- 2022-03-29 US US17/707,774 patent/US11727606B2/en active Active
-
2023
- 2023-06-28 US US18/215,311 patent/US20230351644A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220222869A1 (en) | 2022-07-14 |
| EP3743787A1 (en) | 2020-12-02 |
| KR102549932B1 (ko) | 2023-07-03 |
| CN111602105B (zh) | 2023-09-01 |
| CN116974381A (zh) | 2023-10-31 |
| KR20200099590A (ko) | 2020-08-24 |
| KR102568871B1 (ko) | 2023-08-18 |
| US11328456B2 (en) | 2022-05-10 |
| WO2019143959A1 (en) | 2019-07-25 |
| KR20230003449A (ko) | 2023-01-05 |
| US20230351644A1 (en) | 2023-11-02 |
| KR20220124828A (ko) | 2022-09-14 |
| US11727606B2 (en) | 2023-08-15 |
| CN111602105A (zh) | 2020-08-28 |
| US20210074031A1 (en) | 2021-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220004767A1 (en) | Method and Device for Presenting Synthesized Reality Content in Association with Recognized Objects | |
| US20230351644A1 (en) | Method and device for presenting synthesized reality companion content | |
| US20230215079A1 (en) | Method and Device for Tailoring a Synthesized Reality Experience to a Physical Setting | |
| KR20210036975A (ko) | 시뮬레이션된 현실(sr)에서의 디스플레이 디바이스 공유 및 상호작용성 | |
| US20240094815A1 (en) | Method and device for debugging program execution and content playback | |
| US11468611B1 (en) | Method and device for supplementing a virtual environment | |
| EP3914998A1 (en) | Method and device for sketch-based placement of virtual objects | |
| US11386653B2 (en) | Method and device for generating a synthesized reality reconstruction of flat video content | |
| US11308716B1 (en) | Tailoring a computer-generated reality experience based on a recognized object | |
| US11886625B1 (en) | Method and device for spatially designating private content | |
| US20240013487A1 (en) | Method and device for generating a synthesized reality reconstruction of flat video content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |