KR20200026959A - 홀로그램 디스플레이 및 3d 객체들과 물리적 비디오 패널의 동기화 - Google Patents
홀로그램 디스플레이 및 3d 객체들과 물리적 비디오 패널의 동기화 Download PDFInfo
- Publication number
- KR20200026959A KR20200026959A KR1020207003451A KR20207003451A KR20200026959A KR 20200026959 A KR20200026959 A KR 20200026959A KR 1020207003451 A KR1020207003451 A KR 1020207003451A KR 20207003451 A KR20207003451 A KR 20207003451A KR 20200026959 A KR20200026959 A KR 20200026959A
- Authority
- KR
- South Korea
- Prior art keywords
- media device
- hmd
- hologram
- media
- asset
- Prior art date
Links
- 230000006854 communication Effects 0.000 claims abstract description 67
- 238000004891 communication Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 17
- 230000001360 synchronised effect Effects 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 5
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 33
- 238000012545 processing Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 230000003190 augmentative effect Effects 0.000 description 10
- 238000003780 insertion Methods 0.000 description 8
- 230000037431 insertion Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 244000309464 bull Species 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 101000826116 Homo sapiens Single-stranded DNA-binding protein 3 Proteins 0.000 description 1
- 102100023008 Single-stranded DNA-binding protein 3 Human genes 0.000 description 1
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011093 media selection Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2202—Reconstruction geometries or arrangements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2249—Holobject properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/0055—Adaptation of holography to specific applications in advertising or decorative art
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2249—Holobject properties
- G03H2001/2284—Superimposing the holobject with other visual information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa
Abstract
혼합 현실(mixed-reality:MR)이 설정된 머리 탑재형 디스플레이(HMD)를 별도의 미디어 장치와 조화시켜 동시적 사용자 경험을 가능하게 하는 방법. 그 방법은 HMD 및 미디어 장치 사이에 통신 채널을 설정하는 단계를 포함한다. 통신 채널을 통해 HMD에 의해 디스플레이된 인터페이스에 기반하여 미디어 장치 상의 콘텐츠를 액세스하거나 미디어 장치 상의 제어 명령들을 실행하는 단계, 및 미디어 장치에 의해 제공된 매체를 검출하고, HMD 상에서 검출된 매체와 관련된 콘텐츠의 디스플레이를 동기시키는 단계 중 적어도 하나가 수행된다.
Description
하나 이상의 실시예들은 일반적으로 홀로그램 콘텐츠에 관한 것으로서, 특히 홀로그램 콘텐츠를 디스플레이 및 사용자 인터페이스(UI) 기술과 동기시키는 것에 관한 것이다.
머리 탑재형(head-mounted) 장치들과 같은 가상 현실 장치들이 다양한 실제 및/또는 가상 세계 환경 및 정황 안에서 사용될 수 있다. 증강 현실 장치들은 실제 현실 장면 상에 디지털 방식으로 투영된 증강 현실 객체들과 함께 현실 세계 환경의 직간접적 보기들을 지원할 수 있는 가상 현실 장치들의 일종이다. 증강 현실 장치들은 또한, 증강 현실 장치가 지원하는 증강 현실 환경(즉, 가상 환경)으로 정의되는 현실 세계 환경에 대한 이해를 가지는 장면 인식(scene-aware) 장치들로서 동작할 수도 있다. 증강 현실 장치는 증강 현실 장치와 관련된 사용자에게 렌더링되는 가상화된 개체들(가령, 홀로그램 콘텐츠 또는 혼합(mixed) 현실 콘텐츠)인 증강 현실 객체들의 제공을 지원할 수 있다.
도 1은 일부 실시예들에 따른 오버레이(overlay) 개선 메커니즘을 가진 전자 시스템을 도시한다.
도 2는 일부 실시예들에 따른 시스템의 예시적 상위 블록도를 도시한다.
도 3은 일부 실시예들에 따른 예시적 텔레비전(TV) 장치 및 홀로그램 디스플레이 장치 발견 및 페어링(pairing)을 도시한다.
도 4는 일부 실시예들에 따른 혼합 현실(mixed reality:MR) 프레임워크 페어링 흐름도를 도시한다.
도 5는 일부 실시예들에 따른 예시적 홀로그램 앱 사용자 인터페이스(UI)를 도시한다.
도 6은 일부 실시예들에 따른 가상 TV UI 패널을 도시한다.
도 7은 일부 실시예들에 따른 가상 미리보기(preview) 패널을 도시한다.
도 8은 일부 실시예들에 따른 예시적 영화(movie) 이벤트 홀로그램 디스플레이를 도시한다.
도 9는 일부 실시예들에 따른 홀로그램 객체 삽입 처리에 대한 블록도를 도시한다.
도 10은 일부 실시예들에 따른 가상 세계 환경에서의 동적 광고 삽입의 예를 도시한다.
도 11은 일부 실시예들에 따른 스마트 TV 및 UI의 일 예를 도시한다.
도 12는 일부 실시예들에 따른 예시적 시스템 레이아웃에 대한 블록도를 도시한다.
도 13은 일부 실시예들에 따라, 미디어 장치들과 투사(projecting) 아바타들을 각각의 공간에서 동기시킴으로써 보기 경험을 공유하는 것을 보이는 예시도를 도시한다.
도 14는 일부 실시예들에 따라 3D 공간 내 거리 및 위치에 대한 정밀 판단을 제공하기 위한 동시적인(simultaneous) 시각적 입력 및 네트워크 통신의 사용을 도시한다.
도 15는 일부 실시예들에 따라, 디스플레이 및 UI 기술 처리를 통해 홀로그램 콘텐츠를 동기시키기 위한 블록도를 도시한다.
도 16은 개시된 실시예들을 구현하는데 사용되는 컴퓨터 시스템을 포함하는 정보 처리 시스템을 도시한 상위 블록도의 예이다.
도 2는 일부 실시예들에 따른 시스템의 예시적 상위 블록도를 도시한다.
도 3은 일부 실시예들에 따른 예시적 텔레비전(TV) 장치 및 홀로그램 디스플레이 장치 발견 및 페어링(pairing)을 도시한다.
도 4는 일부 실시예들에 따른 혼합 현실(mixed reality:MR) 프레임워크 페어링 흐름도를 도시한다.
도 5는 일부 실시예들에 따른 예시적 홀로그램 앱 사용자 인터페이스(UI)를 도시한다.
도 6은 일부 실시예들에 따른 가상 TV UI 패널을 도시한다.
도 7은 일부 실시예들에 따른 가상 미리보기(preview) 패널을 도시한다.
도 8은 일부 실시예들에 따른 예시적 영화(movie) 이벤트 홀로그램 디스플레이를 도시한다.
도 9는 일부 실시예들에 따른 홀로그램 객체 삽입 처리에 대한 블록도를 도시한다.
도 10은 일부 실시예들에 따른 가상 세계 환경에서의 동적 광고 삽입의 예를 도시한다.
도 11은 일부 실시예들에 따른 스마트 TV 및 UI의 일 예를 도시한다.
도 12는 일부 실시예들에 따른 예시적 시스템 레이아웃에 대한 블록도를 도시한다.
도 13은 일부 실시예들에 따라, 미디어 장치들과 투사(projecting) 아바타들을 각각의 공간에서 동기시킴으로써 보기 경험을 공유하는 것을 보이는 예시도를 도시한다.
도 14는 일부 실시예들에 따라 3D 공간 내 거리 및 위치에 대한 정밀 판단을 제공하기 위한 동시적인(simultaneous) 시각적 입력 및 네트워크 통신의 사용을 도시한다.
도 15는 일부 실시예들에 따라, 디스플레이 및 UI 기술 처리를 통해 홀로그램 콘텐츠를 동기시키기 위한 블록도를 도시한다.
도 16은 개시된 실시예들을 구현하는데 사용되는 컴퓨터 시스템을 포함하는 정보 처리 시스템을 도시한 상위 블록도의 예이다.
하나 이상의 실시예들은 홀로그램 콘텐츠를 디스플레이 및 사용자 인터페이스(UI) 기술과 동기시키는 것에 관한 것이다. 일부 실시예들에서, 혼합 현실(mixed-reality:MR)이 설정된 머리 탑재형 디스플레이(HMD)를 별도의 미디어 장치와 조화시켜 동시적 사용자 경험을 가능하게 하는 방법이 제안된다. 상기 방법은 HMD 및 미디어 장치 사이에 통신 채널을 설정하는 단계를 포함한다. 통신 채널을 통해 다음 중 적어도 하나가 수행된다: HMD에 의해 디스플레이된 인터페이스에 기반하여 미디어 장치 상의 콘텐츠를 액세스하거나 미디어 장치 상의 제어 명령들을 실행하는 단계, 및 미디어 장치에 의해 제공된 매체를 검출하고, HMD 상에서 검출된 매체와 관련된 콘텐츠의 디스플레이를 동기시키는 단계.
일부 실시예들에 따른 장치는 명령어들을 저장하는 메모리를 포함한다. 적어도 하나의 프로세서가, MR HMD 및 미디어 장치 사이에 통신 채널을 설정하고; 통신 채널을 이용하여, 상기 HMD에 의해 디스플레이된 인터페이스에 기반하여 미디어 장치 상의 콘텐츠를 액세스하거나 미디어 장치 상의 제어 명령들을 실행하는 동작, 및 미디어 장치에 의해 제공된 매체를 검출하고, HMD 상에서 검출된 매체와 관련된 콘텐츠의 디스플레이를 동기시키는 동작 중 적어도 하나를 수행하도록 구성된 프로세스를 포함하는 명령어들을 실행한다.
일부 실시예들에 따른 비일시적 프로세서 판독가능 매체는, 프로세서에 의해 실행될 때 MR HMD 및 미디어 장치 사이에 통신 채널을 설정하는 단계, 및 통신 채널을 이용하여 상기 HMD에 의해 디스플레이된 인터페이스에 기반하여 미디어 장치 상의 콘텐츠를 액세스하거나 미디어 장치 상의 제어 명령들을 실행하는 동작, 및 미디어 장치에 의해 제공된 매체를 검출하고, HMD 상에서 검출된 매체와 관련된 콘텐츠의 디스플레이를 동기시키는 동작 중 적어도 하나를 수행하는 단계를 포함하는 방법을 수행하는 프로그램을 포함한다.
하나 이상의 실시예들에 대한 상기 및 기타 특성들, 양태들 및 이점들은 이하의 설명과 부가되는 청구범위와 첨부된 도면을 참조하여 파악될 수 있다.
이하의 설명은 하나 이상의 실시예들의 일반적 원리를 예시할 목적으로 행해진 것으로서, 본 명세서에서 주장하는 발명의 개념들을 제한할 의도가 있는 것은 아니다. 또한, 본 명세서에 기술된 특정한 구성들은 가능한 다양한 조합 및 치환들 각각에 기재된 다른 구성들과 조합하여 사용될 수 있다. 본 명세서에서 달리 구체적으로 정의되지 않는 한, 모든 용어들은 명세서에 내포된 의미뿐만 아니라 당업자가 이해하는 의미들 및/또는 사전들, 조약들 등에서 정의된 의미들을 포함하는 가능한 가장 넓은 범위의 것으로 해석되어야 한다.
일부 실시예들은 홀로그램 콘텐츠를 디스플레이 및 사용자 인터페이스(UI) 기술과 동기시키는 것을 제안한다. 일부 실시예들에서, 혼합 현실(mixed-reality:MR)이 설정된 머리 탑재형 디스플레이(HMD)를 별도의 미디어 장치와 조화시켜 동시적 사용자 경험을 가능하게 하는 방법이 제안된다. 상기 방법은 HMD 및 미디어 장치 사이에 통신 채널을 설정하는 단계를 포함한다. 통신 채널을 통해 다음 중 적어도 하나가 수행된다: HMD에 의해 디스플레이된 인터페이스에 기반하여 미디어 장치 상의 콘텐츠를 액세스하거나 미디어 장치 상의 제어 명령들을 실행하는 단계, 및 미디어 장치에 의해 제공된 매체를 검출하고, HMD 상에서 검출된 매체와 관련된 콘텐츠의 디스플레이를 동기시키는 단계.
여기에서 언급되는 “이미지”라는 용어는 이차원적 이미지, 삼차원적 이미지, 비디오 프레임, 컴퓨터 파일 표현, 카메라로부터의 이미지, 비디오 프레임, 또는 그 조합을 포함할 수 있다. 예를 들어, 이미지는 기계 판독가능 디지털 파일, 물리적 사진, 디지털 사진, 모션 픽처 프레임, 비디오 프레임, 엑스레이 이미지, 스캐닝 이미지, 또는 이들의 조합일 수 있다. 이미지는 직사각 어레이로 정렬된 픽셀들로부터 생성될 수 있다. 이미지는 행 방향 x 축과 열 방향 y 축을 포함할 수 있다. “이미지”라는 용어는 정지 영상 또는 비디오 동영상을 나타낼 수 있으며, 비디오 동영상은 비디오 자체를 나타낸다. “이미지”라는 용어는 정지 영상(가령, 사진) 또는 비디오 외에도 디스플레이 상에 디스플레이 가능한 부분적이거나 전체적인 스크린 이미지를 포함할 수 있다. 또한, “이미지”라는 용어는 처음부터, 정지 영상(가령, 사진)이나 비디오 외에 사용자 인터페이스나 웹페이지와 같은 디스플레이 가능한 스크린 이미지 자체를 포함할 수도 있다.
일부 실시예들에서, 3D 표현을 마치 사용자와 동일한 공간에 있는 것처럼 투사할 수 있는 홀로그램 기술이 생성된다. 홀로그램 기술은 사용자가 착용하는 머리 탑재형 디스플레이(HMD)(도 3의 HMD(320))를 포함할 수 있다. HMD는 사용자 눈 위로 착용되는 투명 스크린 상으로 빛을 투사하여 홀로그램을 보여준다. 일부 실시예들에서, 홀로그램 기술은 대형 포맷(Large Format) 디스플레이(LFD)를 포함하는 디스플레이 기술(도 2의 TV 장치(250), 도 3의 TV 장치(310) 등)과 결합되어, HMD 및 TV를 동기시키고, 그 둘이 함께 작동되게 하여 사용자 경험을 확장시킨다.
일부 실시예들에서, 사용자들은 그들이 시청하는 콘텐츠가 있는 스크린을 기준으로 위치하는 홀로그램들을 보고 상호동작(인터랙션)할 수 있다. 사용자들은 스크린 상에서 훼손되지 않은 고해상도의 경험을 즐기면서 동시에 스크린 밖에서 홀로그램들을 볼 수도 있다. 사용자에게 디스플레이된 홀로그램들은 보여지는 스크린 상에 디스플레이되는, 영화, TV 쇼, 쇼핑 채널, 게임, 광고 등과 같은 콘텐츠를 보완하고 그와 동기된다.
도 1은 일부 실시예들에서, 오버레이(overlay) 개선 메커니즘을 가진 전자 시스템을 도시한다. 전자 시스템(50)은 클라이언트나 서버와 같은 제1장치(52)를 포함하며, 제1장치(52)는 클라이언트 장치나 서버와 같은 제2장치(56)에 연결된다. 제1장치(52)는 무선 또는 유선 네트워크와 같은 통신 경로(54)를 통해 제2장치(56)와 통신할 수 있다.
일 예에서, 제1장치(52)는 초고선명(UD) 텔레비전(UDTV), 4K TV, 8K TV, 태블릿 장치, 스마트 폰, PDA(personal digital assistant), 노트북 컴퓨터, 액정 디스플레이(LCD) 시스템, 착용형 장치, 모바일 컴퓨팅 장치, 프로젝션 장치와 같은 UD 4K(8K 등) 디스플레이 장치들, 다기능 디스플레이들 또는 엔터테인먼트 장치들과 같은 다양한 디스플레이 장치들 중 어느 하나에 대한 것일 수 있다. 제1장치(52)는 제2장치(56)와 통신하기 위해 통신 경로(54)에 직접적으로나 간접적으로 연결되거나, 자립형 장치일 수 있다.
예시적 목적으로, 디스플레이 시스템(50)은 제1장치(52)가 디스플레이 장치인 것으로 기술되지만, 제1장치(52)가 다른 다양한 유형의 장치일 수 있다는 것을 알아야 한다. 예를 들어, 제1장치(52)는 이미지들이나 멀티미디어 프레젠테이션을 제공하기 위한 장치일 수도 있다. 멀티미디어 프레젠테이션은 사운드, 스트리밍 이미지들의 시퀀스나 비디오 피드(feed), 또는 이들의 조합을 포함하는 프레젠테이션일 수 있다. 일 예로서, 제1장치(52)는 UDTV, 또는 다른 유형의 UD 디스플레이 장치(가령, 모니터, 비디오 패널, HUD, 스마트 전화기, 태블릿 장치, 비디오 장치, 게임 장치 등)일 수 있다.
제2장치(56)는 다양한 중앙집중형 또는 비중앙집중형 컴퓨팅 장치들, 이미지 또는 비디오 전송 장치들 중 어느 하나일 수 있다. 예를 들어, 제2장치(56)는 멀티미디어 컴퓨터, 태블릿, 랩탑 컴퓨터, 데스크탑 컴퓨터, 비디오 게임 콘솔, 그리드 컴퓨팅(grid-computing) 자원들, 가상화된 컴퓨터 자원, 클라우드 컴퓨팅 자원, 라우터들, 스위치들, 피어 투 피어(peer-to-peer) 분포된 컴퓨팅 장치들, 미디어 재생 장치, 디지털 비디오 디스크(DVD) 플레이어, 3차원 실행 DVD 플레이어, 카메라나 비디오 카메라같은 녹화 장치, 또는 이들의 조합일 수 있다. 다른 예에서, 제2장치(56)는 텔레비전 수신기, STB, 케이블 박스, 위성 안테나 수신기, 또는 웹 실행 장치와 같이 방송 신호나 라이브 스트림 신호를 수신하는 신호 수신기일 수 있다.
제2장치(56)는 단일 공간 내에서 중앙집중화되거나, 다양한 공간에 걸쳐 분산되거나, 다양한 지리적 위치들에 걸쳐 분산되거나, 원격통신망 내에 내장될 수 있다. 제2장치(56)는 통신 경로(54)와 연결하여 제1장치(52)와 통신하기 위한 수단을 포함할 수 있다.
예시적 목적으로, 전자 시스템(50)은 제2장치(56)가 컴퓨팅 장치인 것으로 기술되지만, 제2장치(56)가 다른 유형의 장치일 수 있다는 것을 알아야 한다. 또한 예시적 목적으로, 디스플레이 시스템(50)은 제2장치(56) 및 제1장치(52)가 통신 경로(54)의 엔드 포인트들인 것으로 보여지지만, 디스플레이 시스템(50)은 제1장치(52), 제2장치(56), 및 통신 경로(54) 사이에 다른 구분을 가질 수도 있다는 것을 알아야 한다. 예를 들어, 제1장치(52), 제2장치(56), 또는 이들의 조합이 통신 경로(54)의 일부로서 기능할 수도 있다.
통신 경로(54)는 다양한 네트워크들일 수 있다. 예를 들어, 통신 경로(54)는 무선 통신, 유선 통신, 광, 초음파, 또는 이들의 조합을 포함할 수 있다. 위성 통신, 셀룰라 통신, 블루투스, 적외선 데이터 연합 표준 통신 (IrDA), WiFi(wireless fidelity), 및 초고주파 액세스를 위한 전세계적 상호운용 통신(WiMAX)이 통신 경로(54)에 포함될 수 있는 무선 통신의 예들이다. 이더넷, 디지털 가입자 라인(DSL), 가정용 광 섬유(FTTH), 고선명 멀티미디어 인터페이스(HDMI) 케이블, 및 일반 구식 전화 서비스(POTS)가 통신 경로(54)에 포함될 수 있는 유선 통신의 예들이다.
또한, 통신 경로(54)는 다수의 네트워크 토폴로지들과 거리들을 지날 수 있다. 예를 들어, 통신 경로(54)는 직접 접속, 개인 영역 네트워크(PAN), 로컬 영역 네트워크(LAN), 대도시 영역 네트워크(MAN), 광역 네트워크(WAN), 또는 이들의 조합을 포함할 수 있다.
도 2는 일부 실시예들에 따른 시스템(200)의 상위 블록도를 도시한다. 일부 실시예들에서, 시스템(200)은 오버레이 개선(overlay enhancement) 프로세서(700)(가령, 집적 회로(IC), 하드웨어 회로, 멀티 코어 프로세서, ASIC(application specific IC), CPU, 하이브리드 장치 및 API(application programming interface) 등)를 사용하여 입력 노드(201)에서 (가령, 도 1의 통신 경로(54)로부터) 수신한 입력 소스(210)(또는 도 1의 장치(52 또는 56))로부터의 입력 비디오 이미지들을 처리하고, 출력 노드(240)에서 비디오 이미지들을 (가령, 통신 경로(54)로) 출력하고, 출력 소스(250)(또는 도 1의 장치(52)) 상에 그 이미지들을 디스플레이 할 수 있다. 일부 실시예들에서, 출력 소스(250)에 대한 디스플레이는 이미지나 멀티미디어 프레젠테이션들을 제공하기 위한 물리적 장치일 수 있다. 예를 들어, 디스플레이는 액정 디스플레이(LCD) 패널, 플라즈마 스크린, 프로젝션 스크린, 헤드 업 디스플레이(heads-up-display:HUD) 등을 포함하는 스크린일 수 있다. 다른 실시예들에서, 디스플레이는 객체(object) 또는 반사 장치 상에 투사될 수 있다.
일부 실시예들에서, 입력 비디오 이미지들이 무선으로나 유선 인터페이스(가령, 도 1의 통신 경로(54))를 통해 송/수신될 수 있는 입력 소스(210)로부터 제공될 수 있으며, 미압축/압축 비디오 콘텐츠를 포함할 수 있다. 일부 실시예들에서, 시스템(200) 내 비디오 이미징 콘텐츠의 유선 또는 무선 통신은 이더넷, 전화(가령, POTS), 케이블, 전력선, 및 광섬유 시스템들, 및/또는 CDMA나 CMDA2000(code division multiple access) 통신 시스템, FDMA(frequency division multiple access) 시스템, GSM/GPRS(General Packet Radio Service)/EDGE (enhanced data GSM environment)와 같은 TDMA(time division multiple access) 시스템, TETRA(Terrestrial Trunked Radio) 모바일 전화 시스템, a WCDMA(wideband code division multiple access) 시스템, 높은 데이터 레이트(1 x EV-DO(enhanced voice-data only) 또는 1 x EV-DO 골드 멀티캐스트(Gold Multicast) 시스템, IEEE 802.11x 시스템, DMB(Digital Multimedia Broadcasting) 시스템, OFDMA(orthogonal frequency division multiple access) 시스템, DVB-H(Digital Video Broadcasting-Handheld) 시스템 등 가운데 하나 이상을 포함하는 무선 시스템 중 하나 이상을 통한 통신을 포함할 수 있다.
일부 실시예들에서, 비디오 입력 소스(210)는 무선 네트워크(가령, 인터넷, LAN(local area network), WAN(wide-area network), PAN(personal area network), CAN(campus wireless network), MAN(metropolitan area network) 등, 예를 들어 도 1의 통신 경로(54))를 통해 전송될 수 있다. 입력 소스(210)는 클라우드 기반 시스템, 서버, 방송국, 비디오 장치/플레이어, 비디오 카메라, 모바일 장치 등으로부터 생성될 수 있다.
일부 실시예들에서, 입력 소스로부터 입력되는 비디오 이미지는 입력 노드(201)에 도달하기 전에 (가령, 디코더/인코더를 통해) 디코딩/인코딩될 수 있다. 출력 노드(240)에서 출력 소스(250)로 출력되는 비디오 이미지는 출력 노드(240)에 도달하기 전에 인코딩/디코딩될 수 있다. 일부 실시예들에서, 출력 소스(250)는 출력 모드(240)로부터 무선으로, 또는 유선 인터페이스를 통해 출력 이미지를 수신할 수 있다.
일부 실시예들에서, 입력 소스(210)로부터의 압축 비디오 이미지 콘텐츠가, 방송 컴퓨터 네트워크, DVD 또는 다른 컴퓨터 판독가능 저장 매체, 또는 어떤 다른 비디오 신호 소스로부터 아날로그 또는 디지털 비디오를 제공할 수 있다. 일 실시예에서, 입력 소스(210)로부터의 압축 비디오는 무선 주파수 인터페이스(ATSC 브로드캐스트 등), 컴퓨터 네트워크, 또는 컴포넌트 비디오 케이블, DVI 또는 HDMI 비디오 인터페이스 등과 같은 유무선 접속을 통해 수신기와 연결될 수 있다. 일 실시예에서, 입력 소스(210)로부터의 미압축 비디오 이미지는 비디오 카메라, 또는 어떤 적절한 비디오 인터페이스를 통해 수신기와 연결되는 디스크 드라이브와 같은 메모리 장치 중 하나 이상을 포함할 수 있다. 입력 소스(210)로부터의 미압축 비디오는 밝기 및 색상 형식, 적녹청 등과 같은 개별 컬러 세기, 또는 어떤 다른 적절한 포맷을 포함하는 아날로그 또는 디지털 형식으로 미압축 비디오를 제공할 수 있다.
일부 실시예들에서, 입력 소스(210)로부터 입력된 비디오 콘텐츠에 대한 디지털 비디오 포맷들은 다양한 프레임 레이트, 다양한 수의 픽셀 행들과 열들, 인터레이스(interlaced) 및 비인터레이스(non-interlaced) 등을 포함할 수 있다. 예를 들어, 영화는 통상적으로 24fps(frames per second: 초 당 프레임) 포맷으로 생성되고, NTS는 30 초 당 프레임이며 PAL은 초 당 25 프레임이다. 그 포맷은 인터레이스(interlaced) 또는 프로그레시브(progressive)일 수 있다. 예를 들어, (디지털 비디오 브로드캐스트 표준에 의해 지원되는 것과 같은) 고선명 포맷들이 출력 소스(250)의 디스플레이 장치의 포맷에 맞는 포맷으로 변경될 수 있다. 출력 소스(250)의 디스플레이 장치는 NTSC, PAL, ATSC, DVB/T 등을 수신하도록 구성되거나, 70Hz, 75Hz, 80Hz 등과 같은 프레임 레이트로 동작하는 디스플레이 장치일 수 있다.
일부 실시예들에서, 프로세서(가령, 도 2의 영상 처리 프로세서(700), 도 16의 프로세서(1601) 등)는 아래와 같은 동작을 수행할 수 있다. 일부 실시예들의 한 특징은 스크린 지향(screen-oriented) 홀로그램 사용자 인터페이스(UI) 경험을 포함한다. 홀로그램 UI는 디스플레이(TV, LFD 등)를 기준으로 위치되는 것으로 보여진다. 사용자가 HMD를 착용할 때, 사용자는 디스플레이 밖에 떠있는 것으로 나타나는 UI를 보게 된다. 홀로그램 UI는 사용자들에게 제스처나, 탭이나, 음성 명령들을 사용해 인터랙션하는 기능을 제공한다. 홀로그램들은 환경적 공간 안에서 검출된 디스플레이, 사용자, 또는 다른 객체들(가령, 커피 테이블 등)에 대해 투사될 수 있다. UI는 디스플레이의 크기에 따라 축소/확대될 수 있어, 디스플레이를 “둘러싸는” 효과의 UI를 제공할 수 있다.
일부 실시예들에서, 홀로그램들과의 인터랙션들이 디스플레이 장치에 영향을 줄 수 있다. 예를 들어, 홀로그램 메뉴 항목을 선택하면 디스플레이 상에서 어떤 애플리케이션을 시작할 수 있다. 사용자들은 그들이 안에 있는 환경적 공간(가령, 어떤 방 등) 전체를 사용하여 메뉴들을 보고, 보다 높은 해상도의 디스플레이 상에서 비디오 콘텐츠를 시청하는 능력을 보유할 수 있다. 일부 실시예들에서, UI는 어떤 액션을 수행하기 위해 선택될 수 있는 “타일(tile)들”이나 직사각형들의 형태로 표현되는 홀로그램들을 포함할 수 있다. 타일들과 같은 홀로그램들은 디스플레이가 보내는 데이터로부터 생성될 수 있다. 예를 들어, 디스플레이는 자신의 크기에 대한 정보를 보내, 홀로그램들이 디스플레이를 “둘러싸”게 할 수 있고, 혹은 디스플레이 상에서 이용 가능한 앱들이나 콘텐츠에 대한 정보를 보내, HMD에게 제공하여 사용자가 그러한 앱들을 열거나 콘텐츠를 재생할 수 있게 하는 홀로그램들을 생성하도록 할 수 있다. 홀로그램들은 시선주기(짧고 긴 시선), (손가락 제스처를 이용한) 태핑(두드림), 음성 명령 등과 같은 액션을 통해 인터랙션될 수 있다.
일부 실시예들에서, 디스플레이의 위치 검출이 증강 현실(AR) 추적을 이용해 수행된다. 홀로그램 UI가 디스플레이와 관련하여 위치하도록 하기 위해, HMD는 우선 디스플레이의 위치를 알아야 한다. 일부 실시예들에서, 디스플레이의 위치를 결정하는 일은 AR 추적을 이용하여 이루어질 수 있다. 디스플레이는 자체 스크린 상에 패턴을 보여줄 수 있고, 그 패턴은 HMD가 컴퓨터 비전을 이용하여 그것을 인식할 수 있게 하며, 실제 공간 상에서 그 위치를 판단하게 할 수 있다. 디스플레이의 위치를 판단하는 것 외에, HMD는 디스플레이의 차원을 판단하는데 필요한 정보를 또한 수신한다.
일부 실시예들에서, 오락(가령, 콘텐츠 비디오, 게임 등)용 콘텐츠 인지(content-aware) 홀로그램 애셋(asset) 삽입이 주어진다. 디스플레이와 HMD는 서로 통신하여, 3D 홀로그램 애셋들의 디스플레이를 비디오 및 다른 콘텐츠와 동기시킨다. 예들로는 콘텐츠 비디오가 포함될 수 있다. 예를 들어, 디스플레이 상에서 영화가 재생되기 시작한다. 영화 상의 소정 시간 인덱스들에서, 디스플레이는 HMD에게 영화의 장면들과 관련된 홀로그램들을 디스플레이하도록 지시하여, 사용자 몰입도를 높일 수 있다. 다른 예는 디스플레이 상에서 게임이 플레이되는 게임하기이다. 디스플레이는 HMD에게 게임 중에 벌어지고 있는 것과 관련된 효과들을 재생하도록 지시한다.
일부 실시예들에서, HMD의 홀로그램을 위해 3D 홀로그램 애셋 서버나 스토어(가령, 도 12의 3D 애셋 스토어(1250))를 이용하는 다이내믹 광고 삽입(DAI)이 제공된다. 전통적인 비디오 애플리케이션들에서, 사용자의 프로파일 데이터에 기반하여 목표로 하는 광고가 사용자에게 동적으로 제공되어 보여질 수 있다. 그러한 광고들은 통상적으로 2D 비디오 포맷으로 되어 있다. 일부 실시예들에서, 3D 홀로그램 애셋들을 이용하여, 광고와 함께 사용자 경험이 증진된다. 디스플레이와 HMD 둘 모두에 사용자의 프로파일 데이터가 주어질 때, 디스플레이와 HMD는 광고를 검색하여 사용자의 가상 환경 안에 홀로그램 애셋의 형식으로 렌더링하도록 협업한다. 예를 들어, 레드불(RED BULL) 광고가 TV 스크린 상에 보여지고 있는 동안 사용자의 HMD 디스플레이에 주변을 날아다니는 3D 홀로그램 광고 객체들(가령, 레드불 비행기)을 동적으로 삽입하는 것이다(가령, 도 10 참조).
일부 실시예들에서, 디스플레이 및 HMD는 홀로그램 애셋들을 애셋 풀(pool)/스토어에서 동적으로 빼내온다. DAI는 선형, 생방송, 또는 VOD(video on demand) 콘텐츠를 통해 사용 가능하다. 온라인 구매를 가능하게 하는 3D 홀로그램 제품 배치가 제안된다(가령, 도 10에서처럼 홀로그램 레드불 음료가 TV 앞의 커피 테이블 위에 놓여진다). 사용자는 집으로 배달되도록 온라인을 통해 구매하기 위해 레드불 음료와 인터랙션할 수 있다. 이러한 사용자 인터랙션은, 사용자에게 광고를 보다 효과적으로 만들려는 의도가 있는 홀로그램 애셋(holographic asset)을 볼 때 몰입되는 경험을 제공한다. 일 예에서, 콘텐츠 비디오가 시각적 디스플레이 상에 재생되고 있다. 어떤 시점에서, 시각적 디스플레이는 HMD에게 콘텐츠 비디오와 관련된 홀로그램의 형식으로 동적 광고들을 삽입하도록 지시할 것이다. 그런 다음 홀로그램들은 디스플레이 상의 비디오와 동기된다.
일부 실시예들에서, 홀로그램 애셋 삽입은 전자 상거래 쇼핑 경험을 위해 제공된다. 전통적인 쇼핑 경험 상, 판매 가능한 제품들, 체험들, 서비스들 등은 텍스트, 이미지, 및 비디오의 형식으로 소비자들에게 보여진다. 그러한 쇼핑 경험은 홀로그램 애셋들을 사용하여 증진될 수 있으며, 홀로그램은 사용자들이, 보다 정밀한 느낌을 주는 가상 공간 내에서 제품, 체험, 서비스 등을 경험할 수 있게 한다. HMD의 가상 환경에서 사용자들은, 제품, 체험, 서비스 등의 3D 가상 표현을 시각화 및/또는 제어하기 위해 실제의 물리적 공간 안에서 걸어 다닐 수 있다. 그 의도는 사용자에게 구매 전에 보다 나은 이해를 주기 위한 것이다. 디스플레이 및 HMD는 홀로그램 애셋들을 애셋 풀/스토어에서 빼내온다. 비용처리는 전자 상거래(가령, 삼성 페이(Samsung Pay))를 이용하여 디스플레이나 HMD 장치에서 이루어질 수 있다. 사용자가 디스플레이와 인터랙션 하는 동안, 제품들이 스크린 상이나 비디오로 보여질 수 있다. 디스플레이는 스크린 상에 보여지고 있는 제품들에 대하여 HMD와 통신하고, HMD는 디스플레이 상에 보여지고 있는 것에 관한 홀로그램들을 투사하여, 사용자가 제품들과 인터랙션하고 제품들을 구매할 수 있게 한다. 일 예에서, 사용자는 디스플레이와 인터랙션하고 HMD 장치를 이용한다. 구매될 옵션을 가진 사용자의 가상 환경 안에 홀로그램 애셋이 삽입된다. 사용자는 축소/확장된 제품, 체험, 서비스 등을 시각화하고, 둘러보고, 인터랙션할 수 있다. 사용자는 제품, 체험, 서비스 등을 구매할 수 있다. 구매될 수 있는 항목들의 예들에는, 비한정적으로, 일반 제품들, 소비자 가전들, 가전 제품들, 음악, 식품, 자동차, 패션, 가구, 여행지들, 로컬 서비스들 등이 포함된다.
일부 실시예들에서, 홀로그램 환경 내에 가상의 아바타들을 사용하는 소셜 TV 플랫폼이 제공된다. 소셜 TV 플랫폼을 사용하여, 사용자들은 동일한 실제 물리적 공간 내에 있지 않고도 비디오 콘텐츠를 시청하고 서로 통신할 수 있다. 그 목적은 오늘날의 TV 디스플레이를 둘러싼 사회적 경험을 증진시키는 데 있다. 각각의 사용자는 동일한 비디오 콘텐츠를 보기 위해 “가상 룸”에 입회할 수 있을 것이다. 동일한 비디오 콘텐츠가 각각의 사용자의 디스플레이 장치 상에 동시에 디스플레이된다. 주어진 “가상 룸” 안에서 사용자들은 비디오 콘텐츠를 제어할 수 있다. 각각의 사용자는 “가상의 아바타”로서 표현될 수 있다. 가상의 아바타는 사용자에 대한 가상 표현이다. “가상 룸” 안의 사용자들은 자신들의 가상 아바타 디자인을 통해 서로를 고유하게 식별할 수 있다. HMD 장치 상에 센서들(가령, 가속계, 자이로스코프, 나침반 등)이 주어질 때, 가상의 아바타는 사용자의 머리 움직임을 모방하여, 사용자가 보고 있는 방향에 대한 현실적인 표현을 제공할 수 있다. “가상 룸” 안의 사용자들은 음성을 통해 서로 통신할 수 있으며, 옵션으로서 가상의 아바타에서 입의 움직임(mouth animation)을 일으킬 수 있다. 소셜 TV 플랫폼 내의 사용자들은 “친구 리스트”를 통해 서로를 추가/삭제할 수 있다. 가상의 아바타들은 디스플레이 장치(가령, TV 등)를 기준으로 위치할 수 있다.
일부 실시예들에서, 홀로그램 앱 및 애셋 스토어에 대한 혼합 현실(MR) 에코시스템이 제공된다. MR 에코시스템은 HMD(도 3의 HMD(320), 도 12의 HMD 장치(1220)), TV 또는 미디어 장치(가령, 도 2의 TV 장치(250), 도 3의 TV 장치(310), 도 12의 미디어 장치(1210), 홀로그램 앱 스토어, 및 홀로그램 3D 애셋 스토어(가령, 도 12의 3D 애셋 스토어(1250)로 구성될 수 있다.
일부 실시예들에서, TV 및 HMD 플랫폼들에 대한 애플리케이션 소프트웨어 개발자들, 3D 홀로그램 애셋 개발자들, (DAI 시나리오들에 대한) 공개자들, 및 TV 시청자들과 같이 에코시스템과 인터랙션하는 여러 개체들이 존재한다. 한 앱 개발자는 TV 및 미디어 장치를 위한 TV 웹 애플리케이션을 구축하여, 그 TV 웹 애플리케이션을 TV 앱 스토어로 제출한다. 한 앱 개발자는 HMD를 위한 UI 애플리케이션들을 구축하여 그 컴패니언(companion) 앱을 홀로그램 앱 스토어로 제출한다. 홀로그램 앱들은 홀로그램 앱 스토어에서 HMD 장치로 다운로드될 수 있다. 홀로그램 앱들은 애플리케이션의 일부로서 홀로그램 클라이언트 소프트웨어 라이브러리를 가진다. TV 측 홀로그램 클라이언트 소프트웨어 앱 또는 모듈이 TV 펌웨어의 일부로서 존재한다. 홀로그램 3D 애셋 서버는 전세계적으로 3D 홀로그램 애셋 개발자들에 의해 개발된 콘텐츠 비디오에 대한 다양한 (단위) 애셋 번들들을 포함하는 CDN Http 서버일 수 있다. 공개자는 콘텐츠 재생 도중 언제 3D 홀로그램 객체들을 동적으로 삽입/렌더링할지를 결정할 수 있다.
일부 실시예들에서, 홀로그램 앱 및 애셋 스토어에 대한 비즈니스 모델이 대중적인 음악 앱 스토어가 그러는 것과 유사하게 홀로그램 3D 애셋 스토어를 생성하여, 앱 개발자들이 자신들의 앱들에 대한 보기 경험을 증진시키도록 하는 창의적인 효과들을 가진 홀로그램 객체들을 구매할 수 있게 한다. 새 애셋 스토어 시스템은 어떤 3D 홀로그램 애셋 개발자라도 자신들의 애셋들을 홀로그램 앱들에 대해 생성, 제출, 판매하도록 한다.
도 3은 일부 실시예들에 따른 예시적 텔레비전(TV) 장치(310) 및 HMD(320) 탐색 및 페어링(pairing)을 도시한다.
일부 실시예들에서, HMD(320)는 TV 장치(310)의 존재에 대해 습득한 후 그것에 연결해야 한다.
일 실시예에서, 장치 탐색은 단순한 서비스 탐색 프로토콜(service discovery protocol)을 이용할 수 있으나, mDNS 및 다른 서비스들을 통해서도 행해질 수 있다. 그런 다음 HMD(320)는 TV 장치(310)에 연결하고 그와 네트워킹해야 한다. 이것을 장치 페어링이라 부른다. 페어링은 WiFi를 통해 수행될 수 있다. HMD(320) 및 TV 장치(310) 사이에 양방향 통신(305)이 가능하다. 이때 HMD(320)는 TV 장치(310)로, 자신이 공간 안에서 TV 장치(310)의 위치를 탐색하려고 시도 중임을 시그날링한다. 그러면 TV 장치(310)가 자체 스크린 상에, HMD(320)가 컴퓨터 비전을 통해 인식할 수 있는 패턴(가령, QR 코드, 정적이거나 동적인 패턴 등)을 디스플레이한다. HMD는 패턴을 인식하고, 공간 내 TV 장치(310)의 위치를 습득한다. 이때, HMD(320)가 TV 장치(310)의 디스플레이를 기준으로 위치되는 홀로그램 UI를 생성하는 것이 가능하다.
HMD(320)는 명령을 전송하거나 TV 장치(310)의 상태에 대한 정보를 가져오기 위해 TV 장치(310)에 대한 자체 연결을 활용할 수 있다. 예를 들어, 홀로그램 제어기가 TV 장치(310) UI(가령, 삼성 스마트 TV 내 스마트 허브(Smart Hub) UI)와 밀접하게 합해져서, 탐색, 포커싱, 콘텐츠 선택 등을 처리할 수 있다. 홀로그램 제어기는 엄격한 메시징 프로토콜을 따르면서 TV 장치(310) 및 MR 장치들 사이의 메시지들을 관리한다: 메시지들은 원격 앱 런칭(launching), 원격 게임 런칭, 볼륨 제어, 비디오 제어(가령, 재생, 일지 정지, 정지, 앞으로 가기 및 뒤로 가기), TV 장치(310) UI 로부터의 콘텐츠 선택, 동기화된 탐색, 채널 제어 등과 같은 다양한 기능을 제공할 것이다.
TV 장치(310)는 또한 명령들을 HMD(32)로 보낸다. 일 예로서, TV 장치(310)는 자체 스크린 상에서 영화를 재생하고 있을 수 있다. TV 장치(310)는 영화 콘텐츠와 함께 삽입될 홀로그램들을 기술하는, 재생되고 있는 영화에 대한 메타데이터를 판독한다. 이러한 메타데이터로 인해, TV 장치(310)는 영화에서 소정 장면들 또는 사건들이 몇 시에 일어나는지를 알게 된다. 적절한 시점에 TV 장치(310)는 HMD(320)에게 홀로그램 애셋들의 로딩 및 캐싱(caching)을 시작하도록 시그날링한다. 마지막으로, TV 장치(310)는 HMD(320)에게, TV 장치(310)상의 비디오와 동기된 홀로그램 애셋들을 재생하도록 시그날링할 수 있다.
일부 실시예들에서, 홀로그램 앱은 SSDP 프로토콜을 사용하여 로컬 네트워크 상에서 TV 장치(310)를 탐색한다. 홀로그램 앱은 TV 장치(310)에 대한 연결을 설정하고 그와 페어링한다. TV 장치(310)는 새 홀로그램 앱 연결을 인식하고 페어링 앱을 연다. 페어링 앱은 TV 장치(310) 상에 이미지를 보여준다. 홀로그램 앱은 그 이미지를 인식하고, 3D 공간 내 TV 장치(310)의 위치를 판단한다. ARToolkit 라이브러리(증강 현실 애플리케이션들을 구축하기 위한 소프트웨어 라이브러리)를 사용하여, 홀로그램 앱은 이미지/패턴 인식을 이용해 TV 장치(310) 페어링 앱이 스크린 상에 디스플레이하는 이미지를 스캐닝한다. 패턴이 스캐닝되면, 홀로그램 앱은 사용자의 방 안에서 TV 장치(310)의 위치를 인지하게 된다. 이때 홀로그램 앱은 자체 앵커(anchor) 스토어의 내부에 TV 장치(310)의 위치를 저장하고, 홀로그램 앱이 런칭될 때마다 그 정보를 사용한다.
도 4는 일부 실시예들에 따른 MR 프레임워크 페어링 흐름도(400)를 도시한다.
흐름도(400)는 TV 장치(가령, 도 3의 TV 장치(310)) 및 HMD(가령, 도 3의 HMD(320)) 사이에서의 장치 탐색 및 페어링 프로세스를 기술한다. 홀로그램 앱 헬퍼(helper)(가령, HoloEden Helper(410)) 및 서버(420) 둘 모두와 페어링 앱(가령, 페어링 앱(430))은 TV 장치 상의 소프트웨어이고, 홀로그램 클라이언트(가령, HoloTVClient 라이브러리(440)), 홀로그램 MR 앱(가령, HoloEden MR 앱(450)) 및 SEAL 클라이언트(460)는 HMD 장치 상에서 실행되는 소프트웨어이다.
도 5는 일부 실시예들에 따른 예시적 홀로그램 앱 UI(520)를 도시한다. 예시적 UI 메뉴 홀로그램들은 HoloLens 앱에 의해 생성된다. HoloLens 앱은 애플리케이션 프로그래밍 인터페이스(API)(가령, Eden API)를 사용하여 TV 메터데이터 정보에 접근하기 위해 네트워크를 통해 TV 장치(310)와 통신한다. 예를 들어, 홀로그램 앱은 TV 장치(310) 상에 설치된 앱들의 리스트, 영화 애셋들, 제목 등을 획득한다. AR 추적 및 디스플레이가 자신에 대한 정보(예를 들어, 자신의 스크린 사이즈)를 전송하는 것의 결과들에 대한 조합은, 홀로그램들이 TV 장치(310) 주변에서의 홀로그램 디스플레이를 위해 생성될 수 있게 한다. 홀로그램들은 TV 장치(310) 옆에 위치하여, 디스플레이를 “둘러싸는” UI 효과를 만들 수 있다. UI가 디스플레이 상에서 이용 가능한 앱들(520)과 콘텐츠(가령, 추천된 미디어(510))를 보여준다는 것을 알아야 한다. 홀로그램 제목들과의 인터랙션은 디스플레이 상에서 콘텐츠 재생이 일어나게 할 수 있다. 홀로그램 투사 장치(가령, 도 3의 HMD 장치(320) 상에서 룸 센싱 기술을 활용함으로써 가상 원격 제어, 음성 제어, 및 기타 룸 안의 테이블 위에 위치되는 다른 아이콘들을 포함하는 설정 및 제어(530)를 위한 홀로그램들 또한 만들어지는 것이 가능하다.
일부 실시예들에서, 추천 미디어(510)가 상부 패널로서 보여져서, 뷰어 트렌드에 기반하는 제안들을 제공한다. 홀로그램 앱들(520)은 스크린 아래의 메뉴 안에 나타나는 사용자 앱들과 게임들을 포함한다. 선택된 앱이 사용자에게 가장 적합한 TV 장치(310)의 어느 쪽에나 나타날 것이다. 광고(가령, 타일(Tile) 광고) 기회들이 왼쪽에 나타난다. 설정 및 제어(530)는 이러한 패널들로부터 액세스되는 설정들, 소스, 음성 명령 및 가상 리모컨을 포함한다.
도 6은 일부 실시예들에 따른 가상 TV UI 패널을 도시한다.
홀로그램 네비게이션 및 런칭 앱(holographic navigate and launch app)(610)은 응시를 통해 네비게이션을 수행하고, (가령, 손가락 제스처를 이용한) 선택에 대한 태핑(두드림)이 해당 애플리케이션을 불러올 것이다. 홀로그램 페이지네이션(pagenation)(620)은 사용자들이 미디어 라이브러리 사이를 진행해 나아가게 한다. 가상 탭들(630)의 홀로그램은 타이머 아이콘이 애니메이션될 때까지 사용자들이 그 탭들을 응시함으로써 TV 쇼들, 영화들 및 추천 미디어들(510) 사이를 전환하게 한다. 미디어 선택(640)에 대한 홀로그램은 응시를 통한 네비게이션을 가능하게 하며, 선택사항을 태핑하여 미리보기 패널을 불러온다.
도 7은 일부 실시예들에 따른 가상 미리보기 패널(710)을 도시한다. 미리보기 패널(710)은 자동으로 시작된다. 액션 개시(calls to action)(720)를 위한 홀로그램은 사용자들이 정보 부분을 확장하거나, 구매 행위를 하거나 미리보기 패널을 닫도록 태핑하는 것을 가능하게 한다.
도 8은 일부 실시예들에 따른 예시적 영화(movie) 이벤트 홀로그램 디스플레이를 도시한다. 홀로그램 가상 이벤트(810)는 영화의 주요 순간에, TV 장치(310)의 스크린 밖에서 가상 이벤트들이 일어날 수 있게 하며, 더 나아가 인터랙션 할 수 있게 한다. 여기서 사용자는 HMD 장치(310)(도 3)를 사용하여, 예를 들어 우주선들을 포격할 수 있다. 이 예에서, 미디어 모드 중에, 홀로그램 패널들(가령, 페이지네이션(620))은 사용자에게 숨겨지게 된다(숨은 패널들(820)). 영화를 닫으면 이전에 디스플레이되던 패널들이 나타날 것이다. 미디어 플레이어(830)를 위한 홀로그램은 투명 미디어 바(transparent media bar)로서 나타나고, 미디어 시간 및 옵션들을 디스플레이한다. 일부 실시예들에서, 미디어 플레이어(830)는 사용자가 그것을 응시하면 완전히 불투명하게 된다.
도 9는 일부 실시예들에 따른 홀로그램 객체 삽입 처리에 대한 블록도(900)를 도시한다.
좌측에는 TV 앱 프로세싱(910)이 도시되어 있고, 우측에는 MR 앱(920) 프로세싱이 도시되어 있다. 일부 실시예들에서, TV 앱(910)은 URL을 포함하는 콘텐츠 비디오 메타데이터를 홀로그램 서술(holographic description) JSON으로 읽어온다. MR 장치(가령, 도 3의 HMD(320))는 홀로그램 서술 URL을 로딩하도록 지시받는다. 그러면 MR 앱(920)이 홀로그램 서술 메타파일 JSON을 스케줄 상으로 분석(파싱)하여 애셋 번들(asset bundle)들을 로딩한다.
MR 앱(920)은 콘텐츠 시작 수 초 내에 재생되는 것으로 예상되는 장면들의 프리로딩(preloading)을 시작한다. MR 앱(920)은 TV 장치(가령, 도 3의 TV 장치(310))에게, 프리로딩이 준비되었다고 시그날링한다. TV 앱(910)은 콘텐츠의 재생을 시작하고 계속해서 재생 헤드(paly head) 데이터를 MR 장치로 전송한다. MR 앱(920)은 메타파일 JSON에 따라 홀로그램 장면들을 재생한다.
도 10은 일부 실시예들에 따른 가상 세계 환경에서의 동적 광고 삽입의 예를 도시한다.
광고 중 주요순간에, 스크린 밖에서 가상 이벤트들이 일어날 수 있고, 심지어 인터랙션될 수도 있다. 홀로그램 가상 이벤트(1010)는 TV 장치(310)의 디스플레이 밖에서, 해당 룸의 환경 주변을 날아다니는 레드불 비행기를 보여준다. 광고와 영화에서 디스플레이되는 제품들이 사용자의 환경 안에 배치되고, 홀로그램 가상 제품 배치(1020)로서 보여진다. 이 예에서, 가상 제품 배치(1020)는 TV 장치(310) 앞의 테이블 위에 놓여진 레드불 캔을 포함한다.
도 11은 일부 실시예들에 따른 스마트 TV(TV 장치(310)) 및 UI의 일 예를 도시한다.
이 예에서, 홀로그램 추천 미디어(510), 제어 및 설정(530), 앱들(520) 및 콘텐츠 선택(1110)이 (도 3의 HMD(320)를 통해) 도시된다. 보이는 바와 같이, 홀로그램 디스플레이들의 모음은 TV 장치(310)가 그러한 UI들을 보여주지 않아도 되게 하고, 다양한 UI들에 대한 가변적 배치 및 크기를 가능하게 한다.
도 12는 일부 실시예들에 따른 예시적 시스템 레이아웃에 대한 블록도를 도시한다.
시스템은 미디어 장치(1210)(가령, TV 장치, 스크린 장치, 모니터 등), HMD 장치(1220)(가령, 도 3의 HMD 장치(320)와 유사), 외부 서버(1230), 소셜 플랫폼 동기화 서버(1240) 및 3D 애셋 스토어(1250)을 포함한다.
일부 실시예들에서, 미디어 장치(1210)는 미디어 장치 제어 서버, 광고 프레임워크, HMD 통신(comms), 페어링 앱 및 콘텐츠 재생 앱을 포함할 수 있다. 미디어 장치 제어 서버는 일부 미디어 장치 기능들에 대한 제어를 제공한다. 광고 프레임워크는 사전에 존재하는 동적 광고 삽입 프레임워크일 수 있으며, 그것은 홀로그램 콘텐츠 로딩을 위해 메타데이터 파일 판독을 다루도록 확장된다. HMD comms는 HMD 장치(1220) 및 미디어 장치(1210) 사이에 메시지들을 보내고 받는 통신 프로토콜 피어 클라이언트(communication protocol peer client)이다. 페어링 앱은 미디어 장치(1210)에 대한 정보를 읽고, 그 미디어 장치(1210)의 물리적 위치를 정확히 알려주기 위해 HMD 장치(1220)를 위해 마커(marker)를 표시해 준다. 콘텐츠 재생 앱은 3D 콘텐츠의 동기를 위해 메타데이터 파일들을 읽고, 동기화된 광고 재생을 위해 광고 프레임워크를 포함시키는 주문제작(custom) 비디오 재생 애플리케이션이다. 미디어 장치(1210)는 HMD 장치(1220)로부터/로의 3D 애셋 로딩/언로딩을 요청하고, 외부 서버(1230)로부터 VAST(video ad serving template) 및 VMAP(video multiple ad playlist)를 요청하며, 외부 서버(1230)로부터 콘텐츠를 요청한다.
일부 실시예들에서, HMD 장치(1220)는 미디어 장치 제어 클라이언트, HMD 미디어 장치 UI 및 HMD comms을 포함할 수 있다. 일 실시예에서, 미디어 장치 제어 클라이언트는 미디어 장치(1210)로부터의 메시지들에 주의를 기울이는 HMD 장치(1220) 측 미디어 장치 통신 클라이언트이다. HMD 미디어 장치 UI는 미디어 장치(1210) UI를 사용자의 물리적 공간 안으로 확장시키는 3D GUI(graphical user interface)이다. 사용자는 HMD 장치(1220)를 사용할 때 HMD 미디어 장치 UI와 물리적으로 인터랙션 한다. HMD 장치(1220)는 TV(미디어 장치(1210))를 찾아, TV로 명령들을 보내고, TV로부터 정보(가령, 메타데이터)를 요청한다. HMD 장치(1220)는 외부 서버(1230)로부터 3D 애셋을 요청한다.
일부 실시예들에서, 외부 서버(1230)는 광고 서버 및 콘텐츠 서버를 포함할 수 있다. 광고 서버는 미디어 장치(1210)로 광고들을 제공할 때 3D 광고를 위한 메타데이터를 포함한다. 콘텐츠 서버는 비디오/오디오 콘텐츠를 호스팅하는 서버이다.
일부 실시예들에서, 3D 애셋 스토어(1250)는 콘텐츠 생성자들과 공개자들이 3D 콘텐츠를 홍보하고 공유하게 하는 비즈니스 에코시스템일 수 있다. 3D 애셋 스토어는 사용자들, 광고업자들, 공개자들에 의해 소비될 수 있다.
일부 실시예들에서, 소셜 플랫폼 동기 서버(1240)가 사용자 그룹 활동들의 동기화를 다룬다.
일부 실시예들에서, 홀로그램들은 HMD 장치(1220)로부터 투사되지 않을 수 있고, 대신 룸 안이나 사용자나, 심지어 스크린 자체에 포함된 별개의 장치가 있을 수 있다. 콘텐츠 동기 양태 및 공간 내 디스플레이의 위치에 대한 습득은 HMD 장치(1220)에서와 유사하다. 스크린 및 홀로그램 투사 장치는 인터넷, 블루투스, 또는 WiFi가 아닌 다른 통신 기술을 통해 서로 동기될 수 있다.
도 13은 일부 실시예들에 따라, 미디어 장치들과 투사 아바타들을 각각의 공간에서 동기시킴으로써 보기 경험을 공유하는 것을 보이는 예시도를 도시한다. 이 예에서는 3 대의 TV 장치들(1310, 1320 및 1330)이 존재하고, 그 각각은 가상 아바타들(아바타들(1340, 1341, 및 1342)을 가지는 각각의 뷰어들을 가진다.
소셜 플랫폼 동기 서버(1240)를 이용하는 소셜 TV 플랫폼을 이용하여, 사용자들은 그들 각자의 TV 장치 상에서 비디오 콘텐츠를 시청하면서 동일한 실제상의 물리적 공간 내에 있지 않아도 서로와 통신할 수 있다. 각각의 사용자는 TV 장치들(1310, 1320 및 1330)에 대해 동기된 동일한 비디오 콘텐츠를 보기 위해 “가상의 룸”에서 만난다. 주어진 “가상 룸” 안에서 각각의 사용자들은 비디오 콘텐츠를 제어한다. “가상 룸” 안의 사용자들은 자신들의 가상 아바타 디자인을 통해 서로를 고유하게 식별할 수 있다. 각각의 사용자는 머리의 움직임과 착용자의 위치를 추적하는 센서들(가령, 가속계, 자이로스코프, 나침반 등)을 포함하는 각자의 HMD 장치(가령, 도 3의 HMD 장치(320), 도 12의 HMD 장치(1220))를 착용한다. 가상 아바타들(1340, 1341, 및 1342)은 사용자가 응시하고 있는 각각의 방향을 마주하는 곳에서 사용자의 머리의 움직임을 묘사한다. “가상 룸” 안의 각각의 사용자들은 다른 사용자들과 듣고 말할 수 있다. 소셜 TV 플랫폼 내의 사용자들은 “친구 리스트”를 통해 서로를 추가/삭제할 수 있다. 가상의 아바타들은 디스플레이 장치(가령, TV 등)를 기준으로 위치할 수 있다.
도 14는 일부 실시예들에 따라 3D 공간 내 거리 및 위치에 대한 정밀 판단을 제공하기 위한 동시적인 시각적 입력 및 네트워크 통신의 사용을 도시한다.
일 예에서, TV 장치(1410)는 콘텐츠(1430)을 포함하고, TYV 장치(1420) 또한 콘텐츠(1430)를 포함한다. 일부 실시예들에서, 디스플레이의 위치 검출이 AR 추적을 이용해 수행된다. 일부 실시예들에서, 디스플레이의 위치를 결정하는 일은 AR 추적을 이용하여 이루어질 수 있다. HMD(가령 도 3의 HMD(320), 도 12의 HMD 장치(1220))는 컴퓨터 비전을 이용하여 콘텐츠(1430)를 인식하고, 현실 공간 안에서 그 위치를 판단한다. 디스플레이의 위치를 판단하는 것 외에, HMD는 디스플레이의 차원을 판단하는데 필요한 정보를 또한 수신한다. 각각의 TV 장치(1410 및 1420)에 대한 HMD 장치들은 디스플레이 크기, 위치 및 콘텐츠 위치에 기반하여 디스플레이 할 홀로그램들의 크기 및 모양을 결정할 수 있다.
도 15는 일부 실시예들에 따라 MR 설정된 HMD를 별도의 미디어 장치에 맞춰 조정하여, 동기화된 사용자 경험을 가능하게 하는 프로세스(1500)의 블록도를 도시한다.
일 실시예의 블록 1510에서, 프로세스(1500)는 HMD(가령, 도 3의 HMD(320), 도 12의 HMD(1220)) 및 미디어 장치(가령, 도 3의 TV 장치(310), 도 12의 미디어 장치(1210)) 사이에 통신 채널을 설정하는 것을 포함한다. 블록 1520에서, 프로세스(1500)는 HMD에 의해 디스플레이되는 인터페이스(가령, 홀로그램 UI)에 기반하여, 통신 채널을 통해 미디어 장치 상의 콘텐츠에 액세스하거나 미디어 장치 상의 제어 명령들을 실행하는 것을 포함한다. 블록 1530에서, 프로세스(1500)는 통신 채널을 통해, 미디어 장치에 의해 제공되는 미디어(가령, 미디어/비디오/오디오 콘텐츠)의 검출, 및 HMD 상에서 검출된 미디어와 관련된 콘텐츠(가령, 홀로그램 콘텐츠)의 디스플레이 동기를 수행할 수 있다.
일부 실시예들에서, 프로세스(1500)를 위해 미디어 장치는 디스플레이 장치이거나 오디오 장치가 된다. HMD는 미디어 장치와 관련된 홀로그램 UI를 디스플레이 한다. 홀로그램 UI는 미디어 장치 상의 애플리케이션들(가령, 선택/실행을 위한 앱들의 UI)을 액세스하거나, 미디어 장치 상의 다른 콘텐츠(가령, 영화들, 제안된 콘텐츠 등)를 액세스하거나, 미디어 장치의 설정(가령, 원격 제어 타입 선택사항들)을 제어하거나 미디어 장치 상의 설정들(가령, 소스, 마이크로폰 등과 같은 TV 설정들)을 수정하는 것 중 적어도 하나를 위해 선택 가능한 UI 요소들(가령, 타일들, 페이지들 등)을 포함한다.
일부 실시예들에서, 프로세스(1500)는 미디어 장치에 의해 제공되는 미디어 콘텐츠(가령, 광고, 영화 등)에 기반하고 그와 관련하여 홀로그램 애셋(가령, 룸 환경 안에서 보여지는 홀로그램으로 된 날으는 비행기)을 동적으로 생성하는 것을 더 포함할 수 있다. 프로세스(1500)는 또한, 미디어 장치에 의해 제공되는 미디어 콘텐츠가 HMD 상의 홀로그램 애셋의 디스플레이와 동기되는 것을 포함할 수 있다.
일부 실시예들의 프로세스(1500)에 있어서, 홀로그램 애셋들을 관리하는 홀로그램 애셋 스토어(가령, 도 12의 3D 애셋 스토어(1250))로부터 홀로그램 애셋이 검색된다. 홀로그램 애셋들은 HMD가 미디어 장치 상의 콘텐츠를 보고 있는 동안 HMD로 판매되고 로딩될 수 있다.
일부 실시예들의 프로세스(1500)에 있어서, HMD가 미디어 장치 상의 콘텐츠를 보고 있는 동안 홀로그램 애셋을 로딩하기 위한 타이밍이, 홀로그램 애셋과 관련된 제3자가 제공하는 메타데이터에 의해 특정된다. 미디어 장치는 HMD에게 지시하여 메타데이터에 의해 특정된 타이밍에 기반하여 홀로그램 애셋을 로딩하도록 한다.
일부 실시예들의 프로세스(1500)에 있어서, 홀로그램 애셋은 HMD를 통해 미디어 장치에 의해 일어난 이벤트 상으로 동적으로 삽입되는 인터랙티브(interactive) 광고일 수 있다. 홀로그램 애셋은 사용자 프로파일 데이터에 기반하여 홀로그램 애셋 스토어로부터 검색되고 선택된다.
일부 실시예들의 프로세스(1500)에 있어서, 미디어 장치에 의해 유발되는 홀로그램 애셋은 홀로그램 애셋과의 인터랙션을 제공함으로써 전자 상거래 쇼핑 경험을 증진시키는데 사용된다. HMD를 통한 홀로그램 애셋과의 인터랙션 검출에 따라, 홀로그램 애셋과 관련된 트랜잭션을 도울 액션을 실행하기 위한 옵션이 제공된다.
일부 실시예들에서, 프로세스(1500)는 HMD 사용자와의 능동적 통신 세션에 개입하고 있는 다른 사용자들의 HMD를 이용한 하나 이상의 홀로그램 아바타들을 제공하는 것을 더 포함할 수 있다. 사용자들의 적어도 일부는 물리적으로 먼 위치(즉, 서로 다른 물리적 위치)에 있고, 각자의 HMD들과 미디어 장치들을 이용한 능동적 세션에 참여한다. 홀로그램 아바타들은 공간적으로 특정 미디어 장치를 기준으로 위치하며, 미디어 콘텐츠는 능동적 통신 세션 중에 각각의 미디어 장치에 의해 제공되기 위해 동기된다.
일부 실시예들에서, 프로세스(1500)는 미디어 장치의 위치, 방위 및 크기 중 하나 이상에 대한 정보에 기반하여, HMD에 의해 디스플레이되는 UI 요소들을 미디어 장치와 공간적으로 정렬하는 것을 더 포함할 수 있다. 공간적 정렬은, 미디어 장치 상에 미디어 장치의 위치 및 방위에 대한 정보를 제공하는 이미지를 디스플레이하고, 미디어 장치로부터 통신 채널을 통해 미디어 장치에 대한 크기 정보를 수신하는 것을 포함한다.
도 16은 개시된 실시예들을 구현하는데 사용되는 컴퓨터 시스템(1600)을 포함하는 정보 처리 시스템을 도시한 상위 블록도이다.
컴퓨터 시스템(1600)은 도 1의 장치(52)나 도 2의 장치들(210 또는 250), 도 12의 미디어 장치(1210), HMD 장치(1220)에 포함될 수 있다. 컴퓨터 시스템(1600)은 하나 이상의 프로세서들(1601)(가령 도 2의 프로세서(들)(700))을 포함하며, (비디오, 그래픽, 텍스트 및 기타 데이터를 디스플레이 하기 위한) 전자적 디스플레이 장치(1602), 메인 메모리(1603)(가령, RAM(random access memory)), 저장 장치(1604)(가령, 하드 디스크 드라이브), 착탈가능 저장 장치(1605)(가령, 착탈가능 저장 드라이브, 착탈가능 메모리 모듈, 자기 테이프 드라이브, 광 디스크 드라이브, 컴퓨터 소프트웨어 및/또는 데이터를 안에 저장하는 컴퓨터 판독가능 매체), 사용자 인터페이스 장치(1606)(가령, 키보드, 터치 스크린, 키패드, 포인팅 장치), 및 통신 인터페이스(1607)(가령, 모뎀, (이더넷 카드 같은) 네트워크 인터페이스, 통신 포트, 또는 PCMCIA 슬롯 및 카드)를 더 포함할 수 있다. 통신 인터페이스(1607)는 컴퓨터 시스템 및 외부 장치들 사이에서 (가령, 통신 경로(도 1의 54)를 통해) 소프트웨어 및 데이터가 전송될 수 있게 한다. 시스템(1600)은 상술한 장치들/모듈들(1601 내지 1607)이 연결되는 통신 인프라(1608)(가령, 통신 버스, 크로스오버 바, 또는 네트워크)를 더 포함한다.
통신 인터페이스(1607)를 통해 전송되는 정보는 신호를 운반하는 통신 링크를 통해 통신 인터페이스(1607)가 수신할 수 있는 전자 신호, 전자기 신호, 광 신호, 또는 기타 신호들의 형태일 수 있으며, 유선 또는 케이블, 광섬유, 전화선, 휴대폰 링크, 무선 주파수(RF) 링크 및/또는 기타 통신 채널들을 이용하여 구현될 수 있다. 이 명세서 내 블록도 및/또는 흐름도들을 나타내는 컴퓨터 프로그램 명령어들은 컴퓨터, 프로그래머블 데이터 처리 장치, 또는 처리 장치들 상으로 로딩되어, 그 위에서 수행되는 일련의 동작들이 컴퓨터 구현 프로세스를 생성하도록 할 수 있다.
일부 실시예들에서, 도 2의 프로세서(700)에 대한 프로세싱 명령어들은 프로세서(1601)에 의해 실행되도록 메모리(1603), 저장 장치(1604), 및 착탈가능 저장 장치(1605) 상의 프로그램 명령어들로서 저장될 수 있다.
실시예들은 방법, 장치(시스템) 및 컴퓨터 프로그램 제품들의 흐름도들 및/또는 블록도들을 참조하여 기술되었다. 그러한 예시도/도면들에 대한 각각의 블록, 또는 이들의 조합들은 컴퓨터 프로그램 명령어들에 의해 구현될 수 있다. 컴퓨터 프로그램 명령어들은 프로세서에 의해 제공될 때, 프로세서를 통해 실행되는 명령어들이 상기 흐름도 및/또는 블록도에 특정된 기능들/동작들을 구현하기 위한 수단들을 생성하도록 하는 머신을 생성한다. 흐름도/블록도들 내 각각의 블록은 하드웨어 및/또는 소프트웨어 모듈이나 로직을 나타낼 수 있다. 다른 구현예들에서, 블록들 내에 표기된 기능들은 도면에 표시된 순서와 다르게, 동시 발생적으로나, 다른 식으로 일어날 수 있다.
"컴퓨터 프로그램 매체", "컴퓨터 사용가능 매체", "컴퓨터 판독가능 매체", 및 "컴퓨터 프로그램 제품"이라는 용어들은 일반적으로, 주 메모리, 이차 메모리, 착탈가능 저장 드라이브, 하드 디스크 드라이브에 설치되는 하드 디스크와 같은 매체 및 신호들을 의미하는 것으로 사용된다. 이러한 컴퓨터 프로그램 제품들은 컴퓨터 시스템으로 소프트웨어를 제공하기 위한 수단들이다. 컴퓨터 판독가능 매체는 컴퓨터 시스템이 컴퓨터 판독가능 매체로부터 데이터, 명령어들, 메시지들 또는 메시지 패킷들, 및 다른 컴퓨터 판독가능 정보를 판독 가능하게 한다. 예컨대 컴퓨터 판독가능 매체는 플로피 디스크, ROM, 플래시 메모리, 디스크 드라이브 메모리, CD-ROM, 및 다른 영구 저장부와 같은 비휘발성 메모리를 포함할 수 있다. 그것은 예컨대, 컴퓨터 시스템들 간 데이터 및 컴퓨터 명령어들과 같은 정보를 전송하는데 유용하다. 컴퓨터 프로그램 명령어들은 컴퓨터, 기타 프로그래머블 데이터 프로세싱 장치, 또는 기타 전자 기기들이 특정 방식으로 기능하게 할 수 있는 컴퓨터 판독가능 매체에 저장되어, 컴퓨터 판독가능 매체에 저장된 명령어들이 흐름도 및/또는 블록도의 블록이나 블록들에서 특정된 기능/행위를 구현하는 명령어들을 포함하는 제조품을 생성하도록 한다.
당업자가 예상할 수 있듯이, 상기 실시예들의 양태들은 시스템, 방법 또는 컴퓨터 프로그램 제품으로 구현될 수 있다. 따라서, 상기 실시예들의 양태들은 전적으로 하드웨어 실시예, 또는 전적으로 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로 코드 등을 포함), 또는 여기서 모두가 “회로”, “모듈” 또는 “시스템”이라 일반적으로 칭해질 수 있는 소프트웨어 및 하드웨어 양태들을 조합한 실시예의 형태를 취할 수 있다.또한, 상기 실시예들의 양태들은 컴퓨터 판독가능 프로그램 코드가 구현되어 있는 하나 이상의 컴퓨터 판독가능 매체(들)에 수록되는 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
하나 이상의 컴퓨터 판독가능 매체(들)의 임의의 조합이 사용될 수 있다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체일 수 있다. 컴퓨터 판독가능 저장 매체는 예컨대, 비한정적인 것으로서, 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 기기, 또는 상술한 것의 어떤 적절한 조합일 수 있다. 컴퓨터 판독가능 저장 매체의 보다 구체적인 예들은 다음과 같은 것을 포함할 수 있을 것이다: 하나 이상의 유선을 가진 전기적 접속, 휴대형 컴퓨터 디스켓, RAM(random access memory), ROM(read-only memory), EPROM(erasable programmable read-only memory) 또는 플래시 메모리, 광 섬유, 휴대형 CD-ROM(compact disc read-only memory), 광학적 저장 장치, 자기 저장 장치, 또는 상술한 것의 어떤 적절한 조합. 이 문서와 관련하여 컴퓨터 판독가능 저장 매체는 명령어 실행 시스템, 장치 또는 기기에 의하거나 그와 관련하여 사용할 프로그램을 포함/저장할 수 있는 어떤 유형의(tangible) 매체일 수 있다.
하나 이상의 실시예들의 양태들을 위한 동작들을 실행하기 위한 컴퓨터 프로그램 코드는 자바, Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 프로그래밍 언어 또는 그와 유사한 프로그래밍 언어와 같은 통상의 절차 프로그래밍 언어들을 포함하는 하나 이상의 프로그래밍 언어들의 어떤 조합으로 작성될 수 있다. 프로그램 코드는 사용자 컴퓨터 상에서 전체가, 혹은 사용자 컴퓨터 상에서 일부가, 혹은 단독형 소프트웨어 패키지로서, 혹은 사용자 컴퓨터 상에서 일부와 원격 컴퓨터 상에서 일부가, 또는 원격 컴퓨터나 서버 상에서 전체가 실행될 수 있다. 후자의 경우, 원격 컴퓨터는 LAN(local area network) 또는 WAN(wide area network)를 포함하는 어떤 타입의 네트워크를 통해 사용자 컴퓨터에 접속될 수 있고, 또는 (예컨대 인터넷 서비스 제공자를 이용하여 인터넷을 통해) 외부 전자 기기로의 접속이 이루어질 수 있다.
하나 이상의 실시예들의 양태들이 방법들, 장치(시스템들), 및 컴퓨터 프로그램 제품들의 흐름도들 및/또는 블록도들을 참조하여 위에서 설명되었다. 흐름도들 및/또는 블록도들의 각각의 블록, 및 흐름도들 및/또는 블록도들의 블록들의 조합들이 컴퓨터 프로그램 명령어들에 의해 구현될 수 있다. 이러한 컴퓨터 프로그램 명령어들은 머신을 생성하기 위해 특수용 컴퓨터 또는 다른 프로그래머블 데이터 프로세싱 장치의 프로세서로 제공되어, 컴퓨터나 기타 프로그래머블 데이터 프로세싱 장치의 프로세서를 통해 실행되는 명령어들이 흐름도 및/또는 블록도의 블록이나 블록들에서 특정된 기능들/행위들을 구현하기 위한 수단을 생성하도록 할 수 있다.
이러한 컴퓨터 프로그램 명령어들은 컴퓨터, 기타 프로그래머블 데이터 프로세싱 장치, 또는 기타 전자 기기들이 특정 방식으로 기능하게 할 수 있는 컴퓨터 판독가능 매체에 저장되어, 컴퓨터 판독가능 매체에 저장된 명령어들이 흐름도 및/또는 블록도의 블록이나 블록들에서 특정된 기능/행위를 구현하는 명령어들을 포함하는 제조품을 생성하도록 한다.
컴퓨터 프로그램 명령어들은 또한 컴퓨터, 기타 프로그래머블 데이터 프로세싱 장치, 또는 기타 장치 상에 로드되어 컴퓨터나 기타 프로그래머블 장치나 기타 장치 상에서 수행될 일련의 동작 단계들이 컴퓨터 구현 프로세스를 생성하도록 함으로써, 상기 명령어들이 컴퓨터나 기타 프로그래머블 장치 상에서 실행시 흐름도 및/또는 블록도의 블록이나 블록들에서 특정된 기능/행위를 구현하기 위한 프로세스들을 제공하도록 한다.
도면의 흐름도 및 블록도들은 다양한 실시예들에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현예들의 구조, 기능, 및 동작을 예시한다. 이와 관련하여 흐름도나 블록도들의 각각의 블록은 특정된 논리적 기능(들)을 구현하기 위한 하나 이상의 실행가능 명령어들을 포함하는 모듈, 세그먼트, 또는 명령어들의 일부를 나타낼 수 있다. 다른 일부 대안적 구현예들에서, 블록들 내에 표기된 동작들은 도면에 표시된 순서와 다르게 일어날 수 있다. 예를 들어 관련된 기능에 따라, 연속으로 보여진 두 개의 블록들이 사실상 실질적으로 동시발생적으로 실행되거나, 블록들이 종종 반대의 순서로 실행될 수 있다. 블록도들 및/또는 흐름도의 각각의 블록 및 블록도들 및/또는 흐름도의 블록들의 조합이 특정 기능들이나 행위들을 수행하거나 특수용 하드웨어 및 컴퓨터 명령어들의 조합을 실행하는 특수용 하드웨어 기반 시스템들에 의해 구현될 수 있다는 것 역시 알아야 한다.
청구범위에서 단수의 구성요소에 대한 언급은 명백히 그렇게 기술된 것이 아니라면 “유일한” 것을 의미하기 보다는 “하나 이상을” 의미하도록 의도된다.당업자에게 현재 알려져 있거나 추후 알려지게 될 상술한 예시적 실시예들의 구성요소들에 대한 모든 구조적이고 기능적인 균등물들이 본 청구범위에 의해 포괄되도록 되어 있다. "~하는 수단” 또는 “~의 단계”라는 표현을 이용하여 명시적으로 기술되지 않는 한 미국 특허법 제112조, 6번째 문단의 조항 하에서 어떤 청구 요소도 유추되어서는 안된다.-
여기에 사용되는 용어는 특정 실시예들을 설명하기 위한 목적만을 위한 것으로 본 발명을 한정한다고 해석되지 않는다. 여기 사용된 바와 같이, 단수형은 관련 문맥이 명백히 다른 것을 지시하지 않는 한 복수형을 포함하는 것으로 의도된다. 본 명세서에서, “포함하다” 또는 “가지다”등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.
이하의 청구범위에 있는 모든 수단이나 단계에 더한 기능 요소들의 해당 구조, 물질, 동작 및 그 균등물은 구체적으로 청구된 다른 청구 요소들과 결합하여 해당 기능을 수행하기 위한 임의의 구조, 물질, 또는 동작을 포함하도록 되어 있다. 실시예들의 내용은 예시 및 설명의 목적으로 제시되었으며, 개시된 형식의 해당 실시예들에만 유일하거나 한정되는 것이어서는 안된다. 발명의 범위 및 개념에서 벗어나지 않고 여러 수정 및 변형이 있을 수 있다는 것을 당업자라면 자명하게 알 수 있을 것이다.
실시예들은 소정 버전을 참조하여 기술되었지만, 다른 버전들도 가능하다. 따라서, 첨부된 청구항들의 사상 및 범위가 이 명세서에 포함된 바람직한 버전들에 대한 설명에 국한되어서는 안될 것이다.
Claims (15)
- 혼합 현실(mixed-reality:MR)이 설정된 머리 탑재형 디스플레이(HMD)를 별도의 미디어 장치와 조화시켜 동시적 사용자 경험(synchronized user experience)을 가능하게 하는 방법으로서,
상기 HMD 및 상기 미디어 장치 사이에 통신 채널을 설정하는 단계;
상기 통신 채널을 통해,
상기 HMD에 의해 디스플레이되는 인터페이스에 기반하여 상기 미디어 장치 상의 콘텐츠에 접근하거나 상기 미디어 장치 상의 제어 명령들을 실행하고;
상기 미디어 장치에 의해 제공되는 미디어를 검출하고, 상기 HMD 상에서 상기 검출된 미디어와 관련된 콘텐츠의 디스플레이를 동기시키는 것 중 적어도 하나를 수행하는 단계를 포함하는 방법. - 제1항에 있어서,
상기 미디어 장치는 디스플레이 장치 또는 오디오 장치이고,
상기 HMD는 상기 미디어 장치와 관련된 홀로그램 사용자 인터페이스(UI)를 디스플레이하고, 상기 홀로그램 UI는 상기 미디어 장치 상의 애플리케이션들을 액세스하거나, 상기 미디어 장치 상의 다른 콘텐츠를 액세스하거나, 상기 미디어 장치의 설정들을 제어하거나 상기 미디어 장치 상의 설정들을 변경하는 것 중 적어도 하나를 위해 선택 가능한 UI 요소들을 포함하는 방법. - 제1항에 있어서,
상기 미디어 장치에 의해 제공되는 미디어 컨텐츠에 기반하고 그 미디어 컨텐츠와 관련된 홀로그램 애셋을 동적으로 생성하는 단계; 및
상기 미디어 장치에 의해 제공되는 상기 미디어 콘텐츠를 상기 HMD 상의 홀로그램 애셋의 디스플레이와 동기시키는 단계를 더 포함하는 방법. - 제3항에 있어서, 상기 홀로그램 애셋은 홀로그램 애셋들을 관리하는 홀로그램 애셋 스토어로부터 검색되고, 상기 홀로그램 애셋들은 상기 HMD가 상기 미디어 장치 상의 콘텐츠를 보는 동안 상기 HMD로 판매 및 로딩되는 방법.
- 제3항에 있어서, 상기 HMD가 상기 미디어 장치 상의 콘텐츠를 보는 동안 상기 홀로그램 애셋을 로딩하기 위한 타이밍은 상기 홀로그램 애셋과 관련된 제3자가 제공하는 메타데이터에 의해 특정되고, 상기 미디어 장치는 상기 HMD에게 상기 메타데이터에 의해 특정된 타이밍에 기반하여 상기 홀로그램 애셋을 로딩하도록 지시하는 방법.
- 제3항에 있어서, 상기 홀로그램 애셋은 상기 HMD를 통해, 상기 미디어 장치에 의해 발생된 이벤트 상에 동적으로 삽입되는 인터랙티브(interactive) 광고이고, 상기 홀로그램 애셋은 홀로그램 애셋 스토어로부터 검색되어 사용자 프로파일 데이터에 기반하여 선택되는 방법.
- 제6항에 있어서, 상기 미디어 장치에 의해 유발되는 홀로그램 애셋은 상기 홀로그램 애셋과의 인터랙션을 제공함으로써 전자 상거래 쇼핑 경험을 증진시키기 위해 사용되고, 상기 HMD를 통한 상기 홀로그램 애셋과의 인터랙션 검출에 따라, 상기 홀로그램 애셋과 관련된 트랜잭션을 돕는 액션을 실행하기 위한 옵션이 제공되는 방법.
- 제1항에 있어서,
상기 HMD의 사용자와의 능동적 통신 세션에 개입하고 있는 다른 사용자들의 HMD를 이용한 하나 이상의 홀로그램 아바타들을 제공하는 단계를 더 포함하고, 상기 사용자들의 적어도 일부는 물리적으로 떨어진 위치에 있고, 각자의 HMD들과 미디어 장치들을 이용하여 능동적 세션에 참여하고, 상기 홀로그램 아바타들은 특정 미디어 장치에 대해 공간적으로 위치하며, 미디어 콘텐츠는 상기 능동적 통신 세션 중에 각각의 미디어 장치에 의해 제공되기 위해 동기되는 방법. - 제1항에 있어서, 상기 미디어 장치의 위치, 방위 및 크기 중 하나 이상에 대한 정보에 기반하여, 상기 HMD에 의해 디스플레이되는 UI 요소들을 상기 미디어 장치와 공간적으로 정렬하는 단계를 더 포함하고, 상기 공간적 정렬은
상기 미디어 장치의 위치 및 방위에 대한 정보를 제공하는 이미지를 상기 미디어 장치 상에 디스플레이하는 것; 및
상기 미디어 장치로부터 상기 통신 채널을 통해, 상기 미디어 장치에 대한 크기 정보를 수신하는 것을 포함하는 방법. - 장치로서,
명령어들을 저장하는 메모리; 및
혼합 현실(MR) 머리 탑재형 디스플레이(HMD) 및 미디어 장치 사이에 통신 채널을 설정하고;
상기 통신 채널을 통해,
상기 HMD에 의해 디스플레이되는 인터페이스에 기반하여 상기 미디어 장치 상의 콘텐츠에 접근하거나 상기 미디어 장치 상의 제어 명령들을 실행하고;
상기 미디어 장치에 의해 제공되는 미디어를 검출하고, 상기 HMD 상에서 상기 검출된 미디어와 관련된 콘텐츠의 디스플레이를 동기시키는 것 중 적어도 하나를 수행하도록 구성된 프로세스를 포함하는 명령어들을 실행하는 적어도 하나의 프로세서를 포함하는 장치. - 제10항에 있어서,
상기 미디어 장치는 디스플레이 장치또는 오디오 장치이고,
상기 HMD는 상기 미디어 장치와 관련된 홀로그램 사용자 인터페이스(UI)를 디스플레이하고, 상기 홀로그램 UI는 상기 미디어 장치 상의 애플리케이션들을 액세스하거나, 상기 미디어 장치 상의 다른 콘텐츠를 액세스하거나, 상기 미디어 장치의 설정들을 제어하거나 상기 미디어 장치 상의 설정들을 변경하는 것 중 적어도 하나를 위해 선택가능한 UI 요소들을 포함하는 장치. - 제10항에 있어서,
상기 프로세서는
상기 미디어 장치에 의해 제공되는 미디어 컨텐츠에 기반하고 그 미디어 컨텐츠와 관련된 홀로그램 애셋을 동적으로 생성하고;
상기 미디어 장치에 의해 제공되는 상기 미디어 콘텐츠를 상기 HMD 상의 홀로그램 애셋의 디스플레이와 동기시키도록 더 구성되고,
상기 홀로그램 애셋은 홀로그램 애셋들을 관리하는 홀로그램 애셋 스토어로부터 검색되고,
상기 홀로그램 애셋들은 HMD가 상기 미디어 장치 상의 콘텐츠를 보는 동안 상기 HMD로 판매 및 로딩되고,
상기 HMD가 상기 미디어 장치 상의 콘텐츠를 보는 동안 홀로그램 애셋을 로딩하기 위한 타이밍은, 상기 홀로그램 애셋과 관련된 제3자가 제공하는 메타데이터에 의해 특정되고,
상기 미디어 장치는 상기 HMD에게 상기 메타데이터에 의해 특정된 타이밍에 기반하여 상기 홀로그램 애셋을 로딩하도록 지시하는 장치. - 제10항에 있어서,
상기 프로세서는, 상기 HMD의 사용자와의 능동적 통신 세션에 개입하고 있는 다른 사용자들의 HMD를 이용한 하나 이상의 홀로그램 아바타들을 제공하도록 더 구성되고,
상기 사용자들의 적어도 일부는 물리적으로 떨어진 위치에 있고, 각자의 HMD들과 미디어 장치들을 이용하여 능동적 세션에 참여하고,
상기 홀로그램 아바타들은 특정 미디어 장치에 대해 공간적으로 위치되며,
상기 능동적 통신 세션 중에 각각의 미디어 장치에 의헤 제공되기 위해 미디어 콘텐츠가 동기되는 장치. - 제10항에 있어서,
상기 프로세서는
상기 미디어 장치의 위치, 방위 및 크기 중 하나 이상에 대한 정보에 기반하여, 상기 HMD에 의해 디스플레이되는 UI 요소들을 상기 미디어 장치와 공간적으로 정렬하도록 더 구성되고,
공간적 정렬은
상기 미디어 장치의 위치 및 방위에 대한 정보를 제공하는 이미지를 상기 미디어 장치 상에 디스플레이하는 것; 및
상기 미디어 장치로부터 상기 통신 채널을 통해, 상기 미디어 장치에 대한 크기 정보를 수신하는 것을 포함하는 장치. - 프로그램 코드가 저장된 컴퓨터 판독가능 저장 매체를 구비한 컴퓨터 프로그램 제품으로서, 상기 프로그램 코드는 프로세서에 의해 실행되어 제1항 내지 제9항 중 어느 한 항의 방법을 수행하는 컴퓨터 프로그램 제품.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762539808P | 2017-08-01 | 2017-08-01 | |
| US62/539,808 | 2017-08-01 | ||
| US16/006,669 | 2018-06-12 | ||
| US16/006,669 US10803832B2 (en) | 2017-08-01 | 2018-06-12 | Synchronizing holographic displays and 3D objects with physical video panels |
| PCT/KR2018/008610 WO2019027202A1 (en) | 2017-08-01 | 2018-07-30 | SYNCHRONIZATION OF HOLOGRAPHIC DISPLAYS AND 3D OBJECTS WITH PHYSICAL VIDEO PANELS |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200026959A true KR20200026959A (ko) | 2020-03-11 |
Family
ID=65231751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207003451A KR20200026959A (ko) | 2017-08-01 | 2018-07-30 | 홀로그램 디스플레이 및 3d 객체들과 물리적 비디오 패널의 동기화 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10803832B2 (ko) |
| EP (1) | EP3639125A4 (ko) |
| KR (1) | KR20200026959A (ko) |
| CN (1) | CN110998505B (ko) |
| WO (1) | WO2019027202A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210133058A (ko) * | 2020-04-28 | 2021-11-05 | 주식회사 드론오렌지 | 6dof 온라인 멀티 플레이어 vr 관광체험 시스템 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10890992B2 (en) * | 2019-03-14 | 2021-01-12 | Ebay Inc. | Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces |
| US11150788B2 (en) * | 2019-03-14 | 2021-10-19 | Ebay Inc. | Augmented or virtual reality (AR/VR) companion device techniques |
| US11212514B2 (en) | 2019-03-25 | 2021-12-28 | Light Field Lab, Inc. | Light field display system for cinemas |
| US11468611B1 (en) * | 2019-05-16 | 2022-10-11 | Apple Inc. | Method and device for supplementing a virtual environment |
| CN114303105A (zh) * | 2019-08-09 | 2022-04-08 | 光场实验室公司 | 基于光场显示系统的数字标牌系统 |
| US11210856B2 (en) | 2019-08-20 | 2021-12-28 | The Calany Holding S. À R.L. | System and method for interaction-level based telemetry and tracking within digital realities |
| EP4025963A4 (en) * | 2019-09-03 | 2023-08-30 | Light Field Lab, Inc. | LIGHT FIELD DISPLAY FOR MOBILE DEVICES |
| US11227444B2 (en) * | 2020-03-09 | 2022-01-18 | International Business Machines Corporation | Virtual reality content adaptation |
| US11402964B1 (en) | 2021-02-08 | 2022-08-02 | Facebook Technologies, Llc | Integrating artificial reality and other computing devices |
| US20220292543A1 (en) * | 2021-03-09 | 2022-09-15 | Alexandra Valentina Henderson | Pop-up retial franchising and complex econmic system |
| WO2024040430A1 (en) * | 2022-08-23 | 2024-02-29 | Qualcomm Incorporated | Method and apparatus to extend field of view of an augmented reality device |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US7881901B2 (en) * | 2007-09-18 | 2011-02-01 | Gefemer Research Acquisitions, Llc | Method and apparatus for holographic user interface communication |
| US20100017821A1 (en) * | 2008-07-21 | 2010-01-21 | Leonov Andrei A | Software based Internet/Television convergence methods and systems for organizing and displaying Internet media content on computers and Television sets |
| JP2012005191A (ja) | 2010-06-15 | 2012-01-05 | Denso Corp | 電力変換装置 |
| US8576276B2 (en) * | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
| JP5391224B2 (ja) * | 2011-03-28 | 2014-01-15 | 日本電信電話株式会社 | 映像付加情報表示制御装置およびその動作方法 |
| US20130297460A1 (en) | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for facilitating transactions of a physical product or real life service via an augmented reality environment |
| US9035955B2 (en) | 2012-05-16 | 2015-05-19 | Microsoft Technology Licensing, Llc | Synchronizing virtual actor's performances to a speaker's voice |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| KR101991133B1 (ko) * | 2012-11-20 | 2019-06-19 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 헤드 마운트 디스플레이 및 그 제어 방법 |
| US9030495B2 (en) | 2012-11-21 | 2015-05-12 | Microsoft Technology Licensing, Llc | Augmented reality help |
| US20140160157A1 (en) * | 2012-12-11 | 2014-06-12 | Adam G. Poulos | People-triggered holographic reminders |
| US9443354B2 (en) * | 2013-04-29 | 2016-09-13 | Microsoft Technology Licensing, Llc | Mixed reality interactions |
| KR102081934B1 (ko) | 2013-08-28 | 2020-02-26 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 디바이스 및 그 제어 방법 |
| KR20150046832A (ko) | 2013-10-23 | 2015-05-04 | 엘지전자 주식회사 | Tv 및 단말기와 그 동작 방법 |
| CN103593111A (zh) * | 2013-11-14 | 2014-02-19 | 三星电子（中国）研发中心 | 一种移动终端屏幕共享的方法和移动终端 |
| US20150145653A1 (en) | 2013-11-25 | 2015-05-28 | Invensense, Inc. | Device control using a wearable device |
| KR102294945B1 (ko) * | 2014-06-11 | 2021-08-30 | 삼성전자주식회사 | 기능 제어 방법 및 그 전자 장치 |
| US20150379770A1 (en) | 2014-06-27 | 2015-12-31 | David C. Haley, JR. | Digital action in response to object interaction |
| US9858720B2 (en) | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
| EP3096517A1 (en) | 2015-05-22 | 2016-11-23 | TP Vision Holding B.V. | Wearable smart glasses |
| US9898865B2 (en) | 2015-06-22 | 2018-02-20 | Microsoft Technology Licensing, Llc | System and method for spawning drawing surfaces |
| US9740011B2 (en) | 2015-08-19 | 2017-08-22 | Microsoft Technology Licensing, Llc | Mapping input to hologram or two-dimensional display |
| US9952656B2 (en) * | 2015-08-21 | 2018-04-24 | Microsoft Technology Licensing, Llc | Portable holographic user interface for an interactive 3D environment |
| US10976808B2 (en) * | 2015-11-17 | 2021-04-13 | Samsung Electronics Co., Ltd. | Body position sensitive virtual reality |
| US10304247B2 (en) * | 2015-12-09 | 2019-05-28 | Microsoft Technology Licensing, Llc | Third party holographic portal |
| WO2017106072A2 (en) | 2015-12-17 | 2017-06-22 | Technicolor Usa, Inc. | Personalized presentation enhancement using augmented reality |
| JP6126271B1 (ja) | 2016-05-17 | 2017-05-10 | 株式会社コロプラ | 仮想空間を提供する方法、プログラム及び記録媒体 |
| WO2018035133A1 (en) * | 2016-08-17 | 2018-02-22 | Vid Scale, Inc. | Secondary content insertion in 360-degree video |
-
2018
- 2018-06-12 US US16/006,669 patent/US10803832B2/en active Active
- 2018-07-30 WO PCT/KR2018/008610 patent/WO2019027202A1/en unknown
- 2018-07-30 CN CN201880050590.5A patent/CN110998505B/zh active Active
- 2018-07-30 KR KR1020207003451A patent/KR20200026959A/ko not_active Application Discontinuation
- 2018-07-30 EP EP18841737.2A patent/EP3639125A4/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210133058A (ko) * | 2020-04-28 | 2021-11-05 | 주식회사 드론오렌지 | 6dof 온라인 멀티 플레이어 vr 관광체험 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110998505B (zh) | 2024-04-12 |
| EP3639125A1 (en) | 2020-04-22 |
| CN110998505A (zh) | 2020-04-10 |
| EP3639125A4 (en) | 2020-06-24 |
| US10803832B2 (en) | 2020-10-13 |
| US20190043447A1 (en) | 2019-02-07 |
| WO2019027202A1 (en) | 2019-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10803832B2 (en) | Synchronizing holographic displays and 3D objects with physical video panels | |
| CN110636324B (zh) | 界面显示方法、装置、计算机设备及存储介质 | |
| US11856271B2 (en) | Symbiotic interactive video | |
| CN105430455B (zh) | 信息呈现方法及系统 | |
| US20170201808A1 (en) | System and method of broadcast ar layer | |
| US9210361B2 (en) | Video display system | |
| US20150089372A1 (en) | Method of user interaction for showing and interacting with friend statsu on timeline | |
| JP7407929B2 (ja) | 情報再生方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器 | |
| JP7048595B2 (ja) | ビデオコンテンツの同期の方法および装置 | |
| Zoric et al. | Panoramic video: design challenges and implications for content interaction | |
| CN102859486A (zh) | 缩放显示导航 | |
| WO2013145033A1 (ja) | 映像表示装置、映像表示方法、及びプログラム | |
| US11425466B2 (en) | Data transmission method and device | |
| CN107852531A (zh) | 显示装置及其控制方法 | |
| CN113596553A (zh) | 一种视频播放方法、装置、计算机设备和存储介质 | |
| US20140267434A1 (en) | Display system with extended display mechanism and method of operation thereof | |
| KR20210095160A (ko) | 내비게이션 가능한 가상 공간에서 렌더링되는 3차원 디스플레이 대상들을 통하여 2차원 콘텐츠의 표현을 통한 사용자 인터페이스를 제공하도록 구성되는 기술 | |
| CN112399264B (zh) | 一种放映厅业务管理方法及应用 | |
| CN112399263A (zh) | 一种互动方法、显示设备及移动终端 | |
| CN109754275B (zh) | 数据对象信息提供方法、装置及电子设备 | |
| Bassbouss et al. | Interactive 360° video and storytelling tool | |
| US20210051355A1 (en) | Video performance rendering modification based on device rotation metric | |
| KR20150048961A (ko) | 핫 씬 서비스 시스템, 핫 씬 서비스 방법 및 이를 위한 장치 | |
| US20240098331A1 (en) | Universal live streaming with interaction | |
| EP3389049B1 (en) | Enabling third parties to add effects to an application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E601 | Decision to refuse application | ||
| E601 | Decision to refuse application | ||
| E801 | Decision on dismissal of amendment |