KR20200113031A - 계층화된 증강 엔터테인먼트 경험 - Google Patents
계층화된 증강 엔터테인먼트 경험 Download PDFInfo
- Publication number
- KR20200113031A KR20200113031A KR1020207027477A KR20207027477A KR20200113031A KR 20200113031 A KR20200113031 A KR 20200113031A KR 1020207027477 A KR1020207027477 A KR 1020207027477A KR 20207027477 A KR20207027477 A KR 20207027477A KR 20200113031 A KR20200113031 A KR 20200113031A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- display
- cinema
- layer
- spatial
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title description 38
- 230000000007 visual effect Effects 0.000 claims abstract description 231
- 239000010410 layer Substances 0.000 claims description 185
- 239000002356 single layer Substances 0.000 claims description 100
- 238000000034 method Methods 0.000 claims description 67
- 230000009466 transformation Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 5
- 230000000712 assembly Effects 0.000 claims description 3
- 238000000429 assembly Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000009877 rendering Methods 0.000 abstract description 40
- 238000009826 distribution Methods 0.000 description 31
- 238000004891 communication Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 18
- 230000033001 locomotion Effects 0.000 description 15
- 238000013459 approach Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000004308 accommodation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001886 ciliary effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000004240 ciliary body Anatomy 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
하나 이상의 다중-뷰 비계층화된 이미지에 나타나는 3차원(3D) 이미지 공간 내의 시각적 객체의 공간 장소를 기술하는 공간 정보가 액세스된다. 공간 정보를 기초로, 시네마 이미지 계층 및 하나 이상의 디바이스 이미지 계층은 하나 이상의 다중-뷰 비계층화된 이미지로부터 생성된다. 시네마 이미지 계층 및 디바이스 이미지 계층을 포함하는 다중-계층 다중-뷰 비디오 신호는 렌더링을 위한 다운스트림 디바이스로 전송된다.
Description
연관된 출원에 대한 상호 참조
본 출원은 2017년 4월 11일에 출원된 미국 가출원 제62/484,121호에 대한 우선권의 이익을 주장하며, 이는 그 전체가 본원에 참조로 통합된다.
기술분야
본 발명은 일반적으로 3차원(3D) 엔터테인먼트 경험에, 특히 계층화된 증강 3D 엔터테인먼트 경험(layered augmented 3D entertainment experiences)에 관한 것이다.
인간의 두뇌는 실세계 장면에서 실세계 객체를 볼 때, 두 눈에서 동공(pupils) 뒤에 있는 눈 렌즈(eye lenses) 각각을 일정한 초점 거리(또는 초점력)로 적응시켜 실세계 객체에 초점을 맞추도록 섬모체근(ciliary muscle)을 제어하는 원근조절 과정(accommodation process)을 사용한다. 동시에, 인간의 두뇌는 3D 객체로서 실세계(real-world) 객체의 인지를 지원하기 위해, 두 눈을 실세계 객체 쪽으로 동시에 수렴하거나(converge) 또는 발산하도록(diverge) 외안근(extraocular muscles)을 제어하는 수렴 과정(vergence process)을 사용한다.
비교를 위해, 인간의 두뇌는 3D 이미지 내에 표현된(depicted) 객체를 볼 때, 3D 이미지 내에 표현된 객체가 어디에 위치될 것으로 추측되는지에 관계 없이, 디스플레이 상에서 렌더링되는 3D 이미지의 클리어 비전(clear vision)을 지원하기 위해, 뷰어(viewer)의 눈의 눈 렌즈를 집중시켜 (예를 들어, 시네마 등) 디스플레이 상에 초점을 맞추도록 섬모체근을 제어하는 원근조절 과정을 사용한다. 동시에, 인간의 두뇌는 3D 객체로 표현된 객체의 인지를 지원하기 위해, 눈을 3D 이미지 내에 표현된 객체 쪽으로 동시에 수렴시키거나 발산시키도록 외완근을 제어하는 수렴 과정을 사용한다.
표현된 객체가 상대적으로 높은 음의 시차(negative parallax)를 갖고 따라서, 디스플레이의 전방에서 눈에 상대적으로 가까운 것으로 시각적으로 인지되는 경우, 원근조절 과정은 디스플레이 상에 눈을 집중시키도록 여전히 시도하는 한편, 수렴 과정은 눈을 상대적으로 가까운 거리에서 표현된 객체로 수렴시키거나 발산시키려고 시도하여, 원근조절-수렴 모순(accommodation-vergence conflict)을 야기한다. 3D 이미지 시청에서(viewing), 이 원근조절-수렴 모순은 심각한 생리적인 불편/질환을 야기하며; 그러므로 상대적으로 높은 음의 시차는 특히 시네마 3D 엔터테인먼트 경험에 대해서는 거의 사용되지 않는다.
이 섹션에서 기술되는 접근법은 추구될 수 있는 접근법이지만, 이전에 생각되거나 추구된 필수적인 접근법은 아니다. 그러므로, 달리 지시되지 않는 한, 이 섹션에서 기술되는 접근법 중 어느 것은 단지 이 섹션에 포함된 것만으로 종래기술로서 자격이 있는 것으로 간주되지 않아야 한다. 유사하게, 달리 지시되지 않는 한, 하나 이상의 접근법에 대해 확인된 문제점이 이 섹션을 기초로 어느 종래 기술에서 인식된 것으로 간주되지 않아야 한다.
본 발명은 비슷한 참조 번호가 유사한 요소를 지칭하는 첨부도면의 도에 예시적으로 이에 제한되지 않게 도시된다.
도 1a는 다중-뷰 이미지(multi-view image)에 표현된 예시적인 3D 시각적 객체를 도시하고, 도 1b 내지 도 1e는 뷰어가 시네마 디스플레이 및 웨어러블 디바이스의 디바이스 디스플레이를 통해, 다중-뷰 이미지 내에 표현된 복수의 시각적 객체를 보는 예시적인 3D 공간을 도시한다.
도 1f는 텐서 맵(tensor map)으로부터 획득된 예시적인 3D 픽셀 분포를 도시하고; 도 1g는 텐서 맵을 기초로 생성된 비계층화된(unlayered) 뷰 이미지로부터 예시적인 단일-계층(single-layer) 이미지를 도시하며, 도 1h는 이미지 렌더링 동작에서 재구성된 텐서 맵을 도시한다.
도 2a 내지 도 2c는 증강 엔터테인먼트 시스템의 예시적인 구성을 도시한다.
도 3a 및 도 3b는 시네마 디스플레이가 다수의 뷰어에 대해 공유된 디스플레이의 역할을 하는 다중-뷰어 환경을 도시한다.
도 4a 및 도 4b는 예시적인 처리 흐름을 도시하고; 도 5는 본원에서 기술된 컴퓨터 또는 컴퓨팅 디바이스가 구현될 수 있는 예시적인 하드웨어 플랫폼을 도시한다.
도 1a는 다중-뷰 이미지(multi-view image)에 표현된 예시적인 3D 시각적 객체를 도시하고, 도 1b 내지 도 1e는 뷰어가 시네마 디스플레이 및 웨어러블 디바이스의 디바이스 디스플레이를 통해, 다중-뷰 이미지 내에 표현된 복수의 시각적 객체를 보는 예시적인 3D 공간을 도시한다.
도 1f는 텐서 맵(tensor map)으로부터 획득된 예시적인 3D 픽셀 분포를 도시하고; 도 1g는 텐서 맵을 기초로 생성된 비계층화된(unlayered) 뷰 이미지로부터 예시적인 단일-계층(single-layer) 이미지를 도시하며, 도 1h는 이미지 렌더링 동작에서 재구성된 텐서 맵을 도시한다.
도 2a 내지 도 2c는 증강 엔터테인먼트 시스템의 예시적인 구성을 도시한다.
도 3a 및 도 3b는 시네마 디스플레이가 다수의 뷰어에 대해 공유된 디스플레이의 역할을 하는 다중-뷰어 환경을 도시한다.
도 4a 및 도 4b는 예시적인 처리 흐름을 도시하고; 도 5는 본원에서 기술된 컴퓨터 또는 컴퓨팅 디바이스가 구현될 수 있는 예시적인 하드웨어 플랫폼을 도시한다.
계층화된 증강 3D 엔터테인먼트 경험에 관련된 예시적인 실시예가 본원에서 기술된다. 다음의 기술에서, 설명의 목적으로, 본 발명의 완전한 이해를 제공하기 위해 다수의 특정한 세부사항이 제시된다. 하지만, 본 발명은 이들 특정한 세부사항 없이 실시될 수 있음이 명백할 것이다. 다른 예시에서, 잘 알려진 구조 및 디바이스는 본 발명을 불필요하게 한정하거나, 모호하게 하거나 또는 애매하게 하는 것을 피하기 위해 철저히 상세하게 기술되지는 않는다.
예시적인 실시예는 다음의 개요에 따라 본원에서 기술된다:
1. 일반 개요
2. 증강 엔터테인먼트 경험
3. 계층화된 이미지 생성
4. 텐서 맵
5. 계층화된 이미지 인코더 및 증강 엔터테인먼트 시스템
6. 예시적인 처리 흐름
7. 구현 메커니즘 - 하드웨어 개요
8. 등가물, 확장물, 대안 및 기타(MISCELLANEOUS)
1. 일반 개요
본 개요는 본 발명의 예시적인 실시예의 일부 태양의 기본 설명을 제시한다. 본 개요는 예시적인 실시예의 태양의 광범위하거나 철저한 요약이 아니라는 것이 주목되어야 한다. 또한, 본 개요는 예시적인 실시예의 임의의 특히 중요한 태양 또는 요소를 식별하는 것으로 이해되는 것으로 의도되지 않고, 특히 예시적인 실시예의 임의의 범위로서 설명되는 것도 아니며, 일반적으로 본 발명도 아니라는 점이 주목되어야 한다. 본 개요는 단지 압축되고 단순화된 포맷의 예시적인 실시예와 관련되는 일부 개념을 제시하고, 단지 아래의 예시적인 실시예에 대한 더 상세한 설명의 개념적 도입부로서 이해되어야 한다. 개별적인 실시예가 본원에서 논의되지만, 본원에서 논의된 실시예 및/또는 부분 실시예의 조합은 추가적인 실시예를 형성하기 위해 결합될 수 있다는 것을 주목한다.
본원에서 기술되는 기법은 뷰어가 통합된 이미지 공간 내에 3D 객체를 표현한 이미지를 보도록 뷰어의 웨어러블 디바이스의 개별적인 디바이스 디스플레이 및 공유된 디스플레이의 조합을 사용할 수 있는, 증강 엔터테인먼트 경험을 제공하기 위해 3D 기법과 함께 사용될 수 있다. 예시적이지만 제한적이지 않은 방식으로, 공유된 디스플레이는 Dolby 3D, RealD, 선형 편광(linear polarization) 기반 3D, 원형 편광(circular polarization) 기반 3D, 스펙트럼 공간 분리(spectral spatial separation) 기반 3D 등 중 어느 것과 연관된 것과 같은 시네마 디스플레이일 수 있다. 웨어러블 디바이스의 디바이스 디스플레이는 AR 디스플레이, 홀로렌즈(HoloLens) 디스플레이, 매직 리프(Magic Leap) 디스플레이, 혼합 현실(Mixed Reality, MR) 디스플레이, 텐서 디스플레이, 체적 디스플레이, 라이트 필드(light field, LF) 디스플레이, 임미(Immy) 디스플레이, 메타 디스플레이, 상대적으로 단순한 한 쌍의 AR 안경, 수렴 모순을 극복하는 광범위한 특성을 갖는 디스플레이 등과 연관된 것과 같은, 공유된 디스플레이에 관련된 이동 가능 디스플레이일 수 있다. 예시적인 웨어러블 디바이스 및 디바이스 디스플레이는 Ajit Ninan 및 Neil Mammen에 의해 2018년 4월 4일에 출원되고 출원의 명칭이 "AUGMENTED 3D ENTERTAINMENT SYSTEMS"인 미국특허출원번호 제15/945,237호에서 발견될 수 있으며, 이의 전체 내용은 본원에서 완전히 설명되는 바와 같이 본원에 참조로 통합된다.
2D 또는 3D 시네마 이미지는 시네마 디스플레이 상에 디스플레이될 수 있다. 시네마 이미지를 관람하는 뷰어는 디바이스 디스플레이상에서 렌더링되는 디바이스 이미지 내의 추가적인 3D 객체 또는 추가적인 3D 심도(depth) 정보를 동시에 볼 수 있다(또는 시각적으로 인지할 수 있다). 디바이스 이미지 내에 표현된 추가적인 3D 객체 중 일부는 시네마 디스플레이로부터 뷰어의 앞으로 튀어나오는 것처럼 보일 수 있다. 뷰어는 이러한 3D 객체가 뷰어가 위치되는 3D (물리적인) 공간에 실제로 있는 것처럼, 이들 3D 객체 중 어느 것을 추적할 수 있다. 뷰어가 3D 객체 주위로 이동할 때, 뷰어는 추가된/증강된 차원 또는 심도의 리얼리즘(realism)으로, 3D 객체 주위의 3D 객체의 이전에 가려진(occluded) 시각적인 세부사항(details)을 관찰할 수 있다. 따라서, 디바이스 이미지 및 시네마 이미지의 조합을 통해, 뷰어는 뷰어의 머리 움직임에 응답하는 상이한 시차를 봄으로써, 객체가 떠있는 (예를 들어, 정신 시각적인(psychovisual), 정신 신체적인(psychophysical) 등) 느낌을 받을 수 있다.
디바이스 디스플레이는 하나 이상의 이미지 평면에서 뷰어에 상대적으로 가깝게 가상으로 또는 물리적으로 위치되도록 설정될 수 있다. 따라서, 뷰어가 시네마 이미지 내에 표현된 객체에 비해 뷰어에 상대적으로 가깝게 위치될 수 있는 디바이스 이미지 내에 표현된 3D 객체를 볼 때에도, 디바이스 이미지 내에 표현된 3D 객체는 디바이스 이미지가 렌더링된 디바이스 디스플레이(또는 디바이스 디스플레이와 연관된 이미지 평면)에 대해 여전히 양의(positive) 시차를 갖는다. 따라서, 다른 접근법 하에 야기될 순응-수렴 모순(accommodation-vergence conflict)은 본원에서 기술되는 기법 하에 회피되거나 또는 상당히 개선될 수 있다. 디바이스 디스플레이는 디바이스 디스플레이 이미지를 (예를 들어, 시분할 멀티플렉싱 등을 통해) 뷰어의 전방의 단일 거리의 단일 이미지 평면에 또는 다수의 상이한 거리의 다수의 이미지 평면에 디스플레이하거나 투사할(project) 수 있다. 이미지 평면의 이들 거리는 고정되거나, 자동 조정(auto tunable)될 수 있다. 뷰어로부터 자동 조정될 수 있는 거리(들)의 이미지 평면(들)을 갖는 예시적인 디바이스 디스플레이는 2017년 10월 30일에 출원되고 출원의 명칭이 "EYEWEAR DEVICES WITH FOCUS TUNABLE LENSES"인 미국특허출원번호 제15/798,274호에서 발견될 수 있으며, 이의 전체 내용은 본원에서 완전히 설명되는 바와 같이 본원에 참조로 통합된다.
따라서, 본원에서 기술되는 기법 하의 웨어러블 디바이스는 뷰어에게, 시네마 및 디바이스 이미지가 동기식으로(synchronously) 렌더링되는 적어도 두 개의 상이한 심도의 이미지 평면을 제공한다. 적어도 두 개의 이미지 평면 중 제1 이미지 평면은 시네마 디스플레이의 것에 대응하는 한편, 적어도 두 개의 이미지 평면 중 하나 이상의 제2 이미지 평면은 디바이스 디스플레이의 것에 대응한다.
다중-뷰 비계층화된 (예를 들어, 사전 계층화된, 계층화되지 않은, 단일의(monolithic), 통합된(unitary), 등) 이미지 내에 표현된 시각적 객체는 다중-뷰 이미지로 나타난 3D 이미지 공간에서 다양한 공간 장소(location) 내에 가상으로 위치될 수 있다. 본원에서 사용되는 다중-뷰 비계층화된 이미지는 계층화된 이미지 생성 동작이 적용될 다중-뷰 이미지를 지칭한다.
공간 장소를 기초로, 다중-뷰 비계층화된 이미지 내에 표현된 시각적 객체는 상이한 이미지 계층으로 분할될(partitioned) 수 있다. 각 다중-뷰 비계층화된 이미지에 대해, 이미지 계층의 각각은 시각적 객체의 서브셋(subset)을 표현하는 단일-계층 이미지를 포함한다.
상이한 이미지 계층 중에서, 시네마 이미지 계층은 시네마 디스플레이의 근처의 또는 그 뒤의 것과 같이 기준 공간 장소에서 뷰어로부터 상대적으로 멀리 있는 다중-뷰 비계층화된 이미지 내에 시각적 객체의 서브셋을 표현하는 단일-계층 이미지를 포함할 수 있다. 하나 이상의 디바이스 이미지 계층은 시네마 디스플레이로부터 뷰어의 전방으로 튀어나오는 것으로 보이는 것과 같이, 기준 공간 장소에서 뷰어에게 상대적으로 가까운 다중-뷰 비계층화된 이미지 내에 시각적 객체의 하나 이상의 서브셋을 표현하는 단일-계층 이미지를 포함할 수 있다.
시네마 이미지 계층에서의 단일-계층 이미지는 시네마 디스플레이 상에서 렌더링될 시네마 디스플레이 이미지를 유도하는 데(derive) 사용될 수 있는 한편, 디바이스 이미지 계층에서의 단일-계층 이미지는 웨어러블 디바이스의 디바이스 디스플레이를 통해 렌더링될 디바이스 디스플레이 이미지를 유도하는 데 사용될 수 있다. 3D 이미지 공간은 시네마 디스플레이 상에서 렌더링되는 시네마 디스플레이 이미지 내에 표현되는 3D 이미지 공간의 일부를 사용하여 3D 물리적 공간에 고정되거나(anchored) 이에 투사될 수 있다. 디바이스 디스플레이 이미지 내에 표현된 3D 이미지 공간의 다른 부분은 시네마 디스플레이 이미지 내에 표현된 3D 이미지 공간의 부분과 이음매 없이 인접하도록 공간적으로 변환될(transformed) 수 있다. 상이한 공간적 변환은 상이한 웨어러블 디바이스에 개별적으로 표현된 3D 이미지의 다른 부분이 시네마 디스플레이 이미지 내에 표현된 3D 이미지 공간의 부분과 이음매 없이 인접할 수 있도록, 웨어러블 디바이스의 각각의 공간 장소 및/또는 공간 방향에 의존하여 상이한 웨어러블 디바이스에 적용될 수 있다.
단일 이미지 렌더러(single image renderer) 또는 다수의 이미지 렌더러는 시네마 이미지 렌더링 동작 및 디바이스 이미지 렌더링 동작을 동기식으로 구동하도록 사용될 수 있다. 3D 공간(예를 들어, 시네마, 영화관 등) 내에 있는 다수의 뷰어는 증강 엔터테인먼트 세션을 경험하기 위해, 그들의 웨어러블 디바이스를 이미지 렌더러에 등록할 수 있다.
일부 실시예에서, 웨어러블 디바이스는 자동으로 등록될 수 있다. 예를 들어, 디바이스 추적기(device tracker)는 3D 공간에서 웨어러블 디바이스의 공간 위치(position) 및 공간 방향을 추적/모니터링하기 위해 3D 공간 내에 배치될 수 있다. 추가적으로, 선택적으로 또는 대안적으로, 디바이스 추적기는 원격 디바이스 추적/모니터링을 통해, MAC 주소, 네트워크 주소, IP 주소 등과 같은 웨어러블 디바이스에 대한 디바이스 ID 정보를 획득할 수 있다. 웨어러블 디바이스의 디바이스 ID 정보, 공간 위치 및 공간 방향은 웨어러블 디바이스를 등록하고, 디바이스 디스플레이 이미지를 올바른 MAC 주소, 네트워크 주소, IP 주소 등으로 등록된 웨어러블 디바이스에 전달하는 데 사용될 수 있다. 예시적인 디바이스 추적은 Ajit Ninan 및 Neil Mammen에 의해 2018년 4월 10일에 출원되고 출원의 명칭이 "PASSIVE MULTI-WEARABLE-DEVICES TRACKING"인 미국특허출원번호 제15/949,536호에서 발견될 수 있으며, 이의 전체 내용은 본원에서 완전히 설명되는 바와 같이 본원에 참조로 통합된다.
본원에서 기술되는 기법 하에, 상이한 이미지 계층으로부터 유도된 다수의 디스플레이 이미지는 디바이스 디스플레이 및 시네마 디스플레이 상에서 동시에 렌더링될 수 있고, 상이한 이미지 계층의 다수의 디스플레이 이미지가 직접적으로 또는 간접적으로 유도되는, 원래의 다중-뷰 비계층화된 이미지 내에 이전에 표현된 것과 동일한 공간 장소에 위치된 모든 시각적 객체를 갖는 3D 이미지 공간의 이음매 없는 외관(seamless appearance)을 제공하거나 이를 재구성할 수 있다.
다중-뷰 비계층화된 이미지는 상이한 뷰(예를 들어, 시야 방향(viewing directions), 시계 등)에 대응하는 비계층화된 (단일) 뷰 이미지를 포함할 수 있다. (예를 들어, x, y, z 차원/좌표/축 등에서 차수 3(order 3)의) 텐서 맵은 다중-뷰 비계층화된 이미지에서 각 비계층화된 뷰 이미지와 연관된 심도 정보를 기초로, 3D 이미지 공간 내의 다중-뷰 비계층화된 이미지에서 비계층화된 뷰 이미지의 픽셀 분포를 생성하기 위해 계층화된 이미지 생성 동작으로 구성될 수 있다. 텐서 맵으로부터 생성된 픽셀 분포에서 픽셀은 x, y 및 z 차원/좌표/축(예를 들어, 이미지 프레임의 열, 이미지 프레임의 행, 심도 등)으로 나타난다. 텐서 맵이 주어지면, 단일-계층 이미지는 예를 들어, 계층-분리 표면을 통해 생성될 수 있다. 텐서 맵 기반의 이미지 계층 생성 동작은 상이한 이미지 계층에서 각 이러한 뷰 이미지에 대한 단일-계층 이미지를 생성하기 위해, 다중-뷰 비계층화된 이미지에서 뷰 이미지에서의 각 뷰 이미지에 적용될 수 있다.
텐서 맵은 또한, 이미지 렌더링 동작에 사용될 수 있다. 예를 들어, 단일-계층 이미지가 뷰어의 웨어러블 디바이스를 통해 렌더링하기 위한 디스플레이 이미지를 생성하는 데 사용될 때, 단일-계층 이미지 또는 디스플레이 이미지는 선형이동(translation), 회전, 스케일링(scaling) 등에 의해 웨어러블 디바이스의 실제 공간 위치 및 실제 공간 방향을 기초로 공간적으로 변환될 수 있다.
시네마 이미지 계층에서의 단일-계층 이미지로부터 생성된 시네마 디스플레이 이미지는 3D 이미지 공간의 일 부분에 대응하는 텐서 맵의 일 부분을 구성하기 위한 심도 정보로 사용될 수 있다. 하나 이상의 디바이스 이미지 계층에서의 단일-계층 이미지로부터 생성된 디바이스 디스플레이 이미지는 3D 이미지 공간의 다른 부분을 구성하기 위한 심도 정보로 사용될 수 있다. 디바이스 디스플레이 이미지는 디바이스 디스플레이 이미지로부터 구성된 텐서 맵의 다른 부분이 시네마 디스플레이 이미지로부터 구성되는 동일한 텐서 맵의 부분과 이음매 없이 인접하는 제약을 가지고, 웨어러블 디바이스의 특정한 공간 위치 및/또는 특정한 공간 방향을 기초로 웨어러블 디바이스에 대해 개별적으로 생성될 수 있다. 따라서, 본원에서 기술되는 기법 하에, 시네마 디스플레이 이미지 및 디바이스 디스플레이 이미지의 조합에 의해 렌더링되는 3D 이미지 공간은 다중-뷰 비계층화된 이미지에 원래 표현된 3D 이미지 공간을 정확하거나 충실하게 재현한다.
본원에서 기술되는 예시적인 실시예는 이미지 계층을 생성하는 것에 관한 것이다. 하나 이상의 다중-뷰 비계층화된 이미지 내에 나타난 3차원(3D) 이미지 공간에서 복수의 시각적 객체의 공간 장소를 기술하는 공간 정보가 액세스된다. 하나 이상의 다중-뷰 비계층화된 이미지의 각각은 복수의 시야 방향에 대응하는 복수의 단일-뷰 비계층화된 이미지를 포함한다. 하나 이상의 다중-뷰 비계층화된 이미지에 나타난 3D 이미지 공간 내의 복수의 시각적 객체의 공간 장소를 기술하는 공간 정보를 기초로, 하나 이상의 다중-뷰 비계층화된 이미지로부터, 복수의 시각적 객체에서 하나 이상의 시각적 객체의 제1 적합한 서브셋을 표현하는 하나 이상의 단일-계층 시네마 이미지를 포함하는 시네마 이미지 계층을 생성하는 것; 하나 이상의 다중-뷰 비계층화된 이미지로부터, 각각이 복수의 시각적 객체에서 하나 이상의 시각적 객체의 하나 이상의 제2 적합한 서브셋을 표현하는 하나 이상의 단일-계층 디바이스 이미지를 포함하는 하나 이상의 디바이스 이미지 계층을 생성하는 것 등을 수행한다. 시네마 이미지 계층 내의 하나 이상의 단일-계층 시네마 이미지 및 하나 이상의 디바이스 이미지 계층 내의 하나 이상의 단일-계층 디바이스 이미지를 포함하는 다중-계층 다중-뷰 비디오 신호는 렌더링을 위한 하나 이상의 다운스트림 디바이스로 전송된다.
본원에서 기술되는 예시적인 실시예는 이미지 계층으로부터 생성된 시네마 디스플레이 이미지 및 디바이스 디스플레이 이미지를 렌더링하는 것에 관한 것이다. 시네마 이미지 계층에서의 하나 이상의 단일-계층 시네마 이미지 및 하나 이상의 디바이스 이미지 계층에서의 하나 이상의 단일-계층 디바이스 이미지를 포함하는 다중-계층 다중-뷰 비디오 신호가 수신된다. 시네마 이미지 계층에서의 단일-계층 시네마 이미지 및 하나 이상의 디바이스 이미지 계층에서의 단일-계층 디바이스 이미지는 하나 이상의 다중-뷰 비계층화된 이미지로부터 이전에 유도되었다. 하나 이상의 단일-계층 시네마 이미지는 다중-계층 다중-뷰 비디오 신호의 시네마 이미지 계층으로부터 검색된다. 하나 이상의 단일-계층 시네마 이미지는 하나 이상의 다중-뷰 비계층화된 이미지에 의해 원래 표현된 복수의 시각적 객체에서 하나 이상의 시각적 객체의 제1 적합한 서브셋을 표현한다. 하나 이상의 단일-계층 디바이스 이미지는 다중-계층 다중-뷰 비디오 신호의 하나 이상의 디바이스 이미지 계층으로부터 검색된다. 하나 이상의 디바이스 이미지는 하나 이상의 다중-뷰 비계층화된 이미지에 의해 원래 표현된 복수의 시각적 객체에서 하나 이상의 시각적 객체의 하나 이상의 제2 적합한 서브셋을 표현한다. 하나 이상의 제1 다중-뷰 단일-계층 이미지 내에 표현된 시각적 객체의 제1 적합한 서브셋은 3D 공간 내의 시네마 디스플레이상에서 뷰어에게 렌더링된다. 하나 이상의 제2 다중-뷰 단일-계층 이미지 내에 표현된 시각적 객체의 하나 이상의 제2 적합한 서브셋은 3D 공간 내의 디바이스 디스플레이 상에서 뷰어에게 함께 렌더링된다. 시네마 디스플레이 상에서 렌더링된 시각적 객체의 제1 적합한 서브셋 및 디바이스 디스플레이 상에서 렌더링된 시각적 객체의 하나 이상의 제2 적합한 서브셋 집합(collective)은 하나 이상의 다중-뷰 비계층화된 이미지에 의해 원래 표현된, 3D 이미지 공간 내의 동일한 공간 장소에 위치된 복수의 시각적 객체를 표현한다. 복수의 시각적 객체가 위치된 3D 이미지 공간 내의 공간 장소를 기술하는 공간 정보는 하나 이상의 다중-뷰 비계층화된 이미지에 의해 원래 표현된, 복수의 시각적 객체를 시네마 이미지 계층 및 하나 이상의 디바이스 이미지 계층으로 분할하기 위해 이전에 사용되었다.
일부 예시적인 실시예에서, 본원에 기술된 메커니즘은 클라우드 기반 서버, 모바일 디바이스, 가상 현실 시스템, 증강 현실 시스템, 헤드 업(head up) 디스플레이 디바이스, 헬멧 마운티드(helmet mounted) 디스플레이 디바이스, CAVE-타입 시스템, 벽 크기의(wall-sized) 디스플레이, 비디오 게임 디바이스, 디스플레이 디바이스, 미디어 플레이어, 미디어 서버, 미디어 제작 시스템, 카메라 시스템, 가정 기반 시스템, 통신 디바이스, 비디오 처리 시스템, 비디오 코덱 시스템, 스튜디오 시스템, 스트리밍 서버(streaming server), 클라우드 기반 콘텐츠 서비스 시스템, 핸드헬드 디바이스(handheld device), 게임 머신(game machine), 텔레비전, 시네마 디스플레이, 랩탑 컴퓨터, 넷북 컴퓨터, 태블릿 컴퓨터, 셀룰러 무선 전화(cellular radiotelephone), 전자 북 리더(electronic book reader), 판매 시점 관리 단말기(point of sale terminal), 데스크탑 컴퓨터, 컴퓨터 워크스테이션, 컴퓨터 서버, 컴퓨터 키오스크(computer kiosk), 또는 다양한 다른 종류의 단말기 및 미디어 처리 유닛 중 어느 것을 포함하지만 이에 제한되지 않는 미디어 처리 시스템의 일부를 형성한다.
본원에서 기술된 바람직한 실시예 및 일반 원리 및 피처에 대한 다양한 변형이 통상의 기술자에게는 이의 없이 명백할 것이다. 따라서, 본 개시는 제시된 실시예로 제한되는 것으로 의도되지 않지만, 본원에서 기술된 원리 및 피처와 일치하는 넓은 범위에 부합된다.
2. 증강 엔터테인먼트 경험
일부 예시적인 실시예에서, 본원에 기술된 기법은 뷰어의 엔터테인먼트 경험을 증강/향상시키기 위해, 공유된 디스플레이(예를 들어, 시네마 디스플레이 등) 및 웨어러블 디바이스의 디바이스 디스플레이에 통합된 (예를 들어, 3D, 다중-뷰 등) 이미지 콘텐츠를 제공하는 데 사용될 수 있다. 뷰어는 시네마 디스플레이 상의 시네마 이미지를 보면서, 뷰어에 의해 사용되는 웨어러블 디바이스의 디바이스 디스플레이를 통해 렌더링되는 디바이스 이미지 콘텐츠를 동시에 볼 수 있다. 다중-뷰 비계층화된 이미지로부터 유도될 수 있는 시네마 이미지 콘텐츠 및 디바이스 이미지 콘텐츠는 동일한 다중-뷰 비계층화된 이미지 내에 원래 표현된 모든 시각적 객체를 집합적으로 제공할 수 있다.
웨어러블 디바이스 및 그의 동반하는 디바이스 디스플레이는 추가적인 시네마 디스플레이, TV 등과 같은 평평한 엔터테인먼트 스크린을 나타낸다. 예를 들어, 웨어러블 디바이스는 뷰어에 의해 착용되는 한 쌍의 AR 안경일 수 있다. 웨어러블 디바이스는 시네마 디스플레이 상의 3D 콘텐츠를 보기 위해 좌측 및 우측 눈의 분리 기법을 구현할 수 있다. 동시에, 웨어러블 디바이스(또는 그와 함께 이미저(imagers))는 시네마 디스플레이 상에서 2D 또는 3D 시네마 이미지 콘텐츠의 렌더링과 동기식으로 디바이스 이미지 콘텐츠를 렌더링할 수 있다. 따라서, 웨어러블 디바이스는 심도의 새로운 범위 또는 새로운 차원을, 시네마 디스플레이 단독에 의해 다른 방식으로 제공될 수 있는 심도의 범위 또는 차원에 추가할 수 있다.
3D 시네마 이미지 콘텐츠가 시네마 디스플레이 상에서 렌더링되는 경우, 웨어러블 디바이스 상에서 렌더링되는 디바이스 이미지 콘텐츠는 3D 디바이스 이미지 콘텐츠일 수 있다. 일부 실시예에서, 웨어러블 디바이스에 의해 렌더링되는 3D 디바이스 이미지 콘텐츠는 뷰어와 시네마 디스플레이 사이의 시각적 객체에 (예를 들어, 대부분, 실질적으로, 부분적으로 등) 초점을 맞출 수 있다. 이러한 3D 이미지 콘텐츠 부분은 시네마 디스플레이 상에서 렌더링되는 경우 음의(negative) 시차 및 심도를 가질 것이다. 비교를 위해, 본원에 기술되는 기법 하에, 뷰어와 시네마 디스플레이 사이의 3D 이미지 콘텐츠 부분은 양의 시차 및 심도를 갖는 웨어러블 디바이스에 의해 디스플레이될 수 있다. 따라서, 시네마 디스플레이 상에서 렌더링되는 양의 시차의 시각적 객체와 또한, 웨어러블 디바이스에 의해 렌더링되는 양의 시차의 시각적 객체 사이의 뷰어에게 상당히 수월한 전환(transition)이 제공될 수 있다.
2D 시네마 이미지 콘텐츠가 시네마 디스플레이 상에서 렌더링되는 경우, AR 안경 상에서 렌더링되는 디바이스 이미지 콘텐츠는 2D 시네마 이미지 콘텐츠를 보완하는 3D 디바이스 이미지 콘텐츠일 수 있다. 웨어러블 디바이스에 의해 렌더링되는 3D 디바이스 이미지 콘텐츠는 웨어러블 디바이스의 공간 위치 및/또는 공간 방향에 의존한 3D 세부 사항의 적합한 가림(occlusions) 및/또는 가림 제거(disocclusions)를 통해, 시각적 객체를 뷰어와 시네마 디스플레이 사이의, 그리고 선택적으로 뷰어에 대하여 시네마 디스플레이의 뒤에 3D 객체로 표현하는 전체 이미지 콘텐츠 내의 3D 이미지 콘텐츠 부분에 (예를 들어, 대부분, 실질적으로, 부분적으로 등) 초점을 맞출 수 있다. 이들 3D 이미지 콘텐츠 부분 중 일부는 시네마 디스플레이 상에서 렌더링되는 경우 음의 시차 및 심도를 가질 것이다. 비교를 위해, 본원에 기술되는 기법 하에, 뷰어와 시네마 디스플레이 사이의, 및 심지어 시네마 디스플레이 뒤의 모든 3D 이미지 콘텐츠 부분은 양의 시차 및 심도를 갖는 AR 안경에 의해 디스플레이될 수 있다. 따라서, 뷰어가 시네마 디스플레이 상에서 렌더링되고 웨어러블 디바이스를 통해 렌더링되는 시각적 객체를 추적할 때, 뷰어에게 상당히 수월하고 이음매가 없는 전환이 제공될 수 있다.
시각적 객체를 시네마 디스플레이의 앞에 매우 얕은 심도로 제한하거나, 또는 상대적으로 높은 음의 시차를 갖는 시각적 객체를 디스플레이 함으로써 심도를 증가시키려고 시도하는 다른 접근법과는 달리, 본원에 기술된 기법하의 접근법은 상대적으로 높은 음의 시차를 도입하지 않으면서, 상대적으로 높은 심도를 갖는 시각적 객체를 시네마 디스플레이의 앞에 디스플레이 하는 데 사용될 수 있다. 따라서, 본원에 기술된 기법은 순응-수렴 모순을 방지하거나 이를 해소하기 위한 유효한 해결책을 제공할 수 있다.
(본원에 기술된 웨어러블 디바이스 없이) 시네마 디스플레이만이 3D 시각적 객체를 렌더링하도록 사용될 때, 특정한 3D 시각적 객체는 시네마 디스플레이 뒤에 있는 것으로부터 시네마 디스플레이의 앞에 있는 것으로 전환될 수 있다. 특정한 3D 시각적 객체가 시네마 디스플레이로부터 너무 멀리 있는 경우, 시네마 이미지 콘텐츠는 특정한 3D 시각적 객체가 시네마 디스플레이에 의해 지원되는 입체 시야각 범위(solid viewing angle range)를 넘어서 이동할 수 있을 때, 특정한 3D 시각적 객체를 렌더링하지 않을 수 있다.
그에 비해, 본원에 기술되는 기법 하에, 특정한 3D 시각적 객체는 다른 방식으로 시네마 디스플레이 단독에 의해 지원될 수 있는 것보다 더욱 넓은 시야각 범위를 지원하도록 웨어러블 디바이스를 통해 디스플레이되거나 렌더링될 수 있다. 따라서, 뷰어는 시네마 디스플레이 단독에 의해 지원되는 입체 각으로 제한되거나 제약되지 않으면서, 더욱 넓은 시야각 범위 내에서 특정한 3D 시각적 객체를 계속 시각적으로 추적할 수 있다.
본원에 기술된 기법은 상당히 다양한 공유된 디스플레이에서의 공유된 디스플레이 및 상당히 다양한 웨어러블 디바이스에서의 웨어러블 디바이스의 임의의 조합으로 구현될 수 있다. 3D 이미지를 단일의 공유된 디스플레이 또는 단일의 전용 디스플레이로 디스플레이하는 것 대신에, 동일한 다중-뷰 이미지 콘텐츠로부터 생성된 다수의 이미지 계층을 디스플레이하는 데 다수의 디스플레이가 동시에 사용될 수 있다. 이들 이미지 계층의 각각은 양의 시차 또는 심도의(또는 허용 가능한 양을 초과하지 않는 음의 시차의) 시각적 객체를 표현하도록 렌더링될 수 있다. 예시적인 웨어러블 디바이스는 이미지 프로젝터(image projector), AR 디스플레이, 홀로렌즈 디스플레이, 매직 리프 디스플레이, 혼합 현실(MR) 디스플레이, 텐서 디스플레이, 체적 디스플레이, 라이트 필드(LF) 디스플레이, 임미 디스플레이, 메타 디스플레이, 상대적으로 단순한 쌍의 AR 안경, 순응-수렴 모순을 극복하는 광범위한 특성을 갖는 디스플레이 등 중 일부 또는 전체를 포함하지만, 이것만으로 제한되는 것은 아니다.
웨어러블 디바이스는 상대적으로 가까운 거리 또는 원근조절 지점(accommodation point)의 단일 이미지 평면(예를 들어, 가상 디스플레이, 실제 디스플레이, LF 디스플레이 등) 상의 초점에 투사하는 상대적으로 간단한 AR 시스템일 수 있다. 뷰어는 음의 시차를 회피하기 위해, 및/또는 시네마 디스플레이에 의해 지원되는 심도 범위에서 시네마 디스플레이를 통해 제시되는 2D 또는 3D 이미지 콘텐츠 또는 시각적 객체에 부가하여, 추가적인 3D 이미지 콘텐츠 또는 시각적 객체를 동기식으로 보기 위해, 웨어러블 디바이스를 사용하는 옵션을 제공 받을 수 있다. 따라서, 다수의 심도를 갖는 다수의 디스플레이 상에서 렌더링된 다수의 이미지 계층을, 상당히 넓은(powerful) 심도 범위의 단일 디스플레이 상에서 실제로 렌더링되는 전체 이미지 콘텐츠로 착각하게 하기 위해, 뷰어에게 분화된 시청 경험이 제공될 수 있다. 인간의 두뇌는 본원에서 기술된 증강 엔터테인먼트 경험이 상대적으로 높은 음의 시차를 갖는 시청 경험보다 생리학적으로 더욱 편리하고, 상대적으로 높은 음의 시차를 갖는 시청 경험에 의해 나타난 심리적인 수용 임계치에 비해 더욱 낮은 심리적인 수용 임계치를 나타내기 때문에, 이들 인지를 즉시 수용하거나(또는 이에 즉시 적응될 수 있다).
3. 계층화된 이미지 생성
도 1a는 다중-뷰 비계층화된 이미지 내에 표현된 예시적인 3D 시각적 객체(예를 들어, 118, 120 등)를 도시한다. 다중-뷰 비계층화된 이미지는 복수의 상이한 뷰(예를 들어, 시야 방향, 시계(fields of views) 등)에 대응하는 복수의 비계층화된 (단일) 뷰 이미지를 포함할 수 있다. 다중-뷰 비계층화된 이미지의 복수의 비계층화된 뷰 이미지에서 각 비계층화된 뷰 이미지는 복수의 상이한 뷰 내의 각각의 뷰에 대응할 수 있다. 예를 들어, 다중-뷰 비계층화된 이미지는 (예를 들어, 뷰어의 좌측 눈 등에 렌더링될) 좌측 뷰에 대응하는 제1 비계층화된 뷰 이미지 및 (예를 들어, 뷰어의 우측 눈 등에 렌더링될) 우측 뷰에 대응하는 제2 비계층화된 뷰 이미지를 포함할 수 있다.
일부 실시예에서, 다중-뷰 비계층화된 이미지는 3D 이미지 공간(196) 내에 복수의 (3D) 시각적 객체를 표현한다. 단순화를 위해, 도 1a에 도시된 바와 같이, 두 개의 (3D) 시각적 객체(120 및 118) 만이 3D 이미지 공간(196)에 있다. 하지만, 본원에서 기술된 다중-뷰 비계층화된 이미지는 어느 개수의 (3D) 시각적 객체를 표현할 수 있음이 주목되어야 한다. 예시적인 시각적 객체는 인간, 아바타, 컴퓨터로 생성된 도형, 동물, 식물, 산, 강, 하늘, 집, 공원, 다리, 비행기, 자동차, 배 또는 인간의 시각 시스템에 의해 렌더링되고 인지될 수 있는 다른 시각적 객체 등을 포함할 수 있지만, 이에 제한되는 것은 아니다.
다중-뷰 비계층화된 이미지는 3D 장면에 물리적으로 또는 가상으로 있을 수 있는, 아주 다양한 캡처 디바이스의 임의의 조합에 의해 물리적 또는 가상 3D 장면으로부터 획득/캡처/합성될 수 있다. 일부 실시예에서, 다중-뷰 비계층화된 이미지에서 일부 또는 모든 이미지 부분을 렌더링하거나 또는 생성하기 위해 시각적 객체 모델이 사용될 수 있다. 예시적인 캡처 디바이스는 스튜디오 카메라, 다중-뷰 카메라, 라이트 필드 카메라, 마이크로 렌즈 요소를 포함하는 카메라, HDR 카메라, 모바일 폰 카메라, 컴퓨팅 디바이스에 통합된 카메라, 컴퓨팅 디바이스와 협력하여 동작하는 카메라, 비전문가용 카메라, 전문가용 카메라, 가상 카메라, 컴퓨터 이미지 생성기, 컴퓨터 이미지 렌더러, 컴퓨터 그래픽 생성기, 컴퓨터 애니메이터(computer animators), 가상 이미지 생성기 등을 포함하지만, 이에 제한되지 않는다. 다중-뷰 비계층화된 이미지가 유도된 3D 장면은 전체가 물리적인 3D 장면이거나, 전체가 가상 3D 장면이거나, 또는 하나 이상의 물리적인 3D 장면 및/또는 하나 이상의 가상 3D 장면의 조합일 수 있다는 것이 주목되어야 한다.
3D 이미지 공간(196)은 다중-뷰 비계층화된 이미지가 획득/캡처/구성되는 3D 장면의 일 부분을 나타낼 수 있다. 3D 이미지 공간(196)의 예시는 전체 3D 장면, 3D 장면의 하나 이상의 두드러진 부분, 3D 장면의 하나 이상의 상세한 부분, 상대적으로 큰 것, 상대적으로 작은 것 등 중 하나를 포함할 수 있지만 이것만으로 제한되는 것은 아니다.
도 1b는 뷰어에 의해 사용되는 시네마 디스플레이(104), 웨어러블 디바이스의 디바이스 디스플레이(116) 등과 같은 (이미지) 디스플레이로 렌더링되는 이미지를 통해 뷰어가 3D 이미지 공간(196) 내의 복수의 시각적 객체를 보도록 위치되는 예시적인 3D 공간(126)을 도시한다.
3D 공간(126)의 예시는 기준 3D 공간, 물리적인 공간, 시네마, 영화관, 콘서트 홀, 강당, 놀이공원, 바, 가정, 방, 전시장, 행사장(venue), 바, 배, 비행기 등 중 어느 것을 포함할 수 있지만, 이것만으로 제한되는 것은 아니다. 3D 공간(126)은 3D 공간(126)에 대해 정지(stationary) 3차원 공간 좌표 시스템(예를 들어, 기준 좌표 시스템, 국제 좌표 시스템 등)으로 나타날 수 있는 3차원 체적 공간 위치일 수 있다.
제한적이지 않은 예시로서, 3D 공간(126) 내의 공간 위치를 나타내는 데 사용되는 정지 3차원 공간 좌표 시스템(stationary three-dimensional spatial coordinate system)은 3D 공간(126)의 좌측 하단 구석에 표현된 기준 데카르트 좌표 시스템(reference Cartesian coordinate system)일 수 있다. 기준 데카르트 좌표 시스템은 도 1b에 도시된 바와 같이 "p"로 표기된 기준 공간 위치에서 좌표 시스템 원점을 포함할 수 있다. 기준 공간 위치 "p"는 3D 공간(126)에서 정지된 어느 공간 위치로부터 선택될 수 있다.
다중-뷰 비계층화된 이미지 내에 표현된 3D 이미지 공간(196)은 디스플레이가 다중-뷰 비계층화된 이미지 내의 복수의 시각적 객체를 렌더링하는 데 사용되는 3D 공간(126)의 것과 동일한 크기를 갖거나 그렇지 않을 수 있다(또는 동일한 공간에 걸치거나 그렇지 않을 수 있다). 특정 이미지 콘텐츠(예를 들어, 넓은 풍경, 작은 방 등) 또는 다중-뷰 비계층화된 이미지에 관련된 디스플레이 응용에 의존하여, 렌더링된 3D 이미지 공간(196)은 뷰어(112-0) 및 디스플레이(예를 들어, 104, 116 등)가 위치되는 3D 공간(126)에 비해 (예를 들어, 상당히 등) 크거나 작을 수 있다.
본원에 기술된 기법 하에 복수의 시각적 객체를 렌더링하는 것은 뷰어(112-0)가 위치된 3D 공간(126)이 3D 이미지 공간(196)에 합쳐지거나, 융합되거나(fused) 또는 투사되는 것처럼, 또는 시각적 객체(예를 들어, 118, 120 등)가 3D 공간(126)에 또는 이의 일 부분에 존재하는 실제 3D 객체인 것처럼, 뷰어(112-0)가 3D 공간(196)에 있는 사용자 경험을 갖도록 허용한다.
일부 실시예에서, 본원에 기술된 기법 중 일부 또는 전체를 구현하는 증강 엔터테인먼트 시스템은 다중-뷰 비계층화된 이미지로부터 계층화된 이미지 인코더(예를 들어, 도 2a의 180 등) 등과 같은 업스트림 디바이스(upstream device)에 의해 이전에 생성된 복수의 이미지 계층에서의 단일-계층 이미지를 얻고, 수신된 단일-계층 이미지로부터 시네마 디스플레이 이미지 및 디바이스 디스플레이 이미지를 생성하며, 3D 공간(126) 내의 단일 디스플레이 상에서 다중-뷰 비계층화된 이미지(또는 그 안의 단일-뷰 비계층화된 이미지)를 렌더링하는 것 대신에, 뷰어에 의해 사용되는 웨어러블 디바이스의 디바이스 디스플레이를 포함하는 3D 공간(126) 내의 다수의 디스플레이(예를 들어, 104, 116 등) 상에서 시네마 디스플레이 이미지 및 디바이스 디스플레이 이미지를 렌더링한다.
일부 실시예에서, 업스트림 디바이스 또는 계층화된 이미지 인코더(도 2a의180)는 다중-뷰 비계층화된 이미지 내에 표현된 바와 같이 3D 이미지 공간(196)에서 복수의 시각적 객체 내의 각 시각적 객체의 공간 장소를 기술하는 공간 정보에 액세스한다. 공간 정보의 예시는 심도 정보, 불일치 정보(disparity information), 에피폴라 정보(epipolar information), 3D 메쉬(mesh) 등 중 하나 이상을 포함할 수 있지만, 이것만으로 제한되는 것은 아니다.
하나 이상의 다중-뷰 비계층화된 이미지에 나타난 3D 이미지 공간(196)에서 복수의 시각적 객체의 공간 장소를 기술하는 공간 정보를 기초로, 계층화된 이미지 인코더(도 2a의 180)는 다중-뷰 비계층화된 이미지로부터 복수의 이미지 계층을 생성한다.
복수의 이미지 계층에서 각 이미지 계층은 다중-뷰 비계층화된 이미지 내에 표현된 복수의 시각적 객체(예를 들어, 원래의, 이전의 등)에서 하나 이상의 시각적 객체의 적합한 서브셋을 표현하는 하나 이상의 다중-뷰 단일-계층 이미지를 포함한다.
다양한 선택 인자, 공간 관계 임계치, 공간 관계 기준 등의 임의의 조합은 다중-뷰 비계층화된 이미지 내에 표현된 복수의 시각적 객체 중에서 복수의 이미지 계층에서 특정 이미지 계층에 포함될 시각적 객체를 선택하는 데 사용될 수 있다. 예시적인 선택 인자, 공간 관계 임계치, 공간 관계 기준 등은: 3D 공간(126)에서 디스플레이의 공간 장소; 3D 공간(126)에서 뷰어(112-0)의 공간 장소; 디스플레이 또는 뷰어(112-0)의 공간 장소에 대한 시각적 객체의 공간 위치; 뷰어(112-0)에 대한 3D 공간(126)에서의 시각적 객체의 공간 방향; 시각적 객체의 관련된 예술적 중요도(artistic importance); 시각적 객체의 시각적 특성(예를 들어, 휘도, 색 등); 시각적 객체의 움직임 특징(예를 들어, 움직이는 객체, 정지 객체, 배경 등); 시각적 객체의 과거 공간 장소; 시각적 객체의 과거 공간 방향 등 중 하나 이상을 포함하지만 이것만으로 제한되는 것은 아니다.
제한적이지 않는 예시로서, 복수의 이미지 계층은 다중-뷰 비계층화된 이미지 내에 표현된 시각적 객체의 심도를 기초로 다중-뷰 비계층화된 이미지로부터 생성될 수 있다. 도 1b에 도시된 바와 같이, 다중-뷰 비계층화된 이미지의 3D 이미지 공간(196)은 3D 공간(126)에 정지된 (예를 들어, 기준 등) 공간 위치(192)에 위치된 (예를 들어, 기준, 실제 등) 뷰어(112-0)에 대해 3D 공간(126)으로 투사되거나 이에 중첩될 수 있다. 다중-뷰 비계층화된 이미지 내에 표현된 복수의 시각적 객체에서 시각적 객체의 심도는 뷰어(112-0)의 기준 공간 방향을 따라 뷰어(112-0)의 기준 공간 위치(192)에 대해 측정될 수 있다. 뷰어(112-0)의 이 기준 공간 방향은 뷰어(112-0)에 의해 사용된 웨어러블 디바이스의 정면 시야 방향으로 결정될 수 있다 - 정면 시야 방향은 시네마 디스플레이(104) 방향으로의 뷰어(112-0)의 기준 공간 위치(192)로부터 시작하고 시네마 디스플레이(104)에서 차단된다(intercepts).
시네마 디스플레이(104)는 예를 들어, 단일 뷰어 또는 다수의 뷰어에 의해 보여지도록, 3D 공간(126) 내에 정지된 디스플레이로 배치될 수 있다. 디바이스 디스플레이(116)는 뷰어(112-0)를 포함하는 뷰어에 의해 사용되는 개별적인 웨어러블 디바이스의 개별적인 디스플레이 중 특정한 디스플레이일 수 있고, 3D 공간(126) 내에서 정지되어 있을 필요는 없다.
본원에 기술되는 기법 하에, 뷰어(112-0)에 의해 사용되는 웨어러블 디바이스의 디바이스 디스플레이(116) 및 뷰어 사이에 공유되는 시네마 디스플레이(104)양자는 다중-뷰 비계층화된 이미지로부터 생성된 복수의 이미지 계층에서의 단일-계층 이미지를 뷰어(112-0)에게 렌더링하는 데 사용된다.
도 1b에 도시된 바와 같이, 계층화된 이미지 인코더는 뷰어(112-0)에 대해 계층-분리 표면(194)에 또는 그 뒤에 있는 시각적 객체(예를 들어, 118 등)의 제1 적합한 서브셋을 시네마 이미지 계층으로 분할하기 위해 계층-분리 표면(194)을 사용할 수 있다. 시네마 이미지 계층은 시각적 객체(예를 들어, 118 등)의 제1 적합한 서브셋을 표현하는, 다중-뷰 비계층화된 이미지의 복수의 비계층화된 뷰 이미지에서, 이미지 부분으로부터 생성된 복수의 제1 다중-뷰 단일-계층 이미지를 포함한다.
또한, 계층화된 이미지 인코더는 뷰어(112-0)에 대해 계층-분리 표면(194) 전에 있는 시각적 객체(예를 들어, 120 등)의 하나 이상의 제2 적합한 서브셋을 하나 이상의 디바이스 이미지 계층으로 분할하기 위하여 계층-분리 표면(194)을 사용할 수 있다. 시각적 객체(예를 들어, 120 등)의 하나 이상의 제2 적합한 서브셋에서 각 제2 적합한 서브셋은 하나 이상의 디바이스 이미지 계층에서 각각의 디바이스 이미지 계층에 대응한다. 각각의 이미지 계층은 시각적 객체(예를 들어, 118 등)의 각 이러한 제2 적합한 서브셋을 표현하는, 다중-뷰 비계층화된 이미지의 복수의 비계층화된 뷰 이미지에서 각각의 이미지 부분으로부터 생성된 각 복수의 제2 다중-뷰 단일-계층 이미지를 포함한다. 따라서, 하나 이상의 디바이스 이미지 계층은 시각적 객체(예를 들어, 118 등)의 하나 이상의 제2 적합한 서브셋을 표현하는, 다중-뷰 비계층화된 이미지의 복수의 비계층화된 뷰 이미지에서, 이미지 부분으로부터 생성된 하나 이상의 복수의 제2 다중-뷰 단일-계층 이미지를 포함한다.
도 1b에 도시된 194와 같은 하나의 계층-분리 표면에 부가하여, 일부 실시예에서, 0개 이상의 추가적인 계층-분리 표면이 서로로부터 하나 이상의 디바이스 이미지 계층을 분할하도록 사용될 수 있다. 예를 들어, 추가적인 계층-분리 표면은 시각적 객체의 다수의 제2 적합한 서브셋이 존재하는 경우, 시각적 객체(예를 들어, 120 등)의 하나 이상의 제2 적합한 서브셋 중 다른 서브셋으로부터 하나의 서브셋을 분리하거나 또는 구분하도록 사용될 수 있다. 일부 실시예에서, 시각적 객체(예를 들어, 3D 객체 등)는 하나보다 많은 이미지 계층에 걸칠 수 있다. 예를 들어, 차량과 같은 시각적 객체는 제1 디바이스 이미지 계층에서 차량의 전방 부분과 같은 시각적 객체의 일 부분, 및 하나 이상의 제2 디바이스 이미지 계층에서 차량의 후방 부분과 같은 시각적 객체의 다른 부분을 가질 수 있다. 추가적으로, 선택적으로 또는 대안적으로, 본원에서 기술된 시각적 객체는 시네마 이미지 계층과, 디바이스 이미지 계층 중 하나 이상에 걸칠 수 있다.
도 1c에 도시된 바와 같이, 뷰어(112-0)에 의해 사용되는 웨어러블 디바이스는 뷰어(112-0)의 기준 공간 위치(192)로부터 하나 이상의 디바이스 디스플레이(116-1, 116-2 등), (또는 상이한 이미지 평면 심도를 갖는 단일 디바이스 디스플레이)를 포함할 수 있다. 계층-분리 표면(194)에 의해 분할된 시네마 이미지 계층에서의 단일-계층 이미지는 시네마 디스플레이(104)에서 렌더링되는/디스플레이되는 시네마 디스플레이 이미지를 생성하도록 사용될 수 있다. 계층-분리 표면(194-1)에 의해 더 분할되는 하나 이상의 디바이스 이미지 계층 중 하나에서의 단일-계층 이미지는 디바이스 디스플레이(116-1)에서 렌더링되는/디스플레이되는 디바이스 디스플레이 이미지를 생성하도록 사용될 수 있다. 하나 이상의 디바이스 이미지 계층의 나머지에서의 단일-계층 이미지는 디바이스 디스플레이(116-2)에서 렌더링되는/디스플레이되는 추가적인 디스플레이 이미지를 생성하도록 사용될 수 있다. 상이한 이미지 평면 심도로 렌더링되는/디스플레이되는 디스플레이 이미지는 시분할 멀티플렉싱(time-division multiplexing)을 사용하여 단일 이미지 리프레시(refresh) 시간 또는 단일 이미지 프레임 간격으로 동시에 렌더링되거나 또는 순차적으로 렌더링될 수 있다.
본원에 기술된 계층-분리 표면의 예시는 평면, 굴곡진 표면, 규칙적인 형태, 불규칙한 형태 등 중 어느 것을 포함할 수 있지만, 이것만으로 제한되지 않는다.
일부 실시예에서, 계층-분리 표면(194)의 공간 위치는 시네마 디스플레이(104)에 대해 설정된다. 일 예시에서, 계층-분리 표면(194)은 시네마 디스플레이(104)와 일치할 수 있다. 다른 예시에서, 계층-분리 표면(194)은 시네마 디스플레이(104)의 (도 1b에 도시된 바와 같이) 뒤의 또는 (도 1d에 도시된 바와 같이) 앞의 특정한 거리로 설정될 수 있다. 시네마 디스플레이(104)까지의 계층-분리 표면(194)의 특정한 거리는 제한 없이, 상대적으로 짧은 거리, 상대적으로 먼 거리, 영의 거리, 1미터, 5미터, 뷰어(112-0)의 공간 위치(192)와 시네마 디스플레이(104) 사이의 심도 또는 거리의 일부 등 중 하나일 수 있다. 따라서, 시네마 디스플레이(104)까지의 계층-분리 표면(194)의 특정한 거리는 다중-뷰 비계층화된 이미지 내에 표현된 복수의 시각적 객체에서 시각적 객체를 상이한 이미지 계층으로 분리하는 데 사용되는 거리 임계치(또는 상대적 심도 임계치)를 나타낼 수 있다.
일부 실시예에서, 계층-분리 표면(194)의 공간 위치는 (기준) 공간 위치(192)에서 뷰어(112-0)에 대해 설정된다. 예를 들어, 계층-분리 표면(194)은 뷰어(112-0)로부터 특정 거리로 설정될 수 있다. 뷰어(112-0)까지의 계층-분리 표면(194)의 특정한 거리는 제한 없이, 상대적으로 짧은 거리, 상대적으로 먼 거리, 5 미터, 20 미터, 50 미터 등 중 하나일 수 있다. 따라서, 뷰어(112-0)까지의 계층-분리 표면(194)의 특정한 거리는 다중-뷰 비계층화된 이미지 내에 표현된 복수의 시각적 객체에서 시각적 객체를 상이한 이미지 계층으로 분리하도록 사용되는 거리 임계치(또는 상대적 심도 임계치)를 나타낼 수 있다.
일부 실시예에서, 계층-분리 표면(194)의 공간 위치는 (기준) 공간 위치(192)에서의 뷰어(112-0) 및 시네마 디스플레이(104)의 것 이외의 다른 공간 장소에 대해 설정된다. 예를 들어, 계층-분리 표면(194)은 기준 좌표 시스템의 원점 "p"으로부터 특정한 거리로 설정될 수 있다. 원점 "p"까지의 계층-분리 표면(194)의 특정한 거리는 제한 없이, 상대적으로 짧은 거리, 상대적으로 먼 거리, 영의 거리, 1 미터, 5 미터, 20 미터, 50 미터 등 중 하나일 수 있다. 따라서, 원점 "p"까지의 계층-분리 표면(194)의 특정한 거리는 다중-뷰 비계층화된 이미지 내에 표현된 복수의 시각적 객체에서 시각적 객체를 상이한 이미지 계층으로 분리하도록 사용되는 거리 임계치(또는 상대적 심도 임계치)를 나타낼 수 있다.
일부 실시예에서, 도 1e에 도시된 바와 같이, 계층화된 이미지 인코더는 계층-분리 표면(예를 들어, 도 1b 또는 도 1c의 194 등)을 사용하지 않으면서, 3D 공간(126)에 물리적으로 또는 가상으로 존재하는 엔티티(entity)에 관련된 공간 관계를 기초로 다중-뷰 비계층화된 이미지 내의 복수의 시각적 객체를 이미지 계층으로 분할할 수 있다.
예를 들어, 복수의 시각적 객체(예를 들어, 118, 120 등)는 이들 시각적 객체가 도 1b에 도시된 바와 같이, 각각 시네마 디스플레이(104), (기준) 공간 장소(192)에서의 뷰어(112-0), 기준 좌표 시스템의 원점 "p" 등 중 하나 이상에 관련된 일정한 공간 관계 임계치(또는 기준)을 충족하는지의 여부를 기초로 분할될 수 있다.
시네마 디스플레이(104)에 대해 특정한 공간 관계 임계치(또는 기준)를 충족하는 시각적 객체(예를 들어, 118 등)의 제1 적합한 서브셋은 시네마 이미지 계층으로 분할될 수 있다. 시네마 디스플레이(104)에 대한 특정한 공간 관계 임계치(또는 기준)를 충족하지 않는 시각적 객체(예를 들어, 120 등)의 하나 이상의 제2 적합한 서브셋은 하나 이상의 디바이스 이미지 계층으로 분할될 수 있다. 시네마 디스플레이(104)에 대해 특정한 공간 관계 임계치(또는 기준)는 서로로부터 하나 이상의 디바이스 이미지 계층을 분할하는 데 사용될 수 있는 추가적인 공간 관계 임계치(또는 기준)을 포함할 수 있다. 예를 들어, 추가적인 공간 관계 임계치(또는 기준)는 시각적 객체(예를 들어, 120 등)의 하나 이상의 제2 적합한 서브셋 중에 하나의 서브셋을 다른 서브셋과 분리하거나 구분하는 데 사용될 수 있다.
일부 실시예에서, 공간 관계 임계치는 특정한 심도 임계치(예를 들어, 1 미터 미만, 2 미터 미만, 시네마 디스플레이(104)의 공간 차원에 대해 관련된 값으로 설정된 공간 차원 값 미만 등)를 포함할 수 있다. 심도 임계치는 시네마 디스플레이(104)로부터 특정한 심도 뒤의 모든 시각적 객체가 시네마 이미지 계층으로 분할되도록 지정된다. 심도 임계치는 시네마 디스플레이(104)로부터 특정한 심도 앞의 다른 모든 시각적 객체가 하나 이상의 디바이스 이미지 계층으로 분할되도록 지정된다. 심도 임계치는 시네마 디스플레이(104)까지의 특정한 거리의 양의 값, 0 또는 음의 값으로 나타날 수 있다.
추가적으로, 선택적으로 또는 대안적으로, 공간 시차 임계치, 공간 불일치 임계치(spatial disparity threshold) 등과 같은 상이한 공간 임계치는 다중-뷰 비계층화된 이미지 내에 표현된 복수의 시각적 객체를 선택하거나, 이를 상이한 이미지 계층으로 분할하는 목적으로 심도 임계치 대신, 또는 이에 부가하여 사용될 수 있다.
예를 들어, 시네마 디스플레이(104)는 이미지 렌더링 동작에서 영의 시차 평면/표면을 나타낼 수 있다. 시네마 디스플레이(104) 상에서 시네마 디스플레이(104) 뒤에 있는 것으로 렌더링된 단일-계층 이미지로 표현될 임의의 시각적 객체는 양의 시차를 갖는 한편, 시네마 디스플레이(104) 상에서 시네마 디스플레이(104) 앞에 있는 것으로 렌더링된 단일-계층 이미지로 표현될 임의의 시각적 객체는 음의 시차를 가질 것이다.
일부 실시예에서, 공간 관계 임계치는 특정한 시차 임계치를 포함할 수 있다. 시차 임계치는 시네마 디스플레이(104)에 의해 나타난 영의 시차 평면/표면에 대한 특정한 시차만큼 모든 시각적 객체가 시네마 이미지 계층으로 분할되도록 지정된다. 시차 임계치는 시네마 디스플레이(104)에 의해 나타난 영의 시차 평면/표면에 대한 특정한 시차 미만인 모든 시각적 객체가 하나 이상의 디바이스 이미지 계층으로 분할되도록 지정된다. 시차 임계치는 특정한 시차의 양의 값, 0 또는 음의 값으로 나타날 수 있다.
추가적으로, 선택적으로 또는 대안적으로, 시네마 디스플레이(104)는 이미지 렌더링 동작에서 영의 불일치 평면/표면을 나타낼 수 있다. 시네마 디스플레이(104) 상에서 시네마 디스플레이(104) 뒤에 있는 것으로 렌더링된 단일-계층 이미지로 표현될 임의의 시각적 객체는 양의 불일치를 갖는 한편, 시네마 디스플레이(104) 상에서 시네마 디스플레이(104) 앞에 있는 것으로 렌더링된 단일-계층 이미지로 표현될 임의의 시각적 객체는 음의 불일치를 가질 것이다.
일부 실시예에서, 공간 관계 임계치는 특정한 불일치 임계치를 포함할 수 있다. 불일치 임계치는 시네마 디스플레이(104)에 의해 나타난 영의 불일치 평면/표면에 대한 특정한 불일치만큼 모든 시각적 객체가 시네마 이미지 계층으로 분할되도록 지정된다. 불일치 임계치는 시네마 디스플레이(104)에 의해 나타난 영의 불일치 평면/표면에 대한 특정한 불일치 미만인 모든 시각적 객체가 하나 이상의 디바이스 이미지 계층으로 분할되도록 지정된다. 불일치 임계치는 특정한 불일치의 양의 값, 영 또는 음의 값에 의해 나타날 수 있다.
일부 실시예에서, 다중-뷰 비계층화된 이미지는 이러한 이미지의 시간 시퀀스로 구성되는 복수의 다중-뷰 비계층화된 이미지에서 특정한 다중-뷰 비계층화된 이미지일 수 있다. 다중-뷰 비계층화된 이미지의 시간 시퀀스는 미디어 프로그램, 브로드캐스트 프로그램, 영화, VR 세션(session), AR 세션, 원격 프레전스 세션(remote presence session), 컴퓨터 게임 등을 나타낼 수 있다.
일부 실시예에서, 특정 이미지 계층에서 시각적 객체의 과거 및/또는 미래의 공간 장소, 시각적 객체의 과거 및/또는 미래의 공간 방향, 시각적 객체의 과거 및/또는 미래의 움직임 특징, 시각적 객체의 과거 및/또는 미래의 멤버십(membership) 등의 일부 또는 전체는, 이들 시각적 객체 중 어느 것이 복수의 이미지 계층에서 특정한 이미지 계층으로 분할되어야 하는지의 여부를 결정하는 데 사용될 수 있다.
예를 들어, 시각적 객체는 하나의 이미지 계층에 있을 것으로 이전에 결정될 수 있고, 그 후에 상이한 이미지 계층에 대응할 공간 장소, 공간 방향 등으로 이동할 수 있다. 시각적 객체가 상대적으로 짧은 기간에 상이한 이미지 계층 사이에서 너무 빠르게 또는 너무 빈번히 움직이는(dance) 스래싱(thrashing)을 감소시키기 위해, 지연 효과/메커니즘(delay effects/mechanisms), 완충(dampening) 인자, 평활화 필터(smoothening filters), 잡음 처리 등 중 하나 이상은 계층화된 이미지 인코더에 의해, 시각적 객체가 현재 이미지 계층, 새로운 이미지 계층 등으로 즉시 분할되거나 할당되는 것 대신에, 이전의 이미지 계층, 현재 이미지 계층 등과 같은 특정한 이미지 계층에 남아있도록 허용하거나 이를 할당하도록 구현될 수 있다. 이들 지연 효과/메커니즘, 완충 인자, 평활화 필터, 잡음 처리 등 중 어느 것은 특정한 이미지 계층에서 시각적 객체의 과거 및/또는 미래의 공간 장소, 시각적 객체의 과거 및/또는 미래의 공간 방향, 시각적 객체의 과거 및/또는 미래의 움직임 특징, 시각적 객체의 과거 및/또는 미래의 멤버십/할당 등의 일부 또는 전체에 의존하여 동작될 수 있다.
추가적으로, 선택적으로 또는 대안적으로, 시각적 객체의 관련된 예술적 중요도, 시각적 객체의 시각적 특성(예를 들어, 휘도, 색 등); 시각적 객체의 움직임 특징(예를 들어, 움직이는 객체, 정지 객체, 배경 등) 등은 또한, 앞서 논의된, 전술한 선택 인자, 전술한 공간 관계 임계치, 전술한 공간 관계 기준 등 대신에 또는 이에 부가하여, 선택 인자, 공간 관계 임계치, 공간 관계 기준 등으로 사용될 수 있다.
일부 실시예에서, 계층화된 이미지 인코더는 그 각각의 단일-계층 이미지를 갖는 복수의 이미지 계층을 다중-계층 다중-뷰 이미지로 인코딩할 수 있다. 다중-계층 다중-뷰 이미지는 다른 다중-뷰 비계층화된 이미지로부터 생성된 다른 다중-계층 다중-뷰 이미지와 함께, 하나 이상의 다운스트림 디바이스(downstream devices)에 직접적으로 또는 간접적으로 송신되는 다중-계층 다중-뷰 비디오 신호로 인코딩될 수 있다. 예시적인 다운스트림 디바이스는 다중-계층 표현에서 다중-뷰 이미지를 렌더링하는 증강 엔터테인먼트 시스템, 다중-계층 표현에서 다중-뷰 이미지를 저장하는 저장 디바이스, 다중-계층 표현에서 다중-뷰 이미지를 스트리밍하는 미디어 스트리밍 서버 등 중 어느 것을 포함할 수 있지만, 이것만으로 제한되지는 않는다.
4. 텐서 맵
이전에 주목된 바와 같이, 다중-뷰 비계층화된 이미지는 복수의 상이한 뷰(예를 들어, 시야 방향, 시계 등)에 대응하는 복수의 비계층화된 (단일) 뷰 이미지를 포함할 수 있다. 일부 실시예에서, 다중-뷰 비계층화된 이미지에서 각 비계층화된 뷰 이미지에 대한 심도 정보를 기초로, (예를 들어, x, y, z 차원/좌표/축 등에서 차수 3의) 텐서 맵은 3D 이미지 공간 내의 다중-뷰 비계층화된 이미지에서 비계층화된 뷰 이미지의 픽셀 분포를 생성하도록 구성될 수 있다. 텐서 맵으로부터 생성된 픽셀 분포에서 픽셀은 x 및 y 차원/좌표/축(예를 들어, 이미지 프레임의 열, 이미지 프레임의 행 등)뿐만 아니라, z차원/좌표/축(예를 들어, 심도 등)으로 표현된다.
도 1f는 텐서 맵으로부터 획득된 다중-뷰 비계층화된 이미지에서 비계층화된 뷰 이미지의 예시적인 3D 픽셀 분포(188)를 도시한다. 도 1g는 3D 픽셀 분포(188)를 기초로 비계층화된 뷰 이미지로부터 생성된 예시적인 단일-계층 이미지(176-1 내지 176-3)를 도시한다.
텐서 맵은 (a) 비계층화된 이미지에 나타난 x 및 y 차원/좌표/축에서 2D 픽셀 분포 및 (b) 그 분포에서 각 픽셀의 z차원/축을 (예를 들어, 정확하게, 대략적으로 등) 나타내는 심도 정보를 기초로 3D 이미지 공간(예를 들어, 196 등)에서 구성될 수 있다. 텐서 맵을 기초로, 비계층화된 뷰 이미지에서 2D 픽셀 분포는 이제, 3D 이미지 공간(196)에서 픽셀 분포(188)로 나타날 수 있다.
다중-뷰 비계층화된 이미지의 3D 픽셀 분포(188)에 따라, 단일-계층 이미지는 예를 들어, 계층-분리 표면을 통해 생성될 수 있다. 제한적이지 않은 예시의 목적으로, 두 개의 계층-분리 표면(194-2 및 194-3)은 3D 픽셀 분포(188)의 픽셀을 세 개의 상이한 이미지 계층에서의 세 개의 단일-계층 이미지(176-1 내지 176-3)로 분리하도록 3D 이미지 공간(196)에 배치될 수 있다.
도 1g에 도시된 바와 같이, 기준 공간 위치(192)에서의 뷰어로부터 심도 또는 z 방향(뷰어의 정면 시야 방향)을 따른 제1 계층-분리 표면(194-2)으로의 심도를 갖는 모든 픽셀을 포함할 수 있는 3D 픽셀 분포(188)의 제1 3D 픽셀 분포(188-1)는 기준 공간 장소(192)에서의 뷰어로부터 제1 심도(예를 들어, 웨어러블 디바이스의 디바이스 디스플레이에 의해 지원되는 이미지 평면에 대응하는 심도 등)로, 웨어러블 디바이스의 디스플레이를 통해 렌더링되는 제1 단일-계층 이미지(176-1)로 투사된다. 제1 3D 픽셀 분포(188-1)에서 3D 픽셀은 제1 3D 픽셀 분포(188-1)에서의 3D 픽셀의 x 및 y 차원/좌표/축을 기초로 제1 단일-계층 이미지(176-1)의 2D 픽셀(예를 들어, 178-1, 178-2 등) 상에 투사될 수 있다.
제1 계층-분리 표면(194-2)으로부터 심도 또는 z 방향을 따라 제2 계층-분리 표면(194-3)으로의 심도를 갖는 모든 픽셀을 포함할 수 있는 3D 픽셀 분포(188)의 제2 3D 픽셀 분포(188-2)는, 제2 심도(예를 들어, 기준 공간 장소(192)에서의 뷰어로부터 제1 계층-분리 표면(194-2)에 대응하는 심도)로, 웨어러블 디바이스의 디바이스 디스플레이를 통해 렌더링되는 제2 단일-계층 이미지(176-2)로 투사된다. 제2 3D 픽셀 분포(188-2)에서 3D 픽셀은 제2 3D 픽셀 분포(188-2)에서 3D 픽셀의 x 및 y 차원/좌표/축을 기초로 제2 단일-계층 이미지(176-2)의 2D 픽셀(예를 들어, 178-3, 178-4 등) 상에 투사될 수 있다.
심도 또는 z 방향을 따라 제2 계층-분리 표면(194-3) 뒤의 심도를 갖는 모든 픽셀을 포함할 수 있는 3D 픽셀 분포(188)의 제3 3D 픽셀 분포(188-3)는, 제3 심도(예를 들어, 기준 공간 장소(192)에서 뷰어로부터 시네마 디스플레이에 대응하는 심도)로 시네마 디스플레이를 통해 렌더링되는 제3 단일-계층 이미지(176-3)로 투사된다. 제3 3D 픽셀 분포(188-3)에서 3D 픽셀은 제3 3D 픽셀 분포(188-3)에서 3D 픽셀의 x 및 y 차원/좌표/축을 기초로 제3 단일-계층 이미지(176-3)의 2D 픽셀(예를 들어, 178-5, 178-6 등) 상에 투사될 수 있다.
텐서 맵을 기초로 하는 이미지 계층 생성 기법은 각각 각 이러한 뷰 이미지에 대한 단일-계층 이미지를 생성하기 위해 다중-뷰 비계층화된 이미지 내의 복수의 뷰 이미지에서 각 뷰 이미지에 적용될 수 있다. 따라서, 복수의 이미지 계층에서의 단일-계층 이미지는 다중-뷰 비계층화된 이미지로부터 이들 이미지 계층 생성 기법을 사용하여 생성될 수 있다.
단일-계층 이미지가 뷰어의 웨어러블 디바이스를 통한 렌더링을 위해 증강 엔터테인먼트 시스템 내의 이미지 렌더러에 제공될 때, 단일-계층 이미지는 웨어러블 디바이스의 실제 공간 위치 및 실제 공간 방향을 기초로 선형 이동, 회전, 스케일링 등에 의해 공간적으로 변환될 수 있다. 예를 들어, 제1 단일-계층 이미지(176-1)(또는 시네마 이미지 계층)는 시네마 디스플레이 상에 렌더링될 수 있는 한편, 제2 및 제3 단일-계층 이미지(176-2 및 176-3)(또는 디바이스 이미지 계층)는 웨어러블 디스플레이의 디바이스 디스플레이를 통해 렌더링될 수 있다.
상대적으로 먼 뷰어는 상대적으로 먼 뷰어와 시네마 디스플레이 사이의 거리에 반비례하는 상대적으로 작은 이미지로서 제1 단일-계층 이미지(176-1)를 관찰할 수 있다; 따라서, 제2 및 제3 단일-계층 이미지는 상대적으로 먼 뷰어에 의해 보이는 제1 단일-계층 이미지(176-1)의 크기 또는 종횡비에 매칭하도록 비례해서 스케일링될 수 있다. 또한, 상대적으로 먼 뷰어가 기준 공간 장소(예를 들어, 192 등)에서 뷰어로부터 더 뒤에 위치될 수 있기 때문에, 그 안의 제2 및 제3 단일-계층 이미지 또는 시각적 객체는 기준 공간 장소(192)에서의 뷰어와 상대적으로 먼 뷰어 사이의 거리에 적어도 부분적으로 기초하여 공간적으로 선형 이동될 수 있다. 상대적으로 먼 뷰어의 웨어러블 디바이스의 공간 방향이 이미지 계층 및 단일-계층 이미지를 생성하는 데 사용되는 기준 공간 장소(192)에서의 뷰어의 정면 시야 방향에 매칭하지 않는 경우, 그 안의 제2 및 제3 단일-계층 이미지 또는 시각적 객체는 상대적으로 먼 뷰어의 웨어러블 디바이스의 공간 방향과 기준 공간 장소(192)에서의 뷰어의 정면 시야 방향 사이의 각도 또는 각 거리(angular distance)에 적어도 부분적으로 기초하여 공간적으로 회전될 수 있다. 마찬가지로, 상대적으로 가까운 뷰어에 대해, 선형 이동, 회전, 스케일링 등과 같은 공간적 변환이 상대적으로 가까운 뷰어의 공간 위치 및/또는 공간 방향을 기초로 단일-계층 이미지에 유사하게 적용될 수 있다.
일부 실시예에서, 텐서 맵은 또한, 도 1h에 도시된 바와 같이 이미징 렌더링 동작에 사용될 수 있다. 예를 들어, 시네마 이미지 계층에서의 단일-계층 이미지로부터 생성되고 시네마 디스플레이(104) 상에서 렌더링된 시네마 디스플레이 이미지는, 뷰어가 기준 공간 장소(192)와 동일하거나 상이할 수 있는 공간 장소에 위치되는 3D 물리적 공간(126)에서 3D 이미지 공간(196)의 일 부분에 대응하는 텐서 맵(또는 픽셀 분포)의 일 부분을 재현하는 데 사용될 수 있다. 하나 이상의 디바이스 이미지 계층에서의 단일-계층 이미지로부터 생성되고 하나 이상의 이미지 평면(예를 들어, 116, 116-1 등)에서 디바이스 디스플레이를 통해 렌더링된 디바이스 디스플레이 이미지는 3D 물리적 공간(126)에서 3D 이미지 공간(196)의 나머지 부분에 대응하는 텐서 맵(또는 픽셀 분포)의 다른 부분을 재현하는 데 사용될 수 있다. 디바이스 디스플레이 이미지는 디바이스 디스플레이 이미지로부터의 텐서 맵(또는 픽셀 분포)의 다른 부분이 시네마 디스플레이 이미지로부터 재현된 동일한 텐서 맵(또는 픽셀 분포)의 부분과 이음매 없이 인접하는 제약을 가지고, 웨어러블 디바이스의 특정한 공간 위치 및/또는 특정한 공간 방향에 의존하는 공간적 변환(예를 들어, 선형 이동, 회전, 스케일링 등)을 기초로 웨어러블 디바이스에 대해 개별적으로 생성될 수 있다. 추가적으로, 선택적으로, 선택적으로, 보간(interpolation), 샤프닝(sharpening), 블러링(blurring), 가림 제거등과 같은 이미지 처리 동작의 일부 또는 전체는, 본원에 기술되는 기법 하의 이미지 렌더링 동작에서 수행될 수 있다. 따라서, 시네마 디스플레이 이미지 및 디바이스 디스플레이 이미지의 조합에 의해 렌더링된 3D 이미지 공간은 다중-뷰 비계층화된 이미지에 원래 표현된 3D 이미지 공간(196)에서 3D 픽셀 분포(188)를 정확하거나 충실하게 재현한다.
5. 계층화된 이미지 인코더 및 증강 엔터테인먼트 시스템
도 2a는 계층화된 이미지 인코더(180), 이미지 콘텐츠 수신기(110), 이미지 렌더러(예를 들어, 106, 108 등), 디바이스 추적기(122), 3D 공간(예를 들어, 126 등)에서 뷰어(112-1)의 웨어러블 이미지 렌더링 디바이스(102-1)와 같은 하나 이상의 웨어러블 디바이스를 포함하는 증강 엔터테인먼트 시스템의 예시적인 구성(100)을 도시한다. 도 2a에 도시된 구성요소/디바이스의 일부 또는 전체는 하나 이상의 기계적 구성요소, 하나 이상의 전자광학 구성요소, 하나 이상의 컴퓨팅 디바이스, 모듈, 유닛 등에 의해 소프트웨어, 하드웨어, 소프트웨어 및 하드웨어의 조합으로 구현될 수 있다. 도 2a에 도시된 구성요소/디바이스의 일부 또는 전체는 도 2a에 도시된 일부 다른 구성요소/디바이스 또는 도 2a에 도시되지 않은 다른 구성요소/디바이스와 (예를 들어, 무선으로, 유선 연결을 통해 등으로) 통신 가능하게 연결될 수 있다.
일부 실시예에서, 계층화된 이미지 인코더(180)는 비계층화된 이미지 수신기(182), 계층화된 이미지 생성기(186), 비계층화된 이미지 데이터 저장부(184) 등을 포함한다.
일부 실시예에서, 비계층화된 이미지 수신기(182)는 예를 들어, 비계층화된 이미지 비디오 신호에서 또는 저장된 비계층화된 이미지 데이터에서, 비계층화된 이미지 데이터 저장부(184)와 같은 비계층화된 이미지원, 클라우드 기반의 이미지원, VR 애플리케이션, AR 애플리케이션, 원격 프레전스 애플리케이션, 디스플레이 애플리케이션과 연결된 카메라 시스템 등으로부터, 다중-뷰 비계층화된 이미지를 수신하도록 구성된 소프트웨어, 하드웨어, 소프트웨어 및 하드웨어의 조합 등을 포함한다.
일부 실시예에서, 계층화된 이미지 생성기(186)는 다중-뷰 비계층화된 이미지의 각각에 표현된 3D 이미지 공간(예를 들어, 도 1a의 196 등) 내의 복수의 시각적 객체에서 각 시각적 객체의 공간 장소를 기술하는 공간 정보에 액세스하도록 구성된, 소프트웨어, 하드웨어, 소프트웨어 및 하드웨어의 조합 등을 포함한다.
다중-뷰 비계층화된 이미지의 각각에서 3D 이미지 공간(도 1a의 196) 내의 복수의 시각적 객체의 공간 장소를 기술하는 공간 정보를 기초로, 계층화된 이미지 생성기(186)는 각 이러한 다중-뷰 비계층화된 이미지로부터 복수의 이미지 계층 내에 단일-계층 이미지를 생성한다. 따라서, 복수의 이미지 계층 내의 각 이미지 계층은 전체 다중-뷰 비계층화된 이미지로부터 다중-뷰 단일-계층 이미지를 포함한다.
제한적이지 않은 예시에서, 복수의 이미지 계층에서 제1 이미지 계층은 다운스트림 수신 디바이스에 의해 시네마 이미지 계층으로서 사용될 수 있고, 복수의 이미지 계층에서 다른 이미지 계층은 다운스트림 수신 디바이스에 의해 디바이스 이미지 계층으로서 사용될 수 있다.
계층화된 이미지 생성기(186)는 다중-뷰 비계층화된 이미지로부터 생성된 복수의 이미지 계층 내의 다중-뷰 단일-계층 이미지를 이미지 콘텐츠(114)로 인코딩하고, 이미지 콘텐츠(114)를 입력 콘텐츠 수신기(110), 데이터 저장부, 시네마 3D 시스템 등과 같은 하나 이상의 다운스트림 디바이스로 제공/송신한다.
일부 실시예에서, 이미지 콘텐츠 수신기(110)는 다중-뷰(MV) 이미지 수신기(152), 이미지 계층 송신기(156), 데이터 저장소(repository)(154) 등을 포함한다.
일부 실시예에서, 다중-뷰 이미지 수신기(152)는 계층화된 이미지 인코더(180)와 같은 이미지원, 클라우드 기반의 이미지원, VR 애플리케이션, AR 애플리케이션, 원격 프레전스 애플리케이션, 디스플레이 애플리케이션과 연결된 카메라 시스템 등으로부터, (입력) 이미지 콘텐츠(114)를 수신하고, 입력 이미지 스트림(114)을 다중-계층 다중-뷰 이미지의 시퀀스로 디코딩하도록 구성된 소프트웨어, 하드웨어, 소프트웨어 및 하드웨어의 조합 등을 포함한다. 각 다중-계층 다중-뷰 이미지는 다중-뷰 이미지 수신기(152)에 의해 다중-계층 다중-뷰 비디오 신호로부터 디코딩된, 시네마 이미지 계층에서의 하나 이상의 단일-계층 시네마 이미지 및 하나 이상의 디바이스 이미지 계층에서의 하나 이상의 단일-계층 디바이스 이미지를 포함한다.
시네마 이미지 계층으로부터, 이미지 계층 송신기(156)는 하나 이상의 단일-계층 시네마 이미지를 식별하거나 이를 생성한다. 하나 이상의 단일-계층 시네마 이미지는 시네마 이미지 계층 및 하나 이상의 디바이스 이미지 계층에서의 단일-계층 시네마 및 디바이스 이미지가 이전에 유도된 (원래의) 다중-뷰 비계층화된 이미지 내에 표현된 복수의 시각적 객체(예를 들어, 118, 120 등)에서 하나 이상의 시각적 객체(예를 들어, 118 등)의 제1 적합한 서브셋을 표현할 수 있다.
하나 이상의 디바이스 이미지 계층으로부터, 이미지 계층 송신기(156)는 하나 이상의 단일-계층 디바이스 이미지를 식별하거나 생성할 수 있다. 하나 이상의 단일-계층 디바이스 이미지는 (원래의) 다중-뷰 비계층화된 이미지에 의해 표현된 복수의 시각적 객체(예를 들어, 118, 120 등)에서 하나 이상의 시각적 객체(예를 들어, 120 등)의 하나 이상의 제2 적합한 서브셋을 표현할 수 있다.
일부 실시예에서, 이미지 계층 송신기(156)는 데이터 흐름(158)을 통해, 모든 단일-계층 시네마 이미지를 이미지 렌더러(106, 108), 또는 그 안의 시네마 이미지 렌더러(예를 들어, 106 등)에 전송하거나, 다른 방식으로 제공한다. 또한, 이미지 계층 송신기(156)는 데이터 흐름(158)을 통해, 모든 단일-계층 디바이스 이미지를 이미지 렌더러(106, 108), 또는 그 안의 시네마 이미지 렌더러(예를 들어, 108 등)에 전송하거나, 다른 방식으로 제공한다.
사용자(112-1)는 실행 시간(runtime)에, 웨어러블 디바이스(102-1)의 공간 위치 및 공간 방향의 변경을 야기하도록 이동할 수 있다. 일부 실시예에서, 디바이스 추적기(122)는 웨어러블 디바이스(102-1)의 공간 위치 및/또는 공간 방향을 추적/모니터링하고; 웨어러블 디바이스(102-1)의 공간 위치 및/또는 공간 방향을 기초로, 웨어러블 디바이스(102-1)의 위치 및 방향 데이터를 생성하는 등을 하도록 구성된 소프트웨어, 하드웨어, 소프트웨어 및 하드웨어의 조합 등을 포함한다.
디바이스 추적기(122)에 의해 생성된 웨어러블 디바이스(102-1)의 위치 및 방향 데이터는 상대적으로 미세한 주기 해상도(time resolution)(예를 들어, 매 밀리초마다, 매 5 밀리초마다 등)를 가질 수 있고, 주어진 주기 해상도(예를 들어, 매 밀리초마다, 매 5 밀리초마다 등)에서 웨어러블 디바이스(102-1)의 공간 위치 및/또는 공간 방향을 확립/결정하기 위해, 이미지 콘텐츠 수신기(110) 및/또는 이미지 렌더러(106, 108)와 같은 다른 디바이스에 의해 사용될 수 있다.
본원에서 기술된 디바이스 추적기의 예시는 외부 디바이스 추적기, 내부 디바이스 추적기, 아웃사이드-인(outside-in) 디바이스 추적기, 인사이드-아웃(inside-out) 디바이스 추적기 등 중 어느 것을 포함할 수 있지만, 이것만으로 제한되지 않는다. 제한적이지 않은 예시의 목적으로, 도 2a에 도시된 구성(100)에서 디바이스 추적기(122)는 외부 디바이스 추적기를 나타낸다. 하지만, 다른 실시예에서, 웨어러블 디바이스(102-1)의 일부일 수 있고, 웨어러블 디바이스(102-1)와 함께 위치될 수 있으며, 웨어러블 디바이스(102-1)와 함께 이동하는 등을 할 수 있는 인사이드-아웃 디바이스도 (외부) 디바이스 추적기(122)에 부가하여 또는 이 대신에 사용될 수 있음이 주목되어야 한다. 디바이스 추적기(122)는 3D 공간(126)에 존재하는 웨어러블 디바이스(102-1)를 포함하지만, 이에 제한되지 않는 상대적으로 많은 수의 웨어러블 디바이스의 특정한 좌표를 추적할 수 있다.
제한적이지 않은 예시로서, 3D 공간(126) 내의 공간 위치를 나타내는 데 사용되는 정지 3차원 공간 좌표 시스템은 기준 데카르트 좌표 시스템일 수 있다. 도 2a는 기준 데카르트 좌표 시스템의 두 개의 예시적인 공간 차원 즉, x 축 및 z축만을 도시한다; 기준 데카르트 좌표 시스템은 도 2a로부터 지시된 x 및 z축 양자에 수직인 다른 공간 차원 즉, y 축을 포함할 수 있다. 기준 데카르트 좌표 시스템은 도 2a에 도시된 바와 같이, "p"로 표기된 기준 공간 위치에서 좌표 시스템 원점을 포함할 수 있다. 기준 공간 위치는 3D 공간(126)에 대해 정지된 임의의 공간 위치로부터 선택될 수 있다.
웨어러블 디바이스(102-1)는 동작 중인 강체(또는 고정된 공간 형태의) 디바이스일 수 있지만, 이것만으로 제한되지 않는다. 웨어러블 디바이스(102-1) 상의 공간 위치는 웨어러블 디바이스(102-1)에 대해 정지 3차원 공간 좌표 시스템으로 나타날 수 있다. 기준 데카르트 좌표 시스템과 관련된 디바이스-정지 데카르트 좌표 시스템(device-stationary Cartesian coordinate system)은 웨어러블 디바이스(102-1) 상에서 공간 위치 및 공간 방향을 나타내는 데 사용될 수 있다. 디바이스-정지 데카르트 좌표 시스템은 도 2a에 도시된 x1 축 및 z1 축, 및 도 2a에 도시되지 않은 x1 및 z1 축 양자에 수직인 y1 축을 포함하는 각각의 축에 의해 나타난 3차원 공간 차원을 포함한다. 디바이스-정지 데카르트 좌표 시스템은 도 2a에 도시된 바와 같이, "p1"로 표기된 디바이스-정지 공간 위치에서 좌표 시스템 원점을 포함할 수 있다. 디바이스-정지 공간 위치는 웨어러블 디바이스(102-1)에 대해 정지된 임의의 공간 위치로부터 선택될 수 있다. 일부 실시예에서, 웨어러블 디바이스(102-1)에 대한 대칭 지점인 공간 장소가 존재하는 경우, 이러한 공간 장소는 디바이스-정지 데카르트 좌표 시스템에 대한 좌표 원점의 역할을 하도록, 디바이스-정지 공간 위치 "p1"로 선택될 수 있다.
일부 실시예에서, 디바이스 추적기(122)는 3D 공간(126)의 기준 데카르트 좌표 시스템에서 주어진 시점에 웨어러블 디바이스(102-1)의 하나 이상의 공간 좌표를 반복적으로(예를 들어, 실시간으로, 거의 실시간으로, 엄격한 타이밍 버짓(timing budget) 내에, 1 밀리초마다, 2 밀리초마다 등) 추적하거나, 이를 결정한다. 일부 실시예에서, 웨어러블 디바이스(102-1)의 하나 이상의 공간 좌표는 3D 공간(126)의 기준 데카르트 좌표 시스템에 관련하여, 웨어러블 디바이스(102-1)에 대해 정지된 디바이스-정지 공간 위치 "p1"의 하나 이상의 공간 좌표에 의해 나타날 수 있다.
웨어러블 디바이스(102-1)의 디바이스-정지 공간 장소 "p1"의 공간 좌표는 시간 함수로 나타날 수 있는 웨어러블 디바이스(102-1)의 공간 궤적을 구성한다. 웨어러블 디바이스(102-1)의 하나 이상의 움직임 특징의 임의의 조합은 웨어러블 디바이스(102-1)의 공간 궤적을 나타내는 이들 시간 함수로부터 결정될 수 있다.
예를 들어, 기준 데카르트 좌표 시스템의 원점 "p"과 같이, 3D 공간(126)에서 정지된 기준점에 관련된 웨어러블 디바이스(102-1)의 (시간에 걸친) 선형 위치/배치는 웨어러블 디바이스(102-1)의 (이전에 언급된 시간 함수로 나타난) 공간 궤적으로부터 (예를 들어, 벡터 차이 등으로) 결정되거나 또는 유도될 수 있다. 추가적으로, 선택적으로 또는 대안적으로, 3D 공간(126)에서 정지된 기준점에 관련된 웨어러블 디바이스(102-1)의 (시간에 걸친) 선형 속도, 속력, 가속도 등은 웨어러블 디바이스(102-1)의 공간 궤적으로부터 (예를 들어, 1차 도함수로, 2차 도함수 등으로) 결정되거나, 또는 유도될 수 있다.
유사하게, 웨어러블 디바이스(102-1)의 (시간에 걸친) 각 위치/배치(예를 들어, a1 등)는 기준 데카르트 좌표 시스템(예를 들어, x, y, z 등)에 관련된 디바이스-정지 좌표 시스템(예를 들어, x1, y1, z1 등)의 각 위치/배치로부터 결정되거나, 또는 유도될 수 있다.
추가적으로, 선택적으로 또는 대안적으로, 3D 공간(126)에서 기준 좌표 시스템에 관련된 웨어러블 디바이스(102-1)의 (시간에 걸친) 선형 또는 각속도, 속력, 가속도 등은 웨어러블 디바이스(102-1)의 선형 또는 각 위치/배치(예를 들어, p1, a1 등)로부터 (예를 들어, 1차 도함수로, 2차 도함수 등으로) 결정되거나, 또는 유도될 수 있다.
일부 실시예에서, 이미지 렌더러(106, 108)는 도 2b 및 도 2c에 도시된 바와 같이, 시네마 이미지 렌더러(예를 들어, 106 등) 및 디바이스 이미지 렌더러(예를 들어, 108)로 별도로 구현될 수 있다. 추가적으로, 선택적으로 또는 대안적으로, 시네마 이미지 렌더러(106), 디바이스 이미지 렌더러(108) 등과 같은 이미지 렌더러는 도 2a에 도시된 바와 같이, 단일 디바이스(예를 들어, 시네마-와이드 서버(cinema-wide server) 등) 내에 집합적으로 구현될 수 있다. 시네마 이미지 렌더러(106), 디바이스 이미지 렌더러(108) 등과 같은 이미지 렌더러(106, 108)에서 임의의 개별적인 이미지 렌더러는 3D 공간(126)에서 상대적으로 많은 수의 뷰어와 동시에 실시간으로 연결되는 이미지 렌더링 동작을 지원하기 위해, 병렬로 작업하는 다수의 (예를 들어, 컴퓨터, 디바이스, 가상 머신 등) 예시로 구현될 수 있다.
제한적이지 않은 예시의 목적으로, 이미지 렌더러(106, 108)는 이미지 계층 수신기(160), 디바이스 등록기(170), 디스플레이 이미지 생성기(162) 등을 포함한다. 이미지 렌더러(106, 108)는 중앙 이미지 렌더러, 분산된 이미지 렌더러, 웨어러블 디바이스(예를 들어, 102-1 등)의 일 부분으로 구현된 이미지 렌더러, 3D 공간에서 웨어러블 디바이스(예를 들어, 102-1 등)의 일부 또는 전체의 외부에 있는 이미지 렌더러, 웨어러블 디바이스(예를 들어, 102-1 등)의 일 부분으로 부분적으로 구현된 것, 및 웨어러블 디바이스(102-1)의 외부의 분리된 디바이스에 부분적으로 구현된 것 등 중의 임의의 것을 포함할 수 있지만, 이것만으로 제한되는 것은 아니다.
일부 실시예에서, 이미지 계층 수신기(160)는 데이터 흐름(158)을 통해, 다중-계층 다중-뷰 이미지의 시퀀스에서 각 다중-계층 다중-뷰 이미지에 대한 시네마 이미지 계층 및 하나 이상의 디바이스 이미지 계층을 수신하도록 구성된 소프트웨어, 하드웨어, 소프트웨어 및 하드웨어의 조합 등을 포함한다.
일부 실시예에서, 디바이스 등록기(170)는 3D 공간(126)에서 웨어러블 디바이스(예를 들어, 102-1 등)의 디바이스 ID 정보(예를 들어, MAC 주소, 네트워크 주소, IP 주소 등)를 수신; 웨어러블 디바이스(예를 들어, 102-1 등)에서 렌더링될 디바이스 디스플레이 이미지를 수신하는 웨어러블 디바이스(예를 들어, 102-1 등)의 각각을 등록 등을 하도록 구성된 소프트웨어, 하드웨어, 소프트웨어 및 하드웨어의 조합 등을 포함한다.
시네마 이미지 계층에서의 단일-계층 시네마 이미지를 기초로, 디스플레이 이미지 생성기(162)는 하나 이상의 시네마 디스플레이 이미지를 생성하고; 하나 이상의 시네마 디스플레이 이미지가 시네마 디스플레이(104) 상에서 렌더링되게 하는 등을 한다.
일부 실시예에서, 이미지 렌더러(106, 108), 또는 그 안의 디스플레이 이미지 생성기(162)는, 3D 공간(126)에서 디바이스 추적기(122)에 의해 추적/모니터링될 때 웨어러블 디바이스(예를 들어, 102-1 등)의 각각의 위치 및 방향 데이터를 수신하고; 각 이러한 웨어러블 디바이스(예를 들어, 102-1 등)의 위치 및 방향 데이터 및 하나 이상의 디바이스 이미지 계층에서의 단일-계층 디바이스 이미지를 기초로, 웨어러블 디바이스(예를 들어, 102-1 등)의 각각에 대한 하나 이상의 각각의 디바이스 디스플레이 이미지를 생성하며; 각각의 하나 이상의 디바이스 디스플레이 이미지가 각각의 디바이스 디스플레이(예를 들어, 도 1b의 116 등) 상에서 각 이러한 웨어러블 디바이스(예를 들어, 102-1 등)를 통해 렌더링되게 하는 등을 한다. 이미지 렌더러(예를 들어, 106, 108 등)는 하나 이상의 데이터 연결을 통해 웨어러블 이미지 렌더링 디바이스(예를 들어, 102-1 등)와, 제어 정보, 상대 정보, 디바이스 디스플레이 이미지와 같은 이미지 데이터, 메타데이터 등을 전달할 수 있다. 예시적인 데이터 연결은 무선 데이터 연결, 유선 데이터 연결, 무선 주파수 기반의 데이터 연결, 셀룰러 데이터 연결, Wi-Fi 데이터 연결, 적외선 기반의 데이터 연결, HDMI 케이블을 통한 데이터 연결, 광 케이블을 통한 데이터 연결, 고속 직렬 인터페이스(High-Speed Serial Interface, HSSI)를 통한 데이터 연결, 고해상도 직렬 디지털 인터페이스(High-Definition Serial Digital Interface, HD-SDI), 12G-SDI, USB 케이블, 좌석/팔걸이/바닥 등에 대한 것 등을 포함할 수 있지만, 이에 제한되지 않는다.
시네마 디스플레이 이미지 및/또는 디바이스 디스플레이 이미지의 예시는 모노스코픽 이미지(monoscopic image), 좌측 뷰 이미지 및 우측 뷰 이미지의 조합, 두 개 이상의 다중-뷰 이미지의 조합 등을 포함하지만, 이것만으로 제한되는 것은 아니다.
이미지 계층이 복수의 상이한 뷰 단일-계층 이미지를 포함하는 동작 시나리오에서, 시네마 이미지 렌더러(106) 및/또는 디바이스 이미지 렌더러(108)는 복수의 상이한 뷰 단일-계층 이미지 중에, 좌측 뷰 이미지 및 우측 뷰 이미지를 식별하거나, 선택하거나 및/또는 보간(interpolate)할 수 있다. 예를 들어, 이러한 좌측 뷰 이미지 및 우측 뷰 이미지 중 하나 또는 양자는 상이한 뷰 단일-계층 이미지를 좌측 뷰 이미지 및/또는 우측 뷰 이미지로 결합하는 이미지 보간(image interpolating) 및/또는 이미지 재구성에 의해 생성될 수 있다.
일부 실시예에서, 이미지 렌더러(106, 108)는 시네마 디스플레이 이미지 및/또는 디바이스 디스플레이 이미지를 렌더링하는 것의 일 부분으로 디스플레이 관리 동작을 수행한다.
증강 엔터테인먼트 시스템은 실시간 비디오 애플리케이션, 거의 실시간인 비디오 애플리케이션, 비실시간 비디오 애플리케이션, 가상 현실(VR) 애플리케이션, 증강 현실(AR) 애플리케이션, 원격 프레전스 애플리케이션, 차량 엔터테인먼트 애플리케이션, 헬멧 마운티드 디스플레이 애플리케이션, 헤드 업 디스플레이 애플리케이션, 게임, 2D 디스플레이 애플리케이션, 3D 디스플레이 애플리케이션, 다중-뷰 디스플레이 애플리케이션 등을 지원하는 데 사용될 수 있다. 입력 이미지 콘텐츠 데이터(114)의 일부 또는 전체는 증강 엔터테인먼트 시스템에 의해, 실시간으로, 거의 실시간으로, 비실시간으로 등, 수신되거나 생성되거나, 이에 액세스될 수 있다.
본원에 기술된 기법은 상당히 다양한 디스플레이를 통해 3D 또는 다중-뷰 이미지를 렌더링하고 보는 것을 지원하는 데 사용될 수 있다. 예시적인 디스플레이(예를 들어, 104, 웨어러블 디바이스의 디바이스 디스플레이 등)는 시네마 디스플레이, 홈 씨어터(home theater) 디스플레이, 텔레비전, 투사 기반의 디스플레이 시스템, 백라이트 기반의(backlight-based) 디스플레이 시스템, 라이트 필드 기반의 디스플레이 시스템, 광 도파관(light waveguide) 기반의 디스플레이 시스템, 액정 기반의 디스플레이 시스템, 발광 다이오드 기반의 시스템, 유기 발광 다이오드 기반의 시스템, 이미지 프로젝터, AR 디스플레이, 홀로렌즈 디스플레이, 매직 리프 디스플레이, 혼합 현실(MR) 디스플레이, 텐서 디스플레이, 체적 디스플레이, 라이트 필드(LF) 디스플레이, 임미 디스플레이, 메타 디스플레이, 상대적으로 간단한 AR 안경의 쌍, 순응-수렴 모순을 극복하는 광범위한 특성 중 어느 것을 갖는 디스플레이 등 중 어느 것을 포함할 수 있지만, 이것만으로 제한되는 것은 아니다.
일부 실시예에서, 계층화된 이미지 인코더(180)와 같이, 외부 이미지원으로부터 복수의 이미지 계층에서의 단일-계층 이미지를 포함하는 다중-계층 다중-뷰 이미지를 수신하는 것 대신에, 다중-뷰 이미지 수신기(152)는 데이터 저장소(154)로부터 이들 다중-뷰 다중-계층 이미지를 예를 들어, 로컬로 수신하거나 검색할 수 있다. 데이터 저장소(154)는 다중-계층 다중-뷰 이미지 등의 일부 또는 전체에 대해, 저장, 갱신, 검색, 삭제 등과 같은 동작을 지원하도록 구성된, 하나 이상의 데이터베이스, 하나 이상의 데이터 저장 유닛/모듈/디바이스 등을 나타낸다.
일부 실시예에서, 이미지 렌더러(예를 들어, 시네마 이미지 렌더러, 디바이스 이미지 렌더러 등)에 이미지 계층을 직접적으로 전송하는 것 대신에, 이미지 계층에서 특정하게 선택된 단일-계층 이미지를 포함하는 이미지 세트가 이미지 렌더러(예를 들어, 106, 108 등)에 전송될 수 있다. 이미지 계층 송신기(156)는 이미지 렌더러(106, 108) 내의 이미지 렌더러로부터 및/또는 디바이스 추적기(122)로부터, 디바이스 추적기(122)에 의해 추적된/모니터링된 웨어러블 디바이스(102-1)의 위치 및 방향 데이터를 수신하고; 기준 좌표 시스템에 관련하여 시간에 걸쳐 주어진 웨어러블 디바이스(예를 들어, 102-1 등)의 공간 위치 및/또는 공간 방향을 확립/결정하며; 각 수신된 다중-계층 다중-뷰 이미지의 이미지 계층에서 특정한 단일-계층 이미지를 선택함으로써 하나 이상의 이미지 세트를 생성할 수 있다. 특정한 단일-계층 이미지는 웨어러블 디바이스(102-1)의 공간 위치 및/또는 공간 방향에 따라, 웨어러블 디바이스(102-1)에 대해 특정하게 적응될 수 있다. 또한, 이미지 계층 송신기(156)는 하나의 이미지 세트 또는 이미지 세트들을 비디오 스트림으로 인코딩하고; 데이터 흐름(158)을 통해, 비디오 스트림을 이미지 렌더러(106, 108)에 제공/송신하는 등을 할 수 있다. 이미지 세트는 이미지 재구성/보간을 사용하여 웨어러블 디바이스(102-1)에 대한 디바이스 디스플레이 이미지를 생성하도록 이미지 렌더러(106, 108)에 의해 사용될 수 있다. 예시적인 이미지 세트 및 이미지 재구성/보간은 Ajit Ninan 및 Neil Mammen에 의해 2018년 4월 10일에 출원되고, 출원의 명칭이 "ADAPTING VIDEO IMAGES FOR WEARABLE DEVICES"인 미국특허출원번호 제15/949,720호에서 발견될 수 있으며, 그 전체 내용은 본원에서 완전히 설명되는 바와 같이 본원에 참조로 통합된다.
본원에 기술된 기법은 다양한 시스템 아키텍처로 구현될 수 있다. 본원에 기술된 일부 또는 전체 이미지 처리 동작은 클라우드 기반의 비디오 스트리밍 서버, 웨어러블 디바이스와 함께 위치되거나 또는 이에 통합된 비디오 스트리밍 서버, 비디오 스트리밍 클라이언트, 이미지 콘텐츠 수신기, 이미지 렌더링 디바이스 등 중 하나 이상에 의해 구현될 수 있다. 비디오 애플리케이션의 타입, 수신 디바이스의 대역폭/비트속도 버짓(bandwidth/bitrate budgets), 컴퓨팅 성능, 리소스, 부하 등, 비디오 스트리밍 서버, 이미지 콘텐츠 수신기, 이미지 렌더링 디바이스, 근본적인 컴퓨터 네트워크 등의 계산 성능, 리소스, 부하 등과 같은 하나 이상의 인자를 기초로, 일부 이미지 처리 동작은 이미지 콘텐츠 수신기에 의해 수행될 수 있는 한편, 일부 다른 이미지 처리 동작은 이미지 렌더링 디바이스 등에 의해 수행될 수 있다.
도 2b는 디바이스 디스플레이(112)를 구비하는 웨어러블 디바이스(102)와 같은 3D 이미지 렌더링 시청 안경 디바이스, 시네마 디스플레이(104), 시네마 이미지 렌더러(106), 디바이스 이미지 렌더러(108), 이미지 콘텐츠 수신기(110) 등을 포함하는 (3D) 증강 엔터테인먼트 시스템의 다른 예시적인 구성(100-1)을 도시한다. 도 2b에 도시된 구성요소/디바이스의 일부 또는 전체는 하나 이상의 기계적 구성요소, 하나 이상의 전자광학 구성요소, 하나 이상의 컴퓨팅 디바이스, 모듈, 유닛 등에 의해, 소프트웨어, 하드웨어, 소프트웨어 및 하드웨어의 조합 등으로 구현될 수 있다. 도 2b에 도시된 구성요소/디바이스의 일부 또는 전체는 도 2b에 도시된 일부 다른 구성요소/디바이스와, 또는 도 2b에 도시되지 않은 다른 구성요소/디바이스와 통신 가능하게(예를 들어, 무선으로, 유선 연결을 통해 등으로) 연결될 수 있다.
일부 실시예에서, 이미지 콘텐츠 수신기(110)는 시네마 이미지 계층으로부터 디코딩된 (도 2a와 연관되어 이전에 논의된 바와 같이) 단일-계층 시네마 이미지를 시네마 이미지 렌더러(106)에 전송하거나 또는 다른 방식으로 제공한다. 또한, 이미지 콘텐츠 수신기(110)는 디바이스 이미지 계층으로부터 디코딩된 (또한, 도 2a와 연관되어 이전에 논의된 바와 같이) 단일-계층 디바이스 이미지를 디바이스 이미지 렌더러(108)에 전송하거나, 또는 다른 방식으로 제공한다.
단일-계층 시네마 이미지를 기초로, 시네마 이미지 렌더러(106)는 시네마 디스플레이(104) 상에서: 제1 모노스코픽 이미지, 제1 좌측 뷰 이미지 및 제1 우측 뷰 이미지의 조합, 두 개 이상의 제1 다중-뷰 이미지의 조합 등 중 하나일 수 있는 시네마 디스플레이 이미지를 렌더링한다.
단일-계층 디바이스 이미지를 기초로, 디바이스 이미지 렌더러(108)는 웨어러블 디바이스(102)가 디바이스 디스플레이(116) 상에서, 제2 모노스코픽 이미지, 제2 좌측 뷰 이미지 및 제2 우측 뷰 이미지의 조합, 두 개 이상의 제2 다중-뷰 이미지의 조합 등 중 하나일 수 있는 디바이스 디스플레이 이미지를 렌더링하게 한다.
일부 실시예에서, 디바이스 디스플레이(116)는 물리적인 디스플레이가 아니라, 오히려 웨어러블 디바이스(102)에서 이미저(들)에 의해 방출된 광선에 의해 생성된 이미지 평면 또는 가상 디스플레이이다.
일부 실시예에서, 시네마 디스플레이(104) 상에서 렌더링되는 좌측 뷰 시네마 디스플레이 이미지 및 우측 뷰 시네마 디스플레이 이미지의 쌍에 표현된 시각적 객체(예를 들어, 118 등)의 제1 적합한 서브셋, 및 디바이스 디스플레이(116) 상에서 렌더링되는 대응하는 디스플레이 이미지 내에 표현된 시각적 객체(예를 들어, 120 등)의 하나 이상의 제2 적합한 서브셋은 3D 이미지 공간(예를 들어, 도 1a의 196 등) 내의 상이한 공간 장소에 위치된 복수의 시각적 객체(예를 들어, 118, 120 등)를 집합적으로 표현하기 위해 동시에(예를 들어, 함께, 동기식으로, 동일한 이미지 프레임 간격 내에서 등으로) 렌더링된다. 3D 이미지 공간(196) 내의 이들 공간 장소는 복수의 시각적 객체를 제1 장소 내에서 시네마 이미지 계층(또는 시각적 객체의 제1 적합한 서브셋) 및 하나 이상의 디바이스 이미지 계층(또는 시각적 객체의 하나 이상의 제2 적합한 서브셋)으로 분할하는 데 사용된 다중-뷰 비계층화된 이미지의 공간 정보에서 지정되거나 기술된 것과 동일할 수 있다.
일부 실시예에서, 시네마 이미지 렌더러(106) 및/또는 디바이스 이미지 렌더러(108)는 (a) 좌측 뷰 시네마 디스플레이 이미지 및 우측 뷰 시네마 디스플레이 이미지 및/또는 (b) 디바이스 디스플레이 이미지를 렌더링하는 것의 일 부분으로서 디스플레이 관리 동작을 수행한다.
본원에서 기술된 증강 엔터테인먼트 시스템이 다중-뷰어 환경에서 동작하는 동작 시나리오에서, (다수의 사용자의 개별적인 좌석 위치를 포함하지만 이에 제한되지 않는) 공간 위치 및/또는 다수의 사용자의 개별적인 웨어러블 디바이스의 공간 방향은 뷰어의 개별적인 웨어러블 디바이스를 통해 렌더링된 개별적인 디바이스 이미지 콘텐츠와, 시네마 디스플레이, 투사 디스플레이 등과 같은 공유된 디스플레이 상에 렌더링된 큰 스크린 콘텐츠(또는 시네마 이미지 콘텐츠)를 이음매 없이 중첩시키도록(또는 겹쳐지도록) 추적되거나, 계산되거나 및/또는 사용될 수 있다.
도 3a는 다수의 뷰어에 대해 공유된 디스플레이로서의 시네마 디스플레이(예를 들어, 104 등) 및 3D 공간(예를 들어, 126 등)을 포함하는 예시적인 다중-뷰어 환경의 사시도를 도시한다. 3D 공간(126)은 복수의 좌석 공간(예를 들어, 326 등)을 포함하는 청중 영역(324)을 포함할 수 있다. 그들 각각의 웨어러블 디바이스를 착용하는 다수의 뷰어는 시네마 디스플레이(104) 상에서 렌더링된 시네마 이미지 콘텐츠를 보고, 시네마 이미지 콘텐츠를 봄과 동시에 웨어러블 디바이스에 의해 개별적으로 렌더링된 적합하게 중첩된 디바이스 이미지 콘텐츠를 보기 위해, 청중 영역(324) 내의 복수의 좌석 공간에 착석할 수 있다. 3D 공간(126)의 특정한 기하학적 구성이 주어지면, 웨어러블 디바이스의 높이, 선형 거리 및 각 거리는 다중-뷰어 환경에서 시네마 디스플레이(104)에 관련하여 실질적으로 변할 수 있다.
뷰어 및 그의 웨어러블 디바이스의 실제 좌석 위치는 다수의 상이한 방식 중 하나 이상의 임의의 조합으로 결정될 수 있다. 일 예시에서, 뷰어 및 뷰어의 웨어러블 디바이스의 특정한 좌석 위치(또는 특정한 좌석 공간)는 뷰어 또는 뷰어의 웨어러블 디바이스에 발행된 특정한 티켓을 기초로 결정될 수 있다. 다른 예시에서, 기준 마커(fiducial markers)가 시네마 이미지 콘텐츠 내에 또는 시네마 디스플레이(104) 주위의 공간 영역 내에 내장될 수 있다. 웨어러블 디바이스(또는 헤드셋)는 기준 마커로부터의 광선에 응답하여 생성된 이미지 마커를 갖는 추적 이미지를 취득할 수 있다. 추적 이미지 내의 이미지 마커를 기초로, 웨어러블 디바이스는 증강 엔터테인먼트 세션에서 임의의 주어진 시간에 웨어러블 디바이스의 공간 위치 및/또는 공간 방향을 (예를 들어, 정밀하게 등) 결정할 수 있다. 기준 마커를 기초로 한 웨어러블 디바이스의 공간 위치 및/또는 공간 방향의 예시적인 결정은 Ajit Ninan 및 Neil Mammen에 의해 2018년 4월 10일에 출원되고, 출원의 명칭이"ADAPTING VIDEO IMAGES FOR WEARABLE DEVICES"인, 이전에 언급된 미국특허출원번호 제15/949,720호에서 발견될 수 있다.
추가적인 예시에서, 상이한 웨어러블 디바이스(예를 들어, AR 헤드셋 등)는 3D 공간(126) 내의 그 각각의 좌석 위치(또는 좌석 공간)에 부착되거나 이에 할당될 수 있다.
추가적으로, 선택적으로 또는 대안적으로, 무선 주파수(RF) 장소 검출은 증강 엔터테인먼트 세션에서 임의의 주어진 시간에 웨어러블 디바이스의 공간 위치 및/또는 공간 방향을 결정하는 데 사용될 수 있다. RF 장소 검출을 기초로 하는 웨어러블 디바이스의 공간 위치 및/또는 공간 방향의 예시적인 결정은 이의 전체 내용이 본원에서 완전히 설명되는 바와 같이 본원에 참조로 통합되는 미국특허번호 제7,580,378호에서 발견될 수 있다.
일부 실시예에서, (예를 들어, 상대적으로 큰 등) 3D 공간(126)은 다수의 구역(예를 들어, 이들 중 하나는 도 3b의 328 등일 수 있음)으로 분리될 수 있다(segregated). 다수의 미디어 스트리밍 서버는 다수의 구역(예를 들어, 328 등) 내의 뷰어에게 디바이스 이미지 콘텐츠를 스트리밍하는 데 사용될 수 있다. 각 구역(예를 들어, 328 등) 내의 뷰어는 다수의 미디어 스트리밍 서버에서 각각의 미디어 스트리밍 서버에 의해 지원될 수 있다. 일부 실시예에서, 미디어 스트리밍 서버는 미디어 스트리밍 서버에 의해 지원되도록 지정된 구역(328)에 착석한 뷰어 중 각 뷰어에 대한 뷰어-특정 디바이스 이미지 콘텐츠를 생성한다. 구역(328) 내의 뷰어의 웨어러블 디바이스는 뷰어-특정 디바이스 이미지 콘텐츠를 수신할 때, 없거나 적은 추가적은 적응을 통해, 또는 상대적으로 간단한 이미지 렌더링 동작(예를 들어, 이미지 보간/재구성/선택 등)을 통해, 뷰어-특정 디바이스 이미지 콘텐츠를 렌더링할 수 있다. 일부 실시예에서, 미디어 스트리밍 서버는 미디어 스트리밍 서버에 의해 지원되는 구역(328)에서 구역 내의 모든 뷰어에 대한 구역-특정 디바이스 이미지 콘텐츠를 생성할 수 있다. 구역(328) 내의 개별적인 뷰어의 웨어러블 디바이스는 구역-특정 디바이스 이미지 콘텐츠를 수신할 때, 웨어러블 디바이스의 공간 위치 및/또는 공간 방향을 기초로 구역-특정 디바이스 이미지 콘텐츠를 적응시키고, 적응된 디바이스 이미지 콘텐츠를 렌더링할 수 있다.
증강 엔터테인먼트 시스템은 증강 엔터테인먼트 세션(예를 들어, VR 세션, AR 세션, 원격 프레전스 세션, 컴퓨터 게임 세션, 영화 등)에서 실시간으로 웨어러블 디바이스의 공간 위치 및/또는 공간 방향을 결정하기 위해 디바이스 추적 기법을 구현하거나, 이를 통해 동작될 수 있다. 이들 디바이스 추적 기법의 일부 또는 전체는 상대적으로 많은 수의 뷰어의 웨어러블 디바이스의 공간 위치 및/또는 공간 방향을 함께 추적/모니터링하도록 스케일링될 수 있다. 웨어러블 디바이스의 공간 위치 및/또는 공간 방향은 디바이스 이미지 콘텐츠를 개별적인 웨어러블 디바이스 및 개별적인 뷰어에 대해 특정하게 적응된 디바이스 이미지 콘텐츠로 적응시키고, 개별적인 웨어러블 디바이스 상에서 특정하게 적응된 디바이스 이미지 콘텐츠를 렌더링하는 데 사용될 수 있다.
예시적인 디바이스 추적 기법은 웨어러블 디바이스 단독으로 수행되는 추적 기법, 외부 디바이스 단독으로 수행되는 추적 기법, 일부는 웨어러블 디바이스에 의해 및 일부는 외부 디바이스에 의해 수행되는 추적 기법, 아웃사이드-인 추적, 인사이드-아웃 디바이스 추적, 다수의 디바이스가 협력하는 분산 디바이스 추적, 기준 마크를 기초로 하는 추적, RF 또는 적외선 신호를 기초로 하는 추적 등 중 어느 것을 포함할 수 있지만, 이것만으로 제한되는 것은 아니다. 이들 디바이스 추적 기법의 일부 또는 전체는 증강 엔터테인먼트 시스템이 동작하는 특정한 환경에 특정하게 적응될 수 있다. 이들 디바이스 추적 기법의 일부 또는 전체는 상대적으로 낮은 비용, 상대적으로 낮은 복잡도, 회복력에 대한 상대적으로 높은 대리 기능성(redundancy), 상대적으로 높은 정확성, 상대적으로 많은 수의 다수의 뷰어 등으로 구현될 수 있다.
추가적으로, 선택적으로 또는 대안적으로, 웨어러블 디바이스의 MAC 주소, 네트워크 주소, IP 주소 등을 포함하지만 이에 제한되지 않는 디바이스 ID 정보는 본원에 기술된 디바이스 추적 기법에 의해 획득될 수 있다.
웨어러블 디바이스의 공간 위치, 공간 방향, 디바이스 ID 정보, 네트워크 주소 등의 일부 또는 전체는 시네마 이미지 콘텐츠와 동기식으로 렌더링되도록 디바이스 이미지 콘텐츠를 획득하거나 다운로드하기 위해, 각각의 미디어 스트리밍 서버에 웨어러블 디바이스(개별적으로 또는 그룹/구역으로) 웨어러블 디바이스를 전달하고 이를 등록하는 데 사용될 수 있다.
특정 시점에 웨어러블 디바이스의 디바이스 ID 정보, 특정한 공간 위치 및/또는 특정한 공간 방향 등은, 특정 시점에 대해 생성된 디바이스 이미지 콘텐츠를 스트리밍 및 렌더링하는 것과, 특정 시점에 대해 생성된 시네마 이미지 콘텐츠를 스트리밍 및 렌더링하는 것을 동기화하는 데 사용될 수 있다. 예를 들어, 제1 시점에 시네마 디스플레이(104) 상에서 렌더링될 3D 시네마 디스플레이 이미지를 생성하는 데 사용되는 단일-계층 시네마 이미지는 제1 시점을 로컬로 나타내는 타임 스탬프에 의해 색인될 수 있다. 동일한 제1 시점에 웨어러블 디바이스를 통해 렌더링될 대응하는 3D 디바이스 디스플레이 이미지를 생성하는 데 사용되는 대응하는 단일-계층 디바이스 이미지는 동일한 타임 스탬프에 의해 색인될 수 있다. 따라서, 웨어러블 디바이스 및 시네마 이미지 렌더러(106) 양자는 3D 시네마 디스플레이 이미지 및 대응하는 3D 디바이스 디스플레이 이미지를 동시에 디스플레이할 수 있다.
도 2c는 3D 공간(예를 들어, 126 등)에서 제1 뷰어(112-1)에 의해 사용되는 제1 웨어러블 디바이스(102-1) 및 제2 뷰어(112-2)에 의해 사용되는 제2 웨어러블 디바이스(102-2) 등과 같은 복수의 웨어러블 디바이스를 모니터링하기 위해 추적 센서 조립체(124)를 통해 동작되는 디바이스 추적기(122)를 포함하는 증강 엔터테인먼트 시스템의 예시적인 구성(100-2)을 도시한다. 도 2c에 도시된 바와 같이, 증강 엔터테인먼트 시스템은 시네마 이미지 렌더러(예를 들어, 106 등), 디바이스 이미지 렌더러(예를 들어, 108 등), 이미지 콘텐츠 수신기(예를 들어, 110 등), 시네마 디스플레이(예를 들어, 104 등), 하나 이상의 웨어러블 디바이스를 더 포함한다. 도 2c에 도시된 구성요소/디바이스의 일부 또는 전체는 하나 이상의 기계적 구성요소, 하나 이상의 전자광학 구성요소, 하나 이상의 컴퓨팅 디바이스, 모듈, 유닛 등에 의해, 소프트웨어, 하드웨어, 소프트웨어 및 하드웨어의 조합 등으로 구현될 수 있다. 도 2c에 도시된 구성요소/디바이스의 일부 또는 전체는 도 2c에 도시된 일부 다른 구성요소/디바이스, 또는 도 2c에 도시되지 않은 다른 구성요소/디바이스와 통신 가능하게(예를 들어, 무선으로, 유선 연결을 통해 등으로) 연결될 수 있다.
일부 실시예에서, 디바이스 추적기(122) 및 추적 센서 조립체(124)는 추적 하에 있는 웨어러블 디바이스로부터 원격에 있는 중앙 추적 시스템을 나타낸다. 디바이스 추적기(122) 및 추적 센서 조립체(124)는 웨어러블 디바이스에게 복잡하거나 및/또는 능동적인 자가 추적 기능을 구현하도록 요청하지 않으면서, 웨어러블 디바이스를 통한 디바이스 추적 동작을 달성할 수 있다. 따라서, 웨어러블 디바이스는 상대적으로 단순한 설계를 통해 상대적으로 낮은 비용으로 제작될 수 있다. 추적 센서 조립체를 통해 동작하는 예시적인 디바이스 추적기는 Ajit Ninan 및 Neil Mammen에 의해, 2018년 4월 10일에 출원되고 출원의 명칭이 "PASSIVE MULTI-WEARABLE-DEVICE TRACKING"인, 이전에 언급된 미국특허출원번호 제15/949,536호에서 발견될 수 있다.
본원에서 기술된 중앙 추적 시스템은 단일 웨어러블 디바이스 또는 다수의 웨어러블 디바이스의 물리적인 이동을 정확하고, 신뢰성 있으며, 그에 응답하여 추적하도록 사용될 수 있다. 추적 목적을 위해 사용되는 구성요소는 상대적으로 작은 풋프린트(footprints)로 소형화되고, 웨어러블 디바이스의 전체 형태 인자로 기계적으로 및/또는 전기적으로 통합될 필요가 없다. 웨어러블 디바이스 내에는 웨어러블 디바이스의 공간 위치 및 시야 방향을 추적하는 복잡한 분석 알고리즘이 설계되고, 완성되며(perfected) 구현될 필요가 없다.
일부 실시예에서, 시네마 이미지 렌더러(106), 디바이스 이미지 렌더러(108) 및 디바이스 추적기(122)는 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)로부터 떨어져 위치된 하나 이상의 중앙 미디어 서버 내에 구현될 수 있다. 추적 센서 조립체(124)와 협력하여 동작하는 디바이스 추적기(122)는 증강 엔터테인먼트 세션(예를 들어, VR 세션, AR 세션, 원격 프레전스 세션, 컴퓨터 게임 세션, 영화 등)에서 실시간으로 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 공간 위치 및/또는 공간 방향을 결정한다.
제1 웨어러블 디바이스(102-1)는 제1 웨어러블 디바이스(102-1)에 대하여 정지 3차원 공간 좌표 시스템에 나타날 수 있는 강체 디바이스 공간 위치에 있을 수 있지만, 이것만으로 제한되는 것은 아니다. 기준 데카르트 좌표 시스템에 대한 디바이스-정지 데카르트 좌표 시스템은 제1 웨어러블 디바이스(102-1) 상의 공간 위치 및 공간 방향을 나타내는 데 사용될 수 있다. 디바이스-정지 데카르트 좌표 시스템은 x1 축 및 z1 축, 및 도 2c에 도시되지 않은 x1 축 및 z1 축 양자에 수직인 y1 축을 포함하는 각각의 축에 의해 나타난 세 개의 공간 차원을 포함한다. 디바이스-정지 데카르트 좌표 시스템은 "p1"로 표기된 디바이스-정지 공간 위치에서 좌표 시스템 원점을 포함할 수 있다. 디바이스-정지 공간 위치 "p1"는 제1 웨어러블 디바이스(102-1)에 대해 정지된 임의의 공간 위치로부터 선택될 수 있다. 일부 실시예에서, 제1 웨어러블 디바이스(102-1)에 대한 대칭 지점인 공간 장소가 존재하는 경우, 이러한 공간 장소는 디바이스-정지 데카르트 좌표 시스템에 대해 좌표 원점의 역할을 하도록 디바이스-정지 공간 위치 "p1"로 선택될 수 있다.
유사하게, 제2 웨어러블 디바이스(102-2)는 제2 웨어러블 디바이스(102-2)에 대하여 정지된 제2 3차원 공간 좌표 시스템으로 나타날 수 있는 강체 디바이스 공간 위치에 있을 수 있지만 이것만으로 제한되는 것은 아니다. 기준 데카르트 좌표 시스템에 관련된 제2 디바이스-정지 데카르트 좌표 시스템은 제2 웨어러블 디바이스(102-2) 상의 공간 위치 및 공간 방향을 나타내는 데 사용될 수 있다. 제2 디바이스-정지 데카르트 좌표 시스템은 x2 축 및 z2 축, 그리고 도 2c에 도시되지 않은 x2 축 및 z2 축 양자에 수직인 y2 축을 포함하는 각각의 축에 의해 나타나는 세 개의 공간 차원을 포함한다. 제2 디바이스-정지 데카르트 좌표 시스템은 "p2"로 표기된 디바이스-정지 공간 위치에서 좌표 시스템 원점을 포함할 수 있다. 디바이스-정지 공간 위치 "p2"는 제1 웨어러블 디바이스(102-1)에 대해 정지된 임의의 공간 위치로부터 선택될 수 있다. 일부 실시예에서, 제2 웨어러블 디바이스(102-2)에 대한 대칭 지점인 공간 장소가 존재하는 경우, 이러한 공간 장소는 제2 디바이스-정지 데카르트 좌표 시스템에 대한 좌표 원점의 역할을 하도록 디바이스-정지 공간 위치 "p2"로 선택될 수 있다.
웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 공간 위치 및/또는 공간 방향은 디바이스 이미지 콘텐츠를 개별적인 웨어러블 디바이스 및 개별적인 뷰어에 대해 특정하게 적응된 디바이스 이미지 콘텐츠로 적응시키고, 개별적인 웨어러블 디바이스 상에서 특정하게 적응된 디바이스 이미지 콘텐츠를 렌더링하는 데 사용될 수 있다.
부가적으로, 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 공간 위치 및/또는 공간 방향은 시간 함수로서 시네마 이미지 렌더러(106) 및 디바이스 이미지 렌더러(108)에 제공될 수 있다. 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 공간 위치, 공간 방향 등을 기초로, 시네마 이미지 렌더러(106) 및 디바이스 이미지 렌더러는 특정 시점에 대해 생성된 디바이스 이미지 콘텐츠를 스트리밍 및 렌더링하는 것과, 특정 시점에 대해 생성된 시네마 이미지 콘텐츠를 스트리밍 및 렌더링하는 것을 예를 들어, 시네마 이미지 콘텐츠 및 디바이스 이미지 콘텐츠를 색인하는 공통 타임스탬프를 통해 동기화할 수 있다. 시네마 이미지 콘텐츠 디바이스 이미지 콘텐츠를 색인하는 타임스탬프는 시네마 이미지 콘텐츠 디바이스 이미지 콘텐츠와 함께 저장되거나 송신될 수 있다. 시네마 디스플레이 이미지가 시네마 디스플레이 상에서 렌더링되는 동안, 대응하는 디바이스 디스플레이 이미지는 웨어러블 디바이스에 스트리밍되고(예를 들어, 사전에 등), 동시에 시네마 디스플레이 상에서 시네마 디스플레이 이미지의 렌더링과 동기식으로 디바이스 디스플레이 상에서 렌더링된다.
일부 실시예에서, 시네마 이미지 콘텐츠 및 디바이스 이미지 콘텐츠의 일부 또는 전체는 이미지 콘텐츠 수신기 또는 이미지 렌더러로부터 무선으로 또는 유선 데이터 연결을 통해 스트리밍되는 것 대신에 또는 이에 부가하여 로컬로 저장될 수 있다. 예를 들어, 디바이스 이미지 콘텐츠는 (예를 들어, 뷰어의 개별적인 좌석 공간에서 USB 데이터 연결 등으로부터 이용 가능한) 로컬 하드 드라이브로부터 불러올 수 있다. 타임스탬프, 핑 메시지(pinging messages) 등은, 어떤 대응하는 디바이스 이미지 콘텐츠가 시네마 디스플레이 상에서 렌더링되는 시네마 이미지 콘텐츠의 렌더링과 동기식으로 렌더링되어야 하는지를 식별하기 위해, 시네마 이미지 렌더러에 의해 3D 공간(126) 내의 모든 웨어러블 디바이스로 전송될 수 있다. 추가적으로, 선택적으로 또는 대안적으로, 타임스탬프, 핑 메시지 등 대신에 또는 이에 부가하여, 시네마 이미지 콘텐츠와 대응하는 디바이스 이미지 콘텐츠의 렌더링을 동기화할 목적으로, 워터마킹, 미디어 콘텐츠 상에서 지문 알고리즘을 구동하는 것으로부터 유도된 지문, 기준 마크 등이 내장되거나, 전달되거나, 디스플레이되거나, 송신되거나, 또는 추적될 수 있다.
따라서, 디바이스 추적기(122) 및 추적 센서 조립체(124)로 구현된 중앙 추적 시스템은, 상대적으로 높은 디바이스 제조 비용, 상대적으로 높은 디바이스 유지 비용(예를 들어, 상이한 연속적인 뷰어 사이에서 웨어러블 디바이스를 공유하는 상업적인 설정에서 상대적으로 높은 디바이스 세척/세정 비용 등), 상대적으로 높은 통신 비용, 상대적으로 높은 동기화 비용을 유발할 수 있는 분산된 디바이스 추적을 통한 엔터테인먼트 시스템에 비해, 증강 엔터테인먼트 시스템에서 시네마 이미지 콘텐츠 및 디바이스 이미지 콘텐츠를 스트리밍 및 렌더링하는 것을 동기화하는 것이 상대적으로 효율적인 동작이 되도록 사용될 수 있다.
웨어러블 디바이스(예를 들어, 102-1, 102-2 등) 등은 예를 들어, 사용자(예를 들어, 112-1, 112-2 등)에 의해, 3D 공간(126)에서 정지된 시네마 디스플레이(104)와 같이, 정지 객체 또는 정지 좌표 시스템에 대하여 관련된 움직임을 하도록 구동될 수 있다. 이들 관련된 움직임은 선형 위치/배치, 각 위치/배치, 선형 속도/속력, 각속도/속력, 선형 가속도, 회전 가속도 등 중 하나 이상의 임의의 조합으로 나타날 수 있다.
예를 들어, 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)는 영화관, 홈 엔터테인턴트 공간, 행사장 등과 같은 물리적인 공간에서 어느 주어진 시점에 특정한 공간 위치 및 특정한 공간 방향을 갖는 3D 물리 객체일 수 있다.
웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 특정한 공간 위치는 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 특정한 선형 위치의 공간 좌표에 의해 특징지어 지거나 측정될 수 있다. 이러한 특정한 선형 위치의 예시는 공간 대칭 지점, 안경 프레임의 기하학적인 중심점, 뷰어의 눈 사이의 중간 지점 등일 수 있다. 선형 위치의 예시적인 공간 좌표는 데카르트 좌표 시스템, 극 좌표 시스템 등의 공간 좌표일 수 있다.
웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 특정한 공간 방향은 3D 공간(126)에서 정지된 기준 3차원 좌표 시스템에 관련하여, 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)에 단단히 고정되거나 또는 정지된 특정한 3차원 좌표 시스템(예를 들어, 제1 웨어러블 디바이스(102-1)의 제1 디바이스-정지 데카르트 좌표 시스템, 제2 웨어러블 디바이스(102-2)의 제2 디바이스-정지 데카르트 좌표 시스템 등)의 각 위치의 공간 좌표에 의해 특징지어 지거나 측정될 수 있다. 3D 공간(126)에서 기준 3차원 좌표 시스템은 시네마 디스플레이(104)의 선택된 위치 "p"에 위치된 그의 좌표 원점과 x, y 및 z 축(도 2c에는 x 및 z 축 만이 도시됨)을 포함하는 기준 데카르트 좌표 시스템일 수 있다. 웨어러블 이미지 렌더링 디바이스(102)에 단단하게 고정되거나 이에 정지된 예시적인 디바이스-정지 3차원 좌표 시스템은 뷰어의 정면 시야 방향에 대응하는 z 방향, 뷰어의 동공간 거리에 평행한 x 방향, 및 x 및 z 방향에 수직인 y 방향을 갖는 3차원 데카르트 좌표 시스템일 수 있다. 각 위치의 예시적인 공간 좌표는 피치(pitch), 요(yaw), 롤(roll) 등일 수 있다.
웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 특정한 공간 위치 및 특정한 공간 방향은 여섯 개의 공간 차원 - 선형 이동에 관련된 세 개, 및 회전에 관련된 다른 세 개 -에 의해 일반적으로 특징지어질 수 있다. 일부 실시예에서, 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 특정한 공간 위치 및 특정한 공간 방향을 특징 짓는 데 사용되는 여섯 개의 공간 차원은 서로에 대해 완전히 독립적이다. 이들 실시예에서, 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)는 6 자유도를 갖는다. 하지만, 주어진 자유도에 대응하는 선형 또는 각 위치가 일 범위로 여전히 제한될 수도 있다.
예를 들어, 영화관에서, 시네마 디스플레이(104)에 대한 정지 기준 데카르트 좌표 시스템에서 x 방향(예를 들어, 스웨이(sways) 등)을 따른 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 선형 위치는 뷰어(예를 들어, 112-1, 112-2 등)에게 할당된 좌석의 폭의 일부에 대응하는 범위로 제한될 수 있다. 시네마 디스플레이(104)에 대한 정지 데카르트 좌표 시스템에서 y 방향(히브(heaves))을 따른 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 선형 위치는 뷰어의 머리의 일부에 대응하는 범위로 제한될 수 있다. 시네마 디스플레이(104)에 대한 정지 데카르트 좌표 시스템에서 z 방향(예를 들어, 서지(surges) 등)을 따른 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 선형 위치는 뷰어(예를 들어, 112-1, 112-2 등)의 좌석의 등받이와 뷰어(예를 들어, 112-1, 112-2 등)의 좌석 바로 앞 좌석의 등받이 사이의 범위로 제한될 수 있다.
본원에서 기술된 기법은 360도까지(또는 구체의 전체 4π 입체 각까지) 전방향성 이미지를 보는 것을 지원하는 데 사용될 수 있다. 예를 들어, 본원에 기술된 웨어러블 디바이스는 시네마 디스플레이 이미지가 렌더링되는 시네마 디스플레이가 3D 공간에 고정되거나 정지되더라도, 임의의 시야각으로부터 360도까지(또는 구체의 전체 4π 입체 각까지) 방향-특정 디바이스 디스플레이 이미지를 볼 수 있다. 웨어러블 디바이스의 뷰어는 시네마 디스플레이로부터 떨어져서 볼 때, 하나 이상의 디바이스 이미지 계층에서의 단일-계층 디바이스 이미지로부터 유도된 디바이스 디스플레이 이미지만을 볼 수 있다. 하지만, 일부 동작 시나리오에서, 시네마 디스플레이(104)에 관련하여 요에 대한 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 각 위치는 정면 시야 방향의 제1 범위(예를 들어, +/- 20도, +/- 30도, +/- 180도 까지 등)로 제한될 수 있다. 시네마 디스플레이(104)에 관련하여 롤에 대한 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 각 위치는 정면 시야 방향의 제2 범위(예를 들어, +/- 20도, +/- 30도, +/- 180도 까지 등)로 제한될 수 있다. 시네마 디스플레이(104)에 관련하여 피치에 대한 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 각 위치는 정면 시야 방향의 제3 범위(예를 들어, +/- 20도, +/- 30도, +/- 180도 까지 등)로 제한될 수 있다. 이들 각 범위는 상이하게 제한될 수 있다. 예를 들어, 제3 범위는 피치 움직임이 상대적으로 심각한 메스꺼움 및 생리적인 불편함을 생성하는 경향이 있을 때 상대적으로 낮게 설정될 수 있다.
앞서 언급된 위치 또는 각 범위 중 어느 것이 축소되거나, 단일 값으로 제한되는 경우, 단일-값의 위치 또는 각 범위에 대응하는 자유도는 6 자유도로부터 손실되거나 제거된다. 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)가 시네마 디스플레이(104)에 대해 (예를 들어, 논리적으로, 물리적으로 등) 선형 및 회전 고정될 때 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)는 0 자유도를 갖는다. 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)가 회전 고정되지만, 시네마 디스플레이(104)에 대한 선형 이동에서 선 또는 1차원 커브를 따라 이동하도록 제한될 때 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)는 1 자유도를 갖는다. 유사하게, 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)가 선형 고정되지만 시네마 디스플레이(104)에 대한 단일 회전 방향으로 회전하도록 제한될 때 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)는 1 자유도를 갖는다.
일부 실시예에서, 3D 공간(126)에 배치된 추적 센서 조립체(124)와 협력하여 동작하는 디바이스 추적기(122)는 3D 공간(126)에서 웨어러블 디바이스의 공간 위치 및 공간 방향을 모니터링한다. 일부 실시예에서, 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)는 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)에 제거 가능하게 또는 제거할 수 없게 부착되거나, 또는 다른 방식으로 이에 설치된 광원을 갖는다. 이들 광원은 가시광 파장의 광선, 비가시광 파장의 광선, 적외선 광 등과 같은 광선을 방출하거나 이를 반사시킬 수 있다. 광원의 예시는 광 방출기, 발광 다이오드(LED), 비-LED 광, 광 재생기(light regenerators), 광 반사기, 광 산란 디바이스, 역반사기(retroreflectors) 등 중 어느 것을 포함하지만 이것만으로 제한되는 것은 아니다. 제한적이지 않은 예시의 목적으로, 웨어러블 디바이스(예를 들어, 102-1, 102-2 등) 상의 광원은 디바이스 추적의 목적으로 적외선 광 등과 같은 비가시 광을 방출하거나 이를 반사시킨다.
일부 실시예에서, 추적 센서 조립체(124) 내의 하나 이상의 추적 이미지 센서는 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)를 포함하지만 이에 제한되지 않는 웨어러블 디바이스 상에 배치된 광원으로부터의 광선을 캡처하는 디바이스 추적 이미지를 생성한다. 이들 광선은 추적 센서 조립체(124) 내의 추적 이미지 센서 쪽으로 방출되거나/반사되거나/재지향되거나/산란될 수 있다. 이들 광선은 설정된 시간 스케줄 등에서 연속적으로 캡처될 수 있다. 예를 들어, 디바이스 추적 이미지는 1 밀리초 또는 1 밀리초의 일부의 주기 해상도로, 매 100초 마다의 주기 해상도로, 매 10초 마다의 주기 해상도 등으로 획득될 수 있다.
일부 실시예에서, 디바이스 추적기(122)는 웨어러블 디바이스의 광원으로부터의 광선으로부터 추적 이미지 센서(124)에 의해 주어진 시점에 캡처된 하나 이상의 디바이스 추적 이미지를 기초로, 주어진 시점(예를 들어, 시간 간격에 걸쳐, 3D 영화의 전체 기간에 걸쳐 등)에 웨어러블 디바이스의 각각의 공간 위치 및 공간 방향을 추적하거나 결정한다.
일부 실시예에서, 디바이스 이미지 렌더러(108)는 디바이스 추적기(122)로부터, 시간에 걸쳐(예를 들어, 시간 간격에 걸쳐, 3D 영화의 전체 기간에 걸쳐 등) 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 공간 위치 및 공간 방향(예를 들어, p1, a1, p2, a2 등)을 수신한다. 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 공간 위치 및 공간 방향을 기초로, 디바이스 이미지 렌더러(108)는 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)와 시네마 디스플레이(104) 사이의 공간 관계를 결정할 수 있다. 일부 실시예에서, 이들 공간 관계는: 3D 공간(126) 내의 시네마 디스플레이(104) 또는 기준 데카르트 좌표 시스템에 관련된 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 선형 위치/배치, 각 위치/배치, 선형 또는 각속도, 선형 또는 각속력, 선형 또는 각 가속도 등 중 하나 이상에 의해 나타날 수 있다.
예를 들어, 다중-뷰 비계층화된 이미지로부터 유도된 단일-계층 디바이스 이미지를 기초로, 디바이스 이미지 렌더러(108)는 하나 이상의 좌측 뷰 디바이스 이미지 및 하나 이상의 우측 뷰 디바이스 이미지를 포함하는 하나 이상의 3D 디바이스 이미지를 결정할 수 있다. 디바이스 이미지 렌더러(108) 또는 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)는 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)와 시네마 디스플레이(104) 사이의 공간 관계를 기초로, - 이들의 렌더링을 하기 전에 - (하나 이상의 3D 디바이스 이미지에서) 하나 이상의 좌측 뷰 디바이스 이미지 및 하나 이상의 우측 뷰 디바이스 이미지에 대한 공간적 변환을 수행할 수 있다.
공간적 변환에 의해 변환된 좌측 뷰 디바이스 이미지 및 우측 뷰 디바이스 이미지를 기초로, 디바이스 이미지 렌더러(108)는 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)가 하나 이상의 디바이스 디스플레이(예를 들어, 116 등) 상에서 이들 좌측 뷰 디바이스 이미지 및 우측 뷰 디바이스 이미지를 렌더링하게 할 수 있다. 디바이스 이미지 렌더러(108)는 하나 이상의 데이터 연결을 통해 웨어러블 이미지 렌더링 디바이스(예를 들어, 102-1, 102-2 등)와, 제어 정보, 상태 정보, 위치 데이터, 디바이스 이미지와 같은 이미지 데이터, 메타데이터 등을 전달할 수 있다. 예시적인 데이터 연결은 무선 데이터 연결, 유선 데이터 연결, 무선 주파수 기반의 데이터 연결, 셀룰러 데이터 연결, Wi-Fi 데이터 연결, 적외선 기반의 데이터 연결, HDMI 케이블을 통한 데이터 연결, 광 케이블을 통한 데이터 연결, 고속 직렬 인터페이스(HSSI)를 통한 데이터 연결, 고해상도 직렬 디지털 인터페이스(HD-SDI), 12G-SDI, USB 케이블, 좌석/팔걸이/바닥 등에 대한 것 등을 포함할 수 있지만, 이에 제한되지 않는다.
추가적으로, 선택적으로 또는 대안적으로, 이미지 회전 결정, 이미지 정렬 분석, 장면 컷 검출(scene cut detection), 좌표 시스템 간의 변환, 시간적 댐프닝(temporal dampening), 디스플레이 관리, 콘텐츠 매핑, 색 매핑, 시야 관리 등과 같은 이미지 처리 동작의 일부 또는 전체는 이미지 콘텐츠 수신기(110)에 의해 수행될 수 있다.
일부 실시예에서, 도 2c에 도시된 122와 같은 외부 디바이스 추적기를 사용하는 것 대신에, 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 공간 위치 및/또는 공간 방향을 추적/모니터링하고; 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 공간 위치 및/또는 공간 방향을 기초로 웨어러블 디바이스(예를 들어, 102-1, 102-2 등)의 위치 및 방향 데이터를 생성하는 등을 하기 위해 내부 디바이스 추적기가 사용될 수 있다.
일부 실시예에서, 디바이스 이미지 렌더러(108)는 단일 웨어러블 디바이스(예를 들어, 102-1 등)만을 통해 동작하거나, 그렇지 않을 수 있다. 제한적이지 않은 예시의 목적으로, 도 2c에 도시된 디바이스 이미지 렌더러(108)는 하나보다 많은 웨어러블 디바이스(예를 들어, 102-1 및 102-2 등)를 통해 함께 동작한다.
일부 실시예에서, 디바이스 이미지 렌더러(108)는 웨어러블 디바이스(102-1 및 102-2)에 대한 비디오 스트림을 수신하고; 각 이러한 웨어러블 디바이스(102-1 또는 102-2)의 위치 및 방향 데이터에 따라 각 웨어러블 디바이스(102-1 또는 102-2)에 대한 비디오 스트림에서의 비디오 데이터로부터 하나 이상의 디스플레이 이미지를 생성하며; 하나 이상의 디스플레이 이미지가 웨어러블 디바이스(102-1 또는 102-2)를 통해 뷰어(112-1 또는 112-2)에게 렌더링 되게 하는 것; 등을 한다.
6. 예시적인 처리 흐름
도 4a는 본 발명의 일 실시예에 따른 예시적인 처리 흐름을 도시한다. 일부 예시적인 실시예에서, 하나 이상의 컴퓨팅 디바이스 또는 구성요소는 이 처리 흐름을 수행할 수 있다. 블록(402)에서, 계층화된 이미지 인코더(예를 들어, 도 2a의 180 등)는 하나 이상의 다중-뷰 비계층화된 이미지 내에 나타난 3차원(3D) 이미지 공간 내의 복수의 시각적 객체의 공간 장소를 기술하는 공간 정보에 액세스한다. 하나 이상의 다중-뷰 비계층화된 이미지의 각각은 복수의 시야 방향에 대응하는 복수의 단일-뷰 비계층화된 이미지를 포함한다.
블록(404)에서, 하나 이상의 다중-뷰 비계층화된 이미지 내에 나타난 3D 이미지 공간에서 복수의 시각적 객체의 공간 장소를 기술하는 공간 정보를 기초로, 계층화된 이미지 인코더(180)는 하나 이상의 다중-뷰 비계층화된 이미지로부터, 복수의 시각적 객체에서 하나 이상의 시각적 객체의 제1 적합한 서브셋을 표현하는 하나 이상의 단일-계층 시네마 이미지를 포함하는 시네마 이미지 계층을 생성한다.
블록(406)에서, 하나 이상의 다중-뷰 비계층화된 이미지 내에 나타난 3D 이미지 공간에서 복수의 시각적 객체의 공간 장소를 기술하는 공간 정보를 기초로, 계층화된 이미지 인코더(180)는 하나 이상의 다중-뷰 비계층화된 이미지로부터, 각각이 복수의 시각적 객체에서 하나 이상의 시각적 객체의 하나 이상의 제2 적합한 서브셋을 표현하는 하나 이상의 단일-계층 디바이스 이미지를 포함하는 하나 이상의 디바이스 이미지 계층을 생성한다.
블록(408)에서, 계층화된 이미지 인코더(180)는 시네마 이미지 계층 내의 하나 이상의 단일-계층 시네마 이미지 및 하나 이상의 디바이스 이미지 계층 내의 하나 이상의 단일-계층 디바이스 이미지를 포함하는 다중-계층 다중-뷰 비디오 신호를, 렌더링을 위한 하나 이상의 다운스트림 디바이스에 전송한다.
일 실시예에서, 공간 정보는 심도 정보, 불일치 정보, 시차 정보, 3D 메쉬 정보, 에피폴라 정보, 텐서 맵 정보 등 중 하나 이상을 나타낸다.
일 실시예에서, 3D 이미지 공간은 하나 이상의 실세계 장면, 하나 이상의 가상 세계 장면, 하나 이상의 실세계 장면 및 하나 이상의 가상 세계 장면의 조합 등 중 하나를 나타낸다.
일 실시예에서, 하나 이상의 다중-뷰 비계층화된 이미지 내에 나타난 3D 이미지 공간 내의 복수의 시각적 객체는 하나 이상의 계층-분리 표면을 사용하여 시네마 이미지 계층 및 하나 이상의 디바이스 이미지 계층으로 분리된다. 일 실시예에서, 하나 이상의 계층-분리 표면 중 적어도 하나는 시네마 이미지 계층에서의 단일-계층 시네마 이미지로부터 생성된 시네마 디스플레이 이미지를 렌더링하는 데 사용되는 시네마 디스플레이와 일치한다. 일 실시예에서, 하나 이상의 계층-분리 표면 중 어느 것도 시네마 이미지 계층에서의 단일-계층 시네마 이미지로부터 생성된 시네마 디스플레이 이미지를 렌더링하는 데 사용되는 시네마 디스플레이와 일치하지 않는다.
일 실시예에서, 시네마 이미지 계층에서의 단일-계층 시네마 이미지 및 하나 이상의 디바이스 이미지 계층에서의 단일-계층 디바이스 이미지 중 적어도 하나는 텐서 맵을 통해 생성된 3D 픽셀 분포를 사용하여 생성된다.
일 실시예에서, 하나 이상의 다중-뷰 비계층화된 이미지 내에 나타난 3D 이미지 공간에서 복수의 시각적 객체는: 3D 기준 공간에서 디스플레이의 공간 장소; 3D 기준 공간 내의 기준 공간 장소에서 뷰어의 공간 장소; 디스플레이 또는 뷰어의 공간 장소에 대하여, 3D 기준 공간으로 투사되는 시각적 객체의 공간 위치; 뷰어(112-0)에 대한 3D 기준 공간 내의 시각적 객체의 공간 방향; 시각적 객체의 관련된 예술적 중요도; 시각적 객체의 시각적 특성; 시각적 객체의 움직임 특징; 시각적 객체의 과거, 현재 또는 미래의 공간 장소; 시각적 객체의 과거, 현재 또는 미래의 공간 방향; 등 중 하나 이상을 기초로 시네마 이미지 계층 및 하나 이상의 디바이스 이미지 계층으로 분리된다.
도 4b는 본 발명의 예시적인 실시예에 따른 예시적인 처리 흐름을 도시한다. 일부 예시적인 실시예에서, 하나 이상의 컴퓨팅 디바이스 또는 구성요소는 이 처리 흐름을 수행할 수 있다. 블록(452)에서, (예를 들어, 도 2a, 도 2b 또는 도 2c 등에 도시된) 증강 엔터테인먼트 시스템은 시네마 이미지 계층에서의 하나 이상의 단일-계층 시네마 이미지 및 하나 이상의 디바이스 이미지 계층에서의 하나 이상의 단일-계층 디바이스 이미지를 포함하는 다중-계층 다중-뷰 비디오 신호를 수신한다. 시네마 이미지 계층에서의 단일-계층 시네마 이미지 및 하나 이상의 디바이스 이미지 계층에서의 단일-계층 디바이스 이미지는 하나 이상의 다중-뷰 비계층화된 이미지로부터 이전에 유도된다.
블록(454)에서, 증강 엔터테인먼트 시스템은 다중-계층 다중-뷰 비디오 신호의 시네마 이미지 계층으로부터 하나 이상의 단일-계층 시네마 이미지를 검색하며, 하나 이상의 단일-계층 시네마 이미지는 하나 이상의 다중-뷰 비계층화된 이미지에 의해 원래 표현된 복수의 시각적 객체에서 하나 이상의 시각적 객체의 제1 적합한 서브셋을 표현한다.
블록(456)에서, 증강 엔터테인먼트 시스템은 다중-계층 다중-뷰 비디오 신호의 하나 이상의 디바이스 이미지 계층으로부터, 하나 이상의 단일-계층 디바이스 이미지를 검색하며, 하나 이상의 디바이스 이미지는 하나 이상의 다중-뷰 비계층화된 이미지에 의해 원래 표현된, 복수의 시각적 객체에서 하나 이상의 시각적 객체의 하나 이상의 제2 적합한 서브셋을 표현한다.
블록(458)에서, 증강 엔터테인먼트 시스템은 하나 이상의 단일-계층 시네마 이미지 내에 표현된 시각적 객체의 제1 적합한 서브셋이 3D 공간 내의 시네마 디스플레이 상에서 뷰어에게 렌더링되게 한다.
블록(460)에서, 증강 엔터테인먼트 시스템은 하나 이상의 단일-계층 디바이스 이미지 내에 표현된 시각적 객체의 하나 이상의 제2 적합한 서브셋이 3D 공간 내의 디바이스 디스플레이 상에서 뷰어에게 함께 렌더링되게 한다.
일 실시예에서, 시네마 디스플레이 상에서 렌더링된 시각적 객체의 제1 적합한 서브셋 및 디바이스 디스플레이 상에서 렌더링된 시각적 객체의 하나 이상의 제2 적합한 서브셋 집합은 하나 이상의 다중-뷰 비계층화된 이미지에 의해 원래 표현된 3D 이미지 공간 내의 동일한 공간 장소에 위치된 복수의 시각적 객체를 표현한다. 일 실시예에서, 복수의 시각적 객체가 위치된 3D 이미지 공간 내의 공간 장소를 기술하는 공간 정보는 하나 이상의 다중-뷰 비계층화된 이미지에 의해 원래 표현된 복수의 시각적 객체를 시네마 이미지 계층 및 하나 이상의 디바이스 이미지 계층으로 분할하도록 이전에 사용되었다.
일 실시예에서, 디바이스 디스플레이는 시네마 디스플레이에 대해 1 이상의 자유도로 공간적으로 이동할 수 있다.
일 실시예에서, 디바이스 디스플레이는 이미지를 렌더링하기 위해 웨어러블 디바이스에 의해 사용되고; 디바이스 디스플레이는 웨어러블 디바이스에 대해 공간적으로 고정된다.
일 실시예에서, 시네마 디스플레이는 정지된 디스플레이이고; 디바이스 디스플레이는 뷰어에 의해 사용되는 웨어러블 디바이스의 헤드-마운티드 디스플레이(head-mounted display)를 나타낸다.
일 실시예에서, 3D 공간에서 시네마 디스플레이는 3D 이미지 공간 내의 계층-분리 표면을 정의하도록 사용된다; 복수의 시각적 객체는 계층-분리 표면에 대해 복수의 시각적 객체의 공간 관계에 적어도 부분적으로 기초하여, 시각적 객체의 제1 적합한 서브셋 및 시각적 객체의 하나 이상의 제2 적합한 서브셋으로 분할된다.
일 실시예에서, 시각적 객체의 하나 이상의 제2 적합한 서브셋은 계층-분리 표면으로의 공간 거리를 기초로 복수의 시각적 객체 중에 선택된다.
일 실시예에서, 복수의 시각적 객체 중 적어도 하나의 시각적 객체는 계층-분리 표면을 활보하고(strides); 시각적 객체의 제1 적합한 서브셋은 적어도 하나의 시각적 객체의 일 부분을 포함하며, 시각적 객체의 하나 이상의 제2 적합한 서브셋은 적어도 하나의 시각적 객체의 나머지 부분을 포함한다.
일 실시예에서, 시네마 디스플레이는 3D 공간에서 영의 시차의 공간 표면을 나타내고; 시네마 디스플레이 이미지에 의해 시네마 디스플레이 뒤에 표현된 시각적 객체는 양의 시차를 갖고; 시네마 디스플레이 이미지에 의해 시네마 디스플레이의 앞에 표현된 시각적 객체는 음의 시차를 가지며, 복수의 시각적 객체는 복수의 시각적 객체에서 개별적인 시각적 객체의 개별적인 시차를 기초로 시각적 객체의 제1 적합한 서브셋 및 시각적 객체의 하나 이상의 제2 적합한 서브셋으로 분할된다.
일 실시예에서, 시각적 객체의 하나 이상의 제2 적합한 서브셋 내의 모든 시각적 객체는 시각적 객체의 하나 이상의 제2 적합한 서브셋이 시네마 디스플레이 상에 렌더링되는 시네마 디스플레이 이미지에 의해 렌더링된 경우, 음의 시차를 갖는다.
일 실시예에서, 시각적 객체의 하나 이상의 제2 적합한 서브셋에서 적어도 하나의 시각적 객체는 시각적 객체의 하나 이상의 제2 적합한 서브셋이 시네마 디스플레이 상에 렌더링되는 시네마 디스플레이 이미지에 의해 렌더링된 경우, 양의 시차를 갖는다.
일 실시예에서, 증강 엔터테인먼트 시스템은 하나 이상의 단일-계층 디바이스 이미지 내에 표현된 시각적 객체의 하나 이상의 제2 적합한 서브셋에서 시각적 객체의 두 개의 상이한 적합한 서브셋이 뷰어에 대해 두 개의 상이한 거리의 두 개의 상이한 이미지 평면으로 디바이스 디스플레이 상에서 렌더링되게 하는 것을 수행하도록 더 구성된다.
일 실시예에서, 디바이스 디스플레이는 뷰어의 수렴 각(vergence angles)을 기초로 조정 가능한 거리의 이미지 평면으로 디바이스 디스플레이 이미지를 렌더링한다.
일 실시예에서, 디바이스 디스플레이는 뷰어에 대해 고정된 거리의 이미지 평면으로 디바이스 디스플레이 이미지를 렌더링한다.
일 실시예에서, 증강 엔터테인먼트 시스템은 디바이스 디스플레이를 포함하는 웨어러블 디바이스의 특정한 공간 위치 또는 특정한 공간 방향 중 하나 이상을 기초로 하는 공간적 변환을 사용하여, 하나 이상의 단일-계층 디바이스 이미지를 디바이스 디스플레이 이미지로 적응시키는 것을 수행하도록 더 구성된다.
일 실시예에서, 공간적 변환은 하나 이상의 다중-뷰 비계층화된 이미지로부터 시네마 이미지 계층 및 하나 이상의 디바이스 이미지 계층을 생성하는데 이전에 사용된 텐서 모델을 재구성한다.
일 실시예에서, 시네마 디스플레이 상에 렌더링되는 시네마 디스플레이 이미지는 2차원 이미지 또는 3D 이미지 중 하나를 나타낸다.
일 실시예에서, 디바이스 디스플레이를 포함하는 웨어러블 디바이스는 시네마 이미지 콘텐츠가 시네마 디스플레이상에서 렌더링될 때 함께 렌더링될 디바이스 이미지 콘텐츠를 수신하는 미디어 시스템에 자동으로 등록되는 3D 공간 내의 복수의 웨어러블 디바이스 중에 있다. 일 실시예에서, 웨어러블 디바이스는 웨어러블 디바이스의 뷰어에게 특정하게 발행된 티켓을 기초로 하는 특정한 좌석 위치, 시네마 디스플레이에 대한 주변 공간 영역 또는 시네마 이미지 콘텐츠에 내장된 기준 마커, 디바이스 ID 정보로 인코딩된 광선, 무선 주파수(RF) 장소 검출, 또는 3D 공간 내의 청중 영역의 특정한 구역 등 중 하나 이상을 기초로 미디어 시스템에 자동으로 등록된다.
일 실시예에서, 디바이스 디스플레이를 포함하는 웨어러블 디바이스는 3D 공간내의 청중 영역에서 복수의 구역으로 분할되는 3D 공간 내의 복수의 웨어러블 디바이스 중에 있고; 복수의 구역에서 제1 구역 내의 제1 웨어러블 디바이스는 제1 디바이스 이미지 콘텐츠 서버(예를 들어, 제1 디바이스 이미지 렌더러 등)로부터 디바이스 이미지 콘텐츠를 수신하며; 복수의 구역에서 제2 구역 내의 제2 웨어러블 디바이스는 제2 디바이스 이미지 콘텐츠 서버(예를 들어, 제2 디바이스 이미지 렌더러 등)로부터 디바이스 이미지 콘텐츠를 수신한다.
일 실시예에서, 증강 엔터테인먼트 시스템은 3D 장소 내의 하나 이상의 공간 설치 장소에 설치된 디바이스 센서 조립체를 갖는 웨어러블 디바이스를 추적하는 것을 더 수행하도록 구성된다. 일 실시예에서, 디바이스 센서 조립체 중 적어도 하나는 3D 장소내의 천장, 벽, 바닥, 시네마 디스플레이 근처의 공간 영역, 시네마 디스플레이로부터 떨어진 공간 영역, 좌석 공간, 또는 좌석의 등받이 중 하나에 있다.
다양한 예시적인 실시예에서, 장치, 시스템, 장치 또는 하나 이상의 다른 컴퓨팅 디바이스는 전술한 방법 중 어느 것 또는 일부를 수행한다. 일 실시예에서, 비-일시적 컴퓨터 판독가능 저장 매체는 하나 이상의 프로세서에 의해 실행될 때, 본원에 기술된 방법의 성능을 야기하는 소프트웨어 명령어를 저장한다.
본원에서 분리된 실시예가 논의되었지만, 본원에서 논의된 실시예 및/또는 부분 실시예가 추가적인 실시예를 형성하기 위해 결합될 수 있음이 주목된다.
7. 구현 메커니즘 - 하드웨어 개요
일 실시예에 따라, 본원에서 기술된 기법은 하나 이상의 특수-목적 컴퓨팅 디바이스에 의해 구현된다. 특수-목적 컴퓨팅 디바이스는 기법을 수행하기 위해 배선 연결될 수 있거나(hard-wired), 기법을 수행하도록 지속적으로(persistently) 프로그래밍되는 하나 이상의 주문형 반도체(application-specific integrated circuits, ASIC) 또는 필드 프로그래머블 게이트 어레이(field programmable gate arrays, FPGA)와 같은 디지털 전자 디바이스를 포함할 수 있거나, 또는 펌웨어, 메모리, 다른 저장소 또는 조합에서의 프로그램 명령어에 따른 기법을 수행하도록 프로그래밍된 하나 이상의 범용 하드웨어 프로세서를 포함할 수 있다. 이러한 특수-목적 컴퓨팅 디바이스는 또한, 주문형 배선 연결된 논리회로, ASIC, 또는 FPGA와, 기법을 달성하기 위한 주문형 프로그래밍을 조합할 수 있다. 특수-목적 컴퓨팅 디바이스는 데스크탑 컴퓨터 시스템, 휴대용 컴퓨터 시스템, 핸드헬드 디바이스, 네트워킹 디바이스 또는 기법을 구현하기 위해 배선-연결되거나 및/또는 프로그램 논리회로를 통합하는 임의의 다른 디바이스일 수 있다.
예를 들어, 도 5는 본 발명의 예시적인 실시예가 구현될 수 있는 컴퓨터 시스템(500)을 도시하는 블록도이다. 컴퓨터 시스템(500)은 정보를 전달하기 위한 버스(502) 또는 다른 통신 메커니즘, 및 정보를 처리하기 위해 버스(502)와 연결된 하드웨어 프로세서(504)를 포함한다. 하드웨어 프로세서(504)는 예를 들어, 범용 마이크로프로세서일 수 있다.
컴퓨터 시스템(500)은 또한, 프로세서(504)에 의해 실행될 정보 및 명령어를 저장하기 위해 버스(502)에 연결된 랜덤 액세스 메모리(RAM) 또는 다른 동적 저장 디바이스와 같은 메인 메모리(506)를 포함한다. 메인 메모리(506)는 또한, 프로세서(504)에 의해 실행될 명령어의 실행 동안 임시 변수 또는 다른 중간 정보를 저장하는 데 사용될 수 있다. 이러한 명령어는, 프로세서(504)에 액세스 가능한 비-일시적 저장 매체에 저장될 때, 컴퓨터 시스템(500)이 명령어에 지정된 동작을 수행하도록 맞춤화되는 특수-목적 머신이 되게 한다.
컴퓨터 시스템(500)은 프로세서(504)에 대한 정적 정보 및 명령어를 저장하기 위해 버스(502)에 연결된 읽기 전용 메모리(read only memory, ROM)(508) 또는 다른 정적 저장 디바이스를 더 포함한다.
자기 디스크 또는 광 디스크, 고체 상태 RAM과 같은 저장 디바이스(510)는 정보 및 명령어를 저장하기 위해 버스(502)에 제공되고, 이에 연결된다.
컴퓨터 시스템(500)은 컴퓨터 사용자에게 정보를 디스플레이하기 위해 액정 디스플레이와 같은, 디스플레이(512)에 버스(502)를 통해 연결될 수 있다. 문자 숫자식(alphanumeric) 및 다른 키를 포함하는 입력 디바이스(514)는 정보 및 명령 선택을 프로세서(504)에 전달하기 위해 버스(502)에 연결된다. 다른 타입의 사용자 입력 디바이스는 방향 정보 및 명령 선택을 프로세서(504)에 전달하고 디스플레이(512) 상에서의 커서 이동을 제어하기 위한 마우스, 트랙볼 또는 커서 방향 키와 같은 커서 제어기(416)이다. 이 입력 디바이스는 통상적으로 디바이스가 평면에서의 위치를 지정하도록 허용하는 두 개의 축, 제 1 축(예를 들어, x) 및 제 2 축(예를 들어, y)에서 2 자유도를 갖는다.
컴퓨터 시스템(500)은 컴퓨터 시스템과 조합하여 컴퓨터 시스템(500)이 특수-목적 머신이 되게 하거나 프로그래밍하는 맞춤화된 배선-연결된 논리회로, 하나 이상의 ASIC, 또는 FPGA, 펌웨어 및/또는 프로그램 논리회로를 사용하여, 본원에서 서술된 기법을 구현할 수 있다. 일 실시예에 따라, 본원에서의 기법은 메인 메모리(506)에 포함된 하나 이상의 명령어의 하나 이상의 시퀀스를 실행하는 프로세서(504)에 응답하여, 컴퓨터 시스템(500)에 의해 수행된다. 이러한 명령어는 저장 디바이스(510)와 같은, 다른 저장 매체로부터 메인 메모리(506)로 판독될 수 있다. 메인 메모리(506)에 포함된 명령어의 시퀀스의 실행은 프로세서(504)가 본원에서 기술된 처리 단계를 수행하게 한다. 대안적인 실시예에서, 배선-연결된 회로는 소프트웨어 명령어 대신 또는 그와 조합되어 사용될 수 있다.
본원에서 사용된 "저장 매체"란 용어는 머신이 특정한 방식으로 동작하게 하는 데이터 및/또는 명령어를 저장하는 임의의 비-일시적 매체를 지칭한다. 이러한 저장 매체는 비-휘발성 매체 및/또는 휘발성 매체를 포함할 수 있다. 비-휘발성 매체는, 예를 들어, 저장 디바이스(510)와 같은, 광학 또는 자기 디스크를 포함한다. 휘발성 매체는 메인 메모리(506)와 같은 동적 메모리를 포함한다. 공통적인 형태의 저장 매체는 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 고체 상태 드라이브, 자기 테이프, 또는 임의의 다른 자기 데이터 저장 매체, CD-ROM, 임의의 다른 광학 데이터 저장 매체, 홀의 패턴(patterns of holes)을 갖는 임의의 물리적인 매체, RAM, PROM, 및 EPROM, 플래시-EPROM, NVRAM, 임의의 다른 메모리 칩 또는 카트리지를 포함한다.
저장 매체는 송신 매체와는 별개이지만 그와 함께 사용될 수 있다. 송신 매체는 저장 매체 사이에서 정보를 송신하는데 참여한다. 예를 들어, 송신 매체는 버스(502)를 포함한 배선을 포함하는 동축 케이블, 구리 선 및 광섬유를 포함한다. 송신 매체는 또한, 전파(radio-wave) 및 적외선 데이터 통신 동안 생성되는 것과 같은, 음파 또는 광파의 형태를 취할 수 있다.
실행을 위해 프로세서(504)에 하나 이상의 명령어의 하나 이상의 시퀀스를 전달하는데 다양한 형태의 매체가 수반될 수 있다. 예를 들어, 명령어는 초기에 원격 컴퓨터의 자기 디스크 또는 고체 상태 드라이브 상에 전달될 수 있다. 원격 컴퓨터는 명령어를 그의 동적 메모리에 적재하고, 모뎀을 사용하여 명령어를 전화선을 통해 전송할 수 있다. 컴퓨터 시스템(500)에 로컬인 모뎀은 전화선 상에서 데이터를 수신하고, 데이터를 적외선 신호로 변환하기 위해 적외선 송신기를 사용할 수 있다. 적외선 검출기는 적외선 신호로 전달된 데이터를 수신할 수 있고, 적합한 회로는 버스(502) 상에 데이터를 배치할 수 있다. 버스(502)는 데이터를, 프로세서(504)가 명령어를 검색하고 실행하는 메인 메모리(506)에 전달한다. 메인 메모리(506)에 의해 수신된 명령어는 프로세서(504)에 의한 실행 이전에 또는 이후에 저장 디바이스(510) 상에 선택적으로 저장될 수 있다.
컴퓨터 시스템(500)은 또한, 버스(502)에 연결된 통신 인터페이스(518)를 포함한다. 통신 인터페이스(518)는 로컬 네트워크(522)에 연결되는 네트워크 링크(520)에 연결하는 양방향 데이터 통신(two-way data communication)을 제공한다. 예를 들어, 통신 인터페이스(518)는 통합 서비스 디지털 네트워크(integrated services digital network, ISDN) 카드, 케이블 모뎀, 위성 모뎀, 또는 대응하는 타입의 전화선에 대한 데이터 통신 연결을 제공하기 위한 모뎀일 수 있다. 다른 예시로서, 통신 인터페이스(518)는 호환 가능한 LAN에 대해 데이터 통신 연결을 제공하기 위한 근거리 통신망(local area network, LAN)일 수 있다. 또한, 무선 링크가 구현될 수 있다. 임의의 이러한 구현에서, 통신 인터페이스(518)는 다양한 타입의 정보를 나타내는 디지털 데이터 스트림을 전달하는 전기, 전자기 또는 광학 신호를 전송하고 수신한다.
네트워크 링크(520)는 통상적으로 하나 이상의 네트워크를 통하여 다른 데이터 디바이스에 데이터 통신을 제공한다. 예를 들어, 네트워크 링크(520)는 로컬 네트워크(522)를 통해 인터넷 서비스 제공자(ISP)(526)에 의해 동작되는 데이터 장비에 또는 호스트 컴퓨터(524)에 연결을 제공할 수 있다. ISP(526)는 그 후에, 현재 대부분 "인터넷"(528)으로 지칭되는 월드 와이드 패킷 데이터 통신 네트워크(world wide packet data communication network)를 통해 데이터 통신 서비스를 제공한다. 로컬 네트워크(522) 및 인터넷(528) 양자는 디지털 데이터 스트림을 전달하는 전기, 전자기 또는 광학 신호를 사용한다. 다양한 네트워크를 통한 신호 및 네트워크 링크(520) 상의 및 통신 인터페이스(518)를 통해, 컴퓨터 시스템(500)으로 및 그로부터 디지털 데이터를 전달하는 신호는 예시적인 형태의 송신 매체이다.
컴퓨터 시스템(500)은 네트워크(들), 네트워크 링크(520) 및 통신 인터페이스(518)를 통해 메시지들을 전송하고, 프로그램 코드를 포함하는 데이터를 수신할 수 있다. 인터넷 예시에서, 서버(530)는 인터넷(528), ISP(526), 로컬 네트워크(522) 및 통신 인터페이스(518)를 통해 애플리케이션 프로그램에 대해 요청된 코드를 송신할 수 있다.
수신된 코드는 수신되거나 및/또는 저장 디바이스(510) 또는 이후의 실행을 위한 다른 비휘발성 저장부에 저장될 때, 프로세서(504)에 의해 실행될 수 있다.
8. 등가물, 확장물, 대안 및 기타(MISCELLANEOUS)
전술한 명세서에서, 본 발명의 예시적인 실시예는 구현마다 변할 수 있는 다수의 특정한 세부사항을 참조로 서술되었다. 따라서, 무엇이 본 발명이고, 무엇이 출원인에 의해 본 발명이 되도록 의도되는 것인지의 유일하고 독점적인 지표는 본 출원으로부터 발행된, 임의의 후속하는 보정을 포함하는 이러한 청구항이 발행하는 특정 형태의 청구항의 세트이다. 본원에서 이러한 청구항에 포함되는 용어에 대해 명확히 제시된 임의의 정의는 청구항에서 사용된 이러한 용어의 의미를 결정할 것이다. 그러므로, 청구항에서 명확히 언급되지 않은 제한, 요소, 특성, 피처, 장점 또는 속성은 이러한 청구항의 범위를 어떠한 방법으로도 제한하지 않아야 한다. 따라서, 명세서 및 도면은 제한적이기보다는 예시적인 것으로 간주된다.
Claims (21)
- 시네마 이미지 계층에서의 하나 이상의 단일-계층 시네마 이미지(single-layer cinema images) 및 하나 이상의 디바이스 이미지 계층에서의 하나 이상의 단일-계층 디바이스 이미지(single-layer device images)를 포함하는 다중-계층 다중-뷰 비디오 신호(multi-layer multi-view video signal)를 수신하는 것 - 상기 시네마 이미지 계층에서의 단일-계층 시네마 이미지 및 상기 하나 이상의 디바이스 이미지 계층에서의 단일-계층 디바이스 이미지는 하나 이상의 다중-뷰 비계층화된 이미지(multi-view unlayered images)로부터 이전에 유도됨(derived) -;
상기 다중-계층 다중-뷰 비디오 신호의 상기 시네마 이미지 계층으로부터, 상기 하나 이상의 단일-계층 시네마 이미지를 검색하는 것 - 상기 하나 이상의 단일-계층 시네마 이미지는 상기 하나 이상의 다중-뷰 비계층화된 이미지에 의해 표현된(depicted) 복수의 시각적 객체에서 제1 시각적 객체를 표현함 -;
상기 다중-계층 다중-뷰 비디오 신호의 상기 하나 이상의 디바이스 이미지 계층으로부터, 상기 하나 이상의 단일-계층 디바이스 이미지를 검색하는 것 - 상기 하나 이상의 디바이스 이미지는 상기 하나 이상의 다중-뷰 비계층화된 이미지에 의해 표현된 상기 복수의 시각적 객체에서 하나 이상의 제2 시각적 객체를 표현함 -;
상기 제1 시각적 객체 및 상기 제2 시각적 객체가 위치된 3D 이미지 공간 내의 공간 장소를 기술하는 공간 정보를 수신하는 것;
상기 하나 이상의 단일-계층 시네마 이미지 내에 표현된 상기 제1 시각적 객체가 3D 공간 내의 시네마 디스플레이 상에서 뷰어에게 렌더링되게 하는 것;
상기 하나 이상의 단일-계층 디바이스 이미지 내에 표현된 상기 하나 이상의 제2 시각적 객체가 상기 3D 공간 내의 디바이스 디스플레이 상에서 상기 뷰어에게 함께 렌더링되게 하는 것을 포함하는, 방법. - 제1항에 있어서, 상기 디바이스 디스플레이는 상기 시네마 디스플레이에 대해 1 이상의 자유도로 공간적으로 이동 가능한, 방법.
- 제1항에 있어서, 상기 디바이스 디스플레이는 웨어러블 디바이스에 의해 이미지를 렌더링하는 데 사용되고, 상기 디바이스 디스플레이는 상기 웨어러블 디바이스에 대해 공간적으로 고정되는, 방법.
- 제1항에 있어서, 상기 시네마 디스플레이는 정지(stationary) 디스플레이이고, 상기 디바이스 디스플레이는 상기 뷰어에 의해 사용되는 웨어러블 디바이스의 헤드-마운티드 디스플레이(head-mounted display)를 나타내는, 방법.
- 제1항에 있어서, 상기 3D 공간 내의 상기 시네마 디스플레이는 상기 3D 이미지 공간에서 계층-분리 표면(layer-separation surface)을 정의하는 데 사용되고; 상기 복수의 시각적 객체는 상기 계층-분리 표면에 대한 상기 복수의 시각적 객체의 공간 관계에 적어도 부분적으로 기초하여 상기 제1 시각적 객체 및 상기 하나 이상의 제2 시각적 객체로 분할되는, 방법.
- 제5항에 있어서, 상기 하나 이상의 제2 시각적 객체는 상기 계층-분리 표면으로의 공간 거리를 기초로 상기 복수의 시각적 객체 중에 선택되는, 방법.
- 제5항에 있어서, 상기 복수의 시각적 객체 중 적어도 하나의 시각적 객체는 상기 계층-분리 표면을 활보하고(strides); 상기 제1 시각적 객체는 상기 적어도 하나의 시각적 객체의 일 부분을 포함하며, 상기 하나 이상의 제2 시각적 객체는 상기 적어도 하나의 시각적 객체의 나머지 부분을 포함하는, 방법.
- 제1항에 있어서, 상기 시네마 디스플레이는 상기 3D 공간에서 영의 시차(zero parallax)의 공간 표면을 나타내고; 시네마 디스플레이 이미지에 의해 상기 시네마 디스플레이 뒤에 표현된 시각적 객체는 양의 시차를 갖고; 상기 시네마 디스플레이 이미지에 의해 상기 시네마 디스플레이의 앞에 표현된 시각적 객체는 음의 시차를 가지며; 상기 복수의 시각적 객체는 상기 복수의 시각적 객체에서 개별적인 시각적 객체의 개별적인 시차를 기초로 상기 제1 시각적 객체 및 상기 하나 이상의 제2 시각적 객체로 분할되는, 방법.
- 제8항에 있어서, 상기 하나 이상의 제2 시각적 객체 내의 모든 시각적 객체는 상기 하나 이상의 제2 시각적 객체가 상기 시네마 디스플레이 상에 렌더링되는 시네마 디스플레이 이미지에 의해 렌더링된 경우, 음의 시차를 갖는, 방법.
- 제8항에 있어서, 상기 하나 이상의 제2 시각적 객체에서 적어도 하나의 시각적 객체는 상기 하나 이상의 제2 시각적 객체가 상기 시네마 디스플레이 상에 렌더링되는 시네마 디스플레이 이미지에 의해 렌더링된 경우, 양의 시차를 갖는, 방법.
- 제1항에 있어서, 상기 하나 이상의 단일-계층 디바이스 이미지 내에 표현된 상기 하나 이상의 제2 시각적 객체에서 시각적 객체의 두 개의 상이한 서브셋이 상기 뷰어에 대해 두 개의 상이한 거리의 두 개의 상이한 이미지 평면에서 상기 디바이스 디스플레이 상에 렌더링되게 하는 것을 더 포함하는, 방법.
- 제1항에 있어서, 상기 디바이스 디스플레이는 상기 뷰어의 수렴 각(vergence angles)을 기초로 조정 가능한 거리의 이미지 평면에서 디바이스 디스플레이 이미지를 렌더링하는, 방법.
- 제1항에 있어서, 상기 디바이스 디스플레이는 상기 뷰어에 대해 고정된 거리의 이미지 평면에서 디바이스 디스플레이 이미지를 렌더링하는, 방법.
- 제1항에 있어서, 상기 디바이스 디스플레이를 포함하는 웨어러블 디바이스의 특정한 공간 위치(spatial positions) 또는 특정한 공간 방향 중 하나 이상을 기초로 하는 공간적 변환을 사용하여, 상기 하나 이상의 단일-계층 디바이스 이미지를 디바이스 디스플레이 이미지로 적응시키는 것을 더 포함하는, 방법.
- 제14항에 있어서, 상기 공간적 변환은 상기 하나 이상의 다중-뷰 비계층화된 이미지로부터 상기 시네마 이미지 계층 및 상기 하나 이상의 디바이스 이미지 계층을 생성하는 데 이전에 사용된 텐서 모델(tensor model)을 재구성하는, 방법.
- 제1항에 있어서, 상기 시네마 디스플레이 상에 렌더링되는 시네마 디스플레이 이미지는 2차원 이미지 또는 3D 이미지 중 하나를 나타내는, 방법.
- 제1항에 있어서, 상기 디바이스 디스플레이를 포함하는 웨어러블 디바이스는 시네마 이미지 콘텐츠가 상기 시네마 디스플레이 상에서 렌더링될 때, 함께 렌더링될 디바이스 이미지 콘텐츠를 수신하는 미디어 시스템에 자동으로 등록되는 상기 3D 공간 내의 복수의 웨어러블 디바이스 중에 있는, 방법.
- 제17항에 있어서, 상기 웨어러블 디바이스는 상기 웨어러블 디바이스의 뷰어에게 특정하게 발행된 티켓을 기초로 하는 특정한 좌석 위치, 상기 시네마 디스플레이에 대한 주변 공간 영역 또는 시네마 이미지 콘텐츠에 내장된 기준 마커(fiducial markers), 디바이스 ID 정보로 인코딩된 광선, 무선 주파수(RF) 장소 검출, 또는 상기 3D 공간 내의 청중 영역의 특정한 구역 중 하나 이상을 기초로 상기 미디어 시스템에 자동으로 등록되는, 방법.
- 제1항에 있어서, 상기 디바이스 디스플레이를 포함하는 웨어러블 디바이스는 상기 3D 공간 내의 청중 영역에서 복수의 구역으로 분할되는 상기 3D 공간 내의 복수의 웨어러블 디바이스 중에 있고; 상기 복수의 구역에서 제1 구역 내의 제1 웨어러블 디바이스는 제1 디바이스 이미지 콘텐츠 서버로부터 디바이스 이미지 콘텐츠를 수신하며; 상기 복수의 구역에서 제2 구역 내의 제2 웨어러블 디바이스는 제2 디바이스 이미지 콘텐츠 서버로부터 디바이스 이미지 콘텐츠를 수신하는, 방법.
- 제1항에 있어서, 상기 3D 공간 내의 하나 이상의 공간 설치 장소에 설치된 디바이스 센서 조립체들을 갖는 웨어러블 디바이스를 추적하는 것을 더 포함하는, 방법.
- 제20항에 있어서, 상기 디바이스 센서 조립체들 중 적어도 하나는 상기 3D 공간에서 천장, 벽, 바닥, 상기 시네마 디스플레이 근처의 공간 영역, 상기 시네마 디스플레이로부터 떨어진 공간 영역, 좌석 공간, 또는 좌석의 등받이 중 하나에 있는, 방법.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762484121P | 2017-04-11 | 2017-04-11 | |
| US62/484,121 | 2017-04-11 | ||
| PCT/US2018/026974 WO2018191312A1 (en) | 2017-04-11 | 2018-04-10 | Layered augmented entertainment experiences |
| KR1020207006343A KR102161734B1 (ko) | 2017-04-11 | 2018-04-10 | 계층화된 증강 엔터테인먼트 경험 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207006343A Division KR102161734B1 (ko) | 2017-04-11 | 2018-04-10 | 계층화된 증강 엔터테인먼트 경험 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200113031A true KR20200113031A (ko) | 2020-10-05 |
| KR102279143B1 KR102279143B1 (ko) | 2021-07-19 |
Family
ID=62092275
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197023910A KR102087414B1 (ko) | 2017-04-11 | 2018-04-10 | 계층화된 증강 엔터테인먼트 경험 |
| KR1020207027477A KR102279143B1 (ko) | 2017-04-11 | 2018-04-10 | 계층화된 증강 엔터테인먼트 경험 |
| KR1020207006343A KR102161734B1 (ko) | 2017-04-11 | 2018-04-10 | 계층화된 증강 엔터테인먼트 경험 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197023910A KR102087414B1 (ko) | 2017-04-11 | 2018-04-10 | 계층화된 증강 엔터테인먼트 경험 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207006343A KR102161734B1 (ko) | 2017-04-11 | 2018-04-10 | 계층화된 증강 엔터테인먼트 경험 |
Country Status (10)
| Country | Link |
|---|---|
| US (3) | US10991164B2 (ko) |
| EP (2) | EP3610654B1 (ko) |
| JP (3) | JP6654275B1 (ko) |
| KR (3) | KR102087414B1 (ko) |
| CN (3) | CN111406412B (ko) |
| BR (2) | BR112019016820B1 (ko) |
| ES (1) | ES2902979T3 (ko) |
| PL (1) | PL3610654T3 (ko) |
| RU (2) | RU2743518C2 (ko) |
| WO (1) | WO2018191312A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11363250B2 (en) | 2017-04-11 | 2022-06-14 | Dolby Laboratories Licensing Corporation | Augmented 3D entertainment systems |
| US10726574B2 (en) | 2017-04-11 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Passive multi-wearable-devices tracking |
| US11882267B2 (en) | 2017-04-11 | 2024-01-23 | Dolby Laboratories Licensing Corporation | Adapting video images for wearable devices |
| US11095927B2 (en) * | 2019-02-22 | 2021-08-17 | The Nielsen Company (Us), Llc | Dynamic watermarking of media based on transport-stream metadata, to facilitate action by downstream entity |
| TR201910049A2 (tr) * | 2019-07-05 | 2021-01-21 | Karinca Teknoloji Ve Ilet San Tic Ltd Sti | Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇ |
| US11743559B2 (en) * | 2021-01-05 | 2023-08-29 | Mediatek Singapore Pte. Ltd. | Methods and systems for derived immersive tracks |
| WO2023038264A1 (ko) * | 2021-09-13 | 2023-03-16 | 삼성전자 주식회사 | 복수의 카메라들로부터 획득된 이미지들에 기반하는 입체 사진을 생성하는 전자 장치 및 그 방법 |
| US20230245373A1 (en) * | 2022-01-28 | 2023-08-03 | Samsung Electronics Co., Ltd. | System and method for generating a three-dimensional photographic image |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1117074A2 (en) * | 2000-01-13 | 2001-07-18 | Mixed Reality Systems Laboratory Inc. | Augmented reality presentation apparatus and method, and storage medium |
| US20140304335A1 (en) * | 2011-10-11 | 2014-10-09 | Timeplay Entertainment Corporation | Systems and methods for interactive experiences and controllers therefor |
| KR20160018690A (ko) * | 2013-06-07 | 2016-02-17 | 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 | 두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법 |
Family Cites Families (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6016150A (en) * | 1995-08-04 | 2000-01-18 | Microsoft Corporation | Sprite compositor and method for performing lighting and shading operations using a compositor to combine factored image layers |
| CA2320694C (en) * | 1998-02-20 | 2005-07-12 | Deep Video Imaging Limited | A multi-layer display and a method for displaying images on such a display |
| US6816158B1 (en) * | 1998-10-30 | 2004-11-09 | Lemelson Jerome H | Three-dimensional display system |
| US7580378B2 (en) | 2000-06-06 | 2009-08-25 | Alien Technology Corporation | Distance/ranging determination using relative phase data |
| KR20030029649A (ko) * | 2000-08-04 | 2003-04-14 | 다이나믹 디지탈 텝스 리서치 피티와이 엘티디 | 화상 변환 및 부호화 기술 |
| US6803912B1 (en) * | 2001-08-02 | 2004-10-12 | Mark Resources, Llc | Real time three-dimensional multiple display imaging system |
| US20030038922A1 (en) * | 2001-08-22 | 2003-02-27 | Ferrell Stanford L. | Apparatus and method for displaying 4-D images |
| EP1587329B1 (en) | 2003-01-20 | 2015-04-15 | Sanyo Electric Co., Ltd. | Three-dimensional video providing method and three-dimensional video display device |
| EP1712981A1 (en) * | 2005-04-15 | 2006-10-18 | Herman Bailey | Interactive augmented reality system |
| US20070035542A1 (en) * | 2005-07-27 | 2007-02-15 | Mediapod Llc | System, apparatus, and method for capturing and screening visual images for multi-dimensional display |
| CN101292516A (zh) * | 2005-07-06 | 2008-10-22 | 米迪尔波得股份有限公司 | 捕获画面数据的系统和方法 |
| US8094928B2 (en) * | 2005-11-14 | 2012-01-10 | Microsoft Corporation | Stereo video for gaming |
| US7679641B2 (en) | 2006-04-07 | 2010-03-16 | Real D | Vertical surround parallax correction |
| CN101653011A (zh) | 2007-03-16 | 2010-02-17 | 汤姆森许可贸易公司 | 用于将文本与三维内容相结合的系统和方法 |
| JP5774985B2 (ja) * | 2008-06-06 | 2015-09-09 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 画像の類似検索システム及び方法 |
| MX2011000728A (es) * | 2008-07-21 | 2011-03-29 | Thomson Licensing | Dispositivo de codificacion multiestandar para señales de video en 3d. |
| CN101771830B (zh) * | 2008-12-30 | 2012-09-19 | 华为终端有限公司 | 立体全景视频流生成方法、设备及视频会议方法和设备 |
| CA2707045C (en) * | 2009-01-19 | 2017-03-14 | Panasonic Corporation | Coding method, decoding method, coding apparatus, decoding apparatus, program, and integrated circuit |
| CN104768031B (zh) * | 2009-01-26 | 2018-02-09 | 汤姆森特许公司 | 用于视频解码的装置 |
| US8411746B2 (en) * | 2009-06-12 | 2013-04-02 | Qualcomm Incorporated | Multiview video coding over MPEG-2 systems |
| JP4733785B2 (ja) * | 2009-06-17 | 2011-07-27 | パナソニック株式会社 | ３ｄ映像を再生するための情報記録媒体、記録媒体の記録方法、再生装置、及び記録媒体再生システム |
| KR20110018261A (ko) | 2009-08-17 | 2011-02-23 | 삼성전자주식회사 | 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치 |
| US9049431B2 (en) | 2009-12-31 | 2015-06-02 | Cable Television Laboratories, Inc. | Method and system for generation of captions over stereoscopic 3D images |
| US8717360B2 (en) * | 2010-01-29 | 2014-05-06 | Zspace, Inc. | Presenting a view within a three dimensional scene |
| GB2478156A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for generating a disparity map for stereoscopic images |
| CN105812771B (zh) | 2010-06-27 | 2017-12-08 | Lg电子株式会社 | 数字接收器以及在数字接收器中处理字幕数据的方法 |
| CN101894267B (zh) * | 2010-07-06 | 2012-07-18 | 清华大学 | 一种三维对象特征视图选取方法 |
| WO2012037075A1 (en) | 2010-09-14 | 2012-03-22 | Thomson Licensing | Method of presenting three-dimensional content with disparity adjustments |
| AU2012232423A1 (en) * | 2011-03-18 | 2013-09-05 | Sony Corporation | Image processing device and image processing method |
| US10229538B2 (en) * | 2011-07-29 | 2019-03-12 | Hewlett-Packard Development Company, L.P. | System and method of visual layering |
| US20130038685A1 (en) * | 2011-08-12 | 2013-02-14 | Alcatel-Lucent Usa Inc. | 3d display apparatus, method and structures |
| US8941560B2 (en) * | 2011-09-21 | 2015-01-27 | Google Inc. | Wearable computer with superimposed controls and instructions for external device |
| CN103999445B (zh) | 2011-12-19 | 2018-11-13 | 杜比实验室特许公司 | 头戴式显示器 |
| KR101872864B1 (ko) | 2011-12-19 | 2018-06-29 | 엘지전자 주식회사 | 전자 기기 및 전자 기기의 제어 방법 |
| JP5905610B2 (ja) | 2012-03-12 | 2016-04-20 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ３ｄ視覚的ダイナミックレンジ符号化 |
| WO2013146385A1 (ja) * | 2012-03-27 | 2013-10-03 | 株式会社ニコン | 表示装置及びプログラム |
| US9483853B2 (en) * | 2012-05-23 | 2016-11-01 | Glasses.Com Inc. | Systems and methods to display rendered images |
| US9674501B2 (en) | 2012-07-06 | 2017-06-06 | Lg Electronics Inc. | Terminal for increasing visual comfort sensation of 3D object and control method thereof |
| CN104520905A (zh) | 2012-07-27 | 2015-04-15 | 日本电气方案创新株式会社 | 三维环境共有系统及三维环境共有方法 |
| US9717982B2 (en) * | 2012-12-21 | 2017-08-01 | Microsoft Technology Licensing, Llc | Client rendering of latency sensitive game features |
| WO2014107066A1 (ko) * | 2013-01-04 | 2014-07-10 | 삼성전자 주식회사 | 위상차를 고려한 영상 업샘플링을 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치 |
| US8951071B2 (en) | 2013-03-15 | 2015-02-10 | Apple Inc. | Contact-support mechanism for increased retention force |
| US10019057B2 (en) | 2013-06-07 | 2018-07-10 | Sony Interactive Entertainment Inc. | Switching mode of operation in a head mounted display |
| US9679369B2 (en) * | 2013-09-12 | 2017-06-13 | Ventana 3D Llc | Depth key compositing for video and holographic projection |
| US9405122B2 (en) * | 2014-01-29 | 2016-08-02 | Ricoh Co., Ltd | Depth-disparity calibration of a binocular optical augmented reality system |
| KR20150106380A (ko) * | 2014-03-11 | 2015-09-21 | 삼성전자주식회사 | 인터 레이어 비디오 부복호화를 위한 깊이 영상의 예측 모드 전송 방법 및 장치 |
| JP2015210580A (ja) * | 2014-04-24 | 2015-11-24 | エイディシーテクノロジー株式会社 | 表示システム及びウェアラブル機器 |
| KR20170023000A (ko) * | 2014-06-20 | 2017-03-02 | 삼성전자주식회사 | 인터 레이어 비디오 부복호화를 위한 깊이 영상의 예측 모드 전송 방법 및 장치 |
| US10593113B2 (en) * | 2014-07-08 | 2020-03-17 | Samsung Electronics Co., Ltd. | Device and method to display object with visual effect |
| JP6394174B2 (ja) * | 2014-08-19 | 2018-09-26 | セイコーエプソン株式会社 | 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム |
| US20160103330A1 (en) | 2014-10-10 | 2016-04-14 | 3DOO, Inc. | System and method for adjusting parallax in three-dimensional stereoscopic image representation |
| KR101844883B1 (ko) * | 2014-12-23 | 2018-04-03 | 메타 컴퍼니 | 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템 |
| EP3265868A4 (en) | 2015-03-04 | 2018-11-14 | Song, Jay | Adjustable optical stereoscopic glasses |
| US20170038598A1 (en) * | 2015-03-04 | 2017-02-09 | Jay Song | Adjustable optical stereoscopic glasses |
| CN104899870B (zh) | 2015-05-15 | 2017-08-25 | 清华大学深圳研究生院 | 基于光场数据分布的深度估计方法 |
| US10078917B1 (en) | 2015-06-26 | 2018-09-18 | Lucasfilm Entertainment Company Ltd. | Augmented reality simulation |
| JP6917378B2 (ja) * | 2015-09-17 | 2021-08-11 | ファゾム・オプティクス・インコーポレイテッド | マルチビューディスプレイ並びに関連するシステム及び方法 |
| US10511895B2 (en) | 2015-10-09 | 2019-12-17 | Warner Bros. Entertainment Inc. | Cinematic mastering for virtual reality and augmented reality |
| US10330935B2 (en) | 2016-09-22 | 2019-06-25 | Apple Inc. | Predictive, foveated virtual reality system |
| CN106534830B (zh) * | 2016-10-10 | 2019-04-26 | 上海蒙彤文化传播有限公司 | 一种基于虚拟现实的影院播放系统 |
| US10928638B2 (en) | 2016-10-31 | 2021-02-23 | Dolby Laboratories Licensing Corporation | Eyewear devices with focus tunable lenses |
| JP2018142162A (ja) * | 2017-02-28 | 2018-09-13 | コニカミノルタ株式会社 | 画像形成システム |
| US11363250B2 (en) | 2017-04-11 | 2022-06-14 | Dolby Laboratories Licensing Corporation | Augmented 3D entertainment systems |
| US11882267B2 (en) | 2017-04-11 | 2024-01-23 | Dolby Laboratories Licensing Corporation | Adapting video images for wearable devices |
| US10726574B2 (en) | 2017-04-11 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Passive multi-wearable-devices tracking |
| GB2566744B (en) * | 2017-09-26 | 2021-03-03 | Sony Interactive Entertainment Inc | Head-mountable display system |
| US10893261B2 (en) * | 2017-12-06 | 2021-01-12 | Dolby Laboratories Licensing Corporation | Positional zero latency |
-
2018
- 2018-04-10 RU RU2020117045A patent/RU2743518C2/ru active
- 2018-04-10 PL PL18721565T patent/PL3610654T3/pl unknown
- 2018-04-10 BR BR112019016820-6A patent/BR112019016820B1/pt active IP Right Grant
- 2018-04-10 BR BR122021006807-0A patent/BR122021006807B1/pt active IP Right Grant
- 2018-04-10 KR KR1020197023910A patent/KR102087414B1/ko active IP Right Grant
- 2018-04-10 EP EP18721565.2A patent/EP3610654B1/en active Active
- 2018-04-10 CN CN201880011840.4A patent/CN111406412B/zh active Active
- 2018-04-10 RU RU2019124450A patent/RU2722495C1/ru active
- 2018-04-10 WO PCT/US2018/026974 patent/WO2018191312A1/en active Application Filing
- 2018-04-10 KR KR1020207027477A patent/KR102279143B1/ko active IP Right Grant
- 2018-04-10 CN CN202110931373.0A patent/CN113709439B/zh active Active
- 2018-04-10 US US16/604,118 patent/US10991164B2/en active Active
- 2018-04-10 EP EP21206636.9A patent/EP3988187B1/en active Active
- 2018-04-10 ES ES18721565T patent/ES2902979T3/es active Active
- 2018-04-10 KR KR1020207006343A patent/KR102161734B1/ko active IP Right Grant
- 2018-04-10 CN CN202110930851.6A patent/CN113660539B/zh active Active
- 2018-04-10 JP JP2019544632A patent/JP6654275B1/ja active Active
-
2020
- 2020-01-29 JP JP2020012509A patent/JP6932796B2/ja active Active
-
2021
- 2021-04-26 US US17/240,954 patent/US11361520B2/en active Active
- 2021-08-18 JP JP2021133460A patent/JP7263451B2/ja active Active
-
2022
- 2022-04-28 US US17/731,770 patent/US11893700B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1117074A2 (en) * | 2000-01-13 | 2001-07-18 | Mixed Reality Systems Laboratory Inc. | Augmented reality presentation apparatus and method, and storage medium |
| US20140304335A1 (en) * | 2011-10-11 | 2014-10-09 | Timeplay Entertainment Corporation | Systems and methods for interactive experiences and controllers therefor |
| KR20160018690A (ko) * | 2013-06-07 | 2016-02-17 | 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 | 두부 장착형 시스템과 연관된 홉을 감소시키기 위한 시스템 및 방법 |
Non-Patent Citations (1)
| Title |
|---|
| ALJOSCHA SMOLIC ; PETER KAUFF ; SEBASTIAN KNORR ; ALEXANDER HORNUNG ; MATTHIAS KUNTER ; MARCUS MULLER ; MANUEL LANG: "Three-Dimensional Video Postproduction and Processing", PROCEEDINGS OF THE IEEE., IEEE. NEW YORK., US, vol. 99, no. 4, 1 April 2011 (2011-04-01), US, pages 607 - 625, XP011363624, ISSN: 0018-9219, DOI: 10.1109/JPROC.2010.2098350 * |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102161734B1 (ko) | 계층화된 증강 엔터테인먼트 경험 | |
| US20210409672A1 (en) | Methods and apparatus for receiving and/or playing back content | |
| US20220078393A1 (en) | Enabling motion parallax with multilayer 360-degree video | |
| CN106165415B (zh) | 立体观看 | |
| CN108693970B (zh) | 用于调适可穿戴装置的视频图像的方法和设备 | |
| KR101329057B1 (ko) | 다시점 입체 동영상 송신 장치 및 방법 | |
| US20230179756A1 (en) | Information processing device, information processing method, and program | |
| TW202101373A (zh) | 產生及處理一影像屬性像素結構 | |
| TW202046716A (zh) | 表示場景之影像信號 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |