KR20220069086A - 볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치 - Google Patents
볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR20220069086A KR20220069086A KR1020227013932A KR20227013932A KR20220069086A KR 20220069086 A KR20220069086 A KR 20220069086A KR 1020227013932 A KR1020227013932 A KR 1020227013932A KR 20227013932 A KR20227013932 A KR 20227013932A KR 20220069086 A KR20220069086 A KR 20220069086A
- Authority
- KR
- South Korea
- Prior art keywords
- atlas
- depth
- patches
- patch
- view
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012856 packing Methods 0.000 claims description 13
- 238000005192 partition Methods 0.000 claims description 2
- 230000000670 limiting effect Effects 0.000 description 21
- 238000009877 rendering Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 230000015654 memory Effects 0.000 description 13
- 238000013507 mapping Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013138 pruning Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 229920001690 polydopamine Polymers 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000019888 Circadian rhythm sleep disease Diseases 0.000 description 1
- 208000001456 Jet Lag Syndrome Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- RKTYLMNFRDHKIL-UHFFFAOYSA-N copper;5,10,15,20-tetraphenylporphyrin-22,24-diide Chemical compound [Cu+2].C1=CC(C(=C2C=CC([N-]2)=C(C=2C=CC=CC=2)C=2C=CC(N=2)=C(C=2C=CC=CC=2)C2=CC=C3[N-]2)C=2C=CC=CC=2)=NC1=C3C1=CC=CC=C1 RKTYLMNFRDHKIL-UHFFFAOYSA-N 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 208000033915 jet lag type circadian rhythm sleep disease Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
Abstract
볼류메트릭 비디오의 기하학적 구조를 표현하는 깊이 아틀라스를 인코딩하기 위한 방법들, 디바이스들 및 스트림들이 개시된다. 인코딩될 뷰들은, 단순한 깊이 또는 색상을 갖는 뷰들의 영역들, 즉 깊이 또는 색상이 주어진 임계치보다 더 낮은 국소 분산(variance)을 갖는 영역들을 검출하기 위해 분석된다. 그러한 영역들의 해상도는 감소되고, 아틀라스는 완전 해상도의 제1 영역 및 다운스케일링된 제2 영역을 포함한다. 패치가 다운스케일링된 영역인지 여부를 나타내고, 그러한 경우, 다운스케일링 인자를 나타내는 메타데이터는 데이터 스트림에서 아틀라스와 연관된다. 디코더는 이들 메타데이터를 사용하여 상이한 패치들로부터의 뷰를 구성한다.
Description
본 발명의 원리들은 대체적으로 3차원(3D) 장면 및 볼류메트릭 비디오 콘텐츠의 분야에 관한 것이다. 본 문서는 또한, 모바일 디바이스들 또는 헤드 마운트 디스플레이(Head-Mounted Display, HMD)들과 같은 최종 사용자 디바이스들 상의 볼류메트릭 콘텐츠의 렌더링을 위해 3D 장면의 텍스처 및 기하구조를 나타내는 데이터의 인코딩, 포맷팅, 및 디코딩의 맥락에서 이해된다.
본 섹션은 독자에게 하기에서 기술되고/되거나 청구되는 본 발명의 원리들의 다양한 태양들과 관련될 수 있는 기술의 다양한 태양들을 소개하도록 의도된다. 이러한 논의는 본 발명의 원리들의 다양한 태양들의 더 양호한 이해를 용이하게 하기 위해 독자에게 배경 정보를 제공하는 것에 도움이 되는 것으로 여겨진다. 따라서, 이들 진술들은 이러한 관점에서 읽혀야 하고, 선행 기술의 인정들로서 읽혀서는 안 된다는 것이 이해되어야 한다.
최근, 이용가능한 넓은 시야 콘텐츠(최대 360°)가 성장해 왔다. 그러한 콘텐츠는 헤드 마운트 디스플레이, 스마트글래스, PC 스크린, 태블릿, 스마트폰 등과 같은 몰입형 디스플레이 디바이스들 상의 콘텐츠를 주시하는 사용자에게 완전히 가시적이지 않을 수 있다. 이는, 주어진 순간에, 사용자가 콘텐츠의 일부만을 보는 중일 수 있음을 의미한다. 그러나, 사용자는 전형적으로, 머리 움직임, 마우스 움직임, 터치 스크린, 음성 등과 같은 다양한 수단에 의해 콘텐츠 내에서 내비게이팅할 수 있다. 전형적으로, 이러한 콘텐츠를 인코딩하고 디코딩하는 것이 바람직하다.
360° 플랫 비디오로도 불리는 몰입형 비디오는 사용자가 정지 시점을 중심으로 하는 자신의 머리의 회전을 통해 그 자신 주변의 전부를 주시할 수 있게 한다. 회전은 3 자유도(3 Degrees of Freedom, 3DoF) 경험만을 허용한다. 3DoF 비디오가, 예를 들어 헤드 마운트 디스플레이 디바이스(HMD)를 사용한, 전방향 비디오의 첫 경험에 충분하더라도, 3DoF 비디오는, 예를 들어 시차를 경험함으로써, 더 큰 자유도를 예상하는 뷰어에게 빠르게 실망감을 주게 될 수 있다. 덧붙여, 3DoF는 또한, 사용자가 자신의 머리를 회전시킬 뿐만 아니라 그의 머리를 3개 방향들로도 변환하기 때문에 어지러움을 유발할 수 있는데, 이러한 변환들은 3DoF 비디오 경험들에서 재현되지 않는다.
넓은 시야 콘텐츠는, 특히, 3차원 컴퓨터 그래픽 이미지 장면(3D CGI 장면), 포인트 클라우드 또는 몰입형 비디오일 수 있다. 그러한 몰입형 비디오들을 설계하기 위해 많은 용어들이 사용될 수 있다: 예를 들어, 가상 현실(Virtual Reality, VR), 360, 파노라마, 4π 스테라디안, 몰입형, 전방향 또는 넓은 시야.
볼류메트릭 비디오(6 자유도(6DoF) 비디오로도 알려짐)는 3DoF 비디오에 대한 대안이다. 6DoF 비디오를 주시할 때, 회전들에 더하여, 사용자는 또한, 주시된 콘텐츠 내에서 자신의 머리, 및 심지어 자신의 신체를 변환할 수 있고, 시차(parallax) 및 심지어 볼륨들을 경험할 수 있다. 그러한 비디오들은 몰입감 및 장면 깊이의 인지를 현저히 증가시키고, 머리 변환들 동안 일관된 시각적 피드백을 제공함으로써 어지러움을 방지한다. 콘텐츠는 관심 장면의 색상 및 깊이의 동시 기록을 허용하는 전용 센서들의 수단에 의해 생성된다. 사진측량 기법들과 조합된 컬러 카메라의 리그(rig)의 사용은, 기술적 어려움들이 남아 있더라도, 그러한 기록을 수행하는 방식이다.
3DoF 비디오들이 텍스처 이미지들(예컨대, 위도/경도 투영 맵핑 또는 정방형 투영 맵핑에 따라 인코딩된 구형 이미지들)의 비-맵핑으로부터 기인하는 이미지들의 시퀀스를 포함하지만, 6DoF 비디오 프레임들은 여러 시점들로부터의 정보를 임베드한다. 그들은 3차원 캡처로부터 기인한 일시적인 일련의 포인트 클라우드들로서 보일 수 있다. 뷰잉 조건들에 따라 2개 종류들의 볼류메트릭 비디오들이 고려될 수 있다. 제1 종류(즉, 완전한 6DoF)는 비디오 콘텐츠 내에서 완전한 자유 내비게이션을 허용하는 반면, 제2 종류(3DoF+로도 알려짐)는 사용자 뷰잉 공간을 뷰잉 구속 상자(viewing bounding box)로 불리는 제한적 볼륨으로 한정하여, 머리 및 시차 경험의 제한적 변환을 허용한다. 이러한 제2 맥락은 자리에 앉은 청중 구성원의 자유 내비게이션 조건과 수동 뷰잉 조건 사이의 유용한 절충안이다.
3DoF+ 콘텐츠들은 멀티뷰+ 깊이(Multi-View + Depth, MVD) 프레임들의 세트로서 제공될 수 있다. 3DoF+ 인코더는 입력으로서 멀티뷰+깊이 비디오를 취하고, 뷰들간 중복성(inter-views redundancy)을 제거하고(이러한 단계는 '프루닝 프로세스'로 불림), 선택된 색상 및 깊이 패치들(즉, 프루닝 후에 남아 있는 정보)을 다수의 아틀라스들(즉, 프루닝된 MVD로부터 추출된 픽처들을 수집한 이미지들)로 패킹(pack)한다. 비트스트림은 텍스처(즉, 색상) 및 깊이 패치들의 아틀라스들을 전달하는 다수의 스트림들(예컨대, HEVC 스트림들)로 이루어지며, 이들은 입력 뷰들의 카메라 파라미터들 및 아틀라스 레이아웃들을 설명하는 메타데이터를 동반한다. 알려진 포맷들에서, 패치 아틀라스들은 텍스처 및 깊이에 대해 동일한 픽처 크기 및 동일한 레이아웃(동일한 패킹)을 갖는, 텍스처 및 깊이 아틀라스 성분들의 쌍들로 이루어진다. 텍스처 및 깊이 패치들에 대해 동일한 패킹 및 동일한 공간 해상도를 갖는 그러한 표현은 차선이다. 3D 장면들의 기하학적 구조는 평평하거나 낮은 변화하는 깊이 및/또는 텍스처를 갖는 큰 구역들을 나타낸다. 볼류메트릭 비디오들의 이러한 특징을 이용하기 위한 해결책이 결여되어 있다.
하기는 본 발명의 원리들의 일부 태양들에 대한 기본적인 이해를 제공하기 위해 본 발명의 원리들의 단순화된 요약을 제시한다. 이러한 발명의 내용은 본 발명의 원리들의 광범위한 개요가 아니다. 그것은 본 발명의 원리들의 핵심 또는 중요한 요소들을 식별하려고 의도되지 않는다. 하기의 발명의 내용은, 본 발명의 원리들의 일부 태양들을 하기에 제공되는 더 상세한 설명에 대한 서두로서 단순화된 형태로 제시할 뿐이다.
본 발명의 원리들은 아틀라스에서의 뷰를 인코딩하기 위한 방법에 관한 것이고, 방법은,
-
상기 뷰를 제1 영역들 및 제2 영역들로 분할하는 단계 - 제2 영역은 서브샘플링을 위한 후보임 -;
-
제2 영역들의 해상도를 인자만큼 다운스케일링하는 단계; 및
-
패치가 제1 영역 또는 다운스케일링된 제2 영역인지 여부를 나타내고, 그러한 경우, 해상도의 다운스케일링에 사용되는 인자를 나타내는 메타데이터와 관련하여 제1 영역들 및 다운스케일링된 제2 영역을 상기 아틀라스에 패킹하는 단계를 포함한다.
본 발명의 원리들은 또한, 이러한 방법을 구현하기 위해 구성된 프로세서를 포함하는 디바이스에 관한 것이다.
본 발명의 원리들은 또한 패치들을 포함하는 아틀라스로부터 뷰를 디코딩하기 위한 방법에 관한 것이고, 방법은,
-
패치가 제1 패치 또는 제2 패치인지 여부를 나타내고, 그러한 경우, 다운스케일링 인자를 나타내는 메타데이터를 획득하는 단계;
-
연관된 상기 다운스케일링 인자에 따라 제2 패치들의 해상도를 업스케일링하는 단계; 및
상기 제1 패치들 및 업스케일링된 제2 패치들로부터 상기 뷰를 구성하는 단계를 포함한다.
본 발명의 원리들은 또한, 이러한 방법을 구현하기 위해 구성된 프로세서를 포함하는 디바이스에 관한 것이다.
첨부 도면을 참조하는 하기의 설명을 읽을 시에, 본 발명이 더 잘 이해될 것이고, 다른 특정 특징들 및 이점들이 드러날 것이다.
- 도 1은 본 발명의 원리들의 비제한적인 실시예에 따른, 객체의 3차원(3D) 모델 및 3D 모델에 대응하는 포인트 클라우드의 포인트들을 도시한다.
- 도 2는 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면들의 시퀀스를 표현하는 데이터의 인코딩, 송신, 및 디코딩의 비제한적인 예를 도시한다.
- 도 3은 본 발명의 원리들의 비제한적인 실시예에 따른, 도 13 및 도 14와 관련하여 기술된 방법을 구현하도록 구성될 수 있는 디바이스의 예시적인 아키텍처를 도시한다.
- 도 4는 본 발명의 원리들의 비제한적인 실시예에 따른, 데이터가 패킷 기반 송신 프로토콜을 통해 송신될 때의 스트림의 신택스(syntax)의 일 실시예의 일례를 도시한다.
- 도 5는 본 발명의 원리들의 비제한적인 실시예에 따른, 4개의 투영 중심들의 일례를 갖는 패치 아틀라스 접근법을 도시한다.
- 도 6은 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면의 포인트들의 텍스처 정보를 포함하는 아틀라스의 일례를 도시한다.
- 도 7은 본 발명의 원리들의 비제한적인 실시예에 따른, 도 6의 3D 장면의 포인트들의 깊이 정보를 포함하는 아틀라스의 일례를 도시한다.
- 도 8은 본 발명의 원리들의 비제한적인 실시예에 따른, 깊이 정보의 특성들에 따른, 기본 뷰를 영역들로 분할하는 것을 도시한다.
- 도 9는 본 발명의 원리들의 비제한적인 실시예에 따른, 도 8의 기본 뷰(80)를 포함하는 3D 장면의 인코딩을 위한 아틀라스 프레임의 예시적인 색상 성분을 도시한다.
- 도 10은 본 발명의 원리들의 비제한적인 실시예에 따른, 도 8의 기본 뷰(80)를 포함하는 3D 장면의 인코딩을 위한 아틀라스 프레임의 예시적인 깊이 성분을 도시한다.
- 도 11은 본 발명의 원리들의 비제한적인 실시예에 따른, 수평 방향 및 수직 방향 둘 모두에서의 규칙적인 서브샘플링을 도시한다.
- 도 12는 본 발명의 원리들의 비제한적인 실시예에 따른, 상이한 해상도로 송신된 패치들의 쌍일차(bilinear) 업-샘플링의 일례를 도시한다.
- 도 13은 본 발명의 원리들의 비제한적인 실시예에 따른, 깊이 패치들의 아틀라스에 깊이 뷰를 인코딩하기 위한 방법을 도시한다.
- 도 14는 본 발명의 원리들의 비제한적인 실시예에 따른, 깊이 패치들의 아틀라스로부터 깊이 뷰를 디코딩하기 위한 방법을 도시한다.
- 도 1은 본 발명의 원리들의 비제한적인 실시예에 따른, 객체의 3차원(3D) 모델 및 3D 모델에 대응하는 포인트 클라우드의 포인트들을 도시한다.
- 도 2는 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면들의 시퀀스를 표현하는 데이터의 인코딩, 송신, 및 디코딩의 비제한적인 예를 도시한다.
- 도 3은 본 발명의 원리들의 비제한적인 실시예에 따른, 도 13 및 도 14와 관련하여 기술된 방법을 구현하도록 구성될 수 있는 디바이스의 예시적인 아키텍처를 도시한다.
- 도 4는 본 발명의 원리들의 비제한적인 실시예에 따른, 데이터가 패킷 기반 송신 프로토콜을 통해 송신될 때의 스트림의 신택스(syntax)의 일 실시예의 일례를 도시한다.
- 도 5는 본 발명의 원리들의 비제한적인 실시예에 따른, 4개의 투영 중심들의 일례를 갖는 패치 아틀라스 접근법을 도시한다.
- 도 6은 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면의 포인트들의 텍스처 정보를 포함하는 아틀라스의 일례를 도시한다.
- 도 7은 본 발명의 원리들의 비제한적인 실시예에 따른, 도 6의 3D 장면의 포인트들의 깊이 정보를 포함하는 아틀라스의 일례를 도시한다.
- 도 8은 본 발명의 원리들의 비제한적인 실시예에 따른, 깊이 정보의 특성들에 따른, 기본 뷰를 영역들로 분할하는 것을 도시한다.
- 도 9는 본 발명의 원리들의 비제한적인 실시예에 따른, 도 8의 기본 뷰(80)를 포함하는 3D 장면의 인코딩을 위한 아틀라스 프레임의 예시적인 색상 성분을 도시한다.
- 도 10은 본 발명의 원리들의 비제한적인 실시예에 따른, 도 8의 기본 뷰(80)를 포함하는 3D 장면의 인코딩을 위한 아틀라스 프레임의 예시적인 깊이 성분을 도시한다.
- 도 11은 본 발명의 원리들의 비제한적인 실시예에 따른, 수평 방향 및 수직 방향 둘 모두에서의 규칙적인 서브샘플링을 도시한다.
- 도 12는 본 발명의 원리들의 비제한적인 실시예에 따른, 상이한 해상도로 송신된 패치들의 쌍일차(bilinear) 업-샘플링의 일례를 도시한다.
- 도 13은 본 발명의 원리들의 비제한적인 실시예에 따른, 깊이 패치들의 아틀라스에 깊이 뷰를 인코딩하기 위한 방법을 도시한다.
- 도 14는 본 발명의 원리들의 비제한적인 실시예에 따른, 깊이 패치들의 아틀라스로부터 깊이 뷰를 디코딩하기 위한 방법을 도시한다.
본 발명의 원리들은 첨부 도면들을 참조하여 이하에서 더욱 완전히 기술될 것이며, 도면들에는 본 발명의 원리들의 예들이 도시되어 있다. 그러나, 본 발명의 원리들은 많은 대안적인 형태들로 구현될 수 있고, 본 명세서에 제시된 예들로 제한되는 것으로 해석되어서는 안 된다. 따라서, 본 발명의 원리들이 다양한 수정들 및 대안적인 형태들을 허용하지만, 이들의 특정 예들은 도면에서 예들로서 도시되어 있고, 본 명세서에서 상세히 기술될 것이다. 그러나, 본 발명의 원리들을 개시된 특정 형태들로 제한하려는 의도는 없지만, 반대로, 본 발명은 청구범위에 의해 정의된 바와 같은 본 발명의 원리들의 사상 및 범주 내에 속하는 모든 수정들, 등가물들 및 대안들을 포괄할 것이라는 것이 이해되어야 한다.
본 명세서에 사용된 용어는 단지 특정 예들을 설명하는 목적을 위한 것이고, 본 발명의 원리들을 제한하는 것으로 의도되지 않는다. 본 명세서에 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은, 문맥상 명백히 달리 나타내지 않는 한, 복수의 형태들도 또한 포함하도록 의도된다. 본 명세서에서 사용될 때, 용어들 "포함하다(comprises)", "포함하는(comprising)", "포함하다(includes)" 및/또는 "포함하는(including)"은 언급된 특징부, 정수, 단계, 동작, 요소, 및/또는 컴포넌트의 존재를 명시하지만, 하나 이상의 다른 특징부, 정수, 단계, 동작, 요소, 컴포넌트 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다. 게다가, 한 요소가 다른 요소에 "응답"하거나 "접속"되는 것으로 언급될 때, 그것은 또 다른 요소에 직접 응답하거나 접속될 수 있거나, 또는 개재 요소들이 존재할 수 있다. 대조적으로, 한 요소가 다른 요소에 "직접 응답"하거나 "직접 접속"되는 것으로 언급될 때, 어떠한 개재 요소들도 존재하지 않는다. 본 명세서에 사용된 바와 같이, 용어 "및/또는"은 연관된 열거된 항목들 중 하나 이상의 항목들 중 임의의 것 및 그의 모든 조합들을 포함하고, "/"로 약칭될 수 있다.
다양한 요소들을 기술하기 위해 용어들 "제1", "제2" 등이 본 명세서에 사용될 수 있지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 이해될 것이다. 이러한 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 본 발명의 원리들의 교시로부터 벗어나지 않고서, 제1 요소는 제2 요소로 칭해질 수 있고, 유사하게, 제2 요소는 제1 요소로 칭해질 수 있다.
주요 통신 방향을 보여주기 위해 도면들 중 일부가 통신 경로들 상에 화살표들을 포함하지만, 통신은 묘사된 화살표들과는 반대 방향으로 발생할 수 있다는 것이 이해되어야 한다.
일부 예들은, 각각의 블록이 회로 요소, 모듈, 또는 특정 로직 기능(들)을 구현하기 위한 하나 이상의 실행가능 명령어들을 포함하는 코드의 일부분을 표현하는 블록도들 및 동작 흐름도들과 관련하여 기술된다. 또한, 다른 구현예들에서, 블록들에서 언급된 기능(들)은 언급된 순서를 벗어나 발생할 수 있다는 것에 유의해야 한다. 예를 들어, 연속으로 도시된 2개의 블록들은 실제로, 실질적으로 동시에 실행될 수 있거나, 또는 블록들은 때때로, 관여된 기능에 따라 역순으로 실행될 수 있다.
본 명세서에서 "일례에 따른" 또는 "일례에서"라는 언급은, 그 예와 관련하여 기술되는 특정 특징부, 구조물, 또는 특성이 본 발명의 원리들의 적어도 하나의 구현예에 포함될 수 있음을 의미한다. 본 명세서 내의 다양한 곳들에서 문구 "일례에 따른" 또는 "일례에서"의 출현은 반드시 모두 동일한 예를 지칭하는 것은 아니며, 또는 다른 예들과 반드시 상호 배타적인 별개의 또는 대안적인 예들을 지칭하는 것도 아니다.
청구범위에 나타나는 참조 번호들은 단지 예시를 위한 것이고, 청구범위의 범주에 대해 제한하는 효과를 갖지 않을 것이다. 명시적으로 기술되어 있지 않지만, 본 예들 및 변형예들은 임의의 조합 또는 하위조합에서 채용될 수 있다.
도 1은 객체의 3차원(3D) 모델(10) 및 3D 모델(10)에 대응하는 포인트 클라우드(11)의 포인트들을 도시한다. 3D 모델(10) 및 포인트 클라우드(11)는, 예를 들어, 다른 객체들을 포함하는 3D 장면의 객체의 가능한 3D 표현에 대응할 수 있다. 모델(10)은 3D 메시 표현일 수 있고, 포인트 클라우드(11)의 포인트들은 메시의 정점들일 수 있다. 포인트 클라우드(11)의 포인트들은 또한, 메시의 면들의 표면 상에 펼쳐진 포인트들일 수 있다. 모델(10)은 또한, 포인트 클라우드(11)의 스플랫 버전(splatted version)으로서 표현될 수 있으며, 모델(10)의 표면은 포인트 클라우드(11)의 포인트들을 스플랫함으로써 생성된다. 모델(10)은 복셀(voxel)들 또는 스플라인(spline)들과 같은 많은 상이한 표현들에 의해 표현될 수 있다. 도 1은, 포인트 클라우드가 3D 객체의 표면 표현으로 정의될 수 있고 3D 객체의 표면 표현이 클라우드의 포인트로부터 생성될 수 있다는 사실을 도시한다. 본 명세서에 사용된 바와 같이, 이미지 상에 (3D 장면의 확장 포인트들에 의한) 3D 객체의 포인트들을 투영하는 것은 이러한 3D 객체의 임의의 표현, 예를 들어 포인트 클라우드, 메시, 스플라인 모델 또는 복셀 모델을 투영하는 것과 동등하다.
포인트 클라우드는 메모리에, 예를 들어 벡터 기반 구조로서 표현될 수 있으며, 여기서 각각의 포인트는 뷰포인트의 기준의 프레임 내의 그 자신의 좌표들(예컨대, 3차원 좌표들 XYZ, 또는 뷰포인트로부터의/으로의 입체각(solid angle) 및 거리(깊이로도 불림)) 및 구성요소로도 불리는 하나 이상의 속성들을 갖는다. 구성요소의 일례는 다양한 색 공간들에서 표현될 수 있는 색상 구성요소, 예를 들어 RGB(적색, 녹색, 청색) 또는 YUV(Y는 루마 구성요소이고 UV는 2개의 색차 구성요소들임)이다. 포인트 클라우드는 객체들을 포함하는 3D 장면의 표현이다. 3D 장면은 주어진 뷰포인트 또는 뷰포인트들의 범위로부터 보일 수 있다. 포인트 클라우드는 다수의 방식들에 의해, 예컨대:
3D 장면은, 특히 3DoF+ 렌더링을 위해 준비될 때, 멀티뷰 + 깊이(MVD) 프레임에 의해 표현될 수 있다. 이어서, 볼류메트릭 비디오는 MVD 프레임들의 시퀀스이다. 이러한 접근법에서, 볼류메트릭 정보는 대응하는 색상 및 깊이 아틀라스들에 저장된 색상 및 깊이 패치들의 조합으로서 전달되는데, 그들은 이어서, 규칙적 코덱들(전형적으로, HEVC)을 이용하여 비디오 인코딩된다. 색상 및 깊이 패치들의 각각의 조합은 전형적으로, MVD 입력 뷰들의 하부부분을 표현하고, 모든 패치들의 세트는 인코딩 스테이지에서, 가능한 한 덜 중복된 동안 전체 장면을 커버하도록 설계된다. 디코딩 스테이지에서, 아틀라스들은 먼저 비디오 디코딩되고, 패치들은 원하는 뷰잉 포지션에 연관된 뷰포트를 복구하는 뷰 합성 프로세스에서 렌더링된다.
도 2는 3D 장면들의 시퀀스를 나타내는 데이터의 인코딩, 송신, 및 디코딩의 비제한적인 예를 도시한다. 인코딩 포맷은, 예를 들어 그리고 동시에, 3DoF, 3DoF+ 및 6DoF 디코딩에 호환가능할 수 있다.
3D 장면들(20)의 시퀀스가 획득된다. 픽처들의 시퀀스가 2D 비디오이므로, 3D 장면들의 시퀀스는 3D(볼류메트릭으로도 불림) 비디오이다. 3D 장면들의 시퀀스는 3DoF, 3DoF+ 또는 6DoF 렌더링 및 디스플레이를 위한 볼류메트릭 비디오 렌더링 디바이스에 제공될 수 있다.
3D 장면들(20)의 시퀀스가 인코더(21)에 제공된다. 인코더(21)는 입력으로서 하나의 3D 장면들 또는 3D 장면들의 시퀀스를 취하고, 입력을 나타내는 비트 스트림을 제공한다. 비트 스트림은 메모리(22) 내에 그리고/또는 전자 데이터 매체 상에 저장될 수 있고, 네트워크(22)를 통해 송신될 수 있다. 3D 장면들의 시퀀스를 나타내는 비트 스트림은 메모리(22)로부터 판독될 수 있고/있거나 디코더(23)에 의해 네트워크(22)로부터 수신될 수 있다. 디코더(23)는 상기 비트 스트림에 의해 입력되고, 예를 들어 포인트 클라우드 포맷으로, 3D 장면들의 시퀀스를 제공한다.
인코더(21)는 여러 단계들을 구현하는 여러 회로들을 포함할 수 있다. 제1 단계에서, 인코더(21)는 각각의 3D 장면을 적어도 하나의 2D 픽처 상에 투영한다. 3D 투영은 3차원 포인트들을 2차원 평면에 맵핑하는 임의의 방법이다. 그래픽 데이터를 디스플레이하기 위한 대부분의 현재 방법들은 평면(여러 비트 평면들로부터의 픽셀 정보) 2차원 매체들에 기초하므로, 이러한 유형의 투영의 사용은, 특히 컴퓨터 그래픽, 엔지니어링 및 드래프팅에서 광범위하다. 투영 회로(211)는 시퀀스(20)의 3D 장면에 대한 적어도 하나의 2차원 프레임(2111)을 제공한다. 프레임(2111)은 프레임(2111) 상에 투영된 3D 장면을 나타내는 색상 정보 및 깊이 정보를 포함한다. 변형예에서, 색상 정보 및 깊이 정보는 2개의 별개의 프레임들(2111, 2112)에 인코딩된다.
메타데이터(212)는 투영 회로(211)에 의해 사용되고 업데이트된다. 메타데이터(212)는 투영 동작에 관한, 그리고 도 5 내지 도 7과 관련하여 기술된 바와 같이 색상 및 깊이 정보가 프레임들(2111, 2112) 내에 조직되는 방식에 관한 정보(예컨대, 투영 파라미터들)를 포함한다.
비디오 인코딩 회로(213)는 프레임들(2111, 2112)의 시퀀스를 비디오로서 인코딩한다. 3D 장면(2111, 2112)의 픽처들(또는 3D 장면의 픽처들의 시퀀스)은 비디오 인코더(213)에 의해 스트림에 인코딩된다. 이어서, 비디오 데이터 및 메타데이터(212)는 데이터 캡슐화 회로(214)에 의해 데이터 스트림에 캡슐화된다.
인코더(213)는, 예를 들어, 하기와 같은 인코더와 호환된다:
-
JPEG, 규격 ISO/CEI 10918-1 UIT-T Recommendation T.81, https://www.itu.int/rec/T-REC-T.81/en;
-
MPEG-4 AVC 또는 h264로도 명명된 AVC. UIT-T H.264 및 ISO/CEI MPEG-4 파트 10(ISO/CEI 14496-10) 둘 모두에 명시됨, http://www.itu.int/rec/T-REC-H.264/en, HEVC(그의 규격은 ITU website, T recommendation, H series, h265, http://www.itu.int/rec/T-REC-H.265-201612-I/en에 기반함);
-
3D-HEVC(규격이 ITU website, T recommendation, H series, h265, http://www.itu.int/rec/T-REC-H.265-201612-I/en annex G and I에 기반하는 HEVC의 확장판);
-
Google에 의해 개발된 VP9;
-
Alliance for Open Media에 의해 개발된 AV1(AOMedia Video 1); 또는
-
범용 비디오 코더 또는 MPEG-I 또는 MPEG-V 향후 버전들과 같은 향후 표준들.
데이터 스트림은 디코더(23)에 의해, 예를 들어 네트워크(22)를 통해 액세스가능한 메모리에 저장된다. 디코더(23)는 디코딩의 상이한 단계들을 구현하는 상이한 회로들을 포함한다. 디코더(23)는 입력으로서 인코더(21)에 의해 생성된 데이터 스트림을 취하고, 헤드 마운트 디바이스(HMD)와 같은 볼류메트릭 비디오 디스플레이 디바이스에 의해 렌더링되고 디스플레이될 3D 장면들(24)의 시퀀스를 제공한다. 디코더(23)는 소스(22)로부터 스트림을 획득한다. 예를 들어, 소스(22)는 하기를 포함하는 세트에 속한다:
-
로컬 메모리, 예컨대, 비디오 메모리 또는 RAM(또는 랜덤 액세스 메모리), 플래시 메모리, ROM(또는 판독 전용 메모리), 하드 디스크;
-
저장소 인터페이스, 예컨대, 대용량 저장소, RAM, 플래시 메모리, ROM, 광학 디스크 또는 자기 지지체를 갖는 인터페이스;
-
통신 인터페이스, 예컨대, 유선 인터페이스(예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 근거리 통신망 인터페이스) 또는 무선 인터페이스(예컨대, IEEE 802.11 인터페이스 또는 Bluetooth® 인터페이스); 및
-
사용자가 데이터를 입력할 수 있게 하는 그래픽 사용자 인터페이스와 같은 사용자 인터페이스.
디코더(23)는 데이터 스트림에 인코딩된 데이터를 추출하기 위한 회로(234)를 포함한다. 회로(234)는 입력으로서 데이터 스트림을 취하고, 스트림에 인코딩된 메타데이터(212)에 대응하는 메타데이터(232)와 2차원 비디오를 제공한다. 비디오는 프레임들의 시퀀스를 제공하는 비디오 디코더(233)에 의해 디코딩된다. 디코딩된 프레임들은 색상 및 깊이 정보를 포함한다. 변형예에서, 비디오 디코더(233)는 프레임들의 2개의 시퀀스들을 제공하는데, 하나의 시퀀스는 색상 정보를 포함하고, 다른 시퀀스는 깊이 정보를 포함한다. 회로(231)는 메타데이터(232)를 사용하여, 3D 장면들(24)의 시퀀스를 제공하기 위해 디코딩된 프레임들로부터의 색상 및 깊이 정보를 투영하지 않도록 한다. 3D 장면들(24)의 시퀀스는 3D 장면들(20)의 시퀀스에 대응하며, 이때 정밀도의 가능한 손실은 2D 비디오로서의 인코딩 및 비디오 압축과 관련된다.
도 3은 도 13 및 도 14와 관련하여 기술된 방법을 구현하도록 구성될 수 있는 디바이스(30)의 예시적인 아키텍처를 도시한다. 도 2의 인코더(21) 및/또는 디코더(23)는 이러한 아키텍처를 구현할 수 있다. 대안적으로, 인코더(21) 및/또는 디코더(23)의 각각의 회로는, 예를 들어, 그들의 버스(31)를 통해 그리고/또는 I/O 인터페이스(36)를 통해 함께 연결된, 도 3의 아키텍처에 따른 디바이스일 수 있다.
디바이스(30)는 데이터 및 어드레스 버스(31)에 의해 함께 연결되는 하기의 요소들을 포함한다:
-
예를 들어, DSP(또는 디지털 신호 프로세서)인 마이크로프로세서(32)(또는 CPU);
-
ROM(또는 판독 전용 메모리)(33);
-
RAM(또는 랜덤 액세스 메모리)(34);
-
저장소 인터페이스(35);
-
애플리케이션으로부터의, 송신할 데이터의 수신을 위한 I/O 인터페이스(36); 및
-
전력 공급부, 예컨대 배터리.
일례에 따르면, 전력 공급부는 디바이스의 외부에 있다. 언급된 메모리 각각에서, 본 명세서에서 사용되는 단어 ㄻ레지스터ㅋ는 작은 용량(약간의 비트들)의 영역 또는 매우 큰 영역(예컨대, 전체 프로그램 또는 다량의 수신되거나 디코딩된 데이터)에 대응할 수 있다. ROM(33)은 적어도 프로그램 및 파라미터들을 포함한다. ROM(33)은 본 발명의 원리들에 따른 기법들을 수행하기 위한 알고리즘들 및 명령어들을 저장할 수 있다. 스위치-온될 때, CPU(32)는 RAM에 프로그램을 업로드하고, 대응하는 명령어들을 실행한다.
RAM(34)은, 레지스터 내의, CPU(32)에 의해 실행되고 디바이스(30)의 스위치-온 후에 업로드된 프로그램, 레지스터 내의 입력 데이터, 레지스터 내의 방법의 상이한 상태들의 중간 데이터, 및 레지스터 내의 방법의 실행을 위해 사용되는 다른 변수들을 포함한다.
본 명세서에 기술된 구현예들은, 예를 들어, 방법 또는 프로세스, 장치, 컴퓨터 프로그램 제품, 데이터 스트림, 또는 신호로 구현될 수 있다. 단일 형태의 구현예의 맥락에서만 논의되더라도(예를 들어, 방법 또는 디바이스로서만 논의됨), 논의된 특징들의 구현예는 또한 다른 형태들(예를 들어, 프로그램)로 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은, 예를 들어, 예컨대 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 디바이스를 포함하는, 대체적으로 프로세싱 디바이스들로 지칭되는, 예를 들어, 프로세서와 같은 장치에서 구현될 수 있다. 프로세서들은 또한, 예를 들어, 컴퓨터, 셀룰러폰, 휴대용/개인 디지털 어시스턴트("PDA"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스와 같은 통신 디바이스들을 포함한다.
예들에 따르면, 디바이스(30)는 도 13 및 도 14와 관련하여 기술된 방법을 구현하도록 구성되고, 하기를 포함하는 세트에 속한다:
-
모바일 디바이스;
-
통신 디바이스;
-
게임 디바이스;
-
태블릿(또는 태블릿 컴퓨터);
-
랩톱;
-
정지 픽처 카메라;
-
비디오 카메라;
-
인코딩 칩;
-
서버(예컨대, 브로드캐스트 서버, 주문형 비디오 서버 또는 웹 서버).
도 4는 데이터가 패킷 기반 송신 프로토콜을 통해 송신될 때의 스트림의 신택스의 일 실시예의 일례를 도시한다. 도 4는 볼류메트릭 비디오 스트림의 예시적인 구조물(4)을 도시한다. 구조물은 신택스의 독립적인 요소들로 스트림을 조직하는 컨테이너에 있다. 구조물은 스트림의 모든 신택스 요소들에 공통인 데이터의 세트인 헤더 부분(41)을 포함할 수 있다. 예를 들어, 헤더 부분은 신택스 요소들에 관한 메타데이터의 일부를 포함하며, 이는 그들 각각의 특성 및 역할을 설명한다. 헤더 부분은 또한, 도 2의 메타데이터(212)의 일부, 예를 들어, 프레임들(2111, 2112) 상으로 3D 장면의 포인트들을 투영하기 위해 사용되는 중심 시점의 좌표들을 포함할 수 있다. 구조물은 신택스의 요소(42) 및 신택스의 적어도 하나의 요소(43)를 포함하는 페이로드를 포함한다. 신택스 요소(42)는 색상 및 깊이 프레임들을 나타내는 데이터를 포함한다. 이미지들은 비디오 압축 방법에 따라 압축되었을 수 있다.
신택스의 요소(43)는 데이터 스트림의 페이로드의 일부이고, 신택스의 요소(42)의 프레임들이 어떻게 인코딩되는지에 관한 메타데이터, 예를 들어 프레임들 상에 3D 장면의 포인트들을 투영하고 패킹하기 위해 사용되는 파라미터들을 포함할 수 있다. 그러한 메타데이터는 비디오의 각각의 프레임과 또는 프레임들의 그룹(비디오 압축 표준에서 픽처들의 그룹(Group of Pictures, GoP)으로도 알려짐)에 연관될 수 있다.
도 5는 4개의 투영 중심들의 일례를 갖는 패치 아틀라스 접근법을 도시한다. 3D 장면(50)은 캐릭터를 포함한다. 예를 들어, 투영의 중심(51)은 투시 카메라(perspective camera)이고, 카메라(53)는 정사영 카메라(orthographic camera)이다. 카메라는 또한, 예를 들어, 구형 맵핑(예컨대, 정방형 맵핑) 또는 큐브 맵핑을 갖는 전방향 카메라일 수 있다. 3D 장면의 3D 포인트들은 메타데이터의 투영 데이터에 설명된 투영 동작에 따라, 투영 중심들에 위치된 가상 카메라들과 연관된 2D 평면들 상에 투영된다. 도 5의 예에서, 카메라(51)에 의해 캡처된 포인트들의 투영은 원근 맵핑(perspective mapping)에 따라 패치(52) 상에 맵핑되고, 카메라(53)에 의해 캡처된 포인트들의 투영은 정사영 맵핑에 따라 패치(54) 상에 맵핑된다.
투영된 픽셀들의 클러스터링은 직사각형 아틀라스(55)에 패킹된 다수의 2D 패치들을 산출한다. 아틀라스 내의 패치들의 조직은 아틀라스 레이아웃을 정의한다. 일 실시예에서, 동일한 레이아웃을 갖는 2개의 아틀라스들: 텍스처(즉, 색상) 정보에 대한 하나의 아틀라스 및 깊이 정보에 대한 하나의 아틀라스. 동일한 카메라에 의해 또는 2개의 별개의 카메라들에 의해 캡처된 2개의 패치들은, 예를 들어 패치들(54, 56)과 같은 3D 장면의 동일한 부분을 나타내는 정보를 포함할 수 있다.
패킹 동작은 각각의 생성된 패치에 대한 패치 데이터를 생성한다. 패치 데이터는 투영 데이터에 대한 참조(예를 들어, 투영 데이터에 대한 포인터(즉, 데이터 스트림 내의 또는 메모리 내의 어드레스) 또는 투영 데이터의 테이블 내의 인덱스) 및 아틀라스 내의 패치의 크기 및 위치를 설명하는 정보(예컨대, 상단 좌측 코너 좌표들, 픽셀들의 크기 및 폭)를 포함한다. 하나 또는 2개의 아틀라스들의 압축 데이터와 연관되어 데이터 스트림에 캡슐화될 메타데이터에 패치 데이터 항목들이 추가된다.
도 6은 본 발명의 원리들의 비제한적인 실시예에 따른, 3D 장면의 포인트들의 텍스처 정보(예컨대, RGB 데이터 또는 YUV 데이터)를 포함하는 아틀라스(60)의 일례를 도시한다. 도 5와 관련하여 설명된 바와 같이, 아틀라스는 이미지 패킹 패치들이고, 패치는 3D 장면의 포인트들의 일부를 투영함으로써 획득된 픽처이다.
도 6의 예에서, 아틀라스(60)는 시점에서 가시적인 3D 장면의 포인트들의 텍스처 정보를 포함하는 제1 부분(61) 및 하나 이상의 제2 부분들(62)을 포함한다. 제1 부분(61)의 텍스처 정보는, 예를 들어, 등장방형 투영 맵핑에 따라 획득될 수 있고, 등장방형 투영 맵핑은 구형 투영 맵핑의 일례이다. 도 6의 예에서, 제2 부분들(62)은 제1 부분(61)의 좌측 및 우측 경계들에 배열되지만, 제2 부분들은 상이하게 배열될 수 있다. 제2 부분들(62)은 시점에서 가시적인 부분에 상보적인 3D 장면의 부분들의 텍스처 정보를 포함한다. 제2 부분들은 3D 장면으로부터 제1 뷰포인트에서 가시적인 포인트들(이들의 텍스처는 제1 부분에 저장됨)을 제거함으로써, 그리고 동일한 시점에 따라 나머지 포인트들을 투영함으로써 획득될 수 있다. 후자의 프로세스는 3D 장면의 은닉 부분들을 매번 획득하기 위해 반복적으로 반복될 수 있다. 일 변형예에 따르면, 제2 부분들은 3D 장면으로부터 시점, 예를 들어 중심 시점에서 가시적인 포인트들(이들의 텍스처는 제1 부분에 저장됨)을 제거함으로써, 그리고 제1 시점과는 상이한 시점에 따라, 예를 들어 중심 시점 상에 중심을 둔 뷰 공간(예컨대, 3DoF 렌더링의 뷰잉 공간)의 하나 이상의 제2 시점으로부터 나머지 포인트들을 투영함으로써 획득될 수 있다.
제1 부분(61)은 제1 대형 텍스처 패치(3D 장면의 제1 부분에 대응함)로 보일 수 있고, 제2 부분들(62)은 더 작은 텍스처 패치들(제1 부분에 상보적인 3D 장면의 제2 부분들에 대응함)을 포함한다. 그러한 아틀라스는 (제1 부분(61)만을 렌더링할 때) 3DoF 렌더링과 동시에 그리고 3DoF+ / 6DoF 렌더링과 동시에 호환가능하다는 이점을 갖는다.
도 7은 본 발명의 원리들의 비제한적인 실시예에 따른, 도 6의 3D 장면의 포인트들의 깊이 정보를 포함하는 아틀라스(70)의 일례를 도시한다. 아틀라스(70)는 도 6의 텍스처 이미지(60)에 대응하는 깊이 이미지로 보일 수 있다.
아틀라스(70)는 중심 시점에서 가시적인 3D 장면의 포인트들의 깊이 정보를 포함하는 제1 부분(71) 및 하나 이상의 제2 부분들(72)을 포함한다. 아틀라스(70)는 아틀라스(60)와 동일한 방식으로 획득될 수 있지만, 텍스처 정보 대신에 3D 장면의 포인트들과 연관된 깊이 정보를 포함한다.
3D 장면의 3DoF 렌더링을 위해, 하나의 시점만이, 전형적으로는 중심 시점이 고려된다. 사용자는 3D 장면의 다양한 부분들을 주시하기 위해 제1 시점을 중심으로 그의 머리를 3개의 자유도로 회전시킬 수 있지만, 사용자는 이러한 고유 시점을 이동시킬 수 없다. 인코딩될 장면의 포인트들은 이러한 고유 시점에서 가시적인 포인트들이고, 텍스처 정보만이 3DoF 렌더링을 위해 인코딩/디코딩될 필요가 있다. 3DoF 렌더링을 위해 이러한 고유 시점에서 가시적이지 않은 장면의 포인트들을 인코딩할 필요가 없는데, 이는 사용자가 그들에 액세스할 수 없기 때문이다.
6DoF 렌더링과 관련하여, 사용자는 장면 내의 모든 곳에서 뷰포인트를 이동시킬 수 있다. 이러한 경우, 비트스트림 내의 장면의 모든 포인트(깊이 및 텍스처)를 인코딩하는 것이 요구되는데, 이는 모든 포인트가 자신의 시점을 이동시킬 수 있는 사용자에 의해 잠재적으로 액세스가능하기 때문이다. 인코딩 스테이지에서, 사용자가 어느 시점으로부터 3D 장면을 관찰할 것인지를 선험적으로 알기 위한 어떠한 수단도 없다.
3DoF+ 렌더링과 관련하여, 사용자는 중심 시점을 중심으로 하는 제한적 공간 내에서 시점을 이동시킬 수 있다. 이는 시차를 경험할 수 있게 한다. 중심 시점(즉, 제1 부분들(61, 71))에 따라 가시적인 3D 장면을 나타내는 데이터를 포함한, 뷰의 공간의 임의의 포인트에서 가시적인 장면의 부분을 나타내는 데이터가 스트림 내에 인코딩될 것이다. 뷰의 공간의 크기 및 형상은, 예를 들어, 인코딩 단계에서 결정 및 판정될 수 있고, 비트스트림에 인코딩될 수 있다. 디코더는 비트스트림으로부터 이러한 정보를 획득할 수 있고, 렌더러(renderer)는 뷰의 공간을 획득된 정보에 의해 결정된 공간으로 제한한다. 다른 예에 따르면, 렌더러는, 예를 들어 사용자의 움직임들을 검출하는 센서(들)의 능력들과 관련하여, 하드웨어 제약들에 따라 뷰의 공간을 결정한다. 그러한 경우, 인코딩 단계에서, 렌더러의 뷰의 공간 내의 포인트에서 가시적인 포인트가 비트스트림에 인코딩되지 않은 경우, 이러한 포인트는 렌더링되지 않을 것이다. 추가 예에 따르면, 3D 장면의 모든 포인트를 나타내는 데이터(예컨대, 텍스처 및/또는 기하구조)는 뷰의 렌더링 공간을 고려하지 않고서 스트림에 인코딩된다. 스트림의 크기를 최적화하기 위해, 장면의 포인트들의 서브세트, 예를 들어, 뷰의 렌더링 공간에 따라 보일 수 있는 포인트들의 서브세트만이 인코딩될 수 있다.
패치들은 충분히 비중복적이고 상보적인 것으로 생성된다. 3D 장면의 멀티뷰 + 깊이(MVD) 표현으로부터 패치들을 생성하는 프로세스는 임의의 중복 정보를 제거하기 위해 입력 소스 뷰들을 "프루닝"하는 것에 있다. 그렇게 하기 위해, 각각의 입력 뷰(색상 + 깊이)는 번갈아 반복적으로 프루닝된다. 기본 뷰들로 불리는 비-프루닝된 뷰들의 세트가 먼저, 소스 뷰들 중에서 선택되고, 완전히 송신된다. 이어서, 추가적인 뷰들로 불리는 나머지 뷰들의 세트는 (색상 및 깊이 유사도의 관점에서) 기본 뷰들 및 이미 프루닝된 추가적인 뷰와 중복되는 정보를 제거하도록 반복적으로 프로세싱된다. 프루닝된 픽셀들의 색상 또는 깊이 값들은 미리결정된 값, 예를 들어 0 또는 255로 대체된다. 예를 들어, 도 6 및 도 7에서, 중심 뷰(61+71)가 기본 뷰이다. 다른 실시예들에서, 아틀라스는 여러 기본 뷰들을 수집할 수 있다.
도 8은 깊이 정보의 특성들에 따른, 기본 뷰(80)를 영역들로 분할하는 것을 도시한다. 장면들의 기하학적 구조는, 적어도 동일한 영역의 색상 성분보다 상당히 더 조악한 공간 해상도를 갖는 희소한 공간 샘플링으로부터 깊이가 복구될 수 있는 큰 영역들을 나타낸다. 도 8의 예에서, 영역들(81 내지 86)은 기하학적으로 간단한데, 예를 들어, 큰 편평한 표면으로 구성된다. 이들 부분들의 깊이는 캐릭터들과 같은 복잡한 기하학적 구조를 갖는 볼륨들을 포함하는 기본 뷰의 중심 부분들(87 내지 89)과 동일한 공간 해상도로 설명될 필요가 없다. 텍스처 및 깊이 패치들을 위한 별개의 패킹을 가져서, 패치들 중 일부에 대한 색상 성분에 대해 아틀라스들의 깊이 성분의 선택적 서브샘플링을 허용하는, 몰입형 비디오에 대한 전송 포맷이 바람직하다. 그러한 포맷은, 특히 큰 시야 콘텐츠에 대해, 동일한 비트레이트 대 왜곡 성능을 안출하면서, 감소된 픽셀 레이트를 갖는 인코딩-디코딩 스킴을 설계할 수 있게 한다.
도 9는 도 8의 기본 뷰(80)를 포함하는 3D 장면의 인코딩을 위한 아틀라스 프레임의 예시적인 색상 성분을 도시한다. 아틀라스 프레임의 색상 성분은 전체로서 기본 뷰(80)를 포함한다. 그것이 다수의 텍스처 패치들(81 내지 89)에 대응하지만, 이들 패치들은 기본 뷰(80) 자체를 형성하기 위해 텍스처 아틀라스에서 끊김없이 나란히 구성된다. 추가적인 뷰들(즉, 중복 정보를 제거하기 위해 프루닝된 뷰들)로부터 생성된 다른 패치들(90)이 텍스처 아틀라스(즉, 아틀라스 프레임의 색상 성분)에 패킹된다. 대응하는 메타데이터는 텍스처 아틀라스와 관련하여 스트림에 인코딩되도록 준비된다.
도 10은 도 8의 기본 뷰(80)를 포함하는 3D 장면의 인코딩을 위한 아틀라스 프레임의 예시적인 깊이 성분을 도시한다. 인코더는, 예를 들어 다수의 텍스처 + 깊이 입력들로 표현되는 3D 장면을 취하는 것, 및 이를 비트레이트 및 픽셀 레이트가 감소되는 텍스처 + 깊이 피스들의 다른 구성요소로 변환하는 것을 담당한다. 도 2의 인코더(21)와 같은 인코더가, 이러한 장면을 아틀라스 내에 패킹되는 작은 피스들로 분할하는 대신, 시각적 장면의 매우 큰 부분들을 충분히 완전한 뷰들로서 선택하거나 재생하는 것이 유리하다. 인코더의 동작 모드는 완전한 중심 뷰를 생성하는 것, 또는 "기본 뷰"로 지칭되는 MVD의 기존 뷰를 재사용하는 것이다. 다른 동작 모드에서, 인코더는 복수의 전체 또는 거의 전체 뷰들, 즉 복수의 기본 뷰들을 생성한다. 본 발명의 원리들은 고유한 기본 뷰로 설명된다. 그러나, 다수의 기본 뷰들로 일반화하는 것이 수월하다.
기본 뷰는 직사각형 영역들(81 내지 86)을 선택하기 위해 인코더에 의해 분석되는데, 여기서 깊이는 송신 비트레이트 관점에서 그리고 픽셀 레이트 관점에서 더 경제적인 방식으로 설명될 수 있다. 깊이 아틀라스 내의 깊이 패치들에 의해 취해진 크기를 감소시킴으로써, 이러한 깊이 아틀라스는 텍스처 아틀라스보다 작아진다. 본 발명의 원리들에 따르면, 3개의 단계들이 구현된다:
-
기본 뷰를 깊이 서브샘플링을 위한 직사각형 패치 후보들(도 8의 81 내지 86) 및 전체 깊이 해상도를 요구하는 패치들(도 8의 87 내지 89)로 분할하는 단계. 공간 깊이 서브샘플링에 대한 후보들은 깊이 정보가 정의되지 않은 픽셀들인 "무효" 픽셀들을 포함하지 않는다.
-
복잡한 기하학적 정보를 전달하는 깊이 패치들의 해상도를 보존하면서 복잡한 기하학적 정보를 전달하지 않는 깊이 패치들을 서브샘플링하는 단계;
-
생성된 패치 목록을 깊이 아틀라스에 패킹하여, 많은 패치들의 크기 감소의 이익을 취하는 단계;
분할 프로세스는 이미지 영역들의 제한된 선택이다. 그러한 방법들은 당업계에 잘 알려져 있다. 일 실시예(쿼드트리 접근법으로도 불림)에서, 깊이 서브샘플링에 적합한 패치들을 선택하기 위한 방법은, 기본 뷰를 4개의 사분면들로 재귀적으로 분할하는 단계, 및 각각의 사분면이 평면 표면인지 여부를 테스트하는 단계를 포함하며, 그의 깊이 맵은 정보 손실 없이 공간적으로 서브샘플링될 수 있다. 그러한 방법의 의사 코드는 하기와 같을 수 있다:
단계 1: 초기 패치는 기본 뷰이다
단계 2: 깊이 값들의 히스토그램을 결정한다
단계 3: 히스토그램 피크가 주어진 임계치 T1 초과인 경우
중지: 패치는 깊이 서브샘플링(일정한 깊이)을 위한 후보이다
그렇지 않은 경우
단계 4: 패치의 각각의 포인트에서 법선 방향을 결정한다
단계 5: 평균 법선 방향을 결정한다
단계 6: 평균 법선으로 각거리(angular distance)들의 히스토그램을 결정한다
단계 7: 히스토그램 피크가 주어진 임계치 T2 초과인 경우
중지: 패치는 깊이 서브샘플링(평면 표면)을 위한 후보이다
그렇지 않은 경우
단계 8: 패치를 4개의 사분면들로 분할한다
단계 9: 각각의 사분면에 대해 단계 2로 이동한다
하기의 리마크(remark)들이 적용된다:
-
주어진 최대 수의 분할들은 추가적인 정지 조건(즉, 최소 패치 크기 조건)일 수 있다;
-
단순화된 버전에서 단계 4 내지 단계7은 생략된다(전방-평행 깊이 평면들만이 테스트됨).
도 10의 예에서, 기본 뷰는 도 8에서와 같이 9개의 영역들(81 내지 89)로 분할된다. 한편, 예를 들어, 영역들(87, 88)은 복잡한 기하학적 구조를 갖는 것으로 식별되고, 이러한 이유로, 전체 해상도로 유지된다. 영역(87)은 패치(107)로서 깊이 아틀라스에 패킹되고, 영역(88)은 패치(108)로서 패킹된다. 깊이 아틀라스에서, 기본 뷰의 영역들에 대한 패치들은 반드시 나란히 구성되는 것은 아니다. 대응하는 메타데이터는 깊이 아틀라스와 관련하여 스트림에 저장되도록 준비된다. 한편, 예를 들어, 영역들(81, 82, 86)은 분할 프로세스에 의해 서브샘플링하는 것에 대한 후보들로서 식별된다. 그 결과, 패치(101)가 영역(81)의 공간 해상도를 다운스케일링함으로써 생성되고, 깊이 아틀라스에 패킹된다. 유사하게, 패치(102)는 영역(82)에 대해 생성되고, 패치(106)는 영역(86)에 대해 생성된다. 아틀라스 내의 패치의 포지션, 그것이 생성되는 뷰, 및 대응하는 해상도 다운스케일링의 파라미터들에 관한 정보를 포함하는 메타데이터가 깊이 아틀라스와 관련하여 스트림에 저장되도록 준비된다.
본 발명의 원리들은 기본 뷰에 적용될 때 효율적인 이점들을 갖는다. 그러나, 이들은 임의의 종류의 패치들, 심지어 프루닝 프로세스에 의해 획득된 패치들에 적용될 수 있다. 일 실시예에서, 다운스케일링은 도 9의 색상 패치들에 적용될 수 있다. 이러한 실시예에서, 색상 아틀라스 및 깊이 아틀라스는 상이한 레이아웃을 갖는데, 이는 다운스케일링에 대한 패치 후보들이 색상 도메인 및 깊이 도메인에 대해 상이할 수 있기 때문이다.
도 11은 수평 방향 및 수직 방향 둘 모두에서의 규칙적인 서브샘플링을 도시한다. 일 실시예에서, 깊이 서브샘플링은 수평 및 수직 방향들을 따르는 인자로서 동일한 정수, 예를 들어 2의 거듭제곱(power)을 사용한다. 선택된 서브샘플링 인자는 디코더에 시그널링될 메타데이터에 인코딩된다. 2 및 4에 의한 수평 및 수직 서브샘플링뿐만 아니라 서브샘플링된 픽셀 그리드에 대한 2개의 가능한 상이한 상태들의 예가 도 11에 도시되어 있다: (좌측의) 2에 의한 그리고 (우측의) 4에 의한 수평 및 수직 데시메이션(decimation); (상단에서) 절반 기간만큼 시프트되거나 또는 (하단에서) 소스 픽셀들과 정렬된 서브샘플링된 픽셀들의 배치.
깊이 및 텍스처에 대한 동일한 패킹 대 별개의 패킹의 시그널링뿐만 아니라 텍스처 성분에 대한 깊이 성분에 대한 감소된 공간 해상도를 갖는 패치들의 랜덤 시그널링을 가능하게 하기 위해, 하기의 신택스가 제안된다:
1과 동일한 different_texture_depth_packing_flag [ i ]는 텍스처 및 깊이 패치들이 i-번째 아틀라스의 텍스처 및 깊이 성분들에서 각각 상이한 방식으로 패킹된다.
different_texture_depth_packing_flag가 1과 동일한 경우, 텍스처 패치 아틀라스와 깊이 패치 아틀라스 사이에 더 이상의 정렬이 없다: 상이한 아틀라스 치수들, 상이한 패킹. 하기의 필드들이 atlas_params에 추가된다:
depth_atlas_width[ a ] 및 depth_atlas_height[ a ]는 a-번째 깊이 아틀라스의 폭 및 높이를 각각 나타낸다.
patch_pos_in_depth_atlas_x[ a ][ i ] 및 patch_pos_in_depth_atlas_y[ a ][ i ]는 각각 a-번째 깊이 아틀라스의 i-번째 패치의 상단 좌측 코너의 루마 샘플들에서의 수평 및 수직 좌표들을 특정한다. patch_pos_in_depth_atlas_x[ a ][ i ] 및 patch_pos_in_depth_atlas_y[ a ][ i ]의 표현에 사용된 비트들의 수는 각각 Ceil (Log2(depth_ atlas_width[ a ])) 비트 및 Ceil(Log2(depth_atlas_ height[ a ])) 비트이다.
patch_rotation_in_depth_atlas[ a ][ i ]는 깊이 아틀라스에서의 패치의 회전에 대해, patch_rotation[ a ][ i ]와 동일한 시맨틱(semantic)을 갖는다.
log2_decimation_factor[ a ][ i ]는 깊이 패치가 텍스처 패치에 대해 (수평 및 수직 방향 둘 모두에서) 2의 몇 제곱 값으로 서브샘플링되었는지를 특정한다. 이러한 디스크립터에 2개의 비트들이 사용되는 경우, 깊이는 2, 4 또는 8에 의해 서브샘플링될 수 있다. 값 0은 패치가 서브샘플링되지 않음을 나타낸다.
도 12는 상이한 해상도로 송신된 패치들의 쌍일차 업-샘플링의 일례를 도시한다. 저해상도로 송신되는 깊이 패치들은 디코더 측에서 전체 공간 해상도로 상향-변환(up-convert)되어야 한다. 일 실시예에서, 상향-변환은 쌍일차 필터링에 의해 수행된다. 1:4 공간 상향-변환에 대한 쌍일차 업-샘플링 계수들의 일례가 도 12에 도시되어 있다.
도 13은 본 발명의 원리들의 비제한적인 실시예에 따른, 깊이 뷰를 깊이 패치들의 아틀라스에 인코딩하기 위한 방법(130)을 도시한다. 단계(131)에서, 인코딩할 깊이 뷰가 소스로부터 획득된다. 깊이 뷰는 직사각형의 제1 및 제2 영역들로 분할되고; 제2 영역들은 깊이 샘플링에 대한 후보이다. 영역은 그 영역의 깊이 정보가 도 10과 관련하여 기술된 바와 같이 송신 비트 레이트 관점에서 그리고 픽셀 레이트 관점에서 더 경제적인 방식으로 설명될 수 있는지 여부 후보이다. 단계(132)에서, 제2 영역들의 해상도는 인자만큼 다운스케일링된다. 인자는 제2 영역의 깊이 특성들에 따라 결정된다. 단계(133)에서, 3D 장면 상의 다른 깊이 뷰들로부터 나오는 패치들과 함께, 완전 해상도의 제1 영역들 및 다운스케일링된 제2 영역들을 패킹함으로써 깊이 아틀라스가 생성된다. 메타데이터는 패치가 제1 영역 또는 다운스케일링된 제2 영역인지 여부를 나타내고, 그러한 경우, 해상도의 다운스케일링에 사용되는 인자를 나타낸다.
도 14는 본 발명의 원리들의 비제한적인 실시예에 따른, 깊이 뷰를 깊이 패치들의 아틀라스로부터 디코딩하기 위한 방법(140)을 도시한다. 단계(141)에서, 깊이 아틀라스는 소스로부터 획득되고 깊이 패치들은, 패치가 제1 패치인지 또는 제2 패치인지를 나타내고, 그러한 경우, 다운스케일링 인자를 나타내는 메타데이터와 관련하여 아틀라스로부터 추출된다. 단계(142)에서, 제2 카테고리의 패치들의 해상도는 연관된 인자만큼 업스케일링된다. 단계(143)에서, 깊이 뷰는 제1 카테고리의 패치들 및 제2 카테고리의 업스케일링된 패치들로 구성된다.
본 명세서에 기술된 구현예들은, 예를 들어, 방법 또는 프로세스, 장치, 컴퓨터 프로그램 제품, 데이터 스트림, 또는 신호로 구현될 수 있다. 단일 형태의 구현예의 맥락에서만 논의되더라도(예를 들어, 방법 또는 디바이스로서만 논의됨), 논의된 특징들의 구현예는 또한 다른 형태들(예를 들어, 프로그램)로 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은, 예를 들어, 예컨대 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 디바이스를 포함하는, 대체적으로 프로세싱 디바이스들로 지칭되는, 예를 들어, 프로세서와 같은 장치에서 구현될 수 있다. 프로세서들은 또한, 예를 들어, 스마트폰, 태블릿, 컴퓨터, 모바일 폰, 휴대용/개인 디지털 어시스턴트("PDA"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스와 같은 통신 디바이스들을 포함한다.
본 명세서에 기술된 다양한 프로세스들 및 특징들의 구현예들은 여러 가지 상이한 장비 또는 애플리케이션들, 특히, 예를 들어, 데이터 인코딩, 데이터 디코딩, 뷰 생성, 텍스처 프로세싱, 및 이미지들 및 관련 텍스처 정보 및/또는 깊이 정보의 다른 프로세싱과 연관된 장비 또는 애플리케이션들에서 구현될 수 있다. 그러한 장비의 예들은, 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 후처리-프로세서, 인코더에 입력을 제공하는 전처리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 휴대폰, PDA, 및 다른 통신 디바이스를 포함한다. 분명히 알 수 있는 바와 같이, 장비는 모바일일 수 있고, 심지어 모바일 차량에 설치될 수 있다.
추가적으로, 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 그러한 명령어들(및/또는 구현에 의해 생성된 데이터 값들)은, 예를 들어 집적 회로, 소프트웨어 캐리어, 또는 예를 들어, 하드 디스크, 컴팩트 디스켓("CD"), (예를 들어, 종종 디지털 범용 디스크 또는 디지털 비디오 디스크로 지칭되는 DVD와 같은) 광학 디스크, 랜덤 액세스 메모리("RAM"), 또는 판독 전용 메모리("ROM")와 같은 다른 저장 디바이스와 같은 프로세서 판독가능 매체 상에 저장될 수 있다. 명령어들은 프로세서 판독가능 매체 상에 유형적으로 구현된 애플리케이션 프로그램을 형성할 수 있다. 명령어들은, 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합으로 있을 수 있다. 명령어들은, 예를 들어, 운영 체제, 별도의 애플리케이션, 또는 그 둘의 조합에서 찾을 수 있다. 따라서, 프로세서는, 예를 들어, 프로세스를 수행하도록 구성된 디바이스, 및 프로세스를 수행하기 위한 명령어들을 갖는 프로세서 판독가능 매체(예컨대, 저장 디바이스)를 포함하는 디바이스 둘 모두로서 특징지어질 수 있다. 또한, 프로세서 판독가능 매체는 구현에 의해 생성된 데이터 값들을, 명령어들에 더하여 또는 이들 대신에, 저장할 수 있다.
당업자에게 명백한 바와 같이, 구현예들은, 예를 들어 저장되거나 송신될 수 있는 정보를 전달하도록 포맷화된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어들, 또는 기술된 구현예들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 실시예의 신택스를 기록하거나 판독하기 위한 규칙들을 데이터로서 전달하기 위해, 또는 기술된 실시예에 의해 기록된 실제 신택스 값들을 데이터로서 전달하기 위해 포맷화될 수 있다. 그러한 신호는, 예를 들어, 전자기파로서(예를 들어, 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷화될 수 있다. 포맷화는, 예를 들어, 데이터 스트림을 인코딩하는 것, 및 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 전달하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 알려진 바와 같이, 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.
다수의 구현예들이 기술되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수 있음이 이해될 것이다. 예를 들어, 다른 구현예들을 생성하기 위해 상이한 구현예들의 요소들이 조합되거나, 보충되거나, 수정되거나, 또는 제거될 수 있다. 추가적으로, 당업자는, 다른 구조들 및 프로세스들이 개시된 것들을 대체할 수 있고, 생성된 구현예들이, 개시된 구현예들과 적어도 실질적으로 동일한 결과(들)를 달성하기 위해, 적어도 실질적으로 동일한 기능(들)을 적어도 실질적으로 동일한 방식(들)으로 수행할 것임을 이해할 것이다. 따라서, 이들 및 다른 구현예들이 본 출원에 의해 고려된다.
Claims (12)
- 아틀라스에서의 뷰를 인코딩하기 위한 방법으로서,
- 상기 뷰를 제1 영역들 및 제2 영역들로 분할하는 단계 - 제2 영역은 깊이 서브샘플링을 위한 후보임 -;
- 제2 영역들의 해상도를 인자만큼 다운스케일링하는 단계; 및
- 패치가 제1 영역 또는 다운스케일링된 제2 영역인지 여부를 나타내고, 그러한 경우, 해상도의 다운스케일링에 사용되는 인자를 나타내는 메타데이터와 관련하여 제1 영역들 및 다운스케일링된 제2 영역을 상기 아틀라스에 패킹하는 단계를 포함하는, 방법. - 제1항에 있어서, 상기 아틀라스의 픽셀들은 깊이 값에 대한 성분을 포함하는, 방법.
- 제1항 또는 제2항에 있어서, 상기 아틀라스의 픽셀들은 색상 값에 대한 성분을 포함하는, 방법.
- 뷰를 아틀라스에 인코딩하기 위한 디바이스로서, 디바이스는 프로세서를 포함하고, 프로세서는,
- 상기 뷰를 제1 영역들 및 제2 영역들로 분할하기 위해 - 제2 영역은 깊이 서브샘플링을 위한 후보임 -;
- 제2 영역들의 해상도를 인자만큼 다운스케일링하기 위해; 그리고
- 패치가 제1 영역 또는 다운스케일링된 제2 영역인지 여부를 나타내고, 그러한 경우, 해상도의 다운스케일링에 사용되는 인자를 나타내는 메타데이터와 관련하여 제1 영역들 및 다운스케일링된 제2 영역을 상기 아틀라스에 패킹하기 위해 구성되는, 디바이스. - 제4항에 있어서, 상기 아틀라스의 픽셀들은 깊이 값에 대한 성분을 포함하는, 디바이스.
- 제4항 또는 제5항에 있어서, 상기 아틀라스의 픽셀들은 색상 값에 대한 성분을 포함하는, 디바이스.
- 패치들을 포함하는 아틀라스로부터 뷰를 디코딩하기 위한 방법으로서,
- 패치가 제1 패치 또는 제2 패치인지 여부를 나타내고, 그러한 경우, 다운스케일링 인자를 나타내는 메타데이터를 획득하는 단계;
- 연관된 상기 다운스케일링 인자에 따라 제2 패치들의 해상도를 업스케일링하는 단계; 및
- 상기 제1 패치들 및 업스케일링된 제2 패치들로부터 상기 뷰를 구성하는 단계를 포함하는, 방법. - 제7항에 있어서, 상기 아틀라스의 픽셀들은 깊이 값에 대한 성분을 포함하는, 방법.
- 제7항 또는 제8항에 있어서, 상기 아틀라스의 픽셀들은 색상 값에 대한 성분을 포함하는, 방법.
- 패치들을 포함하는 아틀라스로부터 뷰를 디코딩하기 위한 디바이스로서, 디바이스는 프로세서를 포함하고, 프로세서는:
- 패치가 제1 패치 또는 제2 패치인지 여부를 나타내고, 그러한 경우, 다운스케일링 인자를 나타내는 메타데이터를 획득하기 위해;
- 연관된 상기 다운스케일링 인자에 따라 제2 패치들의 해상도를 업스케일링하기 위해; 그리고
- 상기 제1 패치들 및 업스케일링된 제2 패치들로부터 상기 뷰를 구성하기 위해 구성되는, 디바이스. - 제10항에 있어서, 상기 아틀라스의 픽셀들은 깊이 값에 대한 성분을 포함하는, 디바이스.
- 제10항 또는 제11항에 있어서, 상기 아틀라스의 픽셀들은 색상 값에 대한 성분을 포함하는, 디바이스.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19306264.3 | 2019-10-02 | ||
| EP19306264 | 2019-10-02 | ||
| PCT/EP2020/077103 WO2021063887A1 (en) | 2019-10-02 | 2020-09-28 | A method and apparatus for encoding, transmitting and decoding volumetric video |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220069086A true KR20220069086A (ko) | 2022-05-26 |
Family
ID=68296412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227013932A KR20220069086A (ko) | 2019-10-02 | 2020-09-28 | 볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220343549A1 (ko) |
| EP (1) | EP4038576A1 (ko) |
| KR (1) | KR20220069086A (ko) |
| CN (1) | CN114641802A (ko) |
| WO (1) | WO2021063887A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021176133A1 (en) * | 2020-03-04 | 2021-09-10 | Nokia Technologies Oy | An apparatus, a method and a computer program for volumetric video |
| US11838485B2 (en) * | 2020-04-16 | 2023-12-05 | Electronics And Telecommunications Research Institute | Method for processing immersive video and method for producing immersive video |
| US11924434B2 (en) * | 2021-09-07 | 2024-03-05 | Tencent America LLC | 2D atlas adaptive sampling in 3D mesh compression |
| US20230162403A1 (en) * | 2021-11-22 | 2023-05-25 | Tencent America LLC | Encoding of patch temporal alignment for mesh compression |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140267616A1 (en) * | 2013-03-15 | 2014-09-18 | Scott A. Krig | Variable resolution depth representation |
| EP3457688A1 (en) * | 2017-09-15 | 2019-03-20 | Thomson Licensing | Methods and devices for encoding and decoding three degrees of freedom and volumetric compatible video stream |
| EP3474562A1 (en) * | 2017-10-20 | 2019-04-24 | Thomson Licensing | Method, apparatus and stream for volumetric video format |
-
2020
- 2020-09-28 EP EP20775679.2A patent/EP4038576A1/en active Pending
- 2020-09-28 CN CN202080074913.1A patent/CN114641802A/zh active Pending
- 2020-09-28 US US17/765,558 patent/US20220343549A1/en active Pending
- 2020-09-28 WO PCT/EP2020/077103 patent/WO2021063887A1/en unknown
- 2020-09-28 KR KR1020227013932A patent/KR20220069086A/ko active Search and Examination
Also Published As
| Publication number | Publication date |
|---|---|
| CN114641802A (zh) | 2022-06-17 |
| EP4038576A1 (en) | 2022-08-10 |
| WO2021063887A1 (en) | 2021-04-08 |
| US20220343549A1 (en) | 2022-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3562159A1 (en) | Method, apparatus and stream for volumetric video format | |
| KR20220069086A (ko) | 볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치 | |
| US11968349B2 (en) | Method and apparatus for encoding and decoding of multiple-viewpoint 3DoF+ content | |
| EP3709651A1 (en) | A method and apparatus for encoding an rendering a 3d scene with inpainting patches | |
| US20230042874A1 (en) | Volumetric video with auxiliary patches | |
| EP4005202B1 (en) | A method and apparatus for delivering a volumetric video content | |
| KR20220066328A (ko) | 볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치 | |
| WO2020185529A1 (en) | A method and apparatus for encoding and decoding volumetric video | |
| KR20220127258A (ko) | 뷰-유도 스펙큘러리티를 갖는 볼류메트릭 비디오를 코딩 및 디코딩하기 위한 방법 및 장치 | |
| CN113785591A (zh) | 用于深度编码和解码的方法和装置 | |
| US20230239451A1 (en) | A method and apparatus for encoding and decoding volumetric content in and from a data stream | |
| US20230224501A1 (en) | Different atlas packings for volumetric video | |
| US20230362409A1 (en) | A method and apparatus for signaling depth of multi-plane images-based volumetric video | |
| RU2807582C2 (ru) | Способ, устройство и поток для формата объемного видео | |
| KR20220054430A (ko) | 볼류메트릭 비디오 콘텐츠를 전달하기 위한 방법 및 장치들 | |
| CN115885513A (zh) | 用于对体积视频进行编码和解码的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant |