KR20220071924A - 볼륨메트릭 비디오 부호화/복호화 방법 및 장치 - Google Patents

볼륨메트릭 비디오 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR20220071924A
KR20220071924A KR1020210161263A KR20210161263A KR20220071924A KR 20220071924 A KR20220071924 A KR 20220071924A KR 1020210161263 A KR1020210161263 A KR 1020210161263A KR 20210161263 A KR20210161263 A KR 20210161263A KR 20220071924 A KR20220071924 A KR 20220071924A
Authority
KR
South Korea
Prior art keywords
information
encoding
video
volumetric video
packed
Prior art date
Application number
KR1020210161263A
Other languages
English (en)
Inventor
방건
강정원
김수웅
배성준
이진호
이하현
임성창
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20220071924A publication Critical patent/KR20220071924A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 볼륨메트릭 비디오 부호화/복호화 방법에 관한 것으로, 볼륨메트릭 부호화 방법은, 볼륨메트릭 비디오의 볼륨메트릭 비디오 파라미터 세트를 부호화하는 단계, 상기 볼륨 메트릭 비디오의 패킹된 정보를 부호화하는 단계 및 상기 볼륨메트릭 비디오 파라미터 세트 및 상기 패킹된 정보를 시그널링하는 단계를 포함하고, 상기 패킹된 정보 중 적어도 하나는 볼륨메트릭 비디오 파라미터 세트에서 시그널링되는 정보를 기반으로 유추될 수 있다.

Description

볼륨메트릭 비디오 부호화/복호화 방법 및 장치{ENCODING AND DECODING METHOD AND APPARATUS FOR VOLUMEMETRIC VIDEO}
본 발명은 볼륨메트릭 비디오 부호화/복호화 방법 및 장치에 관한 것으로, 보다 구체적으로 다양한 영상을 하나의 프레임에 패킹하여 부호화/복호화하는 방법 및 장치에 관한 기술이다.
최근 AR/VR(augmented reality/virtual reality) 서비스에서 점점 고해상도, 고품질의 영상이 요구되고 있으며 VR/AR에서 제공하는 볼륨메트릭 비디오의 부호화/복호화 방법이 개발되고 있다. 볼륨메트릭 비디오는 프레임마다 texture/geometry/occupancy 등 다양한 영상을 포함할 수 있으며, 이를 부호화/복호화하기 위한 방법으로, 각각을 별도 부호화하여 서브 스트림(sub-stream)을 생성하고 멀티플라잉(multiplying)하는 방법이 있을 수 있다.
다른 방법으로는 각각의 비디오를 하나의 프레임에 패킹하여 이를 한번에 부호화/복호화하는 방법이 고려될 수 있다. 하나의 프레임으로 각각의 비디오를 패킹할 경우, 보다 효율적으로 관련 정보가 시그널링되어야 하는바, 관련 연구가 요구된다.
본 발명은 볼륨메트릭 비디오 부호화/복호화 방법 및 장치를 제공한다.
본 발명은 프레임 패킹된 볼륨메트릭 비디오 부호화/복호화 방법 및 장치를 제공한다.
본 발명은 독립적인 볼륨메트릭 비디오 부호화/복호화 방법과 패킹된 볼륨메트릭 비디오 부호화/복호화 방법에서 texture/geometry/occupancy 등의 정보를 공통적으로 시그널링하는 방법 및 장치를 제공한다.
또한, 본 발명은 볼륨메트릭 비디오 부호화/복호화 방법 및 장치에 의해 생성된 비트스트림을 저장한 기록 매체를 제공하는 것을 목적으로 한다.
본 개시의 일 실시예에 따른 볼륨메트릭 부호화 방법은, 볼륨메트릭 비디오의 볼륨메트릭 비디오 파라미터 세트를 부호화하는 단계, 상기 볼륨 메트릭 비디오의 패킹된 정보를 부호화하는 단계 및 상기 볼륨메트릭 비디오 파라미터 세트 및 상기 패킹된 정보를 시그널링하는 단계를 포함하고, 상기 패킹된 정보 중 적어도 하나는 볼륨메트릭 비디오 파라미터 세트에서 시그널링되는 정보를 기반으로 유추될 수 있다.
본 발명에 따르면, 볼륨메트릭 비디오 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 독립적인 볼륨메트릭 비디오 부호화/복호화 방법과 패킹된 볼륨메트릭 비디오 부호화/복호화 방법에서 texture/geometry/occupancy 등의 정보를 공통적으로 시그널링하여 볼륨메트릭 비디오의 부호화 효율이 향상될 수 있다.
도 1은 플렌옵틱 포인트 클라우드의 생성 예시를 도시한다.
도 2는 플렌옵틱 포인트에 할당된 속성 정보를 시점의 위치에 따라 표현하는 방식을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시예에 따른 패킹된 볼륨메트릭 비트스트림 구조를 설명하기위한 도면이다.
도 4는 종래의 V3C 파라미터 세트를 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따른 V3C 파라미터 세트를 설명하기 위한 도면이다.
도 6은 종래의 V3C 파라미터 세트를 설명하기 위한 다른 도면이다.
도 7은 본 개시의 다른 일 실시예에 따른 V3C 파라미터 세트를 설명하기 위한 도면이다.
도 8a 및 도 8b는 본 개시의 또 다른 일 실시예에 따른 V3C 파라미터 세트를 설명하기 위한 도면이다.
도 9a 및 도 9b는는 본 개시의 또 다른 일 실시예에 따른 V3C 파라미터 세트를 설명하기 위한 다른 도면이다.
도 10a 및 도 10b는 본 개시의 또 다른 일 실시예에 따른 V3C 파라미터 세트를 설명하기 위한 또 다른 도면이다.
도 11은 본 개시의 몇몇 실시예에 따른 볼륨메트릭 비디오 부호화 방법을 설명하기 위한 도면이다.
도 12는 본 개시의 몇몇 실시예에 따른 볼륨메트릭 비디오 복호화 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 상세하게 설명한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 플렌옵틱 포인트 클라우드의 생성 예시를 도시한다.
플렌옵틱 포인트(plenoptic point)는 3차원 공간에서 X, Y, Z 등의 3차원 좌표로 표현되는 하나의 기하(geometry) 정보와 N개의 카메라 시점으로 관측했을 때 획득되는 RGB, YUV 등의 N개의 속성(attribute) 정보를 포함하고 있는 데이터 형태이다. 플렌옵틱 포인트 클라우드(plenoptic point cloud)는 플렌옵틱 포인트의 집합으로, 플렌옵틱 포인트를 최소 하나 이상 포함할 수 있다.
플렌옵틱 포인트 클라우드는 N개의 각 입력 시점 별 2차원 영상과 깊이 정보를 이용하여 생성될 수 있다. 이때, 3차원 공간은 생성한 포인트들을 모두 포함하는 공간을 통해 정의될 수 있다.
여기서, 2D 영상은 다시점(multi-view) 영상, 라이트필드(lightfield) 영상 등 하나 이상의 카메라로 획득된 영상들을 의미할 수 있다. 그리고 다시점 영상은 특정 영역을 서로 다른 시점을 가진 다수의 카메라들이 동시에 촬영한 영상들로 구성될 수 있다.
이때, 정의된 3차원 공간이 일정 단위 복셀로 분할되고 복셀안에 있는 포인트들이 하나의 기하 정보 값을 갖도록 병합될 수 있다. 또한 이때, 3차원 포인트들이 갖고 있던 색상 정보가 모두 저장되고 어느 시점으로부터 생성된 포인트 인지에 관한 정보를 활용하여 플렌옵틱 포인트 클라우드가 생성될 수 있다.
3차원 포인트가 생성되지 않은 시점의 색상 정보는, 같은 복셀에 포함되는 다른 시점들의 색상 정보로부터 유추될 수 있다. 예컨대, 3차원 포인트가 생성되지 않은 시점의 색상 정보는 복셀 안의 다른 시점 또는 포인트들의 색상 정보들의 평균값, 최대값, 최소값 중 적어도 하나를 이용하여 유도될 수 있다. 또한 예컨대, 3차원 포인트가 생성되지 않은 시점의 색상 정보는, 해당 시점 또는 포인트에 인접한 시점 또는 포인트의 색상 정보로부터 유도될 수 있다.
한편, 한 시점에서 생성된 3차원 포인트가 한 복셀에 여러 개 포함되어 있는 경우, 해당 시점의 색상 값들의 평균값, 최대값, 최소값 중 적어도 하나를 저장하는 방법으로 플렌옵틱 포인트 클라우드가 생성될 수 있다.
다른 예로, 한 시점에서 생성된 3차원 포인트가 한 복셀에 여러 개 포함되어 있는 경우, 가장 작은 깊이 정보 또는 가장 큰 깊이 정보를 가진 포인트의 색상 정보를 저장하는 방법으로 플렌옵틱 포인트 클라우드가 생성될 수 있다.
여기서, 하나 이상의 속성 정보를 가지는 복셀을 다속성 복셀이라고 할 수 있다. 즉, 다속성 복셀은 플렌옵틱 포인트를 의미할 수 있다.
도 2는 플렌옵틱 포인트에 할당된 속성 정보를 시점의 위치에 따라 표현하는 방식을 설명하기 위한 도면이다.
도 2의 예와 같이, 생성된 플렌옵틱 포인트에 할당된 속성 정보는 시점의 위치에 따라 θ와 h를 이용한 2차원 형태로 표현할 수 있다. 여기서, θ는 실수 값, 정수 값 등으로 표현되는 각도를 의미하며, h는 실수 값, 정수 값 등의 표현되는 크기를 의미할 수 있다. 즉, 플렌옵틱 포인트에 할당된 속성 정보는 θ와 h로 표현되는 2차원 좌표 값을 가질 수 있다.
이하 도 3 내지 도 12를 참고하여, 본 개시에 따른 볼륨메트릭 부호화/복호화 방법 및 장치에 대해서 자세히 설명한다.
포인트 클라우드는 3차원 공간상에서 물체를 면밀하게 표현할 수 있다는 장점을 가지고 있어 이에 따라 국제표준화기구 ISO/IEC 산하 MPEG에서는 포인트 클라우드의 압축 방법으로 Video based Point Cloud Compression(V-PCC)과 Geometry based Point Cloud Compression(G-PCC)을 표준화 중에 있다.
V-PCC는 고밀도 포인트 클라우드 객체를 압축하기 위한 방법으로 압축 과정은 다음과 같다. 3차원 포인트 클라우드 데이터를 점들의 법선 벡터를 이용하여 10개의 기준 평면으로 투영하여 2차원 패치 데이터를 생성한 뒤, 패치 데이터를 2차원 영상에 효율적으로 배치하여 2차원 이미지가 생성될 수 있다. 이 때, 점의 유무 정보를 나타내는 Occupancy, 패치의 깊이 정보를 나타내는 Geometry, 패치의 색상, 반사율과 같은 정보를 나타내는 Attribute의 3종류의 2차원 이미지가 생성될 수 있으며, 각 패치의 3차원 공간상에서의 정보를 담고 있는 아틀라스 데이터 (Atlas data)와 V3C 파라미터 정보를 저장하는 V-PCC Parameter Set(VPS) 정보가 생성될 수 있다. 생성된 아틀라스 데이터는 엔트로피 인코딩을 이용하여 압축되며, Nal unit 단위로 파일에 기록된다. 아틀라스 데이터의 Nal unit은 파라미터 정보를 저장하는 non-ACL Nal unit과, 패치 정보를 저장하는 ACL Nal unit으로 나누어진다. 또한 Occupancy, Geometry, Attribute는 HEVC와 같은 종래의 비디오 코덱을 이용하여 압축될 수 있다.
또한, 관심이 증대되고 있는 초다시점 실감형 콘텐츠로서, 360 비디오는 다시점 카메라를 이용하여 획득된 360도 비디오로 Texture와 Depth 영상으로 이루어져 있으며, 고정된 위치에서 방향의 전환이 가능한 3 Degrees of Freedom(3DoF)와 머리의 움직임과 같은 제한된 위치 이동이 가능하며, 방향의 전환이 가능한 3DoF+, 자유로운 이동과 방향의 전환이 가능한 6DoF로 나뉘어질 수 있다. 이때, 위치의 이동이 가능한 360 비디오의 경우 위치에 따른 View마다 Texture와 Depth 영상이 존재하므로 기존의 2D 비디오에 비해 매우 큰 크기를 가져 이를 효과적으로 활용하기 위해서는 압축이 필수적으로 요구된다. 이에따라 ISO/IEC 산하 MPEG에서는 3DoF+ 비디오의 압축 방법으로 MPEG Immersive Video(MIV)를 표준화 중에 있다.
V-PCC와 MIV는 압축 방식에서 매우 유사한 과정을 거치고 있기에, Visual Volumetric Video-based Coding(V3C) 형식으로 비트스트림을 저장할 수 있다. V3C 비트스트림은 V3C Unit header와 V3C Unit payload로 이루어진 V3C Unit 단위로 이루어질 수 있다. V3C Unit header는 V3C Unit type, VPS 아이디, 아틀라스 아이디 등의 정보를 포함하며, V3C Unit payload는 V3C Unit type에 따라 VPS 정보, 아틀라스 Nal unit, 인코딩된 비디오 비트스트림을 포함할 수 있다. 생성된 V3C 유닛은 멀티플렉싱 되어 V3C 비트스트림을 형성하며, V3C 비트스트림은 하나 이상의 Coded V3C Sequence(CVS)로 구성될 수 있다. CVS는 VPS로 시작하며 V3C 하위 비트스트림을 운반하는 하나 이상의 V3C 장치를 포함하고 있으며, V3C 구성 요소와 관련된 각 V3C Unit을 포함할 수 있다.
이하 본 개시의 몇몇 실시예에 따른 볼륨메트릭 비디오 부호화/복호화 방법에 대해서 자세히 설명한다.
V3C 비트스트림은 occupancy sub-bitstream, geometry sub-bitstream, texture attribute sub-bitstream 및 packed sub-bitstream 중 적어도 하나로 구성될 수 있으며, 각각의 서브스트림은 독립적으로 부호화/복호화될 수 있다.
일 예로, occupancy sub-bitstream, geometry sub-bitstream, texture attribute sub-bitstream 및 packed sub-bitstream 중 적어도 하나가 존재하는 경우, 존재하는 서브스트림이 부호화/복호화될 수 있다.
볼륨메트릭 비디오 부호화/복호화에는 texture/geometry/occupancy 비디오를 아틀라스 단위로 구분하여, 각 비디오를 독립적으로 부호화하는 독립 부호화/복호화 방법과 하나의 프레임으로 패킹된 비디오를 부호화하는 패킹된 부호화/복호화 방법이 존재할 수 있다. 본 개시의 몇몇 실시예에 따르면, v3c_parameter_set을 통해 볼륨메트릭 비디오 정보를 시그널링하는 경우, 독립 부호화 방법과 패킹된 부호화 방법의 공통적인 정보가 효율적으로 전송될 수 있다.
도 3은 본 개시의 일 실시예에 따른 패킹된 볼륨메트릭 비디오의 비트스트림 구조를 설명하기위한 도면이다.
V3C 비트스트림은 여러 성격의 비디오 데이터를 하나로 묶어 패킹된(packed) 부호화/복호화 방법을 통해 생성/시그널링될 수 있다. 이때, 패킹된 비디오 프레임(packed video frame)은 두개 이상의 직사각형 영역으로 나누어질 수 있다. 이때, 하나의 영역은 하나의 아틀라스 타일(atlas tile)로 정의될 수 있다. 또한, 패킹된 비디오 프레임의 두개 이상의 직사각형 영역들 간에는 중복이 허용되지 않을 수 있다.
패킹 정보는 도 3과 같이 구문요소 packing_information(i)를 통해 시그널링될 수 있으며, 각 직사각형 영역의 정보들을 지시하는 구문요소들을 포함할 수 있다. 이때 packing_information은 아틀라스 마다 전송될 수 있다.
도 4는 종래의 V3C 파라미터 세트를 설명하기 위한 도면이며, 도 5는 본 개시의 일 실시예에 따른 V3C 파라미터 세트를 설명하기 위한 도면이다.
이하의 설명에서, 구문요소 vps_atlas_count_minus1은 아틀라스의 개수를 시그널링하는 구문요소 일수 있다. 구문요소 vps_explicity_atlas_id_flag는 아틀라스 ID를 별도로 전송하는지 여부를 지시하는 플래그일 수 있다. 도 5의 비트스트림 구조는 도 4의 비트스트림 구조와 비교 시 vps_explicity_atlas_id_flag가 추가로 시그널링되고, vps_explicity_atlas_id_flag 값에 따라 아틀라스의 개수를 카운팅하는 구성이 추가된 것일 수 있다. 도 5에 따르면, 0부터 vps_atlas_count_minus1까지 아틀라스가 카운팅되는 동안 아틀라스 ID가 전송될 수 있다. 한편, vps_explicity_atlas_id_flag가 0이면 아틀라스 id는 카운팅되는 atlas 개수와 동일하게 설정될 수 있다.
도 6은 종래의 V3C 파라미터 세트를 설명하기 위한 도면이며, 도 7은 본 개시의 다른 일 실시예에 따른 V3C 파라미터 세트를 설명하기 위한 도면이다.
도 7을 참고하면, vps_explicity_atlas_id_flag 가 1이면 아틀라스 id인 vps_atlas_id가 전송되고, 0이면 vps_atlas_id가 전송되지 않을 수 있다. 이때 아틀라스 ID는 0부터 vps_atlas_count_minus1까지로 자동 할당될 수 있다.
도 8 내지 도 10은 본 개시의 몇몇 실시예에 따른 V3C 파라미터 세트를 설명하기 위한 도면이다.
이하의 실시예에서, V3C 비트스트림은 여러 성격의 비디오 데이터를 하나로 묶어 패킹된 부호화/복호화 방법을 통해 생성/시그널링될 수 있다. 이때, 패킹된 비디오 프레임은 두개 이상의 직사각형 영역으로 나누어질 수 있다. 이때, 하나의 영역은 하나의 아틀라스 타일로 정의될 수 있다. 또한, 패킹된 비디오 프레임의 두개 이상의 직사각형 영역들 간에는 중복이 허용되지 않을 수 있다. 또한, 각 직사각형 영역의 정보들을 지시하는 구문요소들을 포함할 수 있다. 이때 packing_information은 아틀라스 마다 전송될 수 있다.
패킹된 비디오에서 packing_information을 전송하는 경우, V3C 파라미터 세트에서 정의되어 있는 occupancy_information(atlasID), geometry_information(atlasID), attribute_information(atlasID) 중 적어도 하나가 사용 또는 재사용될 수 있다.
일 예로, occupancy_information() 또는 v3c_parameter_set에서 occupancy_information_id를 전송하여 packing_information에서 occupancy_information_id를 전송하면, 전송된 occupancy_information_id가 재사용될 수 있다. 만약 occupancy_information_id가 전송되지 않으면 occupancy_information은 packing_information에서 다시 정의될 수 있다.
다른 예로, geometry_information 또는 v3c_parameter_set에서 geometry_information_id를 전송하여 packing_information에서 occupancy_information_id를 전송하면, 전송된 occupancy_information_id가 재사용될 수 있다. 만약 geometry_information_id가 전송되지 않으면 geometry_information은 packing_information에서 다시 정의될 수 있다
또 다른 예로, attribute_information 또는 v3c_parameter_set에서 재사용 유무 플래그 attribute_information_reuse_flag를 전송하여 packing_information에서 attribute_information_id를 전송하면, 전송된 attribute_information_id가 재사용될 수 있다. 만약 attribute_information_id가 전송되지 않으면 attribute_information은 packing_information에서 재사용 유무가 정의될 수 있다.
또 다른 예로, v3c_parameter_set에서 vps_extension_present_flag를 시그널링하고, vps_packing_information_present_flag는 vps_altas_count_minus1로 counting될 수 있다.
또 다른 예로, packing_information이 전송될 때는 아틀라스가 패킹된 정보만 전송되는 것이므로 vsp_frame_width, vps_frame_height가 전송되지 않을 수 있다.
따라서 v3c_parameter_set에서 vps_extension_present_flag를 상위 레벨에서 시그널링하고, vps_packing_information_present_flag 존재 유무에 따라 packing_information가 전송될 수 있다. 이때 packing_information의 아틀라스는 vps_atlas_count_minus1로 counting될 수 있다. 만약 vps_extension_present_flag가 0이면 vps_packing_information_present_flag, vps_miv_extension_present_flag, vps_Extension_6bit는 모두 0으로 유추될 수 있다.
도 11은 본 개시의 몇몇 실시예에 따른 볼륨메트릭 비디오 부호화 방법을 설명하기 위한 도면이다.
도 11을 참고하면, 본 개시의 일 실시예에 따른 볼륨메트릭 비디오 부호화 방법은, 볼륨메트릭 비디오의 볼륨메트릭 비디오 파라미터 세트를 부호화하는 단계(S1110), 상기 볼륨 메트릭 비디오의 패킹된 정보를 부호화하는 단계(S1120) 및 상기 볼륨메트릭 비디오 파라미터 세트 및 상기 패킹된 정보를 시그널링하는 단계(S1130)을 포함할 수 있다.
이때, 패킹된 정보 중 적어도 하나는 볼륨메트릭 비디오 파라미터 세트에서 시그널링되는 정보를 기반으로 유추될 수 있다. 여기서, 유추되는 정보는 볼륨메트릭 비디오의 독립 부호화 방법과 패킹 부호화 방법에서 공통으로 사용되는 정보일 수 있다.
도 12는 본 개시의 몇몇 실시예에 따른 볼륨메트릭 비디오 복호화 방법을 설명하기 위한 도면이다.
도 12를 참고하면, 본 개시의 일 실시예에 따른 볼륨메트릭 비디오 복호화 방법은, 볼륨메트릭 비디오의 볼륨메트릭 비디오 파라미터 세트를 복호화하는 단계(S1210), 상기 볼륨 메트릭 비디오의 패킹된 정보를 복호화하는 단계(S1220) 및 상기 볼륨메트릭 비디오 파라미터 세트 및 상기 패킹된 정보를 기반으로 상기 볼륨메트릭 비디오를 복원하는 단계(S1230)을 포함할 수 있다.
이때, 패킹된 정보 중 적어도 하나는 볼륨메트릭 비디오 파라미터 세트에서 시그널링되는 정보를 기반으로 유추될 수 있다. 여기서, 유추되는 정보는 볼륨메트릭 비디오의 독립 복호화 방법과 패킹 복호화 방법에서 공통으로 사용되는 정보일 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (1)

  1. 볼륨메트릭 비디오 부호화 방법에 있어서,
    볼륨메트릭 비디오의 볼륨메트릭 비디오 파라미터 세트를 부호화하는 단계;
    상기 볼륨 메트릭 비디오의 패킹된 정보를 부호화하는 단계; 및
    상기 볼륨메트릭 비디오 파라미터 세트 및 상기 패킹된 정보를 시그널링하는 단계를 포함하고,
    상기 패킹된 정보 중 적어도 하나는 볼륨메트릭 비디오 파라미터 세트에서 시그널링되는 정보를 기반으로 유추는, 볼륨메트릭 비디오 부호화 방법.
KR1020210161263A 2020-11-24 2021-11-22 볼륨메트릭 비디오 부호화/복호화 방법 및 장치 KR20220071924A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200158755 2020-11-24
KR1020200158755 2020-11-24

Publications (1)

Publication Number Publication Date
KR20220071924A true KR20220071924A (ko) 2022-05-31

Family

ID=81780099

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210161263A KR20220071924A (ko) 2020-11-24 2021-11-22 볼륨메트릭 비디오 부호화/복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20220071924A (ko)

Similar Documents

Publication Publication Date Title
EP3751857A1 (en) A method, an apparatus and a computer program product for volumetric video encoding and decoding
US11217037B2 (en) Apparatus for transmitting point cloud data, a method for transmitting point cloud data, an apparatus for receiving point cloud data and a method for receiving point cloud data
US11202086B2 (en) Apparatus, a method and a computer program for volumetric video
US11699248B2 (en) Image processing apparatus and method
US20230068178A1 (en) A method, an apparatus and a computer program product for volumetric video encoding and decoding
KR102585498B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신장치 및 포인트 클라우드 데이터 수신 방법
KR20210135325A (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신장치 및 포인트 클라우드 데이터 수신 방법
US20230050860A1 (en) An apparatus, a method and a computer program for volumetric video
KR102355634B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN115398890B (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
US11711535B2 (en) Video-based point cloud compression model to world signaling information
US20220377327A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR20210041528A (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR20220128388A (ko) V-pcc용 스케일링 파라미터
US20230186527A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN114097229A (zh) 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法
US20220383552A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20240155157A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
KR20220071924A (ko) 볼륨메트릭 비디오 부호화/복호화 방법 및 장치
KR20230078685A (ko) 다중평면 이미지 기반 볼류메트릭 비디오의 깊이를 시그널링하기 위한 방법 및 장치
KR20220066847A (ko) 볼륨메트릭 비디오 위한 복셀화 및 카메라 파라미터 정보 부호화/복호화 방법 및 장치
US20240129529A1 (en) Image processing device and method
KR102677294B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US20230334719A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
EP3873095A1 (en) An apparatus, a method and a computer program for omnidirectional video