KR20220146312A - 이머시브 영상 부호화/복호화 방법 및 장치 - Google Patents

이머시브 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR20220146312A
KR20220146312A KR1020220014916A KR20220014916A KR20220146312A KR 20220146312 A KR20220146312 A KR 20220146312A KR 1020220014916 A KR1020220014916 A KR 1020220014916A KR 20220014916 A KR20220014916 A KR 20220014916A KR 20220146312 A KR20220146312 A KR 20220146312A
Authority
KR
South Korea
Prior art keywords
atlas
image
predetermined image
present disclosure
merging
Prior art date
Application number
KR1020220014916A
Other languages
English (en)
Inventor
류은석
정종범
이순빈
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to US17/728,344 priority Critical patent/US20220343545A1/en
Publication of KR20220146312A publication Critical patent/KR20220146312A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 부호화/복호화 방법 및 장치가 제공된다. 본 개시에 따른 영상 복호화 방법은, 현재 영상의 기본 시점에 대한 제1 아틀라스 및 상기 현재 영상의 추가 시점에 대한 제2 아틀라스가 병합된 영상을 수신하는 단계, 상기 제1 아틀라스 및 상기 제2 아틀라스내 소정의 영상 단위로 분할된 영상을 추출하는 단계, 상기 제1 아틀라스 및 상기 제2 아틀라스를 상기 소정의 영상 단위로 분할하는 단계 및 상기 소정의 영상 단위로 분할된 영상을 복원하는 단계를 포함하고, 상기 제1 아틀라스 및 상기 제2 아틀라스를 상기 소정의 영상 단위로 분할하는 단계는 상기 제1 아틀라스 및 상기 제2 아틀라스를 비균일하게 분할하는 것을 특징으로 한다.

Description

이머시브 영상 부호화/복호화 방법 및 장치{METHOD AND APPARATUS FOR IMMERSIVE VIDEO ENCODING AND DECODING}
본 발명은 이머시브 영상 부호화/복호화 방법 및 장치에 관한 것으로서, 보다 구체적으로 타일 단위 및 서브 픽처 단위 중 적어도 하나에 기반하여 아틀라스를 분할하고 병합하여 프레임을 패킹하는 영상 부호화/복호화 방법 및 장치에 관한 것이다.
가상현실(virtual reality) 서비스는 360도 전방위 비디오(또는 전방위 비디오, 360도 비디오, 이머시브 비디오)를 실사 혹은 CG 형태로 생성하여 개인형 VR 단말인 HMD(Head Mounted Display) 또는 스마트폰 등에서 재생할 수 있으며, 몰입감과 현장감을 극대화하기 위해 진화하고 있다.
현재 연구에서는, HMD를 통해 자연스럽고 몰입감이 높은 360도 비디오를 재생하기 위해 6DoF(degrees of Freedom)를 재현해야 하는 것으로 알려져 있다. 즉, (1)좌우 이동, (2)상하 회전, (3)상하 이동, (4) 좌우 회전, 등의 6가지 방향으로의 시청자의 이동에 대해 응시되는 영상을 HMD를 통해 재생해야 된다는 것이다. 카메라로 획득한 실사영상을 재생하는 현재까지의 전방위 디오는 3DoF로서 (2)상하 회전 및 (4)좌우 회전 위주로의 움직임을 감지하여 영상을 재생하고 있으며, 시청자의 좌우 이동 및 상하 이동에 대해 응시되는 영상을 제공하지 못하고 있다.
따라서 종래의 회전 운동뿐만 아니라 시청자가 상하 좌우 이동 운동을 할 때 이에 대응하는 영상을 재생하여 완전하고 자연스러운 입체영상을 제공하기 위해서 인코더에서 생성된 아틀라스를 타일 단위 및 서브픽처 단위 중 적어도 하나에 기반하여 분할하고 병합하여 프레임을 패킹할 필요가 있다.
본 개시는 타일 단위 및 서브 픽처 단위 중 적어도 하나에 기반하여 아틀라스를 분할하는 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 아틀라스내 타일 및 서브 픽처 중 적어도 하나를 추출하는 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 타일 단위 및 서브 픽처 단위 중 적어도 하나에 기반하여 아틀라스를 병합하는 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 병합된 프레임내에서 타일 단위 및 서브 픽처 단위 중 적어도 하나에 기반하여 효율적으로 품질을 할당하는 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 복호화기의 인스턴스 개수를 절감하는 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 빈 공간이 존재하지 않는 병합된 프레임을 생성하는 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 자연스러운 360도 전방위 영상을 재생하는 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 영상 부호화/복호화 효율을 향상시키는 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 본 개시의 영상 부호화/복호화 방법 또는 장치에 의해 생성된 비트스트림을 저장한 기록 매체를 제공하는 것을 목적으로 한다.
또한, 본 개시는 본 개시의 영상 부호화/복호화 방법 또는 장치에 의해 생성된 비트스트림을 전송하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 개시에 따른, 영상 부호화 방법은, 현재 영상의 기본 시점에 대한 제1 아틀라스 및 상기 현재 영상의 추가 시점에 대한 제2 아틀라스를 수신하는 단계 상기 제1 아틀라스 및 상기 제2 아틀라스를 소정의 영상 단위로 분할하는 단계 상기 제1 아틀라스 및 상기 제2 아틀라스내 상기 소정의 영상 단위로 분할된 영상을 추출하는 단계 상기 분할된 영상에 기반하여, 병합 모드를 결정하는 단계 및 상기 결정된 병합 모드에 기반하여, 상기 제1 아틀라스 및 상기 제2 아틀라스를 상기 소정의 영상 단위로 병합하는 단계를 포함하고, 상기 제1 아틀라스 및 상기 제2 아틀라스를 소정의 영상 단위로 분할하는 단계는 상기 제1 아틀라스 및 상기 제2 아틀라스를 비균일하게 분할하는 것을 특징으로 할 수 있다.
본 개시에 따른, 영상 부호화 방법에 있어서, 상기 제1 아틀라스 및 상기 제2 아틀라스를 소정의 영상 단위로 분할하는 단계는 상기 제1 아틀라스 및 상기 제2 아틀라스를 균일하게 분할하는 것을 특징으로 할 수 있다.
본 개시에 따른, 영상 부호화 방법에 있어서, 상기 소정의 영상 단위는 타일 단위 및 서브 픽처 단위 중 적어도 하나에 해당할 수 있다.
본 개시에 따른, 영상 부호화 방법에 있어서, 상기 제1 아틀라스는 텍스쳐 아틀라스 및 지오메트리 아틀라스 중 적어도 하나 이상을 포함할 수 있다.
본 개시에 따른, 영상 부호화 방법에 있어서, 상기 제2 아틀라스는 텍스쳐 아틀라스 및 지오메트리 아틀라스 중 적어도 하나 이상을 포함할 수 있다.
본 개시에 따른, 영상 부호화 방법에 있어서, 상기 제1 아틀라스에 상기 소정의 영상 단위로 높은 품질을 할당하는 단계를 포함할 수 있다.
본 개시에 따른, 영상 부호화 방법에 있어서, 상기 제2 아틀라스에 상기 소정의 영상 단위로 낮은 품질을 할당하는 단계를 포함할 수 있다.
본 개시에 따른, 영상 부호화 방법에 있어서, 상기 제1 아틀라스 및 상기 제2 아틀라스를 상기 소정의 영상 단위로 병합하는 단계는 병합된 영상내 빈 공간이 존재하지 않도록 상기 제1 아틀라스 및 상기 제2 아틀라스를 병합하는 것을 특징으로 할 수 있다.
본 개시에 따른, 영상 복호화 방법은, 현재 영상의 기본 시점에 대한 제1 아틀라스 및 상기 현재 영상의 추가 시점에 대한 제2 아틀라스가 병합된 영상을 수신하는 단계 상기 제1 아틀라스 및 상기 제2 아틀라스내 소정의 영상 단위로 분할된 영상을 추출하는 단계 상기 제1 아틀라스 및 상기 제2 아틀라스를 상기 소정의 영상 단위로 분할하는 단계 및 상기 소정의 영상 단위로 분할된 영상을 복원하는 단계를 포함하고, 상기 제1 아틀라스 및 상기 제2 아틀라스를 상기 소정의 영상 단위로 분할하는 단계는 상기 제1 아틀라스 및 상기 제2 아틀라스를 비균일하게 분할하는 것을 특징으로 할 수 있다.
본 개시에 따른, 영상 복호화 방법에 있어서, 상기 제1 아틀라스 및 상기 제2 아틀라스를 상기 소정의 영상 단위로 분할하는 단계는 상기 제1 아틀라스 및 상기 제2 아틀라스를 균일하게 분할하는 것을 특징으로 할 수 있다.
본 개시에 따른, 영상 복호화 방법에 있어서, 상기 소정의 영상 단위는 타일 단위 및 서브 픽처 단위 중 적어도 하나에 해당할 수 있다.
본 개시에 따른, 영상 복호화 방법에 있어서, 상기 제1 아틀라스는 텍스쳐 아틀라스 및 지오메트리 아틀라스 중 적어도 하나 이상을 포함할 수 있다.
본 개시에 따른, 영상 복호화 방법에 있어서, 상기 제2 아틀라스는 텍스쳐 아틀라스 및 지오메트리 아틀라스 중 적어도 하나 이상을 포함할 수 있다.
본 개시에 따른, 영상 복호화 방법에 있어서, 상기 제1 아틀라스에 상기 소정의 영상 단위로 높은 품질을 할당하는 단계를 포함할 수 있다.
본 개시에 따른, 영상 복호화 방법에 있어서, 상기 제2 아틀라스에 상기 소정의 영상 단위로 낮은 품질을 할당하는 단계를 포함할 수 있다.
또한, 본 개시에 따르면, 본 개시에 따른 영상 부호화 방법 또는 장치에 의해 생성된 비트스트림을 전송하는 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 본 개시에 따른 영상 부호화 방법 또는 장치에 의해 생성된 비트스트림을 저장한 기록 매체가 제공될 수 있다.
또한, 본 개시에 따르면, 본 개시에 따른 영상 복호화 장치에 의해 수신되고 복호화되어 영상의 복원에 이용되는 비트스트림을 저장한 기록 매체가 제공될 수 있다.
본 개시에 따르면, 타일 단위 및 서브 픽처 단위 중 적어도 하나에 기반하여 아틀라스를 분할하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 아틀라스내 타일 및 서브 픽처 중 적어도 하나를 추출하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 타일 단위 및 서브 픽처 단위 중 적어도 하나에 기반하여 아틀라스를 병합하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 병합된 프레임내에서 타일 단위 및 서브 픽처 단위 중 적어도 하나에 기반하여 효율적으로 품질을 할당하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 본 개시는 복호화기의 인스턴스 개수를 절감하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 빈 공간이 존재하지 않는 병합된 프레임을 생성하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 자연스러운 360도 전방위 영상을 재생하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 영상 부호화/복호화 효율을 향상시키는 방법 및 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른, 이머시브 영상에서 다시점 영상의 개념을 나타낸 도면이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 TMIV(Test Model for Immersive Video) 인코더(Encoder)와 디코더(Decoder) 장치를 개략적으로 나타낸 도면이다.
도 3은 본 개시의 일 실시예에 따른, 프레임 패킹을 수행하는 장치를 개략적으로 나타낸 도면이다.
도 4는 본 개시의 다른 일 실시예에 따른, 프레임 패킹을 수행하는 장치를 개력적으로 나타낸 도면이다.
도 5는 본 개시의 일 실시예에 따른, 타일 또는 서브 픽처에 기반하여 아틀라스를 분할, 병합 및 부호화하는 과정의 일 예를 나타낸다.
도 6은 본 개시의 일 실시예에 따른, 아틀라스 내 타일 또는 서브픽처에 비대칭으로 품질을 할당하고 병합하는 과정의 일 예를 나타낸다.
도 7은 본 개시의 일 실시예에 따른, 비균일하게 서브 픽처 단위로 아틀라스를 분할 및 병합하여 프레임을 패킹하는 일 예를 나타낸 도면이다.
도 8은 본 개시의 다른 일 실시예에 따른, 비균일하게 서브 픽처 단위로 아틀라스를 분할 및 병합하여 프레임을 패킹하는 일 예를 나타낸 도면이다.
도 9는 본 개시의 또 다른 일 실시예에 따른, 비균일하게 서브 픽처 단위로 아틀라스를 분할 및 병합하여 프레임을 패킹하는 일 예를 나타낸 도면이다.
도 10은 본 개시의 또 다른 일 실시예에 따른, 비균일하게 서브 픽처 단위로 아틀라스를 분할 및 병합하여 프레임을 패킹하는 일 예를 나타낸 도면이다.
도 11은 본 개시의 일 실시예에 따른, 비균일하게 타일 또는 서브 픽처 단위로 아틀라스를 분할 및 병합하여 복호화 시간을 절감한 것을 나타낸 도면이다.
도 12는 본 개시의 일 실시예에 따른, 비균일하게 타일 또는 서브 픽처 단위로 아틀라스를 분할 및 병합하여 대역폭을 절감한 것을 나타낸 도면이다.
도 13은 본 개시의 일 실시예에 따른, 이머시브 영상의 부호화 과정의 일 예를 나타낸 도면이다.
도 14는 본 개시의 일 실시예에 따른, 이머시브 영상의 복호화 과정의 일 예를 나타낸 도면이다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 개시의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
본 개시에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 개시의 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 개시의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 개시의 본질에서 벗어나지 않는 한 본 개시의 권리범위에 포함된다.
본 개시에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 개시에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 개시의 실시 또는 본 개시의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
본 개시의 일부의 구성 요소는 본 개시에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 개시는 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 개시의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 개시의 권리범위에 포함된다.
또한, 본 개시에 있어서 영상과 비디오는 혼용될 수 있다.
이하, 도면을 참조하여 본 개시의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 개시의 일 실시예에 따른, 이머시브 영상에서 다시점 영상의 개념을 나타낸 도면이다. 도 1을 참조하면, O1 내지 04는 임의의 장면 내 영상의 영역, Vk는 카메라센터 위치에서의 획득된 영상, Xk는 시점 위치(카메라 위치), Dk는 카메라 센터 위치에서의 깊이 정보를 각각 나타낼 수 있다. 이머시브 영상에서는 시청자의 움직임에 따라 6자유도를 지원하기 위하여 복수의 위치에서 다양한 방향으로 영상이 생성될 수 있다. 이머시브 영상은 전방위 영상과 관련 공간 정보(깊이 정보, 카메라 정보)로 구성될 수 있다. 이머시브 영상은 영상 압축, 패킷 다중화과정을 통해 단말 측으로 전송될 수 있다.
이머시브 영상 시스템은 다 시점으로 구성된 대용량의 이머시브 영상을 획득, 생성, 전송 및 재현할 수 있다. 그러므로, 이머시브 영상 시스템은 대용량의 영상 데이터를 효과적으로 저장 및 압축할 수 있어야 하며, 기존의 이머시브 영상(3DoF)과 호환성이 있어야 한다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 TMIV(Test Model for Immersive Video) 인코더(Encoder)와 디코더(Decoder) 장치를 개략적으로 나타낸 도면이다. 도 2a를 참조하면, TMIV 인코더의 입력은 순서대로 시점 최적화(View Optimizer), 아틀라스 생성기(Atlas Constructor)를 거치고 비디오 텍스쳐 인코더(Video Texture Encoder) 및 비디오 깊이 인코더(Video Depth Encoder)를 통해 부호화될 수 있다. 시점 최적화는 과정에서는 방향 편차, 시야, 거리 및 시야 간 겹침을 고려하여 필요한 기본 시점의 개수를 결정할 수 있다. 다음으로 시점 간의 위치와 상호 간의 겹침을 고려하여 기본 시점을 선택할 수 있다. 아틀라스 생성기에서 프루너(Pruner)는 마스크를 사용하여 기본 시점들을 보존하고 추가 시점들의 중복된 부분을 제거할 수 있다. 어그리게이터(Aggregator)는 시간적 순서에 따라 비디오 프레임에 사용된 마스크를 업데이트할 수 있다. 이후, 패치 패커(Patch Packer)는 각 패치 아틀라스들을 패킹하여 최종적으로 아틀라스를 생성할 수 있다. 기본 시점의 아틀라스는 텍스쳐 및 깊이 정보가 원본과 같이 구성될 수 있다. 추가 시점의 아틀라스는 텍스쳐 및 깊이 정보가 블록 패치 형태로 구성될 수 있다.
도 2b를 참조하면, TMIV 디코더는 비디오 텍스쳐 및 깊이 정보에 관한 기본 시점과 아틀라스를 복원할 수 있다. 그리고, 아틀라스 패치 점유 지도 생성기(Atlas Patch Occupancy Map Generator), 렌더러(Renderer)를 통해 최종으로 복원된 출력이 생성될 수 있다. 구체적으로 TMIV 디코더가 비트스트림을 전달받을 수 있다. 그리고, 텍스처 비디오 디코더(Texture Video Decoder)와 깊이 비디오 디코더(Depth Video Decoder)를 통해 텍스쳐와 깊이가 렌더러로 전송될 수 있다. 렌더러는 컨트롤러(Controller), 합성(Synthesizer) 그리고 인페인터(Inpainter) 세가지 단계로 구성될 수 있다.
도 3은 본 개시의 일 실시예에 따른, 프레임 패킹을 수행하는 장치를 개략적으로 나타낸 도면이다. 프레임 패킹은 아틀라스를 병합하는 것과 동일한 의미에 해당될 수 있다. 또한, 프레임 패킹은 비트스트림을 병합하는 것과 동일한 의미에 해당될 수 있다. 아틀라스를 병합하면 프레임이 생성될 수 있다. 지오메트리(Geometry)는 깊이를 의미할 수 있다. 프레임과 픽처는 동일한 의미에 해당될 수 있다. 본 개시는 MIV(MPEG Immersive Video) 특정 타일링, 병합 및 프레임 패킹 방법과 앞으로 설명할 실험 결과를 제공할 수 있다. 본 개시는 아틀라스 서브 비트스트림을 단일 비트스트림으로 병합하기위해 픽셀 도메인과 압축된 도메인 프레임 패킹을 제공할 수 있다. 본 개시의 프레임 패킹 방법을 이용하면 BD-rate를 향상시킬 수 있다. 그리고, 하드웨어에 따라 하나의 HEVC 레벨 6.2 디코더 또는 여러 개의 HEVC 레벨 5.2 디코더가 사용될 수 있다. 본 개시의 프레임 패킹 방법을 통해 영상 품질 향상으로 이어지는 BD-rate가 절감될 수 있다. 그리고, 본 개시의 프레임 패킹 방법을 통해 디코더 동기화를 위한 디코더 인스턴스(Instances)의 개수가 줄어들 수 있다. 본 개시에 따른 코딩된 비디오 서브스트림은 픽셀 도메인에서 프레임 패킹된 텍스쳐, 지오메트리 및 잠재적인 점유 데이터를 전달할 수 있다. 본 개시는 픽셀 도메인 프레임 패킹과 관계없이 텍스처와 지오메트리를 위한 다양한 솔루션을 제공할 수 있다.
도 3을 참조하면, TMIV 인코더(310)가 텍스쳐 뷰, 지오메트리 뷰, 카메라 파라미터를 전달받을 수 있다. 그리고, TMIV 인코더(310)가 아틀라스들을 프레임 패커(320)로 전달할 수 있다. 여기서, 패킹 방법에 따라 각각의 아틀라스가 프레임 패킹될 수 있으며, 프레임 패킹된 각각의 아틀라스 위치 정보는 MIV 메타데이터 비트스트림에 기록될 수 있다. 이후, 각각의 비디오는 MCTS(Motion-Constrained Tile Set) 인코더(330)를 이용하여 인코딩될 수 있고 패킹 방법에 따라 다른 타일 또는 서브 픽처 분할 방법이 적용될 수 있다. MCTS(Motion-Constrained Tile Set) 인코더(330)는 비트스트림을 비트스트림 추출기(340)로 전송할 수 있다. 비트스트림으로부터 각 타일 또는 서브 픽처가 추출될 수 있고 비트스트림 병합기(350)로 전송될 수 있다. 패킹 방법이 병합을 요구하는 경우, 비트스트림 병합기(350)는 디코더의 인스턴스의 개수를 줄이기 위해 압축 도메인내 타일 비트스트림 또는 서브 픽처 비트스트림을 병합할 수 있다. 그리고, 비트스트림 병합기(350)는 병합된 비트스트림을 비디오 디코더(360)로 전달할 수 있다. 비디오 디코더(360)에서 디코딩 후 프레임 언패커(370)가 프레임 패킹된 픽처를 압축 해제할 수 있고 압축 해제된 픽처를 TMIV 디코더(380)로 전달할 수 있다. TMIV 디코더(380)는 복원된 영상을 뷰포트로 사용자에게 제공할 수 있다. 여기서, 프레임 언패커(370)에서 프레임 패킹된 각각의 아틀라스 위치 정보가 기록된 MIV 메타데이터 비트스트림의 압축 해제 과정이 생략될 수 있다. 그리고, TMIV 디코더(380)는 상기 MIV 메타데이터 비트스트림을 해석하여 비디오 디코더(360)에 의해 디코딩된 픽쳐를 사용하여 영상 복원을 실시할 수 있다. 본 개시의 프레임 패킹 및 복원 방법은 상기 실시예에 한정되지 않는다. 서브 픽처 또는 타일 분할, 서브 픽처 또는 타일 추출 및 서브 픽처 또는 타일 병합의 과정중 적어도 하나 이상은 프레임 패커(320), MCTS 인코더(330), 비트스트림 추출기(340) 또는 비트스트림 병합기(350)에서 각각 수행될 수 있다.
본 개시의 수행을 위해 타일 또는 서브 픽처 분할, 타일 또는 서브 픽처 추출 및 타일 또는 서브 픽처 병합이 요구될 수 있다. 본 개시는 MCTS 인코더를 이용하여 품질 관리를 위해 각 기본 시점들과 추가 시점들의 패치들을 분할하는 4개의 MIV 특정 비균일 타일 분할 및 병합 방법을 제공할 수 있다. 타일 또는 서브 픽처 병합에 있어서, HM(HEVC Test Model) 및 VTM(VVC Test Model) 기반 타일 또는 서브 픽처 병합 소프트웨어가 본 개시에서 사용될 수 있다. 그리고, 현재 HM은 각 타일/슬라이스 별로 개별적인 양자화 파라미터 할당을 지원하지 않기 때문에 프레임 패킹된 비디오를 인코딩하기위해 오픈 소스 HEVC 인코더인 크바자르(kvazaar)가 사용될 수 있다. 그러나, 크바자르는 HM과 비교할 때 2가지 차이점을 가질 수 있다. 첫번째, 패킹 방식이 HM에서 BD-rate 이득을 보였음에도, 크바자르는 항상 같거나 유사한 BD-rate 이득을 보장하지 않을 수 있다. 첫번째 차이점에 대한 이유중 하나는 인코딩 가속을 위한 조기 종료가 이러한 차이를 발생시킬 수 있다. 두번째, 크바자르에 의해 생성된 MCTS 비트스트림으로부터 HM 소프트웨어에 의한 타일 또는 서브 픽처 추출이 수행될 수 없다. 두번째 차이점에 대한 이유는 HM 타일 또는 서브 픽처 추출기가 추출 정보 세트 SEI 메시지를 파싱함으로써 출력 타일 비트스트림을 생성할 수 있는 반면, 크바자르는 추출 정보 세트 SEI 메시지를 생성할 수 없기 때문이다. 따라서, 슬라이스 분할 주소를 사용하는 HM 기반 타일 또는 서브 픽처 추출 소프트웨어가 본 개시에서 사용될 수 있다. 또한 크바자르에서 효율적인 단순화된 균일 프레임 패킹 및 타일 또는 서브 픽처 분할 방법이 사용될 수 있다.
도 4는 본 개시의 다른 일 실시예에 따른, 프레임 패킹을 수행하는 장치를 개력적으로 나타낸 도면이다. 도 4를 참조하면, 프레임 패킹을 수행하는 장치는 부호화 서버(400), MIV 부호화기(401), 복호기 적응적인 서브픽처(Decoder-Adaptive Subpicture, DAS) 할당기(402), 영상 부호화기(403), 품질 제어기(404), 엣지 서버(410), 비트스트림 추출 및 병합기(Bitstream Extractor and Merger, BEAMer)(411), 클라이언트(420), 영상 복호화기(421), DAS 핸들러(422), MIV 복호화기(423) 및 머리 장착형 영상장치(424)를 포함할 수 있다. 각 구성요소의 수는 예시적인 것일 뿐 본 개시는 이에 제한되지 않는다. 부호화 서버(400)는 적어도 하나 이상의 3차원 카메라로부터 획득된 몰입형 영상에 서브 픽처 및 타일 중 적어도 하나에 기반한 분할 기법을 적용하여 원하는 품질의 영상으로 부호화할 수 있다. 그리고, 부호화 서버(400)는 몰입형 영상에 품질 제어를 적용하여 엣지 서버(410)로 전송할 수 있다. MIV 부호화기(401)는 몰입형 영상을 기본 시점과 추가 시점으로 분류하고 추가 시점 영상에서 공간적 중복성을 제거하여 잔차 영상을 생성할 수 있다. 또한, MIV 부호화기(401)는 기본 시점과 추가 시점에 대한 아틀라스를 생성할 수 있다. 잔차 영상은 패치로 추출되어 아틀라스에 저장될 수 있고 각 패치의 정보는 메타데이터 형태로 부호화되어 MIV 비트스트림에 저장될 수 있다. 기본 시점에 대한 아틀라스와 추가 시점에 대한 아틀라스는 2개의 텍스쳐 및 2개의 다운샘플링된 지오메트리로 구성될 수 있다. 다만, 본 개시는 이에 한정되지 않는다.
DAS 할당기(402)는 아틀라스를 타일 및 서브 픽처중 적어도 하나에 기반하여 분할할 수 있다. 또한, DAS 할당기(402)는 비트스트림 병합 및 품질 제어를 고려하여 아틀라스를 분할할 수 있고 분할된 아틀라스를 영상 부호화기(403)로 전달할 수 있다. 영상 부호화기(403)는 서브 픽처 또는 타일의 분할 구조에 따라 아틀라스를 원하는 품질로 부호화할 수 있다. 이에 따라 하나의 비트스트림 내에 독립적으로 추출 및 복호화가 가능한 여러 개의 타일 또는 서브 픽처를 포함하는 움직임 제한 타일 세트(Motion-Constrained Tile Set, MCTS) 비트스트림이 생성될 수 있다. 상기 MCTS 비트스트림과 각 서브 픽처 또는 타일 비트스트림의 비트레이트가 품질 제어기(404)로 전달될 수 있다. 품질 제어기(404)는 MCTS 비트스트림 내에 기본 시점과 추가 시점의 비율을 분석할 수 있다. 그리고, 품질 제어기(404)는 기본 시점의 비율이 높은 타일 또는 서브 픽처에는 높은 품질을 할당하고 추가 시점의 비율이 높은 타일 또는 서브 픽처에는 낮은 품질을 비대칭적으로 할당할 수 있다. 비대칭적으로 품질이 할당된 MCTS 비트스트림과 MIV 비트스트림은 엣지 서버(410)로 전달될 수 있다.
엣지 서버(410)는 MCTS 비트스트림에서 타일 또는 서브 픽처 비트스트림을 추출하고 프로파일에 따라 병합하여 클라이언트(420)로 전송할 수 있고 MIV 비트스트림도 함께 클라이언트(420)로 전송할 수 있다. 비트스트림 추출 및 병합기(411)는 MCTS 비트스트림을 프로파일에 따라 1개 또는 다수의 비트스트림으로 병합하여 클라이언트(420)로 전송할 수 있다. 비트스트림 추출 및 병합기(411)는 클라이언트(420)의 복호화기 레벨에 따라 비트스트림을 적응적으로 병합할 수 있다. 또한, 병합된 영상에 따른 아틀라스 내 패치 위치를 반영하기 위해 MIV 비트스트림의 패치 정보가 수정되어 클라이언트로 전송될 수 있다. 다만, 본 개시는 상기 실시예에 한정되지 않는다.
클라이언트(420)는 영상 복호화기(421)의 연산능력에 따른 복호화기 적응적인 서브 픽처 또는 타일 비트스트림들을 엣지 서버(410)에 요청할 수 있다. 그리고, 클라이언트(420)는 엣지 서버(410)로부터 전달받은 병합된 비트스트림들을 복호화하여 사용자 시점에 대응하는 가상 시점 영상을 생성하여 머리 장착형 영상 장치(424)에 표시할 수 있다. 영상 복호화기(421)는 엣지 서버(410)로부터 전달된 병합된 비트스트림들을 복호화하여 MIV 복호화기(423)에 전달할 수 있다. 영상 복호화기(421)의 연산 능력은 레벨 등의 정량적인 수치로 계산되어 DAS 핸들러(422)로 전달될 수 있다. DAS 핸들러(422)는 영상 복호화기(421)의 연산 능력을 고려하여 복호화 가능한 최대 크기의 영상 정보를 계산하고 엣지 서버(410)에 전달할 수 있다. 상기 영상 정보에는 해상도, 비트 수, 프레임율, 코덱 정보 등이 포함될 수 있다. MIV 복호화기(423)는 복호화된 영상 및 MIV 비트스트림을 이용하여 사용자 시점에 대응하는 가상 시점 영상을 생성하여 머리 장착형 영상 장치(424)로 전달할 수 있다. 머리 장착형 영상 장치(424)는 가상 시점 영상을 화면에 표시하여 사용자에게 전달할 수 있다. 다만, 본 개시는 상기 실시예에 한정되지 않는다. 서브 픽처 또는 타일 분할, 서브 픽처 또는 타일 추출 및 서브 픽처 또는 타일 병합의 과정중 적어도 하나 이상은 부호화 서버(400), 엣지 서버(410) 또는 클라이언트(420)에서 각각 수행될 수 있다.
도 5는 본 개시의 일 실시예에 따른, 타일 또는 서브 픽처에 기반하여 아틀라스를 분할, 병합 및 부호화하는 과정의 일 예를 나타낸다. 도 5를 참조하면, 적어도 하나 이상의 3차원 카메라로부터 획득된 몰입형 영상에서 기본 시점과 추가 시점의 패치 영역을 구분하여 아틀라스가 타일 또는 서브 픽처로 분할될 수 있다(S510). 그리고, 아틀라스 내 코딩 트리 유닛(Coding Tree Unit, CTU)의 배수 크기가 아닌 타일 또는 서브 픽처가 다른 타일 또는 서브 픽처에 병합되거나 픽셀 패딩이 적용될 수 있다(S520). 이에 따라, 모든 타일 또는 서브 픽처가 CTU의 배수로 구성될 수 있다. 예외적으로, 마지막 행 또는 열에 위치한 타일 또는 서브 픽처의 높이 또는 너비는 CTU의 배수가 아니더라도 추출, 병합, 복호화가 가능할 수 있다. 그리고, 수직/수평 병합 모드가 결정될 수 있다(S530). 영상 복호화기에 의해 정해진 값을 초과하는 크기의 병합된 픽처는 복호화가 불가능할 수 있다. 따라서, 아틀라스의 너비과 높이를 고려하여 병합 모드가 결정될 수 있다. 아틀라스의 너비가 높이보다 큰 경우, 타일 또는 서브 픽처가 수직 방향으로 병합될 수 있다. 아틀라스의 높이가 너비보다 큰 경우, 타일 또는 서브 픽처가 수평 방향으로 병합될 수 있다.
그리고, 병합된 픽처내 빈 공간을 최소화하기 위해 타일 또는 서브 픽처가 수직 또는 수평 방향으로 추가적으로 분할될 수 있다(S540). 그리고, 아틀라스에서 중앙에 위치한 타일 또는 서브 픽처가 다른 타일 또는 서브 픽처에 병합될 수 있다(S550). 다만, 중앙에 위치한 타일 또는 서브 픽처가 아래에 위치한 타일 또는 서브 픽처보다 작은 경우에만 중앙에 위치한 타일 또는 서브 픽처가 다른 타일 또는 서브 픽처에 병합될 수 있다. 이는, 중앙에 위치한 타일 또는 서브 픽처가 아래에 위치한 타일 또는 서브 픽처보다 작은 경우, 타일 또는 서브 픽처 병합 및 복호화가 불가능할 수도 있기 때문이다. 그리고, 다수의 타일 또는 서브 픽처가 슬라이스 단위로 다른 타일 또는 서브 픽처에 삽입될 수 있다(S560). 다수의 작은 타일 또는 서브 픽처는 하나의 타일 또는 서브 픽처 공간 내에 수직 또는 수평으로 정렬되어 삽입될 수 있다. 이에 따라, 병합된 픽처내 빈 공간이 최소화될 수 있다. 그리고, 병합된 타일 또는 서브 픽처의 위치 정보가 MIV 비트스트림에 메타데이터로 기록될 수 있다(S570). 병합 시 아틀라스 내 패치 위치가 변경되므로 패치 위치 정보도 MIV 비트스트림에 메타데이터로 기록될 수 있다. 그리고, 타일 또는 서브 픽처에 기반하여 아틀라스가 부호화될 수 있다(S580). 아틀라스는 결정된 타일 또는 서브 픽처 분할 구조가 반영되어 부호화될 수 있고 비트스트림 형태로 저장될 수 있다.
도 5를 참조하여 설명한 타일 또는 서브 픽처에 기반하여 아틀라스를 분할, 병합 및 부호화하는 방법은 예시적인 것으로서, 본 개시에 따른 타일 또는 서브 픽처에 기반하여 아틀라스를 분할, 병합 및 부호화하는 방법은 도 5에 도시된 예에 한정되지 않는다. 예컨대, 도 5에 도시된 단계들 중 일부는 생략될 수도 있고, 도 5에 도시된 단계들 이외의 단계가 도 5의 순서도 상의 임의의 위치에 추가될 수도 있다. 또한, 도 5에 도시된 단계들 중 일부는 다른 단계와 동시에 수행되거나 다른 단계와 순서가 변경될 수 있다.
도 6은 본 개시의 일 실시예에 따른, 아틀라스 내 타일 또는 서브픽처에 비대칭으로 품질을 할당하고 병합하는 과정의 일 예를 나타낸다. 도 6을 참조하면, 타일 또는 서브 픽처에 기반하여 아틀라스가 다양한 품질로 부호화될 수 있다(S610). 아틀라스는 다섯 개의 특정 대역폭을 나타내는 레이트 및 이에 상응하는 양자화 파라미터에 의해 부호화될 수 있다. 이에 따라, 비트스트림이 생성될 수 있다. 그리고, 아틀라스가 부호화된 비트스트림에서 각 타일 또는 서브 픽처 비트스트림이 추출될 수 있다(S620). 그리고, 타일 또는 서브 픽처내 기본 시점과 추가 시점 비율에 따른 품질이 할당될 수 있다(S630). 기본 시점의 비율이 높은 경우, 높은 품질이 타일 또는 서브 픽처에 할당될 수 있다. 추가 시점의 비율이 높은 경우, 낮은 품질이 타일 또는 서브 픽처에 할당될 수 있다. 그리고, 타일 또는 서브 픽처 기반 비트스트림이 엣지 서버로 전송될 수 있다(S640). 그리고, 복호화기 연산 능력에 따라 타일 또는 서브 픽처 기반 비트스트림이 병합될 수 있다(S650). 그리고, 병합된 비트스트림이 클라이언트로 전송될 수 있다(S660).
도 6을 참조하여 설명한 아틀라스내 타일 또는 서브픽처에 비대칭으로 품질을 할당하고 병합하는 방법은 예시적인 것으로서, 본 개시에 따른 아틀라스내 타일 또는 서브픽처에 비대칭으로 품질을 할당하고 병합하는 방법은 도 6에 도시된 예에 한정되지 않는다. 예컨대, 도 6에 도시된 단계들 중 일부는 생략될 수도 있고, 도 6에 도시된 단계들 이외의 단계가 도 6의 순서도 상의 임의의 위치에 추가될 수도 있다. 또한, 도 6에 도시된 단계들 중 일부는 다른 단계와 동시에 수행되거나 다른 단계와 순서가 변경될 수 있다.
도 7은 본 개시의 일 실시예에 따른, 비균일하게 서브 픽처 단위로 아틀라스를 분할 및 병합하여 프레임을 패킹하는 일 예를 나타낸 도면이다. 픽셀 도메인 프레임 패킹은 디코더 인스턴스의 개수를 줄이는 효과가 있을 수 있다. 예를 들어, 4개의 HEVC 레벨 5.2 비트스트림이 MIV 및 MIV 뷰(View) 앵커(Anchor)들에서 생성되는 반면, 하나의 HEVC 레벨 6.2 비트스트림은 프레임 패킹에서 생성될 수 있다. 그러나, HEVC 레벨 6.2 비트스트림을 디코딩할 수 있는 기능이 없는 레거시(Legacy) 시스템에서 프레임 패킹 기반 MIV 구현이 어려울 수 있다. 따라서, 레거시 시스템을 커버할 수 있는 세분화된 패킹 방법이 요구될 수 있다. 세분화된 패킹 방법으로서 타일 또는 서브 픽처들을 사용하여 아틀라스들을 인코딩하고 개별 타일 또는 서브 픽처들을 추출하고 압축된 도메인에서 타일 또는 서브 픽처들을 하나의 비트스트림으로 병합하는 방법이 있을 수 있다. 타일 또는 서브 픽처 분할 방식은 다음 두가지 요구사항을 고려하여 설계될 수 있다. 첫번째로, 각각의 기본 시점과 추가 시점은 타일 또는 서브 픽처 경계들에의해 구별되어야 하고 이에 따라 선택적인 스트리밍의 구현이 수행될 수 있다. 두번째로, 병합된 비트스트림에 빈 공간이 생성되지 않도록 타일 또는 서브 픽처가 분할되어야하고 이에 따라 픽셀 률의 낭비가 발생되지 않을 수 있다. 상기 두가지 요구사항을 충족하는 타일링 및 병합 방식은 MIV 테스트 시퀀스에 적합할 수 있다.
MIV 테스트 시퀀스에 대해 4가지의 MIV 특정 비균일 타일 또는 서브 픽처 분할 및 병합 방법이 존재할 수 있다. 상기 4가지 방법으로 생성된 결과 비트스트림은 HEVE/VVC 디코더와 호환될 수 있다. 병합된 비트스트림에 빈 공간을 만들지 않게 하기 위해 두 개의 입력 타일들/슬라이스들이 하나의 출력 타일에 수직으로 위치할 수 있다. 그리고 이는 HEVC/VVC의 타일 제약 조건을 충족할 수 있다. 본 개시에 대한 실험은 MIV CTC(Common Test Condition)에 따라 수행되었지만 현재 VvenC가 타일 및 서브 픽처 인코딩을 완전히 지원하지 않기 때문에 인코딩 및 디코딩에 HM 및 VTM이 사용될 수 있다.
도 7을 참조하면, MIV 인코더를 통해 기본 시점에 대한 텍스쳐 아틀라스 A0(710), 추가 시점에 대한 텍스쳐 아틀라스 A1(720), 기본 시점에 대한 지오메트리 아틀라스 A0(730) 및 추가 시점에 대한 지오메트리 아틀라스 A1(740)이 전달될 수 있다. 기본 시점에 대한 텍스쳐 아틀라스 A0(710) 및 추가 시점에 대한 텍스쳐 아틀라스 A1(720)의 크기는 4096x2176 픽셀단위에 해당될 수 있다. 그리고, 기본 시점에 대한 지오메트리 아틀라스 A0(730) 및 추가 시점에 대한 지오메트리 아틀라스 A1(740)의 크기는 2048x1088 픽셀단위에 해당될 수 있다. 다만 아틀라스들의 크기는 상기 실시예에 한정되지 않는다. 기본 시점에 대한 텍스쳐 아틀라스 A0(710)는 서브 픽처 단위로 S0, S1으로 분할되고 추출될 수 있다. 추가 시점에 대한 텍스쳐 아틀라스 A1(720)도 서브 픽처 단위로 S0, S1으로 분할되고 추출될 수 있다. 기본 시점에 대한 지오메트리 아틀라스 A0(730)는 서브 픽처 단위로 S2로 분할되고 추출될 수 있다. 추가 시점에 대한 지오메트리 아틀라스 A1(740)도 서브 픽처 단위로 S2로 분할되고 추출될 수 있다. 각 아틀라스 내 서브 픽처가 CTU 크기의 배수가 아닌 경우, 아틀라스 내부에 픽셀 패딩이 생성될 수 있다. 그리고, 빈 공간이 발생되지 않도록 서브 픽처 단위로 병합 방법이 결정될 수 있다. 아틀라스의 가로 및 세로 크기와 해상도를 고려하여 병합 방법이 결정될 수 있다. 상기 병합 방법에는 수직 병합 모드와 수평 병합 모드가 존재할 수 있다. 다만 상기 수직/수평 병합 모드 이외에 다양한 병합 모드가 존재할 수 있다. 그리고, 기본 시점에 대한 텍스쳐 아틀라스 A0(710)내 서브 픽처 S0, S1과 기본 시점에 대한 지오메트리 아틀라스 A0(730)내 서브 픽처 S2에 높은 품질이 할당되고 추가 시점에 대한 텍스쳐 아틀라스 A1(720)내 서브 픽처 S0, S1과 추가 시점에 대한 지오메트리 아틀라스 A1(740)내 서브 픽처 S2에 낮은 품질이 할당될 수 있다. 이에 따라, 효율적인 품질 할당이 수행될 수 있다.
다른 실시예에 따르면, 기본 시점에 대한 텍스쳐 아틀라스 A0(710), 추가 시점에 대한 텍스쳐 아틀라스 A1(720), 기본 시점에 대한 지오메트리 아틀라스 A0(730) 및 추가 시점에 대한 지오메트리 아틀라스 A1(740)은 타일 단위로 분할되고 추출될 수 있다. 그리고, 타일 단위로 병합 방법이 결정될 수 있다. 그리고, 기본 시점에 대한 텍스쳐 아틀라스 A0(710)내 타일들과 기본 시점에 대한 지오메트리 아틀라스 A0(730)내 타일에 높은 품질이 할당되고 추가 시점에 대한 텍스쳐 아틀라스 A1(720)내 타일들과 추가 시점에 대한 지오메트리 아틀라스 A1(740)내 타일에 낮은 품질이 할당될 수 있다. 이에 따라, 효율적인 품질 할당이 수행될 수 있다.
결정된 병합 모드에 따라 기본 시점에 대한 텍스쳐 아틀라스 A0(710), 추가 시점에 대한 텍스쳐 아틀라스 A1(720), 기본 시점에 대한 지오메트리 아틀라스 A0(730) 및 추가 시점에 대한 지오메트리 아틀라스 A1(740)가 서브 픽처 단위로 병합되어 병합된 프레임(750)이 생성될 수 있다. 상기 병합된 프레임(750)의 크기는 4096x5440 픽셀단위에 해당될 수 있다. 다만 병합된 프레임(750)의 크기는 상기 실시예에 한정되지 않는다. 병합된 프레임(750)에는 6개의 서브 픽처가 존재할 수 있고 빈 공간이 존재하지 않을 수 있다.
다른 실시예에 따르면, 결정된 병합 모드에 따라 기본 시점에 대한 텍스쳐 아틀라스 A0(710), 추가 시점에 대한 텍스쳐 아틀라스 A1(720), 기본 시점에 대한 지오메트리 아틀라스 A0(730) 및 추가 시점에 대한 지오메트리 아틀라스 A1(440)가 타일 단위로 병합되어 병합된 프레임(750)이 생성될 수 있다. 병합된 프레임(750)에는 6개의 타일이 존재할 수 있고 빈 공간이 존재하지 않을 수 있다.
도 8은 본 개시의 다른 일 실시예에 따른, 비균일하게 서브 픽처 단위로 아틀라스를 분할 및 병합하여 프레임을 패킹하는 일 예를 나타낸 도면이다. 도 8을 참조하면, MIV 인코더를 통해 기본 시점에 대한 텍스쳐 아틀라스 A0(810), 추가 시점에 대한 텍스쳐 아틀라스 A1(820), 기본 시점에 대한 지오메트리 아틀라스 A0(830) 및 추가 시점에 대한 지오메트리 아틀라스 A1(840)이 전달될 수 있다. 기본 시점에 대한 텍스쳐 아틀라스 A0(810) 및 추가 시점에 대한 텍스쳐 아틀라스 A1(820)의 크기는 2048x4352 픽셀단위에 해당될 수 있다. 그리고, 기본 시점에 대한 지오메트리 아틀라스 A0(830) 및 추가 시점에 대한 지오메트리 아틀라스 A1(840)의 크기는 1024x2176 픽셀단위에 해당될 수 있다. 다만 아틀라스들의 크기는 상기 실시예에 한정되지 않는다. 기본 시점에 대한 텍스쳐 아틀라스 A0(810)는 서브 픽처 단위로 S0, S1, S2로 분할되고 추출될 수 있다. 추가 시점에 대한 텍스쳐 아틀라스 A1(820)도 서브 픽처 단위로 S0, S1, S2로 분할되고 추출될 수 있다. 기본 시점에 대한 지오메트리 아틀라스 A0(830)는 서브 픽처 단위로 S3, S4, S5로 분할되고 추출될 수 있다. 추가 시점에 대한 지오메트리 아틀라스 A1(840)도 서브 픽처 단위로 S3, S4, S5로 분할되고 추출될 수 있다. 각 아틀라스 내 서브 픽처가 CTU 크기의 배수가 아닌 경우, 아틀라스 내부에 픽셀 패딩이 생성될 수 있다. 그리고, 빈 공간이 발생되지 않도록 타일 단위로 병합 방법이 결정될 수 있다. 아틀라스의 가로 및 세로 크기와 해상도를 고려하여 병합 방법이 결정될 수 있다. 상기 병합 방법에는 수직 병합 모드와 수평 병합 모드가 존재할 수 있다. 다만 상기 수직/수평 병합 모드 이외에 다양한 병합 모드가 존재할 수 있다. 그리고, 기본 시점에 대한 텍스쳐 아틀라스 A0(810)내 서브 픽처 S0, S1, S2와 기본 시점에 대한 지오메트리 아틀라스 A0(830)내 서브 픽처 S3, S4, S5에 높은 품질이 할당되고 추가 시점에 대한 텍스쳐 아틀라스 A1(820)내 서브 픽처 S0, S1, S2와 추가 시점에 대한 지오메트리 아틀라스 A1(840)의 서브 픽처 S3, S4, S5에 낮은 품질이 할당될 수 있다. 이에 따라, 효율적인 품질 할당이 수행될 수 있다.
다른 실시예에 따르면, 기본 시점에 대한 텍스쳐 아틀라스 A0(810), 추가 시점에 대한 텍스쳐 아틀라스 A1(820), 기본 시점에 대한 지오메트리 아틀라스 A0(830) 및 추가 시점에 대한 지오메트리 아틀라스 A1(840)은 타일 단위로 분할되고 추출될 수 있다. 그리고, 타일 단위로 병합 방법이 결정될 수 있다. 그리고, 기본 시점에 대한 텍스쳐 아틀라스 A0(810)내 타일들과 기본 시점에 대한 지오메트리 아틀라스 A0(830)내 타일들에 높은 품질이 할당되고 추가 시점에 대한 텍스쳐 아틀라스 A1(820)내 타일들과 추가 시점에 대한 지오메트리 아틀라스 A1(840)내 타일들에 낮은 품질이 할당될 수 있다. 이에 따라, 효율적인 품질 할당이 수행될 수 있다.
결정된 병합 모드에 따라 기본 시점에 대한 텍스쳐 아틀라스 A0(810), 추가 시점에 대한 텍스쳐 아틀라스 A1(820), 기본 시점에 대한 지오메트리 아틀라스 A0(830) 및 추가 시점에 대한 지오메트리 아틀라스 A1(840)가 서브 픽처 단위로 병합되어 병합된 프레임(850)이 생성될 수 있다. 상기 병합된 프레임(850)의 크기는 5120x4352 픽셀단위에 해당될 수 있다. 다만, 병합된 프레임(850)의 크기는 상기 실시예에 한정되지 않는다. 병합된 프레임에는 9개의 서브 픽처가 존재할 수 있고 빈 공간이 존재하지 않을 수 있다. 병합된 프레임(850)내 기본 시점에 대한 지오메트리 아틀라스 A0(830)내 서브 픽처 S3과 서브 픽처 S4의 경계는 서브 픽처내 슬라이스 경계에 해당될 수 있다. 또한, 병합된 프레임(850)내에서 기본 시점에 대한 지오메트리 아틀라스 A0(830)내 서브 픽처 S3과 서브 픽처 S4는 하나의 서브 픽처에 해당될 수 있다. 병합된 프레임(850)내 추가 시점에 대한 지오메트리 아틀라스 A1(840)내 서브 픽처 S3과 서브 픽처 S4의 경계는 서브 픽처내 슬라이스 경계에 해당될 수 있다. 또한, 병합된 프레임(850)내에서 추가 시점에 대한 지오메트리 아틀라스 A1(840)내 서브 픽처 S3과 서브 픽처 S4는 하나의 서브 픽처에 해당될 수 있다. 병합된 프레임(850)내 기본 시점에 대한 지오메트리 아틀라스 A0(830)내 서브 픽처 S5와 추가 시점에 대한 지오메트리 아틀라스 A1(840)내 서브 픽처 S5의 경계는 서브 픽처내 슬라이스 경계에 해당될 수 있다. 또한, 병합된 프레임(850)내에서 기본 시점에 대한 지오메트리 아틀라스 A0(830)내 서브 픽처 S5와 추가 시점에 대한 지오메트리 아틀라스 A1(840)내 서브 픽처 S5는 하나의 서브 픽처에 해당될 수 있다.
다른 실시예에 따르면, 결정된 병합 모드에 따라 기본 시점에 대한 텍스쳐 아틀라스 A0(810), 추가 시점에 대한 텍스쳐 아틀라스 A1(820), 기본 시점에 대한 지오메트리 아틀라스 A0(830) 및 추가 시점에 대한 지오메트리 아틀라스 A1(840)가 타일 단위로 병합되어 병합된 프레임(850)이 생성될 수 있다. 병합된 프레임(850)에는 9개의 타일이 존재할 수 있고 빈 공간이 존재하지 않을 수 있다.
도 9는 본 개시의 또 다른 일 실시예에 따른, 비균일하게 서브 픽처 단위로 아틀라스를 분할 및 병합하여 프레임을 패킹하는 일 예를 나타낸 도면이다. 도 9를 참조하면, MIV 인코더를 통해 기본 시점에 대한 텍스쳐 아틀라스 A0(910), 추가 시점에 대한 텍스쳐 아틀라스 A1(920), 기본 시점에 대한 지오메트리 아틀라스 A0(930) 및 추가 시점에 대한 지오메트리 아틀라스 A1(940)이 전달될 수 있다. 기본 시점에 대한 텍스쳐 아틀라스 A0(910) 및 추가 시점에 대한 텍스쳐 아틀라스 A1(920)의 크기는 2048x4352 픽셀단위에 해당될 수 있다. 그리고, 기본 시점에 대한 지오메트리 아틀라스 A0(930) 및 추가 시점에 대한 지오메트리 아틀라스 A1(940)의 크기는 1024x2176 픽셀단위에 해당될 수 있다. 다만 아틀라스들의 크기는 상기 실시예에 한정되지 않는다. 기본 시점에 대한 텍스쳐 아틀라스 A0(910)는 서브 픽처 단위로 S0, S1으로 분할되고 추출될 수 있다. 추가 시점에 대한 텍스쳐 아틀라스 A1(920)도 서브 픽처 단위로 S0, S1으로 분할되고 추출될 수 있다. 여기서, 기본 시점에 대한 텍스쳐 아틀라스 A0(910)와 추가 시점에 대한 텍스쳐 아틀라스 A1(920)는 균일하게 분할될 수 있고 기본 시점에 대한 텍스쳐 아틀라스 A0(910)와 추가 시점에 대한 텍스쳐 아틀라스 A1(920)내 서브 픽처 S0, S1의 크기는 동일할 수 있다. 기본 시점에 대한 지오메트리 아틀라스 A0(930)는 서브 픽처 단위로 S2로 분할되고 추출될 수 있다. 추가 시점에 대한 지오메트리 아틀라스 A1(940)도 서브 픽처 단위로 S2로 분할되고 추출될 수 있다. 그리고, 빈 공간이 발생되지 않도록 서브 픽처 단위로 병합 방법이 결정될 수 있다. 아틀라스의 가로 및 세로 크기와 해상도를 고려하여 병합 방법이 결정될 수 있다. 상기 병합 방법에는 수직 병합 모드와 수평 병합 모드가 존재할 수 있다. 다만 상기 수직/수평 병합 모드 이외에 다양한 병합 모드가 존재할 수 있다. 각 아틀라스 내 서브 픽처가 CTU 크기의 배수가 아닌 경우, 아틀라스 내부에 픽셀 패딩이 생성될 수 있다.
그리고, 기본 시점에 대한 텍스쳐 아틀라스 A0(910)내 서브 픽처 S0, S1과 기본 시점에 대한 지오메트리 아틀라스 A0(930)내 서브 픽처 S2에 높은 품질이 할당되고 추가 시점에 대한 텍스쳐 아틀라스 A1(920)의 서브 픽처 S0, S1과 추가 시점에 대한 지오메트리 아틀라스 A1(940)의 서브 픽처 S2에 낮은 품질이 할당될 수 있다. 이에 따라, 효율적인 품질 할당이 수행될 수 있다.
다른 실시예에 따르면, 기본 시점에 대한 텍스쳐 아틀라스 A0(910), 추가 시점에 대한 텍스쳐 아틀라스 A1(920), 기본 시점에 대한 지오메트리 아틀라스 A0(930) 및 추가 시점에 대한 지오메트리 아틀라스 A1(940)은 타일 단위로 분할되고 추출될 수 있다. 그리고, 타일 단위로 병합 방법이 결정될 수 있다. 그리고, 기본 시점에 대한 텍스쳐 아틀라스 A0(910)내 타일들과 기본 시점에 대한 지오메트리 아틀라스 A0(930)내 타일에 높은 품질이 할당되고 추가 시점에 대한 텍스쳐 아틀라스 A1(920)내 타일들과 추가 시점에 대한 지오메트리 아틀라스 A1(940)내 타일에 낮은 품질이 할당될 수 있다. 이에 따라, 효율적인 품질 할당이 수행될 수 있다.
결정된 병합 모드에 따라, 기본 시점에 대한 텍스쳐 아틀라스 A0(910), 추가 시점에 대한 텍스쳐 아틀라스 A1(920), 기본 시점에 대한 지오메트리 아틀라스 A0(930) 및 추가 시점에 대한 지오메트리 아틀라스 A1(940)가 병합되어 병합된 프레임(950)이 생성될 수 있다. 병합된 프레임(950)의 크기는 5120x4352 픽셀단위에 해당될 수 있다. 병합된 프레임의 크기는 상기 실시예에 한정되지 않는다. 병합된 프레임(950)은 6개의 서브 픽처로 구성될 수 있다.
다른 실시예에 따르면, 결정된 병합 모드에 따라 기본 시점에 대한 텍스쳐 아틀라스 A0(910), 추가 시점에 대한 텍스쳐 아틀라스 A1(920), 기본 시점에 대한 지오메트리 아틀라스 A0(930) 및 추가 시점에 대한 지오메트리 아틀라스 A1(940)가 타일 단위로 병합되어 병합된 프레임(950)이 생성될 수 있다. 병합된 프레임(950)에는 6개의 타일이 존재할 수 있고 빈 공간이 존재하지 않을 수 있다.
도 10은 본 개시의 또 다른 일 실시예에 따른, 비균일하게 서브 픽처 단위로 아틀라스를 분할 및 병합하여 프레임을 패킹하는 일 예를 나타낸 도면이다. 도 10을 참조하면, MIV 인코더를 통해 기본 시점에 대한 텍스쳐 아틀라스 A0(1010), 추가 시점에 대한 텍스쳐 아틀라스 A1(1020), 기본 시점에 대한 지오메트리 아틀라스 A0(1030) 및 추가 시점에 대한 지오메트리 아틀라스 A1(1040)이 전달될 수 있다. 기본 시점에 대한 텍스쳐 아틀라스 A0(1010) 및 추가 시점에 대한 텍스쳐 아틀라스 A1(1020)의 크기는 1920x4640 픽셀단위에 해당될 수 있다. 그리고, 기본 시점에 대한 지오메트리 아틀라스 A0(1030) 및 추가 시점에 대한 지오메트리 아틀라스 A1(1040)의 크기는 960x2320 픽셀단위에 해당될 수 있다. 다만 아틀라스들의 크기는 상기 실시예에 한정되지 않는다. 기본 시점에 대한 텍스쳐 아틀라스 A0(1010)와 추가 시점에 대한 텍스쳐 아틀라스 A1(1020)가 프레임 패킹될 수 있다. 그리고, 기본 시점에 대한 텍스쳐 아틀라스 A0(1050)는 서브 픽처 단위로 S0, S1, S2로 분할되고 추출될 수 있다. 추가 시점에 대한 텍스쳐 아틀라스 A1(1060)도 서브 픽처 단위로 S0, S1, S2로 분할되고 추출될 수 있다. 기본 시점에 대한 지오메트리 아틀라스 A0(1070)는 서브 픽처 단위로 S3, S4로 분할되고 추출될 수 있다. 추가 시점에 대한 지오메트리 아틀라스 A1(1080)도 서브 픽처 단위로 S3, S4로 분할되고 추출될 수 있다. 각 아틀라스 내 서브 픽처가 CTU 크기의 배수가 아닌 경우, 아틀라스 내부에 픽셀 패딩이 생성될 수 있다. 기본 시점에 대한 텍스쳐 아틀라스 A0(1050)와 추가 시점에 대한 텍스쳐 아틀라스 A1(1060)내 서브 픽처 S2에 픽셀 패딩이 생성될 수 있다. 이에 따라, 기본 시점에 대한 텍스쳐 아틀라스 A0(1050)와 추가 시점에 대한 텍스쳐 아틀라스 A1(1060)의 크기는 1920x4864 픽셀 단위에 해당될 수 있다. 기본 시점에 대한 지오메트리 아틀라스 A0(1070)와 추가 시점에 대한 지오메트리 아틀라스 A1(1080)내 서브 픽처 S4에 픽셀 패딩이 생성될 수 있다. 이에 따라, 기본 시점에 대한 지오메트리 아틀라스 A0(1070)와 추가 시점에 대한 지오메트리 아틀라스 A1(1080)의 크기는 960x2432 픽셀 단위에 해당될 수 있다.
그리고, 빈 공간이 발생되지 않도록 서브 픽처 단위로 병합 방법이 결정될 수 있다. 아틀라스의 가로 및 세로 크기와 해상도를 고려하여 병합 방법이 결정될 수 있다. 상기 병합 방법에는 수직 병합 모드와 수평 병합 모드가 존재할 수 있다. 다만 상기 수직/수평 병합 모드 이외에 다양한 병합 모드가 존재할 수 있다. 그리고, 기본 시점에 대한 텍스쳐 아틀라스 A0(1050)내 서브 픽처 S0, S1, S2와 기본 시점에 대한 지오메트리 아틀라스 A0(1070)내 서브 픽처 S3, S4에 높은 품질이 할당되고 추가 시점에 대한 텍스쳐 아틀라스 A1(1060)의 서브 픽처 S0, S1, S2와 추가 시점에 대한 지오메트리 아틀라스 A1(1080)의 서브 픽처 S3, S4에 낮은 품질이 할당될 수 있다. 이에 따라, 효율적인 품질 할당이 수행될 수 있다.
다른 실시예에 따르면, 기본 시점에 대한 텍스쳐 아틀라스 A0(1050), 추가 시점에 대한 텍스쳐 아틀라스 A1(1060), 기본 시점에 대한 지오메트리 아틀라스 A0(1070) 및 추가 시점에 대한 지오메트리 아틀라스 A1(1080)은 타일 단위로 분할되고 추출될 수 있다. 그리고, 타일 단위로 병합 방법이 결정될 수 있다. 그리고, 기본 시점에 대한 텍스쳐 아틀라스 A0(1050)내 타일들과 기본 시점에 대한 지오메트리 아틀라스 A0(1070)내 타일들에 높은 품질이 할당되고 추가 시점에 대한 텍스쳐 아틀라스 A1(1060)내 타일들과 추가 시점에 대한 지오메트리 아틀라스 A1(1080)내 타일들에 낮은 품질이 할당될 수 있다. 이에 따라, 효율적인 품질 할당이 수행될 수 있다.
결정된 병합 모드에 따라, 기본 시점에 대한 텍스쳐 아틀라스 A0(1050), 추가 시점에 대한 텍스쳐 아틀라스 A1(1060), 기본 시점에 대한 지오메트리 아틀라스 A0(1070) 및 추가 시점에 대한 지오메트리 아틀라스 A1(1080)이 병합되어 병합된 프레임(1090)이 생성될 수 있다. 병합된 프레임(1090)의 크기는 4800x4864 픽셀단위에 해당될 수 있다. 병합된 프레임의 크기는 상기 실시예에 한정되지 않는다. 병합된 프레임(1090)은 9개의 서브 픽처로 구성될 수 있다.
다른 실시예에 따르면, 결정된 병합 모드에 따라 기본 시점에 대한 텍스쳐 아틀라스 A0(1050), 추가 시점에 대한 텍스쳐 아틀라스 A1(1060), 기본 시점에 대한 지오메트리 아틀라스 A0(1070) 및 추가 시점에 대한 지오메트리 아틀라스 A1(1080)가 타일 단위로 병합되어 병합된 프레임(1090)이 생성될 수 있다. 병합된 프레임(1090)에는 9개의 타일 존재할 수 있고 빈 공간이 존재하지 않을 수 있다.
도 11은 본 개시의 일 실시예에 따른, 비균일하게 타일 또는 서브 픽처 단위로 아틀라스를 분할 및 병합하여 복호화 시간을 절감한 것을 나타낸 도면이다. 도 11을 참조하면, 도 11은 MIV 앵커들과 비교한 MIV 비균일 타일링 및 패킹, 품질 제어 방법의 실험적 결과를 나타낼 수 있다. MIV 앵커들과 비교할 때 MIV 비균일 타일링 및 패킹 방법은 BD-rate 절감을 보일 수 있다. 또한, MIV 앵커들과 비교할 때 MIV 비균일 타일링 및 패킹 방법은 복호화 시간 절감을 보일 수 있다. DATRA(Decoder-Adaptive Tiling and Rate Allocation)+AVLQ(Additional View Low Quality)는 본 개시의 기본 시점과 추가 시점에 비대칭 품질 할당을 적용한 결과를 나타낼 수 있다. DATRA+AVLQ는 본 개시의 비균일 타일링 및 패킹, 비대칭 품질 할당이 적용되지 않은 앵커, m54274, m56827 및 DATRA에 비해 복호화 시간이 절감된 것이 확인될 수 있다. 앵커는 4개의 디코더가 필요한 반면, 본 개시에 따른 방법은 단일 디코더만을 요구할 수 있다. 본 개시에 따른 방법은 타일 또는 서브 픽처를 병합하고 클라이언트의 능력에 따라 2, 3 또는 4개의 비트스트림을 생성할 수 있다.
도 12는 본 개시의 일 실시예에 따른, 비균일하게 타일 또는 서브 픽처 단위로 아틀라스를 분할 및 병합하여 대역폭을 절감한 것을 나타낸 도면이다. 도 12를 참조하면, 도 12는 MIV 앵커들과 비교한 MIV 비균일 타일링 및 패킹, 품질 제어 방법의 실험적 결과를 나타낼 수 있다. MIV 앵커들과 비교할 때 MIV 비균일 타일링 및 패킹 방법은 대역폭 절감을 보일 수 있다. DATRA+AVLQ는 본 개시의 비균일 타일링 및 패킹, 비대칭 품질 할당이 적용되지 않은 앵커, m54274, m56827 및 DATRA에 비해 대역폭이 절감된 것이 확인될 수 있다.
도 13은 본 개시의 일 실시예에 따른, 이머시브 영상의 부호화 과정의 일 예를 나타낸 도면이다. 도 13을 참조하면, 현재 영상의 기본 시점에 대한 제1 아틀라스 및 현재 영상의 추가 시점에 대한 제2 아틀라스가 수신될 수 있다(S1310). 그리고, 제1 아틀라스 및 제2 아틀라스가 소정의 영상 단위로 분할될 수 있다(S1320). 제1 아틀라스 및 제2 아틀라스는 소정의 영상 단위로 균일하게 분할될 수 있다. 또한, 제1 아틀라스 및 제2 아틀라스는 소정의 영상 단위로 비균일하게 분할될 수 있다. 소정의 영상 단위는 타일 단위 및 서브 픽처 단위 중 적어도 하나 이상을 포함할 수 있다. 제1 아틀라스에 소정의 영상 단위로 높은 품질이 할당될 수 있다. 제2 아틀라스에 소정의 영상 단위로 낮은 품질이 할당될 수 있다. 그리고, 제1 아틀라스 및 제2 아틀라스내 소정의 영상 단위로 분할된 영상이 추출될 수 있다(S1330). 제1 아틀라스 및 제2 아틀라스는 텍스쳐 아틀라스 및 지오메트리 아틀라스 중 적어도 하나 이상을 포함할 수 있다. 그리고, 분할된 영상에 기반하여, 병합모드가 결정될 수 있다(S1340). 병합모드에는 수직 병합 모드와 수평 병합 모드가 포함될 수 있다. 그리고, 결정된 병합 모드에 기반하여, 제1 아틀라스 및 제2 아틀라스가 소정의 영상 단위로 병합될 수 있다(S1350). 제1 아틀라스 및 제2 아틀라스가 병합되어 빈 공간이 존재하지 않는 프레임이 생성될 수 있다.
도 14는 본 개시의 일 실시예에 따른, 이머시브 영상의 복호화 과정의 일 예를 나타낸 도면이다. 도 14를 참조하면, 현재 영상의 기본 시점에 대한 제1 아틀라스 및 현재 영상의 추가 시점에 대한 제2 아틀라스가 병합된 영상이 수신될 수 있다(S1410). 제1 아틀라스 및 제2 아틀라스는 텍스쳐 아틀라스 및 지오메트리 아틀라스 중 적어도 하나 이상을 포함할 수 있다. 그리고, 제1 아틀라스 및 제2 아틀라스내 소정의 영상 단위로 분할된 영상이 추출될 수 있다(S1420). 소정의 영상 단위는 타일 단위 및 서브 픽처 단위 중 적어도 하나를 포함할 수 있다. 제1 아틀라스에 소정의 영상 단위로 높은 품질이 할당될 수 있다. 제2 아틀라스에 소정의 영상 단위로 낮은 품질이 할당될 수 있다. 그리고, 제1 아틀라스 및 제2 아틀라스가 소정의 영상 단위로 분할될 수 있다(S1430). 제1 아틀라스 및 제2 아틀라스는 소정의 영상 단위로 균일하게 분할될 수 있다. 또한, 제1 아틀라스 및 제2 아틀라스는 소정의 영상 단위로 비균일하게 분할될 수 있다. 그리고, 소정의 영상 단위로 분할된 영상이 복원될 수 있다(S1440).
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 개시는 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 개시의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 개시는 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
이상 설명된 본 개시에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 개시에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 개시가 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 개시의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 개시가 상기 실시예들에 한정되는 것은 아니며, 본 개시가 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 개시의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 개시의 사상의 범주에 속한다고 할 것이다.

Claims (17)

  1. 현재 영상의 기본 시점에 대한 제1 아틀라스 및 상기 현재 영상의 추가 시점에 대한 제2 아틀라스를 수신하는 단계;
    상기 제1 아틀라스 및 상기 제2 아틀라스를 소정의 영상 단위로 분할하는 단계;
    상기 제1 아틀라스 및 상기 제2 아틀라스내 상기 소정의 영상 단위로 분할된 영상을 추출하는 단계;
    상기 분할된 영상에 기반하여, 병합 모드를 결정하는 단계; 및
    상기 결정된 병합 모드에 기반하여, 상기 제1 아틀라스 및 상기 제2 아틀라스를 상기 소정의 영상 단위로 병합하는 단계를 포함하고,
    상기 제1 아틀라스 및 상기 제2 아틀라스를 소정의 영상 단위로 분할하는 단계는 상기 제1 아틀라스 및 상기 제2 아틀라스를 비균일하게 분할하는 것을 특징으로 하는, 영상 부호화 방법.
  2. 제1항에 있어서,
    상기 제1 아틀라스 및 상기 제2 아틀라스를 소정의 영상 단위로 분할하는 단계는 상기 제1 아틀라스 및 상기 제2 아틀라스를 균일하게 분할하는 것을 특징으로 하는, 영상 부호화 방법.
  3. 제1항에 있어서,
    상기 소정의 영상 단위는 타일 단위 및 서브 픽처 단위 중 적어도 하나에 해당하는 영상 부호화 방법.
  4. 제1항에 있어서,
    상기 제1 아틀라스는 텍스쳐 아틀라스 및 지오메트리 아틀라스 중 적어도 하나 이상을 포함하는, 영상 부호화 방법.
  5. 제1항에 있어서,
    상기 제2 아틀라스는 텍스쳐 아틀라스 및 지오메트리 아틀라스 중 적어도 하나 이상을 포함하는, 영상 부호화 방법.
  6. 제1항에 있어서,
    상기 제1 아틀라스에 상기 소정의 영상 단위로 높은 품질을 할당하는 단계를 포함하는 영상 부호화 방법.
  7. 제6항에 있어서,
    상기 제2 아틀라스에 상기 소정의 영상 단위로 낮은 품질을 할당하는 단계를 포함하는 영상 부호화 방법.
  8. 제1항에 있어서,
    상기 제1 아틀라스 및 상기 제2 아틀라스를 상기 소정의 영상 단위로 병합하는 단계는 병합된 영상내 빈 공간이 존재하지 않도록 상기 제1 아틀라스 및 상기 제2 아틀라스를 병합하는 것을 특징으로 하는, 영상 부호화 방법.
  9. 현재 영상의 기본 시점에 대한 제1 아틀라스 및 상기 현재 영상의 추가 시점에 대한 제2 아틀라스가 병합된 영상을 수신하는 단계;
    상기 제1 아틀라스 및 상기 제2 아틀라스내 소정의 영상 단위로 분할된 영상을 추출하는 단계;
    상기 제1 아틀라스 및 상기 제2 아틀라스를 상기 소정의 영상 단위로 분할하는 단계; 및
    상기 소정의 영상 단위로 분할된 영상을 복원하는 단계를 포함하고,
    상기 제1 아틀라스 및 상기 제2 아틀라스를 상기 소정의 영상 단위로 분할하는 단계는 상기 제1 아틀라스 및 상기 제2 아틀라스를 비균일하게 분할하는 것을 특징으로 하는, 영상 복호화 방법.
  10. 제9항에 있어서,
    상기 제1 아틀라스 및 상기 제2 아틀라스를 상기 소정의 영상 단위로 분할하는 단계는 상기 제1 아틀라스 및 상기 제2 아틀라스를 균일하게 분할하는 것을 특징으로 하는, 영상 복호화 방법.
  11. 제9항에 있어서,
    상기 소정의 영상 단위는 타일 단위 및 서브 픽처 단위 중 적어도 하나에 해당하는 영상 복호화 방법.
  12. 제9항에 있어서,
    상기 제1 아틀라스는 텍스쳐 아틀라스 및 지오메트리 아틀라스 중 적어도 하나 이상을 포함하는, 영상 복호화 방법.
  13. 제9항에 있어서,
    상기 제2 아틀라스는 텍스쳐 아틀라스 및 지오메트리 아틀라스 중 적어도 하나 이상을 포함하는, 영상 복호화 방법.
  14. 제9항에 있어서,
    상기 제1 아틀라스에 상기 소정의 영상 단위로 높은 품질을 할당하는 단계를 포함하는 영상 복호화 방법.
  15. 제14항에 있어서,
    상기 제2 아틀라스에 상기 소정의 영상 단위로 낮은 품질을 할당하는 단계를 포함하는 영상 복호화 방법.
  16. 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체로서, 상기 영상 부호화 방법은,
    현재 영상의 기본 시점에 대한 제1 아틀라스 및 상기 현재 영상의 추가 시점에 대한 제2 아틀라스를 수신하는 단계;
    상기 제1 아틀라스 및 상기 제2 아틀라스를 소정의 영상 단위로 분할하는 단계;
    상기 제1 아틀라스 및 상기 제2 아틀라스내 상기 소정의 영상 단위로 분할된 영상을 추출하는 단계;
    상기 분할된 영상에 기반하여, 병합 모드를 결정하는 단계; 및
    상기 결정된 병합 모드에 기반하여, 상기 제1 아틀라스 및 상기 제2 아틀라스를 상기 소정의 영상 단위로 병합하는 단계를 포함하고,
    상기 제1 아틀라스 및 상기 제2 아틀라스를 소정의 영상 단위로 분할하는 단계는 상기 제1 아틀라스 및 상기 제2 아틀라스를 비균일하게 분할하는 것을 특징으로 하는, 기록매체.
  17. 영상 부호화 방법에 의해 생성된 비트스트림을 전송하는 전송 방법으로서, 상기 영상 부호화 방법은,
    현재 영상의 기본 시점에 대한 제1 아틀라스 및 상기 현재 영상의 추가 시점에 대한 제2 아틀라스를 수신하는 단계;
    상기 제1 아틀라스 및 상기 제2 아틀라스를 소정의 영상 단위로 분할하는 단계;
    상기 제1 아틀라스 및 상기 제2 아틀라스내 상기 소정의 영상 단위로 분할된 영상을 추출하는 단계;
    상기 분할된 영상에 기반하여, 병합 모드를 결정하는 단계; 및
    상기 결정된 병합 모드에 기반하여, 상기 제1 아틀라스 및 상기 제2 아틀라스를 상기 소정의 영상 단위로 병합하는 단계를 포함하고,
    상기 제1 아틀라스 및 상기 제2 아틀라스를 소정의 영상 단위로 분할하는 단계는 상기 제1 아틀라스 및 상기 제2 아틀라스를 비균일하게 분할하는 것을 특징으로 하는, 전송 방법.
KR1020220014916A 2021-04-23 2022-02-04 이머시브 영상 부호화/복호화 방법 및 장치 KR20220146312A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/728,344 US20220343545A1 (en) 2021-04-23 2022-04-25 Method and apparatus for immersive video encoding and decoding

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210053225 2021-04-23
KR20210053225 2021-04-23

Publications (1)

Publication Number Publication Date
KR20220146312A true KR20220146312A (ko) 2022-11-01

Family

ID=84042164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220014916A KR20220146312A (ko) 2021-04-23 2022-02-04 이머시브 영상 부호화/복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20220146312A (ko)

Similar Documents

Publication Publication Date Title
US11778171B2 (en) Apparatus, a method and a computer program for video coding and decoding
KR101915037B1 (ko) 고해상도 영상 스트리밍을 위한 영상 비트스트림 생성방법 및 장치
US11394946B2 (en) Video transmitting method, video transmitting apparatus, video receiving method, and video receiving apparatus
KR102317938B1 (ko) 타일 기반 스트리밍을 위한 분할영상 분산 디코딩 방법 및 시스템
US11516453B2 (en) Information processing apparatus, information processing method, and program for point cloud sample processing
JP7376705B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置およびポイントクラウドデータ受信方法
US11509879B2 (en) Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video
US11677922B2 (en) Apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video
JP7118278B2 (ja) 符号化された点群データの分割
US20210329214A1 (en) An apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video
JP7434574B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
US11481961B2 (en) Information processing apparatus and information processing method
US20220217314A1 (en) Method for transmitting 360 video, method for receiving 360 video, 360 video transmitting device, and 360 video receiving device
CN112153391A (zh) 视频编码的方法、装置、电子设备及存储介质
KR20220146312A (ko) 이머시브 영상 부호화/복호화 방법 및 장치
US20220343545A1 (en) Method and apparatus for immersive video encoding and decoding
KR20220106099A (ko) 비디오 데이터가 부호화된 비트스트림을 처리하는 방법
US20200413094A1 (en) Method and apparatus for encoding/decoding image and recording medium for storing bitstream
JP2015073213A (ja) 画像復号装置、画像符号化装置、符号化データ変換装置、および、注目領域表示システム
KR20200143287A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
JP2022527882A (ja) ポイントクラウドの処理
US11463671B2 (en) Video transmitting method, video transmitting device, video receiving method and video receiving device
US20240137530A1 (en) Method for decoding immersive video and method for encoding immersive video
US20240236339A9 (en) Method for decoding immersive video and method for encoding immersive video
US11558597B2 (en) Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video