KR102468596B1 - 360 영상을 부호화 또는 복호화하기 위한 방법 및 장치 - Google Patents
360 영상을 부호화 또는 복호화하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR102468596B1 KR102468596B1 KR1020170113525A KR20170113525A KR102468596B1 KR 102468596 B1 KR102468596 B1 KR 102468596B1 KR 1020170113525 A KR1020170113525 A KR 1020170113525A KR 20170113525 A KR20170113525 A KR 20170113525A KR 102468596 B1 KR102468596 B1 KR 102468596B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- padding
- target
- padded
- reference picture
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 61
- 230000015556 catabolic process Effects 0.000 abstract description 3
- 238000006731 degradation reaction Methods 0.000 abstract description 3
- 230000000116 mitigating effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 16
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 10
- 238000013139 quantization Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 208000029152 Small face Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G06T3/12—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Abstract
본 발명은 360 영상을 효율적으로 부호화하고 불연속 현상(discontinuity artifact)에 의한 화질 열화를 완화하기 위한 영상 부호화 또는 복호화에 관한 것이다.
본 발명의 일 측면에 따르면, 비트스트림으로부터 360 영상의 투영포맷에 대한 신택스 요소(syntax element) 및 상기 투영포맷을 기초로 상기 360 영상이 투영된 2D 이미지의 패딩정보에 대한 신택스 요소를 복호화하고, 상기 비트스트림으로부터 상기 2D 이미지를 복호화하는 단계; 상기 2D 이미지의 패딩정보에 대한 신택스 요소가 상기 2D 이미지가 패딩되었음을 지시하면, 상기 투영포맷에 대한 신택스 요소 및 상기 2D 이미지의 패딩정보에 대한 신택스 요소 중 적어도 하나를 이용하여 상기 복호화된 상기 2D 이미지로부터 패딩영역을 제거하고, 패딩영역이 제거된 2D 이미지를 렌더러(renderer)로 출력하는 단계; 및 상기 2D 이미지의 패딩정보에 대한 신택스 요소가 상기 2D 이미지가 패딩되지 않았음을 지시하면, 복호화된 상기 2D 이미지를 그대로 상기 렌더러로 출력하는 단계를 포함하는, 360 영상의 복호화 방법을 제공한다.
본 발명의 일 측면에 따르면, 비트스트림으로부터 360 영상의 투영포맷에 대한 신택스 요소(syntax element) 및 상기 투영포맷을 기초로 상기 360 영상이 투영된 2D 이미지의 패딩정보에 대한 신택스 요소를 복호화하고, 상기 비트스트림으로부터 상기 2D 이미지를 복호화하는 단계; 상기 2D 이미지의 패딩정보에 대한 신택스 요소가 상기 2D 이미지가 패딩되었음을 지시하면, 상기 투영포맷에 대한 신택스 요소 및 상기 2D 이미지의 패딩정보에 대한 신택스 요소 중 적어도 하나를 이용하여 상기 복호화된 상기 2D 이미지로부터 패딩영역을 제거하고, 패딩영역이 제거된 2D 이미지를 렌더러(renderer)로 출력하는 단계; 및 상기 2D 이미지의 패딩정보에 대한 신택스 요소가 상기 2D 이미지가 패딩되지 않았음을 지시하면, 복호화된 상기 2D 이미지를 그대로 상기 렌더러로 출력하는 단계를 포함하는, 360 영상의 복호화 방법을 제공한다.
Description
본 발명은 360 영상을 효율적으로 부호화하고 화질 열화를 완화하기 위한 영상 부호화 또는 복호화에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래 기술을 구성하는 것은 아니다.
360도 영상(이하, '360 영상'으로 칭함)은 여러 대의 카메라 또는 전방향 카메라로 여러 방향에서 촬영한 영상으로, 여러 장면의 영상을 압축, 전송할 수 있도록 여러 방향의 영상을 하나의 2D 영상으로 스티칭(stitching)하며, 스티칭된 영상은 압축되어 복호화 장치로 전송된다. 복호화 장치는 압축된 영상을 복호화한 이후에 3D로 매핑하여 재생한다.
360 영상에 대한 투영포맷으로 대표적인 것은 EPR(Equirectangular Projection)이다. EPR 포맷은 3D 구(sphere) 모양의 360 영상의 위, 아래 부분의 픽셀을 늘려 심하게 왜곡시키는 단점이 있으며, 영상의 압축 시에도 늘어난 부분에 데이터량을 증가시키고 인코딩 처리량을 늘리는 단점이 있다. 이에 따라, EPR 포맷을 대체할 수 있는 다양한 투영포맷들이 제안되고 있다.
예를 들어, CMP(Cubemap Projection), OHP(Octahedron Projection), ISP(Icosahedron Projection), SSP(Segmented Sphere Projection), RSP(Rotated Sphere Projection), TSP(Truncated Square Pyramid Projection) 등이 있다. 또한, CMP를 보완한 투영포맷으로 ACP(Adjusted Cubemap Projection), EAC(Equiangular Cubemap) 등이 논의되고 있으며, ERP를 보완한 투영포맷으로 EAP(Equal Area Projection), AEP(Adjusted Equal Area Projection) 등이 논의되고 있다.
360 영상의 왜곡을 줄이고 압축 효율을 높일 수 있는 다양한 투영포맷들이 제안되고 있음에도 불구하고, 각 투영포맷에 따른 2D 투영 이미지의 레이아웃 상, 3D 공간에서는 서로 연속되지 않는 면(face)들이 인접하게 배치되는 부분이 존재할 수밖에 없다. 이러한 불연속성이 존재하는 영역(discontinuity edge)을 부호화 및 복호화한 후 렌더링(rendering)할 때, 해당 영역을 서로 연결하여 재생하면 불연속 현상(discontinuity artifact)이 발생하여 화질이 열화되는 문제가 발생한다.
본 발명은 불연속 현상(discontinuity artifact)을 완화하여 360 영상의 화질을 개선할 수 있는 360 영상의 부호화 및 복호화 기술을 제공한다.
본 발명의 일 측면에 따르면, 하나 이상의 투영포맷 중 어느 하나의 투영포맷을 기초로 360 영상을 투영하여 2D 이미지를 생성하는 단계; 기초가 된 상기 어느 하나의 투영포맷에 따른 상기 2D 이미지의 패딩(padding) 여부에 따라 패딩되거나 패딩되지 않은 상기 2D 이미지를 부호화하는 단계; 및 상기 2D 이미지의 패딩정보에 대한 신택스 요소(syntax element)를 부호화하는 단계를 포함하는, 360 영상의 부호화 방법을 제공한다.
본 발명의 다른 측면에 따르면, 비트스트림으로부터 360 영상의 투영포맷에 대한 신택스 요소(syntax element) 및 상기 투영포맷을 기초로 상기 360 영상이 투영된 2D 이미지의 패딩정보에 대한 신택스 요소를 복호화하고, 상기 비트스트림으로부터 상기 2D 이미지를 복호화하는 단계; 상기 2D 이미지의 패딩정보에 대한 신택스 요소가 상기 2D 이미지가 패딩되었음을 지시하면, 상기 투영포맷에 대한 신택스 요소 및 상기 2D 이미지의 패딩정보에 대한 신택스 요소 중 적어도 하나를 이용하여 상기 복호화된 상기 2D 이미지로부터 패딩영역을 제거하고, 패딩영역이 제거된 2D 이미지를 렌더러(renderer)로 출력하는 단계; 및 상기 2D 이미지의 패딩정보에 대한 신택스 요소가 상기 2D 이미지가 패딩되지 않았음을 지시하면, 복호화된 상기 2D 이미지를 그대로 상기 렌더러로 출력하는 단계를 포함하는, 360 영상의 복호화 방법을 제공한다.
본 발명의 또 다른 측면에 따르면, 비트스트림으로부터 360 영상의 투영포맷에 대한 신택스 요소(syntax element) 및 상기 투영포맷을 기초로 상기 360 영상이 투영된 2D 이미지의 패딩정보에 대한 신택스 요소를 복호화하고, 상기 비트스트림으로부터 상기 2D 이미지를 복호화하는 복호화부; 및 상기 2D 이미지의 패딩정보에 대한 신택스 요소가 상기 2D 이미지가 패딩되었음을 지시하면, 상기 투영포맷에 대한 신택스 요소 및 상기 2D 이미지의 패딩정보에 대한 신택스 요소를 이용하여 상기 복호화된 상기 2D 이미지로부터 패딩영역을 제거한 후, 패딩영역이 제거된 2D 이미지를 렌더러(renderer)로 출력하되, 상기 2D 이미지의 패딩정보에 대한 신택스 요소가 상기 2D 이미지가 패딩되지 않았음을 지시하면, 복호화된 상기 2D 이미지를 상기 렌더러로 출력하는 2D 이미지 출력부를 포함하는, 360 영상의 복호화 장치를 제공한다.
도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 블록도이다.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 블록도이다.
도 3은 본 발명의 일 실시예에 따른 360 영상을 부호화하기 위한 방법을 나타내는 순서도이다.
도 4는 ERP 패밀리 투영포맷에 대한 패딩 영역의 예시도이다.
도 5는 ERP 패밀리 투영포맷에 대한 패딩의 예시도이다.
도 6 CMP 패밀리 투영포맷에 대한 패딩 영역의 예시도이다.
도 7은 패딩에 이용되는 픽셀 값을 구하는 방식을 설명하기 위한 개념도이다.
도 8은 ECP 투영포맷에 대한 패딩 영역의 예시도이다.
도 9는 SSP 투영포맷에 대한 패딩 영역의 예시도이다.
도 10은 RSP 투영포맷에 대한 패딩 영역의 예시도이다.
도 11은 OHP 투영포맷에 대한 패딩 영역의 예시도이다.
도 12는 ERP 투영포맷에 따른 참조픽처 형태의 예시도이다.
도 13은 CMP 투영포맷에 따른 참조픽처 형태의 예시도이다.
도 14는 CMP 투영포맷에 따른 참조픽처 형태의 예시도이다.
도 15 본 발명의 일 실시예에 따른 360 영상을 복호화하기 위한 방법을 나타내는 순서도이다.
도 16은 본 발명의 일 실시예에 따른 360 영상의 부호화를 위한 장치의 개략적인 블록도이다.
도 17은 본 발명의 일 실시예에 따른 360 영상을 복호화하기 위한 장치의 개략적인 블록도이다.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 블록도이다.
도 3은 본 발명의 일 실시예에 따른 360 영상을 부호화하기 위한 방법을 나타내는 순서도이다.
도 4는 ERP 패밀리 투영포맷에 대한 패딩 영역의 예시도이다.
도 5는 ERP 패밀리 투영포맷에 대한 패딩의 예시도이다.
도 6 CMP 패밀리 투영포맷에 대한 패딩 영역의 예시도이다.
도 7은 패딩에 이용되는 픽셀 값을 구하는 방식을 설명하기 위한 개념도이다.
도 8은 ECP 투영포맷에 대한 패딩 영역의 예시도이다.
도 9는 SSP 투영포맷에 대한 패딩 영역의 예시도이다.
도 10은 RSP 투영포맷에 대한 패딩 영역의 예시도이다.
도 11은 OHP 투영포맷에 대한 패딩 영역의 예시도이다.
도 12는 ERP 투영포맷에 따른 참조픽처 형태의 예시도이다.
도 13은 CMP 투영포맷에 따른 참조픽처 형태의 예시도이다.
도 14는 CMP 투영포맷에 따른 참조픽처 형태의 예시도이다.
도 15 본 발명의 일 실시예에 따른 360 영상을 복호화하기 위한 방법을 나타내는 순서도이다.
도 16은 본 발명의 일 실시예에 따른 360 영상의 부호화를 위한 장치의 개략적인 블록도이다.
도 17은 본 발명의 일 실시예에 따른 360 영상을 복호화하기 위한 장치의 개략적인 블록도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명이 적용되는 부호화 장치(100)의 일 실시예에 따른 블록도이다.
부호화 장치(100)는 블록 분할부(110), 예측부(120), 감산기(130), 변환부(140), 양자화부(145), 부호화부(150), 역양자화부(160), 역변환부(165), 가산기(170), 필터부(180) 및 메모리(190)를 포함한다. 부호화 장치(100)의 각 구성요소는 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
블록 분할부(110)는 영상을 구성하는 각 픽처(picture)를 복수의 CTU(Coding Tree Unit)로 분할한 이후에, 트리 구조(tree structure)를 이용하여 CTU를 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU(Coding Unit)가 된다. 트리 구조로는 상위 노드가 네 개의 하위 노드로 분할하는 쿼드트리(QuadTree, QT), 또는 QT 구조 및 상위 노드가 두 개의 하위 노드로 분할하는 바이너리트리(BinaryTree, BT) 구조를 혼용한 QTBT (QuadTree plus BinaryTree) 구조가 사용될 수 있다.
예측부(120)는 현재블록을 예측하여 예측블록을 생성한다. 예측부(120)는 인트라 예측부(122)와 인터 예측부(124)를 포함한다. 여기서, 현재블록은 상기의 트리 구조에서 리프 노드에 해당하는 부호화의 기본 단위로서, 현재 부호화하고자 하는 CU를 의미한다. 대안적으로, 현재블록은 CU로부터 분할된 복수의 서브블록 중 하나의 서브블록일 수도 있다.
인트라 예측부(122)는 현재블록이 포함된 현재 픽처 내에서 현재블록의 주변에 위치한 픽셀(참조픽셀)들을 이용하여 현재블록 내의 픽셀들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재하며, 각 예측모드에 따라 사용할 참조픽셀과 연산식이 다르게 정의된다. 복수의 인트라 예측모드는 2개의 비방향성 모드(planar 모드 및 DC 모드)와 65개의 방향성 모드를 포함할 수 있다. 인트라 예측부(122)는 복수의 인트라 예측모드 중에서 하나의 인트라 예측모드를 선택하고, 선택된 인트라 예측모드에 따라 결정되는 주변픽셀(참조픽셀)과 연산식을 사용하여 현재블록을 예측한다. 선택된 인트라 예측 모드에 대한 정보는 부호화부(150)에 의해 부호화되어 복호화 장치로 전달된다.
인터 예측부(124)는 현재 픽처보다 먼저 부호화 및 복호화된 참조 픽처 내에서 현재블록과 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 현재블록에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 현재블록과 참조 픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(Motion Vector: MV)를 생성한다. 현재블록을 예측하기 위해 사용된 참조 픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 부호화부(150)에 의해 부호화되어 복호화 장치로 전달된다.
감산기(130)는 현재블록으로부터 인트라 예측부(122) 또는 인터 예측부(124)에 의해 생성된 예측블록을 감산하여 잔차 블록을 생성한다.
변환부(140)는 공간 영역의 픽셀 값들을 가지는 잔차 블록 내의 잔차 신호를 주파수 도메인의 변환 계수로 변환한다. 변환부(140)는 잔차 블록 내의 잔차 신호들을 현재블록의 크기를 변환 단위로 사용하여 변환할 수 있으며, 또는 잔차 블록을 더 작은 복수의 서브블록을 분할하고 서브블록 크기의 변환 단위로 잔차 신호들을 변환할 수도 있다. 잔차 블록을 더 작은 서브블록으로 분할하는 방법은 다양하게 존재할 수 있다. 예컨대, 기 정의된 동일한 크기의 서브블록으로 분할할 수도 있으며, 또는 잔차 블록을 루트 노드로 하는 QT(quadtree) 방식의 분할을 사용할 수도 있다.
양자화부(145)는 변환부(140)로부터 출력되는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 부호화부(150)로 출력한다.
부호화부(150)는 양자화된 변환 계수들을 CABAC 등의 부호화 방식을 사용하여 부호화하여 비트스트림을 생성한다. 또한, 부호화부(150)는 트리 구조의 최상위 레이어에 위치하는 CTU의 크기에 대한 정보 및 CTU로부터 트리 구조로 블록을 분할하기 위한 분할 정보를 부호화하여, 복호화 장치가 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다. 예컨대, QT 분할의 경우에는 상위 레이어의 블록이 하위 레이어의 네 개의 블록으로 분할되는지 여부를 지시하는 QT 분할 정보를 부호화한다. BT 분할의 경우에는 QT의 리프 노드에 해당하는 블록으로부터 시작하여 각 블록이 두 개의 블록으로 분할되는지 여부 및 분할되는 타입을 지시하는 BT 분할 정보를 부호화한다.
부호화부(150)는 현재블록이 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보를 부호화하고, 예측 타입에 따라 인트라 예측정보 또는 인터 예측정보를 부호화한다.
역양자화부(160)는 양자화부(145)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(165)는 역양자화부(160)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.
가산기(170)는 복원된 잔차블록과 예측부(120)에 의해 생성된 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 픽셀들은 다음 순서의 블록을 인트라 예측할 때 참조픽셀로서 사용된다.
필터부(180)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링하고 메모리(190)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조픽처로 사용된다. 메모리(190)는 참조픽처 버퍼로도 지칭될 수 있다.
이상에서 설명한 영상 부호화 기술은 360 영상을 2D로 투영한 이후에, 2D 이미지를 부호화할 때에도 적용된다.
도 2는 본 발명이 적용되는 복호화 장치(200)의 일 실시예에 따른 블록도이다.
복호화 장치(200)는 복호화부(210), 역양자화부(220), 역변환부(230), 예측부(240), 가산기(250), 필터부(260) 및 메모리(270)를 포함한다. 도 2에 도시된 구성요소들은 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
복호화부(210)는 부호화 장치(100)로부터 수신한 비트스트림을 복호화하여 블록분할과 관련된 정보를 추출하여 복호화하고자 하는 현재블록을 결정하고, 현재블록을 복원하기 위해 필요한 예측정보와 잔차신호에 대한 정보 등을 추출한다.
복호화부(210)는 SPS (Sequence Parameter Set) 또는 PPS (Picture Parameter Set)로부터 CTU size에 대한 정보를 추출하여 CTU의 크기를 결정하고, 픽처를 결정된 크기의 CTU로 분할한다. 그리고 CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할 정보를 추출함으로써 CTU를 트리 구조를 이용하여 분할한다. 예컨대, QTBT 구조를 사용하여 CTU를 분할하는 경우, 먼저 QT의 분할과 관련된 제1 플래그(QT_split_flag)를 추출하여 각 노드를 하위 레이어의 네 개의 노드로 분할한다. 그리고, QT의 리프 노드에 해당하는 노드에 대해서는 BT의 분할과 관련된 제2 플래그(BT_split_flag) 및 분할 타입 정보를 추출하여 해당 리프 노드를 BT 구조로 분할한다.
복호화부(210)는 트리 구조의 분할을 통해 복호화하고자 하는 현재블록을 결정하게 되면, 현재블록이 인트라 예측되었는지 아니면 인터 예측되었는지를 지시하는 예측 타입에 대한 정보를 추출한다. 예측 타입 정보가 인트라 예측을 지시하는 경우, 복호화부(210)는 현재블록의 인트라 예측정보(예: 인트라 예측 모드, 참조픽셀에 대한 정보 등)에 대한 신택스 요소(syntax element)를 추출한다. 예측 타입 정보가 인터 예측을 지시하는 경우, 복호화부(210)는 인터 예측정보(예: 인터 예측 모드 등)에 대한 신택스 요소를 추출한다.
한편, 복호화부(210)는 잔차신호에 대한 정보로서 현재블록의 양자화된 변환계수들에 대한 정보를 추출한다.
역양자화부(220)는 양자화된 변환계수들을 역양자화하고, 역변환부(230)는 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 현재블록에 대한 잔차블록을 생성한다.
예측부(320)는 인트라 예측부(242) 및 인터 예측부(244)를 포함한다. 인트라 예측부(242)는 현재블록의 예측 타입인 인트라 예측일 때 활성화되고, 인터 예측부(244)는 현재블록의 예측 타입인 인트라 예측일 때 활성화된다.
인트라 예측부(242)는 복호화부(210)로부터 추출된 인트라 예측 모드에 대한 신택스 요소로부터 복수의 인트라 예측 모드 중 현재블록의 인트라 예측 모드를 결정하고, 인트라 예측 모드에 따라 현재블록 주변의 참조픽셀들을 이용하여 현재블록을 예측한다. 또한, 인트라 예측부(242)는 복호화부(210)로부터 추출된 참조픽셀에 대한 신택스 요소로부터 인트라 예측에 이용할 참조픽셀의 값 등을 설정할 수 있다.
인터 예측부(244)는 복호화부(210)로부터 추출된 인터 예측 모드에 대한 신택스 요소를 이용하여 현재블록의 움직임정보를 결정하고, 결정된 움직임정보를 이용하여 현재블록을 예측한다.
가산기(250)는 역변환부(230)로부터 출력되는 잔차블록과 인터 예측부(244) 또는 인트라 예측부(242)로부터 출력되는 예측블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록 내의 픽셀들은 이후에 복호화할 블록을 인트라 예측할 때의 참조픽셀로서 활용된다.
필터부(260)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링하고 메모리(270)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 복호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조픽처로 사용된다. 메모리(270)는 참조픽처 버퍼로도 지칭될 수 있다.
이상에서 설명한 영상 복호화 기술은 360 영상으로부터 투영되어 부호화된 2D 이미지를 복호화할 때에도 적용된다.
360 영상에 사용되는 대표적인 투영포맷인 ERP를 포함한 다양한 투영포맷들의 2D 이미지 레이아웃 상, 3D 공간에서는 서로 연속되지 않는 면(face)들이 인접하게 배치되는 부분이 존재할 수밖에 없다. 반대로, 3D 공간에서는 서로 연속되는 면(face)들이 2D 이미지 레이아웃 상 인접하지 않게 배치되는 부분이 존재할 수밖에 없다. 이러한 불연속성이 존재하는 영역(discontinuity edge)을 부호화 및 복호화한 후 렌더링(rendering)할 때, 해당 영역을 서로 연결하여 재생하면 불연속 현상(discontinuity artifact)이 발생하여 화질이 열화되는 문제가 발생한다. 이에 따라, 본 발명에서는 다양한 투영포맷의 레이아웃에 따라 2D 이미지를 패딩(padding)하여 불연속성으로 인한 화질 열화를 개선할 수 있는 360 영상의 부호화 방법 및 장치를 제공하고자 한다. 또한, 본 발명은 패딩된 2D 이미지를 부호화 및 복호화한 후, 복원된 2D 이미지를 화면 간 예측 시에 참조픽처로 사용하여 압축 성능을 높이고자 한다.
도 3은 본 발명의 일 실시예에 따른 360 영상을 부호화하기 위한 방법을 나타내는 순서도이다. 도 3의 방법은 부호화 장치에 의해 수행될 수 있다.
도 3을 참조하면, 부호화 장치는 하나 이상의 투영포맷 중 어느 하나의 투영포맷을 기초로 360 영상을 투영하여 2D 이미지를 생성한다(S310). 투영포맷의 예시로, ERP(Equirectangular Projection), EAP(Equal Area Projection), AEP(Adjusted Equal Area Projection), CMP(Cubemap Projection), ACP(Adjusted Cubemap Projection), EAC(Equal Area Projection), ECP(Equatorial Cylindrical Projection), SSP(Segmented Sphere Projection), RSP(Rotated Sphere Projection), ISP(Icosahedron Projection), OHP(Octahedron Projection) 등이 포함될 수 있다. 이하, ERP, EAP 및 AEP는 ERP 패밀리, CMP, ACP 및 EAC는 CMP 패밀리라 지칭한다. 여기서, 360 영상을 투영하기 위한 투영포맷은 부호화 장치에 의해 복수개의 투영포맷들 중에서 선택될 수도 있고, 특정 투영포맷으로 미리 설정될 수도 있다.
부호화 장치는 기초가 된 어느 하나의 투영포맷에 따른 2D 이미지의 패딩 여부에 따라, 패딩되거나 패딩되지 않은 2D 이미지를 부호화한다(S320). 부호화 장치는 360 영상이 투영된 2D 이미지를 바로 부호화할 수도 있지만, 이와 달리 2D 이미지를 패딩한 후, 패딩된 2D 이미지를 부호화할 수도 있다. 2D 이미지를 패딩하는 방식은 투영포맷에 따라 달라질 수 있으며, 이에 대한 구체적인 예시들은 도 4 내지 도 11을 참조하여 후술한다.
부호화 장치는 2D 이미지의 패딩정보에 대한 신택스 요소를 부호화한다(S330). 여기서, 2D 이미지의 패딩정보는 2D 이미지가 패딩되었는지 여부를 나타내는 정보를 포함할 수 있고, 패딩영역의 너비를 나타내는 정보, 2D 이미지에 대한 패딩영역의 위치를 나타내는 정보 및 패딩영역의 구성형태를 나타내는 정보 중 적어도 하나를 더 포함할 수 있다.
본 발명의 일부 실시예들에 따른 2D 이미지의 패딩정보에 대한 신택스 요소들은 표 1 내지 표 3과 같다.
| 360_video( ) { | Descriptor |
| projection_format_ idx | |
| image_padding_pattern_flag | |
| } |
| 360_video( ) { | Descriptor |
| projection_format_ idx | |
| image_padding_pattern_flag | |
| If (image_padding_pattern_flag > 0) | |
| padded_width | |
| } |
| 360_video( ) { | Descriptor |
| projection_format_ idx | |
| image_padding_pattern_flag | |
| If (image_padding_pattern_flag > 0) | |
| padded_width | |
| If (projection_format_idx == ERP) | |
| padded_region | |
| If (projection_format_idx == CMP or ECP) | |
| padded_type_ idx | |
| } |
projection_format_ idx는 360 영상의 투영포맷에 대한 신택스 요소이다. 일례로, projection_format_ idx의 값은 표 4와 같이 구성될 수 있다. 표 4에 기재된 인덱스 값 및 투영포맷들은 예시에 불과하고, 기재되지 않은 투영포맷들이 더 추가되거나 일부 투영포맷들을 대체할 수도 있으며, 각 투영포맷에 대한 인덱스 값들도 달리 구성될 수 있다.
| Index | Projection format | Description |
| 0 | ERP | Equirectangular projection |
| 1 | CMP | Cubemap projection |
| 2 | ISP | Icosahedron projection |
| 3 | OHP | Octahedron projection |
| 4 | EAP | Equal-area projection |
| 5 | TSP | Truncated square pyramid projection |
| 6 | SSP | Segmented sphere projection |
image_padding_pattern_flag는 2D 이미지의 패딩 여부를 나타내는 정보에 대한 신택스 요소이다. 일례로, image_padding_pattern_flag의 값은 표 5와 같이 구성될 수 있다.
| Index | Description |
| 0 | not padded |
| 1 | padded |
표 5의 예시에 따르면, 부호화 장치는 2D 이미지를 패딩하지 않은 경우에는 image_padding_pattern_flag를 "0" 값으로 부호화하고, 2D 이미지를 패딩한 경우에는 image_padding_pattern_flag를 "1" 값으로 부호화한다.
padded_width는 패딩영역의 너비를 나타내는 정보에 대한 신택스 요소이다. 패딩영역의 너비는 픽셀의 개수로 나타낼 수 있다. 예를 들어, padded_width의 값이 "4"라면, 2D 이미지에서 패딩영역의 너비는 4 픽셀임을 의미한다.
padded_region은 2D 이미지에서 패딩영역의 위치를 나타내는 정보에 대한 신택스 요소이다. 예를 들어, 투영포맷이 ERP 패밀리인 경우, padded_region은 패딩되는 영역이 한쪽 영역(즉, 좌측 영역 또는 우측 영역)인지, 또는 양쪽 영역(즉, 좌측 영역 및 우측 영역)인지를 나타낼 수 있다(후술할 도 4 참고). 또한, padded_region은 좌우 영역 외에 상하 영역의 패딩도 나타낼 수 있다. 표 6은 padded_region의 값의 일례이다.
| Index | Description |
| 0 | one (right or left) side |
| 1 | both sides |
| 2 | one side + top/bottom |
| 3 | both sides + top/bottom |
padded_type_ idx는 패딩영역의 구성형태를 나타내는 정보에 대한 신택스 요소이다. 예를 들어, 투영포맷이 CMP 패밀리나 ECP인 경우, 여러 개의 면(face)을 하나의 그룹으로 묶어 패딩을 실시할 수 있는데, padded_type_ idx는 패딩을 위해 면(face)들을 그룹화하는 여러 구성 형태를 의미할 수 있다. 표 7은 padded_type_idx의 값의 일례이다.
| Index | Description |
| 0 | 1 piece |
| 1 | 2 pieces |
| 2 | n pieces |
표 7의 예시에 따르면, 투영포맷이 CMP이고 6개의 면(face) 각각에 대해 면(face) 바깥 영역을 패딩하는 경우, 본 신택스의 값은 "2"가 된다(후술할 도 6의 (a) 참고). 다른 예로, 투영포맷이 ECP이고 상측 그룹 및 하측 그룹으로 나누어서 패딩하는 경우, 본 신택스의 값은 "1"이 된다(후술할 도 6의 (c) 참고).
전술한 2D 이미지의 패딩정보에 대한 신택스 요소들은 복호화 장치로 전달되어, 복호화 장치로 하여금 신택스 요소들을 이용하여 2D 복원이미지로부터 패딩영역을 제거하고, 패딩영역이 제거된 2D 복원이미지를 렌더러(renderer)로 출력하게 할 수 있다. 2D 이미지의 패딩정보에 대한 신택스 요소들은 모두 비트스트림의 헤더에 포함될 수 있고, 비트스트림의 헤더는 SPS(Sequence Parameter Set), PPS(Picture Parameter Set), VPS(Video Parameter Set), SEI(Supplementary Enhancement Information) 등이 될 수 있다. 예를 들어, 360 영상의 투영포맷에 대한 신택스(projection_format_idx)는 SPS에 위치하고, 2D 이미지의 패딩 여부를 나타내는 정보, 패딩영역의 너비를 나타내는 정보, 패딩영역의 위치를 나타내는 정보, 및 패딩영역의 구성형태를 나타내는 정보 중 하나 이상의 신택스는 PPS에 위치할 수 있다. 한편, 신택스 요소들의 명칭은 예시일 뿐이고 이에 한정되지 않는다.
이하, 도 4 내지 도 11을 참조하여 투영포맷의 종류에 따라 2D 이미지를 패딩하는 방식의 일례들에 대해 설명한다.
1) ERP
패밀리
(ERP,
EAP
,
AEP
)
도 4는 ERP 패밀리 투영포맷에 대한 패딩영역의 예시도이다.
도 4를 참조하면, ERP 패밀리에 속하는 투영포맷들을 이용하는 경우, 부호화 장치는 2D 이미지 밖 좌우 영역 및/또는 상하 영역에 대해 패딩할 수 있다. 도 4의 (a) 및 (b)는 좌우 영역에 대한 패딩을, (c)는 상하 영역에 대한 패딩의 일례를 나타낸다. 좌우 영역에 대한 패딩의 경우, 도 4의 (a)와 같이 좌우 양측 모두에 대해 패딩할 수도 있고, (b)와 같이 우측(또는 좌측)에 대해서만 패딩할 수도 있다. 도 4의 (c)와 같은 상하 영역에 대한 패딩은 좌우 영역에 대한 패딩과 함께 이루어질 수 있다.
패딩 시 이용되는 픽셀 값은 2D 이미지(원본 이미지) 내의 인접 픽셀 값이 될 수 있다. 예를 들어, 2D 이미지 밖 우측 영역의 패딩의 경우, 2D 이미지 내 좌측 경계에 인접하는 원본 픽셀 값이 이용될 수 있다. 다른 예로, 2D 이미지 밖 좌측 영역의 패딩의 경우, 2D 이미지 내 우측 경계에 인접하는 원본 픽셀 값이 이용될 수 있다.
도 5는 ERP 패밀리 투영포맷에 대한 패딩의 예시도이다. 도 5는 2D 이미지 밖 좌우 영역 및 상하 영역 모두에 대하여 패딩을 실시한 일례를 나타낸다.
2D 이미지 밖 상단 영역의 패딩에 대해 설명하면, 부호화 장치는 2D 이미지 내 상단 영역을 좌우로 나누어 상단 좌측 영역의 픽셀 값은 2D 이미지 밖 상단 우측 영역의 패딩에 사용하고, 상단 우측 영역의 픽셀 값은 2D 이미지 밖 상단 좌측 영역의 패딩에 사용할 수 있다. 이와 동일한 방법으로 하단 영역에 대해서도 패딩할 수 있다.
2)
CMP
패밀리
(
CMP
,
ACP
, EAC)
도 6은 CMP 패밀리 투영포맷에 대한 패딩영역의 예시도이다.
도 6을 참조하면, CMP 패밀리에 속하는 투영포맷들을 이용하는 경우, 부호화 장치는 6개의 면(Left, Front, Right, Bottom, Back, Top)에 대해 패딩영역의 형태를 여러 가지로 구성할 수 있다. 도 6의 (a)는 6개의 면(face) 각각의 바깥 영역에 대한 패딩을, (b)는 6개의 면들을 하나의 그룹으로 묶고 그룹 바깥 영역에 대한 패딩을, (c)는 상단 3개의 면과 하단 3개의 면을 각각 하나의 그룹으로 묶고 상단 그룹 및 하단 그룹 각각에 대해 그룹 바깥 영역에 대한 패딩을 실시한 경우를 도시한다. 도 6의 (c)에서 한 그룹에 속하는 3개의 면들은 3D 공간 상에서 서로 인접해있다.
도 7은 패딩에 이용되는 픽셀 값을 구하는 방식을 설명하기 위한 개념도이다.
패딩 시 이용되는 픽셀 값(즉, 패딩 값)을 구하는 방법으로 기하학 기반 패딩(geometry-based padding) 방식과 면 기반 패딩(face-based padding) 방식이 있다. 도 7의 (a)는 기하학 기반 패딩을 설명하기 위한 개념도이고 (b)는 면 기반 패딩을 설명하기 위한 개념도이다.
도 7의 (a)를 참조하면, 기하학 기반 패딩은 큐브(cube)의 중심점 c 및 3D 공간 상 인접한 면(face) 정보를 이용하여 패딩 값을 구하게 된다. 구체적으로, 큐브의 중심점 c와 패딩하고자 하는 픽셀을 잇는 직선을 구하고 직선과 접하는 페이스 상의 픽셀 값을 패딩 값으로 사용한다. 예를 들어, bottom(5번) 면의 바깥 영역이되 동일평면 상에 존재하는 특정점 p를 패딩하는 방법에 대해 설명하면, 큐브의 중심점 c와 p를 잇는 직선을 구한 후, bottom(5번) 면과 인접한 right(3번) 면의 정보를 이용하여 해당 직선과 만나는 right(3번) 면 상의 접점 q의 값으로 p점을 패딩한다. 부호화 장치는 이러한 과정을 bottom(5번) 면의 바깥 영역에 속하는 모든 픽셀 위치에 대해 수행하여 bottom(5번) 면에 대한 패딩 처리를 할 수 있다.
도 7의 (b)를 참조하면, 면 기반 패딩은 3D 공간 상에서 인접한 면의 정보를 이용하여 패딩 값을 구하게 된다. 예를 들어, front 면 영역 밖을 패딩하는 방법에 대해 설명하면, 3D 공간 상에서 front 면과 인접하는 top, bottom, left, right 면들을 이용하여 front 면의 영역 밖 패딩 값을 구할 수 있다. 이때, 패딩 값으로 인접 면의 픽셀 값이 그대로 이용될 수 있다.
3) ECP
도 8은 ECP 투영포맷에 대한 패딩영역의 예시도이다.
ECP 투영포맷은 1개의 큰 면과 3개의 작은 면들로 구성된 컴팩트 레이아웃을 갖는다. 부호화 장치는 도 8의 (a)와 같이 4개의 면들을 하나의 그룹으로 묶어 해당 그룹 밖의 영역을 패딩영역으로 구성할 수도 있고, 도 8의 (b)와 같이 레이아웃 하단의 3개의 면들을 하나의 그룹으로 묶어 1개의 큰 면과 하단 그룹 각각에 대해 그룹(또는 면)의 바깥 영역을 패딩영역으로 구성할 수도 있다. 여기서, 하단 그룹에 속하는 3개의 면들은 3D 공간 상에서 서로 인접해있다. 패딩 시 이용되는 픽셀 값(즉, 패딩 값)은 전술한 기하학 기반 패딩 또는 면 기반 패딩 중 어느 하나의 방법을 이용하여 구할 수 있다.
4) SSP
도 9는 SSP 투영포맷에 대한 패딩영역의 예시도이다.
SSP 투영포맷은 1개의 직사각형 형태의 면과 2개의 원 형태의 면들로 구성된 레이아웃을 갖는다. 부호화 장치는 도 9와 같이 1개의 직사각형의 바깥 영역과 2개의 원들 각각의 바깥 영역에 대해 패딩할 수 있다. 이 때, 직사각형의 바깥 영역에 대한 패딩 시 이용되는 픽셀 값으로 직사각형 내 경계에 인접한 픽셀 값이 그대로 사용될 수 있고, 각 원의 바깥 영역에 대한 패딩 시 이용되는 픽셀 값으로는 각 원 내 경계에 인접한 픽셀 값이 그대로 사용될 수 있다.
5) RSP
도 10은 RSP 투영포맷에 대한 패딩영역의 예시도이다.
RSP 투영포맷은 2개의 라운드형 직사각형 형태의 면들로 구성된 레이아웃을 갖는다. 부호화 장치는 도 10과 같이 면 내의 경계에 인접한 픽셀 값을 이용하여 면 바깥 영역에 대한 패딩을 수행할 수 있다. 예를 들어, 부호화 장치는 면 바깥 영역 중 좌측상단 영역은 상단 면의 좌측 경계에 인접한 픽셀 값을 이용하여 패딩하고, 우측상단 영역은 상단 면의 우측 경계에 인접한 픽셀 값을 이용하여 패딩하며, 좌측하단 영역은 하단 면의 좌측 경계에 인접한 픽셀 값을 이용하여 패딩하고, 우측하단 영역은 하단 면의 우측 경계에 인접한 픽셀 값을 이용하여 패딩할 수 있다.
6) OHP, ISP
OHP는 8개의 삼각형 형태의 면들로 구성된 레이아웃을 갖고, ISP는 20개의 삼각형 형태의 면들로 구성된 레이아웃을 가지며, 각 투영포맷에 대한 다양한 컴팩트 레이아웃이 존재한다. 부호화 장치는 두 투영포맷들에 따라 2D 이미지에 다수 개의 면들을 배치하면서 발생하는 불연속성 영역(discontinuity edge)에 대해 패딩을 실시한다.
일 실시예에 따르면, 부호화 장치는 불연속성 영역에 n개의 픽셀 너비의 공간을 만들고, 이에 인접하는 양쪽 면들 내의 경계 픽셀들의 보간(interpolation) 값들로 해당 공간을 채울 수 있다. 다른 실시예에 따르면, 부호화 장치는 불연속성 영역에 인접한 양쪽 면들 내의 경계 픽셀들의 보간 값들로 불연속성 영역에 위치한 픽셀들의 값을 수정할 수도 있다.
도 11은 OHP 투영포맷에 대한 패딩영역의 예시도이다. 도 11은 OHP 투영포맷의 컴팩트 레이아웃의 일례를 도시한다.
도 11을 참조하면, 4번 및 8번 면과 나머지 면들(1번, 5번, 3번, 및 7번 면) 간의 이격(discontinuity)이 존재한다. 부호화 장치는 8번 면의 경계 픽셀 값들과 5번 면의 경계 픽셀 값들의 보간 값들을 이용하여 8번 면과 5번 면 사이의 불연속성 영역에 대해 패딩을 실시할 수 있고, 나머지 1번 면과 4번 면 사이, 7번 면과 8번 면 사이, 및 3번 면과 4번 면 사이의 불연속성 영역들에 대해서도 마찬가지로 패딩을 실시할 수 있다.
본 실시예는 OHP 및 ISP를 예로 들어 설명하였으나, 그 밖의 다양한 다면체를 이용한 투영포맷에도 본 실시예의 패딩방식이 유사하게 적용될 수 있다.
이하, 도 12 및 도 14를 참조하여 부호화/복호화 후 복원된 2D 이미지를 화면 간 예측 시에 참조픽처로 사용함에 있어, 2D 이미지의 패딩 여부에 따라 참조픽처의 형태를 달리 설정함으로써 압축 성능을 높일 수 있는 방법에 대하여 설명한다. 본 방법은 부호화 장치 및 복호화 장치 모두에 의해 수행될 수 있다.
본 발명의 일 실시예에 따른 참조픽처의 형태는 표 8과 같이 설정될 수 있다.
| case | 2D 이미지의 패딩 | 참조픽처의 패딩 |
| 1 | O | X |
| 2 | O (복사 방식) | |
| 3 | X | O (복사 방식) |
| 4 | O (연장 방식) |
표 8에서 복사(copy) 방식이란 복원된 2D 이미지의 경계에 인접한 픽셀값들을 이용하여 단순하게 값을 복사 방식으로 패딩하는 것을 의미하고, 연장(extension) 방식이란 도 4 내지 도 11을 참조하여 설명한 원본 2D 이미지의 패딩 방식과 같은 방식으로 패딩하는 것을 의미한다. 즉, 360 상의 인접 관계를 이용하여 2D 이미지를 확장하는 방식으로 패딩 하는 것을 의미한다.
복원된 2D 이미지가 패딩된 이미지인 경우, 참조픽처는 두 가지 형태가 가능하다. 일 실시예에 따르면, 부호화/복호화 장치는 복원된 2D 이미지를 패딩 수행 없이 그대로 참조픽처로 사용한다. 즉, 부호화/복호화 장치는 복원된 2D 이미지가 패딩된 이미지인 경우, 2D 이미지를 참조픽처로서 참조픽처 버퍼에 저장한다. 예컨대, 투영포맷이 CMP이고 2D 이미지 내 6개의 면들 각각이 모두 패딩되었다면(도 6의 (a) 참조), 복원 이미지의 바깥 영역에 대한 패딩없이 복원 이미지 그대로가 참조픽처로 사용된다.
다른 실시예에 따르면, 부호화/복호화 장치는 복원된 2D 이미지가 패딩된 이미지인 경우, 복원된 2D 이미지를 복사 방식으로 추가적으로 패딩하여 참조픽처로 사용한다. 즉, 부호화/복호화 장치는 패딩된 2D 복원 이미지의 경계에 인접한 픽셀값들을 이용하여 2D 복원 이미지를 추가적으로 패딩하여, 이를 참조픽처로서 참조픽처 버퍼에 저장한다.
도 12는 ERP 투영포맷에 따른 참조픽처 형태의 예시도이다.
복원된 2D 이미지가 ERP 투영포맷에 따른 투영 이미지(1210)를 패딩한 이미지(1220)인 경우, 부호화/복호화 장치는 복원된 2D 이미지(1220)의 경계에 인접한 픽셀 값들(즉, 복원된 경계 픽셀 값들)을 이용하여 복원된 2D 이미지(1220)의 바깥 영역을 패딩하고, 패딩된 2D 복원 이미지(1230)를 화면 간 예측 시 사용될 참조픽처로서 저장할 수 있다. 도 12는 복사 방식으로 패딩된 참조픽처를 예시한다.
한편, 복원된 2D 이미지가 패딩되지 않은 이미지인 경우, 참조픽처는 두 가지 형태가 가능하다. 일 실시예에 따르면, 부호화/복호화 장치는 복원된 2D 이미지의 바깥 영역을 복사 방식으로 패딩하여 참조픽처로 사용한다. 즉, 부호화/복호화 장치는 복원된 2D 이미지가 패딩되지 않은 경우, 2D 이미지의 경계에 인접한 픽셀값들을 이용하여 2D 이미지를 패딩하고, 패딩된 2D 이미지를 참조픽처로서 참조픽처 버퍼에 저장한다.
도 13은 본 발명의 일 실시예에 따른 CMP 투영포맷에 따른 참조픽처 형태의 예시도로, 복사 방식에 따른 패딩을 예시한다.
복원된 2D 이미지가 CMP 투영포맷에 따른 패딩되지 않은 이미지인 경우, 부호화/복호화 장치는 복원된 2D 이미지의 각 면의 경계에 인접한 픽셀 값들(즉, 복원된 경계 픽셀 값들)을 이용하여 이미지 바깥의 영역을 패딩하고, 패딩된 2D 이미지를 참조픽처로 저장할 수 있다.
다른 실시예에 따르면, 부호화/복호화 장치는 복원된 2D 이미지가 패딩되지 않은 이미지인 경우, 복원된 2D 이미지의 투영포맷에 따른 방식으로 복원된 2D 이미지를 패딩한다. 즉, 부호화/복호화 장치는 복원된 2D 이미지의 투영포맷에 따라 2D 이미지를 패딩하여, 이를 참조픽처로서 참조픽처 버퍼에 저장한다.
도 14는 본 발명의 일 실시예에 따른 CMP 투영포맷에 따른 참조픽처 형태의 예시도로, 연장 방식에 따른 패딩을 예시한다.
복원된 2D 이미지가 CMP 투영포맷에 따른 패딩되지 않은 이미지인 경우, 부호화/복호화 장치는 기하학 기반 패딩방식 또는 면 기반 패딩방식에 따라 복원 이미지의 바깥 영역을 패딩할 수 있다. 다만, 이때 사용되는 패딩 값은 원본 픽셀 값이 아닌 복원된 2D 이미지 내 복원 픽셀 값을 사용하게 된다.
전술한 참조픽처의 패딩형태(즉, 노패딩, 복사 또는 연장)에 대한 정보는 부호화 장치 및 복호화 장치에서 서로 동일한 패딩형태로 참조픽처를 구성하도록 설정된 경우에 부호화 장치에서 복호화 장치로 전송될 필요가 없다. 그러나, 이러한 설정을 하지 않는 경우에, 부호화 장치는 사용한 참조픽처 패딩형태에 대한 정보를 복호화 장치로 전송하고, 복호화 장치는 수신한 참조픽처 패딩형태에 대한 정보를 비트스트림으로부터 복호화하여 복호화된 정보에 상응하는 형태로 참조픽처를 패딩할 수 있다. 표 9는 참조픽처 패딩형태에 대한 정보를 나타내는 신택스 요소의 일례이다.
| Index | Description |
| 0 | not padded |
| 1 | Padded (copy) |
| 2 | Padded (extension) |
참조픽처 패딩형태에 대한 정보를 나타내는 신택스 요소는 비트스트림의 헤더에 포함될 수 있고, 비트스트림의 헤더는 SPS(Sequence Parameter Set), PPS(Picture Parameter Set), VPS(Video Parameter Set), SEI(Supplementary Enhancement Information) 등이 될 수 있다. 한편, 신택스 요소들의 명칭은 예시일 뿐이고 이에 한정되지 않는다.
도 15는 본 발명의 일 실시예에 따른 360 영상을 복호화하기 위한 방법을 나타내는 순서도이다. 도 15의 방법은 복호화 장치에 의해 수행될 수 있다.
도 15를 참조하면, 복호화 장치는 비트스트림으로부터 360 영상의 투영포맷에 대한 신택스 요소 및 해당 투영포맷을 기초로 360 영상이 투영된 2D 이미지의 패딩정보에 대한 신택스 요소를 복호화하고, 또한 비트스트림으로부터 2D 이미지를 복호화한다(S1510). 2D 이미지의 패딩정보는 2D 이미지가 패딩되었는지 여부를 나타내는 정보를 포함할 수 있고, 패딩영역의 너비를 나타내는 정보, 2D 이미지에 대한 패딩영역의 위치를 나타내는 정보 및 패딩영역의 구성형태를 나타내는 정보 중 적어도 하나를 더 포함할 수 있다. 360 영상의 투영포맷에 대한 신택스 요소, 2D 이미지가 패딩되었는지 여부를 나타내는 정보에 대한 신택스 요소, 2D 이미지에 대한 패딩영역의 위치를 나타내는 정보에 대한 신택스 요소, 패딩영역의 너비를 나타내는 정보에 대한 신택스 요소 및 패딩영역의 구성형태를 나타내는 정보에 대한 신택스 요소의 일례들은 전술한 바와 같다.
복호화 장치는 복호화된 2D 이미지의 패딩정보에 대한 신택스 요소가 2D 이미지가 패딩되었음을 지시하는지 확인한다(S1520). 2D 이미지의 패딩정보에 대한 신택스 요소가 2D 이미지가 패딩되었음을 지시하지 않으면, 복호화 장치는 복호화된 2D 이미지를 그대로 렌더러로 출력한다(S1540). 반대로, 2D 이미지의 패딩정보에 대한 신택스 요소가 2D 이미지가 패딩되었음을 지시하면, 복호화 장치는 투영포맷에 대한 신택스 요소 및 2D 이미지의 패딩정보에 대한 신택스 요소 중 적어도 하나를 이용하여 복호화된 2D 이미지로부터 패딩영역을 제거하고, 패딩영역이 제거된 2D 이미지를 렌더러로 출력한다(S1570). 즉, 복호화 장치는 투영포맷에 대한 신택스 요소 및 2D 이미지의 패딩정보에 대한 신택스 요소 중 적어도 하나로부터 2D 이미지의 패딩영역을 특정하고, 특정된 패딩영역을 복호화된 2D 이미지로부터 제거한다.
또한, 복호화 장치는 복호화된 2D 이미지를 화면 간 예측 시에 참조픽처로 사용할 수 있는데, 이때 참조픽처의 형태는 2D 이미지의 패딩정보에 따라 달리 설정될 수 있다(전술한 표 8 참조). 2D 이미지의 패딩정보에 대한 신택스 요소가 2D 이미지가 패딩되지 않았음을 지시하면, 복호화 장치는 2D 이미지를 패딩한 후, 패딩된 2D 이미지를 참조픽처로서 참조픽처 버퍼에 저장할 수 있다(S1530). 이 경우, 복호화 장치는 2가지 방식(복사 방식 또는 연장 방식)으로 복호화된 2D 이미지를 패딩할 수 있다. 복사 방식에 따르면, 복호화 장치는 복호화된 2D 이미지의 경계에 인접한 픽셀값들을 이용하여 복호화된 2D 이미지를 패딩한다(도 13 참고). 연장 방식에 따르면, 복호화 장치는 360 영상의 투영포맷에 대한 신택스가 지시하는 투영포맷에 따라 복호화된 2D 이미지를 패딩한다(도 14 참고).
반대로, 2D 이미지의 패딩정보에 대한 신택스 요소가 2D 이미지가 패딩되었음을 지시하면, 복호화 장치는 복호화된 2D 이미지를 패딩하지 않고 참조픽처로서 그대로 참조픽처 버퍼에 저장할 수 있다(S1550). 다른 예로, 복호화 장치는 복호화된 2D 이미지의 경계에 인접한 픽셀 값들을 이용하여 복호화된 2D 이미지를 추가적으로 패딩하여(즉, 복사 방식 패딩), 추가적으로 패딩된 2D 이미지를 참조픽처로서 참조픽처 버퍼에 저장할 수도 있다(S1560).
도 16은 본 발명의 일 실시예에 따른 360 영상의 부호화를 위한 장치(1600)의 개략적인 블록도이다. 본 장치(1600)는 도 1의 부호화 장치에 적용될 수 있다.
360 영상의 부호화를 위한 장치(1600)는 2D 이미지 생성부(1610), 2D 이미지 패딩부(1620), 신택스 생성부(1630) 및 부호화부(1640)를 포함한다. 또한, 본 장치(1600)는 참조픽처 생성부(1650) 및 참조픽처 버퍼(1660)를 더 포함할 수 있다. 도 16에 도시된 구성요소들은 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
2D 이미지 생성부(1610)는 하나 이상의 투영포맷 중 어느 하나의 투영포맷을 기초로 360 영상을 투영하여 2D 이미지를 생성한다. 투영포맷의 예시로, ERP, EAP, AEP, CMP, ACP, EAC, ECP, SSP, RSP, ISP, OHP 등이 포함될 수 있다. 여기서, 360 영상을 투영하기 위한 투영포맷은 부호화 장치에 의해 복수개의 투영포맷들 중에서 선택될 수도 있고, 특정 투영포맷으로 미리 설정될 수도 있다.
2D 이미지 패딩부(1620)는 360 영상이 투영된 2D 이미지의 바깥 영역 또는 불연속성 영역(discontinuity edge)을 패딩한다. 2D 이미지 패딩부(1620)는 적용된 투영포맷의 종류에 따라 방식을 달리하여 2D 이미지를 패딩한다. 여러 가지 패딩방식에 대한 설명은 도 4 내지 도 11을 참조하여 전술하였으므로 구체적인 설명은 생략한다.
참조픽처 생성부(1650)는 부호화 후 복원된 2D 이미지를 화면 간 예측 시에 참조픽처로 사용하기 위해, 2D 이미지의 패딩 여부에 따라 참조픽처의 형태를 달리 설정하여 참조픽처 버퍼(1660)에 저장한다. 도 16에서는 2D 이미지를 복원하기 위한 구성은 도시를 생략하였다.
참조픽처의 형태는 표 8을 참조하여 전술한 바와 같다. 구체적으로, 참조픽처 생성부(1650)는 2D 이미지가 패딩된 경우에 패딩된 2D 이미지에 대한 패딩없이 2D 이미지를 그대로 참조픽처로 설정하거나, 패딩된 2D 이미지의 경계에 인접한 픽셀 값들을 이용하여(복사 방식) 2D 이미지를 추가로 패딩한 결과(도 12 참고)를 참조픽처로 설정할 수 있다. 한편, 2D 이미지가 패딩되지 않은 경우에 참조픽처 생성부(1650)는 2D 이미지의 경계에 인접한 픽셀 값들을 이용하여(복사 방식) 2D 이미지를 패딩한 결과(도 13 참고)를 참조픽처로 설정하거나, 적용된 투영포맷의 종류에 대응하는 방식으로(연장 방식) 2D 이미지를 패딩한 결과(도 14 참고)를 참조픽처로 설정할 수 있다.
신택스 생성부(1630)는 2D 이미지를 생성하는데 기초가 된 투영포맷에 대한 신택스 요소를 생성하고, 2D 이미지의 패딩정보에 대한 신택스 요소를 생성한다. 여기서, 2D 이미지의 패딩정보는 2D 이미지가 패딩되었는지 여부를 나타내는 정보를 포함할 수 있고, 패딩영역의 너비를 나타내는 정보, 2D 이미지에 대한 패딩영역의 위치를 나타내는 정보 및 패딩영역의 구성형태를 나타내는 정보 중 적어도 하나를 더 포함할 수 있다. 투영포맷에 대한 신택스 요소 및 2D 이미지의 패딩정보에 대한 신택스 요소의 일례는 표 1 내지 표 11을 참조하여 전술한 바와 동일하다.
또한, 신택스 생성부(1630)는 참조픽처 생성부(1650)에 의해 설정된 참조픽처의 형태(즉, 참조픽처로서 저장된 2D 이미지의 패딩정보)에 대한 신택스 요소를 생성할 수 있다. 다만, 참조픽처의 패딩형태(예: 노패딩, 복사, 연장)에 대한 정보는 부호화 장치 및 복호화 장치에서 서로 동일한 패딩형태로 참조픽처를 구성하도록 설정된 경우에는 신택스 생성부(1630)에 의한 신택스 요소 생성은 필요가 없다.
부호화부(1640)는 생성된 신택스 요소들을 부호화하고, 패딩되거나 패딩되지 않은 2D 이미지를 부호화한다.
도 17은 본 발명의 일 실시예에 따른 360 영상의 복호화를 위한 장치(1700)의 개략적인 블록도이다. 본 장치(1700)는 도 2의 복호화 장치에 적용될 수 있다.
360 영상의 복호화를 위한 장치(1700)는 복호화부(1710) 및 2D 이미지 출력부(1720)를 포함한다. 또한, 본 장치(1700)는 참조픽처 생성부(1730) 및 참조픽처 버퍼(1740)를 더 포함할 수 있다. 도 17에 도시된 구성요소들은 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
복호화부(1710)는 비트스트림으로부터 360 영상의 투영포맷에 대한 신택스 요소 및 해당 투영포맷을 기초로 360 영상이 투영된 2D 이미지의 패딩정보에 대한 신택스 요소를 복호화한다. 또한, 복호화부(1710)는 비트스트림으로부터 2D 이미지를 복호화한다. 투영포맷에 대한 신택스 요소 및 2D 이미지의 패딩정보에 대한 신택스 요소에 대한 구체적인 설명은 전술한 바와 동일하다.
2D 이미지 출력부(1720)는 2D 이미지의 패딩정보에 대한 신택스 요소가 2D 이미지가 패딩되었음을 지시하면, 투영포맷에 대한 신택스 요소 및 2D 이미지의 패딩정보에 대한 신택스 요소를 이용하여 복호화된 2D 이미지로부터 패딩영역을 제거한 후, 패딩영역이 제거된 2D 이미지를 렌더러(1750)로 출력한다. 즉, 2D 이미지 출력부(1720)는 투영포맷에 대한 신택스 요소 및 2D 이미지의 패딩정보에 대한 신택스 요소 중 적어도 하나로부터 2D 이미지의 패딩영역을 특정하고, 특정된 패딩영역을 복호화된 2D 이미지로부터 제거하여 렌더러로(1750)의 입력으로 출력한다. 2D 이미지 출력부(1720)는 2D 이미지의 패딩정보에 대한 신택스 요소가 2D 이미지로 패딩되지 않았음을 지시하면, 복호화된 2D 이미지를 그대로 렌더러(1750)로 출력한다.
참조픽처 생성부(1730)는 2D 이미지의 패딩정보에 대한 신택스 요소가 지시하는 2D 이미지의 패딩여부에 따라, 복호화된 2D 이미지(즉, 복원된 2D 이미지)를 패딩하거나 패딩하지 않는다. 구체적으로, 참조픽처 생성부(1730)는 2D 이미지가 패딩된 경우에 2D 이미지에 대한 패딩없이 2D 이미지를 그대로 참조픽처로 설정하거나, 패딩된 2D 이미지의 경계에 인접한 픽셀 값들을 이용하여(복사 방식) 2D 이미지를 추가로 패딩한 결과(도 12 참고)를 참조픽처로 설정할 수 있다. 한편, 2D 이미지가 패딩되지 않은 경우에 참조픽처 생성부(1730)는 2D 이미지의 경계에 인접한 픽셀 값들을 이용하여(복사 방식) 2D 이미지를 패딩한 결과(도 13 참고)를 참조픽처로 설정하거나, 적용된 투영포맷의 종류에 대응하는 방식으로(연장 방식) 2D 이미지를 패딩한 결과(도 14 참고)를 참조픽처로 설정할 수 있다.
참조픽처 생성부(1730)는 2D 이미지의 패딩여부에 따라 패딩되거나 패딩되지 않은 2D 이미지를 화면 간 예측 시 사용될 참조픽처로서 참조픽처 버퍼(1740)에 저장한다.
도 3 및 도 15에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3 및 도 15에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3 및 도 15는 시계열적인 순서로 한정되는 것은 아니다.
도 3 및 도 15에 기재된 본 실시예에 따른 360 영상 부호화 또는 복호화 방법은 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 360 영상 부호화 또는 복호화 방법을 구현하기 위한 컴퓨터 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨팅 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (20)
- 하나 이상의 이용 가능한 투영포맷 중 어느 하나의 투영포맷을 기초로 360 영상을 투영하여 오리지널 2D 이미지를 생성하는 단계;
부호화될 타겟 2D 이미지가 패딩된 이미지인지 아니면 패딩되지 않은 이미지인지를 결정하는 단계, 여기서 상기 패딩된 이미지는 상기 360 영상의 투영에 사용된 투영포맷에 대응하여 상기 오리지널 2D 이미지에 적어도 하나의 패딩 영역을 추가함으로써 생성된 2D 이미지이고, 상기 패딩되지 않은 이미지는 상기 오리지널 2D 이미지임;
상기 타겟 2D 이미지를 부호화하는 단계; 및
상기 360 영상의 투영에 사용된 투영포맷을 나타내는 신택스 요소(syntax element)를 부호화하는 단계; 및
상기 타겟 2D 이미지에 대한 패딩정보를 나타내는 적어도 하나의 신택스 요소를 부호화하는 단계
를 포함하고,
상기 타겟 2D 이미지에 대한 패딩정보는 상기 타겟 2D 이미지가 상기 패딩된 이미지인지 아니면 상기 패딩되지 않은 이미지인지를 나타내는 정보 및 상기 적어도 하나의 패딩 영역을 특정하는 정보를 포함하는, 360 영상의 부호화 방법. - 삭제
- 제1항에 있어서,
상기 적어도 하나의 패딩 영역을 특정하는 정보는,
상기 적어도 하나의 패딩 영역의 너비를 나타내는 정보를 더 포함하는, 360 영상의 부호화 방법. - 제1항에 있어서,
상기 적어도 하나의 패딩 영역을 특정하는 정보는,
상기 적어도 하나의 패딩 영역의 위치를 나타내는 정보 및 상기 적어도 하나의 패딩 영역의 구성형태를 나타내는 정보 중 적어도 하나를 더 포함하는, 360 영상의 부호화 방법. - 제1항에 있어서,
상기 타겟 2D 이미지를 복원하는 단계; 및
상기 타겟 2D 이미지가 상기 패딩된 이미지인 경우, 복원된 타겟 2D 이미지를 화면 간 예측 시 사용될 참조픽처로서 참조픽처 버퍼에 저장하는 단계를 더 포함하는, 360 영상의 부호화 방법. - 삭제
- 제1항에 있어서,
상기 타겟 2D 이미지를 복원하는 단계;
상기 타겟 2D 이미지가 상기 패딩되지 않은 이미지인 경우, 복원된 타겟 2D 이미지의 경계에 인접한 픽셀값들을 이용하여 상기 복원된 타겟 2D 이미지를 패딩하여, 화면 간 예측 시 사용될 참조픽처를 생성하는 단계; 및
생성된 참조 픽처를 참조픽처 버퍼에 저장하는 단계를 더 포함하는, 360 영상의 부호화 방법. - 삭제
- 제7항에 있어서,
상기 생성된 참조픽처에 대한 패딩정보를 나타내는 적어도 하나의 신택스 요소를 부호화하는 단계를 더 포함하는, 360 영상의 부호화 방법. - 비트스트림으로부터 360 영상의 투영에 사용된 투영포맷을 나타내는 신택스 요소(syntax element) 및 상기 360 영상이 상기 투영포맷에 기초하여 투영된 오리지널 2D 이미지에 대응하는 타겟 2D 이미지에 대한 패딩정보를 나타내는 적어도 하나의 신택스 요소를 복호화하고, 상기 비트스트림으로부터 상기 타겟 2D 이미지를 복호화하여 상기 타겟 2D 이미지를 복원하는 단계, 여기서 상기 타겟 2D 이미지에 대한 패딩정보는 상기 타겟 2D 이미지가 패딩된 이미지인지 아니면 패딩되지 않은 이미지인지를 나타내는 정보 및 상기 적어도 하나의 패딩 영역을 특정하는 정보를 포함하고, 상기 패딩된 이미지는 상기 360 영상의 투영에 사용된 투영포맷에 대응하여 상기 오리지널 2D 이미지에 적어도 하나의 패딩 영역을 추가함으로써 생성된 2D 이미지이고, 상기 패딩되지 않은 이미지는 상기 오리지널 2D 이미지임;
상기 타겟 2D 이미지에 대한 패딩정보를 나타내는 적어도 하나의 신택스 요소에 기초하여, 상기 타겟 이미지가 상기 패딩된 이미지인지 아니면 상기 패딩되지 않은 이미지인지 결정하는 단계;
상기 타겟 2D 이미지가 상기 패딩된 이미지일 때, 상기 투영포맷을 나타내는 신택스 요소 및 상기 타겟 2D 이미지에 대한 패딩정보를 나타내는 적어도 하나의 신택스 요소를 이용하여 상기 복원된 타겟 2D 이미지로부터 상기 적어도 하나의 패딩영역을 제거하고, 패딩영역이 제거된 상기 복원된 타겟 2D 이미지를 렌더러(renderer)로 출력하는 단계; 및
상기 타겟 2D 이미지가 상기 패딩되지 않은 이미지일 때, 상기 복원된 타겟 2D 이미지를 그대로 상기 렌더러로 출력하는 단계
를 포함하는, 360 영상의 복호화 방법. - 삭제
- 제10항에 있어서,
상기 적어도 하나의 패딩 영역을 특정하는 정보는,
상기 적어도 하나의 패딩 영역의 너비를 나타내는 정보를 더 포함하는, 360 영상의 복호화 방법 - 제10항에 있어서,
상기 적어도 하나의 패딩 영역을 특정하는 정보는,
상기 적어도 하나의 패딩 영역의 위치 및 상기 적어도 하나의 패딩 영역의 구성형태 중 적어도 하나를 더 포함하는, 360 영상의 복호화 방법. - 제10항에 있어서,
상기 타겟 2D 이미지가 상기 패딩된 이미지인 경우, 상기 복원된 타겟 2D 이미지를 화면 간 예측 시 사용될 참조픽처로서 참조픽처 버퍼에 저장하는 단계를 더 포함하는, 360 영상의 복호화 방법. - 삭제
- 제10항에 있어서,
상기 2D 이미지가 상기 패딩되지 않은 이미지인 경우, 상기 복원된 타겟 2D 이미지의 경계에 인접한 픽셀값들을 이용하여 상기 복원된 타겟 2D 이미지를 패딩하여, 화면 간 예측 시 사용될 참조픽처를 생성하는 단계; 및
생성된 참조픽처를 참조픽처 버퍼에 저장하는 단계를 더 포함하는, 360 영상의 복호화 방법. - 삭제
- 삭제
- 비트스트림으로부터 360 영상의 투영에 사용된 투영포맷을 나타내는 신택스 요소(syntax element) 및 상기 360 영상이 상기 투영포맷에 기초하여 투영된 오리지널 2D 이미지에 대응하는 타겟 2D 이미지에 대한 패딩정보를 나타내는 적어도 하나의 신택스 요소를 복호화하고, 상기 비트스트림으로부터 상기 타겟 2D 이미지를 복호화하여 상기 타겟 2D 이미지를 복원하는 복호화부; 및
상기 타겟 2D 이미지에 대한 패딩정보를 나타내는 적어도 하나의 신택스 요소에 기초하여, 상기 타겟 이미지가 패딩된 이미지인지 아니면 패딩되지 않은 이미지인지 결정하는 2D 이미지 출력부
를 포함하고,
상기 패딩된 이미지는 상기 360 영상의 투영에 사용된 투영포맷에 대응하여 상기 오리지널 2D 이미지에 적어도 하나의 패딩 영역을 추가함으로써 생성된 2D 이미지이고, 상기 패딩되지 않은 이미지는 상기 오리지널 2D 이미지이며,
상기 2D 이미지 출력부는,
상기 타겟 2D 이미지가 상기 패딩된 이미지일 때, 상기 투영포맷을 나타내는 신택스 요소 및 상기 타겟 2D 이미지에 대한 패딩정보를 나타내는 신택스 요소를 이용하여 상기 복원된 타겟 2D 이미지로부터 상기 적어도 하나의 패딩영역을 제거한 후, 패딩영역이 제거된 상기 복원된 타겟 2D 이미지를 렌더러(renderer)로 출력하되, 상기 타겟 2D 이미지가 상기 패딩되지 않은 이미지일 때, 상기 복원된 타겟 2D 이미지를 상기 렌더러로 출력하도록 구성된, 360 영상의 복호화 장치. - 제19항에 있어서,
상기 2D 이미지가 상기 패딩되지 않은 이미지인 경우, 상기 복원된 타겟 2D 이미지의 경계에 인접한 픽셀값들을 이용하여 상기 복원된 타겟 2D 이미지를 패딩하여, 화면 간 예측 시 사용될 참조픽처를 생성하고, 생성된 참조픽처를 참조픽처 버퍼에 저장하는 참조픽처 생성부를 더 포함하고,
상기 참조픽처 생성부는, 상기 타겟 2D 이미지가 상기 패딩된 이미지인 경우, 상기 복원된 타겟 2D 이미지를 화면 간 예측 시 사용될 참조픽처로서 참조픽처 버퍼에 저장하도록 구성된, 360 영상의 복호화 장치.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/635,815 US20200260082A1 (en) | 2017-07-31 | 2018-07-30 | Method and device for encoding or decoding 360 video |
| PCT/KR2018/008607 WO2019027201A1 (ko) | 2017-07-31 | 2018-07-30 | 360 영상을 부호화 또는 복호화하기 위한 방법 및 장치 |
| CN201880060571.0A CN111095928B (zh) | 2017-07-31 | 2018-07-30 | 用于对360图像进行编码或解码的方法和装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20170097273 | 2017-07-31 | ||
| KR1020170097273 | 2017-07-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190013379A KR20190013379A (ko) | 2019-02-11 |
| KR102468596B1 true KR102468596B1 (ko) | 2022-11-21 |
Family
ID=65370211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170113525A KR102468596B1 (ko) | 2017-07-31 | 2017-09-05 | 360 영상을 부호화 또는 복호화하기 위한 방법 및 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20200260082A1 (ko) |
| KR (1) | KR102468596B1 (ko) |
| CN (1) | CN111095928B (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
| US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
| WO2020034509A1 (en) * | 2018-12-14 | 2020-02-20 | Zte Corporation | Immersive video bitstream processing |
| US11659206B2 (en) | 2019-07-02 | 2023-05-23 | Mediatek Inc. | Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120320970A1 (en) * | 2011-06-10 | 2012-12-20 | Virginie Drugeon | Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130058584A (ko) * | 2011-11-25 | 2013-06-04 | 삼성전자주식회사 | 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치 |
| US9706199B2 (en) * | 2012-09-28 | 2017-07-11 | Nokia Technologies Oy | Apparatus, a method and a computer program for video coding and decoding |
-
2017
- 2017-09-05 KR KR1020170113525A patent/KR102468596B1/ko active IP Right Grant
-
2018
- 2018-07-30 CN CN201880060571.0A patent/CN111095928B/zh active Active
- 2018-07-30 US US16/635,815 patent/US20200260082A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120320970A1 (en) * | 2011-06-10 | 2012-12-20 | Virginie Drugeon | Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus |
Non-Patent Citations (2)
| Title |
|---|
| 비특허문헌 1(JVET_G0024 VERSION_2 2017.07.13) |
| 비특허문헌 2(JVET_G0058 VERSION_1 2017.07.06) |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111095928A (zh) | 2020-05-01 |
| CN111095928B (zh) | 2023-08-15 |
| KR20190013379A (ko) | 2019-02-11 |
| US20200260082A1 (en) | 2020-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240107171A1 (en) | Image data encoding/decoding method and apparatus | |
| US11863732B1 (en) | Image data encoding/decoding method and apparatus | |
| US11528414B2 (en) | Method and apparatus for reconstructing 360-degree image according to projection format | |
| KR20210133192A (ko) | 영상 부호화 또는 복호화하기 위한 장치 및 방법 | |
| US20240107065A1 (en) | Method and apparatus of encoding/decoding image data based on tree structure-based block division | |
| KR102468596B1 (ko) | 360 영상을 부호화 또는 복호화하기 위한 방법 및 장치 | |
| US11902668B2 (en) | Image data encoding/decoding method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |