KR101782454B1 - 이미지 복호화 장치, 이미지 부호화 장치, 및 부호화된 데이터 변환 장치 - Google Patents
이미지 복호화 장치, 이미지 부호화 장치, 및 부호화된 데이터 변환 장치 Download PDFInfo
- Publication number
- KR101782454B1 KR101782454B1 KR1020167016343A KR20167016343A KR101782454B1 KR 101782454 B1 KR101782454 B1 KR 101782454B1 KR 1020167016343 A KR1020167016343 A KR 1020167016343A KR 20167016343 A KR20167016343 A KR 20167016343A KR 101782454 B1 KR101782454 B1 KR 101782454B1
- Authority
- KR
- South Korea
- Prior art keywords
- layer
- picture
- reference layer
- unit
- information
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
계층적 비디오 복호화 장치(1)는, 스케일 조절 정보를 복호화하는 파라미터 세트 복호화 유닛(12), 및 상기 스케일 조절 정보에 기초하여 예측 이미지를 생성하는 예측 이미지 생성 유닛(1442)을 포함한다.
Description
본 발명은 이미지가 계층적으로 부호화되어 있는 계층적으로 부호화된 데이터를 복호화하는 이미지 복호화 장치, 및 계층적으로 이미지 부호화하여 계층적으로 부호화된 데이터를 생성하는 이미지 부호화 장치에 관한 것이다.
통신 시스템에 의해 전송된 정보 또는 스토리지 장치에 기록된 정보는 이미지 또는 비디오를 포함한다. 통상적으로, 이러한 이미지를 전송하고 저장하기 위하여 이미지를 부호화하는 기법(이하, 비디오를 포함)이 알려져 있다.
AVC(H.264/MPEG-4 고급 영상 부호화) 및 그 후속 코덱 HEVC(High-Efficiency Video Coding)(비 특허문헌 1) 등의 비디오 부호화 방식이 알려져 있다(비 특허문헌 1).
이러한 비디오 부호화 방식에 따라, 일반적으로, 예측 이미지가 입력 이미지를 부호화/복호화하여 얻어지는 로컬에서 복호화된 이미지에 기초하여 생성되고, 입력 이미지(원래 이미지)에서 예측 이미지를 차감하여 얻어지는 예측의 잔여부분("차이 이미지(difference image)" 또는 "잔상(residual image)"이라고 함)이 부호화된다. 예측 이미지를 생성하는 방법은 픽쳐 간 예측(inter prediction), 및 픽쳐 내 예측(intra prediction)을 포함한다.
픽쳐 내 예측에서, 동일한 픽쳐 내 로컬에서 복호화된 이미지에 기초하여, 이러한 픽쳐 내의 예측 이미지가 순차적으로 생성된다.
픽쳐 간 예측에서, 예측 이미지가 픽쳐 간 움직임 보상(inter-picture motion compensation)을 통해 생성된다. 픽쳐 간 예측에서 예측 이미지를 생성하기 위해 사용되는 복호화된 픽쳐는 참조 픽쳐(reference picture)라고 한다.
또한, 서로 관련된 비디오를 레이어들(계층적 레이어들)로 분류하고 비디오를 부호화하여 비디오로부터 부호화된 데이터를 생성하는 기법이 알려져 있다. 이러한 기법은 계층적인 부호화 기법이라고 한다. 계층적인 부호화 기법에 의해 생성된 부호화된 데이터도 또한 계층적으로 부호화된 데이터라고 한다.
대표적인 계층적 부호화 기법으로서, HEVC-기반 SHVC(Scalable HEVC)가 알려져 있다(비 특허문헌 2).
SHVC는 공간 스케일러빌리티(spatial scalability), 시간 스케일러빌리티(temporal scalability), 및 SNR 스케일러빌리티(SNR scalability)를 지원한다. 예를 들어, 공간 스케일러빌리티의 경우, 서로 다른 해상도를 가진 비디오가 레이어들로 분류되고 부호화되어 계층적으로 부호화된 데이터를 생성한다 예를 들어, 원하는 해상도를 가지기 위해 원래의 이미지로부터 다운 샘플링되는 이미지는, 하부 레이어로서 부호화된다. 다음에, 층간 리던던시(inter-layer redundancy)를 제거하기 위하여 층간 예측이 원래의 이미지에 적용되고, 이미지가 상위 레이어로서 부호화된다.
다른 대표적인 계층적인 부호화 기법으로서, HEVC-기반 MV-HEVC(Multi View HEVC)가 알려져 있다(비 특허문헌 3).
MV-HEVC는 뷰 스케일러빌리티(view scalability)를 지원한다. 뷰 스케일러빌리티의 경우, 서로 다른 시점(view)에 대응하는 비디오가 레이어들로 분류되고 부호화되어 계층적으로 부호화된 데이터를 생성한다. 예를 들어, 기본이 되는 시점(base view)에 대응하는 비디오가 하부 레이어로서 부호화된다. 다음에, 층간 예측이 서로 다른 시점에 대응하는 비디오에 적용되고, 비디오는 상위 레이어로서 부호화된다.
SHVC 및 MV-HEVC에서의 층간 예측은 층간 이미지 예측(inter-layer image prediction) 및 층간 움직임 예측(inter-layer motion prediction)을 포함한다. 층간 이미지 예측에서, 하부 레이어 상의 복호화 이미지가 예측 이미지를 생성하기 위해 사용된다. 층간 움직임 예측에서, 하부 레이어 상의 움직임 정보가 움직임 정보의 예측값을 도출하기 위해 사용된다. 층간 예측에서 예측을 위해 사용되는 픽쳐는 층간 예측 픽쳐(inter-layer prediction picture)라고 한다. 층간 예측 픽쳐를 포함하는 레이어는 참조 레이어라고 한다. 다음의 설명에서, 픽쳐 간 예측을 위해 사용되는 참조 픽쳐, 및 층간 예측을 위해 사용되는 참조 픽쳐는 집합적으로 단순히 참조 픽쳐라고 한다.
SHVC 및 MV-HEVC에서, 픽쳐 간 예측, 픽쳐 내 예측, 및 층간 이미지 예측 중 임의의 예측이 예측 이미지를 생성하기 위해 사용될 수 있다.
SHVC 또는 MV-HEVC를 사용하는 애플리케이션 중 하나가 관심 영역을 고려하는 비디오 애플리케이션이다. 예를 들어, 비디오 재생 단말기는 보통 전체 영역의 비디오를 비교적 낮은 해상도로 재생한다. 비디오 재생 단말기의 시청자가 표시되는 비디오의 일부를 관심 영역으로 지정하는 경우, 이 관심 영역이 재생 단말기 상에 고해상도로 표시된다.
이러한 계층적으로 부호화된 데이터를 이용하여, 관심 영역을 고려한 비디오 애플리케이션을 얻을 수 있다. 여기서, 비교적 낮은 해상도을 가진 전체 영역의 비디오가 하부 레이어 부호화된 데이터로서 부호화되고 관심 영역의 고해상도 비디오가 상위 레이어 부호화된 데이터로서 부호화된다. 즉, 전체 영역이 재생되는 경우, 하부 레이어 부호화된 데이터만이 복호화되고 재생된다. 관심 영역의 고해상도 비디오가 재생되는 경우, 상위 레이어 부호화된 데이터가 하부 레이어 부호화된 데이터에 추가되어 전송된다. 이때, 낮은 해상도 비디오 상에 부호화된 데이터 및 고해상도 비디오상에 부호화된 데이터 양자 모두가 전송되는 경우보다 작은 전송 대역을 가지는 애플리케이션을 얻을 수 있다. 관심 영역을 포함하는 영역에 대응하는 부호화된 데이터는, 상위 레이어 및 하부 레이어로부터 추출되어 전송될 수 있고, 따라서 전송 대역이 추가적으로 감소될 수 있다.
상술한 바와 같이 관심 영역을 고려한 비디오 애플리케이션이 상위 레이어 및 하부 레이어 상에 있는 부호화된 데이터를 생성하고 관심 영역을 포함하는 경우, 상위 레이어 화소와 하부 레이어 화소 간의 위치 관계가 변경된다. 따라서, 이러한 변경은, 하부 레이어 화소 값에 기초하여 상위 레이어 화소 값을 예측하는 경우에 예측 정밀도를 감소시키는 문제를 야기한다.
비 특허문헌 4는, 상위 레이어 화소와 하부 레이어 화소 간의 위치 관계를 조절하기 위해 층간 위상 대응 정보(inter-layer phase correspondence information)를 전송하고, 층간 위상 대응 정보를 이용하여 상위 레이어 상의 각각의 화소에 대응하는 하부 레이어 상의 화소 위치를 계산하는 방법을 개시한다.
인용 목록
비특허 문헌
비특허 문헌1: "Recommendation H.265 (04/13)", ITU-T (2013년 7월 7일 공개)
비특허 문헌2: JCT3V-E1008_v6 "MV-HEVC Draft Text 5", Joint CollaborativeTeam on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 5th Meeting: Vienna, AT, 27 Jul - 2 Aug. 2013 (published on Aug. 7, 2013)
비특허 문헌3: JCTVC-N1008_v1 "SHVC Draft 3", Joint Collaborative Team onVideo Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Vienna, AT, 25 July - 2 Aug. 2013 (2013년 8월 20일 공개)
비 특허문헌 4: JCTVC-O0056 "MV-HEVC/SHVC HLS: On conversion to ROI-capablemulti-layer bitstream", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Geneva, CH, 23 Oct. - 1 Nov. 2013 (2013년 10월 11일 공개)
상위 레이어 상의 부호화된 데이터 및 전체 영역(전체 영역이 계층적으로 부호화된 데이터에 상응하는 하부 레이어)를 포함하는, 계층적으로 부호화된 데이터로부터 상위 레이어 상의 부호화된 데이터 및 관심 영역에 상응하는 하부 레이어를 포함하는, 계층적으로 부호화된 데이터(관심 영역이 계층적으로 부호화된 데이터)의 생성이, 전체 영역이 계층적으로 부호화된 데이터의 스케일 및 관심 영역이 계층적으로 부호화된 데이터의 스케일이 엄밀하게 유지될 수 없다는 점에서 문제를 야기한다. 따라서, 추가적인 문제점은 상위 레이어 화소와 하부 레이어 화소 간의 위치 관계의 정밀도가 관심 영역이 계층적으로 부호화된 데이터 내에서 충분하지 않을 수 있다는 점이다.
본 발명은 이러한 문제점을 고려하여 만들어졌고, 전체 영역이 계층적으로 부호화된 데이터와 동일한 스케일을 이용하여 상위 레이어 화소와 하부 레이어 화소 간의 위치 관계를 도출할 수 있는 관심 영역 부호화된 데이터를 부호화하고 복호화할 수 있는, 이미지 부호화 장치 및 이미지 복호화 장치를 얻기 위한 위한 목표를 가진다.
또한, 본 발명은, 계층적으로 부호화된 데이터와 동일한 스케일을 입력으로 이용하여 상위 레이어 화소와 하부 레이어 화소 간의 위치 관계를 전체 영역이 계층적으로 부호화된 데이터에 기초하여 도출할 수 있는 관심 영역 부호화된 데이터를 생성할 수 있는, 부호화된 데이터 변환 장치를 얻기 위한 다른 목표를 가진다.
이러한 문제점을 해결하기 위하여, 계층적으로 부호화된 데이터에 포함된 상위 레이어 상의 부호화된 데이터를 복호화하고 타겟 레이어인 상기 상위 레이어 상에 복호화된 픽쳐를 복원하는 이미지 복호화 장치로서, 본 발명에 따른 이미지 복호화 장치가 제공된다. 상기 장치는, 파라미터 세트를 복호화하는 파라미터 세트 복호화 유닛; 및 픽쳐의 복호화된 화소에 따른 층간 예측을 통해 참조 레이어 상에 예측 이미지를 생성하는 예측 이미지 생성 유닛을 포함하고, 상기 파라미터 세트 복호화 유닛은 상기 참조 레이어에 관한 스케일 조절 정보를 복호화하며, 상기 예측 이미지 생성 유닛은, 상기 스케일 조절 정보에 기초하여 도출되는 층간 스케일을 이용하여 상기 타겟 레이어의 화소에 대응하는, 상기 참조 레이어 상의 참조 위치를 얻는다.
상기 이미지 복호화 장치에서, 가상 참조 레이어 크기 차이가 상기 스케일 조절 정보에 기초하여 도출되는 것이 바람직하다.
상기 이미지 복호화 장치에서, 상기 예측 이미지 생성 유닛에 의해 도출되는 상기 층간 스케일의 값은, 가상 참조 레이어 대응 영역 크기와 가상 참조 레이어 크기 간의 비율의 근사값이고, 상기 가상 참조 레이어 크기는 참조 레이어 픽쳐 크기와 상기 가상 참조 레이어 크기 차이의 합인 것이 바람직하다.
상기 이미지 복호화 장치에서, 상기 스케일 조절 정보가 상기 파라미터 세트에 포함되지 않은 경우, 상기 가상 참조 레이어 크기와 상기 참조 레이어 픽쳐 크기가 서로 일치할 수 있도록 상기 스케일 조절 정보의 값이 설정되는 것이 바람직하다.
상술한 문제점을 해결하기 위하여, 본 발명에 따른 이미지 부호화 장치가 입력 이미지로부터 상위 레이어 상의 부호화된 데이터를 생성하는 이미지 부호화 장치로서 제공된다. 상기 장치는, 파라미터 세트를 복호화하는 파라미터 세트 복호화 유닛; 및 픽쳐의 복호화된 화소에 따른 층간 예측을 통해 참조 레이어 상에 예측 이미지를 생성하는 예측 이미지 부호화 유닛을 포함한다. 여기서, 상기 파라미터 세트 복호화 유닛은 스케일 조절 정보를 부호화하고, 상기 예측 이미지 부호화 유닛은 상기 스케일 조절 정보로부터 도출된 층간 스케일 값을 이용하여 상기 타겟 레이어의 복호화된 화소에 대응하는 참조 위치를 얻으며, 가상 참조 레이어 크기 차이가 상기 스케일 조절 정보에 기초하여 얻어진다.
상술한 문제점을 해결하기 위하여, 입력되는 계층적으로 부호화된 데이터를 변환하고, 상기 관심 영역에 대한 계층적으로 부호화된 데이터를 생성하여 출력하는, 파라미터 세트 조절 유닛을 포함하는, 계층적으로 부호화된 데이터 변환 장치로서, 본 발명에 따른 계층적으로 부호화된 데이터 변환 장치가 제공된다. 여기서, 상기 파라미터 세트 조절 유닛은, 변환 전후에 상기 계층적으로 부호화된 데이터로부터 도출된 층간 스케일이 서로 일치할 수 있도록 스케일 조절 정보를 조절한다.
본 발명에 따른 이미지 복호화 장치(이미지 부호화 장치)는, 파라미터 세트를 복호화(부호화)하는 파라미터 세트 복호화 유닛(부호화 유닛), 및 참조 레이어 픽쳐의 복호화된 화소에 따른 층간 예측를 통해 상기 예측 이미지를 생성하는 예측 이미지 생성 유닛을 포함한다. 상기 파라미터 세트 복호화 유닛(부호화 유닛)은, 스케일 조절 정보를 복호화(설정)한다. 상기 예측 이미지 생성 유닛은, 상기 스케일 조절 정보로부터 도출된 층간 스케일의 값을 이용하여 타겟 레이어 상의 화소에 대응하는 참조 위치를 얻는다.
따라서, 상기 이미지 복호화 장치(이미지 부호화 장치)는, 변환 전후에 상기 관심 영역 추출에 의해 예시될 상기 계층적으로 부호화된 데이터를 변환하는 경우에도, 동일한 층간 스케일을 도출할 수 있다. 이에 따라, 상기 상위 레이어 화소와 상기 하부 레이어 화소 간의 위치 관계의 정밀도가 변환되는 부호화된 데이터 내에서 유지되고, 따라서 상기 층간 예측에 있어서 예측 레지듀(predictive residue)를 감소시킨다. 결과적으로, 본 발명에 따른 이미지 복호화 장치는 더 작은 양의 코드를 가지는 부호화된 데이터를 복호화할 수 있고, 복호화된 픽쳐를 상위 레이어 상에 출력할 수 있다. 본 발명에 따른 이미지 부호화 장치는, 보다 작은 양의 코드를 가지는 부호화된 데이터를 출력할 수 있다.
도 1은 본 실시예에 따른, 계층적 비디오 복호화 장치 및 계층적 비디오 부호화 장치에 의해 실행되는 대응 참조 위치 도출 프로세스의 흐름도이다.
도 2는 본 발명의 실시예에 따른 계층적으로 부호화된 데이터의 레이어 구조를 설명하기 위한 도면으로서, 도 2a는 계층적 비디오 부호화 장치 측을 도시하고 있고, 도 2b는 계층적 비디오 복호화 장치 측을 도시하고 있다.
도 3은 본 발명의 실시예에 따른 계층적으로 부호화된 데이터의 구성을 설명하기 위한 도면으로서, 도 3a는 시퀀스(SEQ)를 정의하는 시퀀스 레이어를 도시하고 있고, 도 3b 픽쳐(PICT)을 정의하는 픽쳐 레이어를 도시하고 있으며, 도 3c는 슬라이스(S)를 정의하는 슬라이스 레이어를 도시하고 있고, 도 3d는 부호화된 트리 유닛(CTU)를 정의하는 CTU 레이어를 도시하고 있으며, 도 3e는 부호화된 트리 유닛(CTU)에 포함된 부호화 유닛(CU)를 정의하는 CU 레이어를 도시하고 있다.
도 4는 본 발명의 실시예에 따른 계층적으로 부호화된 데이터 내에서의 픽쳐, 타일 및 슬라이스 사이의 관계를 설명하기 위한 도면으로서, 도 4a는 픽쳐를 타일 및 슬라이스로 분할하는 경우에 분할된 영역를 예시하고 있고, 도 4b는 부호화된 데이터의 구조 내에서 타일 및 슬라이스 사이의 관계를 예시하고 있다.
도 5는 계층적 비디오 복호화 장치, 계층적 비디오 부호화 장치 및 부호화된 데이터 변환 장치를 결합하고, 계층적인 비디오를 전송하여 재생함으로써 얻어질 수 있는 시스템을 예시하는 도면이다.
도 6은 계층적 비디오 복호화 장치의 개략적인 구성을 도시한 기능적 블록도이다.
도 7은 계층적 비디오 복호화 장치에 포함된 베이스 복호화 유닛의 구성을 예시하고 있는 기능적 블록도이다.
도 8은 픽쳐 내 일부 영역인 표시 영역과 표시 영역 위치 정보 간의 관계를 예시하는 도면이다.
도 9는 복호화 중에 참조되는 신택스 테이블(syntax table)의 일부로서, 층간 화소 대응 정보와 관계가 있는, 일부를 도시하고 있다.
도 10은 타겟 레이어 상의 픽쳐, 참조 레이어 상의 픽쳐, 및 층간 화소 대응 오프셋 간의 관계를 예시하는 도면으로서, 도 10a는 참조 레이어 상의 전체 픽처가 타겟 레이어 상의 픽쳐의 일부에 대응하는 경우의 예를 도시하고 있고, 도 10b는 참조 레이어 상의 픽쳐의 일부가 타겟 레이어 상의 전체 픽처에 대응하는 경우의 예를 도시하고 있다.
도 11은 SPS 복호화 중에 참조되는 신택스 테이블의 일부로서, 스케일 조절 정보와 관계가 있는, 일부를 도시하고 있다.
도 12는 실제 참조 레이어 대응 영역, 가상 참조 레이어 대응 영역, 및 확장되는 참조 레이어 추가 오프셋 간의 관계를 예시하는 도면이다.
도 13은 복호화 중에 참조되는 신택스 테이블의 일부로서, 타일 정보와 관계가 있는, 일부를 도시하고 있다.
도 14는 픽쳐가 타일로 분할되는 경우 타일 행과 타일 열을 예시하는 도면이다.
도 15는 계층적 비디오 복호화 장치에 포함된 슬라이스 복호화 유닛의 구성을 예시하는 기능적 블록도이다.
도 16은 SPS 복호화 중에 참조되는 신택스 테이블의 일부로서, 스케일 조절 정보와 관계가 있는, 일부의 다른 예를 도시하고 있다.
도 17은 SPS 복호화 중에 참조되는 신택스 테이블의 일부로서, 스케일 조절 정보와 관계가 있는, 일부의 또 다른 예를 도시하고 있다.
도 18은 SPS 복호화 중에 참조되는 신택스 테이블의 일부로서, 스케일 조절 정보와 관계가 있는, 일부의 다른 예를 도시하고 있다.
도 19는 본 발명의 일 실시예에 따른 계층적 비디오 부호화 장치의 개략적인 구성을 도시한 기능적 블록도이다.
도 20은 계층적 비디오 부호화 장치에 포함된 슬라이스 부호화 유닛의 구성를 예시하는 기능적 블록도이다.
도 21은 본 발명의 일 실시예에 따른 계층적으로 부호화된 데이터 변환 장치의 개략적인 구성을 도시한 기능적 블록도이다.
도 22는 변환 전후에 픽쳐, 관심 영역, 및 타일 사이의 관계를 예시하는 도면이다.
도 23은 계층적 비디오 복호화 장치, 계층적 비디오 부호화 장치 및 계층적으로 부호화된 데이터 변환 장치를 결합하여 얻어지는 관심 영역 표시 시스템의 구성을 보여주는 블록도이다.
도 24는 계층적 비디오 부호화 장치가 장착된 송신 장치, 및 계층적 비디오 복호화 장치가 장착된 수신 장치의 구성을 보여주는 도면으로서, 도 24a는 계층적 비디오 부호화 장치가 장착된 송신 장치를 도시하고 있고, 도 24b는 계층적 비디오 복호화 장치 장착된 수신 장치를 도시하고 있다.
도 25는 계층적 비디오 부호화 장치가 장착된 기록 장치, 및 계층적 비디오 복호화 장치가 장착된 재생 장치의 구성을 보여주는 도면으로서, 도 25a는 계층적 비디오 부호화 장치가 장착된 기록 장치를 도시하고 있고, 도 25b는 계층적 비디오 복호화 장치가 장착된 재생 장치를 도시하고 있다.
도 2는 본 발명의 실시예에 따른 계층적으로 부호화된 데이터의 레이어 구조를 설명하기 위한 도면으로서, 도 2a는 계층적 비디오 부호화 장치 측을 도시하고 있고, 도 2b는 계층적 비디오 복호화 장치 측을 도시하고 있다.
도 3은 본 발명의 실시예에 따른 계층적으로 부호화된 데이터의 구성을 설명하기 위한 도면으로서, 도 3a는 시퀀스(SEQ)를 정의하는 시퀀스 레이어를 도시하고 있고, 도 3b 픽쳐(PICT)을 정의하는 픽쳐 레이어를 도시하고 있으며, 도 3c는 슬라이스(S)를 정의하는 슬라이스 레이어를 도시하고 있고, 도 3d는 부호화된 트리 유닛(CTU)를 정의하는 CTU 레이어를 도시하고 있으며, 도 3e는 부호화된 트리 유닛(CTU)에 포함된 부호화 유닛(CU)를 정의하는 CU 레이어를 도시하고 있다.
도 4는 본 발명의 실시예에 따른 계층적으로 부호화된 데이터 내에서의 픽쳐, 타일 및 슬라이스 사이의 관계를 설명하기 위한 도면으로서, 도 4a는 픽쳐를 타일 및 슬라이스로 분할하는 경우에 분할된 영역를 예시하고 있고, 도 4b는 부호화된 데이터의 구조 내에서 타일 및 슬라이스 사이의 관계를 예시하고 있다.
도 5는 계층적 비디오 복호화 장치, 계층적 비디오 부호화 장치 및 부호화된 데이터 변환 장치를 결합하고, 계층적인 비디오를 전송하여 재생함으로써 얻어질 수 있는 시스템을 예시하는 도면이다.
도 6은 계층적 비디오 복호화 장치의 개략적인 구성을 도시한 기능적 블록도이다.
도 7은 계층적 비디오 복호화 장치에 포함된 베이스 복호화 유닛의 구성을 예시하고 있는 기능적 블록도이다.
도 8은 픽쳐 내 일부 영역인 표시 영역과 표시 영역 위치 정보 간의 관계를 예시하는 도면이다.
도 9는 복호화 중에 참조되는 신택스 테이블(syntax table)의 일부로서, 층간 화소 대응 정보와 관계가 있는, 일부를 도시하고 있다.
도 10은 타겟 레이어 상의 픽쳐, 참조 레이어 상의 픽쳐, 및 층간 화소 대응 오프셋 간의 관계를 예시하는 도면으로서, 도 10a는 참조 레이어 상의 전체 픽처가 타겟 레이어 상의 픽쳐의 일부에 대응하는 경우의 예를 도시하고 있고, 도 10b는 참조 레이어 상의 픽쳐의 일부가 타겟 레이어 상의 전체 픽처에 대응하는 경우의 예를 도시하고 있다.
도 11은 SPS 복호화 중에 참조되는 신택스 테이블의 일부로서, 스케일 조절 정보와 관계가 있는, 일부를 도시하고 있다.
도 12는 실제 참조 레이어 대응 영역, 가상 참조 레이어 대응 영역, 및 확장되는 참조 레이어 추가 오프셋 간의 관계를 예시하는 도면이다.
도 13은 복호화 중에 참조되는 신택스 테이블의 일부로서, 타일 정보와 관계가 있는, 일부를 도시하고 있다.
도 14는 픽쳐가 타일로 분할되는 경우 타일 행과 타일 열을 예시하는 도면이다.
도 15는 계층적 비디오 복호화 장치에 포함된 슬라이스 복호화 유닛의 구성을 예시하는 기능적 블록도이다.
도 16은 SPS 복호화 중에 참조되는 신택스 테이블의 일부로서, 스케일 조절 정보와 관계가 있는, 일부의 다른 예를 도시하고 있다.
도 17은 SPS 복호화 중에 참조되는 신택스 테이블의 일부로서, 스케일 조절 정보와 관계가 있는, 일부의 또 다른 예를 도시하고 있다.
도 18은 SPS 복호화 중에 참조되는 신택스 테이블의 일부로서, 스케일 조절 정보와 관계가 있는, 일부의 다른 예를 도시하고 있다.
도 19는 본 발명의 일 실시예에 따른 계층적 비디오 부호화 장치의 개략적인 구성을 도시한 기능적 블록도이다.
도 20은 계층적 비디오 부호화 장치에 포함된 슬라이스 부호화 유닛의 구성를 예시하는 기능적 블록도이다.
도 21은 본 발명의 일 실시예에 따른 계층적으로 부호화된 데이터 변환 장치의 개략적인 구성을 도시한 기능적 블록도이다.
도 22는 변환 전후에 픽쳐, 관심 영역, 및 타일 사이의 관계를 예시하는 도면이다.
도 23은 계층적 비디오 복호화 장치, 계층적 비디오 부호화 장치 및 계층적으로 부호화된 데이터 변환 장치를 결합하여 얻어지는 관심 영역 표시 시스템의 구성을 보여주는 블록도이다.
도 24는 계층적 비디오 부호화 장치가 장착된 송신 장치, 및 계층적 비디오 복호화 장치가 장착된 수신 장치의 구성을 보여주는 도면으로서, 도 24a는 계층적 비디오 부호화 장치가 장착된 송신 장치를 도시하고 있고, 도 24b는 계층적 비디오 복호화 장치 장착된 수신 장치를 도시하고 있다.
도 25는 계층적 비디오 부호화 장치가 장착된 기록 장치, 및 계층적 비디오 복호화 장치가 장착된 재생 장치의 구성을 보여주는 도면으로서, 도 25a는 계층적 비디오 부호화 장치가 장착된 기록 장치를 도시하고 있고, 도 25b는 계층적 비디오 복호화 장치가 장착된 재생 장치를 도시하고 있다.
도 1 내지 도 25를 참조하여, 본 발명의 일 실시예에 따른 계층적 비디오 복호화 장치(1), 계층적 비디오 부호화 장치(2) 및 부호화된 데이터 변환 장치(3)에 대해 설명하면 아래와 같다.
[개요]
본 실시예에 따른 계층적 비디오 복호화 장치(이미지 복호화 장치, 1)가 계층적 비디오 부호화 장치(이미지 부호화 장치, 2)에 의해 계층적으로 부호화된 부호화된 데이터를 복호화한다. 계층적인 부호화는, 비디오를 저품질 컴포넌트로부터 고품질 컴포넌트까지 계층적으로 부호화하는 부호화 방식이다. 계층적인 부호화는, 예를 들어 SVC 및 SHVC에서 표준화되어 있다. 여기서, 비디오의 품질이란 폭넓게는 주관적 및 객관적인 시점에서 비디오의 외관에 영향을 미치는 엘리먼트를 의미한다. 비디오의 품질은, 예를 들어, "해상도", "프레임 레이트", "이미지 품질", 및 "화소 표현 정밀도"를 포함한다. 따라서, 비디오 품질에서의 차이는, 이하에서 예시적인 방식으로 "해상도" 등에서의 차이를 나타낸다. 하지만, 차이는 이에 한정되지 않는다. 예를 들어, 비디오가 서로 다른 정량화 단계(즉, 비디오가 서로 부호화 잡음으로 부호화되는 경우)에서 정량화되는 경우에도, 비디오 품질은 서로 다르다고 간주될 수 있다.
계층적인 부호화 기법은, 계층화된 정보의 타입을 고려하여 (1) 공간 스케일러빌리티 (2) 시간 스케일러빌리티 (3) SNR(신호 대 잡음비) 스케일러빌리티, 및 (4) 뷰 스케일러빌리티로 분류될 수 있다. 공간 스케일러빌리티는 해상도 및 이미지의 크기에 따른 계층화의 기법이다. 시간 스케일러빌리티는 프레임 레이트(단위 시간 당 프레임의 개수)에 따른 계층화의 기법이다. SNR 스케일러빌리티는 부호화 잡음에 따른 계층화의 기법이다. 뷰 스케일러빌리티는 각각의 이미지와 연관된 시점 위치에 따른 계층화의 기법이다.
본 실시예에 따른 부호화된 데이터 변환 장치(3)는, 계층적 비디오 부호화 장치(2)에 의해 부호화되었던 부호화된 데이터를 변환하고, 미리 정해진 관심 영역(관심 영역 부호화된 데이터)과 관련된 부호화된 데이터를 생성한다. 관심 영역 부호화된 데이터는 본 실시예에 따른 계층적 비디오 복호화 장치(1)에 의해 복호화될 수 있다.
본 실시예에 따른 계층적 비디오 부호화 장치(2), 계층적 비디오 복호화 장치(1) 및 계층적으로 부호화된 데이터 변환 장치(3)에 대해 상세하게 설명하기 전에, (1) 계층적 비디오 부호화 장치(2) 또는 계층적으로 부호화된 데이터 변환 장치(3)에 의해 생성되고 계층적 비디오 복호화 장치(1)에 의해 복호화되는 계층적으로 부호화된 데이터의 레이어 구조에 대해 설명하고, 그 다음에 (2) 각각의 레이어에서 채택될 수 있는 데이터 구조의 구체적인 예에 대해 설명한다.
[계층적으로 부호화된 데이터의 레이어 구조]
여기서, 도 2를 참조하여, 계층적으로 부호화된 데이터의 부호화 및 복호화가 설명하면 다음과 같다. 도 2는 하위 계층적 레이어(L3), 매체 계층적 레이어(L2), 및 상위 계층적 레이어(L1)의 3개의 계층적 레이어에서 비디오를 계층적으로 부호화/복호화하는 경우를 개략적으로 도시하는 도면이다. 즉, 도 2a 및 도 2b에 도시된 예에서, 3개의 계층적 레이어 중에서, 상위 계층적 레이어(L1)가 가장 높은 레이어이고, 하위 계층적 레이어(L3)가 가장 낮은 레이어이다.
계층적으로 부호화된 데이터로부터 복호화될 수 있는 특정 품질에 대응하는 복호화 이미지는, 이하에서 특정한 계층적 레이어(또는 특정한 계층적 레이어에 대응하는 복호화 이미지)(예를 들어, 상위 계층적 레이어(L1) 상의 복호화 이미지(POUT#A)) 상의 복호화 이미지라고 한다.
도 2a는 각각의 입력 이미지(PIN#A 내지 PIN#C)를 계층적으로 부호화함으로써 부호화된 데이터(DATA#A 내지 DATA#C)를 생성하는 계층적 비디오 부호화 장치(2#A 내지 2#C)를 도시하고 있다. 도 2b는 계층적으로 부호화되었던 각각의 부호화된 데이터(DATA#A 내지 DATA#C)를 복호화함으로써 복호화 이미지(POUT#A 내지 POUT#C)를 생성하는 계층적 비디오 복호화 장치(1#A 내지 1#C)를 도시하고 있다.
먼저, 도 2a를 참조하여 부호화 장치 측에 대해 설명한다. 부호화 장치 측에 입력될 입력 이미지들(PIN#A, PIN#B 및 PIN#C)은 동일한 이미지로부터 시작되었지만, 이미지(해상도, 프레임 레이트, 이미지 품질 등)의 품질에 있어서는 서로 다르다. 이미지의 품질은 입력 이미지들(PIN#A, PIN#B 및 PIN#C)의 순서로 더 낮아진다.
하위 계층적 레이어(L3) 상의 계층적 비디오 부호화 장치(2#C)는, 하위 계층적 레이어(L3) 상에 부호화된 데이터(DATA#C)를 생성하기 위하여, 하위 계층적 레이어(L3) 상에 입력 이미지(PIN#C)를 부호화한다. 하위 계층적 레이어(L3) 상의 복호화 이미지(POUT#C)를 얻기 위해 복호화에 필요한 기초 정보가 포함된다(도 2에서 "C"로 나타냄). 하위 계층적 레이어(L3)는 가장 낮은 계층적 레이어이다. 따라서, 하위 계층적 레이어(L3) 상의 부호화된 데이터(DATA#C)는 기초적인 부호화된 데이터라고도 한다.
매체 계층적 레이어(L2) 상의 계층적 비디오 부호화 장치(2#B)는, 하부 계층적 레이어 상의 부호화된 데이터(DATA#C)를 참조하여 매체 계층적 레이어(L2) 상의 부호화된 데이터(DATA#B)를 생성하기 위하여, 매체 계층적 레이어(L2) 상의 입력 이미지(PIN#B)를 부호화한다. 매체 계층적 레이어(L2) 상의 부호화된 데이터(DATA#B)는, 부호화된 데이터(DATA#C)에 포함된 기초 정보 "C" 뿐만 아니라 매체 계층적 레이어 상의 복호화 이미지(POUT#B)를 얻기 위한 복호화에 필요한 추가적인 정보(도 2에서 "B"로 나타낸 정보)도 포함한다.
상위 계층적 레이어(L1) 상의 계층적 비디오 부호화 장치(2#A)는, 매체 레이어(L2) 상의 부호화된 데이터(DATA#B)를 참조하여 상위 계층적 레이어(L1) 상의 부호화된 데이터(DATA#A)를 생성하기 위하여, 상위 계층적 레이어(L1)상에 입력 이미지(PIN#A)를 부호화한다. 상위 계층적 레이어(L1) 상의 부호화된 데이터(DATA#A)는, 하위 계층적 레이어(L3) 상의 복호화 이미지(POUT#C)를 얻기 위해 복호화에 필요한 기초 정보 "C" 및 매체 계층적 레이어(L2) 상의 복호화 이미지(POUT#B)를 얻기 위해 복호화에 필요한 추가적인 정보 "B"를 포함할 뿐만 아니라, 상위 계층적 레이어 상에 복호화 이미지(POUT#A)를 얻기 위해 복호화에 필요한 추가적인 정보(도 2에서 "A"로 나타낸 정보)도 포함한다.
상술한 바와 같이, 상위 계층적 레이어(L1) 상의 부호화된 데이터(DATA#A)는 가변적인 품질을 가진 복호화 이미지와 관련된 정보를 포함한다.
이제, 도 2b를 참조하여 복호화 장치 측에 대해 설명한다. 복호화 장치 측에서, 상위 계층적 레이어(L1), 매체 계층적 레이어(L2) 및 하위 계층적 레이어(L3)에 각각 대응하는 복호화 장치(1#A, 1#B 및 1#C)는, 복호화 이미지(POUT#A, POUT#B 및 POUT#C)를 출력하기 위하여 부호화된 데이터(DATA#A, DATA#B 및 DATA#C)를 복호화한다.
더 높은 계층적으로 부호화된 데이터 상의 정보의 일부를 추출하고 특정 복호화 장치 내 하위 레벨에 추출된 정보를 복호화함으로써, 특정 품질을 가진 비디오가 재생될 수 있다.
예를 들어, 매체 계층적 레이어(L2) 상의 계층적 복호화 장치(1#B)는, 상위 계층적 레이어(L1) 상에 계층적으로 부호화된 데이터(DATA#A)로부터 복호화 이미지(POUT#B)(즉, 계층적으로 부호화된 데이터(DATA#A)에 포함된 "B" 및 "C")를 얻기 위해 복호화에 필요한 정보를 추출하고, 복호화 이미지(POUT#B)를 얻기 위해 복호화를 수행할 수 있다. 다시 말해, 복호화 장치 측에서, 상위 계층적 레이어(L1) 상의 계층적으로 부호화된 데이터(DATA#A)에 포함된 정보에 기초한 복호화를 통해, 복호화 이미지(POUT#A, POUT#B 및 POUT#C)가 얻어질 수 있다.
계층적으로 부호화된 데이터는 상술한 3개의 계층적으로 레이어화된 데이터에 제한되지 않는다. 이와 달리, 계층적으로 부호화된 데이터는, 2개의 계층적 레이어로 계층적으로 부호화되거나, 또는 3개 이상의 계층적 레이어인 레이어로 계층적으로 부호화된다.
특정한 계층적 레이어 상의 복호화 이미지와 관련된 부분적으로 또는 전체적으로 부호화된 데이터는, 특정한 계층적 레이어 상에서 복호화하는 중에 다른 계층적 레이어 상의 정보를 참조할 필요가 없도록, 다른 계층적 레이어와 독립적으로 부호화되어 계층적으로 부호화된 데이터를 구성할 수 있다. 예를 들어, 도 2a 및 도 2b를 참조하여 설명한 예에서, "C" 및 "B"가 복호화를 위해 참조되어 복호화 이미지(POUT#B)를 얻는다고 설명하였다. 하지만, 참조는 상술한 바에 제한되지 않는다. 계층적으로 부호화된 데이터는, "B"만을 이용하는 복호화를 통해 복호화 이미지(POUT#B)가 획득될 수 있도록 설정될 수 있다. 예를 들어, 계층적 비디오 복호화 장치는, 복호화를 위해 "B"와 복호화 이미지(POUT#C)만으로 이루어진 계층적으로 부호화된 데이터를 입력으로 수신하여, 복호화 이미지(POUT#B)를 획득하도록 구성될 수도 있다.
SNR 스케일러빌리티를 달성하는 경우, 계층적으로 부호화된 데이터는, 동일한 원래 이미지가 입력 이미지(PIN#A, PIN#B 및 PIN#C)로 사용되는 경우에도, 복호화 이미지(POUT#A, POUT#B 및 POUT#C)가 서로 다른 이미지 품질을 갖도록 생성될 수 있다. 이러한 경우, 하부 계층적 레이어 상의 계층적 비디오 부호화 장치는, 계층적 비디오 부호화 장치 보다 큰 정량화 너비(quantization width)를 이용하여 상위 계층적 레이어 상의 예측 레지듀(predictive residue)를 정량화함으로써 계층적으로 부호화된 데이터를 생성한다.
본 설명에서는, 예시를 위해, 용어를 정의하면 다음과 같다. 다음의 용어는 다르게 명시되지 않으면 후술하는 기술적인 이슈을 표현하기 위해 사용된다.
상위 레이어: 특정한 계층적 레이어 보다 위에 배치된 계층적 레이어는 상위 레이어라고 한다. 예를 들어, 도 2에서, 하위 계층적 레이어(L3)의 상위 레이어는 매체 계층적 레이어(L2) 및 상위 계층적 레이어(L1)이다. 상위 레이어 상의 복호화 이미지는, 더 높은 품질(예를 들어, 고해상도, 고속 프레임 레이트, 높은 이미지 품질 등)을 가진 복호화 이미지를 의미한다.
하부 레이어: 특정한 계층적 레이어보다 아래에 위치한 계층적 레이어는 하부 레이어라고 한다. 예를 들어, 도 2에서, 상위 계층적 레이어(L1)의 하부 레이어는 매체 계층적 레이어(L2) 및 하위 계층적 레이어(L3)이다. 하부 레이어 상의 복호화 이미지는 더 낮은 품질을 가진 복호화 이미지이다.
타겟 레이어: 복호화 또는 부호화의 타겟인 계층적 레이어이다. 타겟 레이어에 대응하는 복호화 이미지는 타겟 레이어 픽쳐라고 한다. 타겟 레이어 픽쳐를 구성하는 화소는 타겟 레이어 화소라고 한다.
참조 레이어: 복호화를 위해 참조되어 타겟 레이어에 대응하는 복호화 이미지를 얻는 특정 하부 레이어는 참조 레이어라고 한다. 참조 레이어에 대응하는 복호화 이미지는 참조 레이어 픽쳐라고 한다. 참조 레이어를 구성하는 화소는 참조 레이어 화소라고 한다.
도 2a 및 도 2b에 도시된 예에서, 상위 계층적 레이어(L1)의 참조 레이어는 매체 계층적 레이어(L2) 및 하위 계층적 레이어(L3)이다. 하지만, 이러한 구성은 상술한 바에 제한되지 않는다. 이와 달리, 계층적으로 부호화된 데이터는, 특정 레이어를 얻기 위해 복호화 중에 모든 하부 레이어를 참조할 필요를 무효화하도록 구성될 수 있다. 예를 들어, 계층적으로 부호화된 데이터는, 상위 계층적 레이어(L1)의 참조 레이어가 매체 계층적 레이어(L2) 및 하위 계층적 레이어(L3) 중 임의의 레이어가 되도록 구성될 수도 있다.
베이스 레이어(Base layer): 가장 낮은 레이어 상에 배열된 계층적 레이어는 베이스 레이어라고 한다. 베이스 레이어 상의 복호화 이미지는, 부호화된 데이터가 복호화되고 가장 낮은 품질을 가지는 복호화 이미지로서, 기본적인 복호화 이미지라고 한다. 다시 말해, 기본적인 복호화 이미지는 가장 낮은 계층적 레이어에 대응하는 복호화 이미지이다. 기본적인 복호화 이미지를 얻기 위해 복호화에 필요한 계층적으로 부호화된 데이터의 부분적으로 부호화된 데이터 아이템은, 기본적인 부호화된 데이터라고 한다. 예를 들어, 상위 계층적 레이어(L1) 상에 계층적으로 부호화된 데이터(DATA#A)에 포함된 기초 정보 "C"는 기본적인 부호화된 데이터이다.
확장된 레이어: 기본적인 레이어의 상위 레이어는 확장된 레이어라고 한다.
레이어 식별자: 레이어 식별자는 계층적 레이어를 식별하기 위해서 존재하고, 계층적 레이어에 일대일로 대응한다. 계층적으로 부호화된 데이터는, 특정한 계층적 레이어 상의 복호화 이미지를 얻기 위해 복호화에 필요한, 부분적으로 부호화된 데이터를 선택하기 위해 사용되는 계층적인 식별자를 포함한다. 특정 레이어에 대응하는 레이어 식별자와 연관된, 계층적으로 부호화된 데이터의 서브 세트는 레이어 표현이라고도 한다.
일반적으로, 특정한 계층적 레이어 상의 복호화 이미지를 획득하는 복호화를 위해, 계층적 레이어 상의 레이어 표현 및/또는 관계있는 계층적 레이어의 하부 레이어에 대응하는 레이어 표현이 사용된다. 타겟 레이어 상의 복호화 이미지를 획득하는 복호화를 위하여, 타겟 레이어 상의 레이어 표현 및/또는 타겟 레이어보다 하부 레이어에 포함된 하나 이상의 레이어 표현이 사용된다.
층간 예측: 층간 예측은, 타겟 레이어 상의 레이어 표현과 다른 계층적 레이어(참조 레이어) 상의 레이어 표현에 포함된 신택스 엘리먼트 값에 기초하여, 타겟 값에 대한 신택스 엘리먼트 값, 즉, 타겟 레이어 및 이와 유사한 레이어를 복호화하기 위해 사용되는 부호화 파라미터, 신택스 엘리먼트 값으로부터 도출된 값 및 복호화 이미지를 예측한 것이다. 참조 레이어 상의 정보로부터 움직임 정보와 관련된 정보를 예측하는 층간 예측은, 움직임 정보 예측(motion information prediction)이라고 한다. 하부 레이어 상의 복호화 이미지로부터의 층간 예측은 층간 이미지 예측(또는 층간 텍스쳐 예측(inter-layer texture prediction))이라고 할 수 있다. 층간 예측에 사용되는 계층적 레이어가 타겟 레이어의 하부 레이어로서 예시되어 있다. 참조 레이어를 이용하지 않는, 타겟 레이어 내 예측은, 레이어 내 예측이라고 할 수 있다.
상술한 용어가 설명을 용이하게 하기 위하여 사용된다. 따라서, 전술한 기술적 사항은 다른 용어로 표현될 수도 있다.
[계층적으로 부호화된 데이터의 데이터 구조]
HEVC를 사용하는 경우와 그 확장된 방식이 부호화된 데이터를 각각의 계층적 레이어 상에 생성하기 위한 부호화 방식으로서 예시된다. 하지만, 예는 상술한 바에 제한되지 않는다. 이와 달리, 각각의 계층적 레이어 상의 부호화된 데이터가 MPEG-2 또는 H.264/AVC와 같은 부호화 방식에 따라 생성될 수도 있다.
하부 레이어 및 상위 레이어는, 서로 다른 부호화 방식에 따라 부호화될 수 있다. 각각의 계층적 레이어 상의 부호화된 데이터는, 서로 다른 전송 경로를 통해 계층적 비디오 복호화 장치(1)에 제공될 수 있거나, 또는 동일한 전송 경로를 통해 계층적 비디오 복호화 장치(1)에 제공될 수 있다.
예를 들어, 기본적인 레이어 및 하나의 확장된 레이어를 통해 초고선명 비디오(비디오, 4K 비디오 데이터)를 스케일 가능하게 부호화하고 부호화된 비디오를 전송하는 경우, 기본적인 레이어는, 4K 비디오 데이터를 다운스케일링하고 인터레이싱하여 얻어지는 비디오 데이터를 MPEG-2 또는 H.264/AVC에 따라 부호화하고, 텔레비전 방송 네트워크를 통해 부호화된 데이터를 전송할 수 있으며, 확장된 레이어는 HEVC를 통해 4K 비디오(프로그레시브)를 부호화하고 인터넷을 통해 부호화된 비디오를 전송할 수 있다.
(베이스 레이어)
도 3은 기본적인 레이어에 대해 채택된 부호화된 데이터(도 2의 예에서 계층적으로 부호화된 데이터(DATA#C))의 데이터 구조를 예시하는 도면이다. 계층적으로 부호화된 데이터(DATA#C)는 시퀀스 및 시퀀스를 예시적인 방식으로 구성하는 복수개의 픽쳐를 포함한다.
도 3은 계층적 레이어 계층적으로 부호화된 데이터의 데이터 구조(DATA#C)를 도시하고 있다. 도 3a 내지 3e는 시퀀스(SEQ)를 정의하는 시퀀스 레이어, 픽쳐(PICT)을 정의하는 픽쳐 레이어, 슬라이스(S)를 정의하는 슬라이스 레이어, 부호화된 트리 유닛(CTU)을 정의하는 CTU 레이어, 및 부호화된 트리 유닛(CTU)에 포함된 부호화 유닛(CU)를 정의하는 CU 레이어를 도시하는 도면이다.
(시퀀스 레이어)
시퀀스 레이어는, 프로세싱 타겟 시퀀스(SEQ(이하, 타겟 시퀀스라고도 함)를 복호화하기 위하여 계층적 비디오 복호화 장치(1)에 의해 참조되는 데이터의 세트를 정의한다. 도 3a에 도시된 바와 같이, 시퀀스(SEQ)는 비디오 파라미터 세트(VPS), 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS), 픽쳐(PICT1 내지 PICTNP)(NP는 시퀀스(SEQ)에 포함된 픽쳐의 전체 개수), 및 추가 향상 정보(supplemental enhancement information, SEI)를 포함하고 있다.
비디오 파라미터 세트(VPS)는 부호화된 데이터에 포함된 레이어의 개수, 및 층간 의존 관계를 정의한다.
시퀀스 파라미터 세트(SPS)는, 타겟 시퀀스를 복호화하기 위한 계층적 비디오 복호화 장치(1)에 의해 참조되는 부호화 파라미터의 세트를 정의한다. 복수개의 SPS가 부호화된 데이터에 존재할 수 있다. 이러한 경우, 복호화에 사용되는 SPS는 각각의 타겟 시퀀스에 대한 SPS 중에서 선택된다. 특정 시퀀스를 복호화하기 위해 사용되는 SPS는 액티브 SPS(active SPS)라고도 한다. 이하, 다르게 명시하지 않으면, SPS는 타겟 시퀀스에 대한 액티브 SPS를 의미한다.
픽쳐 파라미터 세트(PPS)는, 타겟 시퀀스 내에서 각각의 픽쳐를 복호화하기 위한 계층적 비디오 복호화 장치(1)에 의해 참조되는 부호화 파라미터의 세트를 정의한다. 복수개의 PPS가 부호화된 데이터에 존재한다는 것을 유의해야 한다. 이러한 경우, 임의의 PPS가 타겟 시퀀스 내에서 각각의 픽쳐로부터 선택된다. 복호화에 사용되어 특정 픽쳐를 획득하는 PPS는 액티브 PPS라고도 한다. 이하, 다르게 명시하지 않으면, PPS는 타겟 픽쳐에 대한 액티브 PPS를 의미한다. 액티브 SPS 및 액티브 PPS는 각각의 레이어에 대해 서로 다른 SPS 및 PPS로 설정될 수 있다.
(픽쳐 레이어)
픽쳐 레이어는, 프로세싱 타겟 픽쳐(PICT)(이하, 타겟 픽쳐라고도 함)를 복호화하기 위하여, 계층적 비디오 복호화 장치(1)에 의해 참조되는 데이터의 세트를 정의한다. 도 3b에 도시된 바와 같이, 픽쳐(PICT)은 슬라이스 헤더(SH1 내지 SHNS), 및 슬라이스(S1 내지 SNS)(NS는 픽쳐(PICT)에 포함된 슬라이스의 전체 개수임)을 포함한다.
이하, 슬라이스 헤더(SH1 내지 SHNS) 및 슬라이스(S1 내지 SNS)가 서로 구별될 필요가 없는 경우, 설명은 심볼의 아래 첨자없이 이루어질 수 있다. 이러한 생략은 후술하는 계층적으로 부호화된 데이터(DATA#C)에 포함되고 아래 첨자가 추가되는 다른 데이터에도 적용 가능하다.
슬라이스 헤더(SHk)는, 대응하는 슬라이스(Sk)를 복호화하는 방법를 정의하기 위하여, 계층적 비디오 복호화 장치(1)에 의해 참조되는 부호화 파라미터 그룹을 포함한다. 예를 들어, 이러한 헤더는 SPS를 지정하기 위한 SPS 식별자(seq_parameter_set_id), 및 PPS를 지정하기 위한 PPS 식별자(pic_parameter_set_id)를 포함한다. 슬라이스 타입을 지정하는 슬라이스 타입 지정 정보(slice_type)는 슬라이스 헤더(SH)에 포함된 부호화 파라미터의 예이다.
슬라이스 타입 지정 정보에 의해 지정될 수 있는 슬라이스 타입은, (1) 부호화 중에 픽쳐 내 예측을 이용하기만 하는 I 슬라이스, (2) 부호화 중에 단방향 예측 또는 픽쳐 내 예측을 이용하는 P 슬라이스, and (3) 부호화 중에 단방향 예측, 양방향 예측, 또는 픽쳐 내 예측을 이용하는 B 슬라이스를 포함한다.
(슬라이스 레이어)
슬라이스 레이어는, 프로세싱 타겟 슬라이스(S)(이하, 타겟 슬라이스라고도 함)를 복호화하기 위하여, 계층적 비디오 복호화 장치(1)에 의해 참조되는 데이터의 세트를 정의한다. 도 3c에 도시된 바와 같이, 슬라이스(S)는 부호화된 트리 유닛(CTU1 내지 CTUNC)(NC는 슬라이스(S)에 포함된 CTU의 전체 개수)을 포함한다.
(CTU 레이어)
CTU 레이어는, 프로세싱 타겟인 부호화된 트리 유닛(CTU)(이하, 타겟 CTU라고도 함)을 복호화하기 위하여, 계층적 비디오 복호화 장치(1)에 의해 참조되는 데이터의 세트를 정의한다. 이와 달리, 부호화된 트리 유닛은 부호화된 트리 블록 (CTB) 또는 가장 큰 부호화 유닛(LCU)이라고 할 수도 있다.
부호화된 트리 유닛(CTU)은 CTU 헤더(CTUH), 및 부호화 유닛 정보(CU1 내지 CUNL)(NL은 부호화 유닛 정보의 전체 개수임)를 포함한다. 먼저, 이하에서는 부호화된 트리 유닛(CTU)과 부호화 유닛 정보(CU) 사이의 관계에 대해 설명한다.
부호화된 트리 유닛(CTU)은, 픽쳐 내 예측 프로세스 또는 픽쳐 간 예측 및 변환 프로세스 중 각각의 프로세스에 대한 블록 크기를 결정하기 위한 유닛으로 분할된다.
부호화된 트리 유닛(CTU)의 유닛은 재귀적 쿼드 트리 분할(recursive quadtree splitting)에 따라 분할된다. 재귀적 쿼드 트리 분할에 의해 획득되는 트리 구조는 부호화 트리(coding tree)라고 한다.
이하, 부호화 트리의 종단 노드인 리프(leaf)에 대응하는 유닛은, 부호화 노드로서 참조되고 또한 부호화 노드로서 간주된다. 부호화된 노드는 부호화 프로세스의 기본적인 유닛의 역할을 한다. 따라서, 부호화된 노드는 이하에서 부호화 유닛(CU)이라고도 한다.
즉, 부호화 유닛 정보(이하, 호출된 CU 정보)(CU1 내지 CUNL)는 부호화된 트리 유닛(CTU)에 재귀적 쿼드 트리 분할을 적용함으로써 얻어지는 각각의 부호화된 노드(부호화 단위)에 대응하는 정보이다.
부호화된 트리의 루트는 부호화된 트리 유닛(CTU)과 연관된다. 다시 말해, 부호화된 트리 유닛(CTU)은 쿼드 트리 분할을 통해 얻어졌던 트리 구조의 최상 노드와 연관되고 재귀적으로 부호화된 노드를 포함한다.
각각의 부호화된 노드의 크기는, 가로방향 및 세로방향으로 각각의 부호화된 노드의 부모 노드(즉, 각각의 부호화된 노드보다 한 개의 레이어만큼 높음)인 부호화된 노드 크기의 절반이다.
부호화된 트리 유닛(CTU)의 크기 및 각각의 부호화된 유닛의 가능한 크기는, 시퀀스 파라미터 세트(SPS)에 포함된 최소로 부호화된 노드 상에서 크기 지정 정보, 및 최대 부호화된 노드와 최소로 부호화된 노드 사이의 계층적인 깊이에서의 차이에 의해 결정된다. 예를 들어, 최소로 부호화된 노드의 크기가 8?8 화소이고 최대 부호화된 노드와 최소로 부호화된 노드 사이의 계층적인 깊이에서의 차이가 3인 경우, 부호화된 트리 유닛(CTU)의 크기는 64?64 화소이고 부호화된 노드의 크기는 네가지 크기, 즉, 64?64 화소, 32?32 화소, 16?16 화소, 및 8?8 화소 중 임의의 크기일 수 있다.
(CTU 헤더)
CTU 헤더(CTUH)는, 타겟 CTU를 복호화하는 방법을 정의하기 위하여, 계층적 비디오 복호화 장치(1)에 의해 참조되는 부호화 파라미터를 포함한다. 보다 구체적으로, 도 3d에 도시된 바와 같이, 이러한 헤더는 타겟 CTU에 대한 각각의 CU로의 분할 패턴를 지정하기 위한 CTU 분할 정보(SP_CTU), 및 정량화 단계의 크기를 지정하기 위한 정량화 파라미터 차이 Dqp (qp_delta)를 포함한다.
CTU 분할 정보(SP_CTU)는 CTU를 분할하기 위한 부호화 트리를 나타내는 정보이다. 보다 구체적으로, 이 정보는 타겟 CTU에 포함된 각각의 CU의 모양과 크기 및 타겟 CTU에서의 이러한 CU의 위치를 지정한다.
CTU 분할 정보(SP_CTU)는 CU의 모양과 크기를 명시적으로 포함할 필요는 없다. 예를 들어, CTU 분할 정보(SP_CTU)는, 전체 타겟 CTU 또는 CTU의 일부 영역을 쿼드트리 분할(quadtree-split)할지 여부를 나타내는 플래그의 세트일 수 있다. 이러한 경우, CTU의 모양과 크기를 결합하여 사용하는 것은 각각의 CU의 모양과 크기를 결정할 수 있다.
(CU 레이어)
CU 레이어는, 프로세싱 타겟 CU(이하, 타겟 CU라고도 함)를 복호화하기 위하여, 계층적 비디오 복호화 장치(1)에 의해 참조되는 데이터의 세트를 정의한다.
CU 정보(CU)에 포함된 데이터의 세부사항에 대해 구체적으로 설명하기 전에, CU에 포함된 데이터의 트리 구조에 대해 설명한다. 부호화된 노드는 예측 트리(PT)의 루트 및 변환 트리(TT)를 따르는 노드이다. 예측 트리 및 변환 트리에 대해 설명하면 다음과 같다.
예측 트리는 하나 이상의 예측 블록으로 분할된 부호화된 노드를 가지고 있고, 각각의 예측 블록의 위치 및 크기를 정의한다. 다시 말해, 예측 블록은 서로 중첩되지 않고 부호화된 노드를 구성하는 하나 이상의 영역이다. 예측 트리는 전술한 분할을 통해 획득된 하나 이상의 예측 블록을 포함한다.
예측 프로세스는 각각의 예측 블록에 대해 수행된다. 이하, 예측의 유닛인 예측 블록은, 예측 유닛(PU)이라고도 한다.
예측 트리의 분할 타입(이하, PU 분할로 약칭)은, 픽쳐 내 예측인 경우 및 픽쳐 간 예측인 경우로 대략 분류된다.
화면 내 예측인 경우, 분할 방법은 2N?2N(부호화된 노드와 동일한 크기) 및 N?N이다. 화면 간 예측인 경우, 분할 방법은 2N?2N(부호화된 노드와 동일한 크기), 2N?N, 2N?nU, 2N?nD, N?2N, nL?2N, nR?2N 등이다.
변환 트리는 하나 이상의 변환 블록으로 분할된 부호화된 노드를 가지고 있고, 각각의 변환 블록의 위치 및 크기를 정의한다. 다시 말해, 변환 블록은 서로 중첩되지 않고 부호화된 노드를 구성하는 하나 이상의 영역이다. 변환 트리는 전술한 분할을 통해 획득된 하나 이상의 변환 블록을 포함한다.
변환 트리에서의 분할은, 부호화된 노드와 동일한 크기를 가지는 영역을 변환 블록으로 할당하는 분할, 및 전술한 트리 블록 분할과 같은 재귀적 쿼드 트리 분할에 따른 분할로 분류된다.
변환 프로세스는 각각의 변환 블록에 대해 수행된다. 이하, 변환의 유닛인 변환 블록은, 변환 유닛(TU)이라고도 한다.
(CU 정보의 데이터 구조)
이어서, 도 3e를 참조하여, CU 정보에 포함된 데이터의 특정 세부사항에 대해 설명한다. 도 3e에 도시된 바와 같이, 구체적으로, CU 정보는 스킵 플래그(skip flag, SKIP), 예측 트리 정보(predictive tree information, PTI)(이하, PT 정보로 약칭), 및 변환 트리 정보(transform tree information, TTI)(이하, TT 정보로 약칭)를 포함한다.
스킵 플래그(SKIP)는 스킵 모드가 타겟 PU에게 적용되었는지 여부를 나타내는 플래그이다. 스킵 플래그(SKIP)가 1의 값을 가지는 경우, 즉, 스킵 모드가 타겟 CU에 적용되는 경우, CU 정보(CU) 내 PT 정보(PTI)의 일부 및 TT 정보(TTI)가 생략된다. 스킵 플래그(SKIP)는 I 슬라이스에서 생략된다.
[PT 정보]
PT 정보(PTI)는, CU에 포함된 예측 트리(이하, PT로 약칭)와 관계가 있는 정보이다. 다시 말해, PT 정보(PTI)는 PT에 포함된 하나 이상의 PU와 관련된 정보의 세트이고, 예측 이미지가 생성된 경우 계층적 비디오 복호화 장치(1)에 의해 참조된다. 도 3e에 도시된 바와 같이, PT 정보(PTI)는 예측 타입 정보(Ptype), 및 예측 정보(Pinfo)를 포함한다.
예측 타입 정보(Ptype)는 타겟 PU에 대한 예측 이미지 생성 방법을 지정하는 정보이다. 베이스 레이어 상에서, 이러한 정보는 픽쳐 내 예측을 이용할지 또는 픽쳐 간 예측을 이용할지 여부를 지정한다.
예측 정보(Pinfo)는 예측 타입 정보(Ptype)에 의해 지정된 예측 방법에서 사용되는 예측 정보이다. 베이스 레이어 상에서, 픽쳐 내 예측인 경우 픽쳐 내 예측 정보(PP_Intra)가 포함된다. 픽쳐 간 예측에서는, 픽쳐 간 예측 정보(PP_Inter)가 포함된다.
픽쳐 간 예측 정보(PP_Inter)는, 이러한 장치가 픽쳐 간 예측을 통해 픽쳐 간 예측 이미지를 생성하는 경우 계층적 비디오 복호화 장치(1)에 의해 참조되는 예측 정보를 포함한다. 보다 구체적으로, 픽쳐 간 예측 정보(PP_Inter)는, 타겟 CU를 각각의 인터 PU로 분할하는 패턴, 및 각각의 인터 PU에 대한 픽쳐 간 예측 파라미터(움직임 보상 파라미터)를 지정하는 PU간 분할 정보를 포함한다. 픽쳐 간 예측 파라미터는 예를 들어, 병합 플래그(merge_flag), 병합 인덱스(merge_idx), 추정 움직임 벡터 인덱스(mvp_idx), 참조 픽쳐 인덱스(ref_idx), 픽쳐 간 예측 플래그(inter_pred_flag), 및 움직임 벡터 레지듀(motion vector residue, mvd)를 포함한다.
픽쳐 내 예측 정보(PP_Intra)는, 이러한 장치가 픽쳐 내 예측을 통해 픽쳐 내 예측 이미지를 생성하는 경우 계층적 비디오 복호화 장치(1)에 의해 참조되는 부호화 파라미터를 포함한다. 보다 구체적으로, 픽쳐 내 예측 정보(PP_Intra)는, 타겟 CU를 각각의 인트라 PU로 분할하는 패턴, 및 각각의 인트라 PU에 대한 픽쳐 내 예측 파라미터를 지정하는 PU 내 분할 정보를 포함한다. 픽쳐 내 예측 파라미터는, 각각의 인트라 PU에 대한 픽쳐 내 예측 방법(예측 모드)를 지정하기 위한 파라미터이다.
[TT 정보]
TT 정보(transform tree information, TTI)는, CU에 포함된 변환 트리(이하, TT로 약칭)와 관계가 있는 정보이다. 다시 말해, TT 정보(TTI)는 TT에 포함된 하나 이상의 변환 블록과 관련된 정보의 세트이고, 이러한 장치가 레지듀 데이터를 획득하기 위하여 복호화를 수행하는 경우 계층적 비디오 복호화 장치(1)에 의해 참조된다.
도 3e에 도시된 바와 같이, TT 정보(TTI)는 타겟 CU를 각각의 변환 블록으로 분할하는 패턴을 지정하는 TT 분할 정보(SP_TT), 및 정량화 예측 레지듀(QD1 내지 QDNT)(NT는 타겟 CU에 포함된 블록의 전체 개수)를 포함한다.
보다 구체적으로, TT 분할 정보(SP_TT)는, 각각의 타겟 CU에 포함된 변환 블록의 형상, 및 타겟 CU 내에서의 위치를 결정하기 위한 정보이다. 예를 들어, TT 분할 정보(SP_TT)는, 타겟 노드를 분할할지 여부를 나타내는 정보(split_transform_unit_flag), 및 분할의 깊이를 나타내는 정보(trafoDepth)를 이용하여 얻을 수 있다.
예를 들어, CU 크기가 64?64인 경우, 분할에 의해 획득되는 각각의 변환 블록의 크기는, 32?32 화소 내지 4?4 화소 범위일 수 있다.
각각의 정량화 예측 레지듀(quantization predictive residue, QD)는 처리될 변환 블록인 타겟 블록에 다음의 프로세스 1 내지 3을 적용하는 계층적 비디오 부호화 장치(2)에 의해 생성되는, 부호화된 데이터이다.
프로세스 1: 주파수 변환(예를 들어, 이산 코사인 변환(Discrete Cosine Transform, DCT 변환) 및 이산 정현 변환(Discrete Sine Transform, DST 변환) 등)을 부호화 타겟 이미지로부터 예측 이미지를 차감함으로써 얻어지는 예측 레지듀에 적용한다.
프로세스 2: 프로세스 1에서 획득된 변환 계수를 정량화한다.
프로세스 3: 프로세스 2에서 정량화된 변환 계수를 가변 길이로 부호화(Variable-length coding)한다.
전술한 정량화 파라미터(qp)는, 변환 계수(QP = 2qp/6)를 정량화하기 위하여 계층적 비디오 부호화 장치(2)에 의해 사용되는 정량화 단계(QP)의 크기를 나타낸다.
(PU 분할 정보)
타겟 CU가 2N?2N 화소의 크기를 가진다면, PU 분할 정보에 의해 지정된 PU 분할의 타입은 다음의 총 8개 패턴을 포함한다. 즉, 2N?2N 화소, 2N?N 화소, N?2N 화소, 및 N?N 화소의 분할인 4개의 대칭적인 분할, 및 2N?nU 화소, 2N?nD 화소, nL?2N 화소, 및 nR?2N 화소의 분할인 4개의 비대칭적인 분할이다. N = 2m(m은 1 이상의 임의의 정수)이라는 것을 유의해야 한다. 이하, 타겟 CU를 분할하여 얻어지는 예측 유닛은, 예측 블록(predictive block) 또는 파티션(partition)이라고 한다.
(확장된 레이어)
예를 들어, 도 3에 도시된 데이터 구조와 실질적으로 동일한 데이터 구조가, 확장된 레이어의 레이어 표현(이하, 확장된 레이어 부호화된 데이터라고 함)에 포함된 부호화된 데이터에 대해 채택될 수 있다. 후술하는 바와 같이, 추가적인 정보가 확장된 레이어 부호화된 데이터에 추가될 수 있고, 파라미터는 확장된 레이어 부호화된 데이터로부터 생략될 수 있다.
슬라이스 레이어 상에서, 공간 스케일러빌리티의 계층적 레이어 상의 아이디 정보의 조각들, 즉, 각각이 dependency_id, temporal_id, quality_id, 및 view_id인 시간 스케일러빌리티, SNR 스케일러빌리티, 및 뷰 스케일러빌리티가 부호화될 수 있다.
CU 정보(CU)에 포함된 예측 타입 정보(Ptype)는, 픽쳐 내 예측, 픽쳐 간 예측, 및 타겟 CU에 대한 예측 이미지 생성 방법으로서의 층간 이미지 예측 중 임의의 예측을 지정하는 정보이다. 예측 타입 정보(Ptype)는, 층간 이미지 예측 모드를 적용한 것 또는 적용하지 않은 것을 지정하는 플래그(층간 이미지 예측 플래그)를 포함한다. 층간 이미지 예측 플래그는 texture_rl_flag, inter_layer_pred_flag, 또는 base_mode_flag라고 할 수 있다.
확장된 레이어 상에서, 타겟 CU의 CU 타입은 intra CU, inter-layer CU, inter-CU, 및 skip CU 중 임의의 CU로 지정될 수 있다.
intra CU 는 베이스 레이어 상의 intra CU와 유사한 방식으로 정의될 수 있다. intra CU에서, 층간 이미지 예측 플래그가 "0"으로 설정되고, 예측 모드 플래그는 "0"으로 설정된다.
inter-layer CU는, 참조 레이어 상의 픽쳐의 복호화 이미지를 사용하여 예측 이미지를 생성하는 CU로 정의될 수 있다. inter-layer CU에서, 층간 이미지 예측 플래그가 "1"로 설정되고, 예측 모드 플래그는 "0"으로 설정된다.
skip CU는, HEVC 방식과 유사한 방식으로 정의될 수 있다. 예를 들어, skip CU에서, 스킵 플래그는 "1"로 설정된다.
inter-CU는 넌 스킵(non-skip)인 CU로서 움직임 보상(MC)이 적용된 CU로 정의될 수 있다. inter-CU에서, 예를 들어, 스킵 플래그가 "0"으로 설정되고, 예측 모드 플래그는 "1"로 설정된다.
상술한 바와 같이, 확장된 레이어 상의 부호화된 데이터는, 하부 레이어 상의 부호화 방식과는 다른 부호화 방식에 따라 생성될 수 있다. 즉, 확장된 레이어 상의 부호화 및 복호화 프로세스는, 하부 레이어 상의 코덱의 타입에 의존하지 않는다.
예를 들어, 하부 레이어는 MPEG-2 또는 H.264/AVC 방식에 따라 부호화될 수 있다.
확장된 레이어 부호화된 데이터는 확장된 VPS를 가질 수 있고, 층간 참조 구조를 나타내는 파라미터를 포함할 수 있다.
확장된 레이어 부호화된 데이터는 확장된 SPS, PPS, 및 슬라이스 헤더를 가질 수 있고, 층간 이미지 예측에 사용되는 참조 레이어 상의 복호화 이미지와 관련된 정보(예컨대, 후술할 층간 예측 픽쳐 세트, 베이스 제어 정보 등을 직접 또는 간접적으로 도출하기 위한 신택스)를 포함할 수 있다.
상술한 각각의 파라미터는 별도로 부호화될 수 있다. 이와 달리, 파라미터는 복잡한 방식으로 함께 부호화될 수 있다. 파라미터를 복잡한 방식으로 함께 부호화하는 경우, 인덱스가 파라미터 값의 조합에 할당된다. 할당된 인덱스는 부호화된다. 파라미터가 다른 파라미터 또는 다른 복호화 정보로부터 도출될 수 있으면, 관련된 파라미터의 부호화가 생략될 수 있다.
[픽쳐, 타일, 및 슬라이스 사이의 관계]
다음으로, 본 발명에 따른, 중요한 개념인 픽쳐, 타일, 및 슬라이스에 대해, 도 4를 참조하여 상호간의 관계 및 부호화된 데이터와의 관계에 대해 설명한다. 도 4는 계층적으로 부호화된 데이터 내에서 픽쳐, 타일 및 슬라이스 간의 관계를 설명하기 위한 도면이다. 타일은 픽쳐 내에서의 직사각형의 일부 영역, 및 이러한 일부 영역과 관련된 부호화된 데이터와 연관된다. 슬라이스는, 픽쳐 내에서의 일부 영역, 및 이러한 일부 영역과 관련된 부호화된 데이터, 즉, 이러한 일부 영역과 관련된 슬라이스 헤더 및 슬라이스 데이터와 연관된다.
도 4a는 픽쳐를 타일 및 슬라이스로 분할하는 경우 분할된 영역을 예시하고있다. 도 4a에서, 픽쳐는 6개의 직사각형 타일(T00, T01, T02, T10, T11, 및 T12)로 분할된다. 각각의 타일(T00), 타일(T02), 타일(T10), 및 타일(T12)은 하나의 슬라이스(순차적으로, 슬라이스(S00), 슬라이스(S02), 슬라이스(S10), 및 슬라이스(S12))를 포함한다. 한편, 타일(T01)은 2개의 슬라이스(슬라이스(S01a) 및 슬라이스(S01b))를 포함하고, 타일(T11)은 2개의 슬라이스(슬라이스(S11a) 및 슬라이스(S11b))를 포함한다.
도 4b는 부호화된 데이터의 구조에서 타일과 슬라이스 간의 관계를 예시하고있다. 먼저, 부호화된 데이터는 VCL(비디오 부호화 레이어) NAL 유닛 및 비-VCL NAL(non-VCL NAL) 유닛을 포함한다. 하나의 픽쳐에 상응하는 비디오 부호화 레이어 상의 부호화된 데이터는 VCL NAL을 포함한다. 픽쳐가 타일로 분할되는 경우, 픽쳐에 상응하는 부호화된 데이터는 래스터 순서(raster order)의 타일 내의 타일에 상응하는 부호화된 데이터를 포함한다. 즉, 도 4a에 도시된 바와 같이, 픽쳐가 타일로 분할되는 경우, 타일(T00, T01, T02, T10, T11 및 T12)에 상응하는 부호화된 데이터가 이러한 순서에 포함된다. 타일이 복수의 슬라이스로 분할되는 경우, 리딩 슬라이스(leading slice)의 CTU에 관해, 슬라이스에 상응하는 부호화된 데이터는, 래스터 스캔 순서에서 앞쪽에 위치한, 타일 내의 슬라이스로부터, 타일에 상응하는 부호화된 데이터에 포함된다. 예를 들어, 도 4a에 도시된 바와 같이, 타일(T01)이 슬라이스(S01a 및 S01b)를 포함하는 경우, 슬라이스에 상응하는 부호화된 데이터는 순차적으로, 슬라이스(S01a) 및 슬라이스(S01b)의 순서로 타일(T01)에 상응하는 부호화된 데이터에 포함된다.
전술한 설명에 따라 이해할 수 있는 바와 같이, 하나 이상의 슬라이스에 대응하는 부호화된 데이터는, 픽쳐 내 특정 타일에 상응하는 부호화된 데이터와 연관된다. 따라서, 타일과 연관된 슬라이스의 복호화 이미지가 생성될 수 있으면, 픽쳐 내 일부 영역의 복호화 이미지는 타일에 대응한다.
이하, 다르게 설명하지 않으면, 픽쳐, 타일, 및 슬라이스 간의 관계는 상술한 바와 같다는 가정하에 설명한다.
[복호화 장치, 부호화 장치 및 변환 장치를 결합하는 시스템]
본 실시예에 따른 계층적 비디오 복호화 장치(1), 계층적 비디오 부호화 장치(2) 및 부호화된 데이터 변환 장치(3)를 설명하기 전에, 계층적 비디오 복호화 장치(1), 계층적 비디오 부호화 장치(2) 및 부호화된 데이터 변환 장치(3)를 결합하여 얻어지는 시스템의 예에 대해 도 5을 참조하여 우선 설명한다. 도 5는 계층적 비디오 복호화 장치(1), 계층적 비디오 부호화 장치(2) 및 부호화된 데이터 변환 장치(3)를 결합하여 얻어지는 시스템(SYS_ROI1)을 예시하고 있고, 이러한 시스템은 계층적인 비디오를 전송하고 재생한다.
시스템(SYS_ROI1)은, 계층적 비디오 부호화 장치(2#L) 및 계층적 비디오 부호화 장치(2#H)가 계층적으로 저품질 입력 이미지(PIN#L) 및 고품질 입력 이미지(PIN#H)를 각각 부호화하고 계층적으로 부호화된 데이터(BSALL)를 생성하게 한다.
계층적으로 부호화된 데이터(BSALL)는, 전체 고품질 입력 이미지(PIN#H)에 대응하는 부호화된 데이터를 계층적으로 상위 레이어 상의 부호화된 데이터(확장된 레이어)로서 포함한다. 계층적으로 부호화된 데이터(BSALL)는, 전체 저품질 입력 이미지(PIN#L)에 대응하는 부호화된 데이터를 하부 레이어(베이스 레이어) 상의 계층적으로 부호화된 데이터로서 포함한다. 계층적으로 부호화된 데이터(BSALL)가 계층적 비디오 복호화 장치(1#A)로 입력되는 경우, 고품질 재생된 이미지(DOUT#H) 및 저품질 재생된 이미지(DOUT#L)가 출력된다.
계층적으로 부호화된 데이터(BSALL)가 부호화된 데이터 변환 장치(3)로 입력되는 경우, 계층적으로 부호화된 데이터(BSROI)가 입력 관심 영역(ROI)에 기초하여 생성된다. 계층적으로 부호화된 데이터(BSROI)는, 고품질 입력 이미지(PIN#H) 내 관심 영역(ROI)에서 상응하는 부분 상의 부호화된 데이터를 계층적으로 상위 레이어 상의 부호화된 데이터(확장된 레이어)로서 포함한다. 또한, 계층적으로 부호화된 데이터(BSROI)는, 전체 저품질 입력 이미지(PIN#L)에 대응하는 부호화된 데이터를 하부 레이어(베이스 레이어) 상의 계층적으로 부호화된 데이터로서 포함한다. 계층적으로 부호화된 데이터(BSROI)가 계층적 비디오 복호화 장치(1#R)로 입력되는 경우, 고품질 입력 이미지(PIN#H)에 대응하면서 관심 영역(ROI)에 대응하는 복호화 이미지(DROI#H)가 출력된다. 또한, 저품질 입력 이미지(PIN#L)에 대응하는 복호화 이미지(DOUT#L)가 출력된다.
계층적 비디오 복호화 장치(1), 계층적 비디오 부호화 장치(2) 및 부호화된 데이터 변환 장치(3)에 대한 다음의 설명에서, 시스템(SYS_ROI1)에서 사용하는 것을 가정하여 설명할 것이다. 하지만, 각각의 장치를 사용하는 것이 반드시 시스템(SYS_ROI1) 내에서 사용하는 것에 제한되지 않는다.
[계층적 비디오 복호화 장치]
이하, 도 1 내지 도 15를 참조하여 본 실시예에 따른 계층적 비디오 복호화 장치(1)의 구성에 대해 설명한다.
(계층적 비디오 복호화 장치의 구성)
도 6을 참조하여, 계층적 비디오 복호화 장치(1)의 개략적인 구성에 대해 설명하면 다음과 같다. 도 6은 계층적 비디오 복호화 장치(1)의 개략적인 구성을 도시한 기능적 블록도이다. 계층적 비디오 복호화 장치(1)는, 계층적으로 부호화된 데이터(DATA)( 계층적 비디오 부호화 장치(2)로부터 제공된 계층적으로 부호화된 데이터(DATAF) 또는 부호화된 데이터 변환 장치(3)로부터 제공된 계층적으로 부호화된 데이터(DATAR))를 복호화하고, 타겟 레이어 상에 복호화 이미지(POUT#T)를 생성한다. 이하, 타겟 레이어는 기본적인 레이어가 참조 레이어로서 채택되는 확장된 레이어라는 것을 가정하여 설명한다. 따라서, 타겟 레이어는 참조 레이어 대해 상위 레이어다. 이와는 반대로, 참조 레이어는 타겟 레이어 대해 하부 레이어이다.
도 6에 도시된 바와 같이, 계층적 비디오 복호화 장치(1)는, NAL 역다중화 유닛(11), 파라미터 세트 복호화 유닛(12), 타일 설정 유닛(13), 슬라이스 복호화 유닛(14), 베이스 복호화 유닛(15), 및 복호화된 픽쳐 관리 유닛(16)를 포함한다.
NAL 역다중화 유닛(11)은, NAL(네트워크 추상화 레이어) 상에 NAL 유닛 단위로 전송되는, 계층적으로 부호화된 데이터(DATA)를 역다중화한다.
NAL은, VCL(비디오 부호화 레이어)과 부호화된 데이터를 전송하고 축적하기 위한 하부 시스템 간의 통신을 추상화하기 위해 제공되는 레이어이다.
VCL은 비디오 부호화 프로세스를 수행하기 위한 레이어이다. VCL 상에서, 부호화가 수행된다. 한편, 소위 하부 시스템은 H.264/AVC 및 HEVC, 및 MPEG-2 시스템의 파일 포맷에 대응한다.
NAL에서, VCL 상에 생성된 비트 스트림은 NAL 유닛인 단위로 구분되고, 목적지인 하부 시스템으로 전송된다. NAL 유닛은, VCL 상에 부호화된 부호화된 데이터, 및 이러한 부호화된 데이터가 목적지인 하부 시스템으로 적절하게 전달될 수 있게 하는 헤더를 포함한다. 각각의 계층적 레이어 상의 부호화된 데이터는 NAL 유닛으로 저장되어 이렇게 NAL-다중화되고, 계층적 비디오 복호화 장치(1)로 전송된다.
계층적으로 부호화된 데이터(DATA)는, VCL에 의해 생성된 NAL을 포함할 뿐만 아니라 파라미터 세트(VPS, SPS 및 PPS) 및 SEI를 포함하는 NAL도 포함한다. 이러한 NAL은, VCL NAL과 구별되는 "비-VCL NAL(non-VCL NAL)"이라고 한다.
NAL 역다중화 유닛(11)은, 계층적으로 부호화된 데이터(DATA)를 역다중화하고, 타겟 레이어 부호화된 데이터(DATA#T) 및 참조 레이어 부호화된 데이터(DATA#R)를 골라낸다. NAL 역다중화 유닛(11)은, 타겟 레이어 부호화된 데이터(DATA#T)에 포함된 NAL중에서, 비-VCL NAL을 파라미터 세트 복호화 유닛(12)에 공급하고, VCL NAL을 슬라이스 복호화 유닛(14)에 공급한다.
파라미터 세트 복호화 유닛(12)은 파라미터 세트, 즉, VPS, SPS 및 PPS를 얻기 위해 입력 비-VCL NAL을 복호화하고, 타일 설정 유닛(13) 및 슬라이스 복호화 유닛(14)에 세트를 공급한다. 파라미터 세트 복호화 유닛(12)에서 본 발명과 중요한 관계를 가지고 있는 프로세스의 세부사항에 대해서는 나중에 설명한다.
타일 설정 유닛(13)은, 입력 파라미터 세트에 기초하여 픽쳐 상의 타일 정보를 도출하고, 슬라이스 복호화 유닛(14)에 정보를 공급한다. 타일 정보는 픽쳐 상의 적어도 타일 분할 정보를 포함한다. 타일 설정 유닛(13)의 세부사항에 대해서는 나중에 설명한다.
슬라이스 복호화 유닛(14)은 입력된 VCL NAL, 파라미터 세트, 타일 정보 및 참조 픽쳐에 기초하여 복호화된 픽쳐 또는 복호화된 픽쳐의 일부 영역을 생성하고, 복호화된 픽쳐 관리 유닛(16) 내 버퍼에 복호화된 픽쳐 또는 그 픽쳐의 일부 영역을 기록한다. 슬라이스 복호화 유닛의 세부사항에 대해서는 나중에 설명한다.
복호화된 픽쳐 관리 유닛(16)은, 참조 픽쳐 목록을 생성하고 출력 픽쳐를 결정하는 동안, 입력되는 복호화된 픽쳐 및 베이스 복호화된 픽쳐를 내부의 복호화된 픽쳐 버퍼(decoded picture buffer, DPB)에 기록한다. 복호화된 픽쳐 관리 유닛(16)은, DPB에 미리 정해진 타이밍에 기록된 복호화된 픽쳐를 출력 픽쳐(POUT#T)로서 외부로 출력한다.
베이스 복호화 유닛(15)은, 베이스 복호화 픽쳐를 얻기 위해 참조 레이어 부호화된 데이터(DATA#R)를 복호화한다. 베이스 복호화된 픽쳐는, 타겟 레이어 상에 복호화된 픽쳐를 복호화하는 중에 사용되는 참조 레이어 상의 복호화된 픽쳐이다. 베이스 복호화 유닛(15)은, 복호화된 픽쳐 관리 유닛(16) 내 DPB에 복호화 베이스 복호화된 픽쳐를 기록한다.
도 7을 참조하여, 베이스 복호화 유닛(15)의 세부 구성에 대해 설명한다. 도 7은 베이스 복호화 유닛(15)의 구성을 예시하는 기능적 블록도이다.
도 7에 도시된 바와 같이, 베이스 복호화 유닛(15)은 베이스 NAL 역다중화 유닛(151), 베이스 파라미터 세트 복호화 유닛(152), 베이스 타일 설정 유닛(153), 베이스 슬라이스 복호화 유닛(154), 및 베이스 복호화된 픽쳐 관리 유닛(156)을 포함한다.
베이스 NAL 역다중화 유닛(151)은, 참조 레이어 부호화된 데이터(DATA#R)를 역다중화하고, VCL NAL 및 비-VCL NAL을 추출하며, 베이스 슬라이스 복호화 유닛(154)을 VCL NAL에 공급하면서 동시에 베이스 파라미터 세트 복호화 유닛(152)에 비-VCL NAL을 공급한다.
베이스 파라미터 세트 복호화 유닛(152)은 파라미터 세트를 획득하기 위하여 입력되는 비-VCL NAL, 즉, VPS, SPS 및 PPS를 복호화하고, 이러한 세트를 베이스 타일 설정 유닛(153) 및 베이스 슬라이스 복호화 유닛(154)에 공급한다.
베이스 타일 설정 유닛(153)은, 입력 파라미터 세트에 기초하여 픽쳐 상의 타일 정보를 도출하고, 베이스 슬라이스 복호화 유닛(154)에 정보를 공급한다.
베이스 슬라이스 복호화 유닛(154)은, 입력된 VCL NAL, 파라미터 세트, 타일 정보 및 참조 픽쳐에 기초하여 복호화된 픽쳐 또는 복호화된 픽쳐의 일부 영역을 생성하고, 복호화된 픽쳐 또는 그 픽쳐의 일부 영역을 베이스 복호화된 픽쳐 관리 유닛(156) 내 버퍼에 기록한다.
베이스 복호화된 픽쳐 관리 유닛(156)은, 참조 픽쳐 목록을 생성하고 출력 픽쳐를 결정하면서 동시에 입력 복호화된 픽쳐를 내부의 DPB에 기록한다. 베이스 복호화된 픽쳐 관리 유닛(156)은, 미리 정해진 타이밍에 DPB에 기록된 복호화된 픽쳐를 베이스 복호화 픽쳐로서 출력한다.
(파라미터 세트 복호화 유닛(12))
파라미터 세트 복호화 유닛(12)은, 타겟 레이어를 복호화하기 위해 사용될 파라미터 세트(VPS, SPS 및 PPS)를 획득하여 출력하기 위하여, 입력되는 타겟 레이어 부호화된 데이터를 복호화한다. 일반적으로, 파라미터 세트는 미리 정해진 신택스 테이블에 기초하여 복호화된다. 즉, 비트 시퀀스가 부호화된 데이터로부터 신택스 테이블에 정의된 절차에 따라 판독되고, 신택스 테이블에 포함된 신택스의 신택스 값을 획득하기 위하여 복호화된다. 필요에 따라, 변수가 복호화 신택스 값에 기초하여 도출되어 출력될 파라미터 세트에 포함될 수도 있다. 따라서, 파라미터 세트 복호화 유닛(12)으로부터 출력된 파라미터 세트는, 부호화된 데이터에 포함된 파라미터 세트(VPS, SPS 및 PPS)와 관련된 신택스의 신택스 값, 및 신택스 값으부터 도출된 변수들의 세트로서 나타낼 수 있다.
이하에서는, 파라미터 세트 복호화 유닛(12)에서 복호화에 사용되는 신택스 테이블 중에서, 본 발명과 밀접한 관계를 가지는 픽쳐 정보 ?? 층간 위치 대응 정보와 관련된 신택스 테이블의 일부에 대해 자세히 설명한다.
(픽쳐 정보)
파라미터 세트 복호화 유닛(12)은, 픽쳐 정보를 획득하기 위하여 입력되는 타겟 레이어 부호화된 데이터를 복호화한다. 픽쳐 정보는 타겟 레이어 상의 복호화된 픽쳐의 크기를 개략적으로 정의하는 정보이다. 예를 들어, 픽쳐 정보는 타겟 레이어 상의 복호화된 픽쳐의 너비 및 높이를 나타내는 정보를 포함한다.
예를 들어, 픽쳐 정보는 SPS에 포함된다. SPS로부터 복호화되는 픽쳐 정보는, 복호화된 픽쳐(pic_width_in_luma_samples)의 너비 및 복호화된 픽쳐(pic_height_in_luma_samples)의 높이를 포함한다. 신택스(pic_width_in_luma_samples)의 값은, 복호화된 픽쳐의 루마 화소(luma pixel) 단위의 너비에 대응한다. 신택스(pic_height_in_luma_samples)의 값은, 복호화된 픽쳐의 루마 화소 단위의 높이에 대응한다.
(표시 영역 정보)
파라미터 세트 복호화 유닛(12)은, 표시 영역 정보를 획득하기 위하여 입력되는 타겟 레이어 부호화된 데이터를 복호화한다. 예를 들어, 표시 영역 정보는 SPS에 포함된다. SPS로부터 복호화되는 표시 영역 정보는 표시 영역 플래그(conformance_flag)를 포함한다. 표시 영역 플래그는, 표시 영역의 위치를 나타내는 정보(표시 영역 위치 정보)가 추가적으로 SPS에 포함되었는지 여부를 나타낸다. 즉, 표시 영역 플래그가 1인 경우, 이 플래그는 표시 영역 위치 정보가 추가적으로 포함된 것을 나타낸다. 표시 영역 플래그가 0인 경우, 이 플래그는 표시 영역 위치 정보가 추가적으로 포함되지 않은 것을 나타낸다.
표시 영역 정보가 하나인 경우, SPS로부터 복호화된 표시 영역 정보는, 표시 영역 좌측 오프셋(conf_win_left_offset), 표시 영역 우측 오프셋(conf_win_right_offset), 표시 영역 상단 오프셋(conf_win_top_offset), 및 표시 영역 하단 오프셋(conf_win_bottom_offset)을 표시 영역 위치 정보로서 더 포함한다.
표시 영역 플래그가 0인 경우, 전체 픽처가 표시 영역으로서 설정된다. 한편, 표시 영역 플래그가 1인 경우, 표시 영역 위치 정보에 의해 표시된 픽쳐 내의 일부 영역이 설정된다. 표시 영역은 컨포먼스 윈도우(conformance window)라고도 한다.
도 8을 참조하여, 표시 영역 위치 정보와 표시 영역 간의 관계에 대해 설명한다. 도 8은 픽쳐 내 일부 영역인 표시 영역과 표시 영역 위치 정보 간의 관계를 예시하는 도면이다. 도표에 도시된 바와 같이, 표시 영역이 픽쳐에 포함된다. 표시 영역 상단 오프셋은 픽쳐의 상변과 표시 영역의 상변 간의 거리를 나타낸다. 표시 영역 좌측 오프셋은 픽쳐의 좌변과 표시 영역의 좌변 간의 거리를 나타낸다. 표시 영역 우측 오프셋은 픽쳐의 우변과 표시 영역의 우변 간의 거리를 나타낸다. 표시 영역 하단 오프셋은 픽쳐의 하변과 표시 영역의 하변 간의 거리를 나타낸다. 따라서, 표시 영역 위치 정보는 픽쳐 내 표시 영역의 위치 및 크기를 고유하게 식별한다. 표시 영역 정보는, 픽쳐 내 표시 영역의 위치 및 크기를 고유하게 식별할 수 있는 다른 정보일 수 있다.
(층간 위치 대응 정보)
파라미터 세트 복호화 유닛(12)은, 층간 위치 대응 정보를 획득하기 위하여 입력되는 타겟 레이어 부호화된 데이터를 복호화한다. 층간 위치 대응 정보는, 타겟 레이어와 참조 레이어 상의 대응하는 영역들 간의 위치 관계를 개략적으로 나타낸다. 예를 들어, 특정한 객체(객체 A)가 타겟 레이어 상의 픽쳐 및 참조 레이어 상의 픽쳐에 포함되는 경우, 타겟 레이어 상의 픽쳐 내에서 객체 A에 대응하는 영역 및 참조 레이어 상의 픽쳐 내에서 객체 A에 대응하는 영역은, 타겟 레이어 및 참조 레이어 상의 각각의 대응하는 영역에 상응한다. 층간 위치 대응 정보는, 반드시 타겟 레이어와 참조 레이어 상의 대응하는 영역들 간의 위치 관계를 정확하게 나타내는 정보일 필요는 없다. 일반적으로, 정보는 층간 예측의 정밀도를 개선하기 위하여 타겟 레이어 및 참조 레이어 상의 대응하는 정확한 영역들 간의 위치 관계를 나타낸다.
층간 위치 대응 정보는 층간 화소 대응 정보를 포함한다. 층간 화소 대응 정보는, 참조 레이어 상의 픽쳐의 화소들과 타겟 레이어 상의 픽쳐의 화소들 간의 위치 관계를 나타내는 정보이다. 층간 대응 정보는 추가적으로, 층간 위상 대응 정보(inter-layer phase correspondence information)를 포함할 수 있다. 층간 위상 대응 정보는 화소들의 위상 차이를 나타내는 정보이고, 화소들의 대응관계를 층간 화소 대응 정보로 나타낸다.
(층간 화소 대응 정보)
층간 화소 대응 정보는, 예컨대, 상위 레이어(SPS)의 일부인 SPS 확장(sps_estension)에 포함되고, 도 9에 도시된 신택스 테이블에 따라 복호화된다. 도 9는 SPS 복호화 중에 파라미터 세트 복호화 유닛(12)에 의해 참조되는 신택스 테이블의 일부로서, 층간 화소 대응 정보와 관계가 있는, 신택스 테이블의 일부를 도시하고 있다.
SPS로부터 복호화되는 층간 화소 대응 정보는, 층간 화소 대응 정보(num_scaled_ref_layer_offsets)의 개수를 포함한다. 또한, 층간 화소 대응 정보는 층간 화소 대응 정보와 같은 개수의 층간 화소 대응 오프셋을 포함한다. 층간 화소 대응 오프셋은, 확장된 참조 레이어 좌측 오프셋(scaled_ref_layer_left_offset[i]), 확장된 참조 레이어 상단 오프셋(scaled_ref_layer_top_offset[i]), 확장된 참조 레이어 우측 오프셋(scaled_ref_layer_right_offset[i]), 및 확장된 참조 레이어 하단 오프셋(scaled_ref_layer_bottom_ offset[i])을 포함한다. 층간 화소 대응 오프셋은 확장되는 참조 레이어 오프셋이라고도 한다.
도 10을 참조하여, 층간 화소 대응 오프셋에 포함되는 각각의 오프셋의 의미에 대해 설명한다. 도 10은 타겟 레이어 상의 픽쳐, 참조 레이어 상의 픽쳐, 및 층간 화소 대응 오프셋 간의 관계를 예시하는 도면이다.
도 10a는 참조 레이어 상의 전체 픽처가 타겟 레이어 상의 픽쳐의 일부에 대응하는 경우의 예를 도시하고 있다. 이러한 경우, 전체 참조 레이어 픽쳐(타겟 레이어 대응 영역)에 대응하는 타겟 레이어 상의 영역은, 타겟 레이어 픽쳐에 포함된다. 도 10b는 참조 레이어 상의 픽쳐의 일부가 타겟 레이어 상의 전체 픽처에 대응하는 경우의 예를 도시하고 있다. 이러한 경우, 타겟 레이어 픽쳐는 참조 레이어 대응 영역에 포함된다. 전체 타겟 레이어 픽쳐는 오프셋을 포함한다.
도 10에 도시된 바와 같이, 확장된 참조 레이어 좌측 오프셋(도표에서 SRL 좌측 오프셋)은, 참조 레이어 대응 영역의 좌변에서 타겟 레이어 픽쳐의 좌변으로의 오프셋을 나타낸다. 0보다 큰 SRL 좌측 오프셋은, 참조 레이어 대응 영역의 좌변이 타겟 레이어 픽쳐의 좌변의 우측에 위치하는 것을 나타낸다.
확장된 참조 레이어 상단 오프셋(도표에서 SRL 상단 오프셋)은, 참조 레이어 대응 영역의 상변에서 타겟 레이어 픽쳐의 상변으로의 오프셋을 나타낸다. 0보다 큰 SRL 상단 오프셋은, 참조 레이어 대응 영역의 상변이 타겟 레이어 픽쳐의 상변보다 아래에 위치하는 것을 나타낸다.
확장된 참조 레이어 우측 오프셋(도표에서 SRL 우측 오프셋)은, 참조 레이어 대응 영역의 우변에서 타겟 레이어 픽쳐의 우변으로의 오프셋을 나타낸다. 0보다 큰 SRL 우측 오프셋은, 참조 레이어 대응 영역의 우변이 타겟 레이어 픽쳐의 우변의 좌측에 위치하는 것을 나타낸다.
확장된 참조 레이어 하단 오프셋(도표에서 SRL 하측 오프셋)은, 참조 레이어 대응 영역의 하변에서 타겟 레이어 픽쳐의 하변으로의 오프셋을 나타낸다. 0보다 큰 SRL 하측 오프셋은, 참조 레이어 대응 영역의 하변이 타겟 레이어 픽쳐의 하변보다 위에 위치하는 것을 나타낸다.
(스케일 조절 정보)
파라미터 세트 복호화 유닛(12)은, 스케일 조절 정보를 획득하기 위하여 입력되는 타겟 레이어 부호화된 데이터를 복호화한다. 예를 들어, 스케일 조절 정보가 SPS 확장에 포함되고, 도 11에 도시된 신택스 테이블에 따라 복호화된다. 도 11는 SPS 복호화 중에 파라미터 세트 복호화 유닛(12)에 의해 참조되는 신택스 테이블의 일부로서, 스케일 조절 정보와 관계가 있는, 신택스 테이블의 일부를 나타낸다.
SPS로부터 복호화된 스케일 조절 정보는 신택스 엘리먼트(A0)를 포함한다.
● A0: 스케일 조절 정보(num_scale_adjust_info)
또한, SPS는 스케일 조절 정보의 번호에 의해 나타낸 엘리먼트의 개수만큼의 신택스 엘리먼트(A1, A2L, A2T, A2R, A2B, A3W 및 A3H)의 그룹을 포함한다.
● A1: 스케일 조절 참조 레이어 식별자(scale_adjust_ref_layer_id[i])
● A2L: 확장된 참조 레이어 좌측 추가적인 오프셋(srl_add_left_offset[i])
● A2T: 확장된 참조 레이어 상측 추가적인 오프셋(srl_add_top_offset[i])
● A2R: 확장된 참조 레이어 우측 추가적인 오프셋(srl_add_right_offset[i])
● A2B: 확장된 참조 레이어 하측 추가적인 오프셋(srl_add_bottom_offset[i])
● A3W: 가상 참조 레이어 너비(rl_virtual_width[i])
● A3H: 가상 참조 레이어 높이(rl_virtual_width[i])
A2L, A2T, A2R 및 A2B는 집합적으로 확장되는 참조 레이어 추가적인 오프셋이라고도 한다. A2L 및 A2T는 집합적으로 확장된 참조 레이어 좌상단 추가 오프셋이라고도 한다. A2R 및 A2B는 확장된 참조 레이어 우하단 추가 오프셋이라고도 한다. A3W 및 A3H는 집합적으로 가상 참조 레이어 크기라고도 한다. 이러한 정의의 사용을 통해 다른 단어에서, 스케일 조절 정보는 스케일 조절 정보의 개수만큼의 확장되는 참조 레이어 추가 오프셋 및 가상 참조 레이어 크기를 포함한다.
신택스 엘리먼트 A0, A2L, A2T, A2R, A2B, A3W 및 A3H는, HEVC에서 또한 정의된, 비음수 정수 0차 지수 골룸 부호화(non-negative integer order-0 exp-Golomb coding, ue(v))를 이용하여 부호화된다. 한편, 신택스 엘리먼트(A1)는 6-비트 고정-길이 부호화(u(6))를 이용하여 부호화된다. 한편, 엘리먼트는, 이러한 유형의 부호화와 동일한 범위에 대응하는 다른 부호화를 이용하여 부호화될 수도 있다.
스케일 조절 정보(A0)는, 스케일 조절 참조 레이어 식별자, 확장되는 참조 레이어 추가 오프셋, 및 참조 레이어 조절 크기인 아이템으로서 SPS에 포함된 아이템의 개수를 나타낸다. 스케일 조절 정보의 개수는 생략될 수 있다. 예를 들어, 타겟 레이어에 대한 참조 레이어의 개수가 고정되거나 또는 이미 알려진 경우, 이 개수는 요구되지 않는다. 심지어 타겟 레이어에 대한 참조 레이어의 개수가 알려지지 않은 경우에도 이 개수는 생략될 수 있다. 이러한 경우, 추가적인 신택스 엘리먼트가 불행하게도 코드의 양을 증가시키는, 심지어는 불필요한 참조 레이어에 대한 SPS에 포함된다.
스케일 조절 참조 레이어 식별자(A1)는 타겟 레이어에 대한 특정 참조 레이어이다. 특정 참조 레이어는 스케일 조절 프로세스를 거치는 참조 레이어다.
확장되는 참조 레이어 추가 오프셋(A2L, A2T, A2R 및 A2B)은 층간 스케일(조절 스케일)을 계산하기 위해 사용되는 파라미터이고, 확장된 참조 레이어 조절 크기와 관련된 파라미터이다. 확장되는 참조 레이어 추가 오프셋은 개략적으로, 참조 레이어 대응 영역(실제 참조 레이어 대응 영역)과 층간 스케일을 계산하기 위해 사용되는 참조 레이어 대응 영역(가상 참조 레이어 대응 영역) 간의 차이를 실제로 나타내는 파라미터이다.
도 12를 참조하여, 확장되는 참조 레이어 추가 오프셋의 보다 구체적인 정의에 대해 설명한다. 도 12는 실제 참조 레이어 대응 영역과 가상 참조 레이어 대응 영역 간의 관계를 예시하는 도면이다. 도표에 도시된 바와 같이, 확장된 참조 레이어 좌상단 추가 오프셋(A2L and A2T)는, 참조 레이어 대응 영역(실제 참조 레이어 대응 영역)의 좌상측 화소의 위치를 기준으로 가상 참조 레이어 대응 영역의 좌상측 화소의 위치를 나타낸다. 마찬가지로, 확장된 참조 레이어 우하단 추가 오프셋(A2L 및 A2T)은, 실제 참조 레이어 대응 영역의 우하측 화소의 위치를 기준으로 가상 참조 레이어 대응 영역의 우하측 화소의 위치를 나타낸다.
가상 참조 레이어 크기(A3W 및 A3H)는 층간 스케일(조절 스케일)을 계산하기 위해 사용되는 파라미터이다. 가상 참조 레이어 크기에서, 참조 레이어 너비(참조 레이어 픽쳐 너비)는 계층적으로 부호화되는 데이터 변환 이전에 설정된다.
신택스 엘리먼트가 타겟 레이어에 대한 특정 참조 레이어 상의 SPS에 포함되지 않은 경우, 확장된 참조 레이어의 추가적인 오프셋의 각각의 값 및 가상 참조 레이어 크기의 각각의 값은 미리 정해진 값으로 설정된다. 이러한 경우, 0의 값이 확장되는 참조 레이어 추가 오프셋의 미리 정해진 값으로 사용되고, 참조 레이어 크기(참조 레이어 너비 및 참조 레이어 높이)가 가상 참조 레이어 크기(가상 참조 레이어 너비 및 가상 참조 레이어 높이)의 미리 정해진 값으로 사용되는 것이 바람직하다. 이러한 경우, 가상 참조 레이어 대응 영역의 크기와 참조 레이어 대응 영역의 크기는 서로 일치한다. 또한, 가상 참조 레이어의 크기와 참조 레이어의 크기는 서로 일치한다. 이러한 설정은 일반적인 설정이다. 따라서, 다시 말해, 일반적인 설정에서 미리 정해진 값을 이용함으로써 확장되는 참조 레이어 추가 오프셋 및 가상 참조 레이어 크기에 대한 정보를 생략할 수 있고, 따라서 코드의 양을 줄일 수 있게 한다.
(타일 설정 유닛(13))
타일 설정 유닛(13)은, 입력 파라미터 세트에 기초하여 픽쳐 상의 타일 정보를 도출하고, 타일 정보를 출력한다.
본 실시예에서, 타일 설정 유닛(13)에 의해 생성된 타일 정보는 개략적으로, 타일 구조 정보 및 타일 의존도 정보를 포함한다.
타일 구조 정보는, 픽쳐 내에서의 타일의 개수 및 이러한 타일들의 크기를 나타내는 정보이다. 그리드 같은 방식(grid-like manner)으로 픽쳐를 타일로 분할하여 얻어지는 일부 영역과 관련된 경우, 픽쳐 내의 타일의 개수는, 가로 방향으로 포함된 타일의 개수와 세로 방향으로 포함된 타일의 개수의 곱과 같다.
타일 의존도 정보는, 타일을 픽쳐 내에서 복호화하는 경우 의존도를 나타내는 정보이다. 여기서, 타일을 복호화하는 경우에 있어서의 의존도는, 복호화된 화소 및 타일을 벗어난 영역과 관련된 신택스 값에 대한 타일의 의존도의 정도를 나타낸다 타일을 벗어난 영역은, 타겟 픽쳐 내에 있으면서 타일을 벗어난 영역, 참조 픽쳐 내에 있으면서 타일을 벗어난 영역, 및 베이스 복호화된 픽쳐 내에 있으면서 타일을 벗어난 영역을 포함한다.
이하, 입력 파라미터 세트에 기초하여 도출하는 프로세스를 포함하여, 타일 설정 유닛(13)에 의해 생성되는 타일 정보의 세부사항에 대해 설명한다.
타일 정보는, 파라미터 세트에 포함된 SPS 또는 PPS에 포함된 타일 정보에 관한 신택스 값에 기초하여 도출된다. 도 13을 참조하여, 타일 정보와 관련된 신택스에 대해 설명한다.
(PPS 타일 정보)
도 13은 파라미터 세트에 포함된 PPS를 복호화하는 중에 파라미터 복호화 유닛(12)에 의해 참조되는 신택스 테이블의 일부로서, 타일 정보와 관련된 신택스 테이블의 일부이다.
PPS에 포함된 타일 정보와 관련된 신택스(PPS 타일 정보)는, 복수의 타일 활성화 플래그(tiles_enabled_flag)를 포함한다. 복수의 타일 활성화 플래그의 값이 1인 경우, 이 플래그는 픽쳐가 2개 이상의 타일로 구성된다는 것을 나타낸다. 복수의 타일 활성화 플래그의 값이 0인 경우, 이 플래그는 픽쳐가 1개의 타일로 이루어진다는 것, 즉, 픽쳐 및 타일이 서로 일치하는 것을 나타낸다.
복수의 타일이 활성화되는 경우(tiles_enabled_flag가 참인 경우), PPS 타일 정보는, 타일 열의 개수(num_tile_columns_minus1)를 나타내는 정보, 타일 행의 개수(num_tiles_rows_minus1)를 나타내는 정보, 및 타일 크기의 균일도(uniform_spacing_flag)를 나타내는 플래그를 더 포함한다.
num_tile_columns_minus1은 가로 방향으로 픽쳐에 포함된 타일의 개수에서 1을 차감하여 얻어지는 값에 상응하는 신택스이다. num_tile_rows_minus1는 세로 방향으로 픽쳐에 포함된 타일의 개수에서 1을 차감하여 얻어지는 값에 상응하는 신택스이다. 따라서, 픽쳐(NumTilesInPic)에 포함된 타일의 개수는 다음의 식에 따라 계산된다.
NumTilesInPic = (num_tile_columns_minus1+1) * (num_tile_rows_minus1+1)
uniform_spacing_flag의 값이 1인 경우, 이 플래그는 픽쳐에 포함된 타일 크기가 균일하다는 것, 즉, 각각의 타일의 너비와 높이가 서로 같는 것을 나타낸다. uniform_spacing_flag의 값이 0인 경우, 이 플래그는 픽쳐에 포함된 타일 크기가 균일하지 않다는 것, 즉, 픽쳐에 포함된 타일의 너비와 높이가 반드시 서로 일치하지는 않는다는 것을 나타낸다.
픽쳐에 포함된 타일 크기가 균일하지 않은 경우(uniform_spacing_flag이 0인 경우), PPS 타일 정보는 추가적으로, 픽쳐에 포함된 각각의 타일 열에 대한 타일 너비(column_width_minus1[i])를 나타내는 정보, 및 픽쳐에 포함된 각각의 타일 행에 대한 타일 높이(row_height_minus1[i])를 나타내는 정보를 포함한다.
복수의 타일이 활성화되는 경우, PPS 타일 정보는 추가적으로, 타일 경계에 걸쳐 루프 필터가 적용되었는지 여부를 나타내는 플래그(loop_filter_across_tiles_enabled_flag)를 포함한다.
여기서, 도 14를 참조하여, 타일 행과 타일 열과 픽쳐의 관계에 대해 설명한다. 도 14는 픽쳐가 타일로 분할되는 경우 타일 행 및 타일 열을 예시하는 도면이다. 도 14의 예에서, 픽쳐는 4개의 타일 열과 3개의 타일 행으로 분할되고, 픽쳐는 총 12개의 타일을 포함한다. 예를 들어, 타일 열 0(TileCol0)은 타일(T00, T10 및 T20)을 포함한다. 예를 들어, 타일 행 0(TileRow0)은 타일(T00, T01, T02 및 T03)을 포함한다. 타일 열 i의 너비는 CTU 단위의 ColWidth[i]으로 나타낸다. 타일 행 j의 높이는 CTU 단위의 RowHeight[j]으로 나타낸다. 따라서, 타일 행 i 및 타일 열 j에 속하는 타일의 너비 및 높이는 각각 ColWidth[i] 및 RowHeight[j]이다.
타일 설정 유닛(13)은, PPS 타일 정보에 기초하여 타일 구조 정보를 도출한다. 타일 구조 정보는, 래스터 스캐닝 CTB 어드레스(raster scanning CTB address)로부터 타일 스캐닝 CTB 어드레스를 도출하기 위한 어레이(CtbAddrRsToTs[ctbAddrRs]), 타일 스캐닝 CTB 어드레스로부터 래스터 스캔 CTB 어드레스를 도출하기 위한 어레이(CtbAddrTsToRs[ctbAddrTs]), 각각의 타일 스캐닝 CTB 어드레스의 타일 식별자(TileId[ctbAddrTs]), 각각의 타일 열의 너비(ColumnWidthInLumaSamples[i]), 및 각각의 행의 높이(RowHeightInLumaSamples[j])을 포함한다.
uniform_spacing_flag가 1인 경우, 각각의 타일 열의 너비는 픽쳐 크기 및 픽쳐 내에서의 타일의 개수에 기초하여 계산된다. 예를 들어, i-번째 타일 열(ColumnWidthInLumaSamples[i])의 너비는 다음의 식에 따라 계산된다. PicWidthInCtbsY는 가로 방향으로 픽쳐에 포함된 CTU의 개수를 나타낸다.
ColWidth[i] = ( (i+1) * PicWidthInCtbsY ) / ( num_tile_columns_minus1 + 1 ) - ( i * PicWidthInCtbsY ) / ( num_tile_columns_minus1 + 1 )
i-번째 타일 열의 CTU 단위의 너비인 ColWidth[i]는 픽쳐를 타일 열의 개수로 균등하게 나누어 얻어지는 (i+1)-번째 경계 위치 및 i-번째 경계 위치 간의 차이로서 계산된다.
한편, uniform_spacing_flag가 0인 경우, (column_width_minus1[i]+1)의 값은 i-번째 타일 열의 CTU 단위의 너비(ColWidth[i])로 설정된다.
ColumnWidthInLumaSamples[i]의 값은 ColWidth[i]에 CTU의 화소 단위 너비를 곱하여 얻어지는 값으로 설정된다.
타일 행(RowHeight[j])의 CTU 단위의 높이는 또한 타일 열의 너비에 대한 방법에 상응하는 방법에 의해 계산된다. PicWidthInCtbsY 대신에, PicHeightInCtbsY(픽쳐의 세로 방향에 포함된 CTU의 개수)가 사용된다. num_tiles_columns_minus1 대신에, num_tiles_row_minus1가 사용된다. heat_width_minus1[i] 대신에, row_height_minus1[i]가 사용된다.
RowHeightInLumaSamples[j]의 값은 RowHeight[j]에 CTU의 화소 단위 높이를 곱하여 얻어지는 값으로 설정된다.
다음에, 타일 스캐닝 CTB 어드레스로부터 래스터 스캔 CTB 어드레스를 도출하기 위한 어레이(CtbAddrTsToRs[ctbAddrTs])를 도출하는 방법에 대해 설명한다.
먼저, i-번째 타일 열의 경계 위치를 나타내는 colBd[i], 및 j-번째 타일 행의 경계 위치를 나타내는 rowBd[j]는, 다음의 식에 따라 계산된다. colBd[0] 및 rowBd[0]의 값은 0이다.
colBd[i+1] = colBd[i] + colWidth[i]
rowBd[j+1] = rowBd[j] + rowHeight[j]
이어서, 픽쳐에 포함된 래스터 스캔 CTU 어드레스(ctbAddrRs)에 의해 식별된 CTU와 연관된 타일 스캔 CTU 어드레스가, 다음의 절차에 따라 도출된다.
픽쳐 내에서 타겟 CTU의 CTU 단위의 위치(tbX, tbY)가 다음의 수식에 따라 ctbAddrRs로부터 계산된다. 여기서, 연산자 "%"는 나머지 연산자다. "A % B"는 정수 A를 정수 B로 나눈 나머지를 의미한다.
tbX = ctbAddrRs % PicWidthInCtbsY, 및
tbY = ctbAddrRs / PicWidthInCtbsY.
이어서, 픽쳐에서 타겟 CTU를 포함하는 타일의 위치(tileX, tileY)가 타일 단위로 도출된다. tileX는 평가식(tbX >= colBd[i])이 참이 되게 하는 최대 i의 값으로 설정된다. 마찬가지로, tileY는 평가식(tbY >= rowBd[j])이 참이 되게 하는 최대 i의 값으로 설정된다.
CtbAddrRsToTs[ctbAddrRs]의 값은, 타일 스캔 순서로 타일(tileX, tileY)에 포함된 CTU의 합을 타일(tileX, tileY) 내에서 (tbX - colBd[tileX], tbY - rowBd[tileY]) 상에 래스터 스캔 순서로 배치된 CTU의 위치에 더하여 얻어지는 값으로 설정된다.
CtbAddrTsToRs[ctbAddrTs]의 값은, CtbAddrRsToTs[k]가 ctbAddrTs와 일치하는 경우의 k의 값으로 설정된다.
TileId[ctbAddrTs]의 값은, ctbAddrTs에 의해 나타내는 CTU가 속한 타일의 타일 식별자로 설정된다. 픽쳐 내의 타일 단위의 위치(tileX, tileY)에서의 타일의 타일 식별자 tileId(tileX, tileY)는 다음의 식에 따라 계산된다.
tileId(tileX,tileY) = (tileY * (num_tile_cols_minus1 + 1)) + tileX.
(슬라이스 복호화 유닛(14))
슬라이스 복호화 유닛(14)은 입력된 VCL NAL, 파라미터 세트, 및 타일 정보에 기초하여 복호화되는 픽쳐를 생성하고, 픽쳐를 출력한다.
도 15를 참조하여, 슬라이스 복호화 유닛(14)의 개략적인 구성에 대해 설명한다. 도 15는 슬라이스 복호화 유닛(14)의 개략적인 구성을 도시한 기능적 블록도이다.
슬라이스 복호화 유닛(14)은 슬라이스 헤더 복호화 유닛(141), 슬라이스 위치 설정 유닛(142), 및 CTU 복호화 유닛(144)을 포함한다. CTU 복호화 유닛(154)은 예측 레지듀 복원 유닛(1441), 예측 이미지 생성 유닛(1542), 및 CTU 복호화 이미지 생성 유닛(1443)을 더 포함한다.
(슬라이스 헤더 복호화 유닛)
슬라이스 헤더 복호화 유닛(151)은 입력된 VCL NAL 및 파라미터 세트에 기초하여 슬라이스 헤더를 부호화하고, 복호화 헤더를 슬라이스 위치 설정 유닛(152), 스킵 슬라이스 결정부(143), 및 CTU 복호화 유닛(154)으로 출력한다.
슬라이스 헤더는, 픽쳐(SH 슬라이스 위치 정보) 내에서 슬라이스 위치에 관한 정보, 및 스킵 슬라이스(SH 슬라이스 위치 정보)와 관련된 정보를 포함한다.
슬라이스 헤더는 픽쳐(first_slice_segment_in_pic_flag) 내에서의 리딩 슬라이스의 플래그를 슬라이스 위치 정보로서 포함한다. 픽쳐 내에서의 리딩 슬라이스의 플래그가 1인 경우, 이 플래그는 타겟 슬라이스가 픽쳐 내 복호화 순서에 있어서 앞쪽에 위치한다는 것을 나타낸다. 픽쳐 내에서의 리딩 슬라이스의 플래그가 0인 경우, 이 플래그는 타겟 슬라이스가 픽쳐 내 복호화 순서에 있어서 앞쪽에 위치하지 않은 것을 나타낸다.
슬라이스 헤더는 슬라이스 PPS 식별자(slice_pic_parameter_set_id)를 슬라이스 위치 정보로서 포함한다. 슬라이스 PPS 식별자는 타겟 슬라이스와 연관된 PPS의 식별자이다. 이러한 PPS 식별자를 통해, 타겟 슬라이스와 연관될 타일 정보가 식별된다.
(슬라이스 위치 설정 유닛)
슬라이스 위치 설정 유닛(152)은, 입력 슬라이스 헤더 및 타일 정보에 기초하여 픽쳐 내에서 슬라이스 위치를 식별하고, 위치를 CTU 복호화 유닛(154)으로 출력한다. 슬라이스 위치 설정 유닛(152)에 의해 도출된 픽쳐 내에서의 슬라이스 위치는, 픽쳐 내에서의 슬라이스에 포함된 각각의 CTU의 위치를 포함한다.
(CTU 복호화 유닛)
개략도에서, CTU 복호화 유닛(154)은 슬라이스에 포함된 각각의 CTU에 대응하는 영역에서 복호화 이미지를 획득하기 위하여 입력 슬라이스 헤더, 슬라이스 데이터, 및 파라미터 세트에 기초하여 복호화를 수행하고, 이에 따라 슬라이스의 복호화 이미지를 생성한다. 슬라이스의 복호화 이미지는, 복호화 픽쳐의 일부로서 입력 슬라이스 위치가 나타내는 슬라이스 위치에 출력된다. CTU의 복호화 이미지가 CTU 복호화 유닛(154) 내에서 예측 레지듀 복원 유닛(1441), 예측 이미지 생성 유닛(1542) 및 CTU 복호화 이미지 생성 유닛(1443)에 의해 생성된다. 예측 레지듀 복원 유닛(1441)은 입력 슬라이스 데이터에 포함된 예측 레지듀 정보(TT 정보)를 부호화하고, 타겟 CTU의 예측 레지듀를 생성하여 출력한다. 예측 이미지 생성 유닛(1542)은, 입력 슬라이스 데이터에 포함된 예측 정보(PT 정보)에 의해 나타낸 예측 방법 및 예측 파라미터에 기초하여 예측 이미지를 생성하고, 이미지를 출력한다. 이러한 경우, 필요에 따라 참조 픽쳐의 복호화 이미지 및 부호화 파라미터가 사용된다. CTU 복호화 이미지 생성 유닛(1443)은 입력 예측 이미지를 예측의 레지듀에 추가하고, 타겟 CTU의 복호화 이미지를 생성하여 출력한다.
(예측 이미지 생성 유닛의 세부사항)
예측 이미지 생성 유닛(1542)에 의한 예측 이미지 생성 프로세스 중에서, 층간 이미지 예측이 선택된 경우에 예측 이미지 생성 프로세스의 세부사항에 대해 설명한다.
층간 이미지 예측이 적용된 타겟에 포함된 타겟 화소의 예측 화소 값을 생성하는 프로세스는, 다음의 절차에 따라 실행된다. 먼저, 참조 픽쳐 위치를 도출하는 프로세스가 실행되어 대응하는 참조 위치를 도출한다. 여기서, 대응하는 참조 위치는 타겟 레이어 픽쳐 상의 타겟 화소에 대응하는 참조 레이어 상의 위치이다. 타겟 레이어 및 참조 레이어 상의 화소는 반드시 일대일 기준으로 서로 대응하지는 않는다. 따라서, 대응하는 참조 위치는 참조 레이어 상에서 화소 단위 보다 작은 정밀도로 표현된다. 다음에, 도출된 대응 참조 위치가 입력으로서 수신되고, 보간 필터 프로세스가 실행됨으로써, 타겟 화소의 예측 화소 값을 생성한다.
대응하는 참조 위치 도출 프로세스는, 파라미터 세트에 포함된 픽쳐 정보, 층간 화소 대응 정보, 및 스케일 조절 정보에 기초하여 대응하는 참조 위치를 도출한다. 대응하는 참조 위치 도출 프로세스의 세부 절차에 대해 도 1을 참조하여 설명한다. 도 1은 대응하는 참조 위치 도출 프로세스의 흐름도이다. 대응하는 참조 위치 도출 프로세스는 다음의 프로세스(S101 내지 S103)를 순차적으로 실행함으로써 달성된다.
(S101) 가상 참조 레이어 대응 영역 크기가 타겟 레이어 픽쳐 크기, 참조 레이어 픽쳐 크기, 층간 화소 대응 정보, 및 스케일 조절 정보에 기초하여 계산된다.
가상 참조 레이어 대응 영역 크기, 즉, 가상 참조 레이어 대응 영역의 너비(VSRLW) 및 높이(VSRLH)가 다음의 수식에 따라 계산된다.
VSRLW = currPicW - SRLLOffset + SRLAddLOffset - SRLROffset + SRLAddROffset, 및
VSRLH = currPicH - SRLTOffset + SRLAddTOffset - SRLBOffset + SRLAddBOffset.
여기서, 대응하는 참조 위치 도출 프로세스의 타겟이 루마 화소인 경우, currPicW 및 currPicH는 타겟 픽쳐의 높이 및 너비이고, 각각의 신택스 값, 또는 타겟 레이어 상의 SPS 픽쳐 정보에 포함된 pic_width_in_luma_samples 및 pic_height_in_luma_samples와 일치한다. 타겟이 칼라-차이인 경우, 칼라 포맷의 타입에 따라 신택스 값을 변환하여 얻어지는 값이 사용된다. 예를 들어, 칼라 포맷이 4: 2: 2인 경우, 신택스 값의 1/2 값이 사용된다. 여기서, 타겟이 루마 화소인 경우, rePicW 및 rePicH은 참조 픽쳐의 높이 및 너비이고, 참조 레이어 상의 SPS 픽쳐 정보에 포함된 각각의 신택스 값, 또는 pic_width_in_luma_samples 및 pic_height_in_luma_samples와 일치한다.
SRLL오프셋은 확장되는 참조 레이어 좌측 오프셋의 값이다. SRLR오프셋은 확장되는 참조 레이어 우측 오프셋의 값이다. SRLT오프셋은 확장되는 참조 레이어 상단 오프셋의 값이다. SRLB오프셋은 확장되는 참조 레이어 하단 오프셋의 값이다.
SRLAddL오프셋은 확장되는 참조 레이어 좌측 추가적인 오프셋의 값이다. SRLAddR오프셋은 확장되는 참조 레이어 우측 추가적인 오프셋의 값이다. SRLAddT오프셋은 확장되는 참조 레이어 상측 추가적인 오프셋의 값이다. SRLAddB오프셋은 확장되는 참조 레이어 하측 추가적인 오프셋의 값이다.
수식에 따르면, 가상 참조 레이어 대응 영역 크기는, 현재 픽쳐 크기, 확장된 참조 레이어 오프셋, 및 확장되는 참조 레이어 추가 오프셋을 합산함으로써 개략적으로 계산된다.
(S102) 다음에, 층간 스케일 수평 성분(scaleX) 및 층간 스케일 수직 성분(scaleY)이 S101에서 도출된 가상 참조 레이어 대응 영역 크기, 및 스케일 조절 정보에 포함된 가상 참조 레이어 크기에 기초하여 다음의 수식에 따라 계산된다.
scaleX = rlVirtualW ? VSRLW, 및
scaleY = rlVirtualH ? VSRLH,
여기서, rlVirtualW은 가상 참조 레이어 너비이고, rlVirtualH은 가상 참조 레이어 높이이다. 이러한 너비 및 높이는 파라미터 세트 복호화 유닛(12)에 의해 복호화되는 스케일 조절 정보에 포함된다. 즉, 변수 rlVirtualW는 rl_virtual_width[i]의 값으로 설정된다. 변수 rlVirtualH는 rl_virtual_width[i]의 값으로 설정된다.
수식에 따르면, 층간 스케일은, 가상 참조 레이어 크기(가상 참조 레이어 너비 또는 가상 참조 레이어 높이)를 가상 참조 레이어 대응 영역 크기(가상 참조 레이어 대응 영역 너비 또는 가상 참조 레이어 높이)로 나누어 개략적으로 얻어진다. 다시 말해, 층간 스케일은, 층간 스케일과 가상 참조 레이어 대응 영역 크기 간의 비율로서 계산된다.
나눗셈의 근사값이 층간 스케일의 값으로서 설정될 수 있다는 것을 유의해야 한다. 예를 들어, 층간 스케일(scaleIntX, scaleIntY)은 다음의 수식에 따른 정수 표현으로 도출될 수 있다.
scaleIntX = ((rlVirtualW << 16) + (VSRLW >> 1)) / VSRLW, 및
scaleIntY = ((rlVirtualH << 16) + (VSRLH >> 1)) / VSRLH,
여기서, 연산자 "/"는 나눗셈의 몫을 나타낸다. 왼쪽 시프트 연산 "<< 16"은 계산된 층간 스케일의 정수 표현의 정밀도를 유지하기 위한 프로세스이다. 이러한 연산이 반드시 16에 제한되는 것은 아니다. 이와 달리, 다른 양의 정수 값을 가지는 왼쪽 시프트 연산이 채택될 수도 있다.
(S103) 참조 위치는 층간 화소 대응 정보 및 층간 스케일에 기초하여 계산된다. 타겟 레이어 화소에 대응하는 참조 위치의 수평 성분(xRef) 및 수직 성분(yRef)가 다음의 수식에 따라 계산된다. 유의할 점은, xRef는 참조 레이어 픽쳐의 좌상측 화소를 기준으로 가로 방향으로의 참조 레이어 픽쳐의 위치의 표현이고, yRef는 동일한 좌상측 화소를 기준으로 세로 방향으로의 위치의 표현이라는 것이다. 이러한 표현은 참조 레이어 픽쳐의 화소들의 단위에 따른다.
xRef = (xP - SRLLOffset) * scaleX, 및
yRef = (yP - SRLTOffset) * scaleY,
여기서, xP ?? yP는 각각 타겟 레이어 픽쳐의 좌상측 화소를 기준으로, 타겟 레이어 화소의 수평 성분 및 수직 성분을 타겟 레이어 픽쳐의 화소들의 단위로 표현한 것이다.
상술한 수식에서, 참조 레이어 대응 영역의 좌상측 화소를 기준으로 타겟 화소의 위치를 층간 크기 비율로 스케일링하여 얻어지는 값이 참조 위치로서 채택된다. 상술한 계산은 정수 표현에서 근사화 연산을 통해 수행될 수 있다. 예를 들어, 1/16-화소 정밀도에서 참조 위치 xRef16 및 yRef16가 상술한 scaleIntX 및 scaleIntY를 이용하여 다음의 수식에 따라 계산될 수 있다.
xRef16 = (xP - SRLLOffset) * scaleIntX + (1 << 11)) >> 12, 및
yRef16 = ((yP - SRLTOffset) * scaleIntY + (1 << 11)) >> 12.
타겟이 칼라 차이 화소인 경우, 루마 및 칼라 차이에서의 위상 차이를 고려한 조절이 수행될 수 있다.
상술한 대응하는 참조 위치 도출 프로세스는, 타겟 레이어 픽쳐 상의 타겟 화소에 대응하는 참조 레이어 상의 위치를 대응하는 참조 위치로서 도출할 수 있다. 대응하는 참조 위치 도출 프로세스는, 실제 참조 레이어 픽쳐와 참조 레이어 대응 영역 크기 간의 비율 대신에, 스케일 조절 정보에 기초하여 도출된 가상 참조 레이어 크기와 가상 참조 레이어 대응 영역 크기 간의 비율로서 층간 스케일을 도출한다. 따라서, 관심 영역 추출에 의해 예시될 계층적으로 부호화된 데이터를 변환하는 경우, 변환 전에 계층적으로 부호화된 데이터에서의 참조 레이어 크기와 동일한 가상 참조 레이어 크기, 및 변환 전에 계층적으로 부호화된 데이터에서의 참조 레이어 대응 영역 크기와 동일한 가상 참조 레이어 대응 영역 크기는, 변환 후 계층적으로 부호화된 데이터가 복호화되는 때 도출될 수 있고, 층간 스케일이 도출될 수 있다. 따라서, 변환 전후에 층간 스케일이 유지되어 동일한 값을 가질 수 있다.
보간 필터 프로세스는, 보간 필터를 참조 레이어 픽쳐 상의 대응하는 참조 위치에 인접한 화소의 복호화된 화소에 적용함으로써, 대응하는 참조 위치 도출 프로세스에 의해 도출된 대응하는 참조 위치에 상응하는 위치에 화소 값을 생성한다.
[추가 아이템 1: 위상 조절 용어]
프로세스 계층적 비디오 복호화 장치(1)의 예측 이미지 생성 유닛(1542), 및 변형 예 1 및 변형 예 2에서 설명된 프로세스에서, 확장된 레이어(타겟 레이어) 상의 거리에 층간 스케일을 곱하고, 개략도에서 단위가 조절되는 값을 참조 위치로 도출한다. 정수 화소와 동일하거나 작은 위상 차이가 특정 참조 레이어 상의 화소와 타겟 레이어 상의 화소 간에 존재하는 경우, 참조 위치가 위상 차이를 조절하기 위한 파라미터를 더하여 계산될 수 있다. 예를 들어, 예측 이미지 생성 유닛(1542)의 설명에서 예시된 1/16-화소 정밀도를 가진 참조 위치가 다음의 수식에 따라 계산될 수 있다.
xRef16 = ((xP - SRLLOffset) * scaleIntX + addX + (1 << 11)) >> 12, 및
yRef16 = ((yP - SRLTOffset) * scaleIntY + addY + (1 << 11)) >> 12,
여기서, addX 및 addY는 세로 방향 및 가로 방향으로 위상에 있어서의 편차에 대응하는 양이고, 1/4-화소 정밀도로 표현되는 세로 방향으로의 위상 차이인 phaseX 및 가로 방향으로 유사하게 위상 차이인 phaseY를 이용하여 다음의 수식에 따라 계산된다.
addX = (ScaleFactorX * phaseX + 2) >> 2, 및
addY = (ScaleFactorY * phaseY + 2) >> 2.
타겟 레이어 및 참조 레이어가 위상 차이를 가지는 경우, 정확한 참조 위치가 상술한 절차에 따라 참조 위치를 도출하여 계산될 수 있다.
(비디오 복호화 장치 1의 유리한 효과)
상술한 본 실시예에 따른 계층적 비디오 복호화 장치(1)(계층적 이미지 복호화 장치)는, 파라미터 세트를 복호화하는 파라미터 세트 복호화 유닛(12), 및 참조 레이어 픽쳐의 복호화된 화소를 참조하고 층간 예측를 통해 예측 이미지를 생성하는 예측 이미지 생성 유닛(1542)을 포함한다. 파라미터 세트 복호화 유닛(12)은 스케일 조절 정보를 복호화한다. 예측 이미지 생성 유닛(1542)은, 스케일 조절 정보로부터 도출된 층간 스케일의 값을 이용하여, 타겟 레이어 상의 화소에 대응하는 참조 위치를 도출한다.
따라서, 관심 영역 추출에 의해 예시될 계층적으로 부호화된 데이터를 변환하는 경우에도, 계층적 비디오 복호화 장치(1)는 변환 전후에 동일한 층간 스케일을 도출할 수 있다. 따라서, 상위 레이어 화소와 하부 레이어 화소 간의 위치 관계의 정밀도가 변환된 부호화된 데이터 내에서 유지되고, 이에 따라 층간 예측에 있어서 예측 레지듀를 감소시킨다. 따라서, 더 작은 양의 코드를 가진 부호화된 데이터가 복호화되고, 이에 따라 상위 레이어의 복호화된 픽쳐가 출력될 수 있게 한다.
[변형 예 1: 스케일 조절 정보의 예]
계층적 비디오 복호화 장치(1)의 설명에서, 스케일 조절 정보에 포함된 다음의 파라미터에 기초하여 층간 스케일을 계산하는 예에 대해 설명하였다.
● A2TL: 확장된 참조 레이어 좌상단 추가 오프셋
● A2BR: 확장된 참조 레이어 우하단 추가 오프셋
● A3WH: 가상 참조 레이어 크기
이와 달리, 상술한 파라미터와는 다른 파라미터가 파라미터 세트로부터의 스케일 조절 정보로서 복호화될 수 있고, 층간 스케일이 파라미터에 기초하여 계산될 수 있다. 예를 들어, 다음의 파라미터가 사용될 수 있다.
● A4S: 다른 층간 스케일
● A4Sd: 다른 층간 스케일 차이
● A5WH: 가상 참조 레이어 대응 영역 크기
● A5WHd: 가상 참조 레이어 대응 영역 크기 차이
● A3WHd: 가상 참조 레이어 크기 차이
이하, 각각의 파라미터의 세부사항에 대해 설명한다.
[변형 예 1A: 다른 층간 스케일]
파라미터 세트 복호화 유닛(12)이 스케일 조절 정보를 획득하기 위하여 입력되는 타겟 레이어 부호화된 데이터를 복호화한다. 예를 들어, 스케일 조절 정보가 SPS 확장에 포함되고, 도 16에 도시된 신택스 테이블에 따라 복호화된다. 도 16은 SPS 복호화 중에 파라미터 세트 복호화 유닛(12)에 의해 참조되는 신택스 테이블의 일부로서, 스케일 조절 정보와 관계가 있는, 신택스 테이블의 일부를 도시하고 있다.
다른 층간 스케일(A4S)은 층간 스케일을 계산하기 위해 사용되는 파라미터이다. 개략도에서, 다른 층간 스케일은 직접적인 층간 스케일의 값으로 사용된다. SPS는 특정 참조 레이어에 대응하는 다른 층간 스케일 수평 성분(alt_scale_x[i]), 및 다른 층간 스케일 수직 성분(alt_scale_y[i])을 다른 층간 스케일로서 포함한다. 어레이의 아래 첨자([i])는 SPS 내에서 파라미터의 순차적 순서를 나타낸다. 아래 첨자 i를 가진 스케일 조절 참조 레이어 식별자로 나타낸 레이어가 참조 레이어로서 채택되는 경우, 아래 첨자 i를 가진 다른 층간 스케일은 다른 층간 스케일이다.
예측 이미지 생성 유닛(1542)에서 스케일 도출하는 프로세스는 층간 스케일을 다음의 절차(S201 내지 S203)에 따라 계산한다.
(S201) 층간 예측에 사용되는 참조 레이어에 대해 다른 층간 스케일이 전송되었는지 여부가 결정된다. 보다 구체적으로, 스케일 조절 정보에 포함된 스케일 조절 참조 레이어 식별자가 참조 레이어의 레이어 식별자를 포함하는 경우, 다른 층간 스케일이 전송되었는지가 결정된다. 그 외의 경우에는, 다른 층간 스케일이 전송되지 않았다고 결정된다. 다른 층간 스케일이 전송되었으면, 프로세싱이 S202로 진행한다. 스케일이 전송되지 않았으면, 프로세싱은 S203으로 진행한다.
(S202) 층간 스케일이 참조 레이어에 대응하는 다른 층간 스케일을 사용하여 설정되고, 프로세싱이 종료된다. 층간 스케일이 다음의 수식에 따라 도출된다.
scaleX = alt_scale_x[i], 및
scaleY = alt_scale_y[i],
여기서, 참조 레이어의 층간 식별자가 ref_layer_id인 경우, i는 ref_layer_id = scale_adjust_ref_layer_id[i]를 만족한다.
(S203) 층간 스케일이 참조 레이어 대응 영역 크기에 대한 참조 레이어 크기의 비율로서 계산되고, 프로세싱이 종료된다. 층간 스케일은 다음의 수식에 따라 계산된다.
scaleX = ((rlW << 16) + (srlW >> 1)) / srlW, 및
scaleY = ((rlH << 16) + (srlH >> 1)) / srlH,
여기서, rlW 및 rlH는 참조 레이어 픽쳐의 너비 및 높이를 각각 나타내고, srlW 및 srlH는 참조 레이어 대응 영역의 너비 및 높이를 각각 나타낸다.
다른 층간 스케일 수평 성분 및 다른 층간 스케일 수직 성분의 범위는, 다른 층간 스케일을 사용하는 것이 없는 경우에, 층간 스케일과 같을 필요가 있다. 층간 스케일이 상술한 절차(S203)에서 설명된 수식에 따라 도출되는 경우, 참조 레이어 픽쳐의 최대 너비(rlMaxW)를 가지는 구성은 scaleX의 범위가 적어도 0이고 (rlMaxW << 16)와 같거나 작은 정수가 되게 한다. 따라서, 다른 층간 스케일은, 동등한 범위를 나타낼 수 있는 코드를 가진 파라미터 세트에 포함될 필요가 있다. 공간 스케일러빌리티의 스케일링이 적어도 1인 제한을 가지는 경우, 참조 레이어 픽쳐의 너비 rlW(높이 rlH)는 참조 레이어 대응 영역의 적어도 너비 srlW(높이 srlH)이다. 따라서, srlW가 rlW와 같은 경우 scaleX의 최대 양이 얻어진다. 이때, scaleX = 1 << 16이다. 따라서, 다른 층간 스케일의 범위는 적어도 0 및 (1 << 16)의 정수로 제한된다. 따라서, 이러한 경우, 다른 층간 스케일은, 16-bit 고정된 길이 코드를 이용하여 파라미터 세트에 포함되는 것이 바람직하다. 공간 스케일러빌리티의 스케일링의 최대 양(참조 레이어의 해상도에 대한 타겟 레이어의 해상도의 비율)이 제한되는 경우, 제한에 대응하는 범위의 다른 층간 스케일이 복호화되어 사용될 수 있다 예를 들어, 공간 스케일러빌리티가 4개 이하의 스케일링을 가지는 제한이 있는 경우, srlW가 (rlW << 4)와 동일한 경우 scaleX의 최소 양이 얻어진다. 이러한 경우, scaleX = 1 << 12이다. 따라서, scaleX의 범위는 적어도 1 << 12이고 1 << 16이하이다. 마찬가지로, scaleY는 유사한 범위를 가진다. 최소량의 scaleX 및 scaleY가 minScale로 설정되는 경우, 최종적인 다른 층간 스케일의 값에서 minScale를 차감하여 얻어지는 값이 alt_scale_x[i] 및 alt_scale_y[i]로서 부호화될 수 있다. 이러한 경우, 실제로 사용될 다른 층간 스케일(AltScaleX[i] 및 AltScaleY[i])은 부호화된 데이터에 포함된 다른 층간 스케일(alt_scale_x[i] 및 alt_scale_y[i])로부터 도출된다. 이러한 경우, 예측 이미지 생성 유닛(1542)은 (S202) 대신에 (S202')를 사용한다.
(S202') 층간 스케일이 참조 레이어에 대응하는 다른 층간 스케일을 사용하여 설정되고, 프로세싱이 종료된다. 층간 스케일은 다음의 수식에 따라 도출된다.
scaleX = alt_scale_x[i] + minScale, 및
scaleY = alt_scale_y[i] + minScale.
minScale의 값이 차감되는 다른 층간 스케일이 상술한 바와 같이 SPS로부터 복호화됨으로써, 다른 층간 스케일의 범위를 감소시킬 수 있게 한다. 따라서, 다른 층간 스케일의 코드의 양이 감소될 수 있다.
다른 층간 스케일을 사용하는 경우, 층간 스케일이 계층적으로 부호화된 데이터의 변환 전후에 유지될 수 있다는 장점 외에도, 복호화하는 중에 층간 스케일 도출하는 프로세스를 단순화하는 유리한 효과가 발휘될 수 있다.
[변형 예 1B: 다른 층간 스케일 차이]
파라미터 세트 복호화 유닛(12)은, 스케일 조절 정보를 획득하기 위하여 입력되는 타겟 레이어 부호화된 데이터를 복호화한다. 예를 들어, 스케일 조절 정보가 SPS 확장에 포함되고, 도 17에 도시된 신택스 테이블에 따라 복호화된다. 도 17은 SPS 복호화 중에 파라미터 세트 복호화 유닛(12)에 의해 참조되는 신택스 테이블의 일부로서, 스케일 조절 정보와 관계가 있는, 신택스 테이블의 일부를 도시하고 있다.
다른 층간 스케일 차이(A4Sd)는 층간 스케일을 계산하기 위해 사용되는 파라미터이다. 개략도에서, 최종적인 층간 스케일은, 참조 레이어 대응 영역 크기와 참조 레이어 크기 간의 비율을 통해 도출되는 층간 스케일에 다른 층간 스케일 차이를 더하여 계산된다. 파라미터 세트는, 특정 참조 레이어에 대응하는 다른 층간 스케일 수평 성분 차이(alt_scale_x_diff[i]), 및 다른 층간 스케일 수직 성분 차이(alt_scale_y_diff[i])를 다른 층간 스케일 차이로서 포함한다. 아래 첨자 i의 의미는 다른 층간 스케일인 경우에서와 같다.
예측 이미지 생성 유닛(1542)에서 스케일 도출하는 프로세스는, 다음의 수식에 따라 층간 스케일을 계산한다.
scaleX = (((rlW << 16) + (srlW >> 1)) / srlW) + alt_scale_x_diff[i], 및
scaleY = (((rlH << 16) + (srlH >> 1)) / srlH) + alt_scale_y_diff[i].
즉, 참조 레이어 대응 영역 크기와 참조 레이어 크기 간의 비율 및 다른 층간 스케일 차이의 합이 층간 스케일로서 설정된다.
다른 층간 스케일 차이를 사용하는 경우가 다른 층간 스케일을 사용하는 경우 이상의 연산량을 가지고 있지만, SPS에 포함되는 다른 층간 스케일의 코드의 양 차이가 다른 층간 스케일인 경우 보다 작은 유리한 효과를 가진다. 일반적으로, 관심 영역 추출을 수행하는 경우, 변환 전후에 참조 레이어 대응 영역 크기와 참조 레이어 크기 간의 비율이 서로에 대해 근접한 값을 가질 수 있도록, 변환이 수행된다. 따라서, 다른 층간 스케일 차이의 값이 감소된다. 다른 층간 스케일 차이가 음의 값을 가질 수 있다. 따라서, 다른 층간 스케일 차이가 양의 정수 및 음의 정수 중 임의의 정수를 나타낼 수 있는 코드를 가진 파라미터 세트에 포함되고, 이러한 코드를 통해 더 작은 길이를 가진 코드 값이 더 작은 절대값을 가지고 있는 값에 할당되는 것이 바람직하다. 예를 들어, 다른 층간 스케일 차이의 수평 성분 및 수직 성분은, HEVC에서 정의된 부호가 있는 정수에 대한 지수 골룸 부호화(se(v))를 이용하여 파라미터 세트(SPS 또는 VPS)에 포함될 수 있다.
다른 층간 스케일 차이의 최소량 및 최대량은 각각 -1 및 1로 고려될 수 있다. 따라서, 다른 층간 스케일 차이를 사용하는 경우에 다른 층간 스케일 차이의 부호를 나타내는 플래그(alt_scale_x_diff_sign_flag[i] 및 alt_scale_y_diff_sign _flag[i])로부터 다른 층간 스케일 차이(alt_scale_x_diff[i] 및 alt_scale_x_diff[j]) 대신에 다른 층간 스케일 차이를 사용할지 여부를 나타내는 플래그(alt_scale_x_diff_present_flag[i] 및 alt_scale_y_diff_present_flag[i])를 분리하는 방식으로, 부호화가 수행될 수 있다.
예측 이미지 생성 유닛(1542)에서 스케일 도출하는 프로세스는, 다음의 수식에 따라 층간 스케일을 계산한다.
scaleX = (((rlW << 16) + (srlW >> 1)) / srlW) + alt_scale_x_diff_present_flag[i] 1 - alt_scale_x_diff_sign_flag[i]*2 : 0, 및
scaleY = (((rlH << 16) + (srlH >> 1)) / srlH) + alt_scale_y_diff_present_flag[i] ? 1 - alt_scale_y_diff_sign_flag[i]*2 : 0,
여기서, "?"는 조건 연산자이고, a가 참인 경우 값 "a ? b : c"은 b이며 a가 거짓인 경우의 값은 c이다.
예를 들어, 스케일 조절 정보는 이러한 경우에 SPS 확장에 포함되고, 도 18에 도시된 신택스 테이블에 따라 복호화된다. 도 18은 복호화 중에 파라미터 세트 복호화 유닛(12)에 의해 참조되는 신택스 테이블의 일부로서, 스케일 조절 정보와 관계가 있는, 신택스 테이블의 일부를 도시하고 있다.
[변형 예 1C: 가상 참조 레이어 대응 영역 절대 크기]
가상 참조 레이어 대응 영역 절대 크기(A5WH)는, 층간 스케일를 계산하기 위해 사용되는 가상 참조 레이어 대응 영역 크기를 계산하기 위해 사용되는 파라미터이다. 개략도에서, 가상 참조 레이어 대응 영역 절대 크기가 가상 참조 레이어 대응 영역 크기의 값으로서 직접 사용된다. 층간 스케일의 값은, 예측 이미지 생성 유닛(1542)에 대해 설명한 프로세스와 동일한 방법에 따라 가상 참조 레이어 대응 영역 크기에 대한 가상 참조 레이어 크기의 비율로서 계산된다.
파라미터 세트는, 특정 참조 레이어에 대응하는 가상 참조 레이어 대응 영역 너비(srl_virtual_width[i]) 및 가상 참조 레이어 대응 영역 높이(srl_virtual_width[i])를 가상 참조 레이어 대응 영역 절대 크기로서 포함한다. 아래 첨자 i의 의미는, 다른 층간 스케일의 경우에서와 같다. 가상 참조 레이어 대응 영역 너비 및 높이가 픽쳐 크기의 높이 및 너비와 동일한 코드를 가진 파라미터 세트에 부호화되는 것이 바람직하다.
예측 이미지 생성 유닛(1542)에서 스케일 도출하는 프로세스는, 가상 참조 레이어 대응 영역 크기를 다음의 수식에 따라 계산한다.
VSRLW = srl_virtual_width[i], 및
VSRLH = srl_virtual_width[i].
층간 예측에 사용되는 참조 레이어 이미지 생성 프로세스에 대응하는 가상 참조 레이어 대응 영역 절대 크기가 파라미터 세트 내에 존재하지 않는 경우, 참조 레이어 대응 영역 크기의 값은, 가상 참조 레이어 대응 영역 절대 크기의 값으로 사용된다.
가상 참조 레이어 대응 영역 절대 크기를 사용하는 경우, 예측 이미지 생성 유닛(1542)에 대해 설명한 방법과 비교할 때 가상 참조 레이어 대응 영역 크기를 도출하는 프로세스를 단순화하는 장점을 가진다.
[변형 예 1D: 가상 참조 레이어 대응 영역 차이 크기]
가상 참조 레이어 대응 영역 차이 크기(A5WHd)는, 층간 스케일를 계산하기 위해 사용되는 가상 참조 레이어 대응 영역 크기를 계산하기 위해 사용되는 파라미터이다. 개략도에서, 가상 참조 레이어 대응 영역 크기는, 가상 참조 레이어 대응 영역 차이 크기를 참조 레이어 대응 영역 크기에 더하여 계산된다. 층간 스케일의 값은, 가상 참조 레이어 대응 영역 크기에 대한 가상 참조 레이어 크기의 비율로서 예측 이미지 생성 유닛(1542)에 대해 설명한 프로세스와 동일한 방법에 따라 계산된다.
파라미터 세트는, 특정 참조 레이어에 대응하는 가상 참조 레이어 대응 영역 차이 너비(srl_가상의_width_diff[i]) 및 가상 참조 레이어 대응 영역 차이 높이(srl_가상의_height_diff[i])를 가상 참조 레이어 대응 영역 차이 크기로서 포함한다. 아래 첨자 i의 의미는, 다른 층간 스케일의 경우에서와 같다.
예측 이미지 생성 유닛(1542)에서 스케일 도출하는 프로세스는, 가상 참조 레이어 대응 영역 크기를 다음의 수식에 따라 계산한다.
VSRLW = currPicW - SRLLOffset - SRLROffset + srl_virtual_width_diff[i], 및
VSRLH = currPicH - SRLTOffset - SRLBOffset + srl_virtual_height_diff[i].
층간 예측에 사용되는 참조 레이어 이미지 생성 프로세스에 대응하는 가상 참조 레이어 대응 영역 차이 크기가 파라미터 세트 내에 존재하지 않는 경우, 가상 참조 레이어 대응 영역 차이의 너비 및 높이 양자 모두는 0으로 설정된다. 이때, 상술한 수식에 의해 도출된 가상 참조 레이어 대응 영역 크기는 참조 레이어 대응 영역 크기와 일치한다.
가상 참조 레이어 대응 영역 차이 크기를 사용하는 경우는, 예측 이미지 생성 유닛(1542)에 대해 설명한 방법에 비해 가상 참조 레이어 대응 영역 크기를 도출하는 프로세스를 단순화하는 장점을 가진다.
[변형 예 1E: 가상 참조 레이어 크기 차이]
가상 참조 레이어 크기 차이(A3WHd)는, 층간 스케일을 계산하기 위해 사용되는 가상 참조 레이어 크기를 계산하기 위해 사용되는 파라미터이다. 개략도에서, 가상 참조 레이어 크기는, 가상 참조 레이어 대응 영역 크기 차이를 참조 레이어 크기에 더하여 계산된다. 층간 스케일의 값은, 가상 참조 레이어 대응 영역 크기에 대한 가상 참조 레이어 크기의 비율로서 예측 이미지 생성 유닛(1542)에 대해 설명한 프로세스와 동일한 방법에 따라 계산된다.
파라미터 세트는, 특정 참조 레이어에 대응하는 가상 참조 레이어 차이 너비(rl_가상의_width_diff[i]) 및 가상 참조 레이어 차이 높이(rl_가상의_height_diff[i])를 가상 참조 레이어 크기 차이로서 포함한다. 아래 첨자 i의 의미는, 다른 층간 스케일의 경우에서와 같다.
예측 이미지 생성 유닛(1542)에서 스케일 도출하는 프로세스는, 가상 참조 레이어 대응 영역 크기를 다음의 수식에 따라 계산한다.
rlVirtualW = refPicW + rl_virtual_width_diff[i], 및
rlVirtualH = refPicH + rl_virtual_height_diff[i],
여기서, refPicW 및 refPicH는 예측 이미지 생성 프로세스에 사용되는 참조 레이어 픽쳐 크기의 너비 및 높이에 각각 대응한다.
층간 예측에 사용되는 참조 레이어 이미지 생성 프로세스에 대응하는 가상 참조 레이어 크기 차이가 파라미터 세트 내에 존재하지 않는 경우, 가상 참조 레이어 크기 차이의 너비 및 높이 양자 모두는 0으로 설정된다. 이때, 상술한 수식에 의해 도출된 가상 참조 레이어 크기는, 참조 레이어 크기와 일치한다.
가상 참조 레이어 대응 영역 차이 크기를 사용하는 경우는, 예측 이미지 생성 유닛(1542)에 대해 설명된 가상 참조 레이어 크기를 직접 전송하는 방법에 비해, 파라미터 세트 내에서 스케일 조절 정보의 코드의 양을 감소시킬 수 있는 장점을 가진다.
[변형 예 1의 추가적인 아이템: 스케일 조절 정보의 파라미터의 조합]
스케일 조절 정보에 포함된 다양한 타입의 층간 스케일을 도출하는 것과 관련된 파라미터에 대해 이제까지 설명하였다. 파라미터의 바람직한 조합이 본 명세서에서 나열된다.
먼저, 이미 위에서 설명하였었던, 층간 스케일 도출과 관련된 파라미터가 다시 나열된다.
● A2TL: 확장된 참조 레이어 좌상단 추가 오프셋
● A2BR: 확장된 참조 레이어 우하단 추가 오프셋
● A3WH: 가상 참조 레이어 크기
● A3WHd: 가상 참조 레이어 크기 차이
● A4S: 다른 층간 스케일
● A4Sd: 다른 층간 스케일 차이
● A5WH: 가상 참조 레이어 대응 영역 크기
● A5WHd: 가상 참조 레이어 대응 영역 크기 차이
다음에, 스케일 조절 정보를 구성하는 파라미터의 바람직한 조합이 상술한 심볼을 이용하여 나열된다.
● Comb1: A2TL, A2BR, A3WH
● Comb2: A2TL, A2BR, A3WHd
● Comb3: A5WH, A3WH
● Comb4: A5WH, A3WHd
● Comb5: A5WHd, A3WH
● Comb6: A5WHd, A3WHd
● Comb7: A4S
● Comb8: A4Sd
파라미터의 조합 중 임의의 조합을 포함하는 스케일 조절 정보는, 계층적으로 부호화된 데이터의 변환 전후에 층간 스케일을 유지하는 기능을 달성할 수 있는 파라미터 세트에 포함된다.
계층적 비디오 복호화 장치(1)의 파라미터 세트 복호화 유닛(12)의 설명에서 도 11를 참조하여 설명된 스케일 조절 정보는, 전술한 Comb1에 대응한다.
[변형 예 2: 위상 유지와 조합]
계층적 비디오 복호화 장치(1)의 예측 이미지 생성 유닛(1542) 내에서 파라미터 세트에 포함된 스케일 조절 정보를 이용하여 대응하는 참조 위치를 도출하는 방법에 대해 이제까지 설명하였다. 상위 레이어 화소와 하부 레이어 화소 간의 위치 관계를 정수 화소보다 작은 단위로 보정하기 위해 전송되는 층간 위상 대응 정보를 추가적으로 사용하여, 대응하는 참조 위치를 도출하는 방법에 대해 본 명세서에서 설명하였다.
도 11을 참조하여 설명된 확장된 참조 레이어 좌상단 추가 오프셋이 층간 위상 대응 정보로 사용된다. 이때, 확장된 참조 레이어 좌상단 추가 오프셋은 스케일 조절 정보의 구성 엘리먼트이면서 층간 위상 대응 정보의 구성 엘리먼트이다.
층간 스케일은, 예측 이미지 생성 유닛(1542)에 대해 설명한 방법에 따라 도출된다. 이하, 정수 표현(scaleIntX, scaleIntY)의 층간 스케일이 사용된다는 가정하에 설명한다. 1/16-화소 정밀도에서의 대응하는 참조 위치의 수평 성분(xRef16) 및 수직 성분(yRef16)가 층간 스케일을 사용하여 다음의 절차에 따라 계산된다.
(S401) 가상 참조 레이어 픽쳐 상의 대응하는 참조 위치의 수평 성분 및 수직 성분에 대응하는 xRefOrg16 및 yRefOrg16가 다음의 수식에 따라 각각 도출된다.
xRefOrg16 = ((xP - SRLLOffset + srl_add_left_offset[i]) * scaleIntX
+ (1 << 11)) >> 12, 및
yRefOrg16 = ((yP - SRLTOffset + srl_add_top_offset[i]) * scaleIntY
+ (1 << 11)) >> 12.
상기 수식에 따르면, 가상 참조 레이어 대응 영역(xP - SRLLOffset + srl_add_left_offset[i])의 좌상측 화소를 기준으로 타겟 레이어 상의 타겟 화소의 가로 방향으로의 위치에 층간 스케일(scaleIntX)의 수평 성분을 곱하여 얻어지는 값의 1/16-화소 정밀도 조절의 값은, 가상 참조 레이어 픽쳐 상의 대응하는 참조 위치의 수평 성분(xRefOrg16) 내에 설정된다. 수직 성분도 유사한 방식으로 설정된다.
(S402) 참조 레이어 픽쳐의 좌상측 화소의 위치의 수평 성분 및 수직 성분에 대응하는 xRefOffset 및 yRefOffset은, 가상 참조 레이어 픽쳐의 좌상측 화소를 기준으로 다음의 수식에 따라 각각 도출된다.
xRefOffset = (srl_add_left_offset[i] * scaleIntX + (1 << 15)) >> 16, 및
yRef오프셋 = (srl_add_top_offset[i] * scaleIntY + (1 << 15)) >> 16.
수식에 따르면, 확장된 참조 레이어 좌측 오프셋(srl_add_left_offset[i])의 값에 층간 스케일(scaleIntX)의 수평 성분을 곱하여 얻어지는 값의 하나의-화소 정밀도 조절의 값은, 참조 레이어 픽쳐의 좌상측 화소 위치의 수평 성분(xRef오프셋) 내에 설정된다. 수직 성분도 유사한 방식으로 설정된다.
(S403) 1/16-화소 정밀도에서의 대응하는 참조 위치의 수평 성분(xRef16) 및 수직 성분(yRef16)는 다음의 각각의 수식에 따라 도출된다.
xRef16 = xRefOrg16 - (xRefOffset << 4), 및
yRef16 = yRefOrg16 - (yRefOffset << 4).
대응하는 참조 위치 도출 프로세스는 이에 따라 종료된다.
상술한 대응하는 참조 위치 도출 프로세스는, 스케일 조절 정보 및 층간 위상 대응 정보를 이용하여 대응하는 참조 위치를 도출한다. 따라서, 층간 스케일 및 타겟 레이어 상의 화소와 참조 레이어 상의 화소 간의 위치 관계는, 관심 영역 추출에 의해 예시될 계층적으로 부호화된 데이터를 변환하는 경우에도 변환 전후에 유지될 수 있다.
변형 예 1에서 설명된 다양한 파라미터의 조합 중 임의의 조합이, 스케일 조절 정보 및 층간 위상 대응 정보를 이용하여 대응하는 참조 위치를 도출하는 경우 스케일 조절 정보로서 사용될 수 있다. 이러한 대안들 중에서, 특히, 전술한 설명 또는 Comb1에 대응하는 스케일 조절 정보에서 사용된 Comb1, 즉, 확장된 참조 레이어 좌상단 추가 오프셋 및 확장된 참조 레이어 우상측 추가적인 오프셋을 포함하는 스케일 조절 정보를 사용하는 것이 바람직하다. 이러한 경우, 확장된 참조 레이어 좌상단 추가 오프셋은, 스케일 조절 정보로서의 이용 및 층간 위상 대응 정보로서의 이용에 의해 공유될 수 있다. 따라서, 공유는 파라미터 세트의 코드의 양이 작다는 장점을 가지고 있다.
(계층적 비디오 부호화 장치의 구성)
도 19를 참조하여, 계층적 비디오 부호화 장치(2)의 개략적인 구성을 설명한다. 도 19는 계층적 비디오 부호화 장치(2)의 개략적인 구성을 도시한 기능적 블록도이다. 계층적 비디오 부호화 장치(2)가 참조 레이어 부호화된 데이터(DATA#R)을 참조하여 타겟 레이어 상의 입력 이미지(PIN#T)를 부호화하고, 타겟 레이어 상에 계층적으로 부호화된 데이터(DATA)를 생성한다. 참조 레이어 부호화된 데이터(DATA#R)가 참조 레이어에 대응하는 계층적 비디오 부호화 장치에 의해 부호화되었다는 것이 추정된다.
도 19에 도시된 바와 같이, 계층적 비디오 부호화 장치(2)는, NAL 다중화 유닛(21), 파라미터 세트 부호화 유닛(22), 타일 설정 유닛(23), 슬라이스 부호화 유닛(24), 복호화된 픽쳐 관리 유닛(16), 및 베이스 복호화 유닛(15)을 포함한다.
NAL 다중화 유닛(21)은, 입력 타겟 레이어 부호화된 데이터(DATA#T) 및 참조 레이어 부호화된 데이터(DATA#R)를 NAL 유닛에 저장함으로써, 계층적인 비디오 부호화된 데이터(DATA)를 생성하고, 데이터를 외부로 출력한다.
파라미터 세트 부호화 유닛(22)은 입력 타일 정보 및 입력 이미지에 기초하여 입력 이미지를 부호화하기 위해 사용되는 파라미터 세트(VPS, SPS 및 PPS)를 설정하고, 세트를 VCL NAL 형태의 타겟 레이어 부호화된 데이터(DATA#T)의 일부로서 패킷화하며, NAL 다중화 유닛(21)에게 데이터를 제공한다.
파라미터 세트 부호화 유닛(22)에 의해 부호화된 파라미터 세트는 적어도 픽쳐 정보, 표시 영역 정보, 및 스케일 조절 정보를 포함하고, 이들 정보는 계층적 비디오 복호화 장치(1)와 관련하여 설명하였다.
타일 설정 유닛(23)은, 입력 이미지에 기초하여 픽쳐 상의 타일 정보를 설정하고, 파라미터 세트 부호화 유닛(22) 및 슬라이스 부호화 유닛(24)에게 정보를 제공한다. 예를 들어, 픽쳐 크기가 M?N 타일로 분할된 것을 나타내는 타일 정보가 설정된다. 여기서, M 및 N은 자유롭게 선택된 양의 정수이다.
픽쳐 부호화 유닛(24)은, 픽쳐를 구성하는 슬라이스에 대응하는 입력 이미지의 일부를 입력될 입력 이미지에 기초하여 부호화하고, 복호화된 픽쳐 관리 유닛(16) 내에서 기록된 파라미터 세트, 타일 정보, 및 참조 픽쳐, 일부에 대한 부호화된 데이터를 생성하며, 타겟 레이어 부호화된 데이터(DATA#T)의 일부인 데이터를 NAL 다중화 유닛(21)에게 제공한다. 슬라이스 부호화 유닛(24)의 세부사항에 대해서는 나중에 설명한다.
복호화된 픽쳐 관리 유닛(16)은 위에서 설명하였던, 계층적 비디오 복호화 장치(1)에 포함된 복호화된 픽쳐 관리 유닛(16)과 동일한 구성 엘리먼트이다. 하지만, 계층적 비디오 부호화 장치(2)에 포함된 복호화된 픽쳐 관리 유닛(16)은 내부의 DPB에 녹화된 픽쳐를 출력 픽쳐로 출력하기 위해 필요하지 않다. 따라서, 이러한 출력이 생략될 수 있다. 계층적 비디오 복호화 장치(1)의 복호화된 픽쳐 관리 유닛(16)에 관한 "복호화"에 대한 설명이 "부호화"로 대체되고, 이는 계층적 비디오 부호화 장치(2)의 복호화된 픽쳐 관리 유닛(16)에 적용 가능하다.
베이스 복호화 유닛(15)은 계층적 비디오 복호화 장치(1)에 포함된 베이스 복호화 유닛(15)과 동일한 구성 엘리먼트이다. 이러한 엘리먼트에 대한 상세한 설명은 생략한다.
(슬라이스 부호화 유닛)
도 20을 참조하여, 슬라이스 부호화 유닛(24)의 구성의 세부사항에 대해 설명한다. 도 20은 슬라이스 부호화 유닛(24)의 개략적인 구성을 도시한 기능적 블록도이다.
도 20에 도시된 바와 같이, 슬라이스 부호화 유닛(24)이 슬라이스 헤더 설정 유닛(241), 슬라이스 위치 설정 유닛(242), 및 CTU 부호화 유닛(244)을 포함한다. CTU 부호화 유닛(244)은 예측 레지듀 부호화 유닛(2441), 예측 이미지 부호화 유닛(2442), 및 CTU 복호화 이미지 생성 유닛(1443)을 내부에 포함한다.
슬라이스 헤더 설정 유닛(241)은, 입력 파라미터 세트 및 슬라이스 위치 정보에 기초하여, 코드 슬라이스 단위의 입력인 입력 데이터를 부호화하기 위해 사용되는 슬라이스 헤더를 생성한다. 생성된 슬라이스 헤더는 슬라이스 부호화된 데이터의 일부로서 출력되고, 입력 데이터와 함께 CTU 부호화 유닛(244)에게 제공된다.
슬라이스 헤더 설정 유닛(241)에 의해 생성된 슬라이스 헤더는, 적어도 SH 슬라이스 위치 정보를 포함한다.
슬라이스 위치 설정 유닛(242)은, 입력 타일 정보에 기초하여 픽쳐 내에서 슬라이스 위치를 결정하고, 이 위치를 슬라이스 헤더 설정 유닛(241)으로 출력한다.
CTU 부호화 유닛(244)은 입력 이미지(타겟 슬라이스 부분)를 CTU 단위로 부호화하고, 입력 파라미터 세트 및 슬라이스 헤더에 기초하여, 타겟 슬라이스에 대응하는 슬라이스 데이터, 및 복호화 이미지(복호화 픽쳐)를 생성하며, 이러한 아이템을 출력한다. CTU 부호화가 예측 이미지 부호화 유닛(2442), 예측 레지듀 부호화 유닛(2441), 및 CTU 복호화 이미지 생성 유닛에 의해 수행된다.
예측 이미지 부호화 유닛(2442)은, 예측 방식 및 타겟 슬라이스에 포함된 타겟 CTU의 예측 파라미터를 결정하고, 결정된 예측 방식에 기초하여 예측 이미지를 생성하며, 이미지를 예측 레지듀 부호화 유닛(2441) 및 CTU 복호화 이미지 생성 유닛(1443)에 제공한다. 예측 방식 및 예측 파라미터에 대한 정보는 예측 정보(PT 정보)로서 가변-부호화되고, 슬라이스 부호화된 데이터에 포함된 슬라이스 데이터로서 출력된다. 예측 이미지 부호화 유닛(2442)에 의해 선택가능한 예측 방식은, 적어도 층간 이미지 예측을 포함한다.
층간 이미지 예측이 예측 방식으로서 선택되는 경우, 예측 이미지 부호화 유닛(2442)은, 예측 타겟 화소에 대응하는 참조 레이어 상의 화소 위치를 결정하기 위하여 대응하는 참조 위치 도출 프로세스를 수행하고, 이러한 위치에 기초하여 보간 프로세스를 통해 예측 화소 값을 차례대로 결정한다. 계층적 비디오 복호화 장치(1)의 예측 이미지 생성 유닛(1542)에 대한 각각의 프로세스는, 대응하는 참조 위치 도출 프로세스로서 적용될 수 있다. 예를 들어, 대응하는 참조 화소를 도출하는 프로세스는, 파라미터 세트에 포함되고 도 1을 참조하여 설명하였던 스케일 조절 정보에 기초하여 적용된다.
예측 레지듀 부호화 유닛(2441)은, 슬라이스 부호화된 데이터에 포함된 슬라이스 데이터의 일부로서, 입력되었던 입력 이미지와 예측 이미지 간의 차이를 변환하고 정량화하여 얻어지는 정량화 변환 계수(quantization transform coefficients ,TT 정보)를 출력한다. 예측 레지듀가 역변환 및 역정량화(inverse quantization)를 정량화 변환 계수에 적용함으로써 복원되고, 복원된 예측 레지듀는, CTU 복호화 이미지 생성 유닛(1443)으로 출력된다.
CTU 복호화 이미지 생성 유닛(1443)은, 동일한 이름을 가진 계층적 비디오 복호화 장치(1)의 구성 엘리먼트와 동일한 기능을 가진다. 따라서, 동일한 심볼이 할당되고 이러한 심볼에 대한 설명은 생략된다.
[비디오 부호화 장치(2)의 유리한 효과]
본 실시예에 따른 상술한 계층적 비디오 부호화 장치(2)(계층적 이미지 부호화 장치)는, 파라미터 세트를 부호화하는 파라미터 세트 부호화 유닛(22), 및 참조 레이어 픽쳐의 복호화된 화소를 참조하고 층간 예측을 통해 예측 이미지를 생성하는 예측 이미지 부호화 유닛(2442)을 포함한다. 파라미터 세트 부호화 유닛(22)은 스케일 조절 정보를 부호화한다. 예측 이미지 부호화 유닛(2442)은, 스케일 조절 정보로부터 도출된 층간 스케일 값을 이용하여 타겟 레이어 상의 화소에 대응하는 참조 위치를 도출한다.
따라서, 계층적 비디오 부호화 장치(1)는, 관심 영역 추출에 의해 예시될 계층적으로 부호화된 데이터를 변환하는 경우에도, 변환 전후에 동일한 층간 스케일을 도출할 수 있는 부호화된 데이터를 생성할 수 있다. 따라서, 상위 레이어 화소와 하부 레이어 화소 간의 위치 관계의 정밀도가 변환된 부호화된 데이터 내에서 유지되고, 이에 따라 층간 예측에 있어서 예측 레지듀를 감소시킨다. 따라서, 더 작은 양의 코드를 가진 부호화된 데이터가 생성될 수 있다.
[계층적으로 부호화된 데이터 변환 장치(3)]
도 21을 참조하여, 계층적으로 부호화된 데이터 변환 장치(3)의 개략적인 구성에 대해 설명한다. 도 21은 계층적으로 부호화된 데이터 변환 장치(3)의 개략적인 구성을 도시한 기능적 블록도이다. 계층적으로 부호화된 데이터 변환 장치(3)는, 입력 계층적으로 부호화된 데이터(DATA)를 변환하고, 입력 관심 영역 정보와 관련된, 계층적으로 부호화된 데이터(DATA-ROI)를 생성한다. 계층적으로 부호화된 데이터(DATA)는, 계층적 비디오 부호화 장치(2)에 의해 생성되는, 계층적으로 부호화된 데이터다. 계층적으로 부호화된 데이터(DATA-ROI)를 계층적 비디오 복호화 장치(1)에 입력하는 것은, 재생될 관심 영역 정보와 관련된 상위 레이어 상의 비디오를 허용한다.
도 21에 도시된 바와 같이, 계층적으로 부호화된 데이터 변환 장치(3)는, NAL 역다중화 유닛(11), NAL 다중화 유닛(21), 파라미터 세트 복호화 유닛(12), 타일 설정 유닛(13), 파라미터 세트 조절 유닛(32), 및 NAL 선별기(34)을 포함한다.
NAL 역다중화 유닛(11), 파라미터 세트 복호화 유닛(12), 및 타일 설정 유닛(13)은, 계층적 비디오 복호화 장치(1)에 포함되고 동일한 이름을 가지고 있는 구성 엘리먼트와 동일한 기능을 가지고 있다. 따라서, 동일한 심볼이 할당되고 이러한 심볼에 대한 설명은 생략된다.
NAL 다중화 유닛(21)은, 계층적 비디오 부호화 장치(2)에 포함되고 동일한 이름을 가지고 있는 구성 엘리먼트와 동일한 기능을 가지고 있다. 따라서, 동일한 심볼이 할당되고 이러한 심볼에 대한 설명은 생략된다.
파라미터 세트 조절 유닛(32)은, 입력 관심 영역 정보 및 타일 정보에 기초하여 입력 파라미터 세트 정보를 조절하고, 정보를 출력한다. 개략도에서, 파라미터 세트 조절 유닛(32)은, 픽쳐 정보, 표시 영역 정보, 층간 화소 대응 정보, 스케일 조절 정보, 및 PPS 타일 정보를 조절하고, 이들 정보는 파라미터 세트에 포함된다.
관심 영역 정보는, 비디오를 구성하는 픽쳐에서 사용자(예를 들어, 재생되는 비디오의 시청자)에 의해 지정된 픽쳐의 일부 영역이다. 예를 들어, 관심 영역 정보는 직사각형의 영역으로 지정된다. 이러한 경우, 예를 들어, 전체 픽처의 대응하는 변들(상변, 하변, 좌변 또는 우변)로부터 관심 영역을 나타내는 직사각형의 상변, 하변, 좌변 또는 우변의 위치적 오프셋은, 관심 영역 정보로서 지정될 수 있다. 직사각형과 다른 형상(예를 들어, 원, 다각형, 영역 객체 추출을 통해 추출된 객체를 나타내는 영역)을 가지는 영역이 관심 영역으로서 사용될 수 있다. 다음의 설명에서, 직사각형의 관심 영역이 설명을 단순화하기 위해 추정된다. 직사각형과 다른 영역에 후술하는 세부사항을 적용하는 경우, 관심 영역을 포함하고 최소 영역을 가지는 직사각형은 예를 들어, 관심 영역으로 간주되어 적용될 수 있다.
(변환 프로세스의 개요)
먼저, 도 22를 참조하여 계층적으로 부호화된 데이터 변환 장치(3)에 의한 변환 프로세스를 통한 파라미터 세트 조절의 개요에 대해 설명한다. 도 22는 변환 전후에 픽쳐, 관심 영역, 및 타일 사이의 관계를 예시하는 도면이다. 도 22는 확장된 레이어와 베이스 레이어인 2개의 레이어를 포함하는 계층적으로 부호화된 데이터(변환 전의 계층적으로 부호화된 데이터), 및 관심 영역을 포함하는 계층적으로 부호화된 데이터(변환 후 계층적으로 부호화된 데이터)를 변환하는 경우, 변환 전후에 픽쳐들 간의 관계를 도시하고 있다. 변환 전 계층적으로 부호화된 데이터의 확장된 레이어는 변환 전 EL 픽쳐에 대응하는 데이터이다. 베이스 레이어는 변환 전 BL 픽쳐에 대응하는 데이터이다. 마찬가지로, 변환 후 계층적으로 부호화된 데이터의 확장된 레이어는 변환 후 EL 픽쳐에 대응하는 데이터이다. 베이스 레이어는 변환 후 BL 픽쳐에 대응하는 데이터이다.
개략도에서, 계층적으로 부호화된 데이터 변환 장치(3)는, 변환 전 입력된 계층적으로 부호화된 데이터로부터, 확장된 레이어 상의 관심 영역과 중첩하는 영역을 가지고 있지 않은 타일을 제거하고, 관련된 파라미터 세트를 조절함으로써, 변환 후 계층적으로 부호화된 데이터를 생성한다. 계층적 비디오 복호화 장치는, 변환 후 계층적으로 부호화된 데이터를 입력으로 수신하고, 관심 영역와 관련된 복호화 이미지를 생성할 수 있다.
(타일 정보의 조절)
파라미터 세트 조절 유닛(32)은, 입력 관심 영역 정보 및 타일 정보를 참조하고, 영역의 대응하는 일부가 관심 영역과 중첩하는 타일(추출 타겟 타일)만을 포함할 수 있도록, 확장된 레이어 상의 PPS 타일 정보를 갱신한다. 확장된 레이어 상의 PPS 타일 정보가 추출 타겟 타일 정보에 기초하여 갱신된다. 하나의 추출 타겟 타일을 가지는 경우, tiles_enabled_flag가 0으로 조절된다. 2개 이상의 추출 타겟 타일을 가지는 경우, 조절 프로세스가 생략될 수 있다. 다음에, 타일 행의 개수를 나타내는 (num_tile_columns_minus1), 및 타일 열의 개수를 나타내는 (num_tile_rows_minus1)가 픽쳐의 가로 방향 및 세로 방향에 포함된 추출 타겟 타일의 개수에 기초하여 조절된다. 다음에, 타일 크기가 균일하지 않은 경우(uniform_spacing_flag이 0인 경우), 아무런 추출 타겟 타일도 가지고 있지 않은 타일 열의 너비 및 아무런 추출 타겟 타일도 가지고 있지 않는 타일 행의 높이와 관계가 있는, 신택스에 대응하는 비트 시퀀스가 파라미터 세트로부터 제거된다.
또한, 파라미터 세트 조절 유닛(32)은, 변환 전 EL 픽쳐에 포함된 타일 중에서 확장된 레이어 상에 추출된 타일을 복호화하기 위해 불필요한 타일을 제거한다. 예를 들어, 변환 후 BL 픽쳐에 대응하는 확장된 레이어 상의 영역(변환 후 참조 레이어 대응 영역)이 변환 후 EL 픽쳐를 포함할 수 있도록, 베이스 레이어 상의 PPS 타일 정보가 갱신된다.
(픽쳐 정보의 조절)
파라미터 세트 조절 유닛(32)이 확장된 레이어 상의 추출 타겟 타일의 세트에 대응하는 영역을 변환 후 EL 픽쳐 크기로서 간주하고, 픽쳐 정보를 조절한다. 변환 후 EL 픽쳐의 너비 및 높이가 각각 확장된 레이어 SPS 상의 pic_width_in_luma_samples 값 및 pic_height_in_luma_sample의 값으로서 간주된다.
또한, 파라미터 세트 조절 유닛(32)은, 베이스 레이어 상의 추출 타겟 타일의 세트에 대응하는 영역을 변환 후 BL 픽쳐 크기로 간주하고, 픽쳐 정보를 조절한다. 변환 후 BL 픽쳐의 너비 및 높이는 각각 베이스 레이어 SPS 상에서 pic_width_in_luma_samples의 값 및 pic_height_in_luma_sample의 값으로 간주된다.
(층간 화소 대응 정보의 조절)
파라미터 세트 조절 유닛(32)은, 픽쳐 크기에 있어서의 변화를 고려하여 파라미터 세트에 포함된 층간 화소 대응 정보를 조절한다. 보다 구체적으로, 층간 화소 대응 정보에 포함된 모든 층간 화소 대응 오프셋이 조절된다. 층간 화소 대응 오프셋을 구성하는 확장된 참조 레이어 좌측 오프셋(scaled_ref_layer_left_offset[i])은, 변환 후 참조 레이어 대응 영역의 좌상측 화소와 변환 후 EL 픽쳐의 좌상측 화소 간의 거리에 대응하는 값으로 설정된다. 예를 들어, 변환 후 참조 레이어 대응 영역이 변환 후 EL 픽쳐를 포함하는 경우, 확장된 참조 레이어 좌측 오프셋이 음의 값을 가지도록 설정된다. 확장된 참조 레이어 좌측 오프셋에 대한 단위가 2개의 화소 단위인 경우, 확장된 참조 레이어 좌측 오프셋은, 그 절대값이 거리를 2개의 화소 단위로 표현한 값인 음의 정수를 가지도록 설정된다. 마찬가지로, 상측, 우측 및 하측에 대응하는 다른 확장된 참조 레이어 오프셋의 값들이 유사한 방식으로 설정된다.
(스케일 조절 정보의 조절)
파라미터 세트 조절 유닛(32)은, 픽쳐 크기에 있어서의 변화를 고려하여 파라미터 세트에 포함된 스케일 조절 정보를 조절한다. 개략도에서, 계층적으로 부호화된 데이터 변환 전후 복호화 중에 도출된 층간 스케일이 서로 일치할 수 있도록, 스케일 조절 정보가 갱신된다.
예를 들어, 층간 스케일을 가상 참조 레이어 대응 영역 크기와 가상 참조 레이어 크기 간의 비율로서 도출하는 경우, 가상 참조 레이어 대응 영역 크기가 변환 전 EL 픽쳐의 크기와 일치할 수 있고 가상 참조 레이어 크기가 변환 전 EL 픽쳐의 크기와 일치할 수 있도록, 스케일이 보정된다.
예를 들어, 도 11를 참조하여 설명된 정의를 스케일 조절 정보로 사용하는 경우, 변환 전 EL 픽쳐의 좌상측 화소와 변환 후 참조 레이어 대응 영역의 좌상측 화소 간의 거리에 대응하는 값이 확장된 참조 레이어 좌상단 추가 오프셋의 값으로서 설정된다. 마찬가지로, 변환 전 EL 픽쳐의 우하측 화소와 변환 후 참조 레이어 대응 영역의 우하측 화소 간의 거리에 대응하는 값이 확장된 참조 레이어 우하단 추가 오프셋의 값으로서 설정된다. 가상 참조 레이어 너비의 너비 및 높이가 변환 전 EL 픽쳐의 너비 및 높이로 각각 설정된다.
(표시 영역 정보의 조절)
파라미터 세트 조절 유닛(32)은, 입력 파라미터 세트에 포함된 SPS의 표시 영역 정보가 입력 관심 영역 정보에 의해 나타낸 관심 영역과 일치하도록 표시 영역 정보를 다시 기록한다. 표시 영역 정보는 예를 들어, 다음의 절차(S301 내지 S303)에 따라 다시 기록된다.
(S301) 관심 영역이 전체 픽처와 일치하는지 여부가 결정된다. 일치하는 경우, 프로세싱은 S302로 진행한다. 일치가 없는 경우, 프로세싱은 S303으로 진행한다.
(S302) 덮어 쓰여지지 않았던 표시 영역 플래그의 값이 1인 경우, 표시 영역 플래그의 값이 0으로 덮어 쓰여지고, 표시 영역 오프셋(conf_win_left_offset, conf_win_right_offset, conf_win_top_offset, conf_win_bottom_offset)이 SPS로부터 제거되며, 그 후에 프로세싱이 종료된다.
(S303) 표시 영역 플래그의 값이 1로 덮어 쓰여진다. 표시 영역 오프셋은, 관심 영역을 나타내는 직사각형의 픽쳐의 각각의 대응하는 변으로부터 위치적 오프셋의 값으로 설정된다. 예를 들어, 관심 영역의 상변의 픽쳐의 상변으로부터 위치적 오프셋은, 표시 영역 상단 오프셋(conf_win_top_offset)의 값으로 설정된다. 다시 쓰여지지 않았던 표시 영역 플래그의 값이 1인 경우, 관심 영역 오프셋의 원래의 값은, 세트 관심 영역 오프셋의 값으로 덮어 쓰여진다. 다시 쓰여지지 않았던 표시 영역 플래그의 값이 1인 경우, 세트 관심 영역 오프셋이 SPS의 표시 영역 플래그 바로 다음에 삽입된다.
NAL 선별기(34)는, 입력 관심 영역 정보 및 타일 정보에 기초하여 입력 비디오 부호화 레이어 NAL (VCL NAL)를 선택한다. 선택되었던 VCL NAL은 NAL 다중화 유닛(21)으로 순차적으로 출력된다. 선택되지 않았던 VCL NAL은 버려진다.
NAL 선별기(34)에 의해 선택된 VCL NAL은, 추출 타겟 타일에 포함된 슬라이스와 관련된 슬라이스 헤더 및 슬라이스 데이터를 포함하는 VCL NAL이다. NAL 선별기(34)는, 슬라이스 헤더 및 타일 정보에 포함된 슬라이스 어드레스에 기초하여 슬라이스가 추출 타겟 타일에 포함되는지 여부를 결정한다. 슬라이스가 포함되는 경우, 이 슬라이스를 포함하는 VCL NAL이 선택된다. 슬라이스가 포함되지 않는 경우, VCL NAL은 버려진다.
(계층적으로 부호화된 데이터 변환 프로세스 플로우)
계층적으로 부호화된 데이터 변환 프로세스는, 계층적으로 부호화된 데이터 변환 장치(3)가 S501 내지 S506에서 설명한 절차를 순차적으로 수행함으로써 달성된다.
(S501) NAL 역다중화 유닛(11)이 입력 계층적으로 부호화된 데이터(DATA)를 역다중화한다. 파라미터 세트(비-VCL NAL)와 관련된 일부가 파라미터 복호화 유닛(12)으로 출력된다. 슬라이스 레이어(슬라이스 헤더 및 슬라이스 데이터)와 관련된 일부인 비디오 부호화 레이어 NAL(VCL NAL)가 NAL 선별기(34)로 출력된다.
(S502) 파라미터 세트 복호화 유닛(12)은, 파라미터 세트(VPS, SPS 및 PPS)를 얻기 위하여 입력 비-VCL NAL를 부호화하고, 세트를 파라미터 세트 조절 유닛(32) 및 타일 설정 유닛(13)에 공급한다.
(S503) 타일 설정 유닛(13)은, 입력 파라미터 세트로부터 타일 정보를 도출하고, 정보를 파라미터 세트 조절 유닛(32) 및 NAL 선별기(34)로 출력한다.
(S504) 파라미터 세트 조절 유닛(32)은, 입력 관심 영역 정보 및 타일 정보에 기초하여 입력 파라미터 세트 정보를 조절하고, 정보를 출력한다.
(S505) NAL 선별기(34)는, 입력 타일 정보 및 관심 영역 정보에 기초하여 입력된 VCL NAL의 일부를 선택하고, 선택된 VCL NAL을 NAL 다중화 유닛(21)으로 출력한다.
(S506) NAL 다중화 유닛(21)은 입력 조절된 파라미터 세트, 및 조절된 슬라이스 헤더 및 슬라이스 데이터를 타겟 레이어 상의 조절된 부호화된 데이터로서 채택하고, 입력 참조 레이어 부호화된 데이터(DATA#R)를 가진 채택된 아이템을 다중화하며, 다중화된 데이터를 계층적으로 부호화된 데이터(DATA-ROI)로서 외부로 출력한다.
(계층적으로 부호화된 데이터 변환 장치(3)의 유리한 효과)
상술한 본 실시예에 따른 계층적으로 부호화된 데이터 변환 장치(3)는, 관심 영역 정보, 및 파라미터 세트 조절 유닛(32)에 기초하여, 타겟 레이어(상위 레이어) 상의 부호화된 데이터에 포함된 비디오 레이어 상의 부호화된 데이터(VCL NAL)의 일부를 조절하는 NAL 선별기(34)를 포함한다. NAL 선별기(34)는, 관심 영역 정보에 의해 나타낸 관심 영역에 기초하여 관심 영역과 중첩하는 영역을 추출 타겟 타일로서 선택한다. 선택된 추출 타겟 타일에 포함된 슬라이스와 관련된 비디오 레이어 상의 부호화된 데이터는, 변환되는 계층적으로 부호화된 데이터에 포함된다. 파라미터 세트 조절 유닛(32)은, 관심 영역 정보 및 타일 정보에 기초하여 픽쳐 정보, PPS 타일 정보, 디스플레이 정보, 층간 화소 대응 정보, 및 스케일 조절 정보를 조절한다.
상술한 계층적으로 부호화된 데이터 변환 장치(3)는, 입력되는 계층적으로 부호화된 데이터를 변환할 수 있고, 상위 레이어 상의 추출 타겟 타일(관심 영역과 중첩하는 영역을 가진 타일)과 관련된 VCL NAL을 추출할 수 있으며, 변환되는 계층적으로 부호화된 데이터를 구성할 수 있다. 관심 영역과 중첩하는 영역을 가지고 있지 않은 타일과 관련된 VCL NAL은 버려진다. 따라서, 변환되었던 계층적으로 부호화된 데이터가 변환되지 않았던 계층적으로 부호화된 데이터보다 작은 양의 코드를 가지고 있다. 계층적으로 부호화된 데이터 변환 장치(3)는, 파라미터 세트가 추출 타겟 타일에 들어맞게 하기 위하여 PPS 타일 정보, 및 표시 정보를 조절한다. 변환되는 계층적으로 부호화된 데이터는 계층적 비디오 복호화 장치에 의해 복호화될 수 있고, 관심 영역과 관련된 복호화된 픽쳐가 표시될 수 있다. 또한, 층간 화소 대응 정보 및 스케일 조절 정보가 조절된다. 따라서, 층간 스케일, 및 상위 레이어 화소와 참조 레이어 화소 간의 대응관계가 변환 전후에 계층적으로 부호화된 데이터 내에 유지된다. 따라서, 변환되지 않았던 부호화된 데이터에 의해 생성된 층간 예측을 통한 예측 이미지, 및 변환되었던 부호화된 데이터에 의해 생성된 층간 예측을 통한 예측 이미지가 유지되어 특정 유사성을 가질 수 있다.
[관심 영역 표시 시스템]
관심 영역 정보(관심 영역 표시 시스템(SYS))을 표시하는 시스템이 전술한 계층적 비디오 복호화 장치(1), 계층적 비디오 부호화 장치(2) 및 계층적으로 부호화된 데이터 변환 장치(3)를 결합하여 구성될 수 있다.
도 23를 참조하여 설명하면, 전술한 계층적 비디오 복호화 장치(1), 계층적 비디오 부호화 장치(2) 및 계층적으로 부호화된 데이터 변환 장치(3)의 조합이 관심 영역 표시 시스템을 구성할 수 있다는 것을 나타낸다. 도 23은 계층적 비디오 복호화 장치(1), 계층적 비디오 부호화 장치(2) 및 계층적으로 부호화된 데이터 변환 장치(3)를 결합함으로써 얻어지는 관심 영역 표시 시스템의 구성을 도시한 블록도이다. 개략도에서, 관심 영역 표시 시스템(SYS) 서로 다른 품질을 가진 입력 이미지를 계층적으로 부호화하여 부호화된 이미지를 축적하고, 축적된 계층적으로 부호화된 데이터를 변환하여 사용자로부터의 관심 영역 정보에 따라 데이터를 제공하며, 변환되는 계층적으로 부호화된 데이터를 부호화함으로써, 관심 영역(ROI)과 관련된 고품질을 가진 재생된 이미지를 표시한다.
도 23에 도시된 바와 같이, 관심 영역 표시 시스템(SYS)은, 계층적 비디오 부호화 유닛(SYS1A); 계층적 비디오 부호화 유닛(SYS1B); 계층적으로 부호화된 데이터 축적 유닛(SYS2); 계층적으로 부호화된 데이터 변환 유닛(SYS3); 계층적 비디오 복호화 유닛(SYS4); 표시 유닛(SYS6); 및 ROI 통지 유닛(SYS8)을 구성 엘리먼트로서 포함한다.
상술한 계층적 비디오 부호화 장치(2)가 계층적 비디오 복호화 유닛(SYS1A 및 SYS1B)으로서 이용될 수 있다.
계층적으로 부호화된 데이터 축적 유닛(SYS2)는 계층적으로 부호화된 데이터를 축적하고, 계층적으로 부호화된 데이터를 요청에 따라 공급할 수 있다. 기록 매체(메모리, 하드 디스크, 및 광디스크)를 포함하는 컴퓨터가 계층적으로 부호화된 데이터 축적 유닛(SYS2)으로서 이용될 수 있다.
상술한 계층적으로 부호화된 데이터 변환 유닛(3)는 계층적으로 부호화된 데이터 변환 유닛(SYS3)으로서 이용될 수 있다. 따라서, 계층적으로 부호화된 데이터 변환 유닛(SYS3)은 입력되는, 계층적으로 부호화된 데이터에 포함된 스케일 정보를 입력 관심 영역에 따라 적절한 값으로 설정할 수 있다.
상술한 계층적 비디오 복호화 장치(1)는 계층적 비디오 복호화 유닛(SYS4)으로서 이용될 수 있다. 따라서, 계층적 비디오 복호화 유닛(SYS4)은 파라미터 세트로부터 스케일 정보를 복호화할 수 있고, 스케일 정보를 참조하여 층간 예측을 실행할 수 있다.
표시 유닛(SYS6)은, 미리 정해진 표시 영역 내에서 미리 정해진 표시 위치에 복호화 이미지를 표시한다. 예를 들어, 표시 영역은 텔레비전 화면이다. 표시 위치는 전체 화면이다. 표시 유닛(SYS6)이 입력 복호화 이미지를 확대하거나 축소하여 표시 영역의 크기와 일치하는 크기를 가지게 하면서 이미지를 표시하는 것이 바람직하다.
ROI 통지 유닛(SYS8)은, 사용자에 의해 지정된 관심 영역 정보를 미리 정해진 방법에 따라 통지한다. 예를 들어, 사용자는 전체 표시 이미지가 표시되는 표시 영역 내에서 관심 영역에 대응하는 영역을 지정하여 관심 영역을 ROI 통지 유닛에게 전송할 수 있다. 지정 사용자에 의한 지정이 없으면, ROI 통지 유닛(SYS8)은, 관심 영역이 존재하지 않음을 나타내는 정보를 관심 영역 정보로서 통지한다.
(관심 영역 표시 시스템의 플로우)
관심 영역 표시 시스템에 의한 프로세스는, 계층적으로 부호화된 데이터를 생성하고 축적하는 프로세스, 및 관심 영역 데이터를 생성하고 재생하는 프로세스로 구분될 수 있다.
계층적으로 부호화된 데이터를 생성하고 축적하는 프로세스는, 서로 다른 품질을 가진 입력 이미지로부터 계층적으로 부호화된 데이터를 생성하고, 데이터를 축적한다. 계층적으로 부호화된 데이터를 생성하고 축적하는 프로세스는, T101 내지 T103에서의 절차에 따라 수행된다.
(T101) 계층적 비디오 부호화 유닛(SYS1B)은, 낮은 품질을 가진 입력 이미지를 부호화하고 생성된 계층적으로 부호화된 데이터를 계층적 비디오 복호화 유닛(SYS1A)에 공급한다. 즉, 계층적 비디오 부호화 유닛(SYS1B)은, 입력 이미지로부터 계층적 비디오 복호화 유닛(SYS1A)에서 참조 레이어(하위 레이어)로 사용될 계층적으로 부호화된 데이터를 생성하고, 데이터를 출력한다.
(T102) 계층적 비디오 복호화 유닛(SYS1A)은 입력 계층적으로 부호화된 데이터를 참조 레이어 상의 부호화된 데이터로서 채택하고, 고품질을 가진 입력 이미지를 부호화하며, 계층적으로 부호화된 데이터를 생성하고, 데이터를 계층적으로 부호화된 데이터 축적 유닛(SYS2)으로 출력한다.
(T103) 계층적으로 부호화된 데이터 축적 유닛(SYS2)은 적절한 인덱스를 입력되는 계층적으로 부호화된 데이터에 할당하고, 데이터를 내부의 기록 매체에 기록한다.
관심 영역 데이터를 생성하고 재생하는 프로세스는, 계층적으로 부호화된 데이터 축적 유닛(SYS2)으로부터 계층적으로 부호화된 데이터를 판독하고, 관심 영역에 대응하는 계층적으로 부호화된 데이터를 변환하며, 변환되는 계층적으로 부호화된 데이터를 복호화하고, 데이터를 재생하여 표시한다. 관심 영역 데이터를 생성하고 재생하는 프로세스가 다음의 절차(T201 내지 T205)에 따라 실행된다.
(T201) 사용자에 의해 선택된 비디오와 관련된 계층적으로 부호화된 데이터가 계층적으로 부호화된 데이터 축적 유닛(SYS2)로부터 계층적으로 부호화된 데이터 변환 유닛(SYS3)에 공급된다.
(T202) ROI 통지 유닛(SYS8)은 계층적으로 부호화된 데이터 변환 유닛(SYS3)에게 사용자에 의해 지정된 관심 영역 정보를 통지한다
(T203) 계층적으로 부호화된 데이터 변환 유닛(SYS3)은 입력 관심 영역 정보에 기초하여 입력되는 계층적으로 부호화된 데이터를 변환하고, 데이터를 계층적 비디오 복호화 유닛(SYS4)으로 출력한다.
(T204) 계층적 비디오 복호화 유닛(SYS4)은 입력 계층적인 비디오 부호화된 데이터(변환 후)를 복호화하고, 상위 레이어 상의 획득된 복호화된 픽쳐를 표시 유닛(SYS6)으로 출력한다.
(T205) 표시 유닛(SYS6)은 입력 복호화 이미지를 표시한다.
(관심 영역 표시 시스템(SYS)의 유리한 효과)
본 실시예에 따른 관심 영역 표시 시스템(SYS)은, 관심 영역 정보를 공급하는 관심 영역 통지 유닛(ROI 통지 유닛(SYS8)); 관심 영역 정보에 기초하여 계층적으로 부호화된 데이터를 변환하고, 변환 후에 계층적으로 부호화된 데이터를 생성하는 계층적으로 부호화된 데이터 변환 유닛(SYS3); 변환 후에 계층적으로 부호화된 데이터를 복호화하고, 상위 레이어 및 하부 레이어 상의 복호화된 픽쳐를 출력하는 계층적 비디오 복호화 유닛(SYS4); 및 표시 유닛(SYS6)을 포함한다.
관심 영역 표시 시스템(SYS)은, 관심 영역 정보에 의해 지정된 영역 내에 복호화된 픽쳐를 표시할 수 있다. 여기서, 관심 영역 정보에 의해 지정되는 영역 내의 복호화된 픽쳐는, 스케일 조절 정보에 기초하여 얻어진 층간 스케일을 이용하는 층간 이미지 예측을 이용하여, 계층적으로 부호화된 데이터 내의 상위 레이어 부호화된 데이터로부터 복호화된다. 따라서, 이미지 품질이 높다. 또한, 관심 영역에 기초하여 변환된 계층적으로 부호화된 데이터는, 변환되지 않았던 계층적으로 부호화된 데이터보다 작은 양의 코드를 가지고 있다. 따라서, 관심 영역 표시 시스템(SYS)의 사용하는 것은, 계층적으로 부호화된 데이터를 전송하기 위해 필요한 대역폭을 줄이면서 관심 영역와 관련된 고품질을 가진 복호화된 픽쳐를 재생할 수 있다.
(다른 계층적인 비디오 부호화/복호화 시스템에 대한 적용예)
전술한 계층적 비디오 부호화 장치(2) 및 계층적 비디오 복호화 장치(1)가 비디오 송신, 수신, 녹화 및 재생을 위한 다양한 장치에 장착되는 방식으로 사용될 수 있다. 비디오는 카메라 등에 의해 촬영된 가공하지 않은 비디오, 및 컴퓨터 등에 의해 생성되는 가공한 비디오(CG 및 GUI)일 수 있다.
도 24를 참조하여, 전술한 계층적 비디오 부호화 장치(2) 및 계층적 비디오 복호화 장치(1)가 비디오 송신 및 수신을 위해 사용될 수 있다는 것에 대해 설명한다. 도 24a는 계층적 비디오 부호화 장치(2)가 장착된 송신 장치(PROD_A)의 구성을 도시한 블록도이다.
도 24a에서 설명된 바와 같이, 송신 장치(PROD_A)은 비디오를 부호화하여 부호화된 데이터를 얻는 부호화 유닛(PROD_A1), 부호화 유닛(PROD_A1)에 의해 얻어지는 부호화된 데이터 이용하여 반송파를 변조함으로써 변조된 신호를 얻는 변조 유닛(PROD_A2), 및 변조 유닛(PROD_A2)에 의해 얻어지는 변조된 신호를 송신하는 송신 유닛(PROD_A3)을 포함한다. 전술한 계층적 비디오 부호화 장치(2)가 부호화 유닛(PROD_A1)으로서 사용된다.
송신 장치(PROD_A)는 부호화 유닛(PROD_A1)으로 입력될 비디오의 공급원의 역할을 하고 비디오를 촬영하는 카메라(PROD_A4), 비디오를 기록하는 기록 매체(PROD_A5), 외부로부터 비디오를 수신하기 위한 입력 단말기(PROD_A6), 및 이미지를 생성하거나 처리하는 이미지 처리 유닛(A7)을 더 포함할 수 있다. 도 24a에서, 송신 장치(PROD_A)에게 이러한 엘리먼트의 전부가 제공되는 구성이 도시되어 있다. 하지만, 이러한 엘리먼트 중 일부는 생략될 수 있다.
기록 매체(PROD_A5)는 부호화되지 않은 비디오를 녹화할 수 있다. 이와 달리, 이러한 매체는, 전송을 위한 부호화 방식과는 다른 녹화를 위한 부호화 방식에 따라 부호화된 비디오를 녹화할 수 있다. 후자의 경우에, 기록 매체(PROD_A5)로부터 판독되는 부호화된 데이터를 기록을 위한 부호화 방식에 따라 복호화하는 복호화기(도시하지 않음)가 기록 매체(PROD_A5)와 부호화 유닛(PROD_A1) 사이에 있는 것이 바람직하다.
도 24b는 계층적 비디오 복호화 장치(1)가 장착된 수신 장치(PROD_B)의 구성을 도시한 블록도이다. 도 24b에서 설명된 바와 같이, 수신 장치(PROD_B)는 변조된 신호를 수신하는 수신 유닛(PROD_B1), 수신 유닛(PROD_B1)에 의해 수신되는 변조된 신호를 복조하여 부호화된 데이터를 얻는 복조 유닛(PROD_B2), 및 복조 유닛(PROD_B2)에 의해 얻어진 부호화된 데이터를 복호화하여 비디오를 얻는 복호화 유닛(PROD_B3)을 포함한다. 전술한 계층적 비디오 복호화 장치(1)는 복호화 유닛(PROD_B3)으로서 사용된다.
수신 장치(PROD_B)는, 복호화 유닛(PROD_B3)으로부터 출력될 비디오의 제공 목적지 역할을 하고 비디오를 표시하는 표시장치(PROD_B4), 비디오를 녹화하기 위한 기록 매체(PROD_B5), 및 비디오를 외부로 출력하기 위한 출력 단말기(PROD_B6)를 더 포함할 수 있다. 도 24b에서, 수신 장치(PROD_B)에게 이러한 엘리먼트의 전부가 제공되는 구성이 도시되어 있다. 하지만, 이러한 엘리먼트 중 일부는 생략될 수 있다.
기록 매체(PROD_B5)는, 부호화되지 않은 비디오를 녹화하기 위한 것일 수 있다. 이와 달리, 이러한 매체는 전송을 위한 부호화 방식과는 다른 녹화를 위한 부호화 방식에 따라 부호화된 비디오를 녹화할 수 있다. 후자의 경우에, 복호화 유닛(PROD_B3)으로부터 얻어지는 비디오를 녹화를 위한 부호화 방식에 따라 부호화하는 부호화기(도시하지 않음)가 복호화 유닛(PROD_B3)와 기록 매체(PROD_B5) 사이에 있는 것이 바람직하다.
변조된 신호를 전송하는 전송 매체는 무선 매체 또는 유선 매체일 수 있다. 변조된 신호를 전송하는 전송 방식은 브로드캐스트(여기서, 전송 목적지가 사전에 명시되지 않은 전송 방식을 나타냄) 방식일 수 있다. 이러한 방식은 통신(여기서, 전송 목적지가 사전에 명시되지 않은 전송 방식을 나타냄)일 수 있다. 즉, 변조된 신호의 전송은, 무선 브로드캐스트, 유선 브로드캐스트, 무선 통신, 및 유선 통신 중 임의의 방식에 의해 달성될 수 있다.
예를 들어, 지상파 디지털 방송을 위한 방송국(방송 설비 등)/수신 유닛(텔레비전 수신 유닛 등)이 무선 브로드캐스팅을 통해 변조된 신호를 송수신하기 위한 송신 장치(PROD_A)/수신 장치(PROD_B)의 예이다. 케이블 텔레비전 방송을 위한 방송국(방송 설비 등)/수신 유닛(텔레비전 수신 유닛 등)이 유선 브로드캐스팅을 통해 변조된 신호를 송수신하기 위한 송신 장치(PROD_A)/수신 장치(PROD_B)의 예이다.
인터넷을 이용하는 주문형 비디오(Video On Demand, VOD) 서비스 또는 비디오 공유 서비스를 위한 서버(워크스테이션 등)/클라이언트(텔레비전 수신 유닛, 개인용 컴퓨터, 스마트폰 등)이, 통신을 통해 변조된 신호를 송수신하기 위한 송신 장치(PROD_A)/수신 장치(PROD_B)의 예이다(일반적으로, 무선 및 유선 전송 매체 중 임의의 매체가 LAN에 사용되고, 유선 전송 매체가 WAN에 사용됨). 여기서, 개인용 컴퓨터는 데스크탑 PC, 랩 탑 PC, 및 태블릿 PC 중 어느 하나일 수 있다. 스마트폰은 다기능(multi-functional) 휴대폰일 수 있다.
비디오 공유 서비스의 클라이언트는, 서버로부터 다운로드된 부호화된 데이터를 복호화하여 데이터를 표시하는 기능 뿐만 아니라 카메라에 의해 촬영된 비디오를 부호화하고 비디오를 서버에 업로드하는 기능도 가지고 있다. 즉, 비디오 공유 서비스의 클라이언트는 송신 장치(PROD_A)와 수신 장치(PROD_B) 양자 모두로서 기능한다.
도 25를 참조하여, 전술한 계층적 비디오 부호화 장치(2) 및 계층적 비디오 복호화 장치(1)가 비디오 녹화 및 재생을 위해 사용될 수 있다는 것에 대해 설명한다. 도 25a는 계층적 비디오 부호화 장치(2)가 장착된 기록 장치(PROD_C)의 구성을 도시한 블록도이다.
도 25(a)에 도시된 바와 같이, 기록 장치(PROD_C)는, 비디오를 부호화하여 부호화된 데이터를 얻는 부호화기(PROD_C1), 및 부호화기(PROD_C1)에 의해 얻어진 부호화된 데이터를 기록 매체(PROD_M)에 기록하는 기록 유닛(PROD_C2)를 포함한다. 전술한 계층적 비디오 부호화 장치(2)가 부호화기(PROD_C1)로서 사용된다.
기록 매체(PROD_M)는, (1) HDD(하드 디스크 드라이브) 또는 SSD(Solid State Drive) 등의 기록 장치(PROD_C)에 내장된 것, (2) SD 메모리 카드 또는 USB(Universal Serial Bus) 플래쉬 메모리 등의 기록 장치(PROD_C)에 연결된 것, (3) DVD(Digital Versatile Disc) 또는 블루레이 디스크(BLu-ray Disc (R)) 등의 기록 장치(PROD_C)에 내장된 드라이브 장치(도시하지 않음) 내에 삽입된 것일 수 있다.
기록 장치(PROD_C)는, 부호화기(PROD_C1)로 입력될 비디오의 공급원 역할을 하고 비디오를 촬영하는 카메라(PROD_C3), 외부로부터 비디오를 수신하기 위한 입력 단말기(PROD_C4), 비디오를 수신하기 위한 수신 유닛(PROD_C5), 및 이미지를 생성하거나 처리하는 이미지 처리 유닛(C6)을 더 포함할 수 있다. 도 25a에서, 기록 장치(PROD_C)에는 이러한 엘리먼트의 전부가 제공되는 구성이 도시되어 있다. 하지만, 이러한 엘리먼트 중 일부는 생략될 수 있다.
수신 유닛(PROD_C5)은 부호화되지 않은 비디오를 수신하기 위한 것일 수 있다. 이와 달리, 이러한 수신 유닛은 녹화를 위한 부호화 방식과는 다른 전송을 위한 부호화 방식에 따라 부호화된 부호화 데이터를 수신할 수 있다. 후자의 경우에, 전송을 위한 부호화 방식에 따라 부호화된 부호화 데이터를 복호화하는, 전송을 위한 복호화기가 수신 유닛(PROD_C5)와 부호화기(PROD_C1) 사이에 있는 것이 바람직하다.
이러한 기록 장치(PROD_C)의 예는, DVD 레코더, BD 레코더, 및 HDD(Hard Disk Drive) 레코더 (이러한 경우, 입력 단말기(PROD_C4) 또는 수신 유닛(PROD_C5)이 비디오의 주요 공급원의 역할을 함)를 포함한다. 이와 달리, 캠코더(이러한 경우, 카메라(PROD_C3)가 비디오의 주요 공급원의 역할을 함), 개인용 컴퓨터(이러한 경우, 수신 유닛(PROD_C5) 또는 이미지 처리 유닛(PROD_C6)이 비디오의 주요 공급원의 역할을 함), 또는 스마트폰(이러한 경우, 카메라(PROD_C3) 또는 수신 유닛(PROD_C5)이 비디오의 주요 공급원의 역할을 함)이 이러한 기록 장치(PROD_C)의 예이다.
도 25b는 전술한 계층적 비디오 복호화 장치(1)가 장착된 재생 장치(PROD_D)의 구성을 도시한 블록도이다. 도 25(b)에 도시된 바와 같이, 재생 장치(PROD_D)는, 기록 매체(PROD_M)에 기록된, 부호화된 데이터를 판독하는 판독 유닛(PROD_D1), 및 판독 유닛(PROD_D1)에 의해 판독된, 부호화된 데이터를 복호화하여 비디오를 얻는 복호화 유닛(PROD_D2)을 포함한다. 전술한 계층적 비디오 복호화 장치(1)가 복호화 유닛(PROD_D2)으로 사용된다.
기록 매체(PROD_M)는, (1) HDD 또는 SSD 등의 재생 장치(PROD_D)에 내장된 것, (2) SD 메모리 카드 또는 USB 플래쉬 메모리 등의 재생 장치(PROD_D)에 연결된 것, (3) DVD 또는 BD 등의 재생 장치(PROD_D)에 내장된 드라이브 장치(도시하지 않음)일 수 있다.
재생 장치(PROD_D)는, 복호화 유닛(PROD_D2)으로부터 출력될 비디오의 공급 목적지의 역할을 하고 비디오를 표시하는 표시장치(PROD_D3), 비디오를 외부로 출력하기 위한 출력 단말기(PROD_D4), 및 비디오를 송신하는 송신 유닛(PROD_D5)을 더 포함할 수 있다. 도 25b에서, 재생 장치(PROD_D)에는 이러한 엘리먼트의 전부가 제공되는 구성이 도시되어 있다. 하지만, 이러한 엘리먼트 중 일부는 생략될 수 있다.
송신 유닛(PROD_D5)은, 부호화되지 않은 비디오를 전송하기 위한 것일 수 있다. 이와 달리, 이러한 송신 유닛은, 녹화를 위한 부호화 방식과는 다른 전송을 위한 부호화 방식에 따라 부호화된 부호화 데이터를 전송할 수도 있다. 후자의 경우에, 전송을 위한 부호화 방식에 따라 비디오를 부호화하는 부호화기(도시하지 않음)가 복호화 유닛(PROD_D2)과 송신 유닛(PROD_D5) 사이에 있는 것이 바람직하다.
이러한 재생 장치(PROD_D)는 예를 들어, DVD 플레이어, BD 플레이어, 또는 HDD 플레이어 등(이러한 경우, 텔레비전 수신 유닛 또는 유사한 것이 연결되는 출력 터미널(PROD_D4)이 비디오의 주요 공급 목적지의 역할을 함)일 수 있다. 텔레비전 수신 유닛(이러한 경우, 표시장치(PROD_D3)가 비디오의 주요 공급 목적지의 역할을 함), 디지털 사이니지(전자 사이니지(electronic signage) 또는 전자 게시판이라고도 하고, 표시장치(PROD_D3) 또는 송신 유닛(PROD_D5)이 비디오의 주요 공급 목적지의 역할을 함), 데스크탑 PC(이러한 경우, 출력 단말기(PROD_D4) 또는 송신 유닛(PROD_D5)이 비디오의 주요 공급 목적지의 역할을 함), 랩 탑 또는 태블릿 PC (이러한 경우, 표시장치(PROD_D3) 또는 송신 유닛(PROD_D5)이 비디오의 주요 공급 목적지의 역할을 함), 스마트폰(이러한 경우, 표시장치(PROD_D3) 또는 송신 유닛(PROD_D5)이 비디오의 주요 공급 목적지의 역할을 함) 및 기타 같은 종류의 것이 이러한 재생 장치(PROD_D)의 예이다.
(하드웨어 구현 및 소프트웨어 구현)
결국, 계층적 비디오 복호화 장치(1) 및 계층적 비디오 부호화 장치(2)의 각각의 블록이 집적 회로(IC 칩) 상에 형성된 로직 회로에 의해 얻을 수 있거나, 또는 CPU(Central Processing Unit)를 이용하여 소프트웨어 방식으로 얻을 수 있다.
후자의 경우에, 각각의 장치는, 기능을 이루는 제어 프로그램의 명령을 실행하는 CPU, 프로그램를 저장하는 ROM(Read Only Memory), 프로그램이 배치되는 RAM(Random Access Memory), 및 프로그램 및 다양한 데이터를 저장하고 있는 메모리 등의 저장 장치(기록 매체)를 포함한다. 각각의 장치에게 각각의 장치의 제어 프로그램이면서 상술한 기능을 달성하기 위한 소프트웨어인 제어 프로그램의 프로그램 코드(실행 가능한 프로그램, 중간의 코드 프로그램, 또는 소스 프로그램)를 컴퓨터가 판독가능하게 기록하는 기록 매체를 제공함으로써, 또한 컴퓨터(CPU 또는 MPU(Micro Processing Unit))가 기록 매체에 기록된 프로그램 코드를 판독하여 실행할 수 있게 함으로써, 본 발명의 목적이 달성될 수도 있다.
기록 매체는, 예를 들어, 자기 테이프 또는 카세트 테이프 등의 테이프, 플로피(R) 디스크/하드 디스크 등의 자기 디스크, 및 시디롬(Compact Disc Read-Only Memory, CD-ROM)/광자기 디스크(Magneto-Optical Disk, MO)/미니 디스크(Mini Disc, MD)/디브이디(Digital Versatile Disk, DVD)/시디알(Compact Disc Recordable, CD-R) 등의 광디스크를 포함하는 디스크, IC 카드(메모리 카드 포함)/광학 카드 등의 카드, 마스크 롬(mask ROM)/이피롬(Erasable Programmable Read-only Memory, EPROM)/이이피롬(R)(Electrically Erasable and Programmable Read-only Memory, EEPROM)/플래쉬 롬, 또는 피엘디(Programmable Logic Device, PLD)나 에프피지에이(Field Programmable Gate Array, FPGA)를 포함하는 로직 회로 등의 반도체 메모리일 수 있다.
각각의 장치는, 통신망으로 연결되도록 구성될 수 있고, 통신망을 통해 프로그램 코드를 제공할 수 있다. 통신망은 프로그램 코드를 전송할 수 있는 임의의 엘리먼트이다. 이러한 엘리먼트는 구체적으로 제한되지 않는다. 예를 들어, 인터넷, 인트라넷, 엑스트라넷, 랜(Local Area Network, LAN), 종합정보통신망(Integrated Services Digital Network, ISDN), 부가가치 통신망(Value-Added Network, VAN), 케이블 텔레비전(Community Antenna Television) 통신망, 가상사설망(VPN), 전화망, 이동통신망, 위성통신망 및 이와 유사한 통신망이 사용될 수 있다. 통신망을 구성하는 전송 매체는 프로그램 코드를 전송할 수 있는 임의의 매체일 수 있다. 매체는 특정한 구성 또는 특정한 유형에 제한되지 않는다. 예를 들어, IEEE(Institute of Electrical and Electronic Engineers) 1394, USB, 전력선 캐리어, 케이블 TV 회선, 전화선, 비대칭 디지털가입자회선(Asymmetric Digital Subscriber Line, ADSL) 회로 등의 임의의 유선 엘리먼트, 또는 IrDA(lnfrared Data Association) 또는 원격 제어 등의 적외선 엘리먼트, 블루투스(R), IEEE802.11 무선, 고속 데이터 전송(High Data Rate, HDR), 근거리 무선통신(Near Field Communication, NFC), 디지털 리빙 네트워크 얼라이언스(Digital Living Network Alliance(R), DLNA(R)), 휴대폰 네트워크, 위성 회선, 또는 지상파 디지털망을 포함하는 임의의 무선 엘리먼트가 사용될 수 있다. 본 발명은 프로그램 코드의 전자적 전송을 통해 구현되는 반송파에 포함되는 컴퓨터 데이터 신호의 형태로 이루어질 수 있다.
본 발명은 상술한 각각의 실시예에 한정되지 않는다. 다양한 변경이 청구범위에 표현된 범위 내에서 이루어질 수 있다. 다양한 실시예에서 개시된 기술적 수단의 유형을 조합하여 얻어지는 임의의 실시 형태도 본 발명의 기술적인 범위에 포함된다.
본 발명은, 이미지 데이터가 계층적으로 부호화된 부호화된 데이터를 복호화하는 계층적 비디오 복호화 장치, 및 이미지 데이터가 계층적으로 부호화된 부호화된 데이터를 생성하는 계층적 비디오 부호화 장치에 적합하게 적용 가능하다. 본 발명은 또한 계층적 비디오 부호화 장치에 의해 생성되고 계층적 비디오 복호화 장치에 의해 참조되는, 계층적으로 부호화된 데이터의 데이터 구조에 적합하게 적용 가능하다.
1..계층적 비디오 복호화 장치(이미지 복호화 장치)
11..NAL 역다중화 유닛
12..파라미터 세트 복호화 유닛
13..타일 설정 유닛
14..슬라이스 복호화 유닛
141..슬라이스 헤더 복호화 유닛
142..슬라이스 위치 설정 유닛
144..CTU 복호화 유닛
1441..예측 레지듀 복원 유닛
1442..예측 이미지 생성 유닛
1443..CTU 복호화 이미지 생성 유닛
15..베이스 복호화 유닛
151..베이스 NAL 역다중화 유닛
152..베이스 파라미터 세트 복호화 유닛
153..베이스 타일 설정 유닛
154..베이스 슬라이스 복호화 유닛
156..베이스 복호화된 픽쳐 관리 유닛
16..복호화된 픽쳐 관리 유닛
2..계층적 비디오 부호화 장치(이미지 부호화 장치)
21..NAL 다중화 유닛
22..파라미터 세트 부호화 유닛
23..타일 설정 유닛
24..슬라이스 부호화 유닛
241..슬라이스 헤더 설정 유닛
242..슬라이스 위치 설정 유닛
244..CTU 부호화 유닛
2441..예측 레지듀 부호화 유닛
2442..예측 이미지 부호화 유닛
3..계층적으로 부호화된 데이터 변환 장치(부호화된 데이터 변환 장치)
32..파라미터 세트 조절 유닛
34..NAL 선별기
11..NAL 역다중화 유닛
12..파라미터 세트 복호화 유닛
13..타일 설정 유닛
14..슬라이스 복호화 유닛
141..슬라이스 헤더 복호화 유닛
142..슬라이스 위치 설정 유닛
144..CTU 복호화 유닛
1441..예측 레지듀 복원 유닛
1442..예측 이미지 생성 유닛
1443..CTU 복호화 이미지 생성 유닛
15..베이스 복호화 유닛
151..베이스 NAL 역다중화 유닛
152..베이스 파라미터 세트 복호화 유닛
153..베이스 타일 설정 유닛
154..베이스 슬라이스 복호화 유닛
156..베이스 복호화된 픽쳐 관리 유닛
16..복호화된 픽쳐 관리 유닛
2..계층적 비디오 부호화 장치(이미지 부호화 장치)
21..NAL 다중화 유닛
22..파라미터 세트 부호화 유닛
23..타일 설정 유닛
24..슬라이스 부호화 유닛
241..슬라이스 헤더 설정 유닛
242..슬라이스 위치 설정 유닛
244..CTU 부호화 유닛
2441..예측 레지듀 부호화 유닛
2442..예측 이미지 부호화 유닛
3..계층적으로 부호화된 데이터 변환 장치(부호화된 데이터 변환 장치)
32..파라미터 세트 조절 유닛
34..NAL 선별기
Claims (13)
- 계층적으로 부호화된 데이터(hierarchically coded data)에 포함된 상위 레이어 상의 부호화된 데이터를 복호화하고 타겟 레이어인 상기 상위 레이어 상의 복호화된 픽쳐(decoded picture)를 복원하는 이미지 복호화 장치로서,
파라미터 세트를 복호화하는 파라미터 세트 복호화 유닛; 및
참조 레이어 상의 픽쳐의 복호화된 화소에 따른 층간 예측(inter-layer prediction)을 통해 예측 이미지를 생성하는 예측 이미지 생성 유닛을 포함하고,
상기 파라미터 세트 복호화 유닛은 상기 참조 레이어에 관한 스케일 조절 정보를 복호화하며,
상기 예측 이미지 생성 유닛은, 상기 스케일 조절 정보에 기초하여 도출되는 층간 스케일을 이용하여 상기 타겟 레이어의 화소에 대응하는, 상기 참조 레이어 상의 참조 위치를 도출하고,
가상 참조 레이어(virtual reference layer) 크기 차이가 상기 스케일 조절 정보에 기초하여 도출되며,
상기 예측 이미지 생성 유닛에 의해 도출되는 상기 층간 스케일의 값은, 가상 참조 레이어 대응 영역(virtual reference layer correspondence region) 크기와 가상 참조 레이어 크기 간의 비율의 근사값이고,
상기 가상 참조 레이어 크기는 참조 레이어 픽쳐 크기와 상기 가상 참조 레이어 크기 차이의 합인, 이미지 복호화 장치. - 제1항에 있어서,
상기 스케일 조절 정보가 상기 파라미터 세트에 포함되지 않은 경우, 상기 가상 참조 레이어 크기와 상기 참조 레이어 픽쳐 크기가 서로 일치할 수 있도록 상기 스케일 조절 정보의 값이 설정되는, 이미지 복호화 장치. - 제1항 또는 제2항에 있어서,
상기 상위 레이어 상의 상기 복호화된 픽쳐는, 상기 참조 레이어 상의 복호화된 픽쳐보다 높은 해상도, 높은 프레임 레이트, 또는 높은 이미지 품질을 가지고 있는, 이미지 복호화 장치. - 제1항 또는 제2항에 있어서,
상기 참조 위치는, 상기 참조 레이어 상의 화소 단위보다 작은 정밀도로 표현되는, 이미지 복호화 장치. - 제1항 또는 제2항에 있어서,
상기 예측 이미지 생성 유닛은 추가적으로, 상기 타겟 레이어의 화소의 예측 화소 값을 생성하기 위하여, 상기 참조 위치를 입력으로 수신하여 보간 필터 프로세스(interpolation filter process)를 실행하는 단계를 수행하는, 이미지 복호화 장치. - 입력 이미지로부터 상위 레이어 상의 부호화된 데이터를 생성하는 이미지 부호화 장치로서,
파라미터 세트를 복호화하는 파라미터 세트 복호화 유닛; 및
픽쳐의 복호화된 화소에 따른 층간 예측을 통해 참조 레이어 상에 예측 이미지를 생성하는 예측 이미지 부호화 유닛을 포함하고,
상기 파라미터 세트 복호화 유닛은 스케일 조절 정보를 부호화하며,
상기 예측 이미지 부호화 유닛은, 상기 스케일 조절 정보로부터 도출된 층간 스케일 값을 이용하여 타겟 레이어의 복호화된 화소에 대응하는 참조 위치를 도출하고,
가상 참조 레이어 크기 차이가 상기 스케일 조절 정보에 기초하여 도출되고,
상기 예측 이미지 부호화 유닛에 의해 도출되는 상기 층간 스케일의 값은, 가상 참조 레이어 대응 영역 크기와 가상 참조 레이어 크기 간의 비율의 근사값이고,
상기 가상 참조 레이어 크기는 참조 레이어 픽쳐 크기와 상기 가상 참조 레이어 크기 차이의 합인, 이미지 부호화 장치. - 제6항에 있어서,
상기 스케일 조절 정보가 상기 파라미터 세트에 포함되지 않은 경우, 상기 가상 참조 레이어 크기와 상기 참조 레이어 픽쳐 크기가 서로 일치할 수 있도록 상기 스케일 조절 정보의 값이 설정되는, 이미지 부호화 장치. - 제6항 또는 제7항에 있어서,
상기 상위 레이어 상의 상기 복호화된 픽쳐는, 상기 참조 레이어 상의 복호화된 픽쳐보다 높은 해상도, 높은 프레임 레이트, 또는 높은 이미지 품질을 가지고 있는, 이미지 부호화 장치. - 제6항 또는 제7항에 있어서,
상기 참조 위치는 상기 참조 레이어 상의 화소 단위보다 작은 정밀도로 표현되는, 이미지 부호화 장치. - 제6항 또는 제7항에 있어서,
상기 예측 이미지 부호화 유닛은 추가적으로, 상기 타겟 레이어의 화소의 예측 화소 값을 생성하기 위하여, 상기 참조 위치를 입력으로 수신하여 보간 필터 프로세스를 실행하는 단계를 수행하는, 이미지 부호화 장치. - 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013253259 | 2013-12-06 | ||
| JPJP-P-2013-253259 | 2013-12-06 | ||
| PCT/JP2014/081033 WO2015083575A1 (ja) | 2013-12-06 | 2014-11-25 | 画像復号装置、画像符号化装置、および、符号化データ変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160085895A KR20160085895A (ko) | 2016-07-18 |
| KR101782454B1 true KR101782454B1 (ko) | 2017-09-28 |
Family
ID=53273338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167016343A KR101782454B1 (ko) | 2013-12-06 | 2014-11-25 | 이미지 복호화 장치, 이미지 부호화 장치, 및 부호화된 데이터 변환 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10142653B2 (ko) |
| EP (1) | EP3068136B1 (ko) |
| JP (1) | JP6229904B2 (ko) |
| KR (1) | KR101782454B1 (ko) |
| CN (1) | CN105981386B (ko) |
| WO (1) | WO2015083575A1 (ko) |
Families Citing this family (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9185387B2 (en) | 2012-07-03 | 2015-11-10 | Gopro, Inc. | Image blur based on 3D depth information |
| CN103927767B (zh) * | 2014-04-18 | 2018-05-04 | 北京智谷睿拓技术服务有限公司 | 图像处理方法及图像处理装置 |
| US9685194B2 (en) | 2014-07-23 | 2017-06-20 | Gopro, Inc. | Voice-based video tagging |
| US9792502B2 (en) | 2014-07-23 | 2017-10-17 | Gopro, Inc. | Generating video summaries for a video using video summary templates |
| US9734870B2 (en) | 2015-01-05 | 2017-08-15 | Gopro, Inc. | Media identifier generation for camera-captured media |
| EP3099072A1 (en) * | 2015-05-28 | 2016-11-30 | Parabola Research Limited | Method, system and device for image and video coding |
| US9639560B1 (en) | 2015-10-22 | 2017-05-02 | Gopro, Inc. | Systems and methods that effectuate transmission of workflow between computing platforms |
| US9787862B1 (en) | 2016-01-19 | 2017-10-10 | Gopro, Inc. | Apparatus and methods for generating content proxy |
| US9871994B1 (en) | 2016-01-19 | 2018-01-16 | Gopro, Inc. | Apparatus and methods for providing content context using session metadata |
| US10078644B1 (en) | 2016-01-19 | 2018-09-18 | Gopro, Inc. | Apparatus and methods for manipulating multicamera content using content proxy |
| US10129464B1 (en) | 2016-02-18 | 2018-11-13 | Gopro, Inc. | User interface for creating composite images |
| US9972066B1 (en) | 2016-03-16 | 2018-05-15 | Gopro, Inc. | Systems and methods for providing variable image projection for spherical visual content |
| US10402938B1 (en) | 2016-03-31 | 2019-09-03 | Gopro, Inc. | Systems and methods for modifying image distortion (curvature) for viewing distance in post capture |
| US9838730B1 (en) | 2016-04-07 | 2017-12-05 | Gopro, Inc. | Systems and methods for audio track selection in video editing |
| US10229719B1 (en) * | 2016-05-09 | 2019-03-12 | Gopro, Inc. | Systems and methods for generating highlights for a video |
| US9953679B1 (en) | 2016-05-24 | 2018-04-24 | Gopro, Inc. | Systems and methods for generating a time lapse video |
| US9922682B1 (en) | 2016-06-15 | 2018-03-20 | Gopro, Inc. | Systems and methods for organizing video files |
| US9967515B1 (en) | 2016-06-15 | 2018-05-08 | Gopro, Inc. | Systems and methods for bidirectional speed ramping |
| US10045120B2 (en) | 2016-06-20 | 2018-08-07 | Gopro, Inc. | Associating audio with three-dimensional objects in videos |
| US10395119B1 (en) | 2016-08-10 | 2019-08-27 | Gopro, Inc. | Systems and methods for determining activities performed during video capture |
| US9953224B1 (en) | 2016-08-23 | 2018-04-24 | Gopro, Inc. | Systems and methods for generating a video summary |
| US10282632B1 (en) | 2016-09-21 | 2019-05-07 | Gopro, Inc. | Systems and methods for determining a sample frame order for analyzing a video |
| US10268898B1 (en) | 2016-09-21 | 2019-04-23 | Gopro, Inc. | Systems and methods for determining a sample frame order for analyzing a video via segments |
| US10397415B1 (en) | 2016-09-30 | 2019-08-27 | Gopro, Inc. | Systems and methods for automatically transferring audiovisual content |
| US10044972B1 (en) | 2016-09-30 | 2018-08-07 | Gopro, Inc. | Systems and methods for automatically transferring audiovisual content |
| US11106988B2 (en) | 2016-10-06 | 2021-08-31 | Gopro, Inc. | Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle |
| US10002641B1 (en) | 2016-10-17 | 2018-06-19 | Gopro, Inc. | Systems and methods for determining highlight segment sets |
| US9916863B1 (en) | 2017-02-24 | 2018-03-13 | Gopro, Inc. | Systems and methods for editing videos based on shakiness measures |
| US10339443B1 (en) | 2017-02-24 | 2019-07-02 | Gopro, Inc. | Systems and methods for processing convolutional neural network operations using textures |
| US10360663B1 (en) | 2017-04-07 | 2019-07-23 | Gopro, Inc. | Systems and methods to create a dynamic blur effect in visual content |
| US10395122B1 (en) | 2017-05-12 | 2019-08-27 | Gopro, Inc. | Systems and methods for identifying moments in videos |
| WO2018221368A1 (ja) * | 2017-05-31 | 2018-12-06 | シャープ株式会社 | 動画像復号装置、及び動画像符号化装置 |
| CN116248863A (zh) * | 2017-07-03 | 2023-06-09 | 汉阳大学校产学协力团 | 利用包含追加区域的分割单位的影像解码方法以及装置 |
| US10614114B1 (en) | 2017-07-10 | 2020-04-07 | Gopro, Inc. | Systems and methods for creating compilations based on hierarchical clustering |
| US10402698B1 (en) | 2017-07-10 | 2019-09-03 | Gopro, Inc. | Systems and methods for identifying interesting moments within videos |
| KR102229410B1 (ko) | 2017-09-18 | 2021-03-17 | 주식회사 엘지화학 | 배터리 모듈 및 이를 포함하는 배터리 팩 |
| WO2019103126A1 (en) * | 2017-11-22 | 2019-05-31 | Sharp Kabushiki Kaisha | Systems and methods for signaling tile structures for pictures of coded video |
| WO2020125738A1 (en) * | 2018-12-21 | 2020-06-25 | Huawei Technologies Co., Ltd. | An encoder, a decoder and corresponding methods using history based motion vector prediction |
| KR102619997B1 (ko) * | 2019-01-02 | 2024-01-02 | 애플 인크. | 영상 신호 부호화/복호화 방법 및 이를 위한 장치 |
| RU2751552C1 (ru) * | 2019-01-16 | 2021-07-14 | Телефонактиеболагет Лм Эрикссон (Пабл) | Кодирование видео, содержащее равномерное мозаичное разделение с остатком |
| KR20220079983A (ko) * | 2019-11-18 | 2022-06-14 | 엘지전자 주식회사 | 필터링을 위한 정보의 시그널링 기반 영상 코딩 장치 및 방법 |
| CN115004707A (zh) | 2019-12-19 | 2022-09-02 | 抖音视界(北京)有限公司 | 自适应颜色变换和量化参数之间的相互作用 |
| CN115211123A (zh) * | 2020-01-05 | 2022-10-18 | 抖音视界有限公司 | 视频编解码的通用约束信息 |
| WO2021143896A1 (en) | 2020-01-18 | 2021-07-22 | Beijing Bytedance Network Technology Co., Ltd. | Adaptive colour transform in image/video coding |
| EP4097988A4 (en) * | 2020-02-21 | 2023-03-01 | Beijing Bytedance Network Technology Co., Ltd. | SIGNALING OF SLICE AND TILE LPICTURE SUBDIVISIONS |
| KR20220143943A (ko) * | 2020-02-28 | 2022-10-25 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 슬라이스 헤더 신택스 엘리먼트의 시그널링을 단순화하는 인코더, 디코더, 및 대응하는 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5346198B2 (ja) | 2007-10-15 | 2013-11-20 | トムソン ライセンシング | 階層的ｌｕｔを利用したビット深度スケーラビリティのためのエンハンスメントレイヤ残差予測 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060109247A (ko) | 2005-04-13 | 2006-10-19 | 엘지전자 주식회사 | 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치 |
| BRPI0517780A2 (pt) * | 2004-11-05 | 2011-04-19 | Matsushita Electric Ind Co Ltd | aparelho de decodificação escalável e aparelho de codificação escalável |
| WO2006109988A1 (en) * | 2005-04-13 | 2006-10-19 | Lg Electronics Inc. | Method and apparatus for decoding video signal using reference pictures |
| US20080056373A1 (en) * | 2006-08-29 | 2008-03-06 | Newlin John B | Method and system for dynamic frequency adjustment during video decoding |
| CN101395922A (zh) * | 2006-11-17 | 2009-03-25 | Lg电子株式会社 | 用于解码/编码视频信号的方法及装置 |
| KR101349836B1 (ko) * | 2006-11-17 | 2014-01-10 | 엘지전자 주식회사 | 비디오 신호의 디코딩/인코딩 방법 및 장치 |
| US8797903B2 (en) * | 2009-12-01 | 2014-08-05 | Qualcomm Incorporated | Method and apparatus of utilizing uplink synchronization shift command bits in TD-SCDMA uplink transmission |
| CN104255032B (zh) * | 2012-03-29 | 2018-03-27 | Lg 电子株式会社 | 层间预测方法和使用其的编码设备和解码设备 |
| EP3057327A4 (en) * | 2013-10-08 | 2017-05-17 | Sharp Kabushiki Kaisha | Image decoder, image encoder, and encoded data converter |
-
2014
- 2014-11-25 CN CN201480061744.2A patent/CN105981386B/zh active Active
- 2014-11-25 JP JP2015551470A patent/JP6229904B2/ja active Active
- 2014-11-25 EP EP14868412.9A patent/EP3068136B1/en active Active
- 2014-11-25 KR KR1020167016343A patent/KR101782454B1/ko active IP Right Grant
- 2014-11-25 WO PCT/JP2014/081033 patent/WO2015083575A1/ja active Application Filing
-
2016
- 2016-06-06 US US15/174,648 patent/US10142653B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5346198B2 (ja) | 2007-10-15 | 2013-11-20 | トムソン ライセンシング | 階層的ｌｕｔを利用したビット深度スケーラビリティのためのエンハンスメントレイヤ残差予測 |
Non-Patent Citations (1)
| Title |
|---|
| Jianle Chen et al.,"High efficiency video coding (HEVC) scalable extension Draft 4", JCTVC-O1008_v1(version1), 2013.11.14.* |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6229904B2 (ja) | 2017-11-15 |
| CN105981386A (zh) | 2016-09-28 |
| US10142653B2 (en) | 2018-11-27 |
| CN105981386B (zh) | 2019-02-26 |
| WO2015083575A1 (ja) | 2015-06-11 |
| KR20160085895A (ko) | 2016-07-18 |
| EP3068136A1 (en) | 2016-09-14 |
| EP3068136B1 (en) | 2022-01-05 |
| JPWO2015083575A1 (ja) | 2017-03-16 |
| US20160286235A1 (en) | 2016-09-29 |
| EP3068136A4 (en) | 2016-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101782454B1 (ko) | 이미지 복호화 장치, 이미지 부호화 장치, 및 부호화된 데이터 변환 장치 | |
| US10237564B1 (en) | Image decoding device, image decoding method, image coding device, and image coding method | |
| US10225567B2 (en) | Image decoder, image encoder, and encoded data converter | |
| US20190075323A1 (en) | Image decoding device, image encoding device, and image decoding method | |
| US10136151B2 (en) | Image decoding device and image decoding method | |
| US20190014351A1 (en) | Moving image coding device, a moving image coding method, and a moving image decoding device | |
| US10841600B2 (en) | Image decoding device, an image encoding device and a decoding method | |
| US10666978B2 (en) | Image decoding apparatus, image decoding method | |
| US20160249056A1 (en) | Image decoding device, image coding device, and coded data | |
| JP2015073213A (ja) | 画像復号装置、画像符号化装置、符号化データ変換装置、および、注目領域表示システム | |
| CN114762349A (zh) | 用于图像/视频编译的高级别语法信令方法和装置 | |
| WO2015098713A1 (ja) | 画像復号装置および画像符号化装置 | |
| JP2016143962A (ja) | 領域分割画像生成装置、画像復号装置、および符号化装置。 | |
| JP2016076904A (ja) | Ｄｃオフセット情報復号装置、画像復号装置、およびｄｃオフセット情報符号化装置。 | |
| JP2015076806A (ja) | 画像復号装置および画像符号化装置 | |
| JP2015076807A (ja) | 画像復号装置、画像符号化装置、および符号化データのデータ構造 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |