KR100937272B1 - 화상 업-샘플링을 위한 방법 및 시스템 - Google Patents

Abstract

본 발명의 실시예는 직접 보간을 사용하여 화상 업-샘플링하기 위한 시스템 및 방법을 포함한다. 본 발명의 어떤 실시예는 H.264/MPEG-4 AVC Scalable Video Coding 확장을 위해 설계된 업-샘플링 프로시저를 제공한다.

화상 업-샘플링, 보간 해상도, 기초-계층 화상, 증강-계층 화상, 필터 계수

Description

화상 업-샘플링을 위한 방법 및 시스템{METHODS AND SYSTEMS FOR PICTURE UP-SAMPLING}

이 출원은 Shijun Sun이 발명하여, 2005년 3월 18일에 출원된, 명칭이 "Extended spatial scalability with picture-level adaptation"인 미국 가특허출원 제60/663,161호의 이익을 청구한다. 이 출원은 또한 Shijun Sun이 발명하여, 2005년 5월 20일에 출원된, 명칭이 "Direct interpolation for up-sampling in extended spatial scalability"인 미국 가특허출원 제60/683,060호의 이익을 청구한다. 이 출원은 또한 Shijun Sun이 발명하여, 2005년 6월 1일에 출원된, 명칭이 "Deblocking filter method with reduced complexity for spatial scalable video coding"인 미국 가특허출원 제60/686,676호의 이익을 청구한다.

본 발명의 실시예는 화상(picture) 업-샘플링을 위한 방법 및 시스템을 포함한다. 본 발명의 일부 실시예는 공간적으로 크기를 조절할 수 있는(scalable) 비디오 코딩용 화상 업-샘플링을 위한 방법 및 시스템을 포함한다.

본원에 인용에 의해 포함되는, H.264/MPEG-4 AVC[ITU-T VCEG 및 ISO/IEC MPEG의 조인트 비디오 팀, "Advanced Video Coding(AVC)-4^thEdition," ITU-T Rec. H.264 및 ISO/IEC 14496-10(MPEG4-Part 10), 2005년 1월]는 압축 효율성을 위하여 비디오 시퀀스 내의 시간적인 및 공간적인 중복성(redundancy)을 줄이기 위해 잔차 코딩(residual coding)이 뒤따르는 매크로블록 예측을 사용하는 비디오 코덱 규격이다. 공간적 확장성(scalability)이란 비트스트림의 일부를 레이트-왜곡(rate-distortion) 성능을 임의의 지원된 공간적 해상도로 유지시키면서도 제거시킬 수 있는 기능성을 말한다. 단일 계층(layer) H.264/MPEG-4 AVC는 공간적 확장성을 지원하지 않는다. 공간적 확장성은 H.264/MPEG-4 AVC의 Scalable Video Coding(SVC: 스케일러블 비디오 코딩) 확장에 의해 지원된다.

본원에 인용에 의해 포함되는, H.264/MPEG-4 AVC의 SVC 확장[Joint Scalable Video Model(JSVM: 조인트 스케일러블 비디오 모델)에 대한 Working Document 1.0(WD-1.0)(MPEG Doc. N6901)]은 계층간(inter-layer) 예측 메커니즘에 의해 공간 계층간의 중복성이 활용되는, 계층화된 비디오 코덱이다. 세 개의 계층간 예측 기법(계층간 움직임 예측, 계층간 잔차 예측, 및 계층간 텍스처 내(intra-texture) 예측)이 H.264/MPEG-4 AVC의 SVC 확장의 설계에 포함된다.

이전에는, SVC에 의해 단지 다이애딕(dyadic) 공간적 확장성만을 다루었다. 다이애딕 공간적 확장성이란 두 개의 연속하는 공간 계층 간의 화상 디멘션(picture dimensions)의 비율이 2의 거듭제곱인 구성을 의미한다. 이제는, 연속하는 공간 계층 간의 화상 디멘션의 비율이 2의 거듭제곱이 아니며 높은 레벨의 화상이 대응하는 더 낮은 레벨의 화상에 존재하지 않는 영역을 포함할 수 있는 구성을 관리하는, 잘려진 창을 갖는 비-다이애딕 크기조정(non-dyadic scaling)이라고 불리는, 새로운 도구들(tools)이 제안되었다.

계층간 예측 방법은 모두 화상 업-샘플링을 포함한다. 화상 업-샘플링은 낮은 해상도 이미지로부터 높은 해상도 이미지를 발생시키는 프로세스이다. 어떤 화상 업-샘플링 프로세스는 샘플 보간(interpolation)을 포함한다. SVC 설계에서 사용되던 종래의 업-샘플링 프로세스는 인터 예측을 위해 H.264에서 규정된 쿼터 루마(luma) 샘플 보간 프로시저(procedure)에 기초했다. 공간적으로 크기를 조절할 수 있는 코딩에 적용될 때에, 종래의 방법에는 다음의 두 가지 결점이 있다. 즉, 보간 해상도가 쿼터 샘플에 제한되므로, 비-다이애딕 크기조정을 지원하지 못하고, 쿼터-샘플 포지션을 얻기 위해 하프-샘플 보간이 요구되어 이 방법은 계산상 번거롭다. 이러한 한계를 극복하는 화상 업-샘플링 프로세스가 요구된다.

본 발명의 실시예는 보간될 픽셀의 위치(location)의 페이즈(phase)에 기초하여 선택된 필터 계수(filter coefficients)를 사용하는 직접 보간을 통해 이뤄지는 화상 업-샘플링을 포함한다.

첨부되는 도면에 관련하여 다뤄지는 본 발명의 다음의 자세한 설명을 고찰함으로써 본 발명의 상술한 및 기타 목적, 특성 및 장점이 더욱 쉽게 이해될 것이다.

도 1은 증강 계층과 기초 계층 간의 기하학적인 관계를 도시하는 도면;

도 2는 증강 계층 및 기초 계층에서의 샘플의 상대 위치를 도시하는 도면;

도 3은 두 방향에서의 보간 필터링을 포함하는 본 발명의 실시예의 흐름도;

도 4는 증강 계층 및 기초 계층의 매크로블록들 간의 관계를 도시하는 도면; 및

도 5는 증강 계층 및 기초 계층의 매크로블록들 간의 관계를 도시하는 도면.

본 발명의 실시예는 동일한 부분이 도면 전체에 걸쳐서 동일한 부호로 도시된 도면을 참조함으로써 가장 잘 이해될 것이다. 상기 열거된 도면은 이 자세한 설명의 일부로서 명백히 통합되어 있다.

본원의 도면에서 일반적으로 설명되고 도시된, 본 발명의 구성요소는 다양한 구성의 폭넓은 변화로 정렬되고 설계될 수 있음이 쉽게 이해될 것이다. 그러므로, 본 발명의 방법 빛 시스템의 실시예에 대한 다음의 더욱 자세한 설명은 본 발명의 범위를 제한하기 위함이 아니라 단지 본 발명의 바람직한 실시예를 나타낼 뿐이다.

본 발명의 실시예의 요소는 하드웨어, 펌웨어 및/또는 소프트웨어로 구현될 수 있다. 본원에 나타난 예시적인 실시예가 이러한 유형 중에서 단지 한가지만을 설명할 수 있더라도, 당업자는 본 발명의 범위 내에서 이러한 어떤 유형에서도 그 요소들을 실시할 수 있음이 이해될 것이다.

본 명세서 및 청구의 취지를 위해, "화상(picture)"이라는 용어는 픽셀 어레이, 디지털 이미지, 디지털 이미지의 세분, 디지털 이미지의 데이터 채널 또는 이미지 데이터의 다른 표현을 포함할 수 있다. 도 1은 한 이미지 화상에 대응하는 두 개의 화상(기초 공간 화상 또는 기초-계층 화상이라고도 불리는 낮은 공간 화상(10), 및 증강(enhancement) 공간 화상 또는 증강-계층 화상이라고도 불리는 높 은 공간 화상(100))을 도시한다. 도 1에 도시된 바와 같이, 기초 공간 화상(10)은 증강 공간 화상(100)보다 더 낮은 공간적 해상도를 가질 수 있다. 도 1에 도시된 바와 같이, 기초 공간 화상(10)은 증강 공간 화상(100)과 동일한 공간적 영역을 포함하지 않을 수 있다. 도 1에 도시된 것은 증강 공간적 화상(100)으로부터 잘려나온 공간적 영역(110)에 대응하는 기초 공간적 화상(10)이다.

본 발명의 일부 실시예에서는, 기초 공간 화상 및 증강 공간 화상이 스케일러블 비디오 코더/디코더(코덱) 내부의 두 개의 공간 계층에 해당할 수 있다.

증강 공간 화상(100)의 넓이(101) 및 증강 공간 화상(100)의 높이(102)는 각각 w_e및 h_e로 나타낼 수 있다. 기초 공간 화상(10)의 넓이(11) 및 높이(12)는 각각 w_b및 h_b로 나타낼 수 있다. 기초 공간 화상(10)은 증강 공간 화상 좌표 (x_orig, y_orig)(103)에 위치한 증강 공간 화상(100)의 부분영역(110)의 서브샘플링된 버전일 수 있다. 위치(103)는 잘라낸 창(110)의 좌측 상단 모서리의 위치를 나타낸다. 부분영역(110)의 넓이(111) 및 높이(112)는 각각 w_ex및 h_ex로 나타낼 수 있다. 파라미터 (x_orig, y_orig, w_ex, h_ex, w_b, h_b)는 높은 공간 화상(100) 및 낮은 공간 화상(10) 사이의 관계를 정의한다.

화상 업-샘플링은 낮은 공간적 해상도 이미지로부터 높은 공간적 해상도 이미지를 생성하는 것을 의미할 수 있다. 몇몇 실시예에서는, 업-샘플링은 공간적 디멘션 또는 시간적 디멘션에 제한되지 않는 임의의 디멘션으로 증가하는 해상도를 의미할 수 있다. 도 2는 높은 공간적 해상도 이미지(200)에서의 픽셀 위치(220)를 도시한다. 도 2에서, 픽셀 위치(220)는 낮은 공간적 해상도 이미지(20)에서 대응하는 위치(22)를 갖는다. 위치(220)는 낮은 공간적 해상도 이미지(20) 내의 픽셀 위치와 직접적으로 정렬될 수 있거나 낮은 공간적 해상도 이미지(20) 내의 픽셀 위치와 직접적으로 정렬되지 않을 수 있다. 도 2에서, 위치(22)는 네 개의 기초-계층 픽셀(21, 23, 24 및 25) 사이에 위치되도록 도시된다.

본 발명의 몇몇 실시예는 디멘션의 비가 2의 거듭제곱으로 제한되지 않은 기초 공간 화상(20)이 주어진 경우의 증강 공간 화상(200)의 픽셀의 직접 보간을 위한 방법 및 시스템을 포함한다. 본 발명의 어떤 실시예는 기초 공간 화상(20)의 전체 화상에 대한 업-샘플링을 포함한다. 본 발명의 다른 실시예는 기초 공간 화상(20)의 블록 단위의 업-샘플링을 포함한다. 본 발명의 몇몇 실시예는 한 방향에서의 업-샘플링 후에 다른 방향에서의 업-샘플링이 뒤따르는 업-샘플링을 포함한다.

정수 단위 샘플의 증강 공간 화상에서의 샘플 위치(x, y)에 대하여, 기초 공간 화상에서 대응하는 위치(p_{x ,L}(x), p_{y ,L}(y))가,

단위 샘플로, 다음과 같이 주어질 수 있다:

이때 파라미터 (x_orig, y_orig, w_ex, h_ex, w_b, h_b)는 도 1에서처럼, 높은 공간적 화상(100) 및 낮은 공간적 화상(10) 사이의 관계를 정의하고 R_L은 보간 해상도이다. 어떤 실시예는

샘플 해상도 보간을 포함하며, 이러한 실시에에서 R_L은 16이다.

어떤 실시예에서는, 기초 공간적 화상(10)에서의 대응하는 위치(p_{x ,L}(x), p_y,L(y))가 다음과 같이 주어질 수 있다:

이때, 상기와 같이, 파라미터 (x_orig, y_orig, w_ex, h_ex, w_b, h_b)는 도 1에서처럼, 높은 공간적 화상(100) 및 낮은 공간적 화상(10) 사이의 관계를 정의하고, R_L은 보간 해상도이며, "//"는 계산상 단순화된 나눗셈 연산을 포함한다. 샘플 위치는 2의 거듭제곱으로 제한되지 않을 수 있으며, 샘플 위치의 직접적인 계산은 동일한 샘플 위치에서의 화상 값들의 직접 보간을 고려한다.

몇몇 실시예에서는, 증강 공간 화상의 샘플 위치 (x, y)에서의 증강-계층 이미지 값을 보간하기에는 필터링 프로세스가 포함된다. 필터링 프로세스는 조회 테이블로부터 보간-필터 계수를 결정하는 것을 더 포함할 수 있으며, 이 조회 테이블 내의 인덱스가 (p_{x ,L}(x), p_{y ,L}(y))에 의해 결정되는 보간 위치에 관련되었을 수 있다.

어떤 실시예에서는, 보간 필터는 4-탭(4-tap) 필터일 수 있다. 어떤 실시예에서는, 보간 필터는 6-탭(6-tap) 필터일 수도 있다. 어떤 실시예에서는, 필터 계수는 2-lobed 또는 3-lobed Lanczos-windowed 싱크 함수(sinc function)로부터 파생될 수 있다.

표 1 및 표 2는 16-페이즈 6-탭 보간 필터에 대한 보간-필터 계수의 예시적인 조회 테이블을 포함하며, 여기서 페이즈(phase)는 (p_{x ,L}(x), p_{y ,L}(y))에 의해 결정되는 보간 위치에 해당한다.

표 1

표 2

표 3은 16-페이즈 4-탭 보간 필터에 대한 보간-필터 계수의 조회 테이블을 포함하며, 여기서 페이즈(phase)는 (p_{x ,L}(x), p_{y ,L}(y))에 의해 결정되는 보간 위치에 해당한다.

표 3

본 발명의 일부 실시예가 도 3에서 도시된다. x 및 y방향에서의 보간이 독립된 경로(300 및 30)에서 각각 행해질 수 있다. 일부 실시예에서는, 각각의 경로는 이미지의 매크로블록 또는 다른 세분된 구획 내에서 수행될 수 있다. 다른 실시예에서는, 각각의 경로는 전체 이미지에서 수행될 수 있다.

증강 계층에서의 샘플 위치(31), 즉, 증강-계층 픽셀의 위치에 대해, 기초 계층에서의 대응하는 위치(32)가 판별된다(단계 301). 정수 기초-계층 픽셀 위치로부터의 각각의 방향에서의 오프셋 즉, 페이즈인, 기초 계층의 샘플의 y-위치 페이즈(33) 및 x-위치 페이즈(34)는, 증강-계층 픽셀 위치(31)의 대응하는 기초-계층 픽셀 위치(32)로부터 각각 결정될 수 있다(단계 302 및 303). 오프셋 즉, 페이즈는 보간 해상도의 단위로 결정될 수 있다. 예를 들면,

의 보간 해상도인 경우, 0의 페이즈는 기초-계층 위치로부터 온 어떤 오프셋에도 존재하지 않는 것에 해당할 수 있다. 8의 페이즈는 한 디멘션에서 기초-계층 픽셀 위치들 사이의 중간에 있는 증강-계층 픽셀에 해당할 수 있다.

y-방향에서 보간하는 경우에는 y-위치 페이즈(33)가 인덱스일 수 있는, 또는 x-방향에서 보간하는 경우에는 x-위치 페이즈(33)가 인덱스일 수 있는 조회 테이블에 의해 보간 필터 계수가 결정될 수 있다. 주어진 방향에 대하여, 위치 보간 중앙은, 측정될 수 있는 위치 페이즈에 대한 기초 계층 내의 픽셀 위치이다. 본 발명의 어떤 실시예에서는, 위치 보간 중앙은 필터가 중앙에 오는 픽셀 위치이다.

도 4는 도 1에서 도시된 것과 동일한 기하학을 매크로블록의 오버레 이(overlay)를 이용하여 도시한다. 증강 공간적 계층(100) 내의 예시적인 매크로블록은 참조부호(140)로 도시될 수 있다. 기초 공간적 계층(10) 내의 예시적인 매크로블록은 참조부호(40)로 도시될 수 있다. 증강 공간적 계층(100) 내의 매크로블록(142)은 잘려진 영역(110) 내에 완전히 들어갈 수 있다. 증강 공간적 계층(100) 내의 매크로블록(144)은 잘려진 영역(110)의 외부에 완전히 존재할 수 있다. 증강 공간적 계층(100)의 매크로블록(146)은 잘려진 영역(110)과 잘려진 영역(110)의 외부 양쪽 모두에 걸쳐 있을 수 있다.

도 5는 증강 공간적 계층(100) 위에 업-샘플링된 기초 공간적 계층(50)의 매크로블록의 예시적인 오버레이를 도시한다. 파선은 업-샘플링된 기초 공간적 계층 매크로블록을 도시한다. 블록(51)은 기초 공간적 계층 매크로블록으로부터 업-샘플링된 예시적 매크로블록이다. 증강 공간적 계층(100)의 어떤 매크로블록(예를 들면 참조부호(52))은, 상응하는 기초 공간적 계층 블록을 갖지 않는다. 증강 공간적 계층(100)의 다른 매크로블록은, 하나 내지 몇 개의 상응하는 기초 공간적 계층 매크로블록을 갖는다. 증강 공간적 계층(100)의 블록(53)은 기초 공간적 계층에서 하나의 상응하는 블록(54)을 갖는다. 증강 공간적 계층(100)의 블록(55)은 기초 공간적 계층에서의 네 개의 상응하는 블록인, 기초 공간적 계층 블록(56, 57, 58 및 59)을 갖는다.

H.264/MPEG-4 AVC의 SVC 확장에 견줄만한 본 발명의 보간 프로세스의 예시적인 실시예는 다음의 단계에서 설명된다:

증강 화상에서 매크로블록의 좌측-상단 루마 샘플에 대한 위치(xP, yP)를 정 의한다. chroma _ format _ idc가 0과 같지 않은, 즉, 크로마(chroma: 채도) 채널이 존재하는 경우에는, 동일한 매크로블록의 좌측-상단 크로마 샘플에 대한 위치 (xC, yC)를 정의한다.

다음을 이용하여, 루마 기초-계층 화상에서 루마 매크로블록의 상대 위치, (p_x,L, p_{y ,L})를 유도한다:

이때 R_L=16을 이용하여 상기에 설명된 바와 같이 다음이 만족된다.

chroma _ format _ idc가 0과 같지 않은 경우에는, 다음을 이용하여, 크로마 기초-계층 화상에서의 크로마 매크로블록의 상대 위치, (p_{x ,C}, p_{y ,C})를 유도한다:

이때 MbWidthC 및 MbHeightC는 각각 수평 및 수직 방향에서의 매크로블록(MB)당 크로마 샘플의 수를 나타낸다. 또한 증강 화상에서 단일 크로마 샘플 단위로 크로마 샘플 위치(x_c, y_c)가 주어지면, 기초 화상에서의 이에 상응하는 위치 (p_{x ,c}, p_{y ,c})가 기초 화상의 십육 분의 일 크로마 샘플의 단위로 다음과 같이 유도될 수 있다:

이때 R_C=16이고, (x_{orig ,c}, y_{orig ,c})는 현재 화상에서 잘라낸 창의 좌측-상단 모서리의 위치를 현재 화상의 단일 크로마 샘플의 단위로 나타낸 것이며, (w_{b ,c}, h_{b ,c})는 기초 화상의 단일 크로마 샘플의 단위의 기초 화상의 해상도이고, (w_{ex ,c}, h_{ex ,c})는 잘라낸 창의 현재 화상의 단일 크로마 샘플의 단위의 해상도이고, (p_{base ,x}, p_{base ,y})는 기초 화상의 상대 크로마 페이즈 시프트를 기초 화상의 쿼터 크로마 샘플의 단위로 나타낸 것이며, (p_{enh ,x}, p_{enh ,y})는 현재 화상의 상대 크로마 페이즈 시프트를 현재 화상의 쿼터 크로마 샘플의 단위로 나타낸 것이다.

텍스처 보간 프로세스: 예측

이 프로세스의 입력은 다음을 포함한다:

기초 화상에서의 정수 루마 샘플 위치 (xB, yB) 및 (xB1, yB1),

x=-2+xB..(xB1+2) 및 y=-2+yB..(yB1+2)일 때의 기초 화상에 대한 루마 샘 플 어레이 base_L[x, y],

chroma _ format _ idc가 0과 같지 않은 경우에는,

o 기초 화상에서의 정수 크로마 샘플 위치 (xCB, yCB) 및 (xCB1, yCB1),

o x=-2+xCB..(xCB1+2) 및 y=-2+yCB..(yCB1+2)일 때의 기초 화상에 대한 두 개의 크로마 샘플 어레이 base_Cb[x, y] 및 base_Cr[x, y].

이 프로세스의 출력은 다음을 포함한다:

x=0..15 및 y=0..15인 경우에서의 루마 샘플 매크로블록 어레이 pred_L[x, y],

chroma _ format _ idc가 0과 같지 않은 경우에는, x=0..MbWidthC-1 및 y=0..MbHeightC-1일 때의 두 개의 크로마 샘플 매크로블록 어레이 pred_Cb[x, y] 및 pred_Cr[x, y].

x=0..15 및 y=0..15일 때의 루마 샘플 pred_L[x, y]는 다음과 같이 유도된다.

x=-2+xB..(xB1+2) 및 y=0..15일 때 temp_L[x, y]를 일시적인 루마 샘플 어레이로 두자.

x=-2+xB..(xB1+2) 및 y=0..15일 때의 각각의 temp_L[x, y]는 다음과 같이 유도된다:

o 기초 계층에서의 상응하는 부분적-샘플 위치 yf는 다음과 같이 유도 됨:

yf=p_{y ,L}(y+yP).

o yInt 및 yFrac은 다음과 같이 정의됨:

yInt=(yf>>4) 및

yFrac=yf% 16.

o yFrac을 페이즈로 사용하여 표 1에서 j=-2..3에 대한 6-탭 필터 e[j]를 선택하고, temp_L[x, y]를 다음과 같이 유도함:

x=0..15 및 y=0..15일 때의 각 샘플 pred_L[x, y]는 다음과 같이 유도된다:

o 기초 계층에서의 상응하는 부분적-샘플 위치 xf는 다음과 같이 유도됨:

xf=p_{x ,L}(x+xP).

o xInt 및 xFrac은 다음과 같이 정의됨:

xInt=(xf>>4) 및

xFrac=xf% 16.

o xFrac을 페이즈로 사용하여 표 1에서 j=-2..3에 대한 6-탭 필터 e[j]를 선택하고, pred_L[x, y]를 다음과 같이 유도함:

이때

Clip1_Y(x)=min(max(0, x), (1<<BitDepth_Y)-1)

인데 BitDepth_Y는 루마 채널 데이터의 비트 심도를 나타냄.

chroma _ format _ idc가 0과 같지 않은 경우에는, x=0..MbWidthC-1, y=0..MbHeightC-1일 때의 크로마 샘플 pred_C[x, y](이때 C는 각각 Cb 및 Cr을 나타냄)는 다음과 같이 유도된다:

x=-2+xCB..(xCB1+2) 및 y=0..MbHeightC-1일 때의 tmpl_Cb[x, y] 및 tmp1_Cr[x, y]를 일시적인 크로마 샘플 어레이로 두자.

C가 Cb 및 Cr이고, x=-2+xCB..(xCB1+2), 및 y=0..MbHeightC-1일 때의 각각의 temp_C[x, y]는 다음과 같이 유도된다:

o 기초 계층에서의 상응하는 부분적-샘플 위치 yfC는 다음과 같이 유도됨:

yfC=p_{y ,C}(y+yC).

o yIntC 및 yFracC는 다음과 같이 정의됨:

yIntC=(yfC>>4) 및

yFracC=yfC % 16.

o yFracC를 페이즈로 사용하여 표 1에서 j=-2..3에 대한 6-탭 필터 e[j]를 선택하고, temp_C[x, y]를 다음과 같이 유도함:

C가 Cb 및 Cr이고, x=0..MbWidthC-1 및 y=0..MbHeightC-1일 때의 각각의 샘플 pred_C[x, y]는 다음과 같이 유도된다:

o 기초 계층에서의 상응하는 부분적-샘플 위치 xfC는 다음과 같이 유도됨:

xfC=p_{x ,C}(x+xC).

o xIntC 및 xFracC는 다음과 같이 정의됨:

xIntC=(xfC>>4) 및

xFracC=xfC % 16.

o xFracC를 페이즈로 사용하여 표 1에서 j=-2..3에 대한 6-탭 필터 e[j]를 선택하고, pred_C[x, y]를 다음과 같이 유도하는데

이때

Clip1_C(x)=min(max(0, x), (1<<BitDepth_C)-1)

이며 BitDepth_C는 크로마 채널 데이터의 비트 심도를 나타냄.

텍스처 보간 프로세스: 잔차( residual )

이 프로세스의 입력은 다음을 포함한다:

기초 화상 basePic에서의 정수 루마 샘플 위치 (xB, yB) 및 (xB1, yB1),

x=-xB..xB1 및 y=yB..yB1에 대한 루마 잔차(residual) 샘플 어레이 resBase_L[x, y],

chroma _ format _ idc가 0과 같지 않은 경우에는,

o 기초 화상 basePic에서의 정수 크로마 샘플 위치 (xCB, yCB) 및 (xCB1, yCB1),

o x=xCB..xCB1 및 y=yCB..yCB1에 대한 두 개의 크로마 잔차 샘플 어레이 resBase_Cb[x, y] 및 resBase_Cr[x, y].

이 프로세스의 출력은 다음을 포함한다:

x=0..15 및 y=0..15에 대한 루마 샘플 어레이 resPred_L[x, y].

chroma _ format _ idc가 0과 같지 않은 경우에는, x=0..MbWidthC-1 및 y=0..MbHeightC-1에 대한 두 개의 크로마 샘플 어레이 resPred_Cb[x, y] 및 resPred_Cr[x, y].

x=0..15 및 y=0..15에 대한 루마 잔차 샘플 resPred_L[x, y]는 다음과 같이 유도된다.

x=xB..xB1 및 y=0..15에 대한 temp_L[x, y]를 일시적인 루마 샘플 어레이로 두자.

x=xB..xB1 및 y=0..15에 대한 각각의 temp_L[x, y]는 다음과 같이 유도된다:

o 기초 계층에서 상응하는 부분적-샘플 위치 yf는 다음과 같이 유도됨:

yf=p_{y ,L}(y+yP).

o yInt 및 yFrac은 다음과 같이 정의됨:

yInt=(yf>>4) 및

yFrac=yf % 16.

o temp_L[x, y]를 다음과 같이 유도함

x=0..15 및 y=0..15에 대한 각각의 잔차 샘플 resPred_L[x, y]은 다음과 같이 유도된다:

o 기초 계층에서 대응하는 부분적-샘플 위치 xf는 다음과 같이 유도됨:

xf=p_{x ,L}(x+xP).

o xInt 및 xFrac은 다음과 같이 정의됨:

xInt=(xf>>4) 및

xFrac=xf % 16.

o resPred_L[x, y]는 다음과 같이 유도함

chroma _ format _ idc가 0과 같지 않은 경우에는, x=0..MbWidthC-1, y=0..MbHeightC-1에 대한 크로마 잔차 샘플 resPred_C[x, y](이때 C는 Cb 또는 Cr)는 다음과 같이 유도된다.

x=xCB..xCB1 및 y=0..MbHeightC-1에 대한 tmp1_Cb[x, y] 및 tmp1_Cr[x, y]를 일시적인 색채 샘플 어레이로 두자.

C가 Cb 및 Cr이고, x=xCB..xCB1, 및 y=0..MbHeightC-1일 때의 각각의 temp_C[x, y]는 다음과 같이 유도된다:

o 기초 계층에서의 상응하는 부분적-샘플 위치 yfC는 다음과 같이 유도됨:

yfC=p_{y ,C}(y+yC).

o yIntC 및 yFracC는 다음과 같이 정의됨:

yIntC=(yfC>>4) 및

yFracC=yfC % 16.

o temp_C[x, y]를 다음과 같이 유도함

C가 Cb 및 Cr이고, x=0..MbWidthC-1, 및 y=0..MbHeight-1일 때의 각각의 샘플 resPred_C[x, y]는 다음과 같이 유도된다:

o 기초 계층에서의 상응하는 부분적-샘플 위치 xfC는 다음과 같이 유도됨:

xfC=p_{x ,C}(x+xC).

o xIntC 및 xFracC는 다음과 같이 정의됨:

xIntC=(xfC>>4) 및

xFracC=xfC % 16.

o resPred_C[x, y]는 다음과 같이 유도됨

상술한 명세서에서 사용된 용어 및 표현은 제한이 아닌 설명의 용어로서 본원에 사용되며, 그러한 용어 및 표현의 사용은 본 발명의 범위가 다음의 청구항에 의해서만 정의되고 제한됨이 인정되는, 도시되고 설명된 특징의 등가물 또는 그것들의 일부를 제외하기 위한 어떠한 의도도 갖지 않는다.

Claims (26)

1. 기초-계층 이미지 샘플을 포함하는 기초-계층 화상으로부터 증강-계층 이미지 샘플을 포함하는 증강-계층 화상으로 화상 업-샘플링하기 위한, 화상 업-샘플링 방법으로서,

   a) 상기 증강-계층 화상의 블록의 좌측 상단 샘플의 위치 (xP, yP)를 정하는 단계;

   b) 상기 증강-계층 이미지 샘플의 블록 어레이인 pred_L[x, y]를 생성하는 단계를 포함하며, 상기 생성하는 단계는,

   ⅰ) 일시적인 샘플 어레이인 temp_L[x, y]를 생성하는 단계;

   ⅱ) 상기 일시적인 샘플 어레이인 temp_L[x, y]의 엔트리를 도출하는 단계를 포함하고, 상기 ⅱ) 도출하는 단계는,

   (1) 상기 기초-계층 화상에서의 상응하는 부분적-샘플의 y-위치인 yf를 계산하는 단계;

   (2) yf에 기초하여 y-위치 보간 중심인 yInt를 계산하는 단계;

   (3) yf에 기초하여 y-위치 페이즈(phase)를 계산하는 단계;

   (4) 제1의 4-탭 필터의 제1 필터 계수 집합을 획득하는 단계-상기 제1 필터 계수 집합을 획득하는 단계는 상기 y-위치 페이즈에 기초함-; 및

   (5) temp_L[x, y] =

   base_L[x, yInt - 1]*e[-1] + base_L[x, yInt]*e[0] +

   base_L[x, yInt + 1]*e[1] + base_L[x, yInt + 2]*e[2] 에 따라 상기 일시적인 샘플 어레이인 temp_L[x, y]의 엔트리를 도출하는 단계-상기 식에서 base_L[x, y]는 상기 기초-계층 이미지 샘플의 어레이이고, e[-1], e[0], e[1] 및 e[2]는 상기 제1의 4-탭 필터의 상기 제1 필터 계수 집합을 나타냄-

   를 포함하고,

   상기 b) 생성하는 단계는, 또한

   ⅲ) 상기 증강-계층 이미지 샘플의 블록 어레이인 pred_L[x, y]의 엔트리를 도출하는 단계를 포함하고, 상기 ⅲ) 도출하는 단계는,

   (1) 상기 기초-계층 화상에서의 상응하는 부분적-샘플의 x-위치인 xf를 계산하는 단계;

   (2) xf에 기초하여 x-위치 보간 중심인 xInt를 계산하는 단계;

   (3) xf에 기초하여 x-위치 페이즈를 형성하는 단계;

   (4) 제2의 4-탭 필터의 제2 필터 계수 집합을 획득하는 단계-상기 제2 필터 계수 집합을 획득하는 단계는 상기 x-위치 페이즈에 기초함-; 및

   (5) pred_L[x, y] =

   Clip1_y((

   temp_L[xInt - 1, y]*e[-1] + temp_L[xInt, y]*e[0] +

   temp_L[xInt + 1, y]*e[1] + temp_L[xInt + 2, y]*e[2] +

   512)/1024)에 따라 상기 증강-계층 이미지 샘플의 블록 어레이인 pred_L[x, y]의 엔트리를 도출하는 단계-여기서, Clip1_y(x) = min( max(0, x), (1<< 비트심도 Y) - 1)이고, 상기 식에서, e[-1], e[0], e[1] 및 e[2]는 상기 제2의 4-탭 필터의 제2 필터 계수 집합을 나타내고, 비트심도(BitDepth) Y는 이미지 샘플이 갖는 값의 비트심도를 나타냄-

   를 포함하는 단계를 포함하는, 기초-계층 화상으로부터 증강-계층 화상으로 화상 업-샘플링하기 위한, 화상 업-샘플링 방법.
2. 제1항에 있어서, 보간 해상도를 정의하는 단계를 더 포함하는, 화상 업-샘플링 방법.
3. 제2항에 있어서, 상기 보간 해상도는 이미지 샘플의 1/16(십육분의 일)인, 화상 업-샘플링 방법.
4. 제1항에 있어서, 상기 기초-계층 이미지 샘플은 루미넌스(luminance) 샘플을 포함하는, 화상 업-샘플링 방법.
5. 제1항에 있어서, 상기 기초-계층 이미지 샘플은 크로미넌스(chrominance) 샘플을 포함하는, 화상 업-샘플링 방법.
6. 제1항에 있어서, 상기 제1 필터 계수 집합을 획득하는 단계는 조회 테이블을 액세스하는 단계를 포함하는, 화상 업-샘플링 방법.
7. 제1항에 있어서, 상기 제2 필터 계수 집합을 획득하는 단계는 조회 테이블을 액세스하는 단계를 포함하는, 화상 업-샘플링 방법.
8. 제6항에 있어서, 상기 조회 테이블은 Lanczos-windowed 싱크 함수(sinc function)의 샘플을 포함하는, 화상 업-샘플링 방법.
9. 제7항에 있어서, 상기 조회 테이블은 Lanczos-windowed 싱크 함수(sinc function)의 샘플을 포함하는, 화상 업-샘플링 방법.
10. 제1항에 있어서, 상기 블록은 16×16 디멘션의 매크로블록인, 화상 업-샘플링 방법.
11. 제1항에 있어서, 상기 블록은 상기 증강-계층 화상과 동일한 공간 디멘션(spatial dimension)을 갖는, 화상 업-샘플링 방법.
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제

Images