KR20080002808A

KR20080002808A - 양자화 단계를 국부적으로 조정하기 위한 방법

Info

Publication number: KR20080002808A
Application number: KR1020077022703A
Authority: KR
Inventors: 릴라 위귀넬; 도미니끄 소로우; 필리쁘 기요뗄
Original assignee: 톰슨 라이센싱
Priority date: 2005-04-05
Filing date: 2006-03-16
Publication date: 2008-01-04
Also published as: KR101194518B1; EP1867175A1; WO2006106032A1; JP5123168B2; CN101156453B; EP1867175B1; US8139882B2; CN101156453A; JP2008535423A; US20090169125A1

Abstract

본 발명은 n개의 화상들의 시퀀스에서 화상의 각 영역에 대하여 양자화 단계를 국부적으로 조정하는 방법에 관한 것이다. 이 방법은, 시퀀스의 각 화상에 대하여, 제1 양자화 단계로 양자화될 때 잠재 마스킹 영역 상에서 절약되는 제1 비트 차이와, 제2 양자화 단계로 양자화될 때 관심 영역에 요구되는 제2 비트 차이를 계산하는 단계; 및 시퀀스의 각 화상에서, 제1 양자화 단계를 잠재 마스킹 영역에 할당하고, n개의 제1 비트 차이의 합(G_POT)이 n개의 제2 비트 차이의 합(D_ROI)보다 크면, 상기 제2 양자화 단계를 상기 관심 영역에 할당하며, 그렇지 않으면, 제3 양자화 단계를 할당하여, 상기 n개의 제1 비트 차이의 합이 재구성 품질 기준에 따라 상기 화상의 관심 영역들 간에 분배되도록 하는 단계를 포함한다.

비디오 압축, 양자화 단계, 관심 영역, 잠재 마스킹 영역, 인코딩

Description

양자화 단계를 국부적으로 조정하기 위한 방법{METHOD FOR LOCALLY ADJUSTING A QUANTIZATION STEP}

본 발명은 화상 시퀀스을 사전분석하는 단계를 사용하여 시퀀스의 화상에서 양자화 단계를 국부적으로 조정하기 위한 방법에 관한 것이다.

본 발명은 비디오 압축 분야, 특히 선택적 압축에 적용된다. 관심 영역이 있는 화상을 선택적으로 압축하는 임의의 방법은 2개의 메카니즘, 즉, 우선순위(priori) 선택 메카니즘 및 우선순위 압축 메카니즘과 관련된다.

- 정보의 선택은, 화상에 포함된 관심 이벤트의 위치 및 서로에 관한 이들 이벤트의 상대적 중요성을 지정하는 시각적 주의 메카니즘(visual attention mechanism)이다.

- 우선순위 압축 메카니즘은 화상의 특성 및 인코딩, 및 인코딩 자원의 할당을 위한 기준, 즉, 비트 레이트 또는 품질을 특성화한다.

임의의 압축 방법은 인코딩될 데이터를 양자화하기 위한 양자화 방법과 관련된다. 본 발명은 보다 구체적으로 화상의 각 영역에 대한 양자화 단계의 국부적 조정에 관한 것이다. 종래의 접근법에 따르면, 양자화 단계의 국부적 조정은 화상내의 심리시각(psycho-visual) 중요성에 따라 각 매크로블록(macroblock)(또는 픽 셀의 각 블록)에 대해 수행된다. 이러한 접근법은 특히 보다 확실히 덜 중요한 매크로블록을 양자화하고, 역으로, 관련된 양자화 단계를 감소시킴으로써 중요한 매크로블록(즉, 시선을 끌어 당기는 매크로블록)을 유지시키는데 사용된다. 그러나, 이러한 접근법으로는, 중요한 매크로블록의 재구성 품질(즉, 디코딩 후의 품질)이 일 화상으로부터 다음 화상으로 심하게 변할 수 있고, 이는 관찰자에게 있어서 문제점이 된다. 또한, 재구성 품질도 관심 영역내에서 변할 수 있다.

본 발명의 목적은 종래 기술의 단점 중 적어도 하나를 해결하려는 것이다. 본 발명은 설정점(setpoint) 양자화 단계(QP^*)에 대하여 n개의 화상 중 시퀀스의 화상에서 양자화 단계를 국부적으로 조정하는 방법에 관한 것이다. 각각의 화상은 적어도 하나의 관심 영역 및 하나의 잠재 마스킹(potential masking) 영역을 포함하고, 각 영역들은 복수의 픽셀 비결합(disjoint) 그룹을 포함한다. 관심 영역 및 잠재 마스킹 영역은 이들이 설정점 양자화 단계로 양자화될 때, 각각 제1 및 제2의 비트수로 인코딩된다. 본 발명에 따라, 상기 방법은,

시퀀스의 각 화상에 대하여, 제2 비트수와 설정점 양자화 단계(QP^*)보다 크거나 동일한 제1 양자화 단계(QP_POT_MAX_j)로 양자화되는 잠재 마스킹 영역을 인코딩하는데 사용되는 비트수와의 제1 비트 차이, 설정점 양자화 단계(QP^*)보다 작거나 동일한 제2 양자화 단계(QP_ROI_MIN_j)로 양자화되는 관심 영역을 인코딩하는데 사용되는 비트수와 상기 제1 비트수와의 제2 비트 차이를 계산하는 단계; 및

시퀀스의 각 화상에서, 제1 양자화 단계를 잠재 마스킹 영역에 할당하고, 시퀀스의 n개의 화상에 걸쳐, n개의 제1 비트 차이의 합(G_POT)이 n개의 제2 비트 차이의 합(D_ROI)보다 크면, 제2 양자화 단계를 관심 영역에 할당하며, 그렇지 않으면, 제2 양자화 단계보다 크거나 동일한 제3 양자화 단계를 관심 영역에 할당하여, n개의 제1 비트 차이의 합이 각 화상에 대하여 계산된 재구성 품질 기준에 따라 시퀀스의 화상의 관심 영역들 간에 분배되도록 하는 단계를 포함한다.

특정 실시예에 따라, 제1 양자화 단계(QP_POT_MAX_j)는, 제1 양자화 단계가 잠재 마스킹 영역을 코딩하는데 사용될 때, 잠재 마스킹 영역의 선정된 제1 재구성 품질(PSNRⁿⁱⁿ _POT)을 보장하도록 결정된다. 제2 양자화 단계(QP_ROI_MIN_j)는, 제2 양자화 단계(QP_ROI_MIN_j)가 관심 영역을 코딩하는데 사용될 때, 관심 영역의 선정된 제2 재구성 품질(PSNR^max _ROI)을 보장하도록 결정된다.

바람직하게는, 시퀀스의 n개의 화상에 걸쳐, n개의 제1 비트 차이의 합(G_POT)이 n개의 제2 비트 차이의 합(D_ROI)보다 작으면, n개의 제1 비트 차이의 합(G_POT)은 설정점 양자화 단계(QP^*)가 관심 영역을 코딩하는데 사용될 때 관심 영역의 재구성 품질과 선정된 제2 재구성 품질(PSNR^max _ROI) 간의 차이에 비례하여 시퀀스의 n개의 이미지의 관심 영역들 간에 분배된다.

또 다른 실시예에 따라, 화상은, 비결합 그룹의 픽셀을 포함할 수 있는 중립 영역을 더 포함하고, 설정점 양자화 단계(QP^*)는 중립 영역에 할당된다.

본 발명은 또한, n개의 화상의 시퀀스를 코딩하는 방법으로서, n개의 화상을 계수 세트로 변환하는 단계, 계수 각각을 양자화 단계에 의해 양자화하는 단계, 및 양자화된 계수를 인코딩하는 단계를 포함하고, 양자화 단계는 전술한 방법에 따라 국부적으로 조정된다.

본 발명은 또한, 적어도 하나의 관심 영역과 하나의 잠재 마스킹 영역을 포함하는 n개의 화상의 시퀀스를 코딩하는 코딩 장치에 관한 것이다. 상기 장치는,

n개의 화상 각각을 계수 세트로 변환하는 수단;

설정점 양자화 단계(QP^*)에 대하여 시퀀스의 각 화상에서 국부적으로 조정되는 양자화 단계로 계수를 양자화하는 양자화 수단(120) - 상기 관심 영역 및 잠재 마스킹 영역은, 설정점 양자화 단계(QP^*)로 양자화될 때, 각각 제1 및 제2 수의 비트로 인코딩됨 -; 및

양자화된 계수를 코딩하는 코딩 수단(130)을 포함한다.

본 발명에 따라, 양자화 수단은,

시퀀스의 각 화상에 대하여, 제2 비트수와 설정점 양자화 단계(QP^*)보다 크거나 동일한 제1 양자화 단계(QP_POT_MAX_j)로 양자화되는 잠재 마스킹 영역을 인코딩하는데 사용되는 비트수와의 제1 비트 차이, 설정점 양자화 단계(QP^*)보다 작거나 동일한 제2 양자화 단계(QP_ROI_MIN_j)로 양자화되는 관심 영역을 인코딩하는데 사용되는 비트수와 제1 비트수와의 제2 비트 차이를 계산하기 위한 수단; 및

시퀀스의 각 화상에서, 제1 양자화 단계를 상기 잠재 마스킹 영역에 할당하고, 시퀀스의 n개의 화상에 걸쳐, n개의 제1 비트 차이의 합(G_POT)이 n개의 제2 비트 차이의 합(D_ROI)보다 크면, 제2 양자화 단계를 상기 관심 영역에 할당하며, 그렇지 않으면, 제2 양자화 단계보다 크거나 동일한 제3 양자화 단계를 관심 영역에 할당하여, n개의 제1 비트 차이의 합이 각 화상에 대하여 계산된 재구성 품질 기준에 따라 시퀀스의 화상의 관심 영역들 간에 분배되도록 하기 위한 수단을 포함한다.

이롭게도, 코딩 장치는 양자화 수단에 설정점 양자화 단계(QP^*)를 제공하는 레이트 제어 수단을 더 포함한다.

본 발명은 첨부 도면을 참조해서, 제한하려는 것은 아닌, 예시적 실시예 및 바람직한 구현예들을 통해 더욱 잘 이해되고 설명될 것이다.

도 1은 인코딩될 시퀀스의 각 화상에 대한 관심 영역의 PSNR의 동향을 도시한다.

도 2는 본 발명에 따른 코딩 장치를 나타낸다.

본 발명은, 설정점 양자화 단계(QP^*)에 관하여 화상의 관심 부분 또는 영역(즉, 더 주의를 끄는 영역) 각각에 대해 양자화 단계를 국부적으로 조정하는 방법에 관한 것이다. 복수의 화상의 시퀀스의 일부인 화상은 픽셀의 블록으로 구성된다. 화상의 관심 영역 이외의 다른 영역을 희생하여 양자화 단계를 국부적으로 적용시키는 방법에서 관심있는 공간 영역을 페이버링(favouring)함으로써, 부여된 전체 비트 레이트에 대하여 관심 영역의 시각적 품질이 향상된다. 화상의 관심 영역의 선택에 기초해서, 이들 영역의 관심도에 따라 양자화 단계가 국부적으로 조정된다. 이 조정은, 중요도가 낮은 영역을 더 강하게 압축하고, 시퀀스에 따라, 사용되지 않을 것 같은 인코딩 자원(즉, 비트의 수)을 관심 영역으로 재분배하는 방식으로 수행된다. 일 화상으로부터 다른 화상으로의 이러한 비트의 재분배는, 관심 영역에 대해 보다 안정적인 재구성 품질(즉, 디코딩 후의 품질)을 얻을 수 있도록 한다. 본 발명에 따른 방법은 특히 화상 시퀀스 사전분석 단계를 사용하여, 시퀀스 도처의 관심 영역의 비트수에 관련한 요구 사항을 특징짓고, 그 결과, 전체 시퀀스에 걸쳐 관심 영역의 재구성 품질을 매끄럽게 한다.

보다 구체적으로, 본 발명에 따른 방법은 비트 레이트를 비관심 영역으로부터 관심 영역으로 전달시키는데 사용될 수 있다. 이를 위해, 공지된 솔루션은 화상의 각 영역에 대해 양자화 단계 QP의 변동 또는 양자화 단계의 국부적 조정을 사용한다. 이 조정은, 설정점 비트 레이트 D^*에 대응하는 (예를 들면, 각 화상에 대한 비트 레이트 정규화로부터 유도되는) QP^*로 표시된 양자화 단계 값의 초기 설정 점과 관련해서 이루어진다. 이 양자화 단계 값은, 필요하다면, 시퀀스 동안 화상에서 화상으로 변결될 수 있다. 보다 구체적으로, 본 발명에 따라서, 화상의 각 영역에 대한 양자화 단계는 시각적 관심 영역에 따라서 수정될 것이다. 양자화 단계의 포지티브 변동은 더 강한 압축, 품질의 손실을 희생한 비트 레이트에서의 게인을 제공한다. 네거티브 변동은 더 미세한 압축, 즉, 인코딩 비용의 증가를 통한 향상된 재구성 품질을 제공한다.

결과적으로, 이 방법은 콘텐츠에서 우선순위 정보의 인식을 요구한다. 이러한 본 발명에 따른 방법에 의해 사용되는 우선순위 정보는 2개의 카테고리에 포함된다. 콘텐츠 상의 우선순위 정보의 제1 카테고리는, 시퀀스의 각 화상에서, 주의를 더 끄는 영역, 즉, 관심 영역의 위치와 관계가 있다. 이 영역은 픽셀 블록의 비결합 그룹으로 구성될 수 있지만, 동일 영역으로 규정된다. 이 정보는, 화상의 각 블록 b _i 에 대해, 인간의 시각 시스템에 대한 관심 레벨을 나타내는 바이너리(binary) 관심 맵(I)에 의해 주어질 수 있다; 관심 블록 b _i 에 대해서 I( b _i )=1이고, 비관심 블록 b _i 에 대해서 I( b _i )=0이다. 이 맵은 예를 들어, 특성(saliency) 맵을 임계화(thresholding)함으로써 얻어질 수 있다. 특성 맵은 화상의 각 픽셀에 대해 그 지각적 관심을 나타내는 맵이다. 이 맵은 예를 들어, 움직임 정보와 같은 다양한 정보를 고려하여 구성될 수 있다. 픽셀에 관련된 값이 커지면, 픽셀은 시선을 더 끌게 된다. 각 블록에 대해 특성 값을 얻기 위해서, 주어진 블록에 대해, 그 블록에 속하는 픽셀과 관련된 값을 평균화하거나, 또는 특성 값의 중간값을 얻 는 것도 가능하다. 보다 일반적으로, 본 발명은 각 블록 b _i 에 대해 그 관심 레벨을 특징짓는 비-바이너리(non binary) 관심 맵의 경우에 적용될 수 있다. 콘텐츠 상의 우선순위 정보의 제2 카테고리는, 시퀀스의 각 화상에서, 시각적 아티팩트(artifact)에서의 강한 마스킹 능력을 갖는 화상에 있는 영역의 위치와 관련된다. 이 영역은 픽셀 블록의 비결합 그룹으로 구성될 수 있다. 디지털 비디오 시스템에서 사용되는 손실 있는 압축 방법은 아티팩트를 생성하고, 그 가시성(visibility)은 처리된 화상의 콘텐츠에 강하게 의존한다. 콘트라스트 마스킹 효과는 신호의 가시성의 변형을 다른 신호의 존재로 바꾼다. 이 변형은 가시성 임계치가 감소되는 방향으로(용이화(facilitation)) 진행하거나, 또는 심지어 가시성 임계치가 증가하는 방향으로(마스킹)도 진행할 수 있다. 비관심 영역의 일부인 블록에서의 새로운 아티팩트의 출현을 제한하기 위해서, 콘텐츠 상의 우선순위 정보가 또한, 각 블록 b _i 에 대해, 그 가시성 마스킹 능력을 나타내는 바이너리 맵 P에 의해 주어진다; 강한 마스킹 능력을 갖는 블록에 대해 P( b _i )=1이고, 약한 마스킹 능력을 갖는 블록에 대해 P( b _i )=0이다. 이 맵은, 예를 들어, 활동성 맵(activity map)을 임계화함으로써 얻어질 수 있다. 활동성 맵은 주어진 블록에 대해 그 활동성 레벨을 나타내는 맵이다. 이 레벨은 예를 들어, 블록의 편차를 측정함으로써 계산될 수 있다. 이후 명세서에서, 강한 마스킹 능력을 갖는 화상의 비관심 블록 b _i 의 세트는 "잠재 마스킹 영역"으로 불린다. 잠재 마스킹 영역에 속하지 않는 비 관심 블록 b _i 의 세트는 "중립 영역"으로 불린다. 각각 관심 영역의 위치 및 강한 마스킹 능력을 갖는 영역과 각각 관련된 2개의 바이너리 맵을 결합하여, 양자화 단계를 국부적으로 조정하기 위해 사용되며 화상의 각 블록 b _i 와 관련된 단일 맵 I _final 을 얻으며, 그 값 0, 1, 2는 다음의 [수학식 1]과 같다.

- I _Final 은 관심 영역과, 비트의 전송에 적용될 잠재 마스킹 영역을 또한 나타내는, 인코더로 전송되는 새로운 맵이고,

- P는 잠재 마스킹 영역을 규정하는 바이너리 맵이고,

- I는 관심 및 비관심 영역을 규정하는 바이너리 맵이다.

이 방법은 또한, 시퀀스의 각 화상에 있는 관심 영역 및 잠재 마스킹 영역 각각에 관련되고 특정한 PSNR(QP) 커브(양자화 단계의 함수로서 피크 신호 대 잡음비를 나타냄) 및 NbBit(QP) 커브(양자화 단계의 함수로서 비트의 수를 나타냄)를 사용한다. PSNR은 화상 품질을 특성화하는데 사용되는 기준이다. 이 경우, PSNR은 화상, 블록, 또는 화상에 있는 영역을 디코딩한 후에 재구성 품질을 특성화하는데 사용된다. PSNR은 다음의 [수학식 2]와 같이 정의된다:

여기에서, SSE는 오차 제곱 합이다. SSE는 블록에 대해, 소스 화상의 픽셀과 관련된 값과 재구성된 화상, 즉, 디코딩된 화상의 대응하는 픽셀과 관련된 값 간의 픽셀 마다의 차이의 블록에서의 합으로 정의된다.

본 발명에 따라서, 다른 품질 기준이 사용될 수 있다. 화상의 소정 영역으로부터 다른 영역으로 비트를 재분배하기 전에, 값 QP^* 근처에서 상술한 커브의 부분을 구성하기 위해 시퀀스의 각 화상 j에 대한 학습 단계가 요구된다. 커브의 이들 부분은 또한 예를 들어, 데이터 파일을 통해 외부 수단에 의해 제공될 수도 있다. 3개의 상이한 양자화 단계, 즉, QP^*-L, QP^*+K 및 QP^*를 사용해서 관심 영역 또는 화상의 잠재 마스킹 영역 중 하나에 속하는 픽셀의 각 블록(예를 들어, 16×16 픽셀 크기의 매크로블록)을 인코딩하는 것으로 구성된다. 관심 영역에 속하는 인코딩된 블록의 재구성(즉, 디코딩) 후에, PSNR^j _ROI 값 및 비트 값의 수(NbBit^j _ROI)를 얻기 위해, 주어진 양자화 단계 값(QP^*-L, QP^*+K 및 QP^*)에 대한 이들 블록에 관련된 데이터(PSNR 및 NbBit)가, 화상 j의 관심 영역 및 3개의 양자화 단계 값 각각에 대해 평균화된다. 유사하게, PSNR 값(PSNR^j _POT ) 및 비트 값의 수(NbBit^j _POT)를 얻기 위해, 잠재 마스킹 영역에 속하는 블록에 관련된 데이터가, 화상 j의 잠재 마스킹 영역 및 3개의 양자화 단계 값 각각에 대해 평균화된다. 그 다음, 커브 PSNR^j(QP) 및 NbBit^j(QP)는, 화상 j에 대해, 관심 영역에 대해서는 커브 PSNR^j _ROI(QP) 및 커브 NbBit^j _ROI(QP)를, 잠재 마스킹 영역에 대해서는 커브 PSNR^j _POT(QP) 및 커브 NbBit^j _POT(QP)를 얻기 위해 3개의 값들 (QP^*-L, QP^*+K 및 QP^* 간의 선형 보간에 의해 보간된다.

비트의 전송 또는 재분배의 원리는 잠재 마스킹 영역에 속하는 블록을 (설정점 양자화 단계 QP^*에 기초한 초기 인코딩에 비해) 더욱 강하게 압축하고, (비트의 수 NbBit^j _POT(QP^*)와 비교해서) 잠재 마스킹 영역을 인코딩하는데는 사용되지 않는 비트를 관심 영역의 인코딩을 위해 사용하는 것으로 구성된다. 이 방법에 따르면, 잠재 마스킹 영역과 관련된 재구성 품질의 선정된 최소값 PSNR^min _POT(예를 들어, 20dB)이 제공되는 것이 고려된다고 가정하면, 잠재 마스킹 영역의 블록을 양자화하는데 더 강한 양자화 단계가 사용될 수 있다. 유사하게, 관심 영역에 대해 재구성 품질의 선정된 최대값 PSNR^max _ROI(예를 들어, 35dB)이 고정된다. 이들 값은 자동적으로 또는 수동으로(예를 들어, 운영자에 의해) 고정될 수 있다. 본 발명에 따른 방법은, 설정점 비트 레이트 D^*와 대략적으로 유사한 시퀀스에 대한 전체 비트 레이트 를 유지하도록 주의하면서, 잠재 마스킹 영역으로부터의 비트를 관심 영역으로 전송함으로써 양자화 단계를 국부적으로 적용시키는 것으로 구성된다. 본 발명에 따른 방법은 제1 시퀀스 사전분석 단계를 사용한다. 이 단계에서, 잠재 마스킹 영역에 할당된 양자화 단계를 증가시킴으로써 전체 시퀀스에 걸쳐 복구되거나 절약될 수 있는 비트의 수가 계산되고, 유사하게, 관심 영역을 하위 양자화 단계로 인코딩하기 위해 모든 시퀀스에 걸쳐 필요한 부가 비트의 수가 계산된다. 이를 위해, 선택적 압축 시스템에 관계된 각 영역(즉, 관심 영역 및 잠재 마스킹 영역)에 대하여, 그리고, 시퀀스의 화상(j) 각각에 대하여, 양자화 단계를 위한 소위 유효값의 세트가 정의된다. 이들 값은, 잠재 마스킹 영역 및 관심 영역에서, PSNR 요구사항, 최소 및 최대 각각을 만족시키는 재구성 품질을 고려하도록 (각 영역 및 각 화상에 대하여 모델링된) PSNR(QP) 커브로부터 결정된다. 이미지(j)에 있는 잠재 마스킹 영역에 대해, 잠재 마스킹 영역에 할당될 수 있는 양자화 단계의 값은 QP*로 표시된 설정점 값과 최소 재구성 품질(PSNR^min _POT)을 보장하는 것이 가능한 (QP_POT_MAX_j으로 표시된) 최고값 사이에서 가변한다. 동일한 원리가 관심 영역에도 적용된다. 화상(j)의 관심 영역에 할당될 수 있는 양자화 단계의 값은 타겟 재구성 품질(PSNR^max _ROI)을 달성가능하게 하는 양자화 단계의 (QP_ROI_MIN_j으로 표시된) 최소값과 설정점 값(QP*) 사이에서 가변한다.

본 발명에 따라, 사전분석 단계는 초기에는 시퀀스의 각 화상에 대하여 관심 영역의 비트 수 및 잠재 마스킹 영역이 제공할 수 있는 비트 수에 관한 요구사항을 수집한다. 두 번째로, 비트 전송은 시퀀스의 잠재 마스킹 영역이 제공하는 가능성에 기초할 것이다. 잠재 마스킹 영역이 요청을 만족할 수 있거나 할 수 없는 두 가지 우발성이 고려될 수 있다. 후자의 경우, PSNR 기반 품질 설정점에 관계하는 관심 영역의 PSNR 결손에 비례하여 비트의 재분배가 수행된다.

사전분석에서, 시퀀스의 화상(j)에 대하여, 잠재 마스킹 영역을 QP_POT_MAXj로 인코딩할 때를 기초로 절약될 수 있는 비트의 수는 상기 영역과 관계된 커브 NbBit^j _POT(QP)로부터 결정된다. 타겟 재구성 품질 PSNRmaxROI을 달성하기 위해 부가 비트에 관한 관심 영역의 요구사항도 평가된다. 최소 재구성 품질을 제공하는 최대 양자화 단계로 인코딩하기 위해 화상(j)의 잠재 마스킹 영역으로부터 절약되는 비트 수를 용어 gain_j(QP_POT_MAXj)로 나타내면,

여기에서, NbBit^j _POT(QP)는 화상(j)의 잠재 마스킹 영역과 관계된 커브 NbBit(QP)이다.

QP_POT_MAX_j는 잠재 마스킹 영역의 최소 재구성 품질을 제공하는데 사용될 수 있는 양자화 단계의 값이다.

타겟 재구성 품질을 만족시키기 위해 화상(j)의 관심 영역에 필요한 비트 수 를 용어 requirement_j(QP_ROI_MIN_j)로 나타내면,

여기에서, NbBit^j _ROI(QP)는 화상(j)의 관심 영역과 관계된 커브 NbBit(QP)이다.

QP_POI_MIN_j는 관심 영역의 재구성 품질을 타겟 재구성 품질에 근사하도록 하는데 사용될 수 있는 양자화 단계의 값이다.

화상 분석에서, 잠재 마스킹 영역(G_POT로 표시됨) 상에 절약되는 비트 수와 관심 영역(D_ROI로 표시됨)에 필요한 비트 수가 시퀀스에서 수집되다.

여기에서, N은 인코딩될 화상의 수이다.

더욱이, 도 1에 도시된 바와 같이, 시퀀스의 각 화상(j)에 대하여, 설정점 단계로 양자화된 관심 영역의 재구성 품질과 타겟 재구성 품질(PSNR^MAX _ROI) 간의 품질 차이(본 출원의 PSNR에 의해 평가된 것이지만, 이에 한정되는 것은 아님)가 계산된다. 시퀀스 전체에 걸쳐 수집된 이들 품질 차이의 값을 △PSNR_ROI라 하면,

여기에서,

- δPSNR^j _ROI=MAX(0,PSNR^max _ROI-PSNR^j _ROI(QP^*))는 화상(j)의 관심 영역의 품질 차이이다;

- N은 인코딩될 시퀀스의 화상의 수이다;

- PSNR^j _ROI(QP^*)는 화상(j)의 관심 영역의 PSNR 값이다.

이러한 사전분석의 끝에는 다음의 값이 공지된다:

- 화상 레벨에서:

- 타겟 재구성 품질로부터 관심 영역의 품질 거리; 및

- 잠재 마스킹 영역 및 관심 영역 각각에 적용되어, 최소 재구성 품질(PSNR^max _POT) 및 타겟 재구성 품질(PSNR^max _ROI)를 각각 얻을 수 있는 양자화 단계 QP_POT_MAX_j 및 QP_ROI_MIN_j.

- 시퀀스 레벨에서:

- 관심 영역에 대한 타겟 재구성 품질의 품질 차이의 수집값 △PSNR_ROI;

- 잠재 마스킹 영역 상에 절약된 총 비트 수 G_POT; 및

- 목표 재구성 품질을 얻기 위해 관심 영역에 필요한 총 비트 수 D_ROI.

본 발명의 제2 단계 목표는 관심 영역에 대하여 타겟 재구성 품질을, 적절한 곳에서, 만족시키기 위해, 시퀀스의 각 화상에 있는 각 영역에 대하여, 잠재 마스킹 여역을 양자화 단계 QP_POT_MAX_j로 인코딩하여 유도된, 시퀀스에 걸쳐 절약된 비트 수 G_POT를 재분배함으로써 양자화 단계를 할당하는 것이다. 이러한 분재는 사실상 잠재 마스킹 영역에 의해 제공된 능력에 따라 행해진다: 또는 잠재 마스킹 여역은 요구사항을 만족시키거나(case No. 1), 또는 만족시킬 수 없다(case No. 2).

Case No . 1: G _POT ≥ D _ROI

시퀀스에 걸쳐 절약된 총 비트수는 타겟 재구성 품질을 달성하기 위해 관심 영역에 필요한 총 비트수보다 크거나 같다. 잠재 마스킹 영역으로부터 관심 영역으로 절약된 비트의 시퀀스에 걸친 재분배가 행해질 수 있다. 이 경우에, 전체적인 비트 레이트가 감소될 수 있다.

관심 영역 및 잠재 마스킹 영역의 양자화 단계들의 국부 조정은, 각각의 값 QP_ROI_MIN_j 및 QP_POT_MAX_j에 기초하여 각 화상(j)에 대하여 직접 수행되는데, 즉, QP_ROI_MIN_j는 잠재 마스킹 영역에 할당되고, QP_POT_MAX_j는 관심 영역에 할당된다.

Case No . 2: G _POT ＜ D _ROI

시퀀스에 걸쳐 수집된 비트 레이트 절약으로는 관심 영역의 요구사항을 완전히 만족시킬 수 없다.

(설정점 양자화 단계에 의해 얻어진) 설정점 비트 레이트와 대략 유사한양자화 단계의 국부 조정 후의 전체적인 비트 레이트를 유지하기 위해, 화상(j)에 대하여, 현재값(QP_ROI_MIN_j)보다 큰, 관심 영역에 대한 새로운 양자화 단계 값(QP_ROI_j)이 평가되어야 한다. 그 후, PSNR에 기초한 품질 설정점에 대하여 관심 영역의 PSNR 결손에 비례하여 비트의 재분배가 행해진다. 각 화상(j)에 대하여, 현재의 품질 차이 δPSNR^j _ROI에 비례하여 잠재 마스킹 영역에서 얻어진 총 비트수로부터, 현재의 관심 영역의 인코딩을 위해 부가된 부가 비트수 NbAdditionalBits ^j _ROI 가 다음과 같이 계산된다.

커브 NbBit^j _ROI(QP)로부터, 새로운 타겟 비트수 NbBit^j _ROI(QP^*)+ NbAdditionalBits ^j _ROI 에 접근하도록 사용될 수 있는 관심 영역의 양자화 단계값 QP_ROI_j가 추정된다.

관심 영역 및 잠재 마스킹 영역의 양자화 단계들의 국부 조정이 각각의 값 QP_ROI_j 및 QP_POT_MAX_j에 기초하여 각 화상(j)에 대하여 수행된다. 중립 영역의 블록에 대해서는, 이 블록들은 선택적 인코딩 전략에 관해 중립적인 것으로 고려되고, 즉, 이들 블록에 할당되는 양자화 단계는 설정점 양자화 단계 QP^*에 대응하고, 즉, 양자화 단계를 국부적으로 적용하지 않는다.

본 발명은 또한 본 발명에 따른 양자화 방법을 구현하는 n개의 화상들의 시퀀스를 코딩하기 위한 코딩 방법에 관련된 것이다. 따라서, 이 코딩 방법은 계수 세트의 시퀀스의 n개의 화상들을 예를 들어, DCT를 사용해서 변환하는 단계, 상술한 방법에 따라 시퀀스의 n개의 화상내에서 국부적으로 적용되는 양자화 단계 및에 의해 상기 계수를 양자화하는 단계, 및 (예를 들어, 엔트로피 코딩 처리를 사용해서) 상기 양자화된 계수를 인코딩하는 단계를 포함한다.

본 발명은 또한 도 2에 도시된 화상의 시퀀스를 코딩하기 위한 코딩 장치(10)와 관련된다. 도 2에는 필수적인 모듈들만이 도시되어, 후술된다. 코딩 장치는, 코딩 장치의 입력에서의 소스 화상을 계수(예를 들어, DCT 계수) 세트로 변환하는 모듈(110)을 포함한다. 모듈(110)은 예를 들어, DCT 변환을 구현한다. 그 후, 이 계수는 양자화 모듈(120)에 의해 양자화되어 양자화 계수를 얻는다. 양자화 모듈(120)은 본 발명에 따른 양자화 단계의 국부적 조정 방법을 구현하게 된다. 보다 상세하게는, 양자화 단계를 소스 각 화상의 관심 영역에 할당하여, 절약된 비 트수 GPOT가 충분하면, 타겟 재구성 품질을 확실히 하거나, 또는 절역된 비트 수 GPOT가 타겟 재구성 품질과 설정점 재구성, 즉, 상기 관심 영역을 QP*로 양자화할 때 얻어진 품질 간의 차이에 비례하여 전체 시퀀스에 따라 관심 영역들 간에 분배하도록 한다. 그 후, 양자화된 계수는 당업자에게 공지된 코딩 모듈(130), 예를 들어, 엔트로피 인코더에 의해 인코딩된다. 특정 실시예에 따르면, 코딩 장치(10)는 레이트 제어 모듈(140)을 포함한다. 이 모듈(140)은 양자화 모듈(120)에 설정점 양자화 단계 QP^*를 제공할 수 있다.

물론, 본 발명은 상술한 실시예들로 한정되는 것은 아니다. 특히, 당업자들은 개시된 실시예들에 임의의 변경을 부가하고, 이들을 조합하여 그로부터 다양한 장점을 얻을 수 있다. 예를 들어, 심리시각 모델링에 기초한 변동에 따른 PSNR 가중 기준과 같은 종래의 PSNR 이외의 기준을 사용하여, 화상, 픽셀의 블록 또는 화상의 영역의 재구성 품질을 특성화할 수 있다. 유사하게, PSNR(QP) 및 NbBit(QP)의 커브가 상술한 수단들 이외의 수단을 이용해서 얻어질 수 있다. 따라서, 3개 이상의 양자화 단계를 이용하여 커브를 보간할 수 있다. 유사하게, 다항식 보간 같은 또 다른 유형의 보간을 사용할 수 있다.

화상의 각 블록에 대하여, 관심의 상위 또는 하위 레벨을 특징짓는 관심 맵은 비-바이넌리 맵일 수 있다. 이들 맵을 사용하여 화상에 있는 관심 영역의 수를 규정할 수 있고, 관심 레벨에 따라 각 영역에 비트가 재할당된다.

Claims

설정점(setpoint) 양자화 단계(QP^*)에 대하여 n개의 화상 시퀀스 중의 화상에서 양자화 단계를 국부적으로 조정하는 방법으로서 - 상기 화상은 적어도 하나의 관심 영역 및 하나의 잠재 마스킹(potential masking) 영역을 포함하고, 상기 영역들은 각각 복수의 픽셀 비결합(disjoint) 그룹을 포함하고, 상기 관심 영역 및 잠재 마스킹 영역은, 설정점 양자화 단계로 양자화될 때, 각각 제1 및 제2의 비트수로 인코딩됨 -,

상기 시퀀스의 각 화상에 대하여, 상기 제2 비트수와 상기 설정점 양자화 단계(QP^*)보다 크거나 동일한 제1 양자화 단계(QP_POT_MAX_j)로 양자화된 상기 잠재 마스킹 영역을 인코딩하는데 사용되는 비트수와의 제1 비트 차이와, 상기 설정점 양자화 단계(QP^*)보다 작거나 동일한 제2 양자화 단계(QP_ROI_MIN_j)로 양자화되는 상기 관심 영역을 인코딩하는데 사용되는 비트수와 상기 제1 비트수와의 제2 비트 차이를 계산하는 단계; 및

상기 시퀀스의 각 화상에서, 상기 제1 양자화 단계를 상기 잠재 마스킹 영역에 할당하고, 상기 시퀀스의 n개의 화상에 걸쳐, n개의 제1 비트 차이의 합(G_POT)이 n개의 제2 비트 차이의 합(D_ROI)보다 크면, 상기 제2 양자화 단계를 상기 관심 영역에 할당하며, 그렇지 않으면, 상기 제2 양자화 단계보다 크거나 동일한 제3 양자화 단계를 상기 관심 영역에 할당하여, 각 화상에 대하여 계산된 재구성 품질 기준에 따라 상기 n개의 제1 비트 차이의 합이 상기 시퀀스의 화상의 관심 영역들 간에 분배되도록 하는 단계

를 포함하는 화상의 양자화 단계 국부 조정 방법.
제1항에 있어서,

상기 제1 양자화 단계(QP_POT_MAX_j)는, 상기 제1 양자화 단계가 상기 잠재 마스킹 영역을 코딩하는데 사용될 때, 상기 잠재 마스킹 영역의 선정된 제1 재구성 품질(PSNR^min _POT)을 보장하도록 결정되는 화상의 양자화 단계 국부 조정 방법.
제1항 또는 제2항에 있어서,

상기 제2 양자화 단계(QP_ROI_MIN_j)는, 상기 제2 양자화 단계(QP_ROI_MIN_j)가 상기 관심 영역을 코딩하는데 사용될 때, 상기 관심 영역의 선정된 제2 재구성 품질(PSNR^max _ROI)을 보장하도록 결정되는 화상의 양자화 단계 국부 조정 방법.
제3항에 있어서,

상기 시퀀스의 n개의 화상에 걸쳐, 상기 n개의 제1 비트 차이의 합(G_POT)이 상기 n개의 제2 비트 차이의 합(D_ROI)보다 작으면, 상기 설정점 양자화 단계(QP^*)가 상기 관심 영역을 코딩하는데 사용될 때 상기 관심 영역의 재구성 품질과 선정된 상기 제2 재구성 품질(PSNR^max _ROI) 간의 차이에 비례하여 상기 n개의 제1 비트 차이의 합(G_POT)이 상기 시퀀스의 n개의 이미지의 관심 영역들 간에 분배되는 화상의 양자화 단계 국부 조정 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,

상기 화상은, 비결합 그룹의 픽셀을 포함할 수 있는 중립 영역을 더 포함하고, 상기 설정점 양자화 단계(QP^*)는 상기 중립 영역에 할당되는 화상의 양자화 단계 국부 조정 방법.
n개의 화상의 시퀀스를 코딩하는 방법으로서,

상기 n개의 화상을 계수 세트로 변환하는 단계,

상기 계수 각각을 양자화 단계에 의해 양자화하는 단계, 및

상기 양자화된 계수를 인코딩하는 단계

를 포함하고,

상기 양자화 단계는 제1항 또는 제5항에 따라 국부적으로 조정되는 코딩 방법.
적어도 하나의 관심 영역과 하나의 잠재 마스킹 영역을 포함하는 n개의 화상의 시퀀스를 코딩하는 코딩 장치(10)로서 - 상기 영역은 각각 복수의 픽셀 비결합 그룹을 포함할 수 있음 -,

상기 n개의 화상 각각을 계수 세트로 변환하는 수단(110);

설정점 양자화 단계(QP^*)에 대하여 상기 시퀀스의 각 화상에서 국부적으로 조정되는 양자화 단계로 상기 계수를 양자화하는 양자화 수단(120) - 상기 관심 영역 및 잠재 마스킹 영역은, 상기 설정점 양자화 단계(QP^*)로 양자화될 때, 각각 제1 및 제2 비트수로 인코딩됨 -; 및

상기 양자화된 계수를 코딩하는 코딩 수단(130)

을 포함하고,

상기 양자화 수단(120)은,

상기 시퀀스의 각 화상에 대하여, 상기 제2 비트수와 상기 설정점 양자화 단계(QP^*)보다 크거나 동일한 제1 양자화 단계(QP_POT_MAX_j)로 양자화되는 상기 잠재 마스킹 영역을 인코딩하는데 사용되는 비트수와의 제1 비트 차이와, 상기 설정점 양자화 단계(QP^*)보다 작거나 동일한 제2 양자화 단계(QP_ROI_MIN_j)로 양자화되는 상기 관심 영역을 인코딩하는데 사용되는 비트수와 상기 제1 비트수와의 제2 비트 차이를 계산하기 위한 수단; 및

상기 시퀀스의 각 화상에서, 상기 제1 양자화 단계를 상기 잠재 마스킹 영역에 할당하고, 상기 시퀀스의 n개의 화상에 걸쳐, n개의 제1 비트 차이의 합(G_POT)이 n개의 제2 비트 차이의 합(D_ROI)보다 크면, 상기 제2 양자화 단계를 상기 관심 영역에 할당하며, 그렇지 않으면, 상기 제2 양자화 단계보다 크거나 동일한 제3 양자화 단계를 상기 관심 영역에 할당하여, 각 화상에 대하여 계산된 재구성 품질 기준에 따라 상기 n개의 제1 비트 차이의 합이 상기 시퀀스의 화상의 관심 영역들 간에 분배되도록 하기 위한 수단

을 포함하는 것을 특징으로 하는 코딩 장치.
제5항에 있어서,

상기 양자화 수단(120)에 상기 설정점 양자화 단계(QP^*)를 제공하는 레이트 제어 수단(140)을 더 포함하는 코딩 장치.