KR20100065240A - 화상 처리 장치 및 화상 처리 방법 - Google Patents

Abstract

본 발명은, 부호화시의 화질의 저하를 억제할 수 있다. 본 발명은, 처리 대상이 되는 처리 대상 화소의 주변 화소로부터의 차분값으로 이루어지는 차분 화상 데이터를, AVC 규격에 의해 미리 정해진 9개의 화면내 예측 모드마다 생성한다. 그리고 부호화 장치는 차분 화상 데이터에서의 각 처리 대상 화소의 절대값의 합에 기초하는 차분 합계값으로서의 차분 절대값 합(SAD)과, 화면내 예측 모드로 미리 설정된 offset[n]에 의한 우선 순위에 따라, 해당 화면내 예측 모드를 순위 부여하도록 했다.

화상 처리, 부호화 장치, 양자화

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD}

본 발명은, 예를 들어 전회의 부호화에서 사용된 양자화 행렬이나 양자화 파라미터 등을 소정 단위로 검출하는 부호화 장치 및 방법에 관한 것이다.

종래, 텔레비전 방송국 사이에서 영상 데이터의 전송을 행할 때, 혹은 복수의 비디오 테이프 레코더(VTR 장치)를 이용해서 영상 데이터의 복사를 행할 때에는, MPEG(Moving picture experts group) 방식으로 부호화한 영상 데이터를 복호화하고, 다시, 부호화하는 점에서, 인코더와 디코더를 직렬로 탠덤 접속할 필요가 있다.

그리고, 이러한 탠덤 접속시의 부호화와 복호화의 반복에 의한 영상의 품질 열화를 저감하는 수법으로서 소위 「백 서치」라고 하는 수법이 채용되어 있다.

여기서, 「백 서치」란, 이전의 부호화에서 사용된 양자화 스텝, 혹은, 그 배수 관계에 있는 양자화 스텝을 이용하면, 이산 여현 변환(DCT; discrete cosine transfer) 계수의 잉여의 총합이 극소가 된다고 하는 성질을 이용하여, 최소값에 관계되는 양자화 스텝을 최적의 양자화 스텝으로서 구하는 수법이다.

이 「백 서치」를 이용한 기술에 대해서는, 예를 들어 특허 문헌 1에서는, 전회의 부호화에서의 양자화 스텝을 백 서치 방식에 의해 재생하고, 전회와 동일한 양자화 스텝 및 GOP(Group of pictures) 위상에서 다시 입력 영상 데이터를 부호화하고, 인코더와 디코더를 탠덤 접속해서 영상 데이터의 부호화 및 복호화를 반복한 경우의 영상의 품질의 열화를 방지하는 영상 데이터 압축 장치가 개시되어 있다.

한편, 현재에는, MPEG 방식 대신에, AVC(Advanced Video Coding) 규격이, 휴대 전화의 텔레비전 전화라고 하는 저속·저화질의 용도로부터 하이비전 텔레비전 방송 등의 대용량·고화질의 동화상까지 폭넓은 용도로 사용되어 오고 있지만, 움직임 보상, 프레임간 예측, DCT, 엔트로피 부호화 등을 조합한 알고리즘을 이용하고 있어, MPEG에 비교하여 동일한 퀄러티이면, 대략 반 정도의 데이터량으로 만족하도록 개량되어 있다.

이 AVC의 화면내 부호화에서는, 부호화 효율을 향상시키기 위해서, 화면내의 주변 화소로부터 매크로 블록내의 화소값을 예측하고, 그 예측으로부터의 차분 화상 데이터를 부호화하는 화면내 예측이 도입되었다. 이 화면내 부호화만을 이용해서 부호화된 AVC의 스트림을, 이하, AVC Intra라 칭한다. 즉, 이 AVC Intra에서는, 부호화시에 입력 화상을 주변 화소로부터의 예측 화상과 차분으로 분리하고, 상기 차분을 부호화한다.

예측 화상은, 위의 화소로부터의 예측이나 옆의 화소로부터의 예측 등, 9개의 모드가 준비되어 있고, 통상은 단위 블록당(예를 들어 4×4 샘플 등) 예측 화상으로부터의 차분의 총합이 가장 작아지도록 하는 예측 모드를 채용하도록 되어 있다.

[특허 문헌 1] 일본 특허 공개 평 10-174098호 공보.

그러나, 전술한 종래의 수법에서는, 부호화시의 발생 부호량은 감소하는 경향에 있지만, AVC에 의한 부호화는, 양자화의 부분이 비가역 변환이기 때문에, 부호화와 복호화를 행하면 원래의 입력 화상에 대하여 양자화 왜곡이 발생하는 점에서, 더빙시에 부호화와 복호화를 반복할 때마다, 양자화 왜곡에 의해 화질이 저하되어 간다. 특히, 더빙시에, 이 양자화 왜곡의 영향에 의해 전회의 부호화시와는 상이한 예측 모드가 채용되면, 다시 양자화 왜곡이 발생하게 되고, 그 결과, 화질이 저하한다고 하는 문제가 발생하는 우려가 있다.

이러한 과제를 해결하기 위해서 본 발명의 화상 처리 장치에서는, 처리 대상이 되는 처리 대상 화소의 주변 화소로부터의 차분값으로 이루어지는 차분 화상 데이터를, 미리 정해진 복수의 화면내 예측 모드마다 생성하는 차분 화상 데이터 생성부와, 차분 화상 데이터에서의 각 처리 대상 화소의 절대값의 합에 기초하는 차분 합계값과 화면내 예측 모드로 미리 설정된 우선 순위에 기초하여, 해당 화면내 예측 모드를 순위 부여하는 순위 부여부를 설치하도록 했다.

이에 의해 화상 처리 장치는, 특정한 화면내 예측 모드의 우선 순위를 매회 높게 설정할 수 있기 때문에, 특정한 화면내 예측 모드를 선택하기 쉬워져, 전회의 부호화시에 사용된 화면내 예측 모드를 선택하기 쉽게 해서 더빙시의 양자화 왜곡을 억제할 수 있다.

또한 본 발명의 화상 처리 방법에서는, 처리 대상이 되는 처리 대상 화소의 주변 화소로부터의 차분값으로 이루어지는 차분 화상 데이터를, 미리 정해진 복수의 화면내 예측 모드마다 생성하는 차분 화상 데이터 생성 단계와, 차분 화상 데이터에서의 각 처리 대상 화소의 절대값의 합이 되는 차분 합계값과 화면내 예측 모드로 미리 설정된 우선 순위에 따라, 해당 화면내 예측 모드를 순위 부여하는 순위 부여 단계를 마련하도록 했다.

이에 의해 화상 처리 장치는, 특정한 화면내 예측 모드의 우선 순위를 매회 높게 설정할 수 있기 때문에, 특정한 화면내 예측 모드를 선택하기 쉬워져, 전회의 부호화시에 사용된 화면내 예측 모드를 선택하기 쉽게 해서 더빙시의 양자화 왜곡을 억제할 수 있다.

본 발명에 의하면, 이에 의해 화상 처리 장치는, 특정한 화면내 예측 모드의 우선 순위를 매회 높게 설정할 수 있기 때문에, 특정한 화면내 예측 모드를 선택하기 쉬워져, 전회의 부호화시에 사용된 화면내 예측 모드를 선택하기 쉽게 해서 더빙시의 양자화 왜곡을 억제할 수 있고, 화질의 저하를 억제할 수 있는 화상 처리 장치 및 화상 처리 방법을 실현할 수 있다.

도 1는, 본 발명의 제1 및 제2 실시 형태에 따른 부호화 장치의 개념도.

도 2는, AVC 규격에서의 변환과 양자화의 설명을 하기 위한 대략 선도.

도 3은, 한번도 부호화되어 있지 않은 화상을 입력 화상으로 했을 때의, 양자화 파라미터 QP와 잉여의 총합(Σr)과의 관계를 나타내는 도면.

도 4는, 부호화와 복호가 행하여진 입력 화상에 대해서, 양자화 파라미터 QP 와 잉여의 총합(Σr)과의 관계를 나타내는 도면.

도 5는, 리스케일링 팩터 RF에 의한 규격화후의 양자화 파라미터 QP와 평가값의 총합 ΣY와의 관계를 나타내는 도면.

도 6은, 리스케일링 팩터 RF에 의한 규격화, 소정 영역의 보정후의 양자화 파라미터 QP와 평가값의 총합 ΣY와의 관계를 나타내는 도면.

도 7은 본 발명의 제1 실시 형태에 따른 부호화 장치의 구성도.

도 8은, (a)는 Qmatrix 검출부의 구성도, (b)는 QP 검출부의 구성도.

도 9는, 매크로 블록과 인트라 부호화 단위의 관계를 나타내는 도면.

도 10은, (a) 내지 (i)는, 9종류의 4×4 Intra 예측 모드의 설명도.

도 11은, 본 발명의 제1 실시 형태의 처리의 흐름을 나타내는 블록도.

도 12는, 본 발명의 제1 실시 형태에 따른 부호화 장치의 Qmatrix 검출부에 의한 슬라이스 단위에 의한 Qmatrix 검출의 처리에 대해서 설명하는 흐름도.

도 13은, 본 발명의 제1 실시 형태에 따른 부호화 장치의 QP 검출부에 의한 매크로 블럭 단위에 의한 QP 검출의 처리에 대해서 설명하는 흐름도.

도 14는, 본 발명의 제1 실시 형태에 의한 오프셋 우선 적용 처리의 상세한 흐름도.

도 15는, 본 발명의 제2 실시 형태에 따른 부호화 장치의 구성도.

도 16은, 본 발명의 제2 실시 형태에 따른 부호화 장치에 의한 예측 모드 검출의 처리에 대해서 설명하는 흐름도.

도 17은, 본 발명의 다른 실시 형태에 의한 오프셋 우선 적용 처리의 상세한 흐름도.

이하, 도면을 참조하여, 본 발명을 실시하기 위한 최선의 형태(이하, 단순히 실시 형태라고 칭한다)에 대해서 상세하게 설명한다. 또한 설명은 이하의 순서로 행한다.

(1) 본 발명의 개략

(2) 제1 실시 형태(오프셋 우선 적용 처리)

(3) 제2 실시 형태(백 서치에 의한 화면내 예측 모드의 확인)

(1) 본 발명의 개략

(1-1) 전제

일반적으로, AVC(Advanced Video Coding) 규격에 의한 부호화는 비가역 변환이기 때문에 부호화와 복호화를 행하면 원래의 베이스밴드(Baseband) 화상에 대하여 왜곡이 발생한다. 따라서, 예를 들어 탠덤 접속에 의한 더빙 등에 의해 부호화와 복호화를 반복할 때마다 상기 왜곡에 의해 화질이 저하되어 간다.

이 점에 감안하여, 본 발명의 제1 실시 형태에서는, AVC 규격의 화면내 부호화에서, 한번 부호화, 복호화를 통한 화상을 다시 부호화할 때에, 전회의 부호화에서 사용된 이하의 3개의 파라미터를 재이용함으로써, 화상의 왜곡을 부호기와 복호기의 연산 오차만으로 억제하는 것을 특징의 하나로 하고 있다.

(1) 화면내 예측 모드

(2) 양자화 행렬(Qmatrix)

(3) 양자화 파라미터(QP)

이들 중, 제1 실시 형태에서의 양자화 행렬 검출 처리에서는, 특히 (2)에 착안하고, 양자화 파라미터 검출 처리에서는 (3)에 착안하고, 오프셋 우선 적용 처리에서는 (1)에 착안한다.

즉 AVC 규격에서의 인트라(Intra) 화상, 즉 AVC Intra에 대하여 더빙을 행할 때에, 전회의 부호화에서 사용된 양자화 행렬 Qmatrix, 양자화 파라미터 QP 및 화면내 예측 모드를 검출하고, 동일한 Qmatrix와 QP를 이용함으로써 양자화 라운딩(rounding)을 방지하고, 더빙 특성의 향상을 실현한다.

여기서, 도 1에는 본 발명의 제1 실시 형태에 따른 부호화 장치 및 방법에서의 개념도를 나타내서 설명한다.

도 1에 나타낸 바와 같이, 이 화상 처리 장치(1)는 제1 부호화부(2), 제2 부호화부(3), 백 서치부(3)를 구비하고, 또한 백 서치부(3)는 예측 모드 검출부(5), 양자화 행렬(Qmatrix) 검출부(6), 양자화 파라미터(QP) 검출부(7)를 갖고 있다.

이와 같은 구성에서, 제1 부호화부(2)는, 입력된 화상 정보에 대하여 제1 부호화를 행한다. 백 서치부(3)는, 각종의 양자화 행렬 Qmatrix와 양자화 파라미터 QP의 조합에 의한 리스케일링 팩터(RF; Rescaling factor)로 제1 부호화의 과정에서 얻어지는 정수 정밀도 DCT 계수를 제산했을 때에 얻어지는 잉여 r의 크기를 평가함으로써, 제1 부호화에서 사용된 양자화 행렬 Qmatrix, 양자화 파라미터 QP 및 화면내 예측 모드를 검출한다. 그리고, 제2 부호화부(4)는, 제1 부호화에서 백 서치부(3)에 의해 검출된 양자화 행렬 Qmatrix, 양자화 파라미터 QP 및 화면내 예측 모드를 이용해서 제2 부호화를 행한다.

즉, 보다 상세하게는, 백 서치부(3)에서는, Qmatrix 검출부(6)는, 제1 부호화의 과정에서 얻어지는 정수 정밀도 DCT 계수에 기초하여, 제1 부호화에서, 상기 정수 정밀도 DCT 계수를 각종의 양자화 행렬 Qmatrix와 양자화 파라미터 QP의 조합에 의한 리스케일링 팩터 RF로 제산한 잉여를 이용하여, 슬라이스마다 양자화 행렬 Qmatrix를 검출한다.

QP 검출부(7)는, 제1 부호화의 과정에서 얻어지는 정수 정밀도 DCT 계수에 기초하여, 정수 정밀도 DCT 계수를 각종의 양자화 행렬 Qmatrix와 양자화 파라미터 QP의 조합에 의한 리스케일링 팩터 RF로 제산한 잉여를 이용하여, 양자화 파라미터 QP를 매크로 블록마다 검출한다.

또한, 예측 모드 검출부(5)는, 전회의 부호화시에 사용된 화면내 예측 모드를 검출한다. 이 검출된 예측 모드는 제2 부호화부(4)에서 채용된다.

우선, 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1)에 대한 이해를 깊게 하기 위해, 본 실시 형태가 착안한 특징적인 성질·원리에 대해서 상세하게 설명한다.

도 1에 나타낸 바와 같이, AVC 규격에서는, Intra 화상에 대하여, 9개의 화면내 예측 모드로부터 선택된 1개의 화면내 예측 모드를 이용해서 입력 화상으로부터 차분 화상 데이터를 생성한다. 또한 이하, Intra 화상에 대한 AVC 규격을 AVC Intra라고 칭한다. 그 다음에 AVC Intra에서는, 차분 화상 데이터에 대하여 DCT 처리를 실행하여, 얻어진 DCT 계수를 양자화 행렬 Qmatrix와 양자화 파라미터 QP의 조합에 의한 리스케일링 팩터 RF로 제산함으로써 양자화해서 양자화 레벨(양자화 계수)로 이루어지는 양자화 데이터를 생성한다. 이 양자화 데이터는, 또한 소정의 부호화 방식에 의해 부호화되어, 부호화 스트림이 된다. 이 부호화 스트림은, 부호화에 사용된 화면내 예측 모드, 양자화 행렬 Qmatrix 및 양자화 파라미터 QP가 설정되게 된다.

AVC 규격에서는, 복호화시, 설정된 화면내 예측 모드, 양자화 행렬 Qmatrix 및 양자화 파라미터 QP를 이용해서 양자화 데이터를 복호하지만, 부호화시에 라운딩한 잉여 부분을 복원할 수는 없다. 따라서, AVC 규격에서는, 이 양자화의 잉여분만큼 화질을 저하시키게 된다. 이하, 이 화질의 저하를 양자화 왜곡이라 칭한다.

예를 들어 업무용의 방송 장치 등에서는, 영상 데이터에 대하여, 복수회에 걸쳐서 부호화 및 복호화를 반복하는 경우가 상정된다. 이때, 매회 상이한 화면내 예측 모드, 양자화 행렬 Qmatrix 및 양자화 파라미터 QP를 이용하면, 부호화할 때마다 양자화 왜곡이 발생하게 되고, 부호화할 때마다 영상 데이터의 화질을 저하시키게 된다.

AVC Intra에서는, 한번 부호화, 복호화를 통한 화상을 다시 부호화할 때에, 전회의 부호화에서 사용된 양자화 행렬 Qmatrix, 양자화 파라미터 QP 및 화면내 예측 모드를 사용하면, 전회의 부호화에서 양자화 왜곡이 이미 제거되어 있으므로, 그 이상 양자화 왜곡이 발생하기 어렵다고 하는 성질이 있다.

이 때문에 본 발명에서는, 전회의 부호화에서 사용된 양자화 행렬 Qmatrix, 양자화 파라미터 QP 또는 화면내 예측 모드를 검출하고, 이들을 이용해서 부호화를 실행함으로써, 영상 데이터의 화질 저하를 억제한다.

이렇게 전회의 부호화에서 사용된 양자화 행렬 Qmatrix, 양자화 파라미터 QP 또는 화면내 예측 모드를 높은 확률로 검출하는 것을, 이하의 설명에서는 「백 서치」라고 칭한다.

여기에서 전술한 특허 문헌 1에 기재되어 있는 바와 같이, 백 서치는, MPEG(Moving Picture experts group)-2에서, DCT 계수를 각 양자화 스케일 Q에 의해 제산하는 동시에, 잉여 r의 가장 작은 양자화 스케일 Q를 전회 부호화했을 때에 사용한 양자화 스케일 Q로서 검출할 수 있다.

그러나 AVC 규격에서는, MPEG-2와는 이하의 점에서 상이하여, MPEG-2의 수법을 그대로 적용하면, 검출의 정밀도가 저하하게 된다.

·정수 정밀도 연산의 도입에 의해 부호화와 복호화에서의 DCT 계수를 등가로 취급할 수 없다.

·복호시의 연산 오차가 커서, 검출 정밀도에 크게 영향을 미친다.

·잉여 함수가 양자화 파라미터 QP에 관해서 주기를 가지기 때문에, 동일한 값의 최소값이 복수 존재한다.

따라서, 본 발명은, AVC에 의한 부호화를 채용하고, 전회의 부호화에서 사용된 양자화 행렬 Qmatrix나 양자화 파라미터 QP 등을 소정 단위로 높은 확률로 검출하고, 그들을 재이용함으로써 더빙시의 양자화에 의한 라운딩 오차를 저감하여, 더빙 특성을 향상하는 것을 과제로 한다.

(1-2) 백 서치의 원리

이하, 상기 백 서치의 구체적 방법에 대해서 언급한다.

AVC Intra에서는, 복호화시에, 양자화 레벨 Z에 양자화 행렬 Qmatrix와 양자화 파라미터 QP의 함수인 리스케일링 팩터 RF가 승산되어 정수 정밀도 DCT 계수 W를 6bit 왼쪽 시프트한 것이 복호된다.

V: AVC의 규격에서 정해진 Multiplication factor

이와 같이, 복호의 과정에서, 양자화 레벨 Z에 RF를 승산해서 정수 정밀도 DCT 계수 W를 얻고 있으므로, 다음 부호화에서 정수 정밀도 DCT 계수 W는 RF로 나눠 떨어진다. 즉, 다음 부호화시에 시프트된 정수 정밀도 DCT 계수(W<<6)를 동일한 RF로 나눈 경우에, 그 잉여 r은 0으로 된다고 생각된다. 이러한 성질에 착안하여, 각종의 양자화 행렬 Qmatrix와 양자화 파라미터 QP의 조합에 의한 리스케일링 팩터 RF를 이용해서 시프트된 정수 정밀도 DCT 계수(W<<6)를 나눈 잉여 r의 크기를 평가함으로써, 전회의 부호화에서 사용된 양자화 행렬 Qmatrix와 양자화 파라미터 QP를 검출할 수 있다.

이상에 부가하여, 제1 실시 형태에 따른 화상 처리 장치(1)에서는, 검출 정 밀도를 향상시키기 위해서, MPEG에서는 고려되지 않았던, AVC Intra 특유의 성질에 기인하는 이하의 (i) 내지 (vi)의 점을 고려한다. 이하, 각 점에 대해서 상세하게 서술한다.

(i) 부호화와 복호화에서의 RF의 변환

AVC Intra에서는, DCT부를 정수 정밀도부와 비정수 정밀도부로 나누고, 정수 정밀도부를 정수 정밀도 DCT라고 칭하고, 비정수 정밀도부와 양자화를 합쳐서 양자화라고 칭하고 있다. AVC Intra에 대해서는, 부호화와 복호화에서 정수 정밀도부와 비정수 정밀도부의 분할 위치가 상이하기 때문에, 부호화에 이용하는 정수 정밀도 DCT(이하, 간단히 「DCT」라고 표기한다)와 복호에 이용하는 정수 정밀도 역 DCT(이하, 간단히 「역 DCT」라고 표기한다)는 역변환은 아니다. 고로, 부호화에서 사용되는 DCT 계수 W와 복호에서 사용되는 역 DCT 계수 W(이하, 「W'」라고 표기한다)는 동등해지지 않는다.

즉, DCT 계수 W와 DCT 계수 W'는 다음 수학식으로 나타내어진다.

이 DCT, 역 DCT의 수학식에 의해, DCT 계수 W와 DCT 계수 W' 사이에는 다음 수학식이 성립한다.

이렇게 DCT 계수 W'의 위치 (i, j)에 의해 16, 20, 25를 곱한 것이 W가 되지만, 이 변환 행렬을 「D」로 해서, 수학식 6에 정의한다. 즉, 백 서치 처리에서의 부호화에서 이용하는 RF는 복호화에서 이용하는 RF(이하, 「RFr」이라고 표기한다) 에, DCT 계수 W와 DCT 계수 W'의 변환 행렬 D를 곱한 것으로 한다.

즉 AVC Intra에서는, 도 2에 나타낸 바와 같이, 차분 화상 데이터에 대하여 부호화 및 복호화에 의해 DCT 처리를 실시한 후에 역 DCT 처리를 행하면, 복호 차분 화상 데이터의 값이 변환 행렬 D만큼 스케일 업되게 된다.

또한 AVC Intra에서는, 양자화시에, 다음 수학식으로 나타내어지는 양자화 오차 ER이 발생한다. 또한 수학식 7을 실제의 수치로서 나타내면, 수학식 8과 같이 나타낼 수 있다. 즉 AVC Intra에서는, DCT 계수에 대하여 부호화 및 복호화에 의해 양자화 처리 및 역양자화 처리를 행하면, 역 DCT 계수의 요소의 값이 양자화 오차 ER만큼 스케일 업되게 된다.

이 때문에 AVC Intra에서는, 복호화시, 복호 차분 화상 데이터를 「64」로 제산함으로써, 복호 차분 화상 데이터의 값을 차분 화상 데이터와 동일 레벨로 하 도록 되어 있다.

즉 AVC Intra에서는, 차분 화상 데이터에 대하여 DCT 처리를 실시한 시점에서, 변환 행렬 D가 승산되어 스케일 업되어 있는 것으로 간주할 수 있다. 이에 따라, 잉여 r의 값도 스케일 업되게 되지만, 수학식 8에 나타낸 바와 같이, 그 값(즉 계수 요소)은 행렬의 위치에 의해 상이하다.

따라서 가령 DCT 계수를 복호 리스케일링 팩터 RF에 의해 제산하면, DCT 계수의 위치에 따라서 잉여 r이 커지거나, 작아지거나 하게 됨으로써, 잉여 r을 단순하게 비교할 수 없게 된다.

따라서 화상 처리 장치(1)에서는, 다음 수학식과 같이 복호시의 리스케일링 팩터(이하, 이것을 복호 리스케일링 팩터 RFr이라 칭한다)에 대하여 변환 행렬 D를 승산함으로써, 백 서치 처리시에 제산하는 값으로서 사용되는 리스케일링 팩터 RF를 산출한다.

즉, 한번, 부호화를 통한 입력 화상(차분 화상 데이터)의 DCT 계수 W는, 수학식 5에 의한 DCT 계수 W와 DCT 계수 W'의 변환 행렬 D를 고려하면, {V Qmatrix D 2^floor(QP/6)}로 나눠 떨어지고, 잉여 r이 0으로 되는 것으로 생각된다.

이에 의해 화상 처리 장치(1)에서는, 잉여 r로부터 DCT 처리에 따른 스케일 업의 영향을 배제할 수 있고, 잉여 r을 동일 스케일로 비교할 수 있도록 이루어져 있다.

이렇게 화상 처리 장치(1)에서는, 복호 리스케일링 팩터 RFr에 대하여 변환 행렬 D의 값을 승산해서 리스케일링 팩터 RF를 산출한다. 이에 의해 화상 처리 장치(1)에서는, 리스케일링 팩터 RF에 의해 차분 화상 데이터를 제산함으로써, DCT 처리에 의해 일률적으로 스케일 업되는 분도 동시에 제산할 수 있기 때문에, 스케일 업에 의한 잉여 r의 변동을 저감하고, 백 서치의 검출의 정밀도를 향상시킬 수 있도록 이루어져 있다.

(ii) 복호시의 오차

AVC Intra에서는, 주변 화소로부터의 예측 화상과의 차분 절대값 합(SAD: Sum of Absolute Difference, 즉 차분 화상 데이터)을 부호화한다. 복호시에 양자화 레벨 Z에 복호 리스케일링 팩터 RFr을 곱하지만, 복호시의 연산 라운딩을 방지하기 위해서, 복호 리스케일링 팩터 RFr은 규격상 미리 6bit 자릿수 올림되어 있다(복호 시에 DCT 계수 W'를 6bit 왼쪽 시프트한 것이 얻어지는 것은 그 때문이다).

따라서, 역양자화, 역 DCT 처리는, 6bit 자릿수 올림된 상태에서 연산되고, 예측 화상을 6bit 자릿수 올림한 것과 서로 더하게 한 후에, 그 합을 6bit 자릿수 내림해서 베이스 밴드 화상을 얻는다. 이 6bit의 자릿수 내림에 의해, 하위 6bit에 들어 있었던 데이터가 사사 오입되기 때문에, 연산 오차 E가 발생하고, 다음번의 부호화에서 발생한 시프트된 DCT 계수(W<<6)는 리스케일링 팩터 RF로 나눠떨어지지 않은 경우가 있다.

따라서 본 발명은, 잉여 r이 0이 되는 양자화 파라미터 QP가 아니라, 잉여 r이 최소값이 되는 양자화 파라미터 QP를 검출한다.

여기에서 이 복호시의 연산 오차 E는 마이너스의 값인 경우도 있기 때문에, 실제의 잉여 r의 값과, 잉여 r을 리스케일링 팩터 RF로부터 뺀 값을 비교하여, 작은 쪽을 평가값 Y로 한다.

예로서, RF=3600, DCT 계수 W=7200인 경우를 생각한다.

연산 오차 E가 없는 경우의 잉여 r은, 다음 수학식과 같아진다

실제로는 연산 오차 E는 어림할 수 없지만, E=-2로서 단순하게 잉여 r을 평가값 Y로 하면, 다음 수학식과 같아져, 최소값으로서 검출되기 어려워진다.

여기서, 상기와 같이 실제의 잉여 r의 값과, 잉여 r을 리스케일링 팩터 RF로부터 뺀 값을 비교하여, 작은 쪽을 평가값 Y로 하면, 다음 수학식이 얻어지고, 평가값 Y는 연산 오차 E의 절대값이 된다.

따라서 본 발명의 화상 처리 장치(1)에서는, 수학식 12에 따라서 평가값 Y를 산출함과 함께, 평가값 Y가 최소값이 되는 양자화 파라미터 QP를 검출하도록 했다. 이에 의해 화상 처리 장치(1)는, 적절한 평가값 Y를 이용해서 적절하게 양자화 파라미터 QP를 검출할 수 있다.

(iii) 잉여 곡선의 성질과 양자화 파라미터 QP의 주기에 대해서

한번도 부호화되어 있지 않은 화상을 입력 화상으로서, 6bit 시프트된 DCT 계수(W<<6)를 각종의 양자화 파라미터 QP에 의한 리스케일링 팩터 RF로 나누어 잉여 r을 산출하고, 횡축에 양자화 파라미터 QP, 종축에 잉여의 총합(Σr)을 취하면, 도 3에 나타낸 바와 같은 오른쪽 오름의 곡선이 된다.

마찬가지로, 부호화와 복호화가 행하여진 입력 화상에 대해서 6bit 시프트된 DCT 계수(W<<6)를 각종의 양자화 파라미터 QP에 의한 리스케일링 팩터 RF로 나누어 잉여 r을 산출하고, 횡축에 양자화 파라미터, 종축에 잉여의 총합(Σr)을 취하면, 도 4에 나타나는 바와 같다. 이 경우, 잉여 r의 총합(Σr)의 극소값은 발생하지만, 역시 오른쪽 오름의 경향이 있어, 부호화와 복호화를 이미 행하고 있는지의 여부에 의하지 않고 양자화 파라미터 QP가 작을수록 잉여 r의 총합(Σr)도 작아지는 것을 안다.

따라서, 각종의 양자화 파라미터 QP에 의한 잉여 r의 총합(Σr)의 대소 관계를 단순하게 평가하면, 전회의 부호화에서 사용된 양자화 파라미터 QP보다도 작은 양자화 파라미터 QP가 최소값으로서 오검출되는 경우가 있다. 이 문제를 해결하기 위해서, 잉여 r의 값을 또한 리스케일링 팩터 RF로 규격화한 것을 평가값 Y로서 이용한다.

이때의 평가값 Y의 총합(ΣY)과 양자화 파라미터 QP와의 관계를 도 5에 나타내고 있다. 도 5로부터, 전회의 부호화에서 사용된 양자화 파라미터 QP에 대한 평가값 Y의 총합(ΣY)이, 6n 어긋난 양자화 파라미터 QP에 대한 평가값 Y의 총합(ΣY)보다도 작아져 있는 것을 안다.

또한, 도 3, 도 4에 나타낸 바와 같이, (│W│<<7)≤RF가 되는 양자화 파라미터 QP로 평가값 Y의 값(잉여 r의 절대값)이 편평해지는 영역이 발생하는 경향이 있고, 이 영역은 리스케일링 팩터 RF에 의한 규격화를 행하면 단조 감소해서(도 5 참조), 오검출의 원인이 된다.

이때, 동일한 리스케일링 팩터 RF로 나눈 경우라도 통계적으로는 DCT 계수 W가 클수록 잉여 r도 커지기 때문에, 잉여 r을 DCT 계수의 절대값 │W│로 스케일링한 후, 리스케일링 팩터 RF로 규격화한다. 이에 의해, 큰 잉여를 채용할 수 있는 DCT 계수 W가 작은 잉여를 가진 경우는 우연이 아니라고 생각하여, 가중치 부여할 수 있다(통상, 저주파 성분일수록 큰 DCT 계수 W를 갖기 때문에, 저주파 성분이 가중치 부여된다).

도 6에, 잉여 r을 DCT 계수의 절대값 │W│로 스케일링한 후, 리스케일링 팩터 RF로 규격화한 평가값 Y의 총합(ΣY)과, 양자화 파라미터 QP와의 관계를 나타내고 있다. 도면으로부터, 전회의 부호화에서 사용된 양자화 파라미터 QP에서의 평가값 Y의 총합(ΣY)과 6n 어긋난 양자화 파라미터 QP에 대한 평가값 Y의 총합(ΣY)은 도 5와 비교해서 거의 변화하고 있지 않은 것을 안다.

또한 화상 처리 장치(1)에서는, 평가값 Y의 총합(ΣY)이 경사를 갖는(│W │<<7)>RF가 되는 영역에서만 리스케일링 팩터 RF에 의한 규격화를 행하고, 그 이외의 영역에서는 DCT 계수 절대값 │W│의 값을 평가값 Y로서 이용할 수도 있다.

이에 의해, 화상 처리 장치(1)에서는, 도 6에 나타낸 바와 같이, 리스케일링 팩터 RF에 의한 규격화에 기인하여, (│W│<<7)≤RF가 되는 영역에서 평가값 Y의 총합(ΣY)이 최소가 되고, 잘못된 양자화 파라미터 QP가 전번에 사용된 양자화 파라미터 QP로서 검출되게 되는 것을 확실하게 방지할 수 있도록 이루어져 있다.

(iv) 양자화 파라미터 QP의 주기에 대해서

AVC Intra에서는, 규격상, 양자화 파라미터 QP가 ±6 변화하면, 리스케일링 팩터 RF가 ±2배가 되는 성질을 갖고 있다. 따라서, 어떤 양자화 파라미터 QP에서 잉여 r의 총합(Σr)이 극소값을 가진 경우, QP±6n(n=1, 2…)에서도 잉여 r의 총합(Σr)이 극소값을 갖는 경우가 있다(도 4 참조).

이 때문에 단순하게 상기의 평가값 Y를 평가하면, 6n 어긋난 양자화 파라미터 QP가 검출되는 경우가 있다. 따라서 화상 처리 장치(1)에서는, 잉여 r의 총합(Σr)이 최소로 되는 양자화 파라미터 QP보다 6n 큰 양자화 파라미터 QP에 극소값이 있는 경우는 그 양자화 파라미터 QP를 채용한다.

구체적으로, 화상 처리 장치(1)는, 잉여 r의 총합(Σr)이 작은 쪽부터 순서대로 5개 정도의 양자화 파라미터 QP의 값을 배열해서 저장해 두고, 잉여 r의 총합(Σr)이 최소로 되는 QP와 2번째로 잉여 r의 총합(Σr)이 작은 QP를 비교해서 그 차가 6n이면, QP가 큰 쪽을 채용한다. 또한, 화상 처리 장치(1)는, 채용한 양자화 파라미터 QP와 3번째로 잉여 r의 총합(Σr)이 작은 양자화 파라미터 QP를 비교하 여, 양자의 차가 6n이면, 또한 큰 쪽의 양자화 파라미터 QP를 채용하고, 채용된 양자화 파라미터 QP의 교체를 행한다.

이렇게 화상 처리 장치(1)는, 잉여 r의 총합(Σr)의 극소값을 복수 검출한 경우에는, 큰 값을 갖는 양자화 파라미터 QP를 우선해서 전회의 부호화에 사용된 양자화 파라미터 QP로서 채용한다. 이에 의해 화상 처리 장치(1)는, 6n 어긋난 양자화 파라미터 QP가 전회의 부호화에 사용된 양자화 파라미터 QP로서 오검출되는 것을 억제할 수 있도록 이루어져 있다.

또한 화상 처리 장치(1)는, 해당 검출된 복수의 잉여 r의 총합(Σr)이 6n 주기로 되는지의 여부를 확인해서 우발적으로 존재하는 극소값이 전회의 부호화에 사용된 양자화 파라미터 QP로서 오검출되는 것을 억제할 수 있도록 이루어져 있다.

(v) 연산량의 삭감 방법

본 발명의 화상 처리 장치(1)에서는, 각종의 양자화 파라미터 QP에 관해서 전술한 바와 같이 리스케일링 팩터 RF를 계산하고, 잉여 r로부터 산출되는 평가값 Y를 이용해서 전회의 부호화에서 사용된 양자화 파라미터 QP를 검출한다. 따라서, 채용할 수 있는 양자화 파라미터 QP의 수가 많을수록, 연산, 평가도 처리량이 많아진다. 이 문제를 피하기 위해서, 전회 부호화에 사용된 양자화 파라미터 QP의 대체적인 값이 기지의 경우에는, 그 주변의 양자화 파라미터 QP로만 평가하면 충분한 것으로 하여, 연산량을 삭감하고 있다.

또한 이 양자화 파라미터 QP는, 예를 들어 제3 실시 형태에서의 양자화 계수에 의한 원화 판정 처리에서 산출할 수 있다. 또한 입력 화상 데이터의 액티비티 등으로부터 추측할 수도 있다.

(vi) 그 밖에, 이하의 조건도 고려한다.

화면내 예측 모드가 전회의 부호화일 때와 상이해도, 상기 (iv)의 6n 교체를 행하면, 검출율은 유지할 수 있다. 또한, 양자화 파라미터 QP의 대강의 값이 기지인 경우에도 마찬가지이다. 이것은, 예측 모드를 전회의 부호화시와 상이한 모드로 변했을 때에 발생하는 문제에 착안한 것이지만, 예측 모드가 전회의 부호화시와 상이해도, 이 실시 형태에서는 대응 가능하게 한다.

양자화 행렬 Qmatrix는 미리 몇 개의 패턴이 정의되어 있는 것으로 한다(예를 들어 ID 번호 등으로 식별할 수 있는 것으로 한다).

즉 화상 처리 장치(1)에서는, 양자화 행렬 Qmatrix가 변화함으로써 리스케일링 팩터 RF도 변화하기 때문에, 양자화 파라미터 QP에 부가해서 양자화 행렬 Qmatrix도 검출할 필요가 있다.

화상 처리 장치(1)에서는, 매크로 블록 단위로 양자화 행렬 Qmatrix와 양자화 파라미터 QP의 조합을 바꾸어, 각 양자화 행렬 Qmatrx와 양자화 파라미터 QP마다 리스케일링 팩터 RF를 계산한다. 또한, 앞에서 도 4에서 전술한 바와 같이, 잉여 r의 최소값은, 양자화 파라미터 QP에 관해서 6n의 주기를 갖고 있어, 양자화 파라미터 QP가 6n 어긋나 있어도, 양자화 행렬 Qmatrix마저 검출할 수 있으면 된다. 이 때문에 화상 처리 장치(1)에서는, 전회의 부호화에서 사용된 양자화 파라미터 QP의 대체적인 값을 알고 있으면, 상기 QP의 값을 포함한 연속한 6개의 양자화 파라미터 QP로 평가하면 충분한 것으로 한다.

이상을 고려하여, 본 발명의 화상 처리 장치(1)에서는, 상기 특징적인 시점을 근거로 하여, 우선 전회 사용한 양자화 행렬 Qmatrix를 검출하는 양자화 행렬 검출 처리를 실행한 후, 상기 양자화 행렬 Qmatrix를 이용해서 양자화 파라미터 QP를 검출하는 양자화 파라미터 검출 처리를 실행한다.

(2) 제1 실시 형태

(2-1) 부호화 장치의 구성

이하, 도 7에는 본 발명의 제1 실시 형태에 따른 부호화 장치(10)의 구성을 도시하여 설명한다. 또한 부호화 장치(10)는, 도 1에서의 화상 처리 장치(1)에 대응하는 것이다. 또한 백 서치부(30)는 백 서치부(3)에, 파라미터 인코더(50)는 제2 부호화부(4)에, Qmatrix 검출부(31)는 Qmatrix 검출부(6)에, QP 검출부(32)는 QP 검출부(7)에 각각 대응하는 것이다.

도 7에 나타낸 바와 같이, 부호화 장치(10)는, 1패스(pass)째의 프리인코더(20)와 백 서치부(30), 2패스(pass)째의 파라미터 인코더(50), 부호량 제어부(40), Qmatrix/QP 결정부(41), 화면내 예측 모드 결정부(45)를 구비하고 있다. 보다 상세하게는, 1패스째의 프리인코더(20)는, 또한 offset 부가된 Intra 예측 모드 결정부(21), 정수 정밀도 DCT부(22), 양자화부(23), 엔트로피 계산부(24)로 이루어진다. 백 서치부(30)는, 또한 Qmatrix 검출부(31), QP 검출부(32), 화면내 예측 모드 검출부(33)로 이루어진다. 그리고, 2패스째의 파라미터 인코더(50)는, 화면내 예측 처리부(51), 정수 정밀도 DCT부(52), 양자화부(53), 엔트로피 부호화부(54)로 이루어진다. 또한, 여기서는, 2패스 부호화를 채용하는 것을 상정하고 있지만, 그 이상의 멀티패스(multi-pass) 부호화이어도 기본적인 사고 방식은 동일하다.

여기서, Qmatrix 검출부(31)의 상세한 구성예를 도 8의 (a)에 나타내고 있다. 또한 QP 검출부(32)의 상세한 구성예를 도 8의 (b)에 나타내고 있다.

도 8의 (a)에 나타낸 바와 같이, Qmatrix 검출부(31)는, 잉여 계산부(31a), 평가값 판정부(31b), Qmatrix 판정부(31c)로 이루어진다. 그리고, 도 8의 (b)에 나타낸 바와 같이, QP 검출부(32)는, 잉여 계산부(32a), 평가값 판정부(32b), QP 판정부(32c)로 이루어진다.

이와 같은 구성에서, 입력 화상은 1패스째의 프리인코더(20)에 입력된다.

보다 상세하게는, 입력 화상 데이터는 offset 부가된 Intra 예측 모드 결정부(21)에 입력된다. 이 offset 부가된 Intra 예측 모드 결정부(21)는, 후술하는 오프셋 우선 적용 처리에 의해, 9개의 화면내 예측 모드로부터 최적의 화면내 예측 모드를 결정하는 동시에, 입력 화상이 주변 화소를 이용한 예측 화상으로부터의 차분 화상 데이터 및 차분 절대값 합 SAD를 생성하고, 이들을 정수 정밀도 DCT부(22)에 입력한다.

정수 정밀도 DCT부(22)는, 이산 여현 변환에 의한 직행 변환에 의해 차분 화상 데이터로부터 DCT 계수 W를 생성하고, 양자화부(23) 및 백 서치부(3)에 공급한다.

양자화부(23)에서는 DCT 계수 W가 입력되면, 해당 DCT 계수를 양자화하고, 양자화 데이터를 생성한다. 이 양자화에 의해 양자화부(23)로부터 출력된 양자화 레벨 Z는, 엔트로피 계산부(24)에 보내진다.

엔트로피 계산부(24)는, 입력된 양자화 레벨 Z를 2치화, 산술 부호화해서 부호화 스트림을 생성하고, 부호량 제어부(40)에 공급한다. 부호량 제어부(40)는, 해당 부호화 스트림의 발생 부호량에 기초하여 파라미터 인코더(50)에 대한 부호량 제어를 실행하는 경우의 양자화 행렬 Qmatrix 및 양자화 파라미터 QP를 어림하고, 이것을 Qmatrix/QP 결정부(41)에 송출한다.

한편, 슬라이스 단위로 정수 정밀도 DCT부(22)로부터 백 서치부(30)에 보내진 DCT 계수 W는, Qmatrix 검출부(31)에 입력된다. Qmatrix 검출부(31)는, 잉여 계산부(31a)에 의해 DCT 계수 W를 각종의 양자화 행렬 Qmatrix에 의한 리스케일링 팩터 RF에 의해 제산하고, 평가값 판정부(31b)에 공급한다. 평가값 판정부(31b)는, 잉여 r을 (iii)에서 전술한 사고 방식에 따라서 평가값 Y로 변환하고, Qmatrix 판정부(31c)에 송출한다. Qmatrix 판정부(31c)는, 각종의 양자화 행렬 Qmatrix에 대한 평가값 Y를 비교하고, 평가값 Y가 최소인 양자화 행렬 Qmatrix를 전회 사용된 양자화 행렬 Qmatrix로서 출력한다. 또한, Qmatrix 검출부(31)에 의한 양자화 행렬 검출 처리 수순의 상세에 대해서는 후술한다.

이때 검출된 양자화 행렬 Qmatrix는 QP 검출부(32)에 보내진다. 잉여 계산부(32a)는, DCT 계수 W를 각종의 양자화 파라미터 QP에 의한 리스케일링 팩터 RF에 의해 제산하고, 평가값 판정부(32b)에 공급한다. 평가값 판정부(32b)는, 평가값Qmatrix 검출부(31)에 의해 검출된 양자화 행렬 Qmatrix를 이용하여, 잉여 r을 (ii)에서 전술한 사고 방식에 따라서 평가값 Y로 변환하고, QP 판정부(32c)에 송출 한다. QP 판정부(32c)는, 각종의 양자화 파라미터 QP에 대한 평가값 Y를 비교하고, 평가값 Y가 최소인 양자화 파라미터 QP를 전회 사용된 양자화 파라미터 QP로서 출력한다. 또한, QP 검출부(32)에 의한 양자화 파라미터 검출 처리 수순의 상세에 대해서는 후술한다.

이 검출된 전회의 양자화 파라미터 QP와 양자화 행렬 Qmatrix는, Qmatrix/QP 결정부(41)에 보내진다. Qmatrix/QP 결정부(41)에서는, 양자화 행렬 Qmatrix와 양자화 파라미터 QP에 관해서, 1패스째의 프리인코더(20)에서 어림된 것을 채용할 것인지, 백 서치부(30)로 검출된 것을 사용할지를 결정한다. 통상, 입력 화상 데이터가 한번도 부호화되어 있지 않은 원화상인 경우에는, 전회의 부호화가 없기 때문에 백 서치는 실패하고, 1패스째의 프리인코더(20)에 의한 부호화 처리에 의해 어림된 것을 채용한다. 반대로 입력 화상이 이미 부호화된 경우가 있는 비원화인 경우에는, 양자화 왜곡이 반복해서 타는 것을 피하기 위해서, 백 서치부(30)에 의해 검출된 것을 채용한다.

2패스째의 파라미터 인코더(50)에서는, 전술한 바와 같이 Qmatrix/QP 결정부(41)로 결정된 양자화 행렬 Qmatrix, 양자화 파라미터 QP, offset 부가된 Intra 예측 모드 결정부(21)로 결정된 화면내 예측 모드를 사용하여, 입력 화상을 부호화하고, 부호화 스트림(Stream)으로서 출력한다.

보다 상세하게는, 화면내 예측 처리부(51)에서는, 최적의 화면내 예측 모드로서 offset 부가된 Intra 예측 모드 결정부(21)로 결정된 화면내 예측 모드로 선정하고, 주변 화소의 예측 화상을 이용해서 입력 화상으로부터 차분 화상 데이터를 생성하고, 해당 차분 화상 데이터를 정수 정밀도 DCT부(52)에 입력한다. 정수 정밀도 DCT부(52)에서는, 이산 코사인 변환에 의한 직행 변환에 의해 차분 화상 데이터를 DCT 계수 W로서 출력한다. 양자화부(53)에서는 DCT 계수 W를 입력으로서, Qmatrix/QP 결정부(41)로 결정된 양자화 행렬 Qmatrix, 양자화 파라미터 QP를 이용해서 양자화를 행하고, 양자화 레벨 Z를 엔트로피 부호화부(54)에 송출한다. 엔트로피 부호화부(54)에서는, 입력된 양자화 레벨 Z를 2치화, 산술 부호화해서 부호화 스트림으로서 출력한다.

(2-2) 오프셋 우선 적용 처리

AVC의 인트라(화면내 부호화) 프레임에서는, 더빙에서 전회의 부호화에서 사용된 화면내 예측 모드를 재이용하는 것은 화질 저하를 방지하기 위해서 유효한 수단이다.

양자화 행렬 검출 처리 및 양자화 파라미터 검출 처리에서, 전술한 바와 같이, AVC Intra에서는, 복호시에, 양자화 레벨 Z에 양자화 행렬 Qmatrix와 양자화 파라미터 QP의 함수인 리스케일링 팩터 RF가 승산되어 DCT 계수 W를 6bit 왼쪽 시프트한 것이 복호된다. 화면내 예측 모드가 바뀐 경우에는 DCT 계수의 분포가 바뀌므로, 잉여 r이 0일 확률은 낮아진다.

즉, 도 9에 나타낸 바와 같이, 전술한 양자화 행렬 검출 처리 및 양자화 파라미터 검출 처리는 매크로 블록 MB마다(16×16화소) 단위로 실행된다. 이에 대해 화면 예측은, 예를 들어 4×4화소의 서브 매크로 블록에 의한 인트라 부호화 단위 IA로 실행된다. 즉, 매크로 블록 MB에는 4×4=16의 인트라 부호화 단위 IA가 포함 되게 된다.

부호화 장치(10)에서는, 미리 부호량이 최소로 되는 화면내 예측 모드를 검출하는 동시에, 해당 검출된 화면내 예측 모드에서 전술한 양자화 행렬 검출 처리 및 양자화 파라미터 검출 처리를 실행한다. 이때, 검출된 화면내 예측 모드가 전회 부호화된 화면내 예측 모드라고는 할 수 없지만, 발생 부호량이 최소로 되는 화면내 예측 모드를 이용하고 있기 때문에, 16개의 인트라 부호화 단위 IA 중, 다수는 전회 부호화된 화면내 예측 모드인 것이 상정된다.

이 경우, 부호화 장치(10)는, 전술한 바와 같이 매크로 블록마다 잉여 r의 총합(Σr)을 이용해서 극소값을 검출한다. 이 때문에 화상 처리 장치(1)는, 16개의 인트라 부호화 단위 IA에서, 전번에 사용한 것과는 상이한 화면내 예측 모드가 혼합되고 있었다고 하여도, 다수의 전회 부호화된 화면내 예측 모드에 기초하여, 양자화 행렬 Qmatrix 및 양자화 파라미터 QP를 적절하게 검출할 수 있다.

이러한 구성에 부가하여, 본 발명의 부호화 장치(10)에서는, AVC Intra에서 부호화를 행할 때에, AVC의 규격에서 정의되어 있는 9개의 화면내(Intra(인트라)) 예측 모드 중, 특정한 화면내 예측 모드를 우선적으로 선택시킨다. 이에 의해 부호화 장치(10)에서는, 더빙시의 화면내 예측 모드 변화를 방지한다. 그 결과, 다시 양자화 왜곡이 발생하는 것을 억제하고, 더빙 특성을 향상시키는 것이다.

즉, 더빙시에 전회의 부호화에서 사용된 화면내 예측 모드가 선택되면, 이미 전회의 양자화로 라운딩되어야 할 데이터가 제거되어 있으므로, 그 이상 양자화 왜곡이 발생하기 어렵다고 하는 성질이 있다. 이러한 성질에 착안하여, 이 실시 형 태에서는, 소정의 화면내 예측 모드가 우선적으로 선택되도록 해서 더빙 특성을 향상시키는 것을 특징으로 한다.

여기서, 본 발명의 이해를 돕기 위해서, 도 10을 참조하여, AVC Intra에서 부호화를 행할 때의 9개의 화면내 예측 모드에 대해서, 그 개략을 설명한다.

도 10의 (a) 내지 (i)는, 9종류의 화면내 예측 모드(모드 번호 0 내지 8)의 예측 방향을 나타내고 있다.

예측 방향은, 이 9가지의 예측 방향(모드 번호 0 내지 8로 이루어지는 화면내 예측 모드) 중에서, 4×4화소의 블록마다 하나의 예측 방향(즉 화면내 예측 모드)을 선택하고, 이 선택한 예측 방향을 이용해서 4×4화소의 블록 단위로 부호화하게 된다. 특히, 모드 번호 2로 이루어지는 화면내 예측 모드에서는, 처리 대상이 되는 4×4의 처리 대상 화소의 왼쪽(수평 방향에 인접)의 4화소와, 위(수직 방향에 인접)의 4화소의 합계 8화소의 평균값(예를 들어 mean(A, B, C, D, I, J, K, L))을 기준으로 하여, 처리 대상 화소의 4×4화소의 모두를 예측하는 것이다.

이하, 이 모드 번호 2로 이루어지는 화면내 예측 모드를, 이하 DC(Direct Current) 예측 모드라고 칭한다. 다른 화면내 예측 모드(모드 번호 0 내지 1, 3 내지 8)에 대해서는, 도면에 나타내는 화살표의 방향에 따라서 예측이 행하여진다.

도 11는, 입력 화상 데이터가 비원화인 경우에 실행되는 처리의 흐름을 나타낸 것이며, 도 7의 부호화 장치(10)에서의 구성의 일부를 추출해서 나타내고 있다.

이 도 11에 나타낸 바와 같이, 부호화 장치(10)는, 화면내 예측 모드 결정 수단으로서의 offset(오프셋)이 부가된 Intra 예측 모드 결정부(21), 이산 여현 변 환 수단으로서의 정수 정밀도 DCT부(22), 양자화 파라미터 계산 수단으로서의 백 서치부(30), 양자화 수단으로서의 양자화부(53), 부호화 수단으로서의 CABAC(Context-based Adaptive Binary Arithmetic Code) 등으로 이루어지는 엔트로피 부호화부(54)에 의해 처리를 실행한다. 또한, 엔트로피 부호화부(54)는, 주위의 상황(콘텍스트)에 따라, 적절하게 부호화를 행하는 2치의 산술 부호화 방식을 채용하는 것이다.

이와 같은 구성에서, 입력 화상 데이터는 offset 부가된 Intra 예측 모드 결정부(21)에 입력되고, offset 부가된 Intra 예측 모드 결정부(21)에서, 9종류의 화면내 예측 모드 중 하나의 화면내 예측 모드가 채용된다. 종래의 정보 부호화 장치로는, 양자화 계수에서의 제로를 증대시켜서 엔트로피 부호화부(54)에서의 발생 부호량을 작게 하기 위해서, 인트라 부호화 단위 IA마다 예측 화상(즉 차분 화상 데이터)에서의 처리 대상 화소의 절대값의 합이 되는 차분 절대값 합 SAD가 가장 작은 것이 채용된다. 본 실시 형태에서는, 후술하는 도 14의 흐름도의 흐름을 따라 처리가 실행된다. 즉 부호화 장치(10)의 offset 부가된 Intra 예측 모드 결정부(21)는, 각 화면내 예측 모드에 대하여 offset의 값을 미리 설정해 두고, 각각의 화면내 예측 모드에 의해 부호화된 차분 화상 데이터에서의 차분 절대값 합 SAD를 산출한다. 그리고 offset 부가된 Intra 예측 모드 결정부(21)는, 차분 절대값 합 SAD에 대하여 화면내 예측 모드에 대응하는 offset을 부가하는 동시에, 오프셋이 부가된, 오프셋 부가된 차분 절대값 합 SADf끼리를 비교하여, 차분 절대값 합 SAD가 최소로 되는 화면내 예측 모드를 실제의 부호화에 사용하는 화면내 예측 모드로 서 채용한다. offset 부가된 Intra 예측 모드 결정부(21)는, 이와 같이 하여 선택된 화면내 예측 모드의 모드 번호 x와, 차분 화상 데이터를 정수 정밀도 DCT부(22)에 공급한다.

정수 정밀도 DCT부(22)에서는, 차분 화상 데이터를 DCT에 의해 직교 좌표 변환하고, DCT 계수 W로서 백 서치부(30)에 송출한다. 백 서치부(30)에서는, 전술한 백 서치 처리에 의해 양자화 파라미터 QP 및 양자화 행렬 Qmatrix를 검출하고, 이들과 DCT 계수 W를 양자화부(53)에 공급한다. 양자화부(53)에서는, 이 DCT 계수 W를 양자화 파라미터 QP 및 양자화 행렬 Qmatrix를 이용해서 양자화하고, 양자화 레벨 Z로서 엔트로피 부호화부(54)에 출력한다.

이렇게 해서, 엔트로피 부호화부(54)에서는, 양자화 레벨 Z를, 2치화, 산술 부호화해서 부호화 스트림으로서 출력하게 된다.

여기서, 특히 offset 부가된 Intra 예측 모드 결정부(21)는, 이하의 특징적인 작용을 발휘한다.

(1) 각각의 화면내 예측 모드 사이에서의 예측 화상으로부터의 차분 절대값 합 SAD의 차가 작고, 부호화시의 양자화 왜곡에 의해 다시 부호화를 실행했을 때에 차분 절대값 합 SAD의 대소 관계가 교체될 가능성이 있는 것을 미리 DC 예측 모드로 고정함으로써, 다시 양자화 왜곡이 발생하는 것을 억제한다.

(2) 예를 들어, 인터레이스의 화상 등, 임의의 방향의 상관이 극단적으로 강하게, DC 예측 모드로 고정하면 예측 화상으로부터의 차분 절대값 합 SAD가 극단적으로 커져, 발생 부호량이 증대하는 경우에는, 그 상관의 큰 방향의 화면내 예측 모드를 선택하고, 발생 부호량의 증대를 억제한다.

(3) 입력 화상의 특성에 의해, 상기 (1), (2)의 임계값을 파라미터 offset의 값에 의해 조절한다. 또한, 파라미터 offset은, 화면내 예측 모드마다 각각의 값을 설정하고, DC 예측→ 종방향 예측→ 횡방향 예측→… 방향 예측과 같이, 단계적으로 우선 순위를 부여해도 좋다.

이 실시 형태에 따른 부호화 장치로는, 이상 (1) 내지 (3)에 의해, 입력 화상의 특성에 의해 유연한 화질, 더빙 특성의 제어를 실현한다.

보다 구체적으로는, AVC Intra에서는, 전술한 바와 같은 9개의 화면내 예측 모드 중, 임의의 단일의 화면내 예측 모드만을 허가한 경우에, 주변 화소의 평균값으로부터 예측 화상을 얻는 DC 예측 모드(즉, 도 10의 (c)의 화면내 예측 모드 번호 2)가 SNR의 값뿐만 아니라, 시각적으로도 우수하다. 이러한 점에 착안하여, 이 실시 형태에 따른 부호화 장치(10)에서는 상기 DC 예측 모드를 우선적으로 선택시킨다. 실제로, 부호화 장치(10)에서는, 9개의 화면내 예측 모드 중, 원래 선택되어야 할 가장 차분 절대값 합 SAD가 작은 화면내 예측 모드와 DC 예측 모드와의 사이에서 예측 화상으로부터의 차분 절대값 합 SAD를 비교하여, 그 차가 offset 미만이라면 DC 예측 모드를 채용한다.

구체적으로, 입력 화상 데이터가 입력되면, offset 부가된 Intra 예측 모드 결정부(21)는, 화면내 예측 모드마다 offset[n]의 값을 설정한다. offset[n]의 값은, 화면내 예측 모드마다 미리 정해져 있다. offset 부가된 Intra 예측 모드 결정부(21)는, 도시하지 않은 ROM(Read Only Memory) 등으로부터 offset[n]을 판독함 으로써, offset[n]의 값을 설정한다.

이 offset[n]의 값은, 부호화에 의한 화질의 저하의 정도에 따라서 결정되어 있고, 해당 화질의 저하가 작은 화면내 예측 모드일수록 작아지도록 설정되어 있다. 즉 offset[n]의 값은, 가장 화질의 저하가 작은 DC 예측 모드에 대한 오프셋을 「0」(오프셋을 부가하지 않는다)으로 설정할 수 있다. 또한 offset[nl의 값은, 화질의 저하 정도가 큰 화면내 예측 모드에 대하여 크고, 화질의 저하 정도가 작은 화면내 예측 모드에 대하여 작아지도록 설정된다.

그 다음에 offset 부가된 Intra 예측 모드 결정부(21)는, 각 화면내 예측 모드마다 입력 화상 데이터로부터 차분 화상 데이터를 생성하는 동시에, 차분 절대값 합 SAD를 산출한다. offset 부가된 Intra 예측 모드 결정부(21)는, 해당 차분 절대값 합 SAD에 대하여 화면내 예측 모드에 대응하는 offset[n]을 부가하고, 오프셋이 부가된 차분 절대값 합 SADf를 산출한다. 또한 DC 예측 모드에 대해서는, 차분 절대값 합 SAD=오프셋이 부가된 차분 절대값 합 SADf로 한다.

offset 부가된 Intra 예측 모드 결정부(21)는, 오프셋이 부가된 차분 절대값 합 SADf끼리를 비교하여, 오프셋이 부가된 차분 절대값 합 SADf가 최소로 되는 화면내 예측 모드를 부호화에 사용하는 화면내 예측 모드로서 선택한다.

그리고 offset 부가된 Intra 예측 모드 결정부(21)는, 선택된 화면내 예측 모드의 모드 번호 x와, 차분 화상 데이터를 정수 정밀도 DCT 처리부(22)에 공급하도록 이루어져 있다.

최후에, offset의 값은, 일반적으로 이하와 같은 결과를 부여한다.

(a) offset의 값이 작은 경우

이 경우에는, 가장 차분 절대값 합 SAD가 작은 화면내 예측 모드가 선택되기 쉬워지기 때문에, 1회째의 부호화에서 얻어지는 화상의 화질은 좋아지는 경향이 있지만, DC 예측 모드로 고정하는 효과가 약하므로, 더빙에 의한 화질 열화는 그다지 개선되지 않는다.

(b) offset의 값이 큰 경우

이 경우에는, DC 예측 모드로 고정하는 효과가 강하기 때문에, 더빙에 의한 화질 열화는 억제되지만, 차분 절대값 합 SAD가 최소의 화면내 예측 모드가 선택되기 어려워지기 때문에, 1회째의 부호화에서 얻어지는 화상의 화질은 나빠지는 경향이 있다. 더빙을 반복하면 차분 절대값 합 SAD가 가장 작은 화면내 예측 모드를 채용하는 통상의 더빙을 반복하는 경우보다 SNR, 시각 특성이 향상된다.

이들 (a), (b)의 효과를 고려하면, 텔레비전 방송국 등, 미리 복수회의 더빙을 해서 이용하는 것이 예상되는 화상에 대해서는 offset을 크게(32 내지 128 정도) 설정하는 것이 바람직하다. 반대로 1회째의 부호화에서 얻어지는 화상에서의 이용이나, 그다지 더빙을 하지 않는 것이 예상되는 화상에 대해서는 offset을 조금 작게(예를 들어, 32 미만) 설정함으로써, 부호화 화상의 최적의 이용 단계(더빙 횟수)에서 최선의 SNR 특성, 시각 특성을 얻을 수 있는 것으로 생각된다.

이상 설명한 바와 같이, 본 발명의 일 실시 형태에 따른 부호화 장치(10)에 의하면 이하와 같은 효과가 발휘된다. 즉, offset의 값에 따라서 DC 예측 모드를 우선적으로 선택시킴으로써, 더빙시의 화면내 예측 모드 변화를 억제할 수 있다. 또한, offset의 값에 의해, 화상의 사용 목적에 맞춘 유연한 더빙 특성 제어를 할 수 있다. 그리고, 더빙시에 전회의 부호화와 동일한 화면내 예측 모드가 선택되기 쉽게 함으로써, 반복 양자화 왜곡이 타는 것을 회피하여, 더빙시의 화질 열화를 억제할 수 있다.

(2-3) 처리 수순

(2-3-1) 양자화 행렬 검출 처리

이하, 양자화 행렬 검출 처리 수순 RT1을 도시하는 도 12의 흐름도를 참조하여, 본 발명의 제1 실시 형태에 따른 부호화 장치(10)의 Qmatrix 검출부(31)에 의한 슬라이스 단위에 의한 Qmatrix 검출의 처리에 대해서 더 설명한다. 이것은, 동 실시 형태에 따른 화상 정보 부호화 방법에도 상당한다.

또한 이 도 12에서, 부호화 장치(10)는, 각 DCT 계수의 절대값 │W│가 규격화 임계값 이하(즉 │W│<<7이 RF 이하)인 경우에만, 잉여 r을 리스케일링 팩터 RF에 의해 규격화함으로써 평가값 Y를 산출하고, DCT 계수의 절대값 │W│가 규격화 임계값보다 큰 경우에는, 잉여 r을 평가값 Y로 한다. 그리고 부호화 장치(10)는, 평가값 Y가 최소로 되는 리스케일링 팩터 RF에 기초하여 양자화 행렬 Qmatrix를 검출하도록 이루어져 있다.

Qmatrix 검출부(31)는, 정수 정밀도 DCT부(22)로 구해진 DCT 계수 W의 절대값 │W│를 입력으로서, 전회의 부호화에서 사용된 가능성이 있는 양자화 행렬 Qmatrix와 양자화 파라미터 QP 중에서 초기값을 결정한다(스텝 S1). 계속해서 Qmatrix 검출부(31)는, 매크로 블록 단위로 양자화 행렬 Qmatrix와 양자화 파라미 터 QP의 조합을 바꾸어, 각 양자화 행렬 Qmatrix와 양자화 파라미터 QP마다 리스케일링 팩터 RF를 계산한다. 이때 잉여 계산부(31a)는, 슬라이스 내의 각 샘플에 대하여 │W│<<6을 상기 리스케일링 팩터 RF로 나눈 잉여 r을 계산한다(스텝 S2). 또한, 앞에서 도 4에서 전술한 바와 같이, 잉여 r의 최소값은, 양자화 파라미터 QP에 관해서 6n의 주기를 갖고 있고, 양자화 파라미터 QP가 6n 어긋나 있어도, 이 도 10의 처리에서는 양자화 행렬 Qmatrix마저 검출할 수 있으면 좋기 때문에, 전회의 부호화에서 사용된 양자화 파라미터 QP의 대체적인 값을 알고 있으면, 상기 QP의 값을 포함한 연속한 6개의 양자화 파라미터 QP로 평가하면 충분한 것으로 한다.

계속해서, 평가값 판정부(31b)는, │W│<<7>RF인지의 여부를 판정하고, 상기 관계가 성립하는 경우에는, 잉여 r을 리스케일링 팩터 RF로 규격화(스케일링)한 것을 평가값 Y로 한다(스텝 S4). 한편 평가값 판정부(31b)는, 상기 관계가 성립하지 않은 경우에는, │W│<<6을 평가값 Y로 한다(스텝 S5). 이와 같이, 평가값 판정부(31b)는, 매크로 블록내의 256(=16x16) 샘플에 관해서, 시프트된 DCT 계수(W<<6)를 리스케일링 팩터 RF로 나눈 잉여 r에 상기 (iii)의 규격화와 보정을 실시한 것을 평가값 Y로 하여, 상기 평가값 Y의 총합을 양자화 행렬 Qmatrix와 양자화 파라미터 QP마다 계산한다(스텝 S6 내지 8).

이렇게 해서, 가능성이 있는 모든 양자화 행렬 Qmatrix, 6개의 양자화 파라미터 QP에 대해서 평가값 Y가 계산되면(스텝 S7을 "예"로 분기), Qmatrix 판정부(31c)는, 슬라이스 단위로 양자화 행렬 Qmatrix와 양자화 파라미터 QP마다의 평가값 Y의 총합을 비교하여(스텝 S9), 총합(ΣY)이 최소로 되는 양자화 행렬 Qmatrix를 검출하고, 전회 사용된 양자화 행렬 Qmatrix인 것으로 해서(스텝 S10), 상기 양자화 행렬 Qmatrix의 ID 번호를 출력한다.

또한 부호화 장치(10)는, 예를 들어 스텝 S2의 전단에서 잉여 r에 대하여 DCT 계수의 절대값 │W│를 승산해서 가중치 부여한 승산값을 산출하고, 해당 승산값을 리스케일링 팩터 RF에 의해 규격화하여, 평가값 Y로 해도 좋다. 이 경우, 부호화 장치(10)는, 각 DCT 계수의 절대값 │W│가 큰 영역이어도, 해당 영역의 평가값 Y를 크게 해서 오검출을 방지할 수 있기 때문에, 가중치 부여에 의해 해당 규격화한 값을 일률적으로 평가값 Y로 할 수 있다.

또한 부호화 장치(10)는, 예를 들어 잉여 r을 그대로 평가값 Y로서 극소값을 검출하고, 복수의 극소값이 검출된 경우에는, 양자화 파라미터 QP에서의 극소값의 주기가 6n인 것을 확인한 뒤에, 큰 값으로 이루어지는 양자화 파라미터 QP를 전회의 부호화에 사용된 양자화 파라미터 QP로서 검출하는 것도 가능하다.

(2-3-2) 양자화 파라미터 검출 처리

다음에, 양자화 파라미터 검출 처리 수순 RT2를 나타내는 도 13의 흐름도를 참조하여, 본 발명의 제1 실시 형태에 따른 부호화 장치(10)의 QP 검출부(32)에 의한 매크로 블럭 단위에 의한 양자화 파라미터 QP 검출의 처리에 대해서 더 설명한다. 이것은, 동 실시 형태에 따른 화상 정보 부호화 방법에도 상당한다.

또한 이 도 13에서, 부호화 장치(10)는, 각 DCT 계수의 절대값 │W│가 규격화 임계값 이하(즉 │W│<<7이 RF 이하)인 경우에만, 잉여 r을 리스케일링 팩터 RF에 의해 규격화함으로써 평가값 Y를 산출하고, DCT 계수의 절대값 │W│가 규격화 임계값보다 큰 경우에는, 잉여 r을 평가값 Y로 한다. 그리고 부호화 장치(10)는, 평가값 Y가 최소로 되는 리스케일링 팩터 RF에 기초하여 양자화 파라미터 QP를 검출하도록 이루어져 있다.

QP 검출부(32)는, 정수 정밀도 DCT부(22)로 구해진 DCT 계수 W의 절대값 │W│를 입력으로서, 검출된 양자화 행렬 Qmatrix를 이용해서, 매크로 블록 단위로 각종의 양자화 파라미터 QP마다 리스케일링 팩터 RF를 계산한다. QP 검출부(32)는, 이 시점에서 전회 사용된 양자화 파라미터 QP의 대체적인 값을 알고 있는 경우에는, 그 주변의 QP만을 검출 대상으로 함으로써 연산량을 감할 수 있다. QP 검출부(32)는, 전회의 부호화에서 사용된 가능성이 있는 양자화 파라미터 QP 중에서 초기값을 구하면(스텝 S21), 매크로 블록내의 모든 DCT 계수의 절대값 │W│가 0인지의 여부를 판단한다(스텝 S22). 그리고 QP 검출부(32)는, 모든 DCT 계수의 절대값 │W│가 0인 경우에는 양자화 파라미터 QP는 검출 불가능하게 한다(스텝 S23). 즉 QP 검출부(32)는, 매크로 블록내의 모든 DCT 계수의 절대값 │W│가 0인 경우는 어느 양자화 파라미터 QP로 나누어도 잉여 r은 0이 되므로 양자화 파라미터 QP는 검출할 수 없기 때문에, 검출 제외한다.

한편, 스텝 S22에서, 모든 DCT 계수의 절대값 │W│가 0이 아닌 경우에는, QP 검출부(32)의 잉여 계산부(32a)는, 매크로 블록내의 256(=16x16)의 각 샘플에 대하여 시프트된 DCT 계수(│W│<<6)를 수학식 9에 따라서 구한 리스케일링 팩터 RF로 나눈 잉여 r을 계산한다(스텝 S24).

계속해서, 평가값 판정부(32b)는, (│W│<<7)>RF인지의 여부를 판정하고(스 텝 S25), (│W│<<7)>RF인 경우에는, 잉여 r을 리스케일링 팩터 RF로 규격화한 것을 평가값 Y로 하고(스텝 S26), (│W│<<7)>RF가 아닌 경우에는 (│W│<<6)을 평가값 Y로 한다(스텝 S27). 즉 평가값 판정부(32b)는, 매크로 블록내의 256(=16x16) 샘플에 관해서, 시프트된 DCT 계수(W<<6)를 RF로 나눈 잉여에 (iii)에서 서술한 규격화와 보정을 행한 것을 평가값 Y로 하고, 그 총합(ΣY)을 양자화 파라미터 QP마다 계산한다(스텝 S28).

그 다음에, 평가값 판정부(32b)는, 가능성이 있는 모든 양자화 파라미터 QP에 관해서 평가값 Y가 계산되어 있는지의 여부를 판단하고(스텝 S29), 모든 양자화 파라미터 QP에 관해서 평가값 Y가 계산되어 있지 않은 경우에는, 양자화 파라미터 QP를 변경하여(스텝 S30), 스텝 S26, S28, S29의 처리를 반복한다.

이렇게 해서, 가능성이 있는 모든 양자화 파라미터 QP에 대해서 평가값 Y가 계산되면(스텝 S29를 "예"로 분기), QP 판정부(32c)는, 매크로 블록 단위로 QP마다의 평가값 Y의 총합(ΣY)을 비교하여(스텝 S31), 총합이 최소로 되는 양자화 파라미터 QP를 전회 사용된 양자화 파라미터 QP로 하여(스텝 S32), 해당 양자화 파라미터 QP의 값을 출력하게 된다.

이때, 양자화 파라미터 QP가 6 미만이 되는 영역은 오검출의 가능성이 높아지므로 제외한다. 그것은, 예를 들어 200Mbps 이하의 실용 영역에서는 6 미만의 양자화 파라미터 QP가 사용되는 일은 거의 없고, 제외한 쪽이 검출율이 높아지기 때문이다.

이상 설명한 바와 같이, 본 발명의 제1 실시 형태의 부호화 장치(10)는, Qmatrix 검출부(31)에 의해, 부호화의 과정에서 얻어지는 DCT 계수로부터 전회의 부호화에서 사용된 Qmatrix를 슬라이스마다 잉여 r을 이용해서 높은 확률로 검출할 수 있다. 또한 부호화 장치(10)는, QP 검출부(32)에 의해, 부호화의 과정에서 얻어지는 DCT 계수로부터 전회의 부호화에서 사용된 QP를 매크로 블록마다 잉여 r을 이용해서 높은 확률로 검출할 수 있다. 그리고, 부호화 장치(10)는, 이들 검출된 양자화 행렬 Qmatrix와 양자화 파라미터 QP를 재이용함으로써 더빙시의 라운딩 오차를 저감하고, 더빙 특성을 향상할 수 있다. 또한 부호화 장치(10)는, 변환 행렬 D를 도입함으로써, 부호화와 복호화에서의 DCT 계수를 등가로 취급하는 것이 가능해진다. 또한 부호화 장치(10)는, 잉여 r을 DCT 계수 W로 가중치 부여하고, 리스케일링 팩터 RF로 규격화함으로써 검출 정밀도를 높일 수 있다.

또한 부호화 장치(10)는, AVC로부터 도입된 양자화 파라미터의 QP의 6n의 주기성을 고려하여, 잉여 r이 최소값을 취하는 양자화 파라미터 QP보다 6n 큰 QP에 잉여 r의 극소값이 있는 경우에는, 최소값이 아니어도 그 양자화 파라미터 QP를 전회의 부호화에서 사용된 양자화 파라미터 QP로 한다. 그리고 부호화 장치(10)는, 전회의 부호화에서 사용된 양자화 파라미터의 QP의 대략의 값이 기지인 경우, 상기 값으로부터 ±n만큼 양자화 파라미터 QP를 변화시켜서 평가함으로써, 연산량을 감할 수 있다.

(2-3-3) 오프셋 우선 적용 처리 수순

다음에, 부호화 프로그램에 따라서 실행되는 오프셋 우선 적용 처리 수순 RT3에 대해서, 도 14의 흐름도를 이용해서 설명한다.

부호화 장치(10)의 offset 부가된 Intra 예측 모드 결정부(21)는, 입력 화상 데이터가 공급되면, 오프셋 우선 적용 처리 수순 RT3을 개시하고, 스텝 S51로 옮겨간다.

스텝 S51에서, offset 부가된 Intra 예측 모드 결정부(21)는, 각각의 화상 예측 모드에 대하여, 해당 모드 번호 n에 따른 offset[n]을 설정하면, 다음 스텝 S52로 옮겨간다.

스텝 S52에서, offset 부가된 Intra 예측 모드 결정부(21)는, 각 화상 예측 모드에서의 각 모드 번호 n에 대응하는 차분 화상 데이터를 각각 생성하는 동시에, 해당 차분 화상 데이터로부터 차분 절대값 합 SAD를 각각 산출하면, 다음 스텝 S53으로 옮겨간다.

스텝 S53에서, offset 부가된 Intra 예측 모드 결정부(21)는, 부가 처리 대상이 되는 화면내 예측 모드의 모드 번호 n을 「0」으로 설정하고, 최소 차분 절대값 합 minSAD를 계산상 상정되는 정수의 최대값 INT_MAX로 설정하면, 다음 스텝 S54로 옮겨간다.

스텝 S54에서, offset 부가된 Intra 예측 모드 결정부(21)는, 현재의 부가 처리 대상의 모드 번호 n이 「2」인지의 여부에 대해서 판별한다. 여기서 부정 결과가 얻어진 경우, 이것은 차분 절대값 합 SAD에 대하여 오프셋을 부가할 필요가 있는 것을 나타내고 있고, 이때 offset 부가된 Intra 예측 모드 결정부(21)는, 다음 스텝 S55로 옮겨간다.

스텝 S55에서, offset 부가된 Intra 예측 모드 결정부(21)는, 차분 절대값 합 SAD에 대하여 스텝 S51에서 설정한 offset[n]을 부가해서 오프셋이 부가된 차분 절대값 합 SADf를 산출하면, 다음 스텝 S56으로 옮겨간다.

이에 대해 스텝 S54에서 긍정 결과가 얻어진 경우, 이것은 차분 절대값 합 SAD를 그대로 오프셋이 부가된 차분 절대값 합 SADf로 해야 할 것을 나타내고 있고, 이때 offset 부가된 Intra 예측 모드 결정부(21)는, 다음 스텝 S56으로 옮겨간다.

스텝 S56에서, offset 부가된 Intra 예측 모드 결정부(21)는, 현재의 부가 처리 대상의 모드 번호 n이 「8」인지의 여부에 대해서 판별한다. 여기서 부정 결과가 얻어진 경우, 이것은 처리해야 할 화면내 예측 모드가 남아있는 것을 나타내고 있고, 이때 offset 부가된 Intra 예측 모드 결정부(21)는, 다음 스텝 S57로 옮겨가고, 부가 처리 대상의 모드 번호 n을 「1」 가산하면, 스텝 S54로 복귀되어 처리를 계속한다.

이에 대해 스텝 S56에서 긍정 결과가 얻어진 경우, 이것은 n=0 내지 8까지의 모든 화면내 예측 모드에 대응하는 오프셋이 부가된 차분 절대값 합 SADf를 산출한 것을 나타내고 있고, 이때 offset 부가된 Intra 예측 모드 결정부(21)는, 다음 스텝 S59로 옮겨간다.

스텝 S59에서, offset 부가된 Intra 예측 모드 결정부(21)는, 비교 처리 대상의 모드 번호 n을 「0」으로 설정하면, 다음 스텝 S59로 옮겨간다.

스텝 S59에서, offset 부가된 Intra 예측 모드 결정부(21)는, 비교 처리 대상의 오프셋이 부가된 차분 절대값 합 SADf가 최소 차분 절대값 합 minSAD 미만인 지의 여부에 대해서 판별한다.

여기서 긍정 결과가 얻어진 경우, offset 부가된 Intra 예측 모드 결정부(21)는, 다음 스텝 S61로 옮겨가고, 최소 차분 절대값 합 minSAD를 비교 처리 대상의 오프셋이 부가된 차분 절대값 합 SADf의 값으로 갱신하여, 다음 스텝 S62로 옮겨간다.

이에 대해 스텝 S60에서 부정 결과가 얻어진 경우, offset 부가된 Intra 예측 모드 결정부(21)는, 최소 차분 절대값 합 minSAD를 갱신할 필요가 없기 때문에, 다음 스텝 S62로 옮겨간다.

스텝 S62에서, offset 부가된 Intra 예측 모드 결정부(21)는, 비교 처리 대상의 모드 번호 n이 「8」인지의 여부에 대해서 판별한다. 여기서 부정 결과가 얻어진 경우, 이것은 처리해야 할 화면내 예측 모드가 남아있는 것을 나타내고 있고, 이때 offset 부가된 Intra 예측 모드 결정부(21)는, 다음 스텝 S63으로 옮겨가고, 비교 처리 대상의 모드 번호 n을 「1」 가산하면, 스텝 S60으로 복귀되어 처리를 계속한다.

이에 대해 스텝 S62에서 긍정 결과가 얻어진 경우, 이것은 n=0 내지 8까지의 모든 화면내 예측 모드에 대응하는 오프셋이 부가된 차분 절대값 합 SADf를 비교한 것을 나타내고 있고, 이때 offset 부가된 Intra 예측 모드 결정부(21)는, 종료 스텝으로 옮겨가서, 오프셋 우선 적용 처리 수순 RT3을 종료한다.

(2-4) 동작 및 효과

이상의 구성에서, 부호화 장치(10)는, 처리 대상이 되는 처리 대상 화소의 주변 화소로부터의 차분값으로 이루어지는 차분 화상 데이터를, AVC 규격에 의해 미리 정해진 9개의 화면내 예측 모드마다 생성한다. 그리고 부호화 장치(10)는, 차분 화상 데이터에서의 각 처리 대상 화소의 절대값의 합에 기초하는 차분 합계값으로서의 차분 절대값 합 SAD와, 화면내 예측 모드로 미리 설정된 offset[n]에 의한 우선 순위에 따라서, 해당 화면내 예측 모드를 순위 부여하도록 했다.

이에 의해 부호화 장치(10)는, offset[n]의 값이 낮고 우선 순위가 높은 특정한 화면내 예측 모드를 우선적으로 높은 순위로 순위 부여할 수 있다.

또한 부호화 장치(10)는, 복수의 차분 화상 데이터에 대한 차분 절대값 합 SAD에 대하여, 화면내 예측 모드에 따른 오프셋(offset[n])을 부가해서 오프셋이 부가된 차분 절대값 합 SADf를 생성한다. 그리고 부호화 장치(10)는, 오프셋이 부가된 차분 절대값 합 SADf를 비교함으로써, 화면내 예측 모드를 순위 부여하도록 했다.

이에 의해 부호화 장치(10)는, 화면내 예측 모드에 따른 순위 부여의 우선 정도를 간단하게 설정할 수 있다. 또한 부호화 장치(10)는, 특정한 화면내 예측 모드를 고정적으로 이용하는 것이 아니라, 어디까지나 offset[n]을 부가함으로써, 발생 부호량의 증대를 억제할 수 있다.

또한 부호화 장치(10)는, 오프셋이 부가된 차분 절대값 합 SADf가 최소값을 취하는 차분 화상 데이터를 생성했을 때의 화면내 예측 모드를, 차분 화상 데이터를 부호화하는 화면내 예측 모드로서 결정하도록 했다.

이에 의해 부호화 장치(10)는, 특정한 화면내 예측 모드가 차분 화상 데이터 를 부호화하는 화면내 예측 모드로서 결정되기 쉽게 할 수 있기 때문에, 전회 부호화시에 사용된 화면내 예측 모드를 선택하기 쉽게 할 수 있다. 이 결과 부호화 장치(10)는, 전회 부호화시와 동일한 화면내 예측 모드를 이용할 확률을 향상시킬 수 있기 때문에, 더빙시의 화질을 향상시킬 수 있도록 이루어져 있다.

또한 부호화 장치(10)는, 복수의 화면내 예측 모드 중, 화질의 저하가 적은 하나의 화면내 예측 모드에 대하여 오프셋을 부가하지 않음으로써, 차분 화상 데이터를 부호화하는 화면내 예측 모드로서 화질의 저하가 적은 화면내 예측 모드를 선택하기 쉽게 할 수 있어, 복호화시의 화질의 저하를 억제할 수 있다.

이 화질의 저하가 적은 하나의 화면내 예측 모드는, 주변 화소의 평균값으로부터의 차분값을 취하는 DC 예측 모드이며, AVC 규격에서의 수직 및 평행 방향의 주변 화소의 평균값으로부터의 차분값을 취하는 모드이다. 이에 의해 부호화 장치(10)는, 가장 화질의 저하가 작은 DC 예측 모드를 다용해서 부호화시의 화질 저하를 억제할 수 있다.

또한 부호화 장치(10)는, 화면내 예측 모드에서의 화질의 저하 정도에 따라, offset[n]을 설정함으로써, 화질의 저하가 적을수록 화면내 예측 모드의 우선 순위가 높아지도록 순위 부여할 수 있다.

또한 부호화 장치(10)는, 화면내 예측 모드에 의한 차분 화상 데이터로부터, 전회의 부호화시에 사용된 양자화 스텝의 기초가 되는 양자화 인자를 검출함으로써, 더빙시의 화질의 저하를 억제할 수 있다.

또한 부호화 장치(10)는, offset[n]로서, 상정되는 더빙 횟수에 따른 값을 설정함으로써, 발생 부호량과 화질의 저하를 비교 고려해서 용도나 목적에 따른offset[n]을 설정하고, 사용자의 요망에 따를 수 있다.

이상의 구성에 의하면, 부호화 장치(10)는, 각 화면내 예측 모드에 의한 차분 절대값 합 SAD를 비교한 뒤에 특정한 화면내 예측 모드를 우선적으로 높게 순위 부여함으로써, 특정한 화면내 예측 모드를 매회 높게 순위 부여할 수 있다. 이 결과 부호화 장치(10)는, 전회 부호화시에 사용한 화면내 예측 모드를 선택적으로 높게 순위 부여해서 부호화에 사용되는 차분 화상 데이터의 화면내 예측 모드로서 선택하기 쉽게 할 수 있다. 이리 하여 본 발명은, 화질의 저하를 억제할 수 있는 화상 처리 장치 및 화상 처리 방법을 실현할 수 있다.

(3) 제2 실시 형태

도 15 및 도 16에 나타내는 제2 실시 형태에서는, 도 2 내지 도 14에 나타낸 제1 실시 형태와 대응하는 개소에 동일 부호를 붙여서 나타내고 있다. 제2 실시 형태에서의 부호화 장치(11)에서는, 양자화 행렬 검출 처리 및 양자화 파라미터 검출 처리 후에, 화면내 예측 모드 검출 처리를 실행하는 점이, 제1 실시 형태와 상이하다.

(3-1) 화면내 예측 모드의 검출

AVC의 인트라(화면내 부호화) 프레임에서는, 더빙에서 전회의 부호화에서 사용된 화면내 예측 모드를 재이용하는 것은 화질 저하를 방지하기 위해서 유효한 수단이다. 따라서, 화면내 예측 모드 검출 처리에서는, 입력 화상 데이터만을 이용하고, 그 잉여 r을 이용해서 산술적으로 전회의 부호화에서 사용된 화면내 예측 모 드를 검출하는 것을 특징으로 한다.

즉 부호화 장치(11)는, 양자화 행렬 Qmatrix 및 양자화 파라미터 QP를 검출한 후에, 해당 양자화 행렬 Qmatrix 및 양자화 파라미터 QP를 이용하여, 인트라 부호화 단위 IA마다 화면내 예측 모드를 바꾸어 잉여 r의 총합(Σr)을 이용해서 극소값을 검출한다. 이에 의해 부호화 장치(11)는, 매크로 블록 MB에서의 모든 인트라 부호화 단위 IA에 대해서, 전회 부호화된 화면내 예측 모드를 검출하는 것이 가능해진다.

이때 부호화 장치(11)는, 오프셋 우선 적용 처리에 의해 오프셋이 부가된 차분 절대값 합 SAD를 순위 부여하고, 해당 오프셋이 부가된 차분 절대값 합 SAD가 작은 쪽부터 3개의 화면내 예측 모드에 대하여, 화면내 예측 모드 검출 처리를 실행한다. 이에 의해 부호화 장치 (11)는, 전회 부호화된 화면내 예측 모드를 선택하기 쉽게 할 수 있기 때문에, 처리 대상이 되는 3개의 화면내 예측 모드로서, 전회 부호화된 화면내 예측 모드를 확실하게 포함시킬 수 있도록 이루어져 있다.

즉 화면내 예측 모드 검출 처리에서는, 양자화 행렬 검출 처리 및 양자화 파라미터 검출 처리에서 전술한 사고 방식 등에 기초하여 전회의 부호화에서 사용된 양자화 매트릭스와 양자화 파라미터가 기지의 경우, 9개의 화면내 예측 모드의 각각의 DCT 계수를 6비트 시프트한 (W<<6)을 리스케일링 팩터 RF로 나누어 감으로써, 잉여 r이 최소로 되는 화면내 예측 모드를 검출한다.

이상에 부가하여, 화상 처리 장치(1)에서는, 검출 정밀도를 향상시키기 위해서, MPEG에서는 고려되지 않았던, AVC Intra 특유의 성질에 기인하는 이하의 점을 고려한다. 즉, 이 화면내 예측 모드 검출 처리에서는, 양자화 행렬 검출 처리 및 양자화 파라미터 검출 처리에서 전술한 (i), (ii)에 부가하여, 이하의 (vii)을 고려한다.

(vii) DCT 계수의 분포

화면내 예측 모드가 상이하면, 차분의 값도 바뀌고, 결과적으로 DCT 계수의 분포가 상이하다. 따라서, 일반적으로는 서브 매크로 블록내의 잉여 r의 총합을 0이 아닌 DCT 계수의 개수로 제산하고, 1샘플당의 잉여로 비교하는 것이 공평하다고 생각된다.

그러나, 실제로는, 전회의 부호화에서 사용된 예측 모드가 선택되면, 예측이 높은 정밀도로 맞기 때문에, 0이 아닌 DCT 계수의 개수가 적어지고, 전회의 예측과 방향적으로 어긋난 모드일수록, 0이 아닌 DCT 계수의 개수도 증가하는 경향에 있다.

따라서, 화면내 예측 모드 검출 처리에서는, 잉여 r의 총합에 대하여, 0이 아닌 DCT 계수의 개수로 제산하지 않고, 0이 아닌 DCT 계수의 개수를 승산했다. 이에 의해, 전회의 예측과 방향적으로 어긋난 모드의 잉여 r의 총합에 수치적인 페널티를 부여할 수 있다고 생각된다.

잉여 r의 총합에 0이 아닌 DCT 계수의 개수를 승산한 것을 평가값 Y로 하고, 각 예측 모드 사이에서, 이 평가값 Y를 비교하여, 평가값 Y가 최소의 예측 모드를 전회의 부호화에서 사용된 예측 모드라고 생각한다.

본 발명의 부호화 장치(11)에서는, 상기 특징적인 시점 (vii)을 근거로 하 여, 최적의 예측 모드를 결정한다.

(3-2) 부호화 장치의 구성

부호화 장치(11)에서는, 화면내 예측 모드 검출부(33)와, 화면내 예측 모드 결정부(45)를 갖고 있는 점과, 화면내 예측 처리부(51) 및 정수 정밀도 DCT부(52)를 갖고 있는 점이 부호화 장치(10)와 상이하다. 이하, 해당 차이점을 중심으로 설명한다.

Qmatrix 검출부(31) 및 QP 검출부(32)에 의해 검출된 전회의 양자화 파라미터 QP와 양자화 행렬 Qmatrix는, Qmatrix/QP 결정부(41)에 보내진다. Qmatrix/QP 결정부(41)에서는, 양자화 행렬 Qmatrix와 양자화 파라미터 QP에 관해서, 1패스째의 프리인코더(20)로 어림된 것을 채용할 것인지, 백 서치부(30)로 검출된 것을 사용할지를 결정한다. 통상, 입력 화상 데이터가 한번도 부호화되어 있지 않은 원화상인 경우에는, 전회의 부호화가 없기 때문에 백 서치는 실패하고, 1패스째의 프리인코더(20)에 의한 부호화 처리에 의해 어림된 것을 채용한다. 반대로 입력 화상이 이미 부호화된 경우가 있는 비원화인 경우에는, 양자화 왜곡이 반복해서 타는 것을 피하기 위해서, 백 서치부(30)에 의해 검출된 것을 채용한다.

또한, 백 서치부(30)에 의해 검출된 전회의 부호화에 사용된 양자화 파라미터 QP와 양자화 행렬 Qmatrix는, 화면내 예측 모드 검출부(33)에도 보내진다. 화면내 예측 모드 검출부(33)는, 양자화 파라미터 QP와 양자화 행렬 Qmatrix를 사용함으로써, 전술한 화면내 예측 모드 검출 처리에 의해 전회의 화면내 예측 모드를 검출한다. 또한, 이 화면내 예측 모드 검출부(33)에 의한 화면내 예측 모드 검출 처리 수순의 상세에 대해서는 후술한다. 이 전회의 예측 모드는 화면내 예측 모드 결정부(45)에 송출된다. 화면내 예측 모드 결정부(45)에서는, 1패스 부호화로 오프셋이 부가된 차분 절대값 합 SADf가 최소로 되는 제1 예측 모드를 채용할지, 화면내 예측 모드 검출부(33)에 의해 검출된 전회의 예측 모드를 채용할지를 결정한다.

즉, 화면내 예측 모드 검출부(33)는, 양자화 파라미터 QP와 양자화 행렬 Qmatrix에 기초하여, 전회의 예측 모드를 검출한다. 이 전회의 예측 모드는 화면내 예측 모드 결정부(45)에 송출된다. 화면내 예측 모드 결정부(45)에서는, 1패스 부호화로 차분 절대값 합 SAD가 최소로 되는 제1 예측 모드를 채용할지, 화면내 예측 모드 검출부(33)에 의해 검출된 전회의 예측 모드를 채용할지를 결정한다.

즉, 입력 화상 데이터가 한번도 부호화되어 있지 않은 원화상인 경우에는, 전회의 부호화가 없기 때문에 화면내 예측 모드의 검출(백 서치)은 실패하고, offset 부가된 Intra 예측 모드 결정부(21)에 의해 어림된 것을 채용한다. 반대로 입력 화상이 이미 부호화된 경우가 있는 비원화인 경우에는, 양자화 왜곡이 반복해서 타는 것을 피하기 위해서, 화면내 예측 모드 검출부(33)에 의해 검출된 것을 채용한다.

2패스째의 파라미터 인코더(50)에서는, 전술한 바와 같이 Qmatrix/Qp 결정부(41)로 결정된 양자화 행렬 Qmatrix, 양자화 파라미터 QP, 화면내 예측 모드 결정부(45)로 결정된 화면내 예측 모드를 사용하여, 입력 화상을 부호화하고, 부호화 스트림(Stream)으로서 출력한다.

보다 상세하게는, 화면내 예측 처리부(51)에서는, 최적의 화면내 예측 모드로서 화면내 예측 모드 결정부(45)로 결정된 화면내 예측 모드로 선정하고, 주변 화소의 예측 화상을 이용해서 입력 화상으로부터 차분 화상 데이터를 생성하고, 해당 차분 화상 데이터를 정수 정밀도 DCT부(52)에 입력한다. 정수 정밀도 DCT부(52)에서는, 이산 코사인 변환에 의한 직행 변환에 의해 차분 화상 데이터를 DCT 계수 W로서 출력한다. 양자화부(53)에서는 DCT계수 W를 입력으로서, Qmatrix/QP 결정부(41)로 결정된 양자화 행렬 Qmatrix, 양자화 파라미터 QP를 이용해서 양자화를 행하고, 양자화 레벨 Z를 엔트로피 부호화부(54)에 송출한다. 엔트로피 부호화부(54)에서는, 입력된 양자화 레벨 Z를 2치화, 산술 부호화해서 부호화 스트림으로서 출력한다.

(3-3) 화면내 예측 모드 검출 처리

이하, 화면내 예측 모드 검출 처리 수순 RT4를 나타내는 도 14의 흐름도를 참조하여, 본 발명의 제2 실시 형태에 따른 부호화 장치(10)의 화면내 예측 모드 검출부(33)에 의한 예측 모드 검출의 처리에 대해서 더 설명한다. 이것은, 동 실시 형태에 따른 화상 정보 부호화 방법에도 상당한다.

우선 화면내 예측 모드 검출부(33)는, 예측 화상으로부터의 차분 절대값 합(즉 차분 화상 데이터의 절대값의 총합)이 가장 작은 화면내 예측 모드를 초기값으로 한다(스텝 S151). 계속해서 화면내 예측 모드 검출부(33)는, 예측 화상으로부터의 차분 화상 데이터분에 대하여 DCT 처리를 행한다(스텝 S152). 화면내 예측 모드 검출부(33)는 4×4의 서브 매크로 블록내의 각 샘플에 대하여 DCT 계수 W의 절대값 │W│를 6비트 시프트한 (│W│<<6)을 RF로 나눈 잉여 r을 계산한다(스텝 S153).

그리고 화면내 예측 모드 검출부(33)는, 잉여 r의 총합에 DCT 계수의 짝수를 곱한 것을 평가값 Y로 한다(스텝 S156).

계속해서 화면내 예측 모드 검출부(33)는, 화면 없을 가능성이 있는 모든 화면내 예측 모드에 관해서 Y가 계산 되었는지의 여부를 판정하고(스텝 S157), 평가값 Y가 계산되어 있지 않으면 다음에 차분 절대값 합 SAD가 작은 예측 모드로 절환하고(스텝 S158), 스텝 S52 내지 S57의 처리를 반복한다. 그리고 화면내 예측 모드 검출부(33)는, 가능성이 있는 모든 화면내 예측 모드에 관해서 Y가 계산된 것으로 판정하면(스텝 S157을 "예"로 분기), 각 화면내 예측 모드 사이에서 평가값 Y를 비교하고(스텝 S159), 평가값 Y가 최소인 화면내 예측 모드를 전회 사용된 예측 모드로 하고(스텝 S160), 처리를 종료한다.

이상 설명한 바와 같이, 본 발명의 제1 실시 형태의 부호화 장치(10)는, 전회의 부호화에서 사용된 화면내 예측 모드를 입력 화상으로부터 산술적으로 검출함으로써, AVC 인트라 프레임의 더빙시에 반복해서 양자화 왜곡이 발생하는 것을 억제할 수 있다. 이에 의해 부호화 장치(10)는, 더빙시의 SN비와 시각 특성의 저하를 개선할 수 있다.

또한 부호화 장치(10)는, 화면내 예측 모드 사이에서, 서브 매크로 블록내의 예측 화상으로부터의 차분 절대값 합 SAD를 비교할 때에, 상기 차분 절대값 합 SAD가 작은 것부터 순서대로 비교하지만, 이것은, 전회의 부호화에서 사용된 확률의 높은 화면내 예측 모드로부터 비교해 가는 것과 등가이며, 예를 들어 차분 절대값 합 SAD가 작은 화면내 예측 모드로부터 순서대로 소정수(예를 들어 3개)의 모드만을 비교함으로써 연산량을 경감하는 것이 가능해진다. 또한 부호화 장치(10)는, 변환 행렬 D의 도입에 의해, 부호화와 복호화에서의 DCT 계수를 등가로 취급하는 것이 가능해진다.

이상의 이외, 부호화 장치(10)는, 전회의 부호화의 화면내 예측의 알고리즘에 의하지 않고 검출할 수 있으므로, 1회째의 부호화에서 시각 특성을 고려한 화면내 예측 방법을 이용해도 더빙시에는 본 알고리즘을 이용 가능하다.

(3-4) 동작 및 효과

이상의 구성에 의하면, 부호화 장치(11)는, 오프셋이 부가된 차분 절대값 합 SADf가 최소로 되는 차분 화상 데이터로부터, 전회의 부호화시에 사용된 양자화 스텝의 기초로 되는 양자화 인자로서의 양자화 파라미터 QP 및 양자화 행렬 Qmatrix를 검출한다.

부호화 장치(11)는, 백 서치에 의해 검출된 양자화 파라미터 QP 및 양자화 행렬 Qmatrix에 기초하는 제산 인자에 의해, 오프셋이 부가된 차분 절대값 합이 작은 순으로, 대상수인 3개의 차분 화상 데이터를 제산했을 때의 잉여값 r을 산출한다.

그리고 부호화 장치(11)는, 잉여값 r이 최소로 되는 차분 화상 데이터가 생성된 화면내 예측 모드를, 차분 화상 데이터에 대한 화면내 예측 모드로서 결정하도록 했다.

이에 의해 부호화 장치(11)는, 전회의 부호화시에 사용된 화면내 예측 모드를 확실하게 검출할 수 있기 때문에, 더빙시의 화질 저하를 한층더 억제할 수 있다.

이상의 구성에 의하면, 부호화 장치(11)는, 오프셋 우선 적용 처리에 의해 특정한 화면내 예측 모드를 우선적으로 높게 순위 부여함으로써, 화면내 예측 모드 검출 처리의 대상이 되는 3개의 화면내 예측 모드에 전회의 부호화시에 사용된 화면내 예측 모드를 거의 확실하게 포함시킬 수 있다.

이에 의해 부호화 장치(11)는, 화면내 예측 모드 검출 처리에 의해 전회의 부호화시에 사용된 화면내 예측 모드를 거의 확실하게 검출할 수 있다. 이리 하여 본 발명은, 부호화시의 화질의 저하를 억제할 수 있는 화상 처리 장치 및 화상 처리 방법을 실현할 수 있다.

(4) 다른 실시 형태

이하, 도 17의 흐름도를 참조하여, 다른 실시 형태에 따른 부호화 장치에 의한 오프셋 우선 적용 처리 수순 RT5에 대해서 상세하게 설명한다.

입력 화상 데이터가 입력되면, offset 부가된 Intra 예측 모드 결정부는, 예측 모드마다 offset[n]의 값을 결정한다(스텝 S201). 여기서, n은 DC 예측과 비교하는 예측 모드 번호(0 내지 8(2를 제외함))를 의미하고 있다. 계속해서 offset 부가된 Intra 예측 모드 결정부는, x=2(DC 예측 모드로 설정)로서(스텝 S202), n에 비교 대상이 되는 화면내 예측 모드 번호를 부여한다(스텝 S203). 여기에서 x는 부호화에서 채용되는 예측 모드 번호를 의미하고 있다.

계속해서 offset 부가된 Intra 예측 모드 결정부는, 비교 대상이 되는 화면내 예측 모드의 차분 절대값 합 SAD와 offset[n]의 총합이 DC 예측 모드의 차분 절대값 합 SAD보다도 작은지의 여부를 판단한다(스텝 S204).

스텝 S204에서, offset 부가된 Intra 예측 모드 결정부는 비교 대상이 되는 화면내 예측 모드의 차분 절대값 합 SAD와 offset[nl과의 가산값인 오프셋이 부가된 차분 절대값 합 SADf가 모드 번호 x의 오프셋이 부가된 차분 절대값 합 SADf보다도 작다고 판단된 경우에는(스텝 S204를 "예"로 분기), x에 대하여 비교 대상이 되는 화면내 예측 모드의 모드 번호 n을 대입하고, 스텝 S205로 옮겨간다.

한편, 비교 대상이 되는 화면내 예측 모드의 차분 절대값 합 SAD와 offset[n]과의 가산값인 오프셋이 부가된 차분 절대값 합 SADf가 모드 번호 x의 오프셋이 부가된 차분 절대값 합 SADf보다도 작지 않다고 판단된 경우(스텝 S204를 "아니오"로 분기), offset 부가된 Intra 예측 모드 결정부는, 채용할 가능성이 있는 모든 예측 모드에 관해서 비교를 행했는지의 여부를 판단한다(스텝 S205). offset 부가된 Intra 예측 모드 결정부는, 모든 판단을 완료하고 있지 않은 경우(스텝 S205를 "아니오"로 분기)에는, n의 값을 갱신하고(스텝 S206), 다음 후보의 모드에 대해서 스텝 S5의 비교를 실시한다.

스텝 S205에서, 채용할 가능성이 있는 모든 예측 모드에 관해서 비교를 행했다고 판단된 경우(스텝 S205를 "예"로 분기), offset 부가된 Intra 예측 모드 결정부는, Mode X를 부호화에서 채용하는 예측 모드로 하고(스텝 S207), 일련의 처리를 종료한다.

또한 부호화 장치는, 차분 절대값 합 SAD가 최소로 되는 화면내 예측 모드를 선택하고, 선택된 화면내 예측 모드에서의 차분 절대값 합 SAD와, 복수의 화면내 예측 모드 중 하나의 우선 예측 모드(DC 예측 모드)에서의 차분 절대값 합 SAD를 비교한다. 그리고 부호화 장치는, 해당 차분 절대값 합 SAD의 차가 임계값 미만일 때에는 차분 절대값 합 우선 예측 모드에 대응하는 차분 화상 데이터를 실제로 부호화하는 차분 화상 데이터로서 결정하도록 해도 좋다.

또한 전술한 제1 및 제2 실시 형태에서는, 차분 절대값 합 SAD에 기초하여 순위 부여하도록 한 경우에 대해서 서술했다. 본 발명은 이에 한하지 않고, 예를 들어 차분 절대값 합 SAD에 아다마르(Hadamard) 변환하고, 절대값 합을 산출한 SATD(Sum of Absolute Transformed Difference)나 SSD(Sum of Square Difference, 자승 오차합)를 이용해서 순위 부여하도록 해도 좋다.

또한 전술한 제1 및 제2 실시 형태에서는, DC 예측 모드에만 offset[n]을 부가하지 않도록 한 경우에 대해서 서술했다. 본 발명은 이에 한하지 않고, 다른 화면내 예측 모드에 대하여 offset[n]을 부가하지 않도록 해도 좋다. 또한 본 발명은, 2 이상의 화면내 예측 모드에 대하여 offset[n]을 부가하지 않도록 해도 좋다.

또한 전술한 제1 및 제2 실시 형태에서는, 각 화면내 예측 모드마다 상이한 값을 offset[n]으로서 부가하도록 한 경우에 대해서 서술했다. 본 발명은 이에 한하지 않고, 동일한 값을 부가하도록 해도 좋다.

또한 전술한 제1 및 제2 실시 형태에서는, 화질의 저하 정도에 따른offset[n]을 부가하도록 한 경우에 대해서 서술했다. 본 발명은 이에 한하지 않 고, 예를 들어 발생 부호량의 발생 정도에 따른 offset[n]을 부가하도록 해도 좋다. 또한 본 발명은, offset[n]을 부가하는 지표는 반드시 필요하지 않다.

또한 전술한 제1 및 제2 실시 형태에서는, 부호화 장치가 백 서치 처리 및 오프셋 우선 적용 처리의 양쪽을 실행하도록 한 경우에 대해서 서술했다. 본 발명은 이에 한하지 않고, 오프셋 우선 적용 처리만을 실행하도록 해도 좋다. 이 경우 정수 정밀도 DCT부(22)는, DCT 계수를 양자화 파라미터 계산부(도시하지 않음)에 공급한다. 양자화 파라미터 계산부는, 이 DCT 계수 W의 크기나 주파수 영역의 분포 상황에 따라서 적절한 양자화 파라미터 QP를 결정하고, 양자화부(53)에 공급하고, 엔트로피 부호화부(54)를 통해서 부호화 스트림으로서 출력시킨다.

또한 전술한 제2 실시 형태에서는, 부호화 장치가 처리수로서 3개의 화면내 예측 모드에 대하여 화면내 예측 모드 검출 처리를 실행하도록 한 경우에 대해서 서술했다. 본 발명은 이에 한하지 않고, 처리수에 특별히 제한은 없다.

또한 전술한 제1 및 제2 실시 형태에서는, 4×4화소의 서브 매크로 블록으로 이루어지는 인트라 부호화 단위마다 차분 절대값 합 SAD를 산출하도록 한 경우에 대해서 서술했다. 본 발명은 이에 한하지 않고, 예를 들어 8×8화소나 16×8화소 등이라도 좋고, 인트라 부호화 단위에 제한은 없다.

또한 전술한 제1 및 제2 실시 형태에서는, 부호화 장치가 AVC 규격에 준거해서 처리를 실행하도록 한 경우에 대해서 서술했다. 본 발명은 이에 한하지 않고, 복수의 화면내 예측 모드 중, 하나의 화면내 예측 모드를 선택하는 모든 방식에 대하여 본 발명을 적용할 수 있다.

또한 전술한 제1 및 제2 실시 형태에서는, 차분 화상 데이터 생성부 및 순위 부여부로서의 offset 부가된 Intra 예측 모드 결정부(21)에 의해 화상 처리 장치로서의 부호화 장치(10 및 11)를 구성하도록 한 경우에 대해서 서술했다. 본 발명은 이에 한하지 않고, 그 밖의 다양한 구성에 의한 차분 화상 데이터 생성부 및 순위 부여부에 의해 본 발명의 화상 처리 장치를 구성해도 좋다.

이상, 본 발명의 실시 형태에 대해서 설명했지만, 본 발명은 이에 한정되는 일 없이 그 취지를 일탈하지 않는 범위에서 다양한 개량·변경이 가능한 것은 물론이다.

예를 들어, 전술한 제1 및 제2 실시 형태에 따른 화상 정보 부호화 처리 장치 및 방법은, 컴퓨터에 의해 실행되는 프로그램, 및 상기 프로그램을 저장한 기록 매체로서도 실시 가능한 것은 물론이며, 그 경우도, 전술한 작용 효과가 발휘된다.

Claims (12)

1. 처리 대상이 되는 처리 대상 화소의 주변 화소로부터의 차분값으로 이루어지는 차분 화상 데이터를, 미리 정해진 복수의 화면내 예측 모드마다 생성하는 차분 화상 데이터 생성부와,

   상기 차분 화상 데이터의 발생 부호량에 기초하는 차분 합계 값이 낮은 순부터 해당 화면내 예측 모드를 순위 부여하는 순위 부여부와,

   상기 순위 부여부에 의해 붙여진 순위가 가장 높은 차분 화상 데이터로부터, 전회의 부호화시에 사용된 양자화 스텝의 기초로 되는 양자화 인자를 검출하는 백 서치부와,

   상기 순위 부여부에 의해 붙여진 순위가 높은 순부터 대상수의 차분 화상 데이터를, 상기 백 서치부에 의해 검출된 상기 양자화 인자에 기초하여 산출되는 스케일링 팩터에 의해 제산했을 때의 잉여값을 산출하는 잉여치 산출부와,

   상기 잉여값이 최소로 되는 차분 화상 데이터가 생성된 상기 화면내 예측 모드를, 상기 화상 데이터에 대한 화면내 예측 모드로서 결정하는 화면내 예측 모드 결정부

   를 갖는 화상 처리 장치.
2. 제1항에 있어서,

   상기 순위 부여부는,

   상기 발생 부호량 및 상기 화면내 예측 모드로 미리 설정된 우선 순위에 기초하여, 상기 차분 합계값을 산출하는 화상 처리 장치.
3. 제2항에 있어서,

   상기 순위 부여부는,

   상기 복수의 차분 화상 데이터의 발생 부호량에 대하여, 화면내 예측 모드에 따른 오프셋을 부가함으로써, 상기 차분 합계값을 생성하는 오프셋 부가부와,

   상기 차분 합계값을 비교함으로써, 상기 차분 합계 값이 낮은 순부터 화면내 예측 모드를 순위 부여하는 차분 합계값 비교부

   를 갖는 화상 처리 장치.
4. 제3항에 있어서,

   상기 오프셋 부가부는,

   상기 복수의 화면내 예측 모드 중, 화질의 저하가 적은 하나의 화면내 예측 모드에 대하여 상기 오프셋을 부가하지 않는 화상 처리 장치.
5. 제4항에 있어서,

   상기 화질의 저하가 적은 하나의 화면내 예측 모드는,

   주변 화소의 평균값으로부터의 차분값을 취하는 화면내 예측 모드인 화상 처리 장치.
6. 제5항에 있어서,

   상기 화상 처리 장치는,

   AVC 규격에 대응하고 있고,

   상기 화질의 저하가 적은 하나의 화면내 예측 모드는,

   수직 및 평행 방향의 주변 화소의 평균값으로부터의 차분값을 취하는 모드 2인 화상 처리 장치.
7. 제6항에 있어서,

   상기 오프셋 부가부는,

   화질의 저하 정도가 작은 화면내 예측 모드에 대하여 작고, 화질의 저하 정도가 큰 화면내 예측 모드에 대하여 커지도록, 상기 오프셋을 설정하는 화상 처리 장치.
8. 제1항에 있어서,

   상기 대상수는 3으로 이루어지는 화상 처리 장치.
9. 제3항에 있어서,

   상기 오프셋 부가부는,

   상정되는 더빙 횟수가 많은 경우에는 큰 값을, 상정되는 더빙 횟수가 작은 경우에는 작은 값을 상기 오프셋으로서 설정하는 화상 처리 장치.
10. 제2항에 있어서,

    화면내 예측 모드 결정부는,

    상기 백 서치부에 의해 상기 양자화 인자가 검출되지 않은 경우에는, 상기 차분 합계값이 최소값을 취하는 차분 화상 데이터를 생성했을 때의 화면내 예측 모드를 상기 화상 데이터를 부호화하는 화면내 예측 모드로서 결정하는 화상 처리 장치.
11. 제1항에 있어서,

    상기 화면내 예측 모드 결정부는,

    상기 백 서치부에 의해 상기 양자화 인자가 검출되지 않고, 또한 상기 순위 부여부에 의해 1위에 순위 부여된 화면내 예측 모드에 대한, 2위 이하에 순위 부여된 화면내 예측 모드의 차분 합계값의 차이가 작은 경우에는, 화질의 저하가 적은 하나의 화면내 예측 모드를 상기 화상 데이터에 대한 화면내 예측 모드로서 결정하는 화상 처리 장치.
12. 처리 대상이 되는 처리 대상 화소의 주변 화소로부터의 차분값으로 이루어지는 차분 화상 데이터를, 미리 정해진 복수의 화면내 예측 모드마다 생성하는 차분 화상 데이터 생성 단계와,

    상기 차분 화상 데이터의 발생 부호량에 기초하는 차분 합계값이 낮은 순부터 해당 화면내 예측 모드를 순위 부여하는 순위 부여 단계와,

    상기 순위 부여부에 의해 부여된 순위가 가장 높은 차분 화상 데이터로부터, 전회의 부호화시에 사용된 양자화 스텝의 기초가 되는 양자화 인자를 검출하는 백 서치 단계와,

    상기 순위 부여부에 의해 부여된 순위가 높은 순부터 대상수의 차분 화상 데이터를, 상기 백 서치부에 의해 검출된 상기 양자화 인자에 기초하여 산출되는 스케일링 팩터에 의해 제산했을 때의 잉여값을 산출하는 잉여치 산출 단계와,

    상기 잉여값이 최소로 되는 차분 화상 데이터가 생성된 상기 화면내 예측 모드를 상기 화상 데이터에 대한 화면내 예측 모드로서 결정하는 화면내 예측 모드 결정 단계

    를 갖는 화상 처리 방법.

Images