KR20100137022A

KR20100137022A - 압축 화상 노이즈 제거 장치와 재생 장치

Info

Publication number: KR20100137022A
Application number: KR1020107027122A
Authority: KR
Inventors: 유스께 야따베; 히로노리 고미
Original assignee: 히다찌 컨슈머 일렉트로닉스 가부시끼가이샤
Priority date: 2008-07-30
Filing date: 2009-06-08
Publication date: 2010-12-29
Also published as: CN102057679B; EP2320662A4; MY154427A; KR101223780B1; CN102057679A; JPWO2010013543A1; WO2010013543A1; EP2320662A1; BRPI0913589B1; US20110064135A1; BRPI0913589A2; US8929439B2; JP5362723B2

Abstract

압축 화상 노이즈 제거 장치는, 디지털 화상 압축된 스트림을 디코드하는 디코더 수단과, VLD부가 디코드한 서브 정보를 복수 블록분 유지해 두는 정보 유지부와, 디코더 수단으로부터 생성된 표시 화상과, 정보 유지부에 대하여 노이즈 제거 판정을 행하는 노이즈 판단부와, 노이즈 판단부에 의해 노이즈 제거를 행한다고 판정된 블록에 대하여, 역양자화부로부터 출력된 화상 데이터와, 움직임 보상부로부터 출력된 움직임 보상 데이터와, 정보 유지부에 유지된 서브 정보를 이용하여 노이즈 제거를 행하는 노이즈 제거부와, 노이즈 판단부에 의해 노이즈 제거를 행한다고 판정한 경우에는 노이즈 제거부의 출력 화상을, 노이즈 제거를 행하지 않는다고 판정한 경우에는, 디코드 수단의 출력을 표시 화상으로서 유지하는 표시 화상 유지부를 갖는다.

Description

압축 화상 노이즈 제거 장치와 재생 장치{COMPRESSED IMAGE NOISE REMOVAL DEVICE AND REPRODUCTION DEVICE}

<참조에 의한 인용>

본 출원은, 2008년 7월 30일에 출원된 일본 특허 출원 제2008-195634호의 우선권을 주장하고, 그 내용을 참조함으로써 본 출원에 인용한다.

본 특허는, 디지털 압축 화상의 재생을 행하는 디지털 영상 기기가 대상이다.

본 기술 분야의 배경 기술로서, 예를 들면, 일본 특개평 6-70173(특허 문헌 1)이 있다. 그 공보에는 「[목적] 재생 화상에서의 링잉의 발생을 방지한다. [ 구성] 블록마다의 부호화 화상을 복합하여 얻은 화상의 상태로부터 엣지 판정부(22)에서 엣지가 존재하는지를 판정한다. 엣지를 갖는 블록에 대해서는, 평면 근사부(32)에서 엣지의 양측의 영역에 대하여 평면 근사하여, 근사 화상을 작성한다. 그리고, 이 근사 화상을 DCT하여, 주파수 영역으로 변환한다. 그리고, 이것을 연산부(38)에 공급하고, 주파수 영역의 복호 화상에 소정의 내분비로 가산한다. 즉, 연산부에서, 양자화 처리에 의해 상실되는 고주파 영역을 부가한다. 이 고주파 영역의 결여가 링잉의 원인이기 때문에, 연산기에서의 처리에 의해, 재생 화상에서의 링잉을 방지할 수 있다.」라고 기재되어 있다.

특허 문헌 1 : 일본 특개평 6-70173

최근, 디지털 방송의 보급이 진행되고 있어 가정에서 손쉽게 하이비전의 화상을 취급할 수 있게 되었다. 이 디지털 화상은 많은 정보량을 갖고 있어, 통상은, 동화상 압축의 국제 표준 방식인 MPEG2, H.264 등으로 압축된다. 이 압축에서는, 화상 정보를 주파수 변환하고, 고주파 성분을 양자화에 의해 커트함으로써, 데이터량의 삭감을 행하고 있다. 이 양자화에 의한 데이터량의 삭감에 의해, 압축 화상에서는, 고주파 성분의 결락에 의해 화상의 불선명이나 모스키토 노이즈가 발생한다.

이들 노이즈의 제거에 관하여, 삭감된 주파수 성분을 예측하는 방법이 제안되어 있다(일본 특개평 6-70173). 그러나, 그 특허에서는, 대상 블록의 화상 정보만을 이용하여, 근사 화상을 작성하고, 그 고주파 성분을 부가함으로써 노이즈 삭감을 행하고 있다. 이 근사 화상의 정밀도에 따라서는, 화상 압축을 행하는 원래의 화상(원화상)과 상이한 화상으로 되게 되어, 보정 화상과 주변 화상이 다르게 되어 재생 화상의 품질이 저하되게 되는 경우가 생각된다.

특히, 통상의 동화상 압축에서의, 양자화 폭의 제어는, 인간의 시각 특성에 기초하여 엣지 부분에 대해서는, 양자화 폭을 넓게 형성하기 때문에, 보다 이 근사 화상의 정밀도는 낮아져, 최종적인 보정 화상의 질도 저하된다고 생각된다.

디지털 압축 화상을 재생할 때에, 양자화에 의해 상실된 성분을 정밀도 좋게 예측하여 고화질의 재생 화상이 요망된다. 본 발명은, 압축 화상을 고화질로 재생하는 것을 목적으로 한다.

상기 목적을 달성하기 위해서, 특허 청구 범위에 기재된 구성을 채용한다.

본 발명에 따르면, 압축 화상을 고화질로 재생할 수 있다.

상기한 것 이외의 과제, 구성 및 효과는, 이하의 실시 형태의 설명에 의해 명백하게 된다.

도 1은 제1 실시예에서의, 본 발명의 기본 개념의 일면을 도시한 도면.
도 2는 제2 실시예의 구성을 도시하는 도면.
도 3은 제3 실시예의 구성을 도시하는 도면.
도 4는 제2 실시예에서의, 주변 블록 데이터의 사용을 도시하는 도면.
도 5는 제2 실시예에서의, 화상 신호를 가정한 신호를 주파수 변환한 경우의 각각의 신호 성분을 도시하는 도면.
도 6은 제2 실시예에서의, 도 5에 도시한 신호 성분을 양자화하는 이미지를 도시하는 도면.
도 7은 제2 실시예에서의, 주변 블록 데이터를 사용하는 경우의 구성을 도시하는 도면.
도 8은 제3 실시예에서의, 원화상 평가 산출을 이용한 노이즈 제거의 구성을 도시하는 도면.
도 9는 제3 실시예에서의, 계수의 테이블화와 계수 수정의 구체예를 도시하는 도면.
도 10은 제4 실시예의 구성을 도시하는 도면.
도 11은 제5 실시예의 구성을 도시하는 도면.

이하, 본 발명의 실시 형태를 도면을 이용하여 설명한다.

<실시예 1>

도면을 이용하여 제1 실시예에 대하여 설명한다. 본 실시예는, 본 발명의 기본 개념의 일면을 설명하는 것이다. 도 1은 본 발명의 기본 개념의 일면을 도시하는 도면이다. 도 1의 (1)은 원계수(101)를 나타내고 있고, 임의의 성분(값)을 가진 계수를 나타내고 있다. 도 1의 (2)는, 원계수를 임의의 양자화 폭(102)으로 양자화하는 예를 도시하고 있다. 양자화란, 아날로그 데이터 등의 연속량을, 디지털 데이터 등과 같은 이산적인 값에 근사한 것이다. 원계수를 임의의 양자화 폭으로 양자화를 행하면, 원계수의 성분이 양자화 폭에 의해 근사되어, 양자화 후 계수(107)로 된다.

디지털 데이터 압축 시에도, 원계수를 그대로 이용하는 것이 아니라, 이 양자화 폭과 양자화 후 계수를 이용함으로써, 대폭적인 데이터량의 압축 처리를 실현하고 있다.

다음으로 이 양자화에 의해 압축된 디지털 데이터의 복원 방법의 설명을 행한다. 복원에는, 양자화 폭과 양자화 후 계수로부터 복원 계수(105)를 복원한다. 이 처리는 역양자화라고 불리는 경우도 있다. 이 처리는, 양자화 폭의 영역에서, 중간값으로 값을 복원하는 예이다. 이 양자화 폭의 어느 위치에 복원할지는, 양자화측과 역양자화측 쌍방에서 정의해 둔다.

이 복원한 성분인 복원 계수와 복원 전의 원계수의 값의 차분을 양자화 오차(104)라고 한다. 이것은, 디지털 데이터 압축에 의해 생긴 노이즈이다. 이 양자화 폭과 압축비의 관계에 대해서는 일반적으로, 양자화 폭을 크게 하면 데이터의 압축비는 높아지지만 양자화 오차가 많아지고, 양자화 폭을 작게 하면 양자화 오차가 적어지지만 데이터 압축비는 작아진다.

여기까지의 처리의 구체예를 나타낸다. 예를 들면, 원성분이 55라고 하는 값을 갖고 있었던 경우에, 양자화 폭 20으로 양자화를 행하는 것을 생각한다. 그 경우에는, 압축에 이용하는 것은 양자화 후 계수 2, 양자화 폭 20이라고 하는 정보로 된다. 이 정보에 기초하여 역양자화를 행하면 양자화 폭의 중간값으로 값을 복원하는 경우, 복원 계수는 50으로 되어, 양자화 오차로서, (원계수)55-(복원 계수)50=5가 발생하게 된다.

이 양자화 오차의 제거에 대해서는, 복원 계수에 대하여 주변 정보나 그 성분의 성질에 의해 노이즈의 제거를 행하지만, 노이즈 제거를 위해서 복원 계수의 성분을 수정하는 경우에는, 참조 부호 106으로 나타내는 바와 같이 역양자화에 이용한 양자화 폭 영역 내에서의 성분의 수정이 필요로 된다. 만약 양자화 오차의 제거를 위한 처리에 의해, 복원 계수의 성분이 참조 부호 106으로 나타내는 역양자화에 이용한 양자화 폭 영역을 초과하게 된 경우, 그것은 원계수(원화상)와 상이한 계수(화상)로 되게 된 것을 의미하기 때문이다. 따라서, 노이즈 제거를 행하여 충실하게 원계수 복원하기 위해서는, 이 원리의 노이즈 제거, 즉, 양자화 폭 영역을 초과하지 않는 범위에서의 노이즈 제거를 행하는 것이 중요하게 된다.

<실시예 2>

본 실시예는, 화상 압축 방식으로서 MPEG2(ISO/IEC 13813-2) 방식을 이용한 예로 한다. 그러나 본 발명에서는, MPEG2 방식에 한정하지 않고, 그 밖의 압축 방식(예를 들면, H.264, MPEG1, MPEG4, JPEG, VC1) 등으로도 실현 가능하다.

우선 본 실시예의 개요를 설명한다. 화상의 압축 시(인코더측)에서, 화상 정보는 주파수 성분으로 분해되어 양자화된다. 그 때의 양자화 폭은, 양자화값과 양자화 매트릭스와 인트라 DC의 양자화 폭으로 스트림에 보존된다. 디코더측에서는, 양자화 후의 계수와 양자화 폭의 정보를 취득할 수 있으므로, 인코드 시에 그 계수가 양자화 시에 어느 값의 범위에 있었는지를 추측하는 것은 가능하다. 디코드측에서 노이즈 제거를 행할 때에는, 역양자화 후의 계수에 대하여, 그 양자화 폭의 범위에 들어가도록 값의 보정을 행한다.

도 5는 화상 신호를 가정한 신호를 주파수 변환한 경우의 각각의 신호 성분(503∼510)을 도시하고 있다. 본 도 5에서는, 간단화를 위해서 8차원의 성분으로 변환한 예를 나타낸다. MPEG2에서는, 이 변환에 8×8마다 변환을 행하는 DCT(Discrete Cosine Transform)라고 하는 주파수 변환을 이용하여, 64차원으로의 변환을 행한다. 도 5의 횡축(501)은, 주파수를 나타내고, 우측 방향으로 감에 따라서 고주파 성분인 것을 나타내고 있다. 도 5의 종축(502)은, 각각의 주파수 성분의 값을 나타내고, 절대값이 클수록 그 주파수 성분이 많이 존재하는 것을 나타내고 있다. 다음으로, 화상 압축에서는 이 주파수 성분에 대하여 양자화의 처리를 행한다.

도 6에, 도 5에 도시한 신호 성분을 양자화하는 이미지를 도시한다. 양자화는, 각각의 신호에 대하여 개별로 양자화 폭(601)을 산출하여 성분마다 양자화를 행한다. 양자화 폭(601)은, 부호화를 행하는 처리 단위인 매크로 블록마다 주어진 양자화값과, 픽쳐마다 주어지는 양자화 매트릭스에 의해 결정된다. 일반적으로는, 고주파 성분일수록 양자화 폭을 크게 하는 것이 화상 압축에서는 바람직하다. 이 양자화 폭으로 성분마다 개별로 양자화를 행하고, 양자화 후 계수와 양자화 폭을 스트림으로 함으로써 화상 압축을 실현하고 있다.

이 스트림의 디코드(복원, 신장)에 대해서는, 양자화 계수와 양자화 폭으로부터 주파수 성분을 복원하고, 그 주파수 성분을 역주파수 변환함으로써 화상 정보로 복원한다. 게다가, 양자화에 필요한 정보로서는, MPEG2 규격에서는, 양자화값(quantizer_scale), 양자화 매트릭스(non_intra/intra_quantizer_matrix), 인트라 DC 양자화 폭(intra_dc_precision)과 Intra/Inter 절환 정보(macroblock_intra)로 표기되어 있다. 타규격에서도, 양자화를 행하기 위해서 필요한 정보가 대상으로 된다.

이 화상 압축 전 화상과 화상 복원 후 화상에서는, 실시예 1에서 설명한 바와 같은 양자화 오차에 의해 노이즈가 발생한다. 이 노이즈는 일반적으로, 모스키토 노이즈나 블록 노이즈라고 불리고 있다. 이들 노이즈의 제거에 관해서는, 복원 화상에 각종 필터를 적용함으로써 실현 가능하다. 그러나, 노이즈 제거를 행하는 복원 화상의 수정에는, 압축에 이용한 양자화 폭의 범위 내에서 행하지 않으면 압축 전의 화상과는 상이한 화상으로 되게 된다. 노이즈의 제거를 행하여 압축 전의 화상을 충실하게 복원하기 위해서는, 이 원리의 노이즈 제거를 행할 필요가 있다.

도 2에 본 실시예의 구성을 도시한다. 도 2의 좌측 부분은 MPEG2의 디코더 수단(201)을 나타내고 있다. MPEG2의 Video 스트림은, VLD(Variable Length Decoding) 블록(202)에 입력되어 가변 길이 역부호화에 의해 스트림으로부터, 양자화 후 계수(208)나 양자화 폭(209)을 산출하기 위한 양자화 정보(205)와, 움직임 벡터 등의 움직임 정보(206)로의 변환을 행한다. 양자화 후 계수는, 역양자화부(203)에서 역양자화되고, 역주파수 변환부에서 역주파수 변환이 행해진다. 양자화 폭으로 되는 양자화 정보(205)는, VLD부로부터 역양자화부나 정보 유지부에 출력된다. 움직임 정보(206)는, 움직임 보상부(207)에 출력된다. 움직임 보상부에서는, 움직임 정보에 의해 이전의 복호 화상으로부터 예측 화상을 생성하여, 역주파수 변환부의 정보와 가산함으로써, 표시를 행하는 복호 화상(210)을 생성한다. 이 복호 화상은, 다음 픽쳐를 위한 참조 화상으로서 사용하기 위해서 움직임 보상부에서 유지를 행한다. 이상이 디코더 수단의 설명이다. 이것은, 통상의 MPEG2의 디코더와 마찬가지의 동작으로 된다. 이 MPEG2에서 디코드한 화상은, 양자화 노이즈인 모스키토 노이즈나 블록 노이즈를 포함하고 있으므로, 우측의 블록에서 노이즈 제거를 행한다. 본 노이즈 제거는, MPEG의 디코드 처리의 DCT의 단위인 8×8 블록마다 행한다.

노이즈 판단부(250)에 대하여 설명한다. 디코더에 의해 생성된 복호 화상은, 노이즈 판단부에 입력된다. 여기서는, 디코드를 행하는 블록 단위(MPEG2에서는 8×8 화소 단위)로 복호 화상의 정보나, 양자화 정보나, 픽쳐 정보나, 주변 화상 정보로부터 대상 블록이 노이즈 제거를 행해야 할지의 판단을 행한다. 압축 화상의 노이즈는, 엣지 화상을 포함하고 있는 경우에 많이 발생한다. 이것은, 엣지에는 많은 고주파 성분이 포함되어 있고, 이 고주파 성분이 양자화에 의해 결락하기 때문에 발생한다. 따라서, 본 블록에서는, 디코더 수단에 의해 생성한 복호 화상에 대하여 엣지 정보가 존재하는지의 해석을 행한다. 해석 방법으로서는, 화소 간의 차분을 취하고, 차분값이 임의의 임계값보다 큰 경우에는 엣지로 하거나 하여 검출을 행한다. 또한, 엣지 검출용의 필터를 이용해도 된다. 또한, 대상 블록의 양자화값을 해석함으로써 노이즈의 판정을 행하는 방법도 생각된다. 이것은, 동화상의 부호화에서 인간의 시각 특성에 의해 고주파의 노이즈는 눈에 띄기 어렵다고 하는 특성이 있고, 급준한 엣지를 포함한 블록은 양자화값을 크게 한다고 하는 경향이 있다. 따라서, 본 블록의 양자화값이 큰 경우에는, 그 부분에는 엣지 정보를 포함하고 있다고 판단해도 된다. 또한, 양자(화상의 정보와 양자화의 정보)를 이용하여 종합적으로 판단함으로써 보다 고정밀도의 엣지 검출도 가능하다.

또한, 동화상에서는 화상의 움직임이 심한 부분에서의 노이즈는 눈에 띄기 어렵다고 하는 특징이 있다. 따라서, 움직임이 심한 부분에서는, 노이즈 제거를 행하지 않는다고 판단을 해도 된다.

또한, 유저의 기호에 의해 노이즈 제거를 행하지 않는 모드가 존재하는 경우도 있다. 그와 같은 유저 지정에 의해 노이즈 제거를 행하지 않는다고 판단을 해도 된다.

노이즈 제거부(251)에 대하여 설명한다. 본 블록은, 노이즈 판단부에 의해 노이즈 삭제를 행한다고 판단한 블록에 대해서만 노이즈 제거를 행한다. 노이즈 제거의 방법으로서는, 화상 압축 시의 주파수 영역에서의 양자화에 의해 결락된 데이터를 예측함으로써 행한다. 본 방법의 기본적인 사고 방식을 하기에 나타낸다. 복호 화상에 대하여, 주변 화상으로부터의 도안의 추측이나, 엣지와 노이즈의 분류에 의해, 엣지는 보다 엣지답게, 노이즈는 제거하는 처리를 행한다. 이 조작에 의해 노이즈 제거를 행한 예측 화상을 작성한다. 주변 화상으로부터의 정보 이용에 대해서는 후술한다.

주파수 변환부(252)에 대하여 설명한다. 본 블록에서는, 노이즈 제거를 행한 화상에 대하여 주파수 변환을 행한다. 주파수 변환의 방식으로서는, 역주파수 변환과 대응한 방식으로 한다. MPEG의 경우에는 DCT를 이용한다.

양자화 폭 체크부(253)에 대하여 설명한다. 본 블록에서는, 양자화 후 계수와 양자화 폭으로부터 노이즈 제거 후의 화상이, 양자화 폭 내의 영역에 존재하고 있는지의 체크를 행한다.

이 양자화 폭 체크에 의해, 모든 계수가 양자화 폭에 들어가는 경우에는, 수정은 타당하다고 판단하고 그 화상을 표시 화상으로서 표시 화상 유지부(254)에 전송한다. 양자화 폭 체크에서 양자화 폭 외로 되게 된 경우에는, 그 정보를 모두 노이즈 제거부에 전송하여 재차 노이즈 제거를 행해도 되고, 노이즈 제거 전의 화상을 표시 화상으로서 표시 화상 유지부에 전송해도 된다.

다음으로, 도 4A, 도 4B를 이용하여 주변 블록 데이터의 사용에 대하여 설명한다. 도 4A, 도 4B는 디코드가 종료된 복호 화상(401)을 나타내고 있다. 디코드는 사각형의 매크로 블록(402) 단위로 행한다. 양자화값도 이 매크로 블록 단위로 값을 설정할 수 있다. 도 4A는, 배경(404)과 임의의 물체(403)가 촬영되어 있는 씬이며, 양자화 노이즈(405)는 물체와 배경을 양방 포함하고 있는 매크로 블록에서 많이 발생한다. 이 때의 양자화값(407)의 할당값(406)의 예를 도 4B에 도시한다. 이것은, 인코드 시에 설정한 양자화값이며, 인간의 시각 특성에 의해 평탄한 부분에서 보다 미세하게, 엣지의 부분에서 거칠게 양자화되는 것이 일반적이다. 이와 같은 경우에는, 임의의 블록의 노이즈 제거를 행하기 위한 주변 블록의 정보 이용은, 양자화값이 작은 블록으로부터의 정보를 이용한 쪽이, 유효한 정보를 취득할 수 있을 가능성이 높다. 이것은, 이 양자화값이 작은 블록에서는, 고주파 데이터의 결락은 적고, 재생 화상의 품질도 좋다고 생각된다. 또한, 도 4A에서, 물체와 배경을 포함한 블록에 대하여, 배경은 배경 정보(408), 물체는 물체 정보(409)를 이용하여 노이즈 제거를 행한 쪽이 보다 효율적으로 노이즈 제거가 가능하게 된다. 구체적으로는, 이 주변 정보를 노이즈 제거부의 예측 화상을 작성할 때의 정보로서 이용한다. 또한, 이 주변 정보를 이용하는 방법 외에, 과거나 미래의 프레임의 정보를 이용하거나, 휘도나 색차의 정보를 이용하는 것 등이 유효하다.

도 7에, 이 주변 블록의 사용을 행하기 위한 구성을 도시한다. 도 2의 구성 외에 새롭게 메모리부(701)를 추가함으로써, 양자화값과 복호 화상을 유지해 놓고, 노이즈 제거부에서 이용한다.

이 메모리부에서는, 노이즈 제거 후의 프레임을 유지해 두고 다음 프레임 이후의 노이즈 제거에 사용해도 된다. 이 경우에는, 노이즈 제거 후의 화상에 대하여 움직임 정보를 이용하여 움직임 보상을 행하고, 예측 화상으로서 노이즈 제거를 행한다.

또한, 메모리부에서 양자화값을 유지해 놓고, 그 양자화값을 이용하여 노이즈 제거에 사용해도 된다. 이것은, I-픽쳐와 P/B-픽쳐에서는 양자화의 크기가 상이하기 때문에, I-픽쳐에서의 양자화값을 계속적으로 이용하여 노이즈 제거함으로써, 픽쳐마다의 노이즈 제거를 균등하게 처리하는 것이 가능하게 되어, 동화상에서의 고화질의 노이즈 제거를 실현할 수 있다.

<실시예 3>

제2 실시예의 노이즈 제거는, 복호 화상에 노이즈 제거를 실시하고, 그 노이즈 제거 후의 화상이 양자화 폭에 들어가 있는지를 체크하는 구성이었지만, 제3 실시예에서는, 디코더 도중의 주파수 성분 상에서 수정하는 실시예에 대하여 설명한다.

도 3에, 본 실시예의 구성을 도시한다. 도면 내의 디코더 수단(201)에 대해서는, 제2 실시예와 마찬가지의 것이다.

주파수 변환부(301)에 대하여 설명한다. 주파수 변환부는, 움직임 보상부로부터 출력된 예측 화상에 대하여 주파수 변환을 행한다. 주파수 변환 방법에 대해서는, 역주파수 변환부(204)에 대응한 방법으로 한다. MPEG의 경우에는 DCT로 한다.

그리고, 주파수 변환부와 역양자화부(203)의 출력의 가산(302)을 행한다. 이에 의해, 복호 화상을 DCT한 것과 마찬가지의 정보를 작성한다. 참조 부호 301과 302의 조작은, 복호 화상의 주파수 변환 정보를 취득하기 위한 조작이며, 디코더 수단에 의해 작성한 복호 화상에 대하여 DCT를 실시하는 방식이어도 무방하다.

수정 폭 산출부(303)에 대하여 설명한다. 디코더 수단으로부터 양자화 후 계수와 양자화 폭의 정보를 취득하여, 복호 화상의 주파수 성분에 대하여 양자화 폭의 영역을 초과하지 않는 주파수 성분의 수정 폭의 계산을 행한다.

역주파수 변환부(305)에 대하여 설명한다. 본 블록은, 노이즈 제거를 행한 주파수 성분을 역주파수 변환하여 표시 화상을 작성하는 블록이다.

표시 화상 유지부(254)는, 표시 화상을 유지해 두는 블록이다.

노이즈 판단부(306)에 대하여 설명한다. 가산기(302)에 의해 생성된 복호 화상에 DCT를 적용한 정보를 입력으로 하여, 대상 블록에 대하여 노이즈 제거를 행할지의 판단을 행한다. 기본적으로는, 도면의 노이즈 제거부(250)와 마찬가지의 기능을 갖는다. 그러나, 입력이 주파수 성분이기 때문에, 주파수 성분에서의 판단으로 된다.

본 블록에서는, 역주파수 변환을 행하여 화상 영역에서 노이즈 판단을 행하여도 된다. 또한, 주변 블록, 과거, 미래의 블록을 이용하여 판단을 행해도 무방하다. 단, 그 경우에는, 메모리를 이용하여 판단을 행하는 정보의 유지를 행하여 둘 필요가 생긴다.

노이즈 제거부(304)의 설명을 행한다. 노이즈 제거부는, 참조 부호 302의 가산부에서 출력된 복호 화상의 주파수 성분의 정보에 대하여 노이즈 제거를 행한다. 이 주파수 성분에서의 노이즈 제거에 의한 값의 수정의 폭은, 수정 폭 산출부에서 계산된 폭 내에서 수정을 행한다. 이 때, 수정의 방법은 이하의 방법이 생각된다.

ㆍ자연 화상 등의 원화상의 성분을 패턴화하고, 복호 화상의 주파수 성분에 가까운 패턴으로 한다.

ㆍ도 8에 도시하는 방법(후술함)

전자의 방법에 대하여, 상세하게 설명한다. 이것은, 주파수 성분 상에서 노이즈 제거를 행하는 방법이다. 자연 화상이나 인공 화상은 노이즈가 적어 선명하게 한 화상인 것이 일반적이다. 그들 화상을 DCT 등의 주파수 변환을 이용하여 주파수 변환하면 특징적인 변환 결과로 된다. 자연 화상, 인공 화상 등 다양한 패턴을 주파수 변환한 계수를 테이블화해 둔다. 그리고, 양자화 후의 계수에 대하여 가장 가까운 패턴을 테이블로부터 찾아서 양자화 후의 계수를 수정한다.

도 9에, 계수의 테이블화와 계수 수정의 구체예를 도시한다. 참조 부호 901은, 주파수 변환 계수를 나타내고 있고, 본 예에서는 8×8의 DCT를 이용한 경우를 상정하고 있으므로 64계수 존재한다. 좌측 위의 계수를 직류 성분(904)(DC 성분)으로 하여, 우측 방향은 가로 방향 성분의 저주파 성분으로부터 고주파 성분을 나타내고, 하측 방향은 세로 방향 성분의 저주파 성분으로부터 고주파 성분을 나타내고 있다. 테이블화할 때에는, 자연 화상이나 인공 화상에 대하여 DCT를 실시하고, 저주파의 임의의 덩어리인 저역 성분군(902)(도면의 사선 블록)의 조합에 의해, 고역 성분군(903)(도면의 무지 블록)의 성분을 테이블화해 둔다. 이것은, 양자화 후 계수는, 양자화에 의해 고역 성분은 많이 깎여져 있고, 저역 성분은 정보가 많이 남아 있는 경우가 많으므로 그와 같은 구성으로 해 두는 것이 바람직하다. 또한, 이 저역 성분군과 고역 성분군의 분류는, 확보할 수 있는 테이블의 메모리량에 의해 결정할 수 있다. 많은 테이블을 확보할 수 있는 경우에는, 저역 영역군은 조금 넓게, 반대의 경우에는 조금 좁게 할 필요가 있다. 저역 영역군을 넓게 한 쪽이 계수의 수정을 보다 올바르게 할 수 있다.

다음으로, 그 테이블을 이용한 양자화 후 계수의 수정 방법에 대하여 설명한다. 디코드 시의 역양자화 후의 계수의 저역 성분군 계수로 상기의 테이블을 참조하여, 고역 성분군을 인출하고 역양자화 후의 계수의 고역 성분군의 값을 수정한다. 이것은, 특히 역양자화 후의 계수의 고역 성분군이 0이었던 경우에, 테이블의 값을 참조하여 값을 교체하는 것이 효과적이다. 이 때에는, 각 광역 성분군에 대하여 실시예 1에서 설명한 양자화 폭의 확인도 행하는 것이 바람직하다.

또한, 도 4에 도시한 바와 같은 주변의 블록이나 과거, 미래의 화상의 주파수 성분으로부터 유사한 블록의 정보를 참조함으로써, 역양자화 후의 계수의 수정을 행해도 된다.

다음으로 후자의 설명을 행한다. 도 8에, 원화상 평가 산출을 이용한 노이즈 제거의 구성을 도시한다. 도 3의 구성 외에 원화상 평가값 산출(802) 블록을 새롭게 추가한다.

원화상 평가 산출부는, 역주파수 변환부로부터 입력된 표시 화상에 대하여, 평가 함수에 의해, 평가값을 산출한다. 이 평가 함수는, 자연 화상이나 인공 화상 등에서 보다 특징적인 수치를 나타내는 평가 함수가 바람직하다. 또한, 평가 함수의 산출 시에는, 처리 대상 블록 내부의 정보만을 사용하는 것이 아니라, 주변 블록이나 과거ㆍ미래의 프레임 내의 정보를 이용하여 산출해도 된다. 그 경우에는, 별도 메모리를 이용하여 평가값 산출에 이용하는 데이터의 유지를 행해 둔다.

노이즈 제거부(801)는, 수정 폭 산출부에서 산출한 노이즈 제거부에서 주파수 성분을 변경하는 수정 폭 내에서, 가산부(302)에서 생성한 복호 화상의 주파수 성분 정보를 수정한다. 그리고, 역주파수 변환을 행하여, 원화상 평가값 산출부에서 평가값을 산출한다. 그 값을 다시 노이즈 제거부에 피드백한다. 그 조작을 복호 화상의 주파수 성분을 수정할 때마다 행한다. 그리고, 평가값이 가장 원화상다움을 나타내는 주파수 성분을 수정 후의 성분으로서 채용한다.

다음으로, 예측 화상 작성 시의, 주변 블록 정보의 사용에 대하여 설명한다. 동화상 부호화에서는, 양자화값을 화상 내부의 블록 단위로 절환한다. 예를 들면 MPEG2에서는, 16×16 화소의 블록 단위로 절환함으로써, 프레임 내의 화상의 경향에 맞추어 화상 압축을 가능하게 하고 있다. 이 양자화값이 작은 블록에서는, 고주파 데이터의 결락은 적고, 재생 화상의 품질도 좋다고 생각된다. 따라서, 처리 대상 블록의 인접 블록을 조사하고, 양자화값이 작은 블록이 있는 경우에는, 그 블록의 정보를 적극적으로 사용한다. 구체적으로는, 예측 화상 생성에서, 양자화값이 작은 인접 블록의 인접 화소를, 본 블록의 예측 화상의 값으로 한다. 이와 같이 함으로써, 블록 간에 생기는 블록 왜곡에 대해서도 저감하는 효과를 기대할 수 있다. 이 주변 블록의 양자화 정보는, 정보 유지부에 의해 실현한다. 도 3에 예를 나타낸다. 복호 화상에 대하여 양자화값의 할당값을 고려하여 주변 블록의 화상 데이터를 이용한다.

<실시예 4>

본 실시예에서는, H.264(ITU-T H.264)/MPEG4 AVC(ISO/IEC 14496-10)나 VC1(마이크로소프트가 개발한 동화상 압축 방식으로 Windows(등록상표) Media Video 9를 규격화한 것)의 경우의 구성에 대하여 나타낸다. 이들 동화상 부호화의 규격에서도, 실시예 1의 원리의 원노이즈 제거를 행한다. 또한, 본 실시예는, 실시예 2의 방식과 거의 마찬가지의 사고 방식으로 되지만, 취급하는 부호화 규격이 상이하기 때문에 부호화 툴이 상이하여, 실시예 2의 방식을 그대로 적용할 수 없다. 따라서, 실시예 2와의 차분의 부분에 대하여 특히 상세하게 설명한다.

이들 규격에서는, 복호 화상에 대하여 루프 내 필터(디블록킹 필터)라고 불리는 필터링의 처리가 실시된다.

도 10에 본 실시예의 구성도를 도시한다. Video의 스트림은, VLD부(1002)에서 가변 길이 부호화의 디코드를 행하여, 화상 데이터와, 양자화값이나 매트릭스의 정보 등 양자화 폭을 산출하기 위한 양자화 정보(1005)나 움직임 정보(1006)나 블록 모드 정보 등의 서브 정보로 나누어진다. 화상 데이터는, 역양자화부(1003)에서 역양자화의 처리를 행하고, 역주파수 변환부(1004)에서 역주파수 변환이 행해진다. 이 때, 역양자화 블록에는 양자화 정보가 공급된다. 또한, H.264나 VC1에서는, 블록의 분할 사이즈가 4×4∼8×8에서 가변 사이즈로 된다. 그들 정보는, VLD 블록으로부터 각 블록에 공급되는 것으로 한다.

한편, 움직임 정보(1006)는 움직임 보상부(1007)에 공급되어 움직임 보상을 행한다. 복호 화상(1010)은 움직임 보상된 데이터 및 정보를 역주파수 변환부(1004)로부터 부가함으로써 생성된다.

또한, 본 실시예의 규격에서는, Intra 예측이라고 하는 디코드 프레임 내의 정보만을 이용하여 예측 부호화하는 모드도 있지만, 본 실시예에서는, 이 움직임 보상부에서 Intra 예측의 처리도 행하는 예로 하고 있다. 그리고, 이 복호 화상은, 디블록킹 필터를 행하는 DF부(1011)에서, 블록 노이즈 제거가 행해진다. 이들 처리는, H.264/VC1의 통상의 디코더를 이미지하고 있어 디코더 수단(1001)으로 한다.

복호 화상(1010)은, 노이즈 판단부(1050)에 입력되어, 노이즈 제거를 행할지의 판정을 행한다. 그리고, 노이즈 제거부(1051)에서 노이즈 제거를 행한다. 그리고, 주파수 변환부(1052)에서 주파수 변환을 행하고, 양자화 폭 체크부(1053)에서 양자화 폭의 체크를 행한다. 그리고, 화상은 DF2부(1055)에서 디블록킹 필터가 실시되고, 표시 화상 유지부(1054)에 유지되어 표시된다.

노이즈 판단부, 노이즈 제거부, 양자화 폭 체크부에 대하여 설명한다. 본 블록은, 기본적으로는 도 2의 노이즈 판단부, 노이즈 제거부, 양자화 폭 체크부와 마찬가지의 기능을 갖는다. 그러나, 본 실시예의 규격에서는, 주파수 변환 사이즈가 4×4∼8×8까지 가변 사이즈이므로, 그 주파수 변환 사이즈에 맞추어 처리를 행한다. 블록 분할 사이즈에 대해서는, VLD 블록에서의 서브 정보로부터 DCT의 사이즈를 취득함으로써 알 수 있다.

DF2부에 대하여 설명한다. 본 블록에서는, 노이즈 제거부에서 노이즈 제거한 화상이거나, 노이즈 판단부에서 노이즈 판단이 필요없다고 판단된 블록에 대하여, 디블록킹 필터가 실시된다. 단, 노이즈 제거부에서 노이즈 제거를 행한 화상에 대해서는, 이미 노이즈 제거가 되어 있기 때문에, 본 블록에서 디블록킹 필터가 실시되지 않아도 된다.

또한, 이미 노이즈 제거를 행한 경우라도, 그 결과에 따라서 디블록킹 필터를 행할지, 행하지 않을지를 절환해도 된다.

또한, DF2부는, 노이즈 제거부에서 노이즈 제거를 행한 경우에 디블록킹 필터를 실시할지의 여부의 판정을 행하는 것 이외는, DF부와 마찬가지의 기능을 갖는 블록으로, 동일한 회로를 사용해도 된다.

<실시예 5>

실시예 4는 복호 화상에 대하여 노이즈 제거를 행하는 예이었지만, 주파수 도메인에서 노이즈 제거를 행하는 예를 본 실시예에 설명한다. 기본적인 사고 방식은, 실시예 3과 마찬가지이지만, 취급하는 규격이 상이하기 때문에 부호화 툴이 상이하여 그대로는 적용할 수 없다. 본 실시예에서는, H.264, VC1일 때의 차분에 대하여 상세하게 설명한다.

도 11은, H.264, VC1 등의 규격일 때의 주파수 도메인 상에서 노이즈 제거를 행하는 구성을 도시하고 있다. 디코더 수단(1101)은, 도 10의 디코더 수단(1001)과 마찬가지의 구성이다.

주파수 변환부(1151)는, 디코더 장치 내에서 작성한 움직임 보상 후의 데이터를 주파수 변환하는 블록이다. 주파수 변환할 때에는, DCT의 블록 사이즈에 맞추어 주파수 변환을 행할 필요가 있다. 이들 DCT 블록의 정보는, VLD 블록으로부터 취득할 수 있다.

가산기(1152), 주파수 변환부(1151), 노이즈 판단부(1160), 노이즈 제거부(1155), 수정 폭 산출부(1153), 역주파수 변환부(1154), 표시 화상 유지부(1157)에 대해서는, 도 3의 구성과 거의 마찬가지의 기능을 갖고 있다. 그러나, 본 실시예의 규격에서는 DCT의 블록 사이즈가 4×4∼8×8까지의 가변 블록 분할이며, 양자화에 대해서도 동 블록 사이즈로 실행되기 때문에, 이 블록 사이즈를 의식한 처리로 된다.

DF2부(1156)에 대하여 설명한다. 본 블록은, 도 10의 DF2와 거의 마찬가지의 기능을 갖는다.

이상, 첨부 도면을 참조하면서 본 발명에 따른 바람직한 실시 형태에 대하여 설명하였지만, 본 발명은 이러한 예에 한정되지 않는 것은 물론이다. 예를 들면, 상기한 실시예는 본 발명을 알기 쉽게 설명하기 위해서 상세하게 설명한 것이고, 반드시 설명한 모든 구성을 구비하는 것에 한정되는 것은 아니다. 당업자이면, 특허 청구 범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명백하고, 그들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 양해된다.

Claims

디지털 화상 압축된 스트림을 화상 데이터와 서브 정보로 디코드하는 VLD부와,
VLD부에 의해 디코드된 화상 데이터를 역양자화하는 역양자화부와,
역양자화된 데이터를 역주파수 변환하는 역주파수 변환부와,
VLD부에 의해 디코드된 서브 정보에 기초하여 움직임 보상을 행하는 움직임 보상부를 구비한 디코더 수단과,
VLD부가 디코드한 서브 정보를 복수 블록분 유지해 두는 정보 유지부와,
디코더 수단으로부터 생성된 표시 화상과, 정보 유지부에 대하여 노이즈 제거 판정을 행하는 노이즈 판단부와,
노이즈 판단부에 의해 노이즈 제거를 행한다고 판정된 블록에 대하여, 역양자화부로부터 출력된 화상 데이터와, 움직임 보상부로부터 출력된 움직임 보상 데이터와, 정보 유지부에 유지된 서브 정보를 이용하여 노이즈 제거를 행하는 노이즈 제거부와,
노이즈 판단부에 의해 노이즈 제거를 행한다고 판정한 경우에는 노이즈 제거부의 출력 화상을, 노이즈 제거를 행하지 않는다고 판정한 경우에는, 디코드 수단의 출력을 표시 화상으로서 유지하는 표시 화상 유지부
를 갖는 것을 특징으로 하는 압축 화상 노이즈 제거 장치.
제1항에 있어서,
노이즈 제거부에서 사용하는, 서브 정보란, 양자화에 이용하는 양자화값(quanter_scale)과, 양자화 매트릭스(quantiser_matrix), 인트라 DC의 양자화 폭(intra_dc_precision)의 정보인 것을 특징으로 하는 압축 화상 노이즈 제거 장치.
제1항에 있어서,
노이즈 제거는, 역양자화부 출력 계수에 대하여 계수를 보정함으로써 행하고,
그 보정된 계수값은, VLD부로부터 출력된 서브 정보로부터 산출한 양자화 폭으로 재양자화하였을 때에, 역양자화부 출력의 계수값으로 되는 범위 내에서의 보정을 행하는 것을 특징으로 하는 압축 화상 노이즈 제거 장치.
제1항에 있어서,
노이즈 제거를 행할지의 여부의 판단을 그 블록의 엣지 정보나 양자화값에 의해 결정하는 것을 특징으로 하는 압축 화상 노이즈 제거 장치.
제1항에 있어서,
노이즈 제거를 행할 때의 역양자화 계수의 보정값은, 본 블록의 인접 블록의 양자화값이 작은 블록의 화상 데이터를 이용하여 산출하는 것을 특징으로 하는 압축 화상 노이즈 제거 장치.
제1항에 있어서,
디코드 수단은, 화상 압축의 국제 표준 방식인 MPEG2인 것을 특징으로 하는 압축 화상 노이즈 제거 장치.
제1항에 있어서,
디코드 수단은, 화상 압축의 국제 표준 방식인 H.264인 것을 특징으로 하는 압축 화상 노이즈 제거 장치.
화상 데이터를 주파수 변환하여 계수로 하고, 그 계수를 소정의 양자화 폭으로 양자화하고, 또한, 그 양자화 폭을 나타내는 양자화 정보가 부가된 압축 화상 스트림이 입력되는 입력 수단과,
상기 입력 수단에 입력된 압축 화상 스트림에 대하여, 상기 양자화 정보가 나타내는 양자화 폭을 이용하여 역양자화하여, 복원 계수로 하는 역양자화 수단과,
상기 역양자화 수단에 의해 역양자화된 복원 계수를 보정하는 보정 수단과,
상기 보정 수단이 보정하는 범위를, 상기 양자화 정보가 나타내는 양자화 폭을 이용하여 제한하는 보정 범위 제한 수단과,
상기 보정 수단에 의해 보정된 복원 계수를 역주파수 변환하는 역주파수 변환 수단과,
상기 역주파수 변환 수단에 의해 역주파수 변환된 화상 데이터를 출력하는 출력 수단
을 구비하는 재생 장치.