KR20040058323A - 화상 부호화 장치, 화상 부호화 방법, 및 화상 처리 장치 - Google Patents

Abstract

입력 화상을 타일 분할하여 부호화하는 경우라도, 각 타일의 성질에 따라 정밀한 화질 조정을 가능하게 한다. 입력 화상 신호는 타일 분할부(102)나 웨이블렛 변환부(103), 엔트로피 부호화부(106) 등을 통하여 부호화 데이터로 되어 부호 메모리(107)에 저장된다. 이것과 병행하여 왜곡 계산부(108)에서는 각 부호 블록의 각 부호화 패스 단위로 왜곡을 계산하여 왜곡 메모리(109)에 저장하는 한편, 복잡 타일 판정부(111)는 해당 타일이 복잡 타일인지의 여부를 판정하여, 그 판정 출력을 타일 종류별 메모리(112)에 저장한다. 왜곡 메모리(109)로부터 출력된 왜곡 데이터는 승산기(110)에 출력되고, 승산기(110)에서는 그 왜곡 데이터에 가중 계수 선택부(113)에 의해 선택된 가중 계수를 승산한다. 이렇게 해서 가중된 부호화 패스마다의 왜곡이 레이트 제어부(114)에 출력되어, 레이트 제어부(114)에서는 부호화 데이터에 의한 부호량 제어를 행한다.

Description

화상 부호화 장치, 화상 부호화 방법, 및 화상 처리 장치{IMAGE ENCODING DEVICE, IMAGE ENCODING METHOD, AND IMAGE PROCESSING DEVICE}

현재 인터넷을 중심으로 정지 화상 부호화 알고리즘 JPEG가 널리 보급되고 있지만, 한편으로는 차세대의 부호화 방식으로서 한층더 성능 개선, 기능 부가의 요구를 배경으로 하여, 1997년부터 새롭게 JPEG2000 프로젝트가 ISO와 ITU의 합동 기관에 의해 개시되었다. 2000년 12월에는 상기 JPEG2000 알고리즘의 기본 방식을 정하는 파트1에 대하여 그 주요한 기술 내용이 확정되었다.

이 JPEG2000의 부호화 알고리즘에서는, 입력 화상 신호에 대하여 색 좌표 변환을 행하고, 타일 분할을 행하여 웨이블렛 변환하고 있기 때문에, 부호화 레이트를 낮추면, 그 타일 경계부에 선형의 왜곡(화질 열화)을 발생시켜, 원활함이 손상된 화상이 된다.

그 때문에, 예를 들면, 종래의 화상 처리 장치에서는, 이러한 타일 경계에 발생하는 왜곡을 억제하기 위해, 웨이블렛 변환 처리에서 타일 경계부에서 부족한 데이터를 확장할 때에 JPEG2000으로 정의되어 있는 대상 확장 방법 이외에, 점 대상 확장 방법도 병용함으로써 타일 경계부에 존재하는 선형의 왜곡을 억제하는 경우가 있다.

그러나, 이 종래의 화상 처리 장치의 경우, 2개의 확장 방법을 전환 제어하고 있기 때문에, 어떤 확장 방법을 사용하고 있는지 부호화 데이터 내에 매립할 필요가 있다. 이것은, 부호화 데이터량의 증가라는 문제로 이어질 뿐만 아니라, JPEG2000의 규격의 범위를 넘기 때문에, 호환성이 유지될 수 없다는 문제가 있다.

또한, 이러한 타일 경계의 왜곡은, 특히, 배경 영역 등 오브젝트가 없는 영역이나 텍스쳐가 적은 영역에서 눈에 띈다. 원래 배경 영역에는, 노이즈에 가까운 레벨이 작은 변동 신호가 텍스쳐(변동 텍스쳐라고 칭함)로서 일부 포함되어 있지만, 오브젝트가 존재하는 복잡한 영역과 비교하면, 웨이블렛 변환 시의 고역 통과 성분이 극단적으로 적은 경향이 있다. 이 배경 영역의 고역 통과 성분은, 최종적인 부호 데이터를 형성하는 레이트 제어 기능에 의해 그 대부분이 제거되기 때문에, 보다 왜곡이 눈에 띄게 된다고 생각되어진다. 따라서, 이 변동 텍스쳐에 해당하는 서브밴드를 찾아내어, 주파수 가중 처리(frequency Weighting)에 의해 그 서브밴드에 높은 가중값을 설정하여, 일부 존재하는 텍스쳐를 재현함으로써, 디서링의 효과로 타일 경계를 억제할 수 있다고 생각되어진다. 그러나, 이 방법은, 모든 타일에 대하여 동일한 처리를 실시하기 때문에, 본래 높은 가중값을 설정하지 않아도 되는 타일에까지 높은 가중값을 설정하게 된다. 반대로, 지금까지 시각적으로 중요했던 영역이 상대적으로 낮은 가중값이 설정되어, 그 부분의 화질이 저하하는 것이 생각되어진다. 즉, 타일 경계에 발생하는 왜곡을 억제하기 위해, 전체 타일에 균일한 주파수 가중 처리를 실시하면, 타일 경계는 억제할 수 있을 지도 모르지만, 다른 시각적으로 중요한 영역에 화질 열화가 발생한다는 문제가 있다.

이 점을 실제로 실험으로 확인해 본 결과, 웨이블렛 변환 횟수를 「n」으로 했을 때, 배경 영역의 텍스쳐에 대해서는, 분해 레벨 「n-1」의 서브밴드가 화질적으로 크게 기여하는 것을 알았다. 여기서 분해 레벨 「n」은 최고 해상도의 서브밴드를 나타내는 것으로 한다. 이 때, 주파수 가중 처리에 의해, 분해 레벨 「n-1」의 서브밴드의 강조 처리를 행한 결과, 이 텍스쳐가 재현됨으로써 디서링과 흡사한 효과를 발휘하여, 타일 경계에 발생하였던 왜곡을 억제할 수 있지만, 한편 특히 해상도가 높은 기울어진 방향성을 갖는 엣지 부분에서 들쭉날쭉한 모양(톱니 모양)이 눈에 띈다는 문제가 발생하였다. 이것은, 분해 레벨 「n-1」의 서브밴드의 정보를 우선하는 것에 의해, 높은 해상도를 갖는 분해 레벨 「n」의 정보가 삭제될 수 밖에 없다.

또한, JPEG2000에는 최종적인 부호 데이터량을 일정한 범위 내에 두고, 또한 그 범위 내에서 평균 제곱 오차를 기준으로 한 최고 화질을 제공하는 레이트 제어 기능이 준비되어 있다. 그러나, 실제의 재생 화상을 보면, 오차가 낮다고 해도, 반드시 시각적으로 양호한 화상을 재현할 수 없는 경우가 있다는 문제가 있다. 예를 들면, 사람의 얼굴의 화상을 부호화하려면, 피부의 섬세한 텍스쳐가 제거되어,고해상도가 열화된 화상이 된다. 이것은, 웨이블렛 변환 계수의 고역 성분이 저역 성분과 비교하여 화질에 영향을 주기 어렵기 때문에, 레이트 제어 기능에 의해 이 부분의 정보가 우선적으로 삭제되기 때문이라고 생각되어진다. 이러한 문제에 대해서는, 먼저 설명한 주파수 가중 처리가 유효하다. 예를 들면, 사람의 피부의 텍스쳐를 재현하기 위해서는, 그 텍스쳐에 해당하는 웨이블렛 변환 영역에서의 서브밴드를 찾아내어, 그 서브밴드의 가중값을 높게 설정함으로써, 그 텍스쳐를 양호하게 재현할 수 있다. 그러나, 모든 타일에 대하여 동일한 처리를 실시하기 위해, 본래 높은 가중값을 설정하지 않아도 되는 타일에까지 높은 가중값을 설정하게 된다. 반대로, 지금까지 시각적으로 중요하였던 영역이 상대적으로 낮은 가중값이 설정되어, 그 부분의 화질이 저하하는 것을 생각할 수 있다. 즉, 사람의 피부와 같은 섬세한 텍스쳐의 재현성을 향상시키기 위해, 전체 타일에 통일된 주파수 가중 처리를 실시하면, 사람의 피부의 부분에서는 고품질화할 수 있을지도 모르지만, 다른 시각적으로 중요한 영역에 화질 열화가 발생한다는 문제가 있다.

이 점을 실제로 실험으로 확인하여 본 결과, 웨이블렛 변환 횟수를 「n」으로 했을 때, 인물의 얼굴(피부)의 텍스쳐에 대해서는, 분해 레벨 「n-1」의 서브밴드가 화질적으로 크게 기여하는 것을 알았다. 따라서, 주파수 가중 처리에 의해, 분해 레벨 「n-1」의 서브밴드의 강조 처리를 행한 결과, 피부의 재현성은 양호하게 되었지만, 특히 기울어진 방향성을 갖는 머리털의 부분에서 들쭉날쭉한 모양(톱니 모양)이 눈에 띄게 되는 문제를 발생하였다. 이것은, 분해 레벨 「n-1」의 서브밴드의 정보를 우선하는 것에 의해, 머리털 등의 높은 해상도를 갖는 분해 레벨「n」의 정보가 삭제될 수밖에 없다.

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위해 이루어진 것으로, 입력 화상을 타일 분할하여 부호화하는 경우라도, 타일에 따라 화상 신호의 부호화 레이트를 탄력적으로 제어하는 것에 의해, 각 타일의 성질에 따라 보다 미세한 화질 조정을 가능하게 하여, 화상 전체적으로 양호한 재생 화상을 얻을 수 있는 화상 부호화 장치, 화상 부호화 방법, 및 화상 처리 장치를 제공하는 것을 목적으로 한다.

<발명의 개시>

상기 목적을 달성하기 위해, 본 발명에서는, 입력 화상을 소정 사이즈의 타일로 분할하고, 개개의 타일에 포함되는 화상 신호를 주파수 성분으로 변환하고, 얻어진 변환 계수를 양자화하고, 그 양자화 계수를 엔트로피 부호화함과 함께, 그 양자화 왜곡을 연산하고, 이 양자화 왜곡을 이용하여 상기 엔트로피 부호화된 부호화 데이터의 부호량을 제어하는 화상 부호화 장치로서, 상기 변환 계수를 참조하여 각 타일을 그 성질에 따라 복수의 카테고리로 분류하는 타일 분류부와, 해당 타일 분류부의 출력에 따라 상기 양자화 왜곡에 가중값을 부여하는 가중부와, 상기 가중부에 의해 가중값이 부여된 양자화 왜곡에 기초하여, 상기 엔트로피 부호화된 부호 데이터의 부호량을 제어하는 레이트 제어부를 갖는 화상 부호화 장치이다.

또한, 입력 화상을 소정 사이즈의 타일로 분할하고, 개개의 타일에 포함되는 화상 신호를 주파수 성분으로 변환하고, 얻어진 변환 계수를 양자화하고, 그 양자화 계수를 엔트로피 부호화함과 함께, 그 양자화 왜곡을 연산하고, 이 양자화 왜곡을 이용하여 상기 엔트로피 부호화된 부호화 데이터의 부호량을 제어할 때의 화상 부호화 방법으로서, 상기 변환 계수를 참조하여 각 타일을 그 성질에 따라 복수의 카테고리로 분류함과 함께, 그 복수의 카테고리마다 상기 양자화 왜곡에 가중값을 부여하고, 상기 가중 계수가 부여된 양자화 왜곡에 기초하여, 상기 엔트로피 부호화된 부호 데이터의 부호량을 제어하는 화상 부호화 방법이다.

또한, 상기 화상 부호화 장치를 구비하여, 이 화상 부호화 장치에 의해 부호량을 제어받은 부호화 데이터를 처리하는 화상 처리 장치이다.

본 발명은, 입력 화상을 소정 사이즈의 타일로 분할하여, 개개의 타일에 포함되는 화상 신호를 주파수 성분으로 변환하고, 얻어진 변환 계수를 양자화하여, 그 양자화 계수를 엔트로피 부호화함과 함께, 그 양자화 왜곡을 연산하고, 이 양자화 왜곡을 이용하여 상기 엔트로피 부호화된 부호화 데이터의 부호량을 제어하는 화상 부호화 장치, 화상 부호화 방법, 및 화상 처리 장치에 관한 것이다.

도 1은 제1 실시예의 화상 부호화 장치를 도시하는 블록 구성도.

도 2는 웨이블렛 변환부(103)의 구성이나 동작의 개략예를 도시하는 도면.

도 3은 도 1에 도시하는 가중 계수 선택부(113)의 상세 구성을 도시하는 도면.

도 4는 왜곡 메모리(109), 타일 종별 메모리(112), 가중 계수 선택부(113)에 데이터를 저장하는 일례를 도시하는 도면.

도 5는 제2 실시예의 화상 부호화 장치를 도시하는 블록 구성도.

도 6은 제2 실시예의 타일 분류부(301)의 상세 구성을 도시하는 도면.

도 7은 제2 실시예의 경사 타일 판정부(401)의 상세 구성을 도시하는 도면.

도 8은 자기 상관 연산부(501)에서의 자기 상관 계수의 일례를 도시하는 도면.

도 9는 sum1 및 sum2가, 각각 어떤 자기 상관 계수의 합을 취한 것인지 알기쉽게 설명하는 도면.

도 10은 제3 실시예의 타일 판정부(301)의 상세 구성을 도시하는 도면.

도 11은 제4 실시예에서 경사 방향을 검출할 때의 참조 화소를 도시하는 도면.

도 12는 제5 실시예의 경사 타일 판정부(401)의 상세 구성을 도시하는 도면.

도 13은 제5 실시예에서의 경사 패턴 기억부(1002)에 미리 저장되어 있는 경사 방향의 2치 패턴의 일례를 도시하는 도면.

도 14는 제6 실시예에서의 경사 패턴 기억부(1002)에 미리 저장되어 있는 경사 방향의 2치 패턴의 일례를 도시하는 도면.

<발명을 실시하기 위한 최량의 형태>

제1 실시예

도 1에, 본 제1 실시예의 화상 부호화 장치의 블록 구성도를 도시한다. 도 1에서, 참조 부호 101은 필요에 따라 RGB 신호로부터 YCbCr 등으로의 색 공간 좌표의 변환을 행하는 색 좌표 변환부, 참조 부호 102는 각 색성분 신호를 타일이라고 하는 복수의 구형(矩形)으로 분할하는 타일 분할부, 참조 부호 103은 2차원의 웨이블렛 변환을 행하는 웨이블렛 변환부, 참조 부호 104는 웨이블렛 변환부에 의해 생성된 변환 계수를 설정된 양자화 스텝 사이즈로 양자화하는 양자화 처리부, 참조 부호 105는 양자화된 웨이블렛 변환 계수를 2치 산술 부호화하기 위한 모델링을 행하는 계수 모델링부, 참조 부호 106은 산술 부호화에 의해 엔트로피 부호화를 행하는 엔트로피 부호화부, 참조 부호 107은 엔트로피 부호화된 부호 데이터를 저장하는 부호 메모리, 참조 부호 108은 엔트로피 부호화하는 단위로 왜곡을 계산하는 왜곡 계산부, 참조 부호 109는 해당 왜곡 계산부(108)에 의해 계산된 왜곡 데이터를 저장하는 왜곡 메모리, 참조 부호 110은 왜곡 메모리(109)로부터 출력되는 왜곡 데이터에 대하여 원하는 가중 계수를 승산하는 승산기, 참조 부호 111은 각 타일의 웨이블렛 변환 계수로부터 그 타일이 복잡한 텍스쳐를 많이 포함하는 복잡 타일인지의 여부를 판정하는 복잡 타일 판정부, 참조 부호 112는 해당 복잡 타일 판정부(111)의 출력을 저장하는 타일 종별 메모리, 참조 부호 113은 해당 타일 종별 메모리(112)의 출력을 받아 미리 저장되어 있는 복수의 가중 계수로부터 대응하는 가중 계수를 선택하는 가중 계수 선택부, 참조 부호 114는 승산기(110)로부터 출력되는 가중된 왜곡 데이터를 고려하여 부호 메모리(107)에 저장되어 있는 부호 데이터로부터 필요한 데이터를 선택하고, 설정된 목표 부호량이 되도록 레이트 제어하는 레이트 제어부, 참조 부호 301은 복잡 타일 판정부(111)를 갖는 타일 분류부이다. 또, 도 1의 구성에서는, 가중 계수 선택부(113)와 승산기(110)에 의해 본 발명의 가중부를 구성하고 있다.

이어서 동작에 대하여 설명한다.

도시되지 않은 화상 입력 장치, 예를 들면 이미지 스캐너나 디지털 카메라, 혹은 네트워크나 기억 매체 등으로부터 입력된 화상 신호는, 필요에 따라 색 좌표 변환부(101)에 의해 색 공간 좌표의 변환을 행한다. 일반적으로 설명하면, 컬러의 RGB 신호가 입력된 경우에는, 비가역 압축인 경우에는 휘도 신호(Y)와 색차 신호(Cb, Cr)에의 변환이, 가역 압축인 경우에는 손실이 없는 RCT 변환이 행해진다. 또한, 모노크롬의 화상 신호가 입력된 경우에는 본색 좌표 변환부는 바이패스된다.

타일 분할부(102)에서는, 색 좌표 변환부(101)로부터 입력되는 각 색성분 신호에 대하여, 타일이라고 하는 복수의 구형 영역으로 분할한다. 이후의 처리에서는 이 타일을 마치 하나의 화상과 같이 취급하는 것으로 한다.

웨이블렛 변환부(103)에서는, 1개의 타일을 1개의 화상으로 간주하여 2차원의 웨이블렛 변환을 실시하고, 복수의 서브밴드로 대역 분할한다. 여기서 이차원의 웨이블렛 변환은 일차원의 웨이블렛 변환의 조합으로서 실현된다. 즉, 수평 방향의 일차원 웨이블렛 변환을 라인마다 순차적으로 행하는 처리와, 수직 방향의 일차원 웨이블렛 변환을 열마다 순차적으로 행하는 처리이다.

도 2에, 웨이블렛 변환부(103)의 구성이나 동작의 개략예를 도시한다. 도 2의 (a)는, 웨이블렛 변환부(103)에서의 일차원의 웨이블렛 변환 부분의 구성예를 도시하는 것으로, 일차원의 웨이블렛 변환은 소정의 특성을 갖는 저역 통과 필터와, 고역 통과 필터와, 다운 샘플러로 구성되어 있고, 이차원의 웨이블렛 변환은 일차원의 웨이블렛 변환의 조합으로서 실현된다. 그런데, 이들 필터 처리의 탭(계수)의 수는, 비가역 압축 저역 통과 필터에서 9, 고역 통과 필터에서 7, 가역 압축 저역 통과 필터에서 5, 고역 통과 필터에서 3이 이용되기 때문에, 화상의 끝, 또는 타일의 단부분에서는 데이터가 부족하게 되어, 그것을 보충하는 확장 처리가 필요하다. 이 때문에, JPEG2000에서는, 도 2의 (b)에 도시한 바와 같은 거울과 같이 절첩하는 확장 방법(대상 확장)이 이용되고 있다. 이렇게 해서 생성된 이차원의웨이블렛 변환 계수는, 저역 성분을 L, 고역 성분을 H로 하고, 주 주사 방향의 변환을 1 문자째, 부 주사 방향의 변환을 2 문자째로 표현함으로써, 도 2의 (c)에 도시한 바와 같이 LL, HL, LH, HH로 표현된다. 또한, 이들 대역 분할된 성분은 서브밴드라고 한다. 여기서, 수평, 수직 방향의 저역 성분(LL 성분)은 재귀적으로 웨이블렛 변환이 실시된다. 재귀적으로 실시되는 각 웨이블렛 변환에 의해 생성되는 각 서브밴드를 분해 레벨로 칭하고, 도 2의 (c)에서 LL, HL, LH, HH 앞에 기재된 숫자가 이것에 대응한다. 즉, 최저 해상도의 LL 성분은 항상 분해 레벨0이 되고, 반대로 최고 해상도의 고역 성분 HL, LH, HH의 분해 레벨은 웨이블렛 변환의 횟수와 동일값이 된다. 이 도 2의 (c)의 예로서는 웨이블렛 변환을 2회 행하고 있으므로, 최고 해상도 성분의 분해 레벨은 2로 된다.

양자화 처리부(104)에서는, 서브밴드마다 설정된 양자화 스텝 사이즈에 의해 웨이블렛 변환 계수를 양자화한다.

계수 모델링부(105)에서는, 각 서브밴드의 웨이블렛 변환 계수를 부호 블록이라고 하는 고정 사이즈의 영역으로 분할한 후, 각각의 부호 블록의 다치 데이터를 2치의 비트 플레인으로 변환한다. 또한, 각 비트 플레인을 3가지의 부호화 패스(Significance pass, Refinement pass, cleanup pass)로 분할하고, 각각의 부호화 패스마다 엔트로피 부호화하기 위한 컨텍스트 모델링을 행한다.

3개의 부호화 패스로부터 출력되는 2치 신호는 엔트로피 부호화부(106)에 의해 산술 부호화가 행해진다.

엔트로피 부호화부(106)에 의해 생성된 부호화 데이터는 일단 부호메모리(107)에 저장된다.

이들 부호화 처리와 병행하여, 왜곡 계산부(108)에서는 각 부호 블록의 각 부호화 패스 단위로 왜곡을 계산한다. 산출된 왜곡 데이터는, 색성분, 타일 번호, 서브밴드, 부호 블록, 부호화 패스를 특정할 수 있는 인덱스가 부여된 후, 왜곡 메모리(109)에 저장된다.

타일 분리부(301)의 복잡 타일 판정부(111)에서는, 복잡도를 나타내는 지표로서, 휘도 성분에서의 각 타일의 HH 성분에 대하여, 이하의 (수학식 1)을 사용하여 평균 전력 Pt를 계산한다.

여기서, 첨자 t는 타일 번호, C(i, j)는 위치(i, j)의 HH 성분의 변환 계수, Jmax는 HH 성분의 주 주사 방향의 샘플 수, Imax는 부 주사 방향의 샘플 수를 나타내고 있다.

이어서, 임의의 임계값 Tp를 설정하여, 이하의 판정식에 따라 복잡 타일인지, 단순 타일인지 해당 타일의 카테고리를 판정한다.

If(Pt>Tp)…복잡 타일

Else…단순 타일

복잡 타일 판정부(111)의 출력은, 일단 타일 종별 메모리(112)에 저장된다.

이상의 처리에 의해, 부호 메모리(107)에는 부호 데이터가, 왜곡메모리(109)에 왜곡 데이터가, 타일 종별 메모리(112)에는 타일 카테고리가, 전체 타일에 걸쳐 저장된다. 이들 정보를 이용하여, 레이트 제어부(114)에 의해 레이트 제어를 행하게 된다.

여기서, 레이트 제어 방법에 대하여 설명한다.

왜곡 메모리(109)로부터 판독한 왜곡의 합계가 최소가 되고, 또한 토탈의 부호량이 목표 부호량 이하가 되는 2개의 조건을 동시에 만족시키면서, 부호화 패스마다 부호 데이터를 추출한다. 이 2개의 조건을 동시에 만족시키는 최적화 연산에는, 라그랑주의 미정 승수법을 이용함으로써 해결할 수 있다. 지금, 부호화 패스마다의 왜곡을 Di, 부호화 패스마다의 부호량을 Ri로 했을 때, 임의의 값 λ에 대하여,

가 최소로 된 부호화 패스의 위치 i를 계산한다. 이 때의 총 부호량 R

가 목표 부호량이 되도록 λ을 반복하여 조정한다. 또, 여기서 첨자 i는 부호화 패스로 기록되어 있지만, 이것은, 전체 색성분, 전체 타일, 전체 분해 레벨의 부호화 패스를 표시하고 있다.

도 1로 되돌아가, 왜곡 메모리(109)로부터는 레이트 제어부(114)로부터 출력되는 부호화 패스, 부호 블록, 서브밴드, 타일 번호, 색성분의 인덱스에 따라 각 부호화 버스 단위의 왜곡 데이터 Di가 출력되고, 승산기(110)에서는 각 부호화 패스 단위의 왜곡 데이터 Di에 가중 계수 선택부(113)에 의해 선택된 가중 계수를 승산하게 된다.

여기서 가중 계수 선택부(113)에 대하여, 도 3을 사용하여 자세히 설명한다.

도 3은 도 1에 도시하는 가중 계수 선택부(113)의 상세 구성을 도시하는 도면이다. 도 3에서, 참조 부호 201은 복수의 가중 계수를 각각 저장한 복수의 레지스터를 나타내는 가중 계수 레지스터군, 참조 부호 202는 가중 계수 레지스터군(201)의 출력인 복수의 가중 계수로부터 선택 신호에 기초하여 원하는 가중 계수를 선택하는 선택부이다. 이하 동작에 대하여 설명한다.

가중 계수 레지스터군(201)의 각 레지스터에는, 앞서 설명한 2개의 타일 카테고리마다 각 서브밴드의 가중 계수를 설정해 두는 것으로 한다. 따라서, 색성분 3, 분해 레벨 3인 경우에는, 3색성분×(3 분해 레벨×3 서브밴드+1 서브밴드)×2 타일 카테고리=60의 가중 계수를 설정하게 된다. 우선, 레이트 제어부(114)로부터 타일 종별 메모리(112)에, 현재 처리하려는 부호화 패스가 소속하는 타일의 번호가 입력되면, 그 타일 번호에 해당하는 타일 카테고리 신호가 출력되어, 가중 계수 선택부(113)에 입력된다. 가중 계수 선택부(113)의 선택부(202)에는, 타일 종별 메모리(112)로부터 타일 카테고리가, 레이트 제어부(114)로부터 현재 처리하려는 부호화 패스가 소속하는 색성분, 서브밴드를 나타내는 인덱스가 선택 신호로서 입력되므로, 선택부(202)에서는, 이들 입력 선택 신호에 기초하여 해당하는 가중 계수를 선택하고, 승산기(110)에 출력한다. 승산기(110)에서는 상술한 바와 같이 각 부호화 패스 단위의 왜곡 데이터 Di에 가중 계수 선택부(113)에 의해 선택된 가중 계수를 승산하여 출력한다. 또, 도 4의 (a), 도 4의 (b), 도 4의 (c)에는 각각 왜곡 메모리(109), 타일 종별 메모리(112), 가중 계수 레지스터군(201)에서의 데이터의 저장 방법의 일례를 도시해 둔다.

이렇게 해서, 도 1의 승산기(110)로부터는 가중된 부호화 패스마다의 왜곡 Di가 레이트 제어부(114)에 출력되고, 레이트 제어부(114)에서는 승산기(110)로부터 입력되는 가중된 부호화 패스마다의 왜곡 Di에 기초하여, 부호 메모리(107)로부터의 부호 데이터의 데이터가, 목표로 하는 부호 사이즈 이하가 되도록 부호화 데이터의 레이트 제어, 즉 부호량을 조정하고, 또한 그 목표 부호 사이즈 내에서 재현할 수 있는 최고의 화질을 제공하도록 한다.

즉, 본 제1 실시예에서는, 상술한 바와 같이 엔트로피 부호화부(106)에서의 엔트로피 부호화 처리와 병행하여, 왜곡 계산부(108)에 부호화 패스 단위로 양자화 시의 오차의 제곱 평균을 왜곡으로 하여 계산해 두고, 또한 그 왜곡에 타일 카테고리마다의 가중 계수가 승산되므로, 레이트 제어부(114)에서는 이 가중 계수가 승산된 왜곡이 최소가 되도록, 부호화 패스 단위로 부호화 데이터를 선택적으로 취득하고, 토탈의 부호량이 목표로 하는 부호 사이즈 내가 되도록 함으로써, 목표 부호량에서의 최고의 화질을 제공한다. 또, 이 왜곡 최소, 목표 부호량 이하의 2개의 조건을 동시에 만족시키기 위해서는 최적화 연산이 필요하게 되는데, 여기에는 상술한 바와 같이 라그랑주의 미정 승수법 등을 이용하고 있다.

이상과 같이, 본 제1 실시예에서는, 각 타일을 그 성질에 따라 복잡 타일, 단순 타일의 2개의 카테고리로 분류하고, 각각의 타일 카테고리에 적합하도록 서브밴드마다 가중값을 설정할 수 있다. 이에 의해, 전체 타일에 걸쳐 균일한 가중값 설정이었던 종래 방식과 비교하여, 화질 설정의 자유도가 확대된 것에 의해, 보다 미세한 화질 조정이 가능하게 되는 효과가 있다.

그 결과, 예를 들면, 타일 경계에 발생하는 선형의 왜곡을 억제하려는 경우에는, 배경 영역에 존재하는 미세한 변동 텍스쳐를 남기기 위해, 배경 영역과 식별되는 단순 타일에 대해서는, 변동 텍스쳐에 해당하는 서브밴드 성분에 높은 가중값을 설정한다. 한편, 배경 영역과 식별되지 않는 복잡 타일에서는 필요 이상으로 정보량이 할당될 가능성이 높으므로, 복잡 타일에서 비교적 중요도가 낮은 고역 성분에 낮은 가중값을 설정한다. 이와 같이, 복잡 타일에서 모은 정보량을 단순 타일의 변동 텍스쳐에 상당하는 서브밴드에 할당하는 것에 의해, 타일 경계를 억제할 수 있다는 효과가 있다.

제2 실시예

도 5에 본 제2 실시예의 화상 부호화 장치의 블록 구성도를 도시한다. 도 5에서, 도 1과 동일 부호의 블록이 존재하는데, 이것은 제1 실시예에서 설명한 동작과 완전히 동일한 동작을 하게 한다. 도 5가 도 1과 상이한 것은 타일 분류부(301), 및 가중 계수 선택부(302)이다. 이 타일 분류부(301)는 각 타일의 성질로부터 3개의 카테고리로 분류하는 것으로, 가중 계수 선택부(302)는 3개의 카테고리에 따른 가중 계수로부터 원하는 가중 계수를 선택하는 것이다.

여기서, 도 6을 사용하여 타일 분류부(301)에 대하여 자세히 설명한다.

도 6은, 타일 분류부(301)의 상세 구성을 도시하는 도면이다. 도 6에서, 참조 부호 111은 도 1에 도시하는 복잡 타일 판정부(111)와 완전히 동일하고, 해당 타일이 복잡 타일인지의 여부를 판정하는 복잡 타일 판정부, 참조 부호 401은 해당 타일이 경사 타일인지의 여부를 판정하는 경사 타일 판정부, 참조 부호 402는 복잡 타일 판정부(111)와 경사 타일 판정부(401)의 출력을 받아 해당 타일이 복잡 타일, 단순 타일, 경사 타일 중 어느 타일 카테고리에 해당하는지 판정하는 통합 판정부이다.

이어서 동작에 대하여 설명한다.

복잡 타일 판정부(111)는 제1 실시예에서 설명한 동작과 완전히 동일한 동작을 행한다.

이어서, 경사 타일 판정부(401)에 대하여 도 7을 사용하여 설명한다.

도 7은 경사 타일 판정부(401)의 상세 구성을 도시하는 도면이다. 도 7에서, 참조 부호 501은 원하는 서브밴드의 자기 상관 계수를 계산하는 자기 상관 연산부, 참조 부호 502는 자기 상관 연산부(501)의 출력인 자기 상관 계수로부터 해당 타일이 경사 타일인지의 여부를 판정하는 판정부이다.

이어서 동작에 대하여 설명한다. 자기 상관 연산부(501)에서는 각 타일에서의 최고 해상도의 분해 레벨 n(최고 해상도)의 HH 성분에 대하여 자기 상관 계수 At를 이하의 수학식 4를 사용하여 계산한다.

여기서, x, y는 자기 상관 계수의 위치를 나타내고 있으며, 각각 -2≤x≤2, -2≤y≤2를 만족하는 정수이다. 구체적으로 설명하면, At(x, y)는 도 8에 도시하는 위치의 자기 상관 계수를 나타내고 있다.

판정부(502)에서는, 자기 상관 계수 At(x, y)를 이용하여 해당 타일이 경사 방향으로 상관이 강한 경사 타일인지의 여부를 판정한다. 최초로 25개의 자기 상관 계수 At(x, y)에 대하여 마이너스의 값을 갖는 것은 0이 되도록 보정한다. 보정된 계수 At(x, y)에 대하여, 이하의 판정식 5, 판정식 6에 의해 각각 sum1 및 sum2를 구하고,

다음과 같이 sum1과 sum2와의 비와, 실험이나 시뮬레이션 등의 경험에 의해 구한 임계값 Ta와 비교하여, 예를 들면 이하에 기술한 바와 같이 sum1과 sum2와의비가 임계값 Ta보다 큰 경우에는 해당 타일이 경사 타일, sum1과 sum2와의 비가 임계값 Ta보다 작은 경우에는 비경사 타일이라고 판정한다.

If(sum1/sum2>Ta) or (sum2/sum1>Ta)…경사 타일

Else…비경사 타일

도 9는 sum1 및 sum2가, 각각 임의의 자기 상관 계수의 합을 취한 것인지 알기 쉽게 설명하는 도면이다. 도 9의 (a)에서 빗금 표시되어 우측으로 내려가는 자기 상관 계수의 합이 sum1을, 도 9의 (b)의 빗금 표시되어 우측으로 올라가는 자기 상관 계수의 합이 sum2를 나타내고 있다.

본 판정에서는, sum1과 sum2 중 어느 하나에 기울기가 있는 경우에 경사 타일이라고 판정하도록 하고 있다.

여기서 도 6으로 되돌아가, 통합 판정부(402)에서는 복잡 타일 판정부(111), 및 경사 타일부(401)의 판정 출력을 받아, 예를 들면 이하에 기재한 바와 같이 복잡 타일의 판정 출력의 입력이 없으면 단순 타일의 카테고리, 복잡 타일의 판정 출력의 입력이 있으면, 경사 타일의 판정 출력의 입력의 유무에 따라 없으면 복잡 타일의 카테고리, 있으면 경사 타일의 카테고리로 판정하여, 해당 타일이 복잡 타일, 단순 타일, 경사 타일 중 어느 하나의 타일 카테고리인지를 판정한다.

if(복잡 타일) {

if(경사 타일)…경사 타일

else…복잡 타일

}

else…단순 타일

여기서, 최종적으로 경사 타일이라고 판정되는 타일은 어느 정도 HH 성분의 평균 전력이 높은 것이 조건으로 되어 있는 것을 알 수 있다.

이상의 구성에 의해, 주목 타일이 복잡 타일, 단순 파일, 경사 타일 중 어느 카테고리에 속할지 분류할 수 있으면, 그 신호는 일단 타일 종별 메모리(112)에 저장된다.

본 제2 실시예의 가중 계수 선택부(302)는, 복잡 타일, 단순 타일, 경사 타일에 대응한 서브밴드마다의 가중 계수를 미리 저장하고 있으며, 타일 종별 메모리(112)로부터의 주목 타일의 타일 카테고리나, 레이트 제어부(114)로부터의 현재 처리하려는 부호화 패스가 소속하는 색성분, 및 서브밴드를 나타내는 인덱스를 선택 신호로서, 이들 선택 신호에 기초하여 서브밴드마다의 가중 계수를 선택한다.

이렇게 해서 왜곡 메모리(109)로부터 출력되는 왜곡 데이터에 대응하는 가중 계수가 가중 계수 선택부(302)로부터 선택되어 승산기(110)에 출력되어, 승산기(110)에 의해 왜곡 데이터와 그것에 대응하는 가중 계수가 승산된 후, 레이트 제어부(114)에서는, 상기 제1 실시예의 경우와 마찬가지로, 부호화 데이터에서의 부호량 제어, 즉 레이트 제어를 행한다.

이상과 같이, 본 제2 실시예에서는, 각 타일을 그 성질로부터 복잡 타일, 단순 타일, 경사 타일의 3개의 카테고리로 분류하여, 각각의 타일 카테고리에 적합한 서브밴드마다 가중값을 설정할 수 있다. 이에 의해, 제1 실시예인 경우와 마찬가지로, 전체 타일에 걸쳐 균일한 가중값 설정이었던 종래 방식과 비교하여, 화질 설정의 자유도가 더 확대된 것에 의해, 보다 미세한 화질 조정이 가능하게 되는 효과가 있다.

특히, 제1 실시예에 비해 타일 카테고리가 복잡 타일, 단순 타일, 경사 타일의 3 종류로 증가한 것에 의해, 화질 설정의 자유도가 확대되어, 보다 미세한 화질 조정이 가능하게 되는 효과가 있다. 예를 들면, 원화상에 사선이나 경사 엣지가 많이 존재하는 화상을 타일 분할하여 부호화하는 경우에는, 예를 들면 단순 타일에는 배경 영역이 변동 텍스쳐에 상당하는 서브밴드에 높은 가중값을 설정하고, 복잡 타일에는 관련된 서브밴드의 가중값을 낮게 설정하고, 또한 경사 타일에 대해서는 경사 성분, 즉 HH 성분을 중심으로 높은 가중값을 설정하도록 한다. 이렇게 함으로써, 타일 경계부에 발생하는 선형의 왜곡을 억제할 수 있을 뿐 아니라, 경사 엣지가 많이 존재하는 타일이라도 톱니 모양이 발생하지 않아 양호한 화상을 재현할 수 있다는 효과가 있다.

제3 실시예

기본적인 블록 구성도는, 제2 실시예에서 설명한 도 5와 동일하다. 본 제3 실시예에서는, 도 5에서의 타일 분류부(301)의 구성이 상이하고, 구체적으로 설명하면 새롭게 피부색 타일의 검출 처리가 부가되어 있다. 이하, 본 제3 실시예에서의 타일 분류부의 구성, 동작에 대하여 도 10을 사용하여 설명한다.

도 10은, 본 제3 실시예의 타일 판정부(301)의 상세 구성을 도시하고 있다. 도 10에서, 참조 부호 111은 도 1이나 도 6에 도시하는 것과 동일한 복잡 타일 판정부, 참조 부호 401은 도 6에 도시한 것과 동일한 경사 타일 판정부이다. 참조 부호 801은 해당 타일이 피부색이 많은 타일인지의 여부를 검출하는 피부색 타일 판정부, 참조 부호 802는 복잡 타일 판정부(111)와 경사 타일 판정부(401)와 피부색 타일 판정부(801)의 출력을 받아, 해당 타일이 후술하는 4개 타일 카테고리 중 어디에 해당하는지 판정하는 통합 판정부이다.

이어서 동작에 대하여 설명한다.

우선, 피부색 타일 판정부(801)에서는, 각 계수가 피부색인지의 여부를 검출한다. 구체적으로 설명하면, 색 좌표 변환부(101)에 의해 RGB 신호를 HSL 표색계의 신호로 변환하고, 그 웨이블렛 변환 후의 0LL 성분이, H(색상), S(채도), L(명도) 모든 색성분에 대하여 임의의 임계값의 범위에 있는 경우에 피부색으로 판정한다. 각각의 색성분의 상한, 하한의 임계값을, 첨자 max, min으로 나타내면, 이 판정은 다음과 같이 나타낼 수 있다.

if((Hmin<H(i, j)<Hmax) and (Smin<S(i, j)<Smax) and (Lmin<L(i, j)<Lmax))…피부색

else…비피부색

피부색 타일 판정부(801)는, 이렇게 해서 검출된 피부색의 계수를 카운트하고, 그 카운트값이 소정의 임계값보다도 크면, 피부색 타일이라고 판정하여 출력한다.

또, 복잡 타일 판정부(111) 및 경사 타일 판정부(401)는, 상술한 제1 실시예나 제2 실시예의 경우와 마찬가지로 동작한다.

통합 판정부(802)에서는 복잡 타일 판정부(111), 경사 타일 판정부(401), 피부색 타일 판정부(801)의 판정 출력이 입력되어, 해당 타일이 복잡 타일, 단순 타일, 경사 타일, 피부색 타일 중 어디에 속할지, 예를 들면 이하에 기재한 바와 같이 판정한다. 즉, 피부색 타일의 판정 출력이 입력되면 피부색 타일의 카테고리라고 판정하고, 피부색 타일의 판정 출력이 입력되지 않는 경우, 복잡 타일의 판정 출력의 입력의 유무에 따라 없으면 단순 타일의 카테고리로 판정하고, 복잡 타일의 판정 출력의 입력이 있는 경우, 경사 타일의 판정 출력의 입력의 유무에 따라 없으면 복잡 타일의 카테고리라고 판정하고, 경사 타일의 입력이 있으면 경사 타일의 카테고리로 판정한다.

if(피부색 타일)…피부색 타일

else if(복잡 타일){

if(경사 타일)…경사 타일

else…복잡 타일

}

else…단순 타일

이상의 구성에 의해, 주목 타일이 복잡 타일, 단순 파일, 경사 타일, 피부색 타일의 어느 카테고리에 속할지 분류할 수 있으면, 그 신호는 일단 타일 종별 메모리(112)에 저장된다.

그런데, 본 제3 실시예의 가중 계수 선택부(302)에는 복잡 타일, 단순 타일, 경사 타일, 피부색 타일에 대응한 각 서브밴드의 가중 계수가 저장되고, 제1 실시예, 제2 실시예 등의 경우와 마찬가지로, 타일 카테고리나 서브밴드를 나타내는 선택 신호 등에 의해 선택된다. 또, 상술한 제2 실시예의 가중 계수 선택부(302)에는, 복잡 타일, 단순 타일, 경사 타일의 3 종류의 타일에 대응한 가중 계수가 저장되어 있지만, 본 제3 실시예에서는 복잡 타일, 단순 파일, 경사 타일, 피부색 타일의 4 종류의 타일에 대응한 가중 계수가 저장되어 있는 것으로 한다.

이렇게 해서 왜곡 메모리(109)로부터 출력되는 왜곡 데이터에 대응하는 가중 계수가 가중 계수 선택부(302)로부터 선택되어 승산기(110)에 출력되고, 승산기(110)에 의해 왜곡 데이터와 그것에 대응하는 가중 계수가 승산된 후, 레이트 제어부(114)에 의해 레이트 제어가 행해진다.

이상과 같이, 본 제3 실시예에서는, 각 타일을 그 성질로부터 복잡 타일, 단순 파일, 경사 타일, 피부색 타일의 4개의 카테고리로 분류하고, 각각의 타일 종별에 적합한 바와 같이 서브밴드마다 가중값을 설정할 수 있다. 이에 의해, 제1 실시예, 제2 실시예의 경우와 마찬가지로, 전체 타일에 걸쳐 균일한 가중값 설정이었던 종래 방식과 비교하고, 화질 설정의 자유도가 더 넓어진 것에 의해, 보다 미세한 화질 조정이 가능하게 된다는 효과가 있다.

특히, 제2 실시예의 경우에 비교하여, 타일 카테고리가 복잡 타일, 단순 파일, 경사 타일, 피부색 타일의 4 종류로 증가한 것에 의해, 화질 설정의 자유도가 확대되어, 보다 미세한 화질 조정이 가능하게 되는 효과가 있다. 예를 들면, 인물 화상을 예로 들 수 있다. 종래 방식에서는, 인물 화상에서, 사람의 피부(특히 얼굴)에 존재하는 미세한 텍스쳐와 경사 방향의 머리털은, 웨이블렛 변환했을 때에는각각 상이한 서브밴드에 그 특징이 나타나기 때문에, 양자의 화질을 동시에 만족시키는 것이 어려웠지만, 본 제3 실시예에서는 우선 피부색 타일에 대해서는 거기에 존재하는 텍스쳐에 해당하는 서브밴드에 높은 가중값을 설정하고, 기울어진 머리털이 해당하는 경사 타일에 대해서도 마찬가지로 관련된 서브밴드에 높은 가중값을 설정하고, 배경 영역과 식별되는 단순 타일이나, 배경 영역과 식별되지 않는 복잡 타일에는 제1 실시예, 제2 실시예에서 설명한 경우와 마찬가지로 가중값을 설정한다. 이렇게 함으로써, 피부색의 텍스쳐, 기울어진 머리털의 양방의 화질을 동시에 만족시키고, 또한 타일 경계에 발생하는 선형의 왜곡도 억제할 수 있다는 효과가 있다.

제4 실시예

제2 실시예에서 설명한 경사 타일 판정부(401)에서는, 도 8에 도시한 바와 같이 주위 24 화소를 참조하는 구성으로 했지만, 본 제4 실시예에서는 예를 들면 도 11에 도시한 바와 같이 주위 8 화소를 참조하여 경사 방향을 검출하는 것을 특징으로 한다. 이 경우, 경사 타일 판정부(401)의 판정부(502)에 의한 판정 처리는, 제2 실시예의 경우와 마찬가지로, 우선 9개의 자기 상관 계수 At(x, y)에 대하여 마이너스의 값을 갖는 것은 0이 되도록 보정하고, 보정된 계수 At(x, y)에 대하여, 이하의 판정식(수학식 7), (수학식 8)에 의해 각각 sum1 및 sum2를 구하고, sum1과 sum2와의 비와, 실험이나 시뮬레이션 등의 경험에 의해 구한 임계값 Ta와 비교하여, 예를 들면 이하에 도시한 바와 같이 sum1과 sum2와의 비가 임계값 Ta보다 큰 경우에는 해당 타일이 경사 타일, sum1과 sum2와의 비가 임계값 Ta보다 작은경우에는 비경사 타일로 판정한다.

If(sum1/sum2>Ta) of (sum2/sum1>Ta) …경사 타일

Else …비경사 타일

도 11로부터도 알 수 있듯이, 본 제4 실시예에서는 45°의 경사 방향의 검출만이 되기 때문에, 약간 경사 타일의 검출 정밀도가 낮게 되지만, 제2 실시예와 거의 마찬가지의 효과를 발휘할 수 있다. 또한, 참조하는 웨이블렛 변환 계수를 줄임으로써 자기 상관 계수를 계산하는 (수학식 4)의 연산량을 적게 할 수 있기 때문에, 회로 규모를 삭감할 수 있어, 판정 처리의 스피드도 향상할 수 있는 효과가 있다.

제5 실시예

본 제5 실시예는, 제2 실시예에서 설명한 경사 타일 판정 방법과는 상이한 방법으로 경사 타일을 검출하는 것이다. 이하, 도 12를 사용하여, 본 제5 실시예에서의 경사 타일 판정부(401)를 설명한다.

도 12는 본 제5 실시예의 경사 타일 판정부(401)의 상세 구성을 도시하는 도면이다. 도 12에서, 참조 부호 1001은 입력되어 오는 웨이블렛 변환 계수를 2치화 처리하는 2치화부, 참조 부호 1002는 미리 정한 경사 방향의 2치 패턴을 기억하는 경사 패턴 기억부, 참조 부호 1003은 해당 2치화부(1001)와 경사 패턴 기억부(1002)의 출력을 대조하여 주목하고 있는 계수가 기울어진 방향성을 갖는지의 여부를 식별하는 매칭부, 참조 부호 1004는 경사 방향의 2치 패턴과 매칭한 계수의 수를 카운트하는 카운터부, 참조 부호 1005는 최종적인 경사 패턴의 계수의 수로부터 해당 타일이 경사 타일인지의 여부를 판정하는 판정부이다.

이어서 구체적인 동작에 대하여 설명한다.

2치화부(1001)에서는, 각 타일에서의 예를 들면 최고 해상도의 분해 레벨 n(최고 해상도)의 HH 성분 Ct(x, y)를, 이어서 기재한 바와 같이 임의의 임계값 Tc와 비교하여, 2치화 처리한다.

If(Ct(x, y)>Tc) Bt(x, y)=1;

Else Bt(x, y)=0;

매칭부(1003)에서는, 이 2치화 처리 결과 Bt(x, y)에 대하여, 경사 패턴 기억부(1002)에 미리 저장되어 있는 경사 방향의 2치 패턴과의 매칭을 행하고, 이것에 합치하면 1을, 그렇지 않으면 0을 출력한다.

도 13에 경사 패턴 기억부(1002)에 미리 저장되어 있는 경사 방향의 2치 패턴의 일례를 몇가지 도시한다. 이들 도 13에 도시하는 각 경사 방향의 2치 패턴예 중 "x"는, 참조하지 않은 2치화 결과(Don`t Care)를 나타내고 있다.

카운터부(1004)에서는, 해당 매칭부(1003)의 출력이 1인 경우에는 카운트값Nt에 +1을 가산하고, 그렇지 않으면 아무것도 가산하지 않는다. 이렇게 해서, 경사 패턴과 매칭하는 계수의 수 Nt를 타일 단위로 카운트하고, 판정부(1005)에서는 이하에 기재한 바와 같이 최종적인 카운트값 Nt를 임계값 Tn과 비교함으로써, 해당 타일이 경사 타일인지의 여부를 판정한다.

If(Nt>Tn)…경사 타일

Else…비경사 타일

이상과 같이, 본 제5 실시예에 따르면, 각 타일에서의 최고 해상도의 분해 레벨 n(최고 해상도)의 HH 성분의 2치화 처리하여, 사전에 등록해 둔 경사 방향의 2치 패턴과 매칭을 취하는 것에 의해, 경사 타일을 검출할 수 있으므로, 제2 실시예와 마찬가지의 효과를 발휘할 수 있다.

특히, 제2 실시예에서는 자기 상관 계수를 연산하기 위해 25회의 승산을 행할 필요가 있었지만, 본 제5 실시예에서 설명한 구성에 따르면, 미리 정해진 경사 패턴을 기억해 두고, 그것과의 패턴 매칭의 처리만으로 경사 타일을 판정할 수 있기 때문에, 제2 실시예의 경우와 비교하여, 적은 H/W 규모로 실장할 수 있고, 또한 고속 판정이 가능하다는 효과가 있다.

제6 실시예

제5 실시예에서 설명한 경사 타일 판정부(401)에서는, 도 13에 도시한 바와 같이 주위 24 화소를 참조하는 구성으로 했지만, 본 제6 실시예에서는 제4 실시예와 마찬가지로, 도 14에 도시한 바와 같이 주위 8 화소를 참조하여 경사 방향을 검출하는 것을 특징으로 한다.

이와 같이 하면, 제4 실시예의 경우와 마찬가지로, 도 5로부터도 알 수 있듯이, 본 제6 실시예에서는 45°의 경사 방향의 검출만이 되기 때문에, 약간 경사 타일의 검출 정밀도가 낮아지지만, 제5 실시예와 거의 마찬가지의 효과를 발휘할 수 있다. 또한, 참조 화소를 작게 함으로써 도시하지 않은 라인 메모리의 용량이나, 경사 패턴을 기억하는 용량 등을 삭감할 수 있음과 함께, 고속으로 판정할 수 있다는 효과도 있다.

또, 상기 제1 실시예∼제6 실시예에서는, 복잡 타일 판정부(111)의 복잡도의 계산을, HH 성분의 평균 전력으로서 설명했지만, 이것에 한하는 것은 아니다. 참조하는 서브밴드를 HH 성분에 한정시키지 않고, HL, LH, HH 모든 고역 성분을 이용해도 된다. 또 복잡도도 평균 전력이 아니고, 예를 들면 계수의 절대값이나 분산 등에 따라 계산해도 된다. 특히, 절대값을 이용하면 제곱 계산을 행하지 않아도 되기 때문에 H/W 규모도 적어도 된다.

또한, 상기 제2 실시예∼제6 실시예 등에서는, 경사 타일 판정부(401)에서는 최고 해상도의 분해 레벨의 HH 성분을 참조하여 계산을 행하는 것으로서 설명했지만, 이것에 한하는 것은 아니며, 다른 HL, LH 등의 서브밴드를 참조하여 경사 타일의 검출을 행해도 된다.

또한, 상기 제5 실시예, 제6 실시예 등에서 설명한 도 13, 도 14에 도시한 경사 패턴은 일례이고, 이것에 한한 것은 아니다. 특히, 도 13, 도 14는 1 도트의 선 폭의 사선(또는 경사 엣지)이지만, 예를 들면 이것을 선 폭 2도트의 것도 검출할 수 있도록 해도 된다.

또한, 상기 제1 실시예∼제6 실시예에서는, 화질을 제어하기 위한 방법으로서 주파수 가중 기술(Frequency Weighting)을 이용하여, 서브밴드마다 설정된 가중값을 왜곡에 승산하도록 설명했지만, 이것에 한하지 않고, 서브밴드마다 설정된 가중값을, 웨이블렛 변환부(103)의 출력인 웨이블렛 변환 계수에 승산하는 것에 의해, 원하는 서브밴드를 강조한 화질 제어를 가능하게 해도 된다. 이와 같이 하는 경우에는, 왜곡 메모리(109)의 출력인 왜곡은 그대로 직접 레이트 제어부(114)에 입력하고, 가중 계수 선택부(113)로부터의 가중 계수는 웨이블렛 변환부(103)와 양자화부(104) 사이에서 타일 분류부(301)에의 분기점으로부터 양자화부(104)측에 새롭게 설치한 승산기에 입력하도록 구성하면 된다. 이에 의해, 예를 들면, 반드시 어느 정도의 거리를 두고 재생 화상을 보는 환경에서는, 정밀한 해상도가 필요없기 때문에, 웨이블렛 변환 계수의 최고 해상도 성분에 낮은 가중값을 설정하여, 그 만큼 다른 저해상도의 변환 계수에 유효하게 정보량을 할당할 수 있게 된다.

또한, 상기 제1 실시예∼제6 실시예에서는, 화상 신호를 주파수 성분으로 변환하는 변환부를, JPEG2000 등으로 규격화되어 있는 웨이블렛 변환부(103)를 일례로서 설명했지만, 본 발명에서는 웨이블렛 변환부(103)에 한정되는 것은 아니고, 화상 신호를 주파수 성분으로 변환하는 것이 가능한 변환 방식이면 무엇이든 된다.

또한, 상기 제1 실시예∼제6 실시예에서 설명한 화상 부호화 장치를 LSI로 하여, 또한 그 화상 부호화 방법을 소프트웨어로서, 정지 화상을 입력 화상으로서 처리하는 디지털 카메라나 감시 카메라, 이미지 스캐너 등의 화상 처리 장치에 실장되는 것은 물론이다. 이러한 화상 처리 장치에서는, 이 화상 부호화 장치에 의해 부호량을 제어받은 부호화 데이터를 각종 화상 처리하거나, 그 위에 통신 처리부를 통하여 송수신할 수 있다.

이상 설명한 바와 같이, 본 발명에 따르면, 변환 계수를 참조하여 각 타일을 그 성질에 따라 복수의 카테고리로 분류함과 함께, 그 복수의 카테고리마다 상기 양자화 왜곡에 가중값을 부여하고, 가중 계수가 부여된 양자화 왜곡에 기초하여 엔트로피 부호화된 부호 데이터의 부호량을 제어하도록 했으므로, 입력 화상을 타일 분할하여 부호화하는 경우라도, 타일에 따라 화상 신호의 부호화 레이트를 탄력적으로 제어할 수 있다.

그 결과, 전체 타일에 걸쳐 균일한 가중값 설정이었던 종래 방식과 비교하면, 화질 설정의 자유도가 확대된 것에 의해, 각 타일의 성질에 따라 보다 정밀한 화질 조정이 가능하게 되어, 화상 전체의 부호화 레이트를 저하시키는 경우가 있어도 양호한 재생 화상을 얻을 수 있게 된다. 예를 들면, 타일 경계에 발생하는 선형의 왜곡을 억제하려는 경우에는, 배경 영역에 존재하는 정밀한 변동 텍스쳐를 남기기 위해, 배경 영역과 식별되는 단순 타일에 대해서는, 변동 텍스쳐에 해당하는 서브밴드 성분에 높은 가중값을 설정한다. 한편, 배경 영역과 식별되지 않는 복잡 타일에서는 필요 이상으로 정보량이 할당되어 있을 가능성이 높으므로, 복잡 타일에서 비교적 중요도가 낮은 고역 성분에 낮은 가중값을 설정한다. 이와 같이, 복잡 타일에서 모은 정보량을 단순 타일의 변동 텍스쳐에 상당하는 서브밴드에 할당하는 것에 의해, 타일 경계를 억제할 수 있다는 효과가 있다.

Claims (8)

1. 입력 화상을 소정 사이즈의 타일로 분할하고, 개개의 타일에 포함되는 화상 신호를 주파수 성분으로 변환하여 변환 계수를 얻고, 얻어진 변환 계수를 양자화하여 양자화 계수로 하고, 상기 양자화 계수를 엔트로피 부호화함과 함께, 변환 계수의 양자화시의 양자화 왜곡을 연산하고, 상기 양자화 왜곡을 이용하여, 상기 엔트로피 부호화에 의해 얻어지는 부호화 데이터의 부호량을 제어하는 화상 부호화 장치로서,

   상기 변환 계수를 참조하여 각 타일을 그 성질에 따라 복수의 카테고리로 분류하고, 분류 결과를 출력하는 타일 분류부와,

   상기 타일 분류부의 출력에 따라 상기 양자화 왜곡에 가중값을 부여하는 가중부와,

   상기 가중부에 의해 가중값이 부여된 양자화 왜곡에 기초하여, 상기 엔트로피 부호화에 의해 얻어지는 부호 데이터의 부호량을 제어하는 레이트 제어부

   를 갖는 화상 부호화 장치.
2. 제1항에 있어서,

   상기 타일 분류부는,

   상기 변환 계수를 참조하여, 각 타일이 복잡한 텍스쳐로 구성되는 타일 및 복잡한 텍스쳐가 존재하지 않는 타일 중 어느 하나를 판정하여, 각 타일을 복잡한텍스쳐로 구성되는 타일의 카테고리 및 복잡한 텍스쳐가 존재하지 않는 타일의 카테고리 중 어느 하나로 분류하는 것을 특징으로 하는 화상 부호화 장치.
3. 제2항에 있어서,

   상기 타일 분류부는,

   각 타일이 복잡한 텍스쳐로 구성되는 타일 및 복잡한 텍스쳐가 존재하지 않는 타일 중 어느 하나인지 판정함과 함께, 각 타일이 경사 방향으로 상관이 강한 타일인지의 여부를 판정하여, 각 타일을 복잡한 텍스쳐로 구성되는 타일의 카테고리, 복잡한 텍스쳐가 존재하지 않는 타일의 카테고리, 및 경사 방향으로 상관이 강한 타일의 카테고리 중 어느 하나로 분류하는

   것을 특징으로 하는 화상 부호화 장치.
4. 제2항에 있어서,

   상기 타일 분류부는,

   각 타일이 복잡한 텍스쳐로 구성되는 타일 및 복잡한 텍스쳐가 존재하지 않는 타일 중 어느 하나인지 판정함과 함께, 각 타일이 경사 방향으로 상관이 강한 타일인지의 여부의 판정과, 각 타일이 피부색을 많이 포함하는 타일인지의 여부의 판정을 행하고,

   각 타일을 복잡한 텍스쳐로 구성되는 타일의 카테고리, 복잡한 텍스쳐가 존재하지 않는 타일의 카테고리, 경사 방향으로 상관이 강한 타일의 카테고리, 및 피부색을 많이 포함하는 타일의 카테고리 중 어느 하나로 분류하는 것을 특징으로 하는 화상 부호화 장치.
5. 제3항에 있어서,

   상기 타일 분류부는, 경사 방향으로 상관이 강한 타일인지 판정할 때, 상기 타일이 45° 또는 135°의 경사 방향으로 상관이 강한 타일인지의 여부를 판정하는 것을 특징으로 하는 화상 부호화 장치.
6. 제1항에 있어서,

   상기 가중부는 양자화 왜곡에 가중값을 부여할 때,

   각 타일 카테고리에 대한 서브밴드마다의 가중 계수를 미리 기억해 두고, 해당 타일의 카테고리 및 서브밴드에 따라 원하는 가중 계수를 선택하고, 선택한 가중 계수를 양자화 왜곡에 승산하는 것에 의해 양자화 왜곡에 가중값을 부여하는 것을 특징으로 하는 화상 부호화 장치.
7. 입력 화상을 소정 사이즈의 타일로 분할하고, 개개의 타일에 포함되는 화상 신호를 주파수 성분으로 변환하여 변환 계수를 얻고, 얻어진 변환 계수를 양자화하여 양자화 계수로 하고, 상기 양자화 계수를 엔트로피 부호화함과 함께, 변환 계수의 양자화시의 양자화 왜곡을 연산하고, 상기 양자화 왜곡을 이용하여, 상기 엔트로피 부호화에 의해 얻어지는 부호화 데이터의 부호량을 제어할 때의 화상 부호화방법으로서,

   상기 변환 계수를 참조하여 각 타일을 그 성질에 따라 복수의 카테고리로 분류함과 함께, 상기 복수의 카테고리마다 상기 양자화 왜곡에 가중 계수를 부여하고,

   상기 가중 계수가 부여된 양자화 왜곡에 기초하여, 상기 엔트로피 부호화에 의해 얻어지는 부호 데이터의 부호량을 제어하는 화상 부호화 방법.
8. 제1항의 화상 부호화 장치를 구비하고, 상기 화상 부호화 장치에 의해 부호량을 제어받은 부호화 데이터를 처리하는 화상 처리 장치.