KR20090008415A - 화상 압축 장치, 압축 방법 및 프로그램을 기록한 기록매체 및 화상 복원 장치, 복원 방법 및 프로그램을 기록한 기록 매체 - Google Patents

Abstract

화상 데이터를 압축할 때, 압축 대상 화소가 속하는 행과 그 앞의 행에 존재하는 압축이 끝난 화소 레벨값을 유지하고, 상기 압축이 끝난 화소 레벨값을 기초로 상기 2개의 행 간의 레벨차에서 동일한 값이 어떻게 출현하고 있는지로 양자화 오차의 유무를 판단하여 양자화기에서의 양자화 단계의 미세함이 각각 다른 복수의 양자화표 중 어느 하나를 선택하거나, 또는, 상기 압축 대상 화소의 주변의 화소 레벨차의 절대값의 합을 산출하여 주변 화소의 레벨차의 합의 대소로 상기 압축 대상 화소가 평탄한 화상인지 활성도가 많은 화상인지를 판단해서 상기 양자화기에서의 양자화 단계의 미세함이 각각 다른 복수의 양자화표 중 어느 하나를 선택한다. 이와 같이 양자화표를 전환함으로써 양자화 오차가 원인으로 발생하는 라인 간의 화질 저하를 억제한다.

Description

화상 압축 장치, 압축 방법 및 프로그램 및 화상 복원 장치, 복원 방법 및 프로그램{IMAGE COMPRESSION DEVICE, COMPRESSION METHOD, PROGRAM, AND IMAGE DECOMPRESSION DEVICE, DECOMPRESSION METHOD, AND PROGRAM}

본 발명은 특성이 다른 2종류의 화상(영화 등의 자연화와, 디지털 지도 등의 CG 화상) 양방에 대하여 유효한, 고화질 실시간 화상 압축 장치, 압축 방법 및 상기 압축을 행하기 위한 프로그램 및 압축 화상 데이터를 복원하는 화상 복원 장치, 복원 방법 및 상기 복원을 행하기 위한 프로그램에 관한 것이다.

방대한 정보량을 포함하는 화상 정보를 전송하기 위해서는 데이터 압축이 필요하다. 특히 동화상의 경우는 1초 사이에 30∼60 프레임 정도의 화상 데이터가 송수신되기 때문에, 데이터 압축이 불가결해진다.

그런데, 화상 정보로서는 일반 텔레비전 화상이나 영화 등으로 대표되는 자연화와, 카 내비게이션의 지도 등으로 대표되는 CG 화상이 알려져 있으며, 일반적으로 자연화에서는 저주파 성분이, 또한 디지털 화상에서는 고주파 성분이 많이 포함되어 있다. 최근의 차재 단말이나 휴대 전화를 포함하는 휴대 단말에서는, 지도 등의 디지털 화상과, TV나 영화 등의 자연 화상의 양방을 취급하게 되고 있으며, 양방의 화상 데이터를 효율적으로 전송하기 위해서는, 저주파 성분과 고주파 성분 의 양방에 효과적인 데이터 압축 방식이 요망되고 있다.

종래의 화상 데이터 압축 방식으로서, 도 1에 도시되는 바와 같은 DPCM 예측기를 이용한 제1 종래 기술이 알려져 있다. 도 1에 도시되는 바와 같이, 화상 데이터(110)를 압축하는 경우, 예측기[DPCM](210)로 대상 화소의 바로 앞 라인과 이전 화소의 값으로부터 예측 대상 화소의 레벨값을 예측하고, 실제의 화소 레벨값과의 예측 오차를 대표값으로 변환하여 양자화기(310)로 양자화하며, 출현 빈도에 따라 부호를 할당하는 가변 길이 부호화기(410)를 통해 전송한다. 이 방식에서는, 화소 단위로, 양자화, 부호화를 행하기 때문에, 고주파 및 저주파를 불문하고 적용할 수 있다. 그러나, 예측값을 바로 앞 라인의 값에 기초하여 산출하기 때문에, 어느 한 시점에서 예측 오차가 발생한 경우에, 오차가 다음 예측 시에 그대로 이용되어 버리고, 결과적으로 예측 오차가 전파되어 버려, 라인을 따라 화질 저하가 발생하게 된다는 문제가 있다.

예컨대, 양자화기(310)가 이용하는 양자화표가, 예측 오차의 레벨값이 -4∼4까지인 것을 양자화 예측 오차 0으로 하는 양자화표(즉, 양자화의 폭이 개략적인 양자화표)였던 경우에는, 예측기(210)에 의한 어느 하나의 예측 처리에 있어서 -4∼4까지의 레벨값의 예측 오차가 발생했다고 해도, 양자화 예측 오차를 0으로 간주하게 된다. 그 때문에, 예측 오차가 발생했다고 하는 정보를 양자화 결과에 포함시킬 수 없으며, 결과적으로, 예측 오차가 그대로 계속 남게 된다. 이러한 예측 오차의 전파가 발생하면, 처리 결과로서 출력되는 화상에는, 원래는 없었을 라인 방향의 선이 생겨 버려, 화질의 저하로 이어지게 된다.

또한 종래의 화상 데이터 압축 방식으로서, 도 2에 도시되는 바와 같은 JPEG(Joint Photographic Experts Group), MPEG(Moving Picture Experts Group)에 의해 데이터 압축을 행하는 제2 종래 기술이 알려져 있다. 이 제2 종래 기술에 속하는 특허 문헌으로서, 하기 특허 문헌 1 및 2를 들 수 있다. 도 2에 도시되는 바와 같이, 제2 종래 기술은, 입력 화상(120)을 블록(통상 8*8 화소)화(130)하고, 블록 화상에 대하여 DCT(220)를 작동시켜, DCT 계수에 대하여 양자화(320)를 행하고, 출현 빈도에 따라 부호를 할당하는 가변 길이 부호화(420)하여 전송한다. 여기서 DCT(Discrete Cosine Transfer) 변환이란, 화상 데이터를 주파수 변환하는 수법이다. 인간의 눈은 저주파 성분(화상 중의 평탄한 부분)에 민감하기 때문에, 저주파에 관한 DCT 계수는 미세하게, 고주파에 관한 DCT 계수는 개략적으로 양자화함으로써 자연화에 대해서는 화질 저하가 눈에 띄지 않도록 높은 압축률로 압축하는 것이 가능하다. 그러나, 인간의 눈에 띄기 쉬운 저주파 성분을 미세하게 양자화하기 때문에 자연화의 압축에 대해서는 문제 없으나, 지도 화상(CG 화상) 중의 선, 문자와 같은 고주파 성분에 대해서는 화질 저하가 눈에 띈다. 또한, 압축 대상 블록에 대하여 에지 정보 추출(230)하기 때문에 양자화 오차에 의한 화질 저하를 찾아내어, 수정, 피드백을 가할 수 없다고 하는 문제가 있다.

또한 종래의 화상 데이터 압축 방식으로서, 도시하고 있지 않으나, JPEG-LS(Lossless)를 이용한 제3 종래 기술이 알려져 있다. 이 제3 종래 기술은, MED(Median Edge Detector) 예측기로 레벨값 예측을 행하고, 그 예측 오차를 직접 부호화하는 것이다. 이 제3 종래 기술에서는 양자화는 행하지 않기 때문에 화질 저 하는 발생하지 않는다. 그러나, 부호화 시에 계산 처리를 필요로 하는 등 각 처리가 느려, 실시간 압축에는 부적합하다는 문제가 있다.

특허 문헌 1: 일본 특허 공개 평10-126777호 공보

특허 문헌 2: 일본 특허 공개 평6-350992호 공보

상술한 제1 종래 기술인 DPCM을 이용하여 양자화를 단순히 행하면, 행 방향(라인 방향)의 양자화 오차가 전파되는 경우가 있다고 하는 과제가 있었다. 또한 상술한 제2 종래 기술인 JPEG, MPEG와 같은 DCT에 의한 변환 부호화를 행하는 것에 관해서는, CG 화상에 대한 화질 저하가 눈에 띈다고 하는 과제, 또한, 적응 양자화를 행하는 것이기는 하지만, 압축 대상 블록에 대하여 에지 추출을 하기 때문에 양자화 오차에 의한 화질 저하를 찾아내어, 수정, 피드백을 가할 수 없다고 하는 과제가 있었다. 또한 상술한 제3 종래 기술인, JPEG-LS에 관해서는, 양자화를 행하지 않기 때문에 화질 저하가 발생하지 않으나 각 처리가 느리기 때문에 실시간 처리에 적합하지 않다고 하는 과제가 있었다.

상기와 같은 과제를 해결하기 위해서 본 발명의 목적은, 주변 화소 및 라인 간의 예측 레벨값의 연속성을 고려하여 양자화표를 전환함으로써 양자화 오차가 원인으로 발생하는 라인 간의 화질 저하를 억제하는 화상 압축 장치, 압축 방법 및 상기 압축을 행하기 위한 프로그램 및 압축 화상 데이터를 복원하는 화상 복원 장치, 복원 방법 및 상기 복원을 행하기 위한 프로그램을 제공하는 것이다.

본 발명의 화상 압축 장치는, 압축 대상 화소의 화소 레벨값을 예측하는 예측기를 구비한 화상 압축 장치에 있어서, 화상 데이터를 압축할 때, 압축 대상 화소가 속하는 행(라인)과 그 앞의 행(라인)에 관한 상기 압축이 끝난 화소 중 특정 화소 간의 레벨차의 동일성을 평가하여 양자화표 전환 수단에 제어 신호를 송출하는 특정 화소 레벨차 평가 수단을 구비하거나, 또는 상기 압축 대상 화소의 주변의 화소 레벨차의 절대값의 합을 평가하여 양자화표 전환 수단에 제어 신호를 송출하는 절대값 합 평가 수단을 구비하고 있다. 그리고 상기 특정 화소 레벨차 평가 수단 또는 상기 절대값 합 평가 수단 중 어느 하나로부터 출력되는 제어 신호에 기초하여 양자화표 전환 수단이 양자화표의 전환을 지시해서 다른 양자화 단계를 갖는 복수의 양자화표 중 어느 하나를 선택하여 양자화를 행한다.

이렇게 함으로써, 양자화의 과정에서 화질 저하가 발생하고 있는지를 화소 단위로 평가하여, 다음 화소의 양자화, 부호화에 즉시 피드백함으로써, 화질 저하가 일어나고 있는 경우에는 순시(瞬時)(수 화소 단위)에 보정하는 것이 가능해진다.

또한 양자화 오차가 발생하고 있는 경우는, 행 사이에 양자화 단계분의 동일한 레벨차가 발생하고 있는 경우가 많기 때문에, 동일한 값의 레벨차를 평가하여, 양자화 오차가 전파되고 있다고 판단한 경우에는 즉시 피드백해서 미세한(fine) 양자화를 행함으로써, 에지 근방으로부터 CG 화상과 같은 완전히 동일한 레벨차인 평면을 향하여 발생하고 있는 예측 오차의 전파를 방지하는 것이 가능해진다.

또한 앞의 행(라인)과 현재의 처리 대상의 행(라인)의 화소의 활성도로서 레벨차의 절대값의 합을 산출함으로써, 양자화 단계를 개략적으로 하거나, 미세하게 하여, 화질 저하를 방지하면서 압축 효율을 높이는 것이 가능해진다.

또한 본 발명의 화상 압축 방법 및 본 발명의 화상을 압축하기 위한 프로그램은, 압축 대상 화소의 화소 레벨값을 예측하는 예측기를 구비한 화상 압축 장치에서 실행되는 방법 및 프로그램으로서, 화상 데이터를 압축할 때, 상기 압축 대상 화소가 속하는 행과 그 앞의 행에 존재하는 압축이 끝난 화소 레벨값을 유지하는 단계, 상기 압축이 끝난 화소 레벨값을 기초로 상기 2개의 행 간의 특정 화소 간의 레벨차에서 동일한 값이 어떻게 출현하고 있는지로 양자화 오차의 유무를 판단하여 양자화기에서 사용하는 양자화표의 전환을 지시하는 제어 신호를 생성하는 단계 또는, 상기 압축 대상 화소의 주변의 화소 레벨차의 절대값의 합을 산출하여 주변 화소의 레벨차의 합의 대소로 상기 압축 대상 화소가 평탄한 화상인지 활성도가 많은 화상인지를 판단해서 상기 양자화기에서 사용하는 양자화표의 전환을 지시하는 제어 신호를 생성하는 과정 중 적어도 어느 하나의 단계, 상기 제어 신호에 기초하여 상기 양자화표의 전환을 지시하고, 상기 지시에 기초하여 다른 양자화 단계를 갖는 복수의 양자화표 중 어느 하나를 선택해서 양자화를 행하는 단계를 포함하는 것이다.

이렇게 함으로써, 양자화의 과정에서 화질 저하가 발생하고 있는지를 화소 단위로 평가하여, 다음 화소의 양자화, 부호화에 즉시 피드백함으로써, 화직 저하가 일어나고 있는 경우에 순시(수 화소 단위)에 보정하는 것이 가능해진다.

또한 양자화 오차가 발생하고 있는 경우는, 행 사이에서 양자화 단계분의 동일한 레벨차가 발생하고 있는 경우가 많기 때문에, 동일한 값의 레벨차를 평가하여, 양자화 오차가 전파되고 있다고 판단한 경우에는 즉시 피드백해서 미세한 양자화를 행함으로써, 에지 근방으로부터 CG 화상과 같은 완전히 동일한 레벨차인 평면을 향하여 발생하고 있는 예측 오차의 전파를 방지하는 것이 가능해진다.

또한 앞의 행(라인)과 현재의 처리 대상인 행(라인)의 화소의 활성도로서 레벨차의 절대값의 합을 산출함으로써, 양자화 단계를 개략적으로 하거나, 미세하게 하여, 화질 저하를 방지하면서 압축 효율을 높이는 것이 가능해진다.

또한 본 발명의 화상 복원 장치 및 화상 복원 방법은, 상술한 화상 압축 장치로 압축된 화상 데이터를 역조작에 의해 복원하고 있기 때문에, 역양자화의 과정에서 화질 저하가 발생하고 있는지를 화소 단위로 평가하여, 다음 화소의 역양자화, 역부호화에 즉시 피드백함으로써, 화질 저하가 일어나고 있는 경우에는 순시(수 화소 단위)에 보정하는 것이 가능해진다.

또한 양자화 오차가 발생하고 있는 경우는, 행 사이에 양자화 단계분의 동일한 레벨차가 발생하고 있는 경우가 많기 때문에, 동일한 값의 레벨차를 평가하여, 양자화 오차가 전파되고 있다고 판단한 경우에는 즉시 피드백해서 미세한 역양자화를 행함으로써, 에지 근방으로부터 CG 화상과 같은 완전히 동일한 레벨차인 평면을 향하여 발생하고 있는 예측 오차의 전파를 방지하는 것이 가능해진다.

또한 앞의 행(라인)과 현재의 처리 대상의 행(라인)의 화소의 활성도로서 레벨차의 절대값의 합을 산출함으로써, 양자화 단계를 개략적으로 하거나, 미세하게 하여, 화질 저하를 방지하면서 복원 효율을 높이는 것이 가능해진다.

또한 본 발명의 화상 데이터의 복원을 행하는 프로그램은, 상술한 화상 데이터의 압축을 행하는 프로그램에 의한 조작과 반대의 조작을 행하는 것이기 때문에, 상술한 화상 데이터의 압축을 행하는 프로그램과 마찬가지로, 특정 화소 레벨차 평가 처리 또는 절대값 합 평가 처리를 고속으로 행할 수 있을 뿐만 아니라, 역양자화표의 전환 처리를 고속으로 행할 수 있다.

도 1은 DPCM 예측기를 이용한 제1 종래 기술의 개요를 도시하는 도면이다.

도 2는 JPEG, MPEG에 의해 데이터 압축을 행하는 제2 종래 기술의 개요를 도시하는 도면이다.

도 3은 본 발명의 원리 구성에 따른 화상 압축 방식의 동작 흐름도이다.

도 4는 본 발명의 실시형태에 따른 화상 데이터의 압축(부호화) 장치의 구성을 도시하는 블록도이다.

도 5는 본 발명의 실시형태에 따른 각종 화상 포맷에서의 압축 대상 화소와 주변 화소의 배치 관계를 도시하는 도면이다.

도 6a는 예측 오차(X-X')에 대한 양자화값 및 양자화 번호의 대응을 나타내는 양자화 테이블로서, 미세한 양자화 단계로 이루어지는 제1 양자화 테이블이다.

도 6b는 예측 오차(X-X')에 대한 양자화값 및 양자화 번호의 대응을 나타내는 양자화 테이블로서, 보통의 양자화 단계로 이루어지는 제2 양자화 테이블이다.

도 6c는 예측 오차(X-X')에 대한 양자화값 및 양자화 번호의 대응을 나타내는 양자화 테이블로서, 개략적인 양자화 단계로 이루어지는 제3 양자화 테이블이다.

도 7은 도 4에 도시한 연속성 평가 결과 피드백 모듈의 동작을 설명하는 플로우차트이다.

도 8은 도 4에 도시한 주변 레벨차 결정 모듈의 동작을 설명하는 플로우차트이다.

도 9a는 본 발명의 실시형태에 따른 화상 데이터의 압축(부호화) 장치의 동작을 설명하기 위한 플로우차트이다.

도 9b는 도 9a에서의 단계 S008에서의 "로컬 디코더"의 처리를 설명하는 플로우차트이다.

도 10은 본 발명의 실시형태에 따른 화상 데이터의 압축 장치의 시스템 구성을 도시하는 기능 블록도이다.

도 11은 본 발명의 실시형태에 따른 화상 데이터의 복원(복호화) 장치의 구성을 도시하는 블록도이다.

도 12a는 역양자화기에 구비된 상기 양자화 번호에 대한 양자화 예측 오차의 대응지음을 나타내는 역양자화 테이블로서, 미세한 양자화 단계로 이루어지는 제1 역양자화 테이블이다.

도 12b는 역양자화기에 구비된 상기 양자화 번호에 대한 양자화 예측 오차의 대응을 나타내는 역양자화 테이블로서, 보통의 양자화 단계로 이루어지는 제2 역양자화 테이블이다.

도 12c는 역양자화기(033)에 구비된 상기 양자화 번호에 대한 양자화 예측 오차의 대응을 나타내는 역양자화 테이블로서, 개략적인 양자화 단계로 이루어지는 제3 역양자화 테이블이다.

도 13은 도 11에 도시한 연속성 평가 결과 피드백 모듈의 동작을 설명하는 플로우차트이다.

도 14는 도 11에 도시한 주변 레벨차 결정 모듈의 동작을 설명하는 플로우차트이다.

도 15a는 본 발명의 실시형태에 따른 화상 데이터의 복원(복호화) 장치의 동작을 설명하기 위한 플로우차트이다.

도 15b는 도 15a에서의 단계 S028에 있어서의 "로컬 디코더"의 처리를 설명하는 플로우차트이다.

도 16은 본 발명의 실시형태에 따른 화상 데이터의 복원 장치의 시스템 구성을 도시하는 기능 블록도이다.

이하, 본 발명의 실시형태를, 도면을 참조하면서 설명한다.

도 3은 본 발명의 원리 구성에 따른 화상 압축 방식의 동작 흐름도이다. 도 3에 도시하는 본 발명의 원리 구성에 있어서의 화상 압축 과정은, 상술한 제1 종래 기술의 구성과 크게 다른 점은, 적응 양자화기(300)를 구비하며, 예측 대상 화소 X의 레벨값과 예측기(200)에 의한 예측값 X'의 예측 오차를 양자화기로 양자화하는 경우, 적응 양자화기(300)는, 라인 간의 주목 화소의 레벨값의 연속성, 또는 주변 화소의 레벨차 계측으로부터 양자화 단계가 다른 양자화표를 적응적으로 선택하는 점이다. 그리고 적응적으로 선택한 양자화표에 기초하여 양자화를 행하고, 출현 빈 도에 따른 부호를 할당하는 가변 길이 부호화기(400)를 통해 전송하는 것이다.

도 4는 본 발명의 실시형태에 따른 화상 데이터의 압축(부호화) 장치의 구성을 도시하는 블록도이다. 도 4에서, 화상 데이터(001)는, 압축 대상이 되는 화소의 집합을 나타내며, 디지털로 화상을 처리하는 화상 처리 장치(도시하지 않음)에 의해 추출된다. 그리고 압축 대상 화소 X(002)는, 현단계에서 압축 대상이 되는 화소를 나타내고 있다. 도 5는 화상 포맷이, 인터레이스 화상, 또는, 프로그레시브 화상일 때의 압축 대상 화소 X와 주변 화소(라인 간 및 이전 화소)의 배치 관계를 도시하는 도면이다. 또한 도 5에서 라인은 파선으로 나타나 있다.

양자화기(003)는, 라인 간의 주목 화소(본 예에서는 화소 A, B)의 레벨값의 연속성, 주변 화소의 레벨차 계측(본 예에서는 주변 화소의 레벨차의 절대값의 합)으로부터 양자화 단계가 다른 양자화표를 선택하는 양자화표 전환 모듈(017)로부터의 제어 신호에 기초하여 선택된 양자화표에 따라서 압축 대상 화소 X(002)와 예측값 X'(006)의 차분값인 "예측 오차"를 양자화하는 것이며, 예측 오차(X-X')를 입력으로 해서, 예측 오차 양자화값(단순히, 양자화값이라고도 말함)과 양자화 번호를 출력한다.

도 6a는 예측 오차(X-X')에 대한 양자화값 및 양자화 번호의 대응을 나타내는 양자화 테이블로서, 미세한 양자화 단계로 이루어지는 제1 양자화 테이블이다. 도 6b는 예측 오차(X-X')에 대한 양자화값 및 양자화 번호의 대응을 나타내는 양자화 테이블로서, 보통의 양자화 단계로 이루어지는 제2 양자화 테이블이다. 도 6c는 예측 오차(X-X')에 대한 양자화값 및 양자화 번호의 대응을 나타내는 양자화 테이 블로서, 개략적인 양자화 단계로 이루어지는 제3 양자화 테이블이다.

상기 양자화 단계의 폭은 예측 오차의 절대값이 작은 경우일수록 좁고, 예측 오차의 절대값이 큰 경우일수록 넓은 것이 바람직하다. 이것은, 일반적으로 예측 오차가 작은 경우는 예측이 맞기 쉬운 평탄한 화상이고, 반대로 예측 오차가 큰 경우는 예측이 빗나가기 쉬운 에지 근방인 경향이 있어, 평탄한 부분에 오차가 있으면 사람의 눈에 검지되기 쉽기 때문에, 예측 오차가 작은 경우에는 단계 폭을 좁게 함으로써, 양자화 오차를 작게 하기 위함이다. 최소 단계 폭은 1∼4 정도가 바람직하다.

한편, 예측 오차가 큰 경우에는, 양자화의 단계 폭을 넓게 해서 압축 효율을 올리도록 한다. 이 단계 폭은 24∼32가 바람직하다. 예측 오차가 큰 경우에는 기본적으로는 출현 빈도가 적고, 에지 근방의 부분에서는 예측 오차가 커도 평탄한 부분에서 오차가 있는 경우보다 눈에 띄지 않기 때문에, 단계 폭이 넓어도 비교적 문제가 되지 않는다. 이렇게 해서 단계 폭을 넓게 하여 압축 효율을 올리는만큼, 반대로 평탄한 부분에는 한층 미세한 양자화를 행할 수 있도록 한다.

예컨대, 도 6a에 도시하는 미세한 단계의 제1 양자화 테이블에서는 예측 오차의 절대값은 최소 0으로 설정되고, 최대 11 이상으로 설정되어 있다. 또한 도 6b에 도시하는 보통의 단계의 제2 양자화 테이블에서는 예측 오차의 절대값은 최소 2로 설정되고, 최대 21 이상으로 설정되어 있다. 또한 도 6c에 도시하는 개략적인 단계의 제3 양자화 테이블에서는 예측 오차의 절대값은 최소 4로 설정되고, 최대 41 이상으로 설정되어 있다.

또한 도 6a, 도 6b, 도 6c에 도시하는 양자화값과 양자화 번호의 대응지음은, 압축측, 복원측에서 동일한 대응으로 되어 있을 필요가 있다. 그 때문에 도 6a, 도 6b, 도 6c에 대응하여 양자화값과 양자화 번호의 대응지음을 나타내는 역양자화 테이블(도 12a, 도 12b, 도 12c 참조)을 복원측에 갖게 한다. 이에 대해서는 후술한다. 또한 상기 설명에서는 양자화 테이블로서 3가지의 예를 나타내었으나, 이것에 한정되지 않고, 양자화 단계 폭이 다른 양자화 테이블이 2개 이상 있으면 된다.

또한, 에지가 많은 복잡한 도안을 압축하면 소정의 압축률에 이르지 않는 경우가 있기 때문에, 양자화 단계 폭이 다른 복수의 양자화 테이블을 갖고, 소정의 압축률을 초과할 것 같은 경우에는 단계 폭이 전체적으로 개략적인 양자화 테이블을 선택하는 적응 양자화를 행해도 상관없다.

가변 길이 부호화기(004)는, 도 6a, 도 6b, 도 6c 중 어느 하나의 양자화 테이블로부터 얻어지는 양자화 번호를 입력으로 해서, 가변 길이 부호를 출력한다. 압축 부호 버퍼(005)는 가변 길이 부호화기(004)의 출력을 축적하는 버퍼이다. 예측값(006)은, 예측기(018)에 의해 산출된 예측값이다.

주변 화소 A(007)는, 도 5에 도시되어 있는 바와 같이, 압축 대상 화소 X의 좌측의 화소이다. 예측용 1라인분 버퍼(008)는, 예측용으로서 양자화 결과를 약 1라인분 유지하는 버퍼이며, 예컨대 시프트 레지스터로 구성된다.

또한, 주변 화소 D(009)는, 압축 대상 화소 X의 우측 위의 화소, 즉, 하나 앞서 처리한 라인 중에서 하나 뒤의 열의 화소이다. 주변 화소 C(010)는, 압축 대 상 화소 X 위의 화소, 즉, 하나 앞서 처리한 라인 중에서 동일한 열의 화소이다. 주변 화소 B(011)는, 압축 대상 화소 X의 좌측 위의 화소, 즉, 하나 앞서 처리한 라인 중에서 하나 앞의 열의 화소이다. 주변 화소 E(012)는, 주변 화소 B(011)의 좌측의 화소, 즉, 하나 앞서 처리한 라인 중에서 2개 앞의 열의 화소이다. 또한, 원화상에서 보면, 주변 화소 D, 주변 화소 C, 주변 화소 B, 주변 화소 E의 각각은, 압축 대상 화소 X에 있어서, 인터레이스 화상의 경우에는 2라인 위의 화소에 대응하고, 프로그레시브 화상의 경우에는 1라인 위의 화소에 대응한다.

그리고 연속성 평가 결과 피드백 모듈(013)은, 주변 화소 A(007), B(011)를 기초로 레벨차를 계측하고, 연속성을 평가하여, 동일 레벨차가 규정 횟수 이상 연속하는 경우에는 미세한 양자화 테이블(도 6a에 도시하는 제1 양자화 테이블)을 사용하도록 제어 신호(014)를 출력한다.

연속성의 평가를 어떠한 횟수로 판단할지에 대해서는, 화질 저하가 눈에 띄기 전에 미세한 양자화 테이블로 전환하는 편이 좋기 때문에, 화상 사이즈와 비교해서 작은 것이 바람직하다. 예컨대, 가로 방향이 720화소와 같은 화상에서는, 길이 6화소의 가로 방향의 선 형상의 화질 저하가 발생하면, 사람의 눈에 검지되기 쉽기 때문에, 그것 이하의 값(본 실시형태에서는 4화소 처리분)으로 설정되어 있다.

도 7은 도 4에 도시한 연속성 평가 결과 피드백 모듈(013)의 동작을 설명하는 플로우차트이다. 도 7의 단계 S041에서는, 레벨차 B-A와 이전회 레벨차를 비교한다. 단계 S042에서는, 레벨차 B-A와 이전회 레벨차가 동일한지를 판정한다. 동일 하지 않으면, 단계 S043에서 동일값 연속 카운터에 1을 설정하고 단계 S045로 진행된다. 또한 동일하면, 단계 S044로 진행되고, 단계 S044에서 동일값 연속 카운터에 1을 가산한다.

단계 S045에서는, 동일값 연속 카운터가 4 이상인지를 판정한다. 카운터의 값이 4 이상이면, 단계 S046으로 진행되고, 단계 S046에서, 미세한 양자화 단계의 양자화 테이블을 나타내는 제어 신호 "000"을 송신하여 처리를 종료한다. S045에서 카운터의 값이 4 이상이라고 하는 것은, 동일한 값의 레벨값이 소정 횟수 이상 연속하고 있으며, 예측 오차가 전파되고 있는 것이 의심되는 상태이기 때문에, 이 처리에서는, 보다 미세한 양자화 단계의 양자화 테이블로 전환함으로써, 예측 레벨값의 오차를 보다 미세하게 검출할 수 있도록 하는 것이다. 따라서, 정말로 예측 오차의 전파가 발생하고 있는 경우에는, 이 처리에 의한 양자화 테이블의 전환에 의해, 그것 이상 예측 오차를 전파시키지 않도록 하는 것이 가능해진다.

또한, 예측 오차가 전파되고 있는 것이 아니라, 처리 대상으로 하고 있는 화상이, 정말로 동일한 레벨값이 연속하는 화상이었던 경우라도, 미세한 양자화 테이블로 전환하는 것은 조금도 문제를 발생시키는 것은 아니다.

또한 카운터의 값이 4 이상이 아니면, 단계 S047로 진행되고, 단계 S047에서는, 제어를 주변 레벨차 검출 모듈(015)로 이관하여 처리를 종료한다.

상기한 바와 같이 제어 신호(014)는, 미세한 양자화 단계를 나타내는 제어 신호 "000"이거나, 혹은 재차 어떤 양자화 테이블을 사용할지를 결정하기 위해서 주변 레벨차 검출 모듈(015)을 작동시킬 것을 나타내는 제어 신호를 나타내는 것이 다.

주변 레벨차 결정 모듈(015)은, 주변 화소의 레벨차의 합의 절대값을 산출하고, 이것을 임계값과 비교함으로써, 어떤 양자화 테이블을 사용할지를 결정한다. 결정 후, 제어 신호(016)를 송신한다. 즉, 제어 신호(016)는, 하기와 같은 제어 신호를 송신한다.

제어 신호 000: 미세한 양자화 단계의 양자화 테이블의 사용 시에 송신

제어 신호 001: 보통의 양자화 단계의 양자화 테이블의 사용 시에 송신

제어 신호 010: 개략적인 양자화 단계의 양자화 테이블의 사용 시에 송신

도 8은 도 4에 도시한 주변 레벨차 결정 모듈(015)의 동작을 설명하는 플로우차트이다. 도 8의 단계 S051에서는, 레벨차 D-C, 레벨차 C-B, 레벨차 B-A, 레벨차 B-E의 각 절대값의 합인 Ndsub를 산출한다. 단계 S052에서는 Ndsub가 15 이하인지를 판정한다. Ndsub가 15 이하이면, 단계 S053으로 진행되고, 단계 S053에서 미세한 양자화 단계의 양자화 테이블을 나타내는 제어 신호 "000"을 송신하여 처리를 종료한다. 즉, 활성도가 낮은 화상(평탄한 화상)에서는, 조금이라도 화상 열화가 발생하면 사람의 눈에 검지되기 쉽기 때문에, 그러한 활성도가 낮은 화상에 대해서는, 미세한 양자화 테이블을 이용함으로써, 정밀도가 높은 부호화를 행하도록 한다.

Ndsub를 어떠한 값으로 판정할지에 대해서는, 상기 설명에서는 15라고 하는 임계값을 이용하고 있으나, 이것에 한정되는 것은 아니다. 일반적으로, 화소 레벨차가 2∼4 정도 이면 사람의 눈에 검지되기 쉽다. 여기서는 4개의 레벨차의 절대합 을 취하고 있기 때문에, 사람의 눈에 검지되기 쉬운 화소 레벨차의 합계는 8(즉 2×4)∼16(즉 4×4)의 범위가 된다. 상기 판정에 이용하는 임계값은, 활성도가 낮은 화상(평탄한 화상)에서의 오차 전파를 억제하기 위한 것이기 때문에, 상기 8∼16의 범위 내에서 임계값(상기에서는 15)을 결정하면 된다.

또한 Ndsub가 15 이하가 아니면, 단계 S054로 진행되고, 단계 S054에서 Ndsub가 128 이상인지를 판정한다. Ndsub가 128 이상이 아니면, 단계 S055로 진행되고, 단계 S055에서 보통의 양자화 단계의 양자화 테이블을 나타내는 제어 신호 "001"을 송신하여 처리를 종료한다. 또한 Ndsub가 128 이상이면, 단계 S056으로 진행되고, 단계 S056에서 개략적인 양자화 단계의 양자화 테이블을 나타내는 제어 신호 "010"을 송신하여 처리를 종료한다. 즉, 활성도가 높은 화상(평탄한 부분이 적은 화상)에서는, 다소의 화상 열화가 발생했다고 해도 사람의 눈으로는 알기 어렵기 때문에, 그러한 활성도가 높은 화상에 대해서는, 개략적인 양자화 테이블을 이용함으로써, 고속의 부호화를 행하도록 한다.

Ndsub를 어떠한 값으로 판정할지에 대해서는, 상기 설명에서는 128이라고 하는 임계값을 이용하고 있으나, 이것에 한정되는 것은 아니다. 일반적으로, 활성도가 높은 화상(평탄한 부분이 적은 화상)에서의 양자화 단계 폭은 24∼32로 설정되어 있기 때문에, 상기 4개의 레벨차의 절대합은 그 4배, 즉 96∼128의 범위가 된다. 이 범위 내에서 임계값(상기에서는 128)을 결정하고, 이에 따라 개략적인 양자화 단계의 제3 양자화 테이블과 보통의 양자화 단계의 제2 양자화 테이블의 사용을 구분하면 된다.

또한, 본 실시형태에서는 제어 신호로서 3비트의 제어 신호 (000), (001), (010)을 대응시키고 있으나, 다른 양자화 단계의 양자화 테이블을 지시할 수 있는 것이면, 이러한 형식의 제어 신호가 아니어도 상관없다. 또한 양자화 테이블도 상기와 같은 미세, 개략적, 보통의 양자화 단계의 양자화 테이블에 한정되지 않고, 더욱 세분하여 4개 이상의 양자화 테이블을 구비하는 것, 또는, 미세, 개략적, 2종류의 양자화 테이블을 구비하는 것만으로도 좋으며, 요는 2종류 이상의 양자화 단계 폭이 다른 양자화 테이블을 구비하고 있으면 된다.

다음으로 양자화표 전환 모듈(017)은, 2개의 제어 신호(014, 016)에 따라서 양자화표를 전환하는 제어 신호를 양자화기(003)에 출력한다. 예측기(018)는, 주변 화소 A(007), B(011), C(010)를 기초로 압축 대상 화소 X의 예측값 X'를 산출한다.

도 9a는 본 발명의 실시형태에 따른 화상 데이터의 압축(부호화) 장치의 동작을 설명하기 위한 플로우차트이다. 도 9b는 도 9a에서의 단계 S008에 있어서의 "로컬 디코더"의 처리를 설명하는 플로우차트이다. 도 9a 및 도 9b에서는 단계를 S라고 약기한다.

도 9a에서의 단계의 설명에 들어가기 전에 본 예에서는 전체 화상 데이터분에 대해서 처리가 종료될 때까지 루프하는 것을 전제로 하고 있는 것에 주의해 주길 바란다.

S001: 화상 데이터(001)로부터 압축 대상 화소 X(002)를 취득한다.

S002: 연속성 평가 결과 피드백 모듈(013)로, 주변 화소 A(007), B(011)를 기초로 레벨차를 계측하고, 연속성의 평가를 행하여, 동일 레벨차가 규정 횟수 이 상 연속하는 경우에는 미세한 양자화 테이블을 사용하는 제어 신호(014)를 양자화표 전환 모듈(017)에 출력한다. 그렇지 않은 경우에는, S003으로 진행된다.

S003: 주변 레벨차 검출 모듈(015)로 주변 레벨차의 절대값의 합을 검출하고, 주변 레벨차의 절대값의 합을 평가하여 양자화 테이블을 결정하는 제어 신호(016)를 양자화표 전환 모듈(017)에 출력한다.

S004: 예측기(018)로 압축 대상 화소 X(002)의 예측값 X'(006)를 산출한다.

S005: 압축 대상 화소 X(002)로부터 예측값 X'(006)를 감산한다.

S006: 예측 오차를 양자화표 전환 모듈(017)로 결정된 양자화 테이블에 입력하여, 예측 오차 양자화값(도 6a 내지 도 6c 참조)을 산출한다.

S007: 가변 길이 부호화기(004)로 양자화 번호를 기초로 부호 생성한다. 이 부호는 Golomb 부호여도 산술 부호여도 상관없는 것으로 한다.

S008: 다음 화소를 압축하기 위해서, 주변 화소 A(007), B(011), C(010)와 예측용 라인 버퍼(008)를 갱신(로컬 디코더)한다.

S009: 주변 화소 B(011)를 다음 압축 대상 화소의 주변 화소 E(012)로서 대입한다.

S010: 주변 화소 C(010)를 다음 압축 대상 화소의 주변 화소 B(011)로서 대입한다.

S011: 주변 화소 D(009)를 다음 압축 대상 화소의 주변 화소 C(010)로서 대입한다.

S012: 예측용 1라인분 버퍼(008)로부터 다음 압축 대상 화소의 주변 화소 D(009)를 취득한다.

S013: 주변 화소 A(007)를 예측용 1라인분 버퍼(008)에 대입한다.

S014: 양자화값과 예측값을 가산하여, 다음 압축 대상 화소의 주변 화소 A(007)로서 대입한다.

도 10은 본 발명의 실시형태에 따른 화상 데이터의 압축 장치의 시스템 구성을 도시하는 기능 블록도이며, 상기에서 설명한 내용을 기능화하여 블록으로 표현한 것이다. 도 10에서 본 발명의 실시형태에 따른 화상 데이터의 압축 장치는, 압축 처리해야 할 화상 데이터(102)를 압축 처리부(110)에 입력하고, 압축 처리부(110)에서는, 우선 입력된 화상 데이터(102)를 라인마다 판독부(111)로 판독하여 압축 대상 화소를 추출하며, 추출한 압축 대상 화소에 대하여 예측 처리부(112)에 입력한다.

예측 처리부(112)에서는, 예측기가 예측한 상기 압축 대상 화소의 예측값을 상기 압축 대상 화소 레벨로부터 감산하여 예측 오차를 산출하는 한편, 평가부(113)의, 도 4의 연속성 평가 결과 피드백 모듈(013)에 상당하는 연속성 평가부(114)가 상기 압축 대상 화소에 관한 2개의 특정 주변 화소의 레벨차가 연속하고 있는지를 평가하여, 동일 레벨차가 규정 횟수 이상 연속하는 경우에는, 예컨대 도 6a에 도시하는 바와 같은 미세한 양자화 테이블(119)을 사용하기 위한 제어 신호를 생성한다. 또한 평가부(113)의 도 4의 주변 레벨차 검출 모듈(015)에 상당하는 주변 평가부(115)가 상기 압축 대상 화소의 예측값을 산출하는 화소의 주변의 화소를 포함한 각각 2개의 주변 화소의 레벨차의 절대값의 합을 검출하고, 레벨차와 이용 해야 할 양자화 테이블의 정보를 대응시켜 관리하는 레벨차 테이블(116)을 참조하여 주변 레벨차의 절대값의 합을 평가해서 어떤 레벨의 양자화 테이블(119)을 사용할지의 제어 신호를 전환 처리부(117)에 각각 입력한다.

양자화표 전환 모듈(017)에 상당하는 전환 처리부(117)에서는, 입력된 제어 신호에 기초하여 양자화 테이블(119)의 전환을 양자화 처리부(118)에 지시하고, 양자화 처리부(118)에서는 양자화 테이블(119)을 전환하여, 전환한 양자화 테이블(119)을 이용해서 예측 오차 양자화값을 산출하며, 양자화 처리부(118)의 출력으로서, 가변 길이 부호화기(004)에 상당하는 부호화 처리부(120)에 입력하고, 부호화 처리부(120)에서는 입력된 예측 오차 양자화값에 기초하여 압축 부호를 생성하며, 생성한 압축 부호를 압축 처리부(110)의 출력으로서 축적하여 압축 데이터(104)를 얻는 것이다.

상술한 도 10에 도시한 화상 데이터의 압축 장치에 있어서의 처리는, 컴퓨터상에서 실현할 수 있는 것은 물론이다. 그 경우 컴퓨터의 하드웨어 자원으로서는, 도시하고 있지 않으나 각종 레지스터, ALU를 포함하는 연산 장치, RAM, ROM, I/O 등이 이용된다. 또한 상술한 각 모듈, 예측기, 양자화 테이블을 포함하는 양자화기, 부호기 등을 1칩 LSI화하여 화상 데이터의 압축 장치로서 상술한 특성이 다른 2종류의 화상 데이터를 취급하는 각종 애플리케이션에 이용 가능하다.

이와 같이 본 발명의 화상 압축 장치에 따르면, 이미 양자화한 화소 레벨값을 1라인분 유지하는 예측용 버퍼를 이용하여, 이것을 기초로 화소 단위로 양자화, 부호화함과 동시에, 양자화의 과정에서 화질 저하가 발생하고 있는지를 화소 단위 로 평가하여, 다음 화소의 양자화, 부호화에 즉시 피드백(양자화 테이블의 전환을 실행)한다. 양자화 오차에 의한 화질 저하가 발생하고 있는 경우에는, 양자화 테이블의 단계 폭이 미세한 것으로 전환하여 양자화함으로써, 양자화 오차를 해소하기(혹은 감소되기) 때문에, 화질 저하가 일어나고 있는 경우에는 순시(수 화소 단위)에 보정하는 것이 가능해진다.

양자화 오차가 발생하고 있는 경우는, 행 사이에서 양자화 단계분의 동일한 레벨차가 발생하고 있는 경우가 많다. 이 때문에, 동일한 값의 레벨차를 평가하여, 양자화 오차가 전파되고 있다고 판단한 경우에는 양자화 테이블을 전환해서 미세한 양자화를 행함으로써, 예컨대 원래는 화상상에는 존재하지 않는 라인인데도 불구하고, 에지 근방으로부터 생기게 되는 라인을 발생시키는 원인이 되는 예측 오차의 전파를 방지하는 것이 가능해진다.

또한, DVD에 기록되어 있는 영화와 같은 자연 화상에서는, 레벨차의 변동이 그다지 없는 평탄한 화상(사람의 피부 등)에서 화질 저하가 발생하면 눈에 띄기 쉽고, 한편으로 활성도가 많은 화상에서는 화질 저하가 발생해도 눈에 띄기 어렵다. 이 때문에, 앞의 행(라인)과 지금의 행(라인)의 화소의 활성도로서 레벨차의 절대값의 합을 산출함으로써, 양자화 단계를 개략적으로 하거나, 미세하게 하여, 화질 저하를 방지하면서 압축 효율을 높이는 것이 가능해진다.

또한 본 발명의 화상 압축 장치에 따르면, 특정 화소에서의 동일 레벨차가 연속해서 출현하고 있는지를 카운터라고 하는 간이한 장치로 검출하여, 동일 레벨차가 소정 횟수 이상, 예컨대 4회 연속해서, 출현한 경우에 미세한 양자화를 행하 는 양자화 테이블을 선택하도록 제어하면, 긴 행(라인) 방향의 화질 저하가 발생하기 전에 보정하는 것이 가능해진다.

또한 본 발명의 화상 압축 장치에 따르면, 화소 레벨값을 1라인분 유지하는 예측용 버퍼를 이용하여 압축 대상 화소의 주변 화소의 레벨차의 절대값의 합을 산출하고, 그 값을 기초로 양자화표 전환 모듈에 어떤 양자화 테이블을 사용할지를 나타내는 제어 신호를 송신하기 때문에, 압축 대상 화소 주변의 활성도(주변 화소의 화소 레벨차)를 기초로 양자화기에 즉시 피드백을 가하는 것이 가능해진다.

또한 본 발명의 화상 압축 장치에 따르면, 양자화표를 전환하는 제어 신호로 양자화표의 전환을 실행하도록 했기 때문에, 화소 레벨차의 연속성 및 압축 대상 화소 주변의 활성도로 양자화의 미세함이 각각 다른 3종류의 양자화 테이블, 즉 미세한, 보통, 개략적인 양자화표를 구별하여 사용하는 것이 가능해진다. 또한, 보다 미세한 제어를 행하는 경우에는, 양자화표를 3종류가 아니라 더 많은 것으로 해도 동일한 효과가 얻어지는 것은 분명하다.

또한, 본 발명의 화상 압축 장치는, 처리 대상으로 하는 화상이 프로그레시브 화상인 경우에는 프레임 단위로, 인터레이스 화상인 경우에는 필드 단위로 화면의 상부로부터 하부를 향한 순서로, 스트림 형상으로 흘러 오는 화상 데이터를 처리 대상으로 한다. 또한, 압축 부호화 후의 압축 데이터는, 본 장치가 접속하고 있는 전송로의 전송 규약에 따라서, 일정한 사이즈마다 패킷화되어 전송되게 된다.

도 11은 본 발명의 실시형태에 따른 화상 데이터의 복원(복호화) 장치의 구성을 도시하는 블록도이다. 도 11에서, 압축 부호(031)는, 상기한 도 4에서 가변 길이 부호화된 화상 데이터의 압축 부호를 나타내고 있다. 그리고 역부호화기(032)는, 가변 길이 부호화된 화상 데이터의 압축된 부호를 입력으로 해서, 그 부호에 해당하는 양자화 번호를 출력한다. 역양자화기(033)는, 양자화 번호를 입력으로 해서, 예측 오차 양자화값 X(034)를 출력한다.

도 12a는 역양자화기(033)에 구비된 상기 양자화 번호에 대해 양자화값(예측 오차 양자화값)의 대응을 나타내는 역양자화 테이블로서, 미세한 양자화 단계로 이루어지는 제1 역양자화 테이블이다. 도 12b는 역양자화기(033)에 구비된 상기 양자화 번호에 대한 양자화값(예측 오차 양자화값)의 대응을 나타내는 역양자화 테이블로서, 보통의 양자화 단계로 이루어지는 제2 역양자화 테이블이다. 도 12c는 역양자화기(033)에 구비된 상기 양자화 번호에 대해 양자화값(예측 오차 양자화값)의 대응을 나타내는 역양자화 테이블로서, 개략적인 양자화 단계로 이루어지는 제3 역양자화 테이블이다. 또한 도 12a, 도 12b, 도 12c에 도시하는 양자화값과 양자화 번호의 대응은 복원측, 압축측에서 동일한 대응으로 되어 있을 필요가 있다. 그 때문에 도 12a, 도 12b, 도 12c에 대응하여 압축측에 양자화값과 양자화 번호의 대응을 나타내는 양자화 테이블(도 6a, 도 6b, 도 6c 참조)을 구비하고 있다. 또한 상기 설명에서는 역양자화기로서 3가지의 예를 나타내었으나, 이것에 한정되지 않고, 2개 이상 있으면 된다.

화상 포맷이, 인터레이스 화상, 또는, 프로그레시브 화상일 때의 복원 대상 화소 X와 주변 화소(라인 간 및 이전 화소)의 배치 관계는, 도 5에 도시한 압축 대상 화소 X와 주변 화소(라인 간 및 이전 화소)의 배치 관계와 동일하다. 단, 도 5 에서의 압축 대상 화소는, 복원 대상 화소라고 바꿔 읽는다.

예측 오차 양자화값 X(034)는, 예측기(048)에 의해 산출된 예측값 X'(036)와 가산되어 복원 화상 데이터(035)가 얻어지며, 다음 복원 대상 화소의 주변 화소 A(037)로도 된다.

주변 화소 A(037)는, 도 5에 도시되는 주변 화소 A와 같이, 복원 대상 화소의 좌측의 화소이다. 예측용 1라인분 버퍼(038)는, 예측용으로서 양자화 결과 약 1라인분을 유지하는 버퍼이며, 예컨대 시프트 레지스터로 구성된다. 도 5에 도시되는 주변 화소 D, C, B, E와 같이, 주변 화소 D(039)는, 복원 대상 화소의 우측 위(이전 라인)의 화소이고, 주변 화소 C(040)는, 복원 대상 화소 위(이전 라인)의 화소이며, 주변 화소 B(041)는, 복원 대상 화소의 좌측 위(이전 라인)의 화소이고, 주변 화소 E(042)는, 주변 화소 B(041)의 좌측의 이전 라인상의 화소이다.

연속성 평가 결과 피드백 모듈(043)은, 주변 화소 A(037), B(041)를 기초로 레벨차를 계측하고, 연속성을 평가하여, 동일 레벨차가 규정 횟수 이상 연속하는 경우에는 미세한 양자화 테이블(도 12a에 도시하는 제1 역양자화 테이블)을 사용하도록 제어 신호(044)를 출력한다.

압축 시와 마찬가지로, 연속성의 평가를 어떠한 횟수로 판단할지에 대해서는, 화질 저하가 눈에 띄기 전에 미세한 역양자화 테이블로 전환하는 편이 좋기 때문에, 화상 사이즈와 비교해서 작은 것이 바람직하다. 예컨대, 가로 방향이 720화소와 같은 화상에서는, 길이 6화소의 가로 방향의 선 형상의 화질 저하가 발생하면, 사람의 눈으로 검지하기 쉽기 때문에, 그것 이하의 값(본 실시형태에서는 4화 소 처리분)으로 설정되어 있다.

도 13은 도 11에 도시한 연속성 평가 결과 피드백 모듈(043)의 동작을 설명하는 플로우차트이다. 도 13의 단계 S061에서는, 레벨차 B-A와 이전회 레벨차를 비교한다. 단계 S062에서는, 레벨차 B-A와 이전회 레벨차가 동일한지를 판정한다. 동일하지 않으면, 단계 S063에서 동일값 연속 카운터에 1을 설정하여 단계 S065로 진행된다. 또한 동일하면, 단계 S064로 진행되고, 단계 S064에서 동일값 연속 카운터에 1을 가산한다. 단계 S065에서는, 동일값 연속 카운터가 4 이상인지를 판정한다. 카운터의 값이 4 이상이면, 단계 S066으로 진행되고, 단계 S066에서, 미세한 양자화 단계의 역양자화 테이블을 나타내는 제어 신호 "000"을 송신하여 처리를 종료한다. 또한 카운터의 값이 4 이상이 아니면, 단계 S067로 진행되고, 단계 S067에서는, 제어를 주변 레벨차 검출 모듈(045)로 이관하여 처리를 종료한다.

상기한 바와 같이 제어 신호(044)는, 미세한 양자화 단계를 나타내는 제어 신호 "000"이거나, 혹은 재차 어떤 역양자화 테이블을 사용할지를 결정하기 위해서 주변 레벨차 검출 모듈(045)을 작동시킬 것을 나타내는 제어 신호를 나타내는 것이다.

주변 레벨차 결정 모듈(045)은, 주변 화소의 레벨차의 합의 절대값을 산출하고, 이것을 임계값과 비교함으로써, 어떤 역양자화 테이블을 사용할지를 결정한다. 결정 후, 제어 신호(046)를 송신한다. 즉, 제어 신호(046)는, 하기와 같은 제어 신호를 송신한다.

제어 신호 000: 미세한 양자화 단계의 역양자화 테이블의 사용 시에 송신

제어 신호 001: 보통의 양자화 단계의 역양자화 테이블의 사용 시에 송신

제어 신호 010: 개략적인 양자화 단계의 역양자화 테이블의 사용 시에 송신

도 14는 도 11에 도시한 주변 레벨차 결정 모듈(045)의 동작을 설명하는 플로우차트이다. 도 14의 단계 S071에서는, 레벨차 D-C, 레벨차 C-B, 레벨차 B-A, 레벨차 B-E의 각 절대값의 합인 Ndsub를 산출한다. 단계 S072에서는 Ndsub가 15 이하인지를 판정한다. Ndsub가 15 이하이면, 단계 S073으로 진행되고, 단계 S073에서 미세한 양자화 단계의 역양자화 테이블을 나타내는 제어 신호 "000"을 송신하여 처리를 종료한다.

또한 Ndsub가 15 이하가 아니면, 단계 S074로 진행되고, 단계 S074에서 Ndsub가 128 이상인지를 판정한다. Ndsub가 128 이상이 아니면, 단계 S075로 진행되고, 단계 S075에서 보통의 양자화 단계의 역양자화 테이블을 나타내는 제어 신호 "001"을 송신하여 처리를 종료한다. 또한 Ndsub가 128 이상이면, 단계 S076으로 진행되고, 단계 S076에서 개략적인 양자화 단계의 역양자화 테이블을 나타내는 제어 신호 "010"을 송신하여 처리를 종료한다. Ndsub를 판정하는 임계값을 어떠한 값으로 할지에 대해서는 15나 128이라고 하는 값에 한하는 것이 아닌 것, 또한 어떠한 범위의 값이 바람직할지에 대해서는, 압축 처리에 관하여 상술한 것과 동일하다.

또한, 본 실시형태에서는 제어 신호로서 3비트의 제어 신호 (000), (001), (010)을 대응시키고 있으나, 다른 양자화 단계의 역양자화 테이블을 지시할 수 있는 것이면 이러한 형식의 제어 신호가 아니어도 상관없다. 또한 역양자화 테이블도 상기와 같은 미세, 개략적, 보통의 양자화 단계의 역양자화 테이블에 한정되지 않 고, 더욱 세분하여 4개 이상의 역양자화 테이블을 구비하는 것, 또는, 미세, 개략적, 2종류의 역양자화 테이블을 구비하는 것만으로도 좋으며, 요는 2종류 이상의 역양자화 테이블을, 상술한 화상 데이터 압축 장치측의 양자화 테이블에 대응하여 구비하고 있으면 된다.

다음으로 양자화표 전환 모듈(047)은, 2개의 제어 신호(044, 046)에 따라서 역양자화표를 전환하는 제어 신호를 역양자화기(033)에 출력한다. 예측기(048)는, 주변 화소 A(037), B(041), C(040)를 기초로 복원 대상 화소 X의 예측값 X'를 산출한다.

도 15a는 본 발명의 실시형태에 따른 화상 데이터의 복원(복호화) 장치의 동작을 설명하기 위한 플로우차트이다. 도 15b는 도 15a에서의 단계 S028에 있어서의 "로컬 디코더"의 처리를 설명하는 플로우차트이다. 도 15a 및 도 15b에서는 단계를 S라고 약기한다.

도 15a에서의 단계의 설명에 들어가기 전에 본 예에서는 전체 화상 데이터분에 대해서 처리가 종료될 때까지 루프하는 것을 전제로 하고 있는 것에 주의해 주길 바란다.

S021: 부호 데이터(031)를 역부호화기(032)에 입력하여, 양자화 번호를 출력한다.

S022: 연속성 평가 결과 피드백 모듈(043)로, 주변 화소 A(037), B(041)를 기초로 레벨차를 계측하고, 연속성의 평가를 행하여, 동일 레벨차가 규정 횟수 이상 연속하는 경우에는 미세한 역양자화 테이블을 사용하는 제어 신호(044)를 양자 화표 전환 모듈(047)에 출력한다. 그렇지 않은 경우에는 S023으로 진행된다.

S023: 주변 레벨차 검출 모듈(045)로 주변 레벨차의 절대값의 합을 검출하고, 주변 레벨차의 절대값의 합을 평가하여 역양자화 테이블을 결정하는 제어 신호(046)를 양자화표 전환 모듈(047)에 출력한다.

S024: 예측기(048)로 복원 대상 화소의 예측값 X'를 산출한다.

S025: 양자화 번호를 양자화표 전환 모듈(047)로 결정된 역양자화 테이블에 입력하여, 예측 오차 양자화값을 산출한다.

S026: 예측값과 예측 오차 양자화값을 가산한다.

S027: S026의 가산 결과를 복원 화상 데이터로 한다.

S028: 다음 화소를 복원하기 위해서, 주변 화소 A(037), B(041), C(040)와 예측용 1라인분 버퍼(038)를 갱신(로컬 디코더)한다.

S029: 주변 화소 B(041)를 다음 복원 대상 화소의 주변 화소 E(042)로서 대입한다.

S030: 주변 화소 C(040)를 다음 복원 대상 화소의 주변 화소 B(041)로서 대입한다.

S031: 주변 화소 D(039)를 다음 복원 대상 화소의 주변 화소 C(040)로서 대입한다.

S032: 예측용 1라인분 버퍼(038)로부터 다음 복원 대상 화소의 주변 화소 D(039)를 취득한다.

S033: 주변 화소 A(037)를 예측용 1라인분 버퍼(038)에 대입한다.

S034: 예측 오차 양자화값과 예측값을 가산하여, 다음 복원 대상 화소의 주변 화소 A(037)로서 대입한다.

도 16은 본 발명의 실시형태에 따른 화상 데이터의 복원 장치의 시스템 구성을 도시하는 기능 블록도이며, 상기에서 설명한 내용을 기능화하여 블록으로 표현한 것이다. 도 16에서 본 발명의 실시형태에 따른 화상 데이터의 복원 장치는, 상술한 화상 데이터의 압축 장치의 출력인 압축 데이터(202)를 복원 처리부(210)에 입력하고, 복원 처리부(210)에서는, 우선 입력된 화상 데이터(202)를 도 11의 역부호화기(032)에 상당하는 역부호화 처리부(211)에 입력하며, 역부호화 처리부(211)로부터 양자화 번호를 얻고, 이 양자화 번호를 역양자화기(033)에 상당하는 역양자화 처리부(212)에 입력한다.

평가부(212)의, 도 11의 연속성 평가 결과 피드백 모듈(043)에 상당하는 연속성 평가부(213)는 복원 대상 화소에 관한 2개의 특정 주변 화소의 레벨차가 연속하고 있는지를 평가하고, 동일 레벨차가 규정 횟수 이상 연속하는 경우에는 미세한 역양자화 테이블(218)을 사용하기 위한 제어 신호를 생성한다. 또한 평가부(212)의, 주변 레벨차 검출 모듈(045)에 상당하는 주변 평가부(214)가 복원 대상 화소의 예측값을 산출하는 화소의 주변의 화소를 포함한 각각 2개의 주변 화소의 레벨차의 절대값의 합을 검출하고, 레벨차와 이용해야 할 양자화 테이블의 정보를 대응시켜 관리하는 레벨차 테이블(215)을 참조하여 주변 레벨차의 절대값의 합을 평가해서 어떤 레벨의 역양자화 테이블(218)을 사용할지의 제어 신호를 전환 처리부(216)에 각각 입력한다.

양자화표 전환 모듈(047)에 상당하는 전환 처리부(216)에서는, 입력된 제어 신호에 기초하여 역양자화 테이블(218)의 전환을 역양자화 처리부(217)에 지시하고, 역양자화 처리부(217)에서는 역양자화 테이블(218)을 전환하며, 전환한 양자화 테이블(218)을 이용하여 예측 오차 양자화값을 산출하고, 예측 처리부(219)에 입력한다. 예측 처리부(219)에서는 예측기가 예측한 복원 대상 화소의 예측값과 전환한 양자화 테이블(218)을 이용하여 산출한 예측 오차 양자화값을 가산해서 복원 화소값을 얻으며 이것을 축적하여 복원(화상) 데이터(204)를 얻는 것이다.

상술한 도 16에 도시한 화상 데이터의 복원 장치에 있어서의 처리는, 컴퓨터상에서 실현할 수 있는 것은 물론이다. 그 경우 컴퓨터의 하드웨어 자원으로서는 도시하고 있지 않으나 각종 레지스터, ALU를 포함하는 연산 장치, RAM, ROM, I/O 등이 이용된다. 또한 상술한 각 모듈, 예측기, 역양자화 테이블을 포함하는 역양자화기, 역부호기 등을 1칩 LSI화하여 화상 데이터의 복원 장치로서 상술한 특성이 다른 2종류의 화상 데이터를 취급하는 각종 애플리케이션에 이용 가능하다.

이상과 같이, 압축측과 마찬가지로, 복원측에서도 역양자화 테이블을 전환함으로써, 화상 데이터를 복원하는 것이 가능하다.

본 발명의 화상 데이터 압축 장치 및 화상 데이터 복원 장치는, 1칩 LSI화되어 원하는 애플리케이션 기기에 탑재 가능하고, 예컨대 카 내비게이션을 포함하는 차내 영상 데이터 전송 시스템이나 각종 오락(게임, 애니메이션 등) 기기에의 적용이 고려된다. 일례로서 차내 영상 데이터 전송 시스템에서는, 리어측에도 디스플레 이가 설치되어, 프론트측과는 다른 영상을 감상할 수 있는 것이 요망된다. 그 때문에, 프론트측에 실장된 영상 데이터 처리 장치로 처리한 화상 데이터를 압축하여 리어측에 전송하고, 리어측에서는 그것을 복원하여 화상 데이터를 표시한다. 화상 데이터를 중계하는 경우에는 각 중계점에서 압축, 복원이 반복되게 된다.

Claims (13)

1. 압축 대상 화소의 화소 레벨값을 예측하는 예측기를 구비한 화상 압축 장치에 있어서,

   화상 데이터를 압축할 때, 상기 압축 대상 화소가 속하는 행과 그 앞의 행에 존재하는 압축이 끝난 화소 레벨값을 적어도 1라인분 유지하는 화소 유지 수단과,

   상기 2개의 행에 관한 상기 압축이 끝난 화소 중 특정 화소 간의 레벨차의 동일성을 평가하여 양자화표 전환 수단에 제어 신호를 송출하는 특정 화소 레벨차 평가 수단 또는, 상기 압축 대상 화소의 주변의 화소 레벨차의 절대값의 합을 평가하여 양자화표 전환 수단에 제어 신호를 송출하는 절대값 합 평가 수단 중 적어도 어느 하나의 수단과,

   상기 특정 화소 레벨차 평가 수단 또는 상기 절대값 합 평가 수단 중 어느 하나로부터 출력되는 제어 신호에 기초하여 양자화표의 전환을 지시하는 양자화표 전환 수단과,

   상기 양자화표 전환 수단으로부터의 지시에 기초하여 다른 양자화 단계를 갖는 복수의 양자화표 중 어느 하나를 선택하여 양자화를 행하는 양자화 수단

   을 구비하는 것을 특징으로 하는 화상 압축 장치.
2. 제1항에 있어서, 상기 특정 화소 레벨차 평가 수단은, 상기 특정 화소로서 상기 압축 대상 화소의 바로 앞의 압축이 끝난 화소 및 이전 라인에서 상기 화소의 바로 위의 화소를 설정하고, 상기 특정 화소 간의 레벨차가 소정 횟수 이상 연속하여 동일한 값이 출현하는 경우에는, 상기 양자화 수단으로 이용하는 양자화표를, 보다 미세한 양자화 단계로 양자화하는 양자화표로 전환하는 제어 신호를 상기 양자화표 전환 수단에 송출하는 것을 특징으로 하는 화상 압축 장치.
3. 제1항에 있어서, 상기 특정 화소 레벨차 평가 수단은, 상기 특정 화소에 있어서의 동일 레벨차가 연속하여 출현한 것을 카운트하는 카운터를 구비한 것을 특징으로 하는 화상 압축 장치.
4. 제1항에 있어서, 상기 절대값 합 평가 수단은, 상기 압축 대상 화소의 주변의 화소 레벨차의 절대값의 합이 미리 설정된 임계값보다 작은 경우에는 상기 양자화 수단을 보다 미세한 양자화 단계로 양자화하는 양자화표로 전환하는 제어 신호를 상기 양자화표 전환 수단에 송출하고, 또한 상기 임계값보다 큰 경우에는 상기 양자화 수단을 보다 개략적인 양자화 단계로 양자화하는 양자화표로 전환하는 제어 신호를 상기 양자화표 전환 수단에 송출하는 것을 특징으로 하는 화상 압축 장치.
5. 제1항에 있어서, 상기 양자화 수단은, 상기 제어 신호에 의해 선택되는 양자화 단계의 미세함이 다른 2종류 이상의 양자화표를 구비하는 것을 특징으로 하는 화상 압축 장치.
6. 압축 대상 화소의 화소 레벨값을 예측하는 예측기를 구비한 화상 압축 장치에서 실행되는 방법으로서,

   화상 데이터를 압축할 때, 상기 압축 대상 화소가 속하는 행과 그 앞의 행에 존재하는 압축이 끝난 화소 레벨값을 유지하는 과정과,

   상기 압축이 끝난 화소 레벨값을 기초로 상기 2개의 행 간의 특정 화소 간의 레벨차에 있어서 동일한 값이 어떻게 출현하고 있는지로 양자화 오차의 유무를 판단하여 양자화기에 있어서 사용하는 양자화표의 전환을 지시하는 제어 신호를 생성하는 과정 또는, 상기 압축 대상 화소의 주변의 화소 레벨차의 절대값의 합을 산출하여 주변 화소의 레벨차의 합의 대소로 상기 압축 대상 화소가 평탄한 화상인지 활성도가 많은 화상인지를 판단해서 상기 양자화기에서 사용하는 양자화표의 전환을 지시하는 제어 신호를 생성하는 과정 중 적어도 어느 하나의 과정과,

   상기 제어 신호에 기초하여 상기 양자화표의 전환을 지시하고, 상기 지시에 기초하여 다른 양자화 단계를 갖는 복수의 양자화표 중 어느 하나를 선택해서 양자화를 행하는 과정

   을 포함하는 것을 특징으로 하는 화상 압축 방법.
7. 압축 대상 화소의 화소 레벨값을 예측하면서 화상 압축을 행하기 위한 프로그램으로서, 컴퓨터에,

   화상 데이터를 압축할 때, 상기 압축 대상 화소가 속하는 행과 그 앞의 행에 존재하는 압축이 끝난 화소 레벨값을 적어도 1라인분 유지하는 화소 유지 수단,

   상기 2개의 행에 관한 상기 압축이 끝난 화소 중 특정 화소 간의 레벨차의 동일성을 평가하여 양자화표 전환 수단에 제어 신호를 송출하는 특정 화소 레벨차 평가 수단 또는, 상기 압축 대상 화소의 주변의 화소 레벨차의 절대값의 합을 평가하여 양자화표 전환 수단에 제어 신호를 송출하는 절대값 합 평가 수단 중 적어도 어느 하나의 수단,

   상기 특정 화소 레벨차 평가 수단 또는 상기 절대값 합 평가 수단 중 어느 하나로부터 출력되는 제어 신호에 기초하여 양자화표의 전환을 지시하는 양자화표 전환 수단,

   상기 양자화표 전환 수단으로부터의 지시에 기초하여 다른 양자화 단계를 갖는 복수의 양자화표 중 어느 하나를 선택해서 양자화를 행하는 양자화 수단으로서 기능시키기 위한 프로그램.
8. 압축 대상 화소의 화소 레벨값을 예측하는 예측기를 구비한 화상 압축 장치로 압축된 화상 데이터를 복원하는 화상 복원 장치에 있어서,

   화상 데이터를 복원할 때, 복원 대상 화소가 속하는 행과 그 앞의 행에 존재하는 복원이 끝난 화소 레벨값을 적어도 1라인분 유지하는 화소 유지 수단과,

   상기 2개의 행에 관한 상기 복원이 끝난 화소 중 특정 화소 간의 레벨차의 동일성을 평가하여 양자화표 전환 수단에 제어 신호를 송출하는 특정 화소 레벨차 평가 수단 또는, 상기 복원 대상 화소의 주변의 화소 레벨차의 절대값의 합을 평가하여 양자화표 전환 수단에 제어 신호를 송출하는 절대값 합 평가 수단 중 적어도 어느 하나의 수단과,

   상기 특정 화소 레벨차 평가 수단 또는 상기 절대값 합 평가 수단 중 어느 하나로부터 출력되는 제어 신호에 기초하여 역양자화표의 전환을 지시하는 양자화표 전환 수단과,

   상기 양자화표 전환 수단으로부터의 지시에 기초하여 다른 양자화 단계를 갖는 복수의 역양자화표 중 어느 하나를 선택해서 역양자화를 행하는 역양자화 수단

   을 구비하는 것을 특징으로 하는 화상 복원 장치.
9. 제8항에 있어서, 상기 특정 화소 레벨차 평가 수단은, 상기 특정 화소로서 상기 복원 대상 화소의 바로 앞의 복원이 끝난 화소 및 이전 라인에서 상기 화소의 바로 위의 화소를 설정하고, 상기 특정 화소 간의 레벨차가 소정 횟수 이상 연속하여 동일한 값이 출현하는 경우에는, 상기 역양자화 수단으로 이용하는 양자화표를, 보다 미세한 양자화 단계로 역양자화하는 역양자화표로 전환하는 제어 신호를 상기 양자화표 전환 수단에 송출하는 것을 특징으로 하는 화상 복원 장치.
10. 제8항에 있어서, 상기 절대값 합 평가 수단은, 상기 복원 대상 화소의 주변의 화소 레벨차의 절대값의 합이 미리 설정된 임계값보다 작은 경우에는 상기 역양자화 수단을 보다 미세한 양자화 단계로 역양자화하는 역양자화표로 전환하는 제어 신호를 상기 양자화표 전환 수단에 송출하고, 또한 상기 임계값보다 큰 경우에는 상기 역양자화 수단을 보다 개략적인 양자화 단계로 역양자화하는 역양자화표로 전 환하는 제어 신호를 상기 양자화표 전환 수단에 송출하는 것을 특징으로 하는 화상 복원 장치.
11. 제8항에 있어서, 상기 역양자화 수단은, 상기 제어 신호에 의해 선택되는 양자화 단계의 미세함이 다른 2종류 이상의 역양자화표를 구비하는 것을 특징으로 하는 화상 복원 장치.
12. 압축 대상 화소의 화소 레벨값을 예측하는 예측기를 구비한 화상 압축 장치로 압축된 화상 데이터를 복원하는 화상 복원 장치에서 실행되는 방법으로서,

    화상 데이터를 복원할 때, 복원 대상 화소가 속하는 행과 그 앞의 행에 존재하는 복원이 끝난 화소 레벨값을 적어도 1라인분 유지하는 과정과,

    상기 2개의 행에 관한 상기 복원이 끝난 화소 중 특정 화소 간의 레벨차의 동일성을 평가하여 양자화표 전환 수단에 제어 신호를 송출하는 과정 또는, 상기 복원 대상 화소의 주변의 화소 레벨차의 절대값의 합을 평가하여 양자화표 전환 수단에 제어 신호를 송출하는 과정 중 적어도 어느 하나의 과정과,

    상기 특정 화소 간의 레벨차의 동일성을 평가하는 과정 또는 상기 절대값합을 평가하는 과정 중 어느 하나로부터 출력되는 제어 신호에 기초하여 역양자화표의 전환을 지시하는 과정과,

    상기 지시에 기초하여 다른 양자화 단계를 갖는 복수의 역양자화표 중 어느 하나를 선택해서 역양자화를 행하는 과정

    을 포함하는 것을 특징으로 하는 화상 복원 방법.
13. 압축 대상 화소의 화소 레벨값을 예측하는 예측기를 구비한 화상 데이터 압축 장치로 압축된 화상 데이터를 복원하기 위한 프로그램으로서, 컴퓨터에,

    화상 데이터를 복원할 때, 복원 대상 화소가 속하는 행과 그 앞의 행에 존재하는 복원이 끝난 화소 레벨값을 적어도 1라인분 유지하는 화소 유지 수단,

    상기 2개의 행에 관한 상기 복원이 끝난 화소 중 특정 화소 간의 레벨차의 동일성을 평가하여 양자화표 전환 수단에 제어 신호를 송출하는 특정 화소 레벨차 평가 수단 또는, 상기 복원 대상 화소의 주변의 화소 레벨차의 절대값의 합을 평가하여 양자화표 전환 수단에 제어 신호를 송출하는 절대값 합 평가 수단 중 적어도 어느 하나의 수단,

    상기 특정 화소 레벨차 평가 수단 또는 상기 절대값 합 평가 수단 중 어느 하나로부터 출력되는 제어 신호에 기초하여 역양자화표의 전환을 지시하는 양자화표 전환 수단,

    상기 양자화표 전환 수단으로부터의 지시에 기초하여 다른 양자화 단계를 갖는 복수의 역양자화표 중 어느 하나를 선택해서 역양자화를 행하는 역양자화 수단

    으로서 기능시키기 위한 프로그램.

Images