KR20110091000A - 화상 부호화 장치 및 화상 복호 장치 - Google Patents

Abstract

화상 신호를 소정 사이즈의 2차원 블록으로 분할하여, 분할한 블록마다, 상기 블록이 속하는 영역의 종류를 판정하는 전처리부(1)를 설치하고, 전처리부(1)에 의해 분할된 블록마다, 전처리부(1)에 의해 판정된 영역의 종류에 대응하는 부호화 처리를 실시하여 압축 데이터를 생성한다. 이것에 의해, 화면 내의 각 영역에 적합한 부호화 처리를 실시할 수 있게 되고, 그 결과, 부호화의 효율을 높일 수 있는 화상 부호화 장치가 얻어진다.

Description

화상 부호화 장치 및 화상 복호 장치{IMAGE ENCODING DEVICE AND IMAGE DECODING DEVICE}

본 발명은, 화상 신호를 가변 길이 부호화하는 화상 부호화 장치와, 화상 부호화 장치에 의해 가변 길이 부호화된 화상 신호를 복호하는 화상 복호 장치에 관한 것이다.

프레임 내 부호화(인트라 부호화)를 행하는 종래의 화상 부호화 장치로서, 이하, 국제 표준 방식을 채용하고 있는 화상 부호화 장치를 설명한다.

종래의 화상 부호화 장치는, 예컨대, ISO/IEC 10918(통칭 JPEG : 비특허문헌 1을 참조)나, ISO/IEC 14496-2(통칭 MPEG-4 visual : 비특허문헌 2를 참조)와 같이, 화면을 8화소×8라인의 블록으로 분할하고, 분할한 블록마다, 2차원의 이산 코사인 변환(DCT)을 이용하여, 공간 영역으로부터 주파수 영역으로 변환한다.

그리고, 부호화 대상의 블록의 변환 계수(공간 영역으로부터 주파수 영역으로의 변환 계수)와, 그 블록에 인접하는 블록의 변환 계수와의 차분에 의한 예측 처리를 실시하여 예측 잔차 변환 계수를 구한다.

그리고, 그 예측 잔차 변환 계수에 대한 소정의 양자화 처리를 실시하여 양자화 계수를 구하고, 그 양자화 계수를 가변 길이 부호화(호프만 부호화)한다.

여기서, 도 2는 화면의 일례를 나타내는 설명도이다.

도 2에 나타낸 바와 같이, 화면 내에는 일반적으로 다양한 피사체가 포함되어 있다.

이때문에, 화상 신호가 거의 변화하지 않는 평탄한 영역(예컨대, 배경의 하늘 부분)이나, 똑같은 변화가 연속되어 있는 영역(예컨대, 전경의 초원 부분)이나, 화상 신호가 심하게 변화되는 복잡한 영역(예컨대, 중앙의 나무들의 부분) 등이 있다.

각 영역의 경계로 되는 에지 등에 있어서는, 국소적인 변화가 매우 큰 화상 신호로 된다.

도 3은 도 2의 화면에 유사한 화면에 있어서의 2개의 영역(하늘 영역, 나무들의 영역)의 화상 신호의 특성을 나타내는 설명도이다.

8 비트의 화상 신호의 경우, 0 ~ 255까지의 256 계조를 갖지만, 하늘 영역에서는, 60 ~ 110 부근의 매우 좁은 범위에 화상 신호가 분포되고 있다는 것을 알 수 있다. 한편, 나무들의 영역에서는, 0 ~ 255까지의 전역에 걸쳐, 거의 균등하게 화상 신호가 분포되어 있다는 것을 알 수 있다.

2개의 영역에 대하여, 8×8 사이즈의 2차원 DCT을 실시하여, 2차원 DCT의 변환 계수의 전력을 측정하면, 도 4에 나타낸 바와 같이, 하늘 영역에서는, 거의 성분이 약한 전력밖에 갖고 있지 않지만, 나무들의 영역에서는, 많은 AC(교류 성분) 계수에 대하여, 상당히 큰 전력을 갖고 있다는 것을 알 수 있다.

특히 나무들의 영역에서는, DC(직류) 성분인 (0,0) 성분에 가까운 (0, 1)이나 (1, 0) 등의 저주파수의 AC 성분에는 큰 전력이 나타난다는 것을 알 수 있다(도 4에서는, 보기 쉽게 하기 위해서, 직류 성분의 전력값을 0으로 하고 있다. 도 4에서는, 정(+)의 값밖에 취하지 않는 전력을 이용하여 나타내고 있지만, 실제로의 변환 계수는 정(+)·부(-)의 양쪽의 값을 취한다).

ISO/IEC 10918-1 「Information technology -- 디지털 compression and coding of continuous-tone still images -- Part 1 : Requirements and guidelines」 ISO/IEC 14496-2 「Information technology -- Coding of audio-visual objects -- Part 2 : Visual」

종래의 화상 부호화 장치는 이상과 같이 구성되어 있기 때문에, 보통 화면 내에는 화상 신호가 크게 변화되는 영역과, 그다지 변화하지 않는 영역이 존재하지만, 화면 내의 모든 화상 신호에 대하여, 동일의 부호화 처리를 실시하여, 화상 신호를 부호화하고 있다. 이때문에, 그 부호화 처리가, 화상 신호가 그다지 변화하지 않는 영역에 적합한 처리이면, 화상 신호가 크게 변화되는 영역에는 적합하지 않고, 반대로, 화상 신호가 크게 변화되는 영역에 적합한 처리이면, 화상 신호가 그다지 변화하지 않는 영역에는 적합하지 않게 되어, 부호화의 효율이 열화해 버리는 경우가 있는 등의 과제가 있었다.

본 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 화면 내의 각 영역에 적합한 부호화 처리를 실시하여, 부호화의 효율을 높일 수 있는 화상 부호화 장치를 얻는 것을 목적으로 한다.

또한, 본 발명은, 상기의 화상 부호화 장치에 의해 부호화된 화상 신호를 복호할 수 있는 화상 복호 장치를 얻는 것을 목적으로 한다.

본 발명에 따른 화상 부호화 장치는, 화상 신호를 소정 사이즈의 2차원 블록으로 분할하는 블록 분할 수단과, 블록 분할 수단에 의해 분할된 블록마다, 상기 블록이 속하는 영역의 종류를 판정하는 영역 종류 판정 수단을 설치하고, 부호화 수단이 블록 분할 수단에 의해 분할된 블록마다, 영역 종류 판정 수단에 의해 판정된 영역의 종류에 대응하는 부호화 처리를 실시하여 압축 데이터를 생성하도록 한 것이다.

본 발명에 따르면, 화상 신호를 소정 사이즈의 2차원 블록으로 분할하는 블록 분할 수단과, 블록 분할 수단에 의해 분할된 블록마다, 상기 블록이 속하는 영역의 종류를 판정하는 영역 종류 판정 수단을 설치하고, 부호화 수단이 블록 분할 수단에 의해 분할된 블록마다, 영역 종류 판정 수단에 의해 판정된 영역의 종류에 대응하는 부호화 처리를 실시하여 압축 데이터를 생성하도록 구성했기 때문에, 화면 내의 각 영역에 적합한 부호화 처리를 실시할 수 있도록 되고, 그 결과, 부호화의 효율을 높일 수 있는 효과가 있다.

도 1은 본 발명의 실시의 형태 1에 따른 화상 부호화 장치를 나타내는 구성도이다.
도 2는 화면의 일례를 나타내는 설명도이다.
도 3은 도 2의 화면에 유사한 화면에 있어서의 2개의 영역(하늘 영역, 나무들의 영역)의 화상 신호의 특성을 나타내는 설명도이다.
도 4는 도 2의 화면에 유사한 화면에 있어서의 2개의 영역(하늘 영역, 나무들의 영역)에 있어서의 각 AC 계수의 전력을 나타내는 설명도이다.
도 5는 양자화 테이블의 일례를 나타내는 설명도이다.
도 6은 호프만 부호어 테이블의 일례를 나타내는 설명도이다.
도 7은 본 발명의 실시의 형태 3에 따른 화상 부호화 장치를 나타내는 구성도이다.
도 8은 본 발명의 실시의 형태 4에 따른 화상 복호 장치를 나타내는 구성도이다.
도 9는 본 발명의 실시의 형태 5에 의한 화상 복호 장치를 나타내는 구성도이다.
도 10은 부호화 대상 블록의 화소 등을 나타내는 설명도이다.
도 11은 부호화 대상 블록의 화소 등을 나타내는 설명도이다.

이하, 본 발명을 보다 구체적으로 설명하기 위해서, 본 발명을 실시하기 위한 형태에 대하여, 첨부의 도면에 근거하여 설명한다.

실시의 형태 1.

도 1은 본 발명의 실시의 형태 1에 따른 화상 부호화 장치를 나타내는 구성도이다.

도 1에 있어서, 전처리부(1)는 화상 신호를 입력하면, 그 화상 신호를 소정 사이즈의 2차원 블록(이하, 이 블록을 MPEG의 규격에 따라서 「매크로 블록」이라 함)으로 분할하여, 각 매크로 블록의 화상 신호(이하, 「매크로 블록 신호」라 함)를 신호 변환부(2)에 출력하는 처리를 실시한다.

또한, 전처리부(1)는 각 매크로 블록이 속하는 영역의 종류(예컨대, 평탄 영역, 에지 영역, 복잡 영역)를 판정하고, 그 영역의 종류를 나타내는 영역 판정 결과 신호를 신호 변환부(2), 변환 계수 예측 처리부(3), 양자화부(4) 및 가변 길이 부호화부(5)에 출력하는 처리를 실시한다.

한편, 전처리부(1)는 블록 분할 수단 및 영역 종류 판정 수단을 구성하고 있다.

신호 변환부(2), 변환 계수 예측 처리부(3), 양자화부(4) 및 가변 길이 부호화부(5)로부터, 전처리부(1)에 의해 분할된 매크로 블록마다, 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 부호화 처리를 실시하여, 압축 데이터를 생성하는 부호화 수단이 구성되어 있다.

신호 변환부(2)는 전처리부(1)로부터 출력된 매크로 블록 신호인 공간 영역의 신호를 소정 사이즈의 블록으로 분할하여 블록마다 주파수 영역의 신호로 변환하고, 그 변환 계수를 출력하는 처리부(부호화 처리의 일부를 실시하는 처리부)이며, 신호 변환부(2)는 입력된 매크로 블록 신호에 대하여, 변환 처리를 실시하는 블록의 사이즈를 전처리부(1)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 사이즈로 분할하고, 분할 후의 개개의 블록 신호를 공간 영역의 신호로부터 주파수 영역의 신호로 변환한다.

변환 계수 예측 처리부(3)는, 부호화 대상의 블록의 변환 계수와, 부호화 대상의 블록에 인접하고 있는 블록의 변환 계수와의 사이에서 예측 처리를 실시하여, 예측 잔차 변환 계수를 생성하는 처리부(부호화 처리의 일부를 실시하는 처리부)이며, 변환 계수 예측 처리부(3)는 전처리부(1)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 예측 처리 방식으로 예측 처리를 실시한다.

양자화부(4)는 변환 계수 예측 처리부(3)에 의해 생성된 예측 잔차 변환 계수에 대한 양자화 처리를 실시하여, 양자화 계수를 산출하는 처리부(부호화 처리의 일부를 실시하는 처리부)이며, 양자화부(4)는 전처리부(1)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 양자화 파라미터 및 양자화 테이블을 이용하여 양자화 처리를 실시한다.

여기서, 「양자화 테이블」는 주파수에 대한 가중값을 저장하고 있는 테이블이며, 「양자화 파라미터」는 양자화 테이블에 대한 가중값이다.

가변 길이 부호화부(5)는 양자화부(4)에 의해 산출된 양자화 계수에 대한 가변 길이 부호화 처리를 실시하여, 압축 데이터를 생성하는 처리부(부호화 처리의 일부를 실시하는 처리부)이며, 가변 길이 부호화부(5)는 전처리부(1)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 호프만 부호어 테이블(가변 길이 부호어 테이블)을 이용하여 가변 길이 부호화 처리를 실시한다.

또한, 가변 길이 부호화부(5)는 전처리부(1)로부터 출력된 영역 판정 결과 신호를 부호화하고, 그 영역 판정 결과 신호의 부호화 데이터를 압축 데이터에 포함시켜 화상 복호 장치 등에 출력한다.

다음으로, 동작에 대하여 설명한다.

전처리부(1)는, 화상 신호를 입력하면, 그 화상 신호를 소정 사이즈의 2차원 블록인 매크로 블록으로 분할하여, 각 매크로 블록의 화상 신호로서, 매크로 블록 신호를 신호 변환부(2)에 출력한다.

또한, 전처리부(1)는, 각 매크로 블록이 속하는 영역의 종류를 판정하고, 그 영역의 종류를 나타내는 영역 판정 결과 신호를 신호 변환부(2), 변환 계수 예측 처리부(3), 양자화부(4) 및 가변 길이 부호화부(5)에 출력한다.

본 실시의 형태 1에서는, 영역의 종류로서, 화상 신호의 변화가 적은 「평탄 영역」, 영역의 경계를 포함하기 때문에 화상 신호가 급격히 변화되는 「에지 영역」, 화상 신호의 변화가 심한 「복잡 영역」의 3 종류를 예로서 설명한다.

이하, 전처리부(1)에 있어서의 영역의 종류의 판정 방법을 구체적으로 설명한다.

전처리부(1)는, 예컨대, 도 3에 나타내는 바와 같은 화상 신호의 빈도 분포를 매크로 블록 단위로 측정한다.

전처리부(1)는, 화상 신호의 빈도 분포를 매크로 블록 단위로 측정하면, 하나의 좁은 범위를 설정하고, 화상 신호의 빈도 분포가 하나의 좁은 범위에 집중하는 영역을 「평탄 영역」이라고 판정한다.

또한, 전처리부(1)는, 화상 신호의 빈도 분포가 2개의 좁은 범위에 집중하는 영역을 「에지 영역」이라고 판정한다.

또한, 전처리부(1)는, 화상 신호의 빈도 분포가 넓은 범위에 걸치는 영역을 「복잡 영역」이라고 판정한다.

그 외의 판정 방법으로서는, 다음과 같은 것이 생각된다.

예컨대, 도 4와 같은 결과가 얻어지도록, 화상 신호를 블록 단위로 주파수 영역의 신호로 변환하고, 그 변환 계수의 직류 성분(DC 성분)을 제외한 총 전력량의 크기를 2개의 임계값을 이용하여, 3 단계로 나누는 것에 의해, 3개의 영역(평탄 영역, 에지 영역, 복잡 영역)으로 분류하는 방법을 들 수 있다.

유사한 수법으로서, 예컨대, 도 4에 나타내는 (수평, 수직)이 (0, 1)의 성분의 전력과, (1, 0)의 성분의 전력을 측정하고, 2개의 성분의 전력의 합이나 평균을 2개의 임계값을 이용하여 3 단계로 나누는 방법이나, (0, 1 ~ 7)의 성분의 전력과 (1 ~ 7, 0)의 성분의 전력의 합 및 비를 측정하여, 그 측정 결과를 2개의 임계값을 이용하여 3 단계로 나누는 방법이 생각된다.

화면의 수평 방향에 에지가 있는 경우, 수평 방향의 1 ~ 7의 성분에는 계수가 발생하지 않고, 수직 방향의 1 ~ 7의 성분에 큰 계수가 발생하게 되기 때문에, 수평 방향과 수직 방향을 나눠 측정함으로써, 에지의 유무를 더 고정밀도로 검출할 수 있다.

신호 변환부(2)는, 전처리부(1)로부터 매크로 블록 신호와 영역 판정 결과 신호를 받으면, 전처리부(1)에 의해 분할된 매크로 블록에 대하여, 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 사이즈로 분할하고, 분할 후의 개개의 블록 신호를 공간 영역의 신호로부터 주파수 영역의 신호로 변환한다.

이하, 영역의 종류에 대응하는 블록의 사이즈에 대하여 설명한다.

「평탄 영역」에서는, 매크로 블록 내의 신호의 변화가 작고, 도 4(a)와 같이, 변환 계수의 AC 성분의 대부분의 값이 작기 때문에, 예컨대, 블록의 사이즈를 "16×16"과 같이 크게 하더라도, 역시 블록 내의 변환 계수의 AC 성분의 대부분의 값은 작게 된다.

그래서, 「평탄 영역」이라고 판정된 경우에는, 큰 블록 사이즈를 선택한다. 이와 같이 함으로써, 주파수 영역으로 변환했을 때의 변환 효율이 높아진다.

반대로, 「복잡 영역」의 경우, 큰 블록에서는, 복수의 텍스처(texture)가 포함되어 있고, 주파수 변환의 효율이 얻어지지 않기 때문에, 예컨대, 블록의 사이즈를 "4×4"와 같이 작게 함으로써, 주파수 변환의 효율을 높인다(블록의 사이즈가 작게 되면, 텍스처가 단일로 되도록 처리되기 때문에, 주파수 변환의 효율이 높아진다).

단, 목표로 하는 비트 레이트나 부호화 화질 등에 관한 화상 부호화의 목적에 따라서는, 예컨대 평탄한 영역의 미묘한 변화를 화질로서 표현하고 싶다고 하는 목적이 있는 경우에는 「평탄 영역」을 작은 블록으로, 화질을 희생하여 매우 낮은 비트 레이트로 압축해야 하는 경우에는 「복잡 영역」을 큰 블록으로, 각각 변환 처리를 실시한 쪽이, 부호화의 효율을 높이는 경우도 있다.

여기서는, 신호 변환부(2)는 블록의 분할 사이즈를 변경하는 것에 대하여 나타내었지만, 영역 판정 결과 신호가 나타내는 영역의 종류에 따라, 신호의 변환 방식을 전환하도록 하여도 좋다.

신호 변환부(2)는, 신호의 변환 방식으로서, 일반적으로는 DCT(이산 코사인 변환)를 사용하지만, 예컨대, 웨이브릿(wavelet) 변환, 하르(Haar) 변환, 아다마르(Hadamard) 변환, 경사(slant) 변환 등의 변환 방식을 사용할 수도 있다.

이들의 변환 방식은, 각각 특징이 있고, 예컨대, 하르 변환과 아다마르 변환은, "+1"과 "-1"의 2개의 변환 계수만으로 구성되어 있기 때문에, 가산·감산 처리만으로 변환하는 것이 가능하고, 적은 연산량으로, 또한, 부동 소수점 연산과 같이 프로세서에 의한 연산 오차가 발생하지 않는다고 하는 특징이 있다.

또한, 웨이브릿 변환은, 부호화 화상의 블록 경계를 발생하는 일없이 변환할 수 있다고 하는 특징이 있다.

경사 변환은, V 자형이나 W 자형과 같이 직선적인 경사 성분으로 변환하는 것이고, 밝기나 색이 원활하게 변화되는 신호에 대하여, 적은 계수로 변환할 수 있다고 하는 특징이 있다.

「평탄 영역」에서는, 블록 경계가 발생하면 눈에 쉽게 띄기 때문에, 블록 경계가 발생하지 않는 웨이브릿 변환을 선택하고, 또는, 연산 오차가 발생하면 눈에 쉽게 띄기 때문에, 연산 오차가 발생하지 않는 하르 변환 또는 아다마르 변환을 선택하는 것 등이 생각된다.

또한, 「평탄 영역」에서는, 전술한 바와 같이 AC 성분이 별로 발생하지 않기 때문에, 변환 효율의 차이를 얻기 어렵다. 그래서, DCT와 같이 연산 처리는 많지만, 변환 효율이 높은 것을 사용하는 대신에, 변환 효율은 DCT보다도 뒤떨어지지만, 연산 처리량이 적은 하르 변환 또는 아다마르 변환을 선택한다고 하는 수법이 생각된다. 또는, 평탄하더라도 한결같이 완만하게 변화되는 그레데이션(gradation)이 걸린 성분을 포함하도록 한 경우에는, 경사 성분을 이용할 수 있는 경사 변환을 선택한다고 하는 수법이 생각된다.

「복잡 영역」에서는, 블록 경계가 눈에 띄기 어렵기 때문에, DCT를 선택하는 것 등이 생각된다. 또는, 많은 AC 성분의 변환 계수가 발생하기 때문에, 보다 변환 효율이 높은 DCT를 선택하는 것 등이 생각된다.

「에지 영역」에서는, 수평 방향이나 수직 방향의 에지 성분의 경우, 급준인 에지를 표현가능한 하르 변환이나 아다마르 변환을 선택한다고 하는 수법이 생각되고, 또한, 경사 방향의 에지 성분의 경우, 많은 AC 성분을 필요로 하기 때문에, 변환 효율이 높은 DCT를 선택한다고 하는 수법이 생각된다.

또는, 큰 블록 사이즈가 선택되었을 때에는, 많은 신호를 취급하기 위해서, 연산에 필요한 비트 수가 많아지지만, 작은 블록 사이즈가 선택되었을 때에는, 적은 신호밖에 취급하지 않기 때문에, 예컨대 연산에 사용할 수 있는 비트 수가 제한되어 있는 프로세서를 사용하는 경우에는, 큰 블록 사이즈가 선택되었을 때에는 하르 변환이나 아다마르 변환과 같이 적은 연산량으로 구성할 수 있는 것을 선택하고, 작은 블록 사이즈가 선택되었을 때에는 DCT이나 웨이브릿 변환과 같이 많은 연산량을 필요로 하는 것을 선택하는 수법이 생각된다.

이와 같이, 부호화의 목적이나 용도에 따라, 변환 방식을 전환하도록 하면 바람직하다.

이것에 의해, 부호화의 압축 효율을 높이거나, 복호 화상이 주관적인 화질을 높이거나 하는 것이 가능해진다.

한편, 상기 설명에서는, 판정된 영역에 대하여, 특정의 변환 방식을 1대1로 할당하는 것을 나타내었지만, 예컨대 「평탄 영역」에서는, 아다마르 변환, DCT, 웨이브릿 변환, 「복잡 영역」에서는, DCT, 웨이브릿 변환, 아다마르 변환이라고 하는 바와 같이, 영역마다 사용하는 변환 방식의 우선 순위를 마련해 놓고, 어떤 변환 방식을 선택했는지를 나타내는 데이터를 추가하고, 각각의 영역마다, 또는, 블록마다 변환 방식을 선택할 수 있도록 하더라도 좋다.

이것에 의해, 가장 적합한 변환 방식을 사용하여, 부호화 처리를 행할 수 있게 되기 때문에, 높은 부호화 효율을 얻을 수 있다.

변환 계수 예측 처리부(3)는, 신호 변환부(2)로부터 부호화 대상의 매크로 블록의 변환 계수를 받으면, 부호화 대상의 블록의 변환 계수와, 부호화 대상의 블록에 인접하고 있는 블록(이하, 「인접 블록」이라고 한다)의 변환 계수와의 사이에서 예측 처리를 실시하여, 예측 잔차 변환 계수를 생성한다.

단, 변환 계수 예측 처리부(3)는, 예측 처리를 실시하여, 예측 잔차 변환 계수를 생성할 때, 전처리부(1)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 예측 처리 방식으로 예측 처리를 실시한다.

이하, 영역의 종류에 대응하는 예측 처리 방식에 대하여 설명한다.

「평탄 영역」에서는, 도 4(a)과 같이, 변환 계수의 값이 매우 작기 때문에, AC 계수의 예측 처리의 효과가 거의 얻어지지 않는다.

그래서, 변환 계수 예측 처리부(3)는, 평탄 영역이라고 판정된 매크로 블록에 대하여는, AC 계수의 예측 처리를 일절 행하지 않게 된다.

MPEG-4의 경우, 매크로 블록마다, AC 계수의 예측 처리를 행할지 여부를 나타내는 "ac_pred_flag"라 불리우는 1 비트의 플래그를 압축 데이터에 반드시 포함시키는 방식으로 되어 있지만, 평탄 영역이라고 판정된 경우에는, AC 예측을 행하지 않기 때문에, "ac_pred_flag"를 포함하지 않는 것으로 할 수 있다.

이와 같이 함으로써, 하나의 매크로 블록으로, 1 비트의 데이터를 삭감하는 것이 가능해진다.

「에지 영역」의 경우, 예컨대, 수평 방향의 에지를 포함하는 블록에서는, (수평, 수직)이 (1 ~ 7, 0)의 성분에 큰 값의 변환 계수가 발생하고, 수직 방향의 에지를 포함하는 블록에서는 (0, 1 ~ 7)의 성분에 큰 값의 변환 계수가 발생한다.

이 에지 성분이 복수의 블록을 걸쳐 연속하고 있는 경우에는, 인접 블록과 같은 변환 계수가 발생하기 때문에, 변환 계수의 예측 처리를 행하는 것에 의해, 예측 잔차 변환 계수의 대부분이 제로에 가까이 된다. 그 때문에, 후단의 양자화 처리·가변 길이 부호화 처리에 의해서, 부호화 효율을 상당히 높아지는 것이 기대된다.

그래서, 변환 계수 예측 처리부(3)는, 에지 영역이라고 판정된 매크로 블록에 대하여는 반드시 AC 계수의 예측 처리를 행하게 된다.

MPEG-4의 경우, 상기의 평탄 영역과 같이, "ac_pred_flag"의 1 비트의 데이터를 삭감하는 것이 가능해진다.

「복잡 영역」에서는, 도 4(b)과 같이, 많은 변환 계수가 발생함과 아울러, 그 변환 계수의 값도 큰 것으로 된다.

또한, 복잡한 신호이기 때문에, 반드시 인접 블록과 같은 변환 계수가 발생하는 것은 아니다.

그래서, AC 계수의 예측 처리에 관해서는, 종래의 MPEG-4의 "ac_pred_flag"와 같이, AC 예측 처리를 행하는지 여부를 나타내는 데이터를 생성하여, 압축 데이터에 더하는 것에 의해, 부호화 효율이 높아지는 처리를 선택할 수 있게 된다.

AC 계수의 예측 처리에 있어서는, 후단의 AC 계수의 양자화 처리와 조합하는 수법이 생각된다.

양자화 처리에 있어서, 양자화 파라미터가 큰 경우에는, 많은 AC 계수가 제로로 양자화되는 것으로 되어, 큰 양자화 오차가 발생한다.

한편, 양자화 파라미터가 작은 경우에는, 많은 AC 계수가 비 제로로 양자화되는 것으로 되어, 양자화 오차가 작게 억제된다.

그래서, 양자화 파라미터가 큰 경우에는, AC 계수에 대한 예측 효과가 거의 얻어지지 않기 때문에, 항상 AC 예측 처리를 행하지 않게 된다. 이것에 의해, AC 예측 처리를 행하는지 여부를 나타내는 데이터를 불필요로 할 수 있다.

한편, 양자화 파라미터가 작은 경우에는, AC 계수에 대한 예측 효과가, 주변의 화상 신호의 상태에 따라 얻어지는 경우와 얻어지지 않는 경우가 있기 때문에, AC 예측 처리를 행하는지 여부를 나타내는 데이터를 생성하여, AC 예측을 행하거나 행하지 않거나 한다. 이것에 의해, AC 예측 처리에 의해서 부호화 효율이 높아진다.

AC 계수의 예측 처리로서는, 신호 변환부(2)로부터 출력된 부호화 대상의 블록의 변환 계수와, 인접 블록의 변환 계수의 7개의 AC 계수에 대하여, 단순히 차분을 구하는 종래의 MPEG-4 방식을 사용하는 것만은 아니고, 예컨대, 차분을 요구할 때, 인접 블록의 변환 계수를 절반의 값이나 2배의 값으로 하는 소정의 가중 처리를 실시하고 나서, 상기의 차분을 구하는 방법을 사용하도록 할 수도 있다.

또한, DC 계수에 가까운 3개의 AC 계수만을 대상으로 하고 예측 처리를 실시하거나, 63개의 AC 계수의 모두를 대상으로 하고 예측 처리를 실시하거나 하는 등, 예측하는 대상의 AC 계수의 개수를 전환하는 것에 따라, 부호 가능 효율을 높이는 수법을 사용할 수도 있다.

이와 같이, 가중 처리를 실시하는 경우나, 예측하는 변환 계수의 개수를 전환하는 경우에는, 가중값이나 예측하는 대상의 AC 계수의 개수 등을 나타내는 파라미터를, 별도, 후술하는 가변 길이 부호화부(5)로부터 출력되는 압축 데이터에 포함시키게 된다.

또는, 「에지 영역」으로서는, 전술한 바와 같이 수평 방향 또는 수직 방향의 7개의 AC 계수만을 대상으로 하고, 「복잡 영역」에서는, 63개의 AC 계수의 모두를 대상으로 하도록 하는 바와 같이, 영역에 따라 예측하는 AC 계수의 개수를 전환하는 수법도 생각된다. 이것에 의해, 영역의 신호 상태에 적합한 예측 처리가 가능해진다.

한편, 가중값은, 하나의 블록에 대하여 고정의 값이 아니라, 63개의 AC 계수의 각각의 성분마다 개별의 값을 사용하는 것도 가능하다. 이 경우에는, 63개의 가중값을 압축 데이터에 포함시키게 된다.

양자화부(4)는, 변환 계수 예측 처리부(3)로부터 예측 잔차 변환 계수를 받으면, 전처리부(1)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 양자화 파라미터 및 양자화 테이블을 이용하여, 그 예측 잔차 변환 계수에 대한 양자화 처리를 실시하여, 양자화 계수를 산출한다.

보통, 양자화부(4)에 사용되는 양자화 파라미터와 양자화 테이블은, 화상 부호화 장치에 주어지는 목표 부호량의 대소나, 그때까지 발생하고 있는 부호량의 대소에 따라 값이 설정되지만, 본 실시의 형태 1에서는, 전처리부(1)로부터 출력되는 영역 판정 결과 신호가 나타내는 영역의 종류에 따라 값이 설정되도록 구성되어 있다.

이하, 영역의 종류에 대응하는 양자화 파라미터와 양자화 테이블에 대하여 설명한다.

「평탄 영역」에서는, 화상 신호의 변화가 작고, 도 4(a)와 같이, 거의 변환 계수는 작은 값밖에 취하지 않기 때문에, 예측 잔차 변환 계수도 작은 값을 취한다.

반대로, 「복잡 영역」에서는, 화상 신호의 변화가 크고, 도 4(b)와 같이, 많은 변환 계수가 큰 값을 취하기 때문에, 예측 잔차 변환 계수도 큰 값을 취하는 경향으로 된다.

「에지 영역」에서는, 에지의 방향 성분에 맞춰, 특정의 변환 계수가 큰 값을 취하기 때문에, AC 예측이 잘 맞을 때에는, 예측 오차 변환 계수는 작은 값으로 되지만, AC 예측이 잘 맞지 않을 때에는, 예측 오차 변환 계수는 큰 값을 취한다.

그래서, 압축율이 낮은 고화질의 부호화 처리를 행하는 경우, 「평탄 영역」에서는, 양자화 파라미터를 작게 함으로써, 평탄하면서도 미소로 변화되고 있는 화상을 표현할 수 있게 된다.

한편, 높은 압축율로 화질이 낮은 부호화 처리를 행하는 경우, 「평탄 영역」에서는, 양자화 파라미터를 크게 하는 것에 의해, 거의 양자화 계수를 제로로 하여, 부호화 효율을 현저히 높일 수 있게 된다.

「복잡 영역」에서는, 양자화 파라미터를 크게 하는 것에 의해, 부호량의 발생을 억제하게 된다.

「에지 영역」에 관해서는, 에지 주변에 발생하기 쉬운 부호화 잡음을 억제하기 위해서, 작은 양자화 파라미터를 사용한다.

이와 같이 영역의 종류에 따라 양자화 파라미터를 설정함으로써, 부호화 효율을 높이는 것이 가능해진다.

양자화 테이블에 관해서도, 값의 대소를 설정하는 것으로, 양자화 파라미터와 같은 효과를 얻는 것이 가능해지지만, 양자화 테이블의 경우에는, 예측 잔차 변환 계수의 주파수 영역마다 가중하여 설정할 수 있다.

예컨대, JPEG나 MPEG에서는, 도 4의 (0, 1)나 (1, 0)의 성분에는 작은 값, (7, 7) 성분에는 큰 값을 설정하는 추천값이나 초기값이 표준서에 기술되어 있다.

종래의 부호화 방식에서는, 화면 내에서 모두 동일 값의 양자화 테이블을 사용하도록 하고 있지만, 본 실시의 형태 1에서는, 영역 단위로 다른 값의 양자화 테이블을 사용하도록 하고 있다.

도 5는 양자화 테이블의 일례를 나타내는 설명도이다.

「평탄 영역」에서는, 도 5(a)에 나타낸 바와 같이, 양자화 테이블의 모든 값을 작게 함으로써, 미소하게 변화되고 있는 화상을 표현할 수 있도록 하고 있다.

「복잡 영역」에서는, 도 5(c)에 나타낸 바와 같이, 양자화 테이블의 값을 주파수가 높은 영역일수록, 크게 하는 것에 의해, 저주파 성분에 관해서는, 적은 부호량이더라도 표현이 될 수 있도록 하고 있다.

「에지 영역」에서도, 「복잡 영역」과 마찬가지로, 양자화 테이블의 값을 주파수가 높은 영역일수록, 크게 하고 있지만, 도 5(b)에 나타낸 바와 같이, 「복잡 영역」에 있어서의 양자화 테이블의 값보다 작은 값으로 설정하고 있다.

한편, 양자화 테이블의 값에 관해서는, 규격으로서 값을 정해, 화상 부호화 장치 및 화상 복호 장치에 각각 동일 값을 설정하도록 하여도 좋고, 초기값만을 정해 놓고, 화상 부호화 장치가 양자화 테이블의 값을 압축 데이터에 포함시켜 화상 복호 장치로 송신하는 것으로, 양자화 테이블의 값을 수시 갱신하도록 할 수도 있다.

또는, 각각의 영역마다, 복수의 양자화 테이블을 준비하여, 양자화 테이블을 선택할 수 있도록 하여, 어떤 양자화 테이블을 선택했는지의 데이터를 별도 부호화할 수도 있다. 압축율이 높을 때에는, 큰 값의 양자화 테이블을 사용함으로써, 부호량을 감할 수 있다. 압축율이 낮을 때에는, 작은 값의 양자화 테이블을 사용함으로써, 화질을 높일 수 있다.

가변 길이 부호화부(5)는, 양자화부(4)로부터 양자화 계수를 받으면, 전처리부(1)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 호프만 부호어 테이블을 이용하여, 그 양자화 계수에 대한 가변 길이 부호화 처리를 실시하여, 압축 데이터를 생성한다.

종래의 부호화 방식에서는, 미리 정해져 있는 호프만 부호어 테이블이나 산술 부호화 방식을 사용하고 있고, 화면 내의 모든 영역에 대하여 동일 가변 길이 부호화 처리를 행하도록 하고 있지만, 본 실시의 형태 1에서는, 전처리부(1)로부터 출력되는 영역 판정 결과 신호가 나타내는 영역의 종류에 따라, 호프만 부호어 테이블이나 산술 부호화 방식을 전환하는 것에 의해, 보다 효율이 높은 가변 길이 부호화 처리를 실시할 수 있도록 하고 있다.

도 6은 호프만 부호어 테이블의 일례를 나타내는 설명도이다.

「평탄 영역」에서는, 도 4(a)과 같이, 변환 계수의 값이 작기 때문에, 많은 양자화 계수가 작은 값으로 된다.

그래서, 도 6(a)에 나타낸 바와 같이, 작은 값이 많이 발생하는 상태로 최적화하고 있는 호프만 부호어 테이블을 사용함으로써, 가변 길이 부호화 처리의 효율을 높일 수 있도록 하고 있다.

「복잡 영역」에서는, 도 4(b)과 같이, 변환 계수의 값이 큰 것부터 작은 것까지 다양하게 발생하기 때문에, 도 6(b)에 나타낸 바와 같이, 이러한 상태로 최적화하고 있는 호프만 부호어 테이블을 사용함으로써, 가변 길이 부호화 처리의 효율을 높일 수 있도록 하고 있다.

여기서는, 가변 길이 부호화부(5)가 호프만 부호어 테이블을 전환하는 것에 대하여 나타내었지만, JPEG이나 MPEG에서 채용되어 있는 8×8의 2차원의 블록 데이터를 64개의 1차원 데이터로 재배열하는 지그재그 스캔이라고 불리는 처리에 관해서도, 영역의 종류에 따라 전환하도록 하여도 좋다.

예컨대, 평탄 영역이나 복잡 영역에서는, 도 4에 나타낸 바와 같이, 저주파 영역에서 고주파 영역을 향하여 변환 계수가 한결같이 작게 되기 때문에, 종래의 지그재그 스캔을 사용하면 바람직하지만, 에지 영역의 경우, 예컨대, 수평 방향의 에지를 포함하는 매크로 블록에서는, 수평 방향의 고주파 영역의 계수는 작은 전력밖에 가지지 않지만, 수직 방향의 고주파 영역의 계수는 큰 전력을 가지기 때문에, 수직 방향을 우선적으로 스캔하고, 반대로 수직 방향의 에지를 포함하는 매크로 블록에서는, 수평 방향을 우선적으로 스캔하도록 전환한다.

가변 길이 부호화부(5)는, 상기한 바와 같이 하여, 압축 데이터를 생성하면, 전처리부(1)로부터 출력된 영역 판정 결과 신호를 부호화하고, 그 영역 판정 결과 신호의 부호화 데이터를 상기 압축 데이터에 포함시켜 화상 복호 장치로 송신한다.

이상으로 알 수 있는 바와 같이, 본 실시의 형태 1에 따르면, 화상 신호를 소정 사이즈의 2차원 블록으로 분할하고, 분할한 블록마다, 상기 블록이 속하는 영역의 종류를 판정하는 전처리부(1)를 설치하고, 전처리부(1)에 의해 분할된 블록마다, 전처리부(1)에 의해 판정된 영역의 종류에 대응하는 부호화 처리를 실시하여 압축 데이터를 생성하도록 구성했기 때문에, 화면 내의 각 영역에 적합한 부호화 처리를 실시할 수 있게 되고, 그 결과, 부호화의 효율을 높일 수 있는 효과를 갖는다.

한편, 본 실시의 형태 1에서는, 전처리부(1)에 의해 판정된 영역의 종류에 따라 신호 변환부(2), 변환 계수 예측 처리부(3), 양자화부(4), 가변 길이 부호화부(5)의 모두가 내부의 처리를 전환하는 것으로서 설명했지만, 반드시 모두가 전환할 필요는 없고, 일부의 처리만을 전환하는 것이더라도, 부호화의 효율을 높이는 것은 가능하다.

실시의 형태 2.

상기 실시의 형태 1에서는, 전처리부(1)가 영역의 종류를 판정하여, 「평탄 영역」과 「에지 영역」과 「복잡 영역」의 3개로 분류하는 것에 대하여 나타내었지만, 전처리부(1)가 영역의 종류를 판정하여, 예컨대, 「고계조가 필요한 영역」과 「고계조가 불필요한 영역」의 2개로 분류하도록 할 수도 있다.

이하, 구체예를 설명한다.

디지털의 화상 신호는, 각각의 화소가 가지는 비트 수로 계조가 정해진다.

예컨대, 8 비트의 화소의 경우, 0 ~ 255의 256 계조를 표현할 수 있고, 의 화소의 경우, 0 ~ 2047의 2048 계조를 표현할 수 있다.

계조수가 클수록, 화상 신호의 표현력이 풍부하게 되고, 고품질화가 가능하게 되지만, 데이터량이 커지기 때문에, 취급의 불편함이 발생한다.

일반의 화상 신호의 경우, 화면의 전체에 대하여, 반드시 고계조일 필요는 없고, 대개의 경우, 화면의 일부분만이 고계조이면 충분하다.

도 2를 예로 들어 설명하면, 나무들의 영역은, 화상 신호의 변화가 심하기 때문에, 예컨대 미세한 신호 표현이 행해져도 인간의 눈으로는 감지할 수 없다. 또한, 부호화 처리를 실시하면, 많은 부호화 잡음이 발생해 버리기 때문에, 고계조의 효과가 거의 얻어지지 않는다.

한편, 하늘 영역은, 미묘한 음영이나 지평을 향하여, 서서히 파랑이 희미해지도록 한 그레데이션이 포함되는 경우, 화상 신호의 변화가 작기 때문에, 계조수가 적으면 표현력이 없어진다. 그 때문에, 미묘한 변화가 모두 없어져 버려 하나의 색으로 표시되거나, 서서히 변화해 가는 그레데이션이 계단 형상으로 변화되어 버려, 자연스러운 느낌을 잃어 버리는 경우가 있다.

그래서, 본 실시의 형태 2에서는, 전처리부(1)가 영역의 종류로서, 하늘 영역과 같은 「고계조가 필요한 영역」과, 나무들의 영역과 같은 「고계조가 불필요한 영역」을 판별하도록 하고 있다.

신호 변환부(2)는, 전처리부(1)로부터 출력된 매크로 블록 신호를 공간 영역의 신호로부터 주파수 영역의 신호로 변환할 때, 「고계조가 필요한 영역」의 매크로 블록 신호의 변환 처리의 실시에 관해서는, 예컨대, 처리하는 비트 길이를 길게 하여 변환 처리의 정밀도를 높이고, 오차가 적은 처리를 행하게 된다.

한편, 「고계조가 불필요한 영역」의 매크로 블록 신호의 변환 처리의 실시에 관해서는, 예컨대, 처리하는 비트 길이를 짧게 하여, 변환 처리의 정밀도가 낮게 되더라도, 처리 부하가 경감되게 된다.

변환 계수 예측 처리부(3)는, 예측 처리를 실시하여, 예측 잔차 변환 계수를 생성할 때, 부호화 대상의 매크로 블록이 「고계조가 필요한 영역」인 경우, 상기 실시의 형태 1과 마찬가지로, 인접 매크로 블록의 변환 계수를 이용하여, 오차가 적은 예측 처리를 실시한다.

한편, 부호화 대상의 매크로 블록이 「고계조가 불필요한 영역」인 경우, 예컨대, 처리하는 비트 길이를 짧게 하고, 예측 처리의 정밀도가 낮게 되는 대신에 처리 부하가 경감되게 된다.

양자화부(4)는, 변환 계수 예측 처리부(3)로부터 출력된 예측 잔차 변환 계수에 대한 양자화 처리를 실시할 때, 부호화 대상의 매크로 블록이 「고계조가 필요한 영역」인 경우, 작은 값의 양자화 파라미터를 사용하여, 양자화 오차가 적은 양자화 처리를 실시하게 된다.

또는, 주파수 영역 상에서 가중이 없는 양자화 테이블이나, 가중이 작은 양자화 테이블을 사용하여, 양자화 오차가 적은 양자화 처리를 실시하게 된다.

예컨대, 12 비트의 예측 잔차 변환 계수를 양자화하는 경우, 양자화 파라미터로서, 1 ~ 4 등의 작은 값을 사용하면, 양자화부(4)로부터 출력되는 양자화 계수는 12 ~ 10 비트로 되지만, 도 4(a)과 같이, 원래, 변환 계수의 값으로서 작은 것이 많기 때문에, 출력되는 양자화 계수도 작은 것이 많아진다.

한편, 부호화 대상의 매크로 블록이 「고계조가 불필요한 영역」인 경우, 양자화 오차가 커지더라도 상관없기 때문에, 큰 값의 양자화 파라미터나, 주파수 영역 상에서 가중이 큰 양자화 테이블을 사용하여, 양자화 처리를 실시한다.

예컨대, 12 비트의 예측 잔차 변환 계수를 양자화하는 경우, 양자화 파라미터로서, 32 ~ 128 등의 큰 값을 사용하면, 양자화부(4)로부터 출력되는 양자화 계수는 7 ~ 5 비트로 되고, 동시에 많은 양자화 계수는 제로가 된다.

가변 길이 부호화부(5)는, 양자화부(4)로부터 출력된 양자화 계수에 대한 가변 길이 부호화 처리를 실시할 때, 부호화 대상의 매크로 블록이 「고계조가 필요한 영역」인 경우, 값이 작은 양자화 계수가 많기 때문에, 작은 값이 많이 발생하는 상태로 최적화하고 있는 호프만 부호어 테이블을 사용함으로써(도 6(a)를 참조), 가변 길이 부호화 처리를 실시한다.

한편, 부호화 대상의 매크로 블록이 「고계조가 불필요한 영역」인 경우, 값이 제로인 양자화 계수가 많기 때문에, 제로의 값이 많이 발생하는 상태로 최적화하고 있는 호프만 부호어 테이블을 사용함으로써, 가변 길이 부호화 처리를 실시한다.

이상으로 알 수 있는 바와 같이, 본 실시의 형태 2에 따르면, 「고계조가 필요한 영역」과 「고계조가 불필요한 영역」을 판정하고, 그 판정 결과에 대응하는 부호화 처리를 실시하도록 구성했기 때문에, 상기 실시의 형태 1과 마찬가지로, 부호화의 효율을 높일 수 있는 효과를 갖는다.

실시의 형태 3.

상기 실시의 형태 1에서는, MPEG-2이나 MPEG-4 등의 변환 계수에 대하여 예측 처리를 실시하는 부호화 방식에 적용하는 것에 대하여 나타내었지만, 예컨대, ISO/IEC 14496-10(통칭 AVC(ITU-T H.264와 동일한 방식) : 비특허문헌 3)에서 채용되고 있는 공간 영역에서, 화상 신호의 예측 처리를 실시하는 부호화 방식에 적용하도록 할 수도 있다.

[비특허문헌 3]

ISO/IEC 14496-10 「Information technology -- Coding of audio-visual objects -- Part 10 : Advanced video coding」

도 7은 본 발명의 실시의 형태 3에 따른 화상 부호화 장치를 나타내는 구성도이고, 도면에서, 도 1과 동일 부호는 동일 또는 상당 부분을 나타내기 때문에 설명을 생략한다.

화상 신호 예측 처리부(6)는 전처리부(1)에 의해 분할된 매크로 블록에 대하여 소정의 사이즈의 블록으로 분할하고, 부호화 대상의 블록 신호와 인접 블록 신호 사이에서 예측 처리를 실시하여, 예측 잔차 신호를 생성하는 처리부(부호화 처리의 일부를 실시하는 처리부)이며, 화상 신호 예측 처리부(6)는 전처리부(1)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 예측 처리 방식으로 예측 처리를 실시한다.

이하, 화상 신호 예측 처리부(6)의 처리 내용을 구체적으로 설명한다.

화상 신호 예측 처리부(6)는, 인접 블록 신호를 이용하여 예측 신호를 생성하여, 그 예측 신호와 부호화 대상의 블록 신호와의 사이에서 예측 처리를 실시하여, 예측 잔차 신호를 생성한다.

이때, 인접 블록 신호로부터 생성하는 예측 신호가, 부호화 대상의 블록 신호와 가까울수록, 예측 잔차 신호의 값이 제로에 가깝게 되기 때문에, 후단의 신호 변환부(2), 양자화부(4) 및 가변 길이 부호화부(5)의 처리에 의해서, 높은 부호화 효율을 얻을 수 있다.

예측 신호의 생성 방법으로서, 예컨대, 휘도 신호에 대하여, 4×4 블록 단위와 8×8 블록 단위로 예측을 행하는 경우에는, 9개의 예측 방법이 규격으로서 AVC에 정해져 있다.

또한, 16×16 블록 단위로 예측을 행하는 경우에는, 4개의 예측 방법이 규격으로서 AVC에 정해져 있다.

예컨대, 화상 신호가 평탄 영역인 경우, 어떠한 예측 처리를 실시하더라도, 거의 같은 예측 효율밖에 얻어지지 않기 때문에, 예측 모드를 많이 준비하는 의미가 없다.

그래서, 영역 판정 결과 신호가 나타내는 영역의 종류가 평탄 영역인 경우, 예측 모드로서, 미리 정해져 있는 하나, 또는, 2 ~ 4 정도의 예측 방법만의 사용에 제한된다.

이러한 제한을 함으로써, 예측 모드를 특정하는 부호량을 삭감할 수 있게 된다.

예컨대, 고정 비트 길이로 예측 모드를 특정하는 경우에 생각하면, 9 정도의 예측 방법을 사용하는 경우에는, 9 정도의 예측 방법을 구별하기 위해서 4 비트의 부호 길이가 필요해지지만, 예측 모드가 하나뿐이면, 예측 모드를 특정하는 부호가 불필요해지고, 4 정도의 예측 방법만의 사용으로 제한되면, 4 정도의 예측 방법을 구별하기 위한 부호 길이가 2 비트로 충분하게 된다.

또한, 평탄 영역이면, 16개의 4×4 블록의 각각 대하여 예측 처리를 실시하더라도, 1개의 16×16 블록에 대하여 예측 처리를 실시하더라도, 거의 동일한 예측 효율밖에 얻어지지 않는다.

그래서, 평탄 영역의 경우에는, 16×16 블록 단위의 예측만을 행하는 것으로 하여, 어떤 블록 사이즈를 단위로 하여, 예측 처리를 행했는지를 나타내는 모드 정보를 불필요로 한다.

화상 신호가 복잡 영역인 경우에도, 에지와 같은 강한 특징이 화상 신호에 없으면, 어떠한 예측 처리를 하더라도, 그다지 큰 차이가 나지 않지만, 8×8 블록이나 16×16 블록보다는, 4×4 블록쪽이 국소적인 화상 신호의 변화에 추종이 가능해지기 때문에, 부호화 성능이 일반적으로는 높아진다.

그래서, 복잡 영역의 경우에는, 4×4 블록 단위의 예측만을 행하는 것으로 하여, 어떤 블록 사이즈를 단위로 하여 예측 처리를 행했는지를 나타내는 모드 정보를 불필요로 한다.

실시의 형태 4.

도 8은 본 발명의 실시의 형태 4에 따른 화상 복호 장치를 나타내는 구성도이다.

도 8의 화상 복호 장치는, 도 1의 화상 부호화 장치에 대응하고 있고, MPEG-2나 MPEG-4 등의 변환 계수에 대하여 예측 처리를 행하는 복호 방식을 채용하고 있다.

도 8에서, 가변 길이 복호부(11)는 화상 부호화 장치로부터 송신된 압축 데이터를 수신하면, 그 압축 데이터에 대한 가변 길이 복호 처리(예컨대, 호프만 복호, 산술 복호)를 실시하여, 그 압축 데이터에 포함되어 있는 영역 판정 결과 신호와 양자화 계수를 복호하는 처리를 실시한다.

단, 가변 길이 복호부(11)는 양자화 계수를 복호할 때, 앞서 복호하고 있는 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 호프만 부호어 테이블(가변 길이 부호어 테이블)을 이용하여 가변 길이 복호 처리를 실시한다.

한편, 가변 길이 복호부(11)는 영역 판정 결과 신호 취득 수단을 구성하고 있다.

가변 길이 복호부(11), 역양자화부(12), 변환 계수 예측 처리부(13) 및 역변환부(14)로부터, 상기의 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 복호 처리를 실시하여, 소정 사이즈로 분할되어 있는 2차원 블록의 압축 데이터로부터 화상 신호를 복호하는 복호 수단이 구성되어 있다.

역양자화부(12)는 가변 길이 복호부(11)에 의해 복호된 양자화 계수에 대한 역양자화 처리를 실시하여, 예측 잔차 변환 계수를 복호하는 처리부(복호 처리의 일부를 실시하는 처리부)이며, 역양자화부(12)는 가변 길이 복호부(11)에 의해 복호된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 양자화 파라미터 및 양자화 테이블을 이용하여, 역양자화 처리를 실시한다.

변환 계수 예측 처리부(13)는 인접 블록의 복호 변환 계수를 이용하여 예측 변환 계수를 생성하고, 그 예측 변환 계수와 역양자화부(12)에 의해 복호된 블록의 예측 잔차 변환 계수 사이에서 예측 처리를 실시하여, 예측 잔차 신호를 복호하는 처리부(복호 처리의 일부를 실시하는 처리부)이며, 변환 계수 예측 처리부(13)는 가변 길이 복호부(11)에 의해 복호된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 예측 처리 방식으로 예측 처리를 실시한다.

역변환부(14)는 변환 계수 예측 처리부(13)에 의해 복호된 예측 잔차 신호인 주파수 영역의 신호를 공간 영역의 신호로 변환하는 처리부(복호 처리의 일부를 실시하는 처리부)이며, 역변환부(14)는 블록의 사이즈를 가변 길이 복호부(11)에 의해 복호된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 사이즈를 단위로 하여 예측 잔차 신호를 주파수 영역의 신호로부터 공간 영역의 신호로 변환한다.

다음으로 동작에 대하여 설명한다.

가변 길이 복호부(11)는, 화상 부호화 장치로부터 송신된 압축 데이터를 수신하면, 예컨대, 호프만 복호나 산술 복호 등의 가변 길이 복호 처리를 실시하여, 그 압축 데이터에 포함되어 있는 영역 판정 결과 신호를 복호하고, 그 영역 판정 결과 신호를 역양자화부(12), 변환 계수 예측 처리부(13) 및 역변환부(14)에 출력한다.

또한, 가변 길이 복호부(11)은, 앞서 복호되어 있는 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 호프만 부호어 테이블을 이용하여, 그 압축 데이터에 대한 가변 길이 복호 처리를 실시하는 것으로, 그 압축 데이터에 포함되어 있는 양자화 계수(도 1의 양자화부(4)로부터 출력되는 양자화 계수에 대응하는 계수)를 복호한다.

한편, 영역의 종류에 대응하는 호프만 부호어 테이블에 관해서는, 상기 실시의 형태 1과 마찬가지기 때문에 설명을 생략한다.

역양자화부(12)는, 가변 길이 복호부(11)으로부터 양자화 계수를 받으면, 가변 길이 복호부(11)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 양자화 파라미터 및 양자화 테이블을 이용하여, 그 양자화 계수에 대한 역양자화 처리를 실시하여, 예측 잔차 변환 계수(도 1의 변환 계수 예측 처리부(3)로부터 출력되는 예측 잔차 변환 계수에 대응하는 계수)를 복호한다.

한편, 영역의 종류에 대응하는 양자화 파라미터 및 양자화 테이블에 관해서는, 상기 실시의 형태 1과 마찬가지기 때문에 설명을 생략한다.

변환 계수 예측 처리부(13)는, 역양자화부(12)로부터 예측 잔차 변환 계수를 받으면, 인접 블록의 복호 변환 계수를 이용하고 예측 변환 계수를 생성한다. 예측 변환 계수를 생성하는 방법으로서는, 도 1의 변환 계수 예측 처리부(3)가 예측 신호를 생성하는 방법과 같은 방법을 이용한다.

변환 계수 예측 처리부(13)는, 예측 신호를 생성하면, 그 예측 변환 계수와 역양자화부(12)에 의해 복호된 예측 잔차 변환 계수 사이에서, 가변 길이 복호부(11)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 예측 처리 방식으로 예측 처리를 실시하여, 예측 잔차 신호(도 1의 신호 변환부(2)에 의해 변환된 주파수 영역의 신호에 대응하는 신호)를 복호한다.

한편, 영역의 종류에 대응하는 예측 처리 방식에 관해서는, 상기 실시의 형태 1과 마찬가지기 때문에 설명을 생략한다.

역변환부(14)는, 변환 계수 예측 처리부(13)로부터 블록의 예측 잔차 신호를 받으면, 가변 길이 복호부(11)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 블록 사이즈를 단위로 하여 예측 잔차 신호를 주파수 영역의 신호로부터 공간 영역의 신호(화상 신호)로 변환한다.

한편, 영역의 종류에 대응하는 블록의 사이즈에 관해서는, 상기 실시의 형태 1과 마찬가지기 때문에 설명을 생략한다.

이상으로 알 수 있는 바와 같이, 본 실시의 형태 4에 따르면, 소정 사이즈로 분할되어 있는 2차원의 매크로 블록의 압축 데이터로부터, 상기 매크로 블록이 속하는 영역의 종류를 나타내는 영역 판정 결과 신호를 취득하고, 그 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 복호 처리를 실시하여, 2차원의 매크로 블록의 압축 데이터로부터 화상 신호를 복호 하도록 구성했기 때문에, 도 1의 화상 부호화 장치에 의해 부호화된 화상 신호를 복호할 수 있는 효과를 갖는다. 한편, 본 실시의 형태 4에서는, 가변 길이 복호부(11)에 의해 복호된 영역 판정 결과 신호에 따라 역양자화부(12), 변환 계수 예측 처리부(13), 역변환부(14)의 모두가 내부의 처리를 전환하는 것으로 하고 설명했지만, 반드시 모두가 전환할 필요는 없고, 화상 부호화 장치에 의해 일부의 처리만이 전환된 압축 데이터를 입력하는 경우에는, 대응하는 일부의 처리만을 전환하는 구성으로 하여도 좋다.

실시의 형태 5.

도 9는 본 발명의 실시의 형태 5에 따른 화상 복호 장치를 나타내는 구성도 이며, 도면에 있어서, 도 8과 동일 부호는 동일 또는 상당 부분을 나타내기 때문에 설명을 생략한다.

도 9의 화상 복호 장치는, 도 7의 화상 부호화 장치에 대응하고 있고, AVC 등의 공간 영역에 대하여 예측 처리를 행하는 복호 방식을 채용하고 있다.

도 9에 있어서, 화상 신호 예측 처리부(15)는 도 7의 화상 신호 예측 처리부(6)에 대응하고 있고, 복호 대상의 블록의 예측 잔차 신호(역변환부(14)에 의해 역변환된 공간 영역의 신호)와, 인접 블록의 복호 화상 신호 사이에서 예측 처리를 실시하여, 화상 신호를 복호하는 처리부(복호 처리의 일부를 실시하는 처리부)이며, 화상 신호 예측 처리부(15)는 가변 길이 복호부(11)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 예측 처리 방식으로 예측 처리를 실시한다.

다음으로 동작에 대하여 설명한다.

화상 신호 예측 처리부(15)는, 역변환부(14)로부터 공간 영역의 신호인 복호 대상의 블록의 예측 잔차 신호를 받으면, 도 7의 화상 신호 예측 처리부(6)와 마찬가지의 방법으로, 인접 블록의 복호 화상 신호로부터 예측 신호를 생성한다.

그리고, 화상 신호 예측 처리부(15)는, 그 예측 신호와 복호 대상의 블록의 예측 잔차 신호 사이에서, 가변 길이 복호부(11)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 예측 처리 방식으로 예측 처리를 실시하여, 화상 신호를 복호한다.

본 실시의 형태 5에 따르면, 도 7의 화상 부호화 장치에 의해 부호화된 화상 신호를 복호할 수 있다.

한편, 상기 실시의 형태 4 및 실시의 형태 5에서는, 영역 결과 판정 신호의 값에 따라, 역양자화부·계수 변환 예측 처리부·역변환부가 동작을 전환하는 것으로서 설명했지만, 상기 실시의 형태 1에서 설명한 바와 같이, 블록마다, 어떤 변환 방식을 선택했는지를 나타내는 데이터를 이용하는 경우에는(단락[0023]을 참조), 그 데이터에 따른 변환 방식을 사용하여, 복합 처리를 행하게 된다. 복수의 양자화 테이블을 준비하여, 어떤 양자화 테이블을 선택했는지를 나타내는 데이터를 이용하는 경우에는(단락[0034]을 참조), 그 데이터에 따른 양자화 테이블을 사용하여, 복호 처리를 행하게 된다.

실시의 형태 6.

본 실시의 형태 6에서는, 예컨대, 도 7의 화상 신호 예측 처리부(6)가, 전처리부(1)로부터 출력된 매크로 블록 신호(부호화 대상의 블록의 화상 신호)와 인접 매크로 블록의 매크로 블록 신호 사이에서 예측 처리를 실시하여 예측 잔차 신호를 생성할 때, 전처리부(1)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 예측 처리 방식으로 예측 처리를 실시하는 것에 대하여 설명한다.

상기 실시의 형태 3에서는, AVC에서 사용되고 있는 화상 신호의 예측 처리 방식을 이용하여 블록 사이즈를 전환하는 수법에 대하여 설명했지만, 전처리부(1)에 의해 판정된 영역의 종류에 따라, 화상 신호의 예측 처리 방식을 전환하는 것도 가능하다.

이하, 「평탄 영역」에 적합하는 예측 처리 방식에 대하여 설명한다.

도 10은 부호화 대상 블록의 화소를 나타내는 설명도이다.

사각형 내의 화소가 부호화 대상 블록의 화소이며, 도 10의 예에서는, 부호화 대상 블록이 4×4 사이즈의 블록이다. 또한, 사각형 밖의 화소는 예측 처리에 이용하는 화소이다.

숫자는 화소값을 나타내고 있고, 도 10의 예에서는, 「평탄 영역」을 상정하고 있다.

「평탄 영역」에 속하는 신호의 경우, 도 10(a)에 나타낸 바와 같이, 블록 내의 신호는 거의 똑같다. 또는, 도 10(b)에 나타낸 바와 같이, 블록 내의 신호가 특정 방향으로 완만하게 변화되는 것이 생각된다.

AVC의 예측 처리에서는, 도 11에 나타낸 바와 같이, 부호화 대상 블록의 주위에 위치하는 A ~ I의 화소를 이용한 외삽 처리를 행하기 때문에, 도 10(a)과 같은 신호에 대하여는 높은 예측 효율이 얻어지지만, 도 10(b)과 같은 신호의 경우에는, 화소 h, k, n, l, o, p와 같이, A ~ I의 화소로부터 거리가 먼 화소에 대하여는 충분한 예측 효율이 얻어지지 않는다.

그래서, 도 11에 있어서의 화소 p의 값을 부호화 데이터에 포함시켜, 화소 p의 값을 이용한 내삽 처리를 실시하여, 예측 화상을 생성하는 것으로 예측의 효과를 높인다.

화소 p의 값의 부호화 방법으로서는, 화소 p의 값 자체를 부호화하도록 하면 바람직하다(도 10(b)의 경우, "38"의 값을 부호화한다). 이 경우, 화소 p의 값을 얻기 위해서 쓸데없는 연산 처리를 행할 필요가 없다.

또한, 화소 p의 값의 부호화 방법으로서, 부호화 대상 블록의 주위에 위치하는 A ~ I의 화소 중에서, 화소 p에 가장 가까운 2개의 화소 E 및 화소 I의 평균값을 구하고, 그 평균값과 화소 p의 값의 차분값을 부호화하도록 할 수도 있다(도 10(b)의 경우, 평균값이 "34"로 되고, 차분값이 "+4"로 된다). 이 경우, 평탄 영역이면, 차분값은 제로에 가까운 값이 되기 때문에, 화소 p의 값 자체를 부호화하는 것보다도 부호화의 효율을 높이는 것이 가능해진다.

또한, 화소 p의 값의 부호화 방법으로서, 부호화 대상 블록의 주위에 위치하는 A ~ I의 모든 화소의 평균값을 구하고, 그 평균값과 화소 p의 값의 차분값을 부호화하도록 할 수도 있다(도 10(b)의 경우, 평균값이 "32.22" 되고, 차분값이 "+5.78"로 된다). 이 경우, 부호화 대상 블록의 주위의 화소 중에 잡음이 포함되어 있어도, 많은 화소를 이용하여 평균값을 구하고 있기 때문에, 잡음의 영향을 약하게 할 수 있다.

여기에 예로 든 3 종류의 부호화 방식 중 어느 하나를 이용하는 것으로 하여도 좋고, 부호화 블록의 사이즈에 따라 전환하도록 하여도 좋다.

예컨대, 블록 사이즈가 16×16 사이즈인 경우에는, 블록 내 오른쪽 아래의 화소인 화소 p와, 주위의 화소와의 거리가 멀기 때문에, 화소 p의 값 자체를 사용하게 된다. 한편, 4×4 사이즈의 경우에는, 화소 p와 주위의 화소와의 거리가 가깝기 때문에, 화소 E와 화소 I의 평균값을 구하고, 그 평균값과 화소 p의 값의 차분값을 사용하도록 하는 수법 등이 생각된다.

이렇게 하여 얻은 화소 p와 주위의 화소 A ~ I를 이용한 내삽 처리에 의해서 예측 화상을 생성한다.

내삽의 계산 방법으로서는, 예컨대, 2개의 화소를 이용하여, 거리에 따라 가중 부여하는 리니어 보간(예컨대, 화소 m의 예측값을 (3×E+p)/4로 얻는다)이나, 4개의 화소를 이용하여, 거리에 따라 가중 부여하는 바이리니어(bilinear) 보간(예컨대, 화소 k의 예측값을 (A+2×E+2×I+3×p)/8로 얻는다) 등의 종래부터 알려져 있는 보간 처리를 행한다.

한편, 화소 p의 값을 나타내는 부호화 데이터(화소 p의 값 자체, 또는, 주변화소의 평균값으로부터의 차분값)는, 값 자체를 부호화할 수도 있지만, 예컨대, 값의 상위 6 비트만을 사용하도록 한 양자화를 실시하고 나서 부호화하도록 할 수도 있다. 양자화에 의해 값의 범위가 좁혀지기 때문에, 부호화 데이터의 부호량을 삭감할 수 있다.

본 실시의 형태 6에서는, 이러한 내삽 예측 수법을 포함해서, 판정된 영역의 종류에 따라 예측 처리 방식을 전환하게 된다.

이것에 의해, 블록 내의 신호가 거의 일정해지고, 「평탄 영역」이라고 판정되는 도 10(a)와 같은 경우에는, 공간 영역에서의 외삽 예측, 블록 내의 신호가 특정 방향으로 완만하게 변화되는 도 10(b)과 같은 경우에는, 공간 영역에서의 내삽 예측, 「에지 영역」에 관해서는, 변환 계수에 대한 DC·AC 계수 예측 처리, 「복잡 영역」에 관해서는, 변환 계수에 대한 DC 계수 예측 처리라고 하는 바와 같이, 다양한 예측 처리 방식을 전환하면서 부호화 처리를 행하는 것도 가능하다.

즉, 일정한 「평탄 영역」의 경우에는, 내삽 예측을 행하더라도, 예측의 효율은 변하지 않기 때문에, 화소 p를 부호화할 필요가 없는 외삽 예측을 선택하고, 완만하게 변화되는 「평탄 영역」의 경우에는, 상술한 바와 같이 내삽 예측에 의해서 높은 예측 효율을 얻게 된다.

「에지 영역」 중, 특히 수평 에지 또는 수직 에지의 경우에는, AC 계수의 예측 효율이 높기 때문에, 변환 계수에 대한 DC 계수와 AC 계수에 대한 예측 처리를 행하는 것에 의해, 공간 영역에서의 내삽·외삽 처리를 행하는 일없이, 높은 부호화 효율을 얻게 된다.

「복잡 영역」에서는, 예측의 효율이 별로 얻어지지 않기 때문에, DC 계수의 예측 처리만을 행하는 것에 의해, 필요없는 연산 처리를 삭감하게 된다.

상기의 예에서는, 판정된 영역의 종류에 따라, 단일로 예측 처리 방식이 결정되는 것이기 때문에, 예측 처리 방식에 관한 정보는 불필요하지만, 각종의 예측 처리 방식을 실시하여, 가장 높은 예측 효율이 얻어지는 예측 처리 방식을 선택하도록 할 수도 있다.

이 경우, 어떤 예측 처리 방식을 선택했는지를 나타내는 선택 정보가 필요해지지만, 선택된 영역마다, 예측 처리 방식의 우선도를 부여해 놓은 것에 의해, 예측 처리 방식의 선택 정보의 부호량을 삭감할 수 있다.

예컨대, 일정한 「평탄 영역」의 경우에는, 내삽 예측, 외삽 예측, DC 예측, DC·AC 계수 예측의 순서, 완만하게 변화되는 「평탄 영역」의 경우에는, 외삽 예측, 내삽 예측, DC 예측, DC·AC 계수 예측의 순서, 「복잡 영역」의 경우에는, 예측이고, DC 예측, 내삽 예측의 순서와 같이, 예측 처리 방식이 선택되기 쉬운 순서에 맞춰, 미리 우선도를 부여해 놓은 것에 의해, 더 많이 선택되는 예측 처리 방식에 대하여, 더 적은 부호량으로 선택 정보를 부호화할 수 있다.

다음으로, 상기 실시의 형태에서 처리된 부호화 데이터를 복호 처리하는 화상 복호 장치의 화상 신호 예측 처리에 대하여 설명한다.

예컨대, 도 9의 화상 신호 예측 처리부(15)는, 가변 길이 복호부(11)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 예측 처리 방식을 이용하여, 화상 신호 예측 처리를 행한다.

구체적으로는, 판정된 영역에 따라, 예측 처리 방식이 단일로 결정되는 화상 부호화 장치에 대응하는 화상 복호 장치이면, 화상 신호 예측 처리부(15)가, 가변 길이 복호부(11)로부터 출력된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 예측 처리 방식으로 예측 처리를 실시한다.

즉, 화상 신호 예측 처리부(15)는, 영역의 종류가 일정한 「평탄 영역」이면, 외삽 예측에 의해서 화상 신호를 예측하고, 영역의 종류가 완만하게 변화되는 「평탄 영역」이면, 내삽 예측에 의해서 화상 신호를 예측하고, 영역의 종류가 「에지 영역」이면, DC·AC 계수 예측 처리에 의해서 화상 신호를 예측한다. 또한, 영역의 종류가 「복잡 영역」이면, DC 계수 예측 처리에 의해서 화상 신호를 예측한다.

한편, 예측 처리 방식의 선택 정보를 부호화하는 화상 부호화 장치에 대응하는 화상 복호 장치이면, 가변 길이 복호부(11)가 부호화되어 있는 예측 처리 방식의 선택 정보를 복호하고, 화상 신호 예측 처리부(15)가 가변 길이 복호부(11)에 의해 복호된 선택 정보로부터 예측 처리 방식을 특정하고, 그 예측 처리 방식에 의해서 화상 신호의 예측을 행한다.

상기 실시의 형태 1 ~ 6에서는, 화상 신호를 가변 길이 부호화하는 것에 대하여 나타내었지만, 화상 신호가 컬러 화상 신호의 경우, 적·녹·청, 또는, 휘도 신호와 2개의 색차 신호로 한 형식으로, 3개의 성분, 또는, 그 이상의 성분으로 구성되어 있다.

휘도 신호나 녹색 성분에는, 고주파수 성분이 많이 포함되지만, 2개의 색차 신호나 적·청 성분에는, 고주파수 성분이 포함되기 어렵다고 하는 신호 성분의 차이가 알려져 있다.

이러한 컬러 화상 신호를 부호화하는 경우, 동일 공간 위치에 속하는 복수의 신호 성분을 모아서 하나의 매크로 블록으로서 부호화하는 수법이, 비특허문헌 1 ~ 3에 개시되어 있고, 어떤 매크로 블록에 속하는 성분 모두의 신호를 하나의 영역에 속하는 것으로 하여 부호화 처리를 행하는 것도 가능하지만, 각각의 성분마다, 영역 종류 판정 처리를 실시하는 것으로, 신호 성분의 수만큼 영역 판정 결과 신호를 얻어, 각각의 성분마다, 영역 판정 결과 신호를 이용하여, 신호 변환·양자화·가변 길이 부호화의 처리를 전환한다고 하는 방법을 취하는 것도 가능하다.

이 경우, 각각의 신호 성분의 차이를 이용한 부호화 처리가 가능해져, 더 높은 부호화 효율을 얻을 수 있다.

(산업상의 이용가능성)

본 발명은, 화면 내의 각 영역에 적합한 부호화 처리를 실시하여, 부호화의 효율을 높일 필요가 있는 화상 부호화 장치에 적합하다.

Claims (14)

1. 화상 신호를 소정 사이즈의 2차원 블록으로 분할하는 블록 분할 수단과,
   상기 블록 분할 수단에 의해 분할된 블록마다, 상기 블록이 속하는 영역의 종류를 판정하는 영역 종류 판정 수단과,
   상기 블록 분할 수단에 의해 분할된 블록마다, 상기 영역 종류 판정 수단에 의해 판정된 영역의 종류에 대응하는 부호화 처리를 실시하여 압축 데이터를 생성하는 부호화 수단
   을 구비한 화상 부호화 장치.
   
2. 제 1 항에 있어서,
   상기 부호화 수단은, 상기 부호화 처리의 일부를 실시하는 처리부로서, 상기 블록 분할 수단에 의해 분할된 블록의 신호인 공간 영역의 신호를 주파수 영역의 신호로 변환하여, 그 변환 계수를 출력하는 신호 변환부를 구비하고, 상기 신호 변환부가 상기 블록의 사이즈를 영역 종류 판정 수단에 의해 판정된 영역의 종류에 대응하는 사이즈로 변경하고, 사이즈 변경 후의 블록의 신호를 공간 영역의 신호로부터 주파수 영역의 신호로 변환하는 것을 특징으로 하는 화상 부호화 장치.
   
3. 제 1 항에 있어서,
   상기 부호화 수단은, 상기 부호화 처리의 일부를 실시하는 처리부로서, 상기 블록 분할 수단에 의해 분할된 블록 중, 부호화 대상의 블록의 변환 계수와 상기 블록에 인접하고 있는 블록의 변환 계수 사이에서 예측 처리를 실시하여 예측 잔차 변환 계수를 생성하는 예측 처리부를 구비하고, 상기 예측 처리부가 상기 영역 종류 판정 수단에 의해 판정된 영역의 종류에 대응하는 예측 처리 방식으로 예측 처리를 실시하는 것을 특징으로 하는 화상 부호화 장치.
   
4. 제 1 항에 있어서,
   상기 부호화 수단은, 상기 부호화 처리의 일부를 실시하는 처리부로서, 상기 블록 분할 수단에 의해 분할된 블록의 예측 잔차 변환 계수에 대한 양자화 처리를 실시하여 양자화 계수를 산출하는 양자화부를 구비하고, 상기 양자화부가 상기 영역 종류 판정 수단에 의해 판정된 영역의 종류에 대응하는 양자화 파라미터 및 양자화 테이블을 이용하여 양자화 처리를 실시하는 것을 특징으로 하는 화상 부호화 장치.
   
5. 제 1 항에 있어서,
   상기 부호화 수단은, 상기 부호화 처리의 일부를 실시하는 처리부로서, 상기 블록 분할 수단에 의해 분할된 블록의 양자화 계수에 대한 가변 길이 부호화 처리를 실시하여 압축 데이터를 생성하는 가변 길이 부호화부를 구비하고, 상기 가변 길이 부호화부가 상기 영역 종류 판정 수단에 의해 판정된 영역의 종류에 대응하는 가변 길이 부호어 테이블을 이용하여 가변 길이 부호화 처리를 실시하는 것을 특징으로 하는 화상 부호화 장치.
   
6. 제 1 항에 있어서,
   상기 부호화 수단은, 상기 영역 종류 판정 수단에 의해 판정된 영역의 종류를 나타내는 영역 판정 결과 신호를 부호화하여, 상기 영역 판정 결과 신호의 부호화 데이터를 압축 데이터에 포함시키는 것을 특징으로 하는 화상 부호화 장치.
   
7. 제 1 항에 있어서,
   상기 부호화 수단은, 상기 부호화 처리의 일부를 실시하는 처리부로서, 상기 블록 분할 수단에 의해 분할된 블록 중, 부호화 대상의 블록의 화상 신호와 상기 블록에 인접하고 있는 블록의 화상 신호 사이에서 예측 처리를 실시하여 예측 잔차 신호를 생성하는 예측 처리부를 구비하고, 상기 예측 처리부가 상기 영역 종류 판정 수단에 의해 판정된 영역의 종류에 대응하는 예측 처리 방식으로 예측 처리를 실시하는 것을 특징으로 하는 화상 부호화 장치.
   
8. 소정 사이즈로 분할되어 있는 2차원 블록의 압축 데이터로부터, 상기 블록이 속하는 영역의 종류를 나타내는 영역 판정 결과 신호를 취출하는 영역 판정 결과 신호 취출 수단과, 상기 영역 판정 결과 신호 취출 수단에 의해 취출된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 복호 처리를 실시하여, 상기 2차원 블록의 압축 데이터로부터 화상 신호를 복호하는 복호 수단을 구비한 화상 복호 장치.
   
9. 제 8 항에 있어서,
   상기 복호 수단은, 상기 복호 처리의 일부를 실시하는 처리부로서, 2차원 블록의 압축 데이터에 대한 가변 길이 복호 처리를 실시하여 양자화 계수를 복호하는 가변 길이 복호부를 구비하고, 상기 가변 길이 복호부가 상기 영역 판정 결과 신호 취출 수단에 의해 취출된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 가변 길이 부호어 테이블을 이용하여 가변 길이 복호 처리를 실시하는 것을 특징으로 하는 화상 복호 장치.
   
10. 제 8 항에 있어서,
    상기 복호 수단은, 상기 복호 처리의 일부를 실시하는 처리부로서, 2차원 블록의 양자화 계수에 대한 역양자화 처리를 실시하여 예측 잔차 변환 계수를 복호하는 역양자화부를 구비하고, 상기 역양자화부가 상기 영역 판정 결과 신호 취출 수단에 의해 취출된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 양자화 파라미터 및 양자화 테이블을 이용하여 역양자화 처리를 실시하는 것을 특징으로 하는 화상 복호 장치.
    
11. 제 8 항에 있어서,
    상기 복호 수단은, 상기 복호 처리의 일부를 실시하는 처리부로서, 소정 사이즈로 분할되어 있는 2차원 블록 중, 복호 대상의 블록의 예측 잔차 변환 계수와 상기 블록에 인접하고 있는 블록의 예측 잔차 변환 계수 사이에서 예측 처리를 실시하여 예측 잔차 신호를 복호하는 예측 처리부를 구비하고, 상기 예측 처리부가 상기 영역 판정 결과 신호 취출 수단에 의해 취출된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 예측 처리 방식으로 예측 처리를 실시하는 것을 특징으로 하는 화상 복호 장치.
    
12. 제 8 항에 있어서,
    상기 복호 수단은, 상기 복호 처리의 일부를 실시하는 처리부로서, 2차원 블록의 예측 잔차 신호인 주파수 영역의 신호를 공간 영역의 신호로 변환하는 역변환부를 구비하고, 상기 역변환부가 상기 2차원 블록의 사이즈를 상기 영역 판정 결과 신호 취출 수단에 의해 취출된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 사이즈로 변경하고, 사이즈 변경후의 2차원 블록의 예측 잔차 신호를 주파수 영역의 신호로부터 공간 영역의 신호로 변환하는 것을 특징으로 하는 화상 복호 장치.
    
13. 제 8 항에 있어서,
    상기 복호 수단은, 상기 복호 처리의 일부를 실시하는 처리부로서, 소정 사이즈로 분할되어 있는 2차원 블록 중, 복호 대상의 블록의 예측 잔차 신호와 상기 블록에 인접하고 있는 블록의 예측 잔차 신호 사이에서 예측 처리를 실시하여 화상 신호를 복호하는 예측 처리부를 구비하고, 상기 예측 처리부가 상기 영역 판정 결과 신호 취출 수단에 의해 취출된 영역 판정 결과 신호가 나타내는 영역의 종류에 대응하는 예측 처리 방식으로 예측 처리를 실시하는 것을 특징으로 하는 화상 복호 장치.
    
14. 제 8 항에 있어서,
    상기 복호 수단은, 상기 복호 처리의 일부를 실시하는 처리부로서, 소정 사이즈로 분할되어 있는 2차원 블록 중, 복호 대상의 블록의 예측 잔차 신호와 상기 블록에 인접하고 있는 블록의 예측 잔차 신호 사이에서 예측 처리를 실시하여 화상 신호를 복호하는 예측 처리부를 구비하고, 상기 예측 처리부가 화상 부호화 장치로부터 송신된 선택 정보로부터 예측 처리 방식을 특정하고, 상기 예측 처리 방식으로 예측 처리를 실시하는 것을 특징으로 하는 화상 복호 장치.

Images