KR20060118593A

KR20060118593A - 화상 부호화 방법, 그 장치 및 제어 프로그램

Info

Publication number: KR20060118593A
Application number: KR20067016716A
Authority: KR
Inventors: 게이이찌 조노; 유조 센다
Original assignee: 닛본 덴끼 가부시끼가이샤
Priority date: 2004-02-20
Filing date: 2005-02-15
Publication date: 2006-11-23
Also published as: JPWO2005081540A1; JP2010268508A; TWI255651B; JP4952828B2; EP1718080A1; US8743956B2; EP1718080A4; TW200529672A; EP2290986A1; KR100860147B1; CN1922886B; EP2611157A1; WO2005081540A1; CN1922886A; JP4613909B2; US20070140333A1

Abstract

블록 데드존 스케일 생성 장치(202)는, 화상 신호와 예측 오차를 입력으로 하고, 대상 블록의 그림 혹은 예측 성능을 해석하여, 상기 블록의 그림, 예측 성능에 적합한 데드존 스케일을 출력한다. 데드존 생성 장치(201)는, 블록 데드존 스케일 생성 장치(202)로부터의 데드존 스케일과 양자화 제어 장치(103)로부터의 MB 양자화 파라미터를 입력으로 하고, 상기 존 스케일과 MB 양자화 파라미터로부터 데드존 폭을 계산하여, 이 데드존 폭을 출력한다. 양자화 장치(102)는, 직교 변환 장치(101)로부터 공급되는 직교 변환 계수에 대하여, 데드존 생성 장치(201)로부터의 데드존을 이용해서 양자화를 행하여, 양자화 변환 계수를 출력한다. 이에 의해, 양자화 특성 부가 정보를 이용하지 않고, 변환 계수마다, 복수의 변환 계수를 구성 요소로 하는 블록마다 자유 자재의 강도의 양자화를 가능하게 하여, 고화질의 화상 부호화 기술을 제공할 수 있다.

데드존 스케일, 데드존 폭, MB(매크로 블록), 양자화, 시각 감도, 변환 계수, 화상 프레임

Description

화상 부호화 방법, 그 장치 및 제어 프로그램{IMAGE ENCODING METHOD, DEVICE THEREOF, AND CONTROL PROGRAM THEREOF}

본 발명은, 화상 부호화 방법, 그 장치 및 그 제어 프로그램에 관한 것으로, 특히 주관 화질 개선을 위한 적응 양자화를 행하는 화상 부호화 방법, 그 장치 및 그 제어 프로그램에 관한 것이다.

도면을 참조해서 종래의 기술을 설명한다.

이하에서는, 도 1을 참조해서 종래 기술의 하나인 직교 변환 장치와 예측 장치(프레임내 예측/ 프레임간 예측)에 기초한 하이브리드 동화상 부호화를 설명한다.

종래 기술에서는, 동화상을 구성하는 화상 프레임을 복수의 매크로 블록(MB)이라고 불리는 영역으로 분할하고, 또한 상기 MB를 미세하게 분할한 블록에 대하여 부호화를 행한다. 종래 기술의 구체적인 화상 프레임의 구성예로서, AVC(ISO/ IEC 14496-10 Advanced Video Coding)의 화상 프레임 구성을 도 2에 도시한다.

상기 MB는, 과거에 재구축된 동일 화상 프레임내에서 예측하는 프레임내 예측 장치(5108), 혹은 과거에 재구축된 과거의 화상 프레임으로부터 예측하는 프레임간 예측 장치(5109)가 공급하는 예측치가 감해진다. 상기 예측치가 감해진 MB의 신호를 예측 오차 신호라고 부른다.

상기 예측 오차 신호는, 또한 미세한 블록(이후에 단순히 블록이라고 함)으로 분할되어, 직교 변환 장치(5101)에 의해 공간 영역으로부터 주파수 영역으로 변환된다.

양자화 장치(5102)에 의해, 상기 주파수 영역으로 변환된 블록의 직교 변환 계수는, 양자화 제어 장치(5103)로부터 MB 단위로 공급하는 양자화 파라미터에 대응하는 양자화 스텝 사이즈로 양자화된다.

일반적으로 상기 양자화 제어 장치(5103)는, 발생 부호량을 감시해서 발생 부호량이 목표의 부호량보다도 많은 양이면 양자화 파라미터를 크게 하고, 반대로 발생 부호량이 목표의 부호량보다도 적은 양이면 양자화 파라미터를 작게 한다. 이에 의해 동화상을 목표 부호량으로 부호화할 수 있다.

상기 양자화된 직교 변환 계수는 양자화 변환 계수라고 불리며, 가변 길이 부호화 장치(5104)에 의해 엔트로피 부호화되어 출력된다.

이후의 부호화를 위하여, 상기 양자화 변환 계수는, 역양자화 장치(5105)에서 역양자화되고, 또한 역직교 변환 장치(5106)에 의해 역직교 변환되어 원래의 공간 영역으로 복귀된다.

상기 공간 영역으로 복귀된 블록에는, 상기 예측치가 가해져 프레임 메모리(5107)에 저장된다. 상기 저장된 블록으로 재구성되는 화상 프레임을 참조 프레임이라고 부른다.

프레임내 예측 장치(5108)는, 상기 참조 프레임으로부터 현재 MB의 예측 오 차 신호를 최소로 하는 예측 방향, 한쪽의 프레임간 예측 장치(5109)는, 상기 참조 프레임으로부터 현재 MB의 예측 오차 신호를 최소로 하는 움직임 벡터를 검출한다. 예측 판정 스위치(5110)는, 상기 프레임내 예측에 의한 예측 오차와 프레임간 예측에 의한 예측 오차를 비교하여, 예측 오차가 작은 예측을 선택한다.

이상의 처리에 의해 압축된 동화상의 주관 화질을 유지하기 위해서, 상기 양자화 제어 장치(5103)는, 발생 부호량뿐만 아니라, 입력 화상 신호나 예측 오차 신호를 감시하여, 양자화 대상의 MB의 시각 감도가 높으면 양자화 파라미터를 작게(양자화를 미세하게), 낮으면 양자화 파라미터를 크게(양자화를 개략적으로) 한다(양자화가 미세할수록 화질이 좋음).

AVC 등의 종래 기술에서는, 전송하는 양자화 파라미터의 정보량을 삭감하기 위해, 1개의 MB에 대하여 1개의 양자화 파라미터밖에 전송할 수 없는 제약이 있다.

이 제약에 의해, MB를 구성하는 블록의 모든 직교 변환 계수를(휘도 신호에서는 256개의 계수를), 동일한 양자화 폭 즉 양자화 특성으로 양자화한다.

이 때문에, 종래 기술에는 이하의 3가지 과제가 있다.

제1 문제로, MB를 구성하는 각 블록의 그림이 동일하다고는 할 수 없다. 이러한 경우에 있어서, 종래 기술에서는 MB를 구성하는 각 블록의 그림에 적합한 양자화를 할 수 없다.

제2 문제로, MB를 구성하는 개개의 블록이 독립된 프레임내 예측, 혹은 MB를 구성하는 개개의 블록이 독립된 움직임 벡터에 의해 프레임간 예측이 가능한 동화상 부호화에 있어서, MB를 구성하는 블록마다 예측 오차를 최소화하는 성능이 상이 하다(이후, 예측 성능이라고 함). 이러한 경우에 있어서, 종래 기술에서는 MB를 구성하는 각 블록의 예측 성능에 적합한 양자화를 할 수 없다.

제3 문제로, 제1 및 제2 이유에 의해, 블록 내부의 좌표(이후, 공간 주파수라고 함)에 대응하는 직교 변환 계수의 분포가 달라, MB를 구성하는 각 블록에서 그 분포가 한결같지 않다. 이러한 경우에 있어서, 종래 기술에서는 각 블록의 직교 변환 계수의 분포에 적합한 양자화를 할 수 없다.

이들 문제에 의해, 종래 기술에서는, MB내에서 가장 주파수 영역에서 시각 감도가 높은 변환 계수, 혹은 MB내에서 가장 공간 영역에서 시각 감도가 높은 블록에 맞추어, MB의 양자화 파라미터를 결정할 수밖에 없다. 그 결과, 주파수 영역에서 시각 감도가 낮은 다른 변환 계수나, 공간 영역에서 시각 감도가 낮은 블록이 필요이상으로 미세하게 양자화된다. 즉, 시각 감도가 낮은 변환 계수에 불필요한 정보량을 할당하고 있다.

또한, 프레임내 예 측MB에서는 MB를 구성하는 전체 블록내의 변환 계수에 대하여 고역의 변환 계수를 저역의 변환 계수보다도 계수를 잘라 내고, 프레임간 예측에서는 상기 계수의 잘라냄을 오프로 함으로써, 양자화 특성 부가 정보를 전송하지 않고 화상 프레임 전체의 평균적인 주관 화질 개선하는 기술이, 일본 특허 공개 2003-230142호 공보(문헌1)에 기재되어 있다.

〈발명의 개시〉

그러나, 전술한 종래 기술과 같이 복수의 변환 계수, 혹은 복수 변환 계수를 구성 요소로 하는 블록의 집합에 동일한 양자화 파라미터를 설정하는 방법에서는, 블록의 그림, 블록의 예측 성능, 블록의 변환 계수의 분포에 적합한 양자화를 할 수 없다. 그렇다고 해서, 변환 계수마다 혹은 복수 변환 계수를 구성 요소로 하는 블록마다 양자화 파라미터를 설정해서 전송하는 방법에서는, 양자화 파라미터(이후, 양자화 특성 부가 정보라고 함)의 부호량이 방대해져, 일정한 부호량에서의 화상 부호화에서는 이용할 수 없다.

또한, 문헌 1에 기재된 바와 같은 기술에서는, 화상 프레임의 최소 구성 단위인 블록마다(즉, MB를 구성하는 블록마다)의 그림/ 각 블록의 예측 성능/ 각 블록내의 계수의 분포에 따른 양자화를 실현할 수 없어, 화상 프레임내에 국소적인 화질 열화가 발생하는 문제가 있다. 즉, 전술한 문제 1, 2, 3을 해결하는 것은 불가능하다.

따라서, 본 발명은 상기 과제를 감안해서 발명된 것이며, 그 목적은, 양자화 특성 부가 정보를 이용하지 않고, 변환 계수마다, 복수의 변환 계수를 구성 요소로 하는 블록마다 자유 자재의 강도의 양자화를 가능하게 하여, 고화질의 화상 부호화 기술을 제공하는 것에 있다.

또한, 본 발명의 목적은, 복수의 변환 계수에 동일한 양자화 폭으로 양자화를 행하는 변환 부호화 기술에 있어서, 비트 스트림에 추가 정보를 가하는 일없이, 주파수 영역에서의 변환 계수의 시각 감도에 따른 양자화를 가능하게 하여, 보다 고화질의 화상을 제공하는 것에 있다.

또한, 본 발명의 목적은, 복수 변환 계수를 구성 요소로 하는 블록의 집합에 동일한 양자화 폭으로 양자화를 행하는 화상의 변환 부호화 기술에 있어서, 비트 스트림에 추가 정보를 가하는 일없이, 공간 영역에서의 블록의 시각 감도에 따른 양자화를 가능하게 하여, 보다 고화질의 화상을 제공하는 것에 있다.

도 1은 종래 기술의 구성을 도시하는 도면.

도 2는 화상 프레임(해상도가 QCIF인 경우에서 휘도 신호만)을 도시하는 도면.

도 3은 실시예 1의 구성의 일례를 도시하는 도면.

도 4는 데드존 생성의 플로우차트.

도 5는 블록 데드존 스케일 생성의 플로우차트.

도 6은 하나의 직교 변환 계수에 대한 양자화 플로우차트.

도 7은 종래 방식의 양자화 특성(양자화 스텝 사이즈 q)을 도시하는 도면.

도 8은 본 발명의 양자화 특성(양자화 스텝 사이즈 q, 데드존 폭 dz=2q)을 도시하는 도면.

도 9는 종래 방식의 양자화 특성(양자화 스텝 사이즈 q'=4q)을 도시하는 도면.

도 10은 본 발명의 효과를 설명하기 위한 도면으로, 도면 중, a는 각 블록의 복잡도(작은 값일수록 평탄)를 나타내고, b는 종래 기술에서의 양자화 강도를 나타내고, c는 본 발명에서의 양자화 강도를 나타내며, 단, MB의 양자화 강도=20인 도면.

도 11은 실시예 2의 구성의 일례를 도시하는 도면.

도 12는 공간 주파수 데드존 스케일 생성 장치의 구성의 일례를 도시하는 도면.

도 13은 공간 주파수 장치 특성 타입 설정 장치의 동작 플로우차트.

도 14는 본 발명의 효과를 설명하기 위한 도면으로, 도면 중, d는 MB 내부의 블록 공간 주파수 특성 타입을 나타내고, e는 종래 기술에서의 양자화 타입을 나타내고, f는 본 발명에서의 양자화 타입을 나타내며, 단, 「1」은 쌍방향 예측 블록, 「2」는 비고립 움직임 블록, 「3」은 통상 움직임 블록인 도면.

도 15는 타입별의 양자화 강도 특성(블록내 가로 방향만)을 도시하는 도면.

도 16은 실시예 3의 구성의 일례를 도시하는 도면.

도 17은 하이브리드 데드존 스케일 생성 장치의 구성의 일례를 도시하는 도면.

도 18은 실시예 4의 구성의 일례를 도시하는 도면.

도 19는 갭 보정 데드존 스케일 생성 장치의 동작 플로우차트.

도 20은 본 발명을 이용한 정보 처리 장치의 구성을 도시하는 도면.

〈발명을 실시하기 위한 최량의 형태〉

상기 과제를 해결하기 위해서, 본 발명의 화상 부호화 방법은, 화상을 공간 영역으로부터 주파수 영역으로 변환함으로써 변환 계수를 생성하는 단계와, 복호 시와 동일한 양자화 폭을 이용하여, 복호 시의 양자화 특성과 상이한 양자화 특성으로, 변환 계수를 양자화하는 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명의 화상 부호화 장치는, 화상을 공간 영역으로부터 주파수 영 역으로 변환하는 것에 의해 변환 계수를 생성하는 변환 수단과, 복호 시와 동일한 양자화 폭을 이용하여, 복호 시의 양자화 특성과 상이한 양자화 특성으로, 변환 계수를 양자화하는 양자화 수단을 포함하는 것을 특징으로 한다.

또한, 본 발명의 화상 부호화의 제어 프로그램은, 컴퓨터를, 화상을 공간 영역으로부터 주파수 영역으로 변환함으로써 변환 계수를 생성하는 변환 수단과, 복호 시와 동일한 양자화 폭을 이용하여, 복호 시의 양자화 특성과 상이한 양자화 특성으로, 변환 계수를 양자화하는 양자화 수단으로서 기능시키는 것을 특징으로 한다.

본 발명은 화상의 변환 부호화 기술에 있어서, 변환 계수의 주파수 영역에서의 시각 감도, 복수 변환 계수를 구성 요소로 하는 블록의 공간 영역에서의 시각 감도에 따른 데드존 폭을 설정하는 수단을 구비하고, 이에 의해, 변환 계수의 주파수 영역에서의 시각 감도 및 복수 변환 계수를 구성 요소로 하는 블록의 공간 영역에서의 시각 감도에 따른 양자화 기능을 제공한다.

발명에 의해, 양자화 파라미터에 의해 결정되는 양자화 폭에 의존하는 일없이, 주파수 영역에서 시각 감도가 낮은 변환 계수, 및 공간 영역에서 시각 감도가 낮은 블록에 쓸데없이 소비되고 있었던 부호량을 삭감할 수 있다.

상기 부호량의 삭감에 의해, 화상 프레임 전체의 양자화가 종래 방식보다도 미세해져, 주파수 영역에서 시각 감도가 높은 변환 계수 및 공간 영역에서 시각 감도가 높은 블록이 고화질로 부호화된다.

본 발명은, 화상 부호화에 있어서, 예를 들면, 도 3에 도시하는 바와 같이, 데드존 생성 장치(201), 블록 데드존 스케일 생성 장치(202)를 이용하여, 복호 시와 동일한 양자화 폭으로 데드존을 이용해서 각 변환 계수를 양자화함으로써, 복호 시의 양자화 특성과 상이한 양자화 특성으로, 각 변환 계수를 양자화한다.

또한, 변환 계수마다, 또는, 복수의 변환 계수를 구성 요소로 하는 블록마다, 데드존 폭을 적응적으로 변화시킴으로써, 변환 계수의 주파수 영역에서의 시각 감도 및 복수 변환 계수를 구성 요소로 하는 블록의 공간 영역에서의 시각 감도에 따른 양자화 기능을 제공하여, 더욱, 부호량을 삭감할 수 있다.

구체적으로는, 주파수 영역에서 시각 감도가 높은 변환 계수, 또는 공간 영역에서 시각 감도가 높은 블록일수록 상기 데드존 폭이 좁게, 주파수 영역에서 시각 감도가 낮은 변환 계수, 또는 공간 영역에서 시각 감도가 낮은 블록일수록 상기 데드존 폭이 넓게 설정한다. 또한, 데드존의 폭을 화상의 평탄도에 의해 적응적으로 변화시킨다. 이 때, 화상의 평탄도를, 화상의 예측 모드, 화상의 프레임내 예측의 방향, 화상의 움직임, 화상의 프레임간 예측의 방향, 화상의 평균 절대치 오차, 화상의 분산, 화상의 최대치와 최소치의 차분, 화상의 예측 오차 신호의 평균 절대치 오차, 및 화상의 예측 오차 신호의 분산 중 적어도 하나로부터 계산한다.

이하, 구체적인 실시예를 설명한다.

(실시예 1)

본 발명의 실시예 1에 대해서 설명한다.

도 3은 실시예 1의 구성을 나타내는 일례이다.

본 실시예에서는, 동화상을 구성하는 화상 프레임을 복수의 매크로 블록(MB) 라고 불리는 영역으로 분할하고, 또한 상기 MB를 미세하게 분할한 블록에 대하여 부호화를 행한다.

상기 MB는, 과거에 재구축된 동일 화상 프레임내에서 예측하는 프레임내 예측 장치(108), 혹은 과거에 재구축된 과거의 화상 프레임으로부터 예측하는 프레임간 예측 장치(109)가 공급하는 예측치가 감해진다. 상기 예측치가 감해진 MB의 신호를 예측 오차 신호라고 부른다.

상기 예측 오차 신호는, 또한 미세한 블록(이후에 단순히 블록이라고 함)으로 분할되어, 직교 변환 장치(101)에 의해 공간 영역으로부터 주파수 영역으로 변환된다.

상기 주파수 영역으로 변환된 블록의 직교 변환 계수는, 양자화 장치(102)에 의해, 양자화 파라미터에 대응하는 양자화 스텝 사이즈로 양자화된다.

양자화 파라미터는, 양자화 제어 장치(103)로부터 MB 단위로 양자화 장치(102)에 공급된다. 일반적으로 상기 양자화 제어 장치(103)는, 발생 부호량을 감시해서 발생 부호량이 목표의 부호량보다도 많은 양이면 양자화 파라미터를 크게 하고, 반대로 발생 부호량이 목표의 부호량보다도 적으면 양자화 파라미터를 작게 한다. 이에 의해 동화상을 목표 부호량으로 부호화할 수 있다.

상기 양자화된 직교 변환 계수는 양자화 변환 계수라고 불리며, 가변 길이 부호화 장치(104)에 의해 엔트로피 부호화되어 출력된다.

이후의 부호화를 위해서, 상기 양자화 변환 계수는, 역양자화 장치(105)에서 역양자화되고, 또한 역직교 변환 장치(106)에 의해 역직교 변환되어 원래의 공간 영역으로 복귀된다.

상기 공간 영역으로 복귀된 블록에는, 상기 예측치가 가해져 프레임 메모리(107)에 저장된다. 상기 저장된 블록으로 재구성되는 화상 프레임을 참조 프레임이라고 부른다.

프레임내 예측 장치(108)는, 상기 참조 프레임으로부터 현재 MB의 예측 오차 신호를 최소로 하는 예측 방향, 한쪽의 프레임간 예측 장치(109)는, 상기 참조 프레임으로부터 현재 MB의 예측 오차 신호를 최소로 하는 움직임 벡터를 검출한다. 예측 판정 스위치(110)는, 상기 프레임내 예측에 의한 예측 오차와 프레임간 예측에 의한 예측 오차를 비교하여, 예측 오차가 작은 예측을 선택한다.

또한, 본 실시예에서는, 양자화 장치(102)는, 직교 변환 장치(101)로부터 공급되는 직교 변환 계수를 양자화할 때에, 데드존을 이용한다. 데드존이란, 0(제로)에 가까운 입력에 대응하는 출력을 0(제로)으로 하는 것을 말한다. 또한, 이러한 조작을 행하는 입력의 범위를 데드존 폭이라고 한다. 여기에서는, 직교 변환 계수가 데드존 폭에 포함되어 있는 경우에, 양자화 장치(102)는, 직교 변환 계수를 양자화한 출력, 즉 양자화 변환 계수를 0(제로)으로 한다.

데드존 폭은, 데드존 생성 장치(201) 및 블록 데드존 스케일 생성 장치(202)에 의해 생성된다.

블록 데드존 스케일 생성 장치(202)는, 화상 신호와 예측 오차를 입력으로 하고, 대상 블록의 그림 혹은 예측 성능을 해석하고, 상기 블록의 그림, 예측 성능에 적합한 데드존 스케일을 데드존 생성 장치(201)에 출력한다.

데드존 생성 장치(201)는, 블록 데드존 스케일 생성 장치(202)로부터의 데드존 스케일과 양자화 제어 장치(103)로부터의 MB 양자화 파라미터를 입력으로 하고, 상기 데드존 스케일과 MB 양자화 파라미터로부터 데드존 폭을 계산하여, 이 데드존 폭을 양자화 장치(102)에 출력한다. 구체적으로는, 상기 데드존 스케일과 MB 양자화 파라미터를 승산해서 데드존 폭을 구한다. 따라서, 상기 데드존 스케일이란, 데드존 폭을 구할 때의 MB 양자화 파라미터의 계수이다.

또한, 이하에서는, 설명을 구체화하기 위해, 화상 프레임의 사이즈를 QCIF (176×144) 사이즈, MB의 사이즈를 16×16 사이즈, MB를 구성하는 블록의 사이즈를 4×4 사이즈로 한다. 단 당연히, 그 밖의 사이즈로도 본 발명을 적용할 수 있음은 물론이다.

이하의 설명에서는, 본 실시예의 특징인 데드존 생성 장치(201), 블록 데드존 스케일 생성 장치(202), 및 상기 데드존 생성 장치(201)에 의해 내부 동작의 변경을 수반하는 양자화 장치(102)를 설명한다.

데드존 생성 장치(201)의 입출력 및 동작을 이하에서 설명한다.

데드존 생성 장치(201)의 입력은, 양자화 장치(102)가 현재 대상으로 하는 MB의 래스터 스캔순으로 b번째의 블록에 대응하는 데드존 스케일 dz_scale(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3), 양자화 제어 장치(103)로부터 공급되는 양자화 파라미터 mb_q이다.

데드존 생성 장치(201)의 출력은, 양자화 장치(102)가 현재 대상으로 하는 MB내의 래스터 스캔순으로 b번째의 블록의 직교 변환 계수 cof(b,i,j)(0≤b≤15, 0 ≤i≤3, 0≤j≤3)에 대응하는 데드존 폭 dz(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3)이다.

도 4를 참조해서 데드존 생성 장치(201)의 동작을 이하에서 설명한다.

단계 S101에서는, 양자화 파라미터 mb_q로부터 기준 데드존 base_dz(i, j)(0≤i≤3, 0≤j≤3)를 계산한다. 기준 데드존의 계산 방법은, 본 발명이 접속되는 부호화기(이후, 베이스 부호화기라고 함)가 양자화 매트릭스 WM(i, j)(0≤i≤3, 0≤j≤3)을 이용하는지 않는지에 따라서 상이하다. 양자화 매트릭스란, 양자화에서의 제산 및 역양자화에서의 승산에 공간 주파수에 따른 가중치 부여 파라미터(양자화 부가 정보)이다.

상기 양자화 매트릭스를 이용함으로써, 공간 주파수마다의 양자화 폭을 가변으로 할 수 있다. 상기 양자화 매트릭스를 이용하는 경우를 단계 S101A, 그렇지 않은 경우를 단계 S101B로 하여 각 단계를 이하에서 설명한다. 또한, 이하에서 공통하여 이용하는 양자화 스텝 사이즈 mb_q_step는, mb_q_step=q_step_table[q]에 의해 설정된다. 상기 양자화 스텝 사이즈 q_step_table[q]는, 베이스 부호화기에서 정의되는 양자화 파라미터 q에 대응하는 양자화 스텝 사이즈이다(Q_MIN≤p≤Q_MAX, Q_MIN 및 Q_MAX도 베이스 부호화기 의존).

단계 S101A에서는, 식(1)에 의해 기준 데드존 base_dz(i, j)를 계산한다.

base_dz(i, j)=mb_q_step×WM(i, j) (1)

단계 S101B에서는, 식(2)에 의해 기준 데드존 base_dz(i, j)를 계산한다.

base_dz(i, j)=mb_q_step (2)

단계 S102에서는, 식(3)에 의해, 기준 데드존 base_dz(i, j)와 데드존 스케일 dz_scale(b,i,j)로부터 데드존 폭 dz(i, j)를 계산한다.

dz(b,i,j)=base_dz(i, j)×dz_scale(b,i,j) (3)

또한, 여기에서, 데드존 스케일 dz_scale(b,i,j)의 값에 의해 임의로 데드존 폭 dz(b,i,j)를 설정할 수 있음을 설명해 둔다.

이상으로 데드존 생성 장치(201)의 입출력 및 동작의 설명을 끝낸다.

데드존 스케일 생성 장치(202)는, 복수의 변환 계수를 구성 요소로 하는 블록마다, 그 블록의 그림 혹은 예측 성능에 적합한, 데드존 스케일을 생성한다.

블록 데드존 스케일 생성 장치(202)의 입출력, 동작을 이하에서 설명한다.

블록 데드존 스케일 생성 장치(202)에의 입력은, 양자화 장치(102)가 현재 대상으로 하는 MB의 래스터 스캔순으로 b번째의 블록에 대응하는 입력 화상 신호 org(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3), 예측 오차 신호 pd(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3)이다.

여기에서, 입력 신호의 비트 정밀도는 부호 없는 n 비트로 한다.

블록 데드존 스케일 생성 장치(202)의 출력은, 양자화 장치(102)가 현재 대상으로 하는 MB내의 래스터 스캔순으로 b번째의 블록에 대응하는 데드존 스케일 dz_scale(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3)이다.

블록 데드존 스케일 생성 장치(202)가, 데드존 스케일을 생성하기 위해서 사용하는 신호를 화상 특징량 신호 imf(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3)로 한다

도 5를 참조하여, 블록 데드존 스케일 생성 장치(202)의 동작을 설명한다.

단계 301에서는, 화상 특징량 신호를 선택한다. 이하 3종류의 선택이 있다.

1 (C301A) 베이스 부호화기의 양자화 제어 장치(102)가, 발생 부호량 이외에 입력 화상 신호를 이용해서 양자화 파라미터를 결정하는 경우에는, 화상 특징량 신호 imf(b,i,j)에 입력 화상 신호 org(b,i,j)를 접속한다.

2 (C301B) 베이스 부호화기의 양자화 제어 장치(102)가, 발생 부호량과 입력 화상 신호 이외에 예측 오차 신호 pd를 이용해서 양자화 파라미터를 결정하는 경우에는, 화상 특징량 신호 imf(b,i,j)에 예측 오차 신호 pd(b,i,j)를 접속한다.

3 (C301C)C301A, C301B 이외의 경우에는, 화상 특징량 신호 imf(b,i,j)에 입력 화상 신호 org(b,i,j)를 접속한다.

단계 302에서는, 각 블록 번호 b(0≤b≤15)에 대응하는 평균 절대치 오차 LIAC(b)(0≤b≤15)를 식(4),(5)로 계산한다.

여기에서 abs(x)는 입력 x의 절대치를 반환하는 함수로 한다. 평균 절대치 오차 LIAC(b)(1≤LIAC(b)≤n)는, 블록 b의 내에서의 화상 특징량 신호의 흩어짐을 나타낸다.

단계 303에서는, 식(6)을 이용해서 각 블록 번호 b(0≤b≤15)에 대응하는 블 록 복잡도 bcm(b)(0≤b≤15)을 계산한다.

여기서 max(x, y)은 입력 x, y의 값이 큰 쪽의 값을 반환하는 함수이다.

블록 복잡도 bcm(b)(1≤bcm(b)≤n)이 작을수록, 그 블록은 평탄하고 인간의 시각 감도는 높다. 또한, 블록 복잡도 bcm(b)이 클수록, 그 블록은 복잡하고 인간의 시각 감도는 낮다.

이것을 이용하여, 블록 복잡도가 작은 블록의 양자화의 강도를 작게, 클수록 양자화의 강도를 강하게 함으로써, 공간 영역에서의 블록의 시각 감도(그림이나 예측 성능)에 따른 양자화 강도를 설정할 수 있다.

단계 304에서는, 식(7)을 이용해서 각 블록 번호 b(0≤b≤15)에 대응하는 블록 데드존 스케일 bdz_scale(b)(0≤b≤15)를 계산한다.

bdz_scale(b)=clip(bdz_limit,(bcm(b)/ min_bcm)) (7)

min_bcm=min(bcm(b)) (8)

여기에서, bdz_limit는 n보다도 작은 파라미터, clip(x, y)는 입력 x, y의 값이 작은 쪽의 값을 반환하는 함수이고, min(bcm(b))은 bcm(b)(1≤bcm(b)≤n)의 최소치를 반환하는 함수이다.

bdz_limit를 작게 하면 블록마다의 양자화 강도의 변경을 작게 할 수 있고, bdz_limit를 크게 하면 동적으로 블록마다의 양자화 강도를 변경 할 수 있다.

또한, 블록의 주위의 복잡도도 고려해서 블록 데드존 스케일을 계산하는 것 이면, 식(7) 대신에 이하의 식(7A)을 이용해도 된다.

bdz_scale(b)=clip(bdz_limit,(local_bcm(b)/ min_local_bcm)) (7A)

min_local_bcm=min(local_bcm(b)) (8A)

여기서 local_bcm(b)은 대상 블록 b와 그 주변 블록의 최소의 bcm치를 반환하는 함수이고, min(local_bcm(b))은 local_bcm(b)(1≤bcm(b)≤n)의 최소치를 반환하는 함수이다.

단계 305에서는, 식(9)을 이용해서 각 블록 번호 b(0≤b≤15)에 대응하는 데드존 스케일 dz_scale(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3)에, 블록 데드존 스케일 bdz_scale(b)를 설정한다.

dz_scale(b,i,j)=bdz_scale(b)…(0≤i≤3, 0≤j≤3) (9)

이상의 블록 데드존 스케일 생성 장치(202)의 동작에 의해, 공간 영역에서 시각 감도가 높은 블록의 데드존 스케일 dz_scale은 작고, 공간 영역에서 시각 감도가 낮은 블록의 데드존 스케일 dz_scale은 커진다.

또한 화상 특징량 신호 f(b,i,j)에 입력 화상 신호 org(b,i,j)가 접속되어 있는 경우, 평균 절대치 오차가 아니라, 블록의 화소 범위(최대 화소치와 최소 화소치의 차)를 이용하여도 된다. 요컨대, 블록의 복잡도가 얻어지는 정보이면 된다.

이상으로, 블록 데드존 스케일 생성 장치(202)의 입출력, 동작의 설명을 종료한다.

양자화 장치(102)의 입출력 및 동작을 이하에서 설명한다.

양자화 장치(102)의 입력은, 데드존 생성 장치(201)로부터 공급되는 데드존 폭 dz(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3), 직교 변환 장치(101)로부터 공급되는 직교 변환 계수 cof(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3), 양자화 제어 장치(103)로부터 공급되는 양자화 파라미터 mb_q이다.

양자화 장치(102)의 출력은, 양자화 변환 계수 q_cof(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤ 3)이다.

종래의 구성에 추가로 되는 입출력은, 입력의 데드존 폭 dz(b,i,j)(0≤b≤15, 0≤i≤ 3, 0≤j≤3)뿐이다. 그러나, 이하에서 설명하는 동작의 영향에 의해, 양자화 변환 계수 q_cof(b,i,j)의 출력치가 종래 방식과 상이하다.

도 6을 참조해서 발명에서의 양자화 장치(102)의 동작을 이하에서 설명한다.

단계 S201에서는, 직교 변환 계수 cof(b,i,j)의 절대치 abs-cof가, 데드존 폭 dz(b,i,j)보다도 작은지 비교한다. 작으면 단계 S202, 그렇지 않으면 단계 S203을 계속해서 실행한다.

단계 S202에서는, 양자화 변환 계수 q_cof(b,i,j)를 0으로 한다.

단계 S203에서는, 이하의 계산 방법에 의해 양자화 변환 계수 q_cof(b,i,j) 를 구한다.

양자화 변환 계수의 계산 방법은, 베이스 부호화기가 양자화 매트릭스 WM(i, j)(0≤i≤3, 0≤j≤3)을 이용하는지 않은지에 따라서 상이하다. 양자화 매트릭스를 이용하는 경우를 단계 S203A, 그렇지 않은 경우를 단계 S203B로 하여 각 단계를 이하에서 설명한다

이하에서 공통하여 이용하는 양자화 스텝 사이즈 mb_q_step는, mb_q_step=q_step_table[q]에 의해 설정된다. 상기 양자화 스텝 사이즈 q_step_table[q]는, 베이스 부호화기에서 정의되는 양자화 파라미터 q에 대응하는 양자화 스텝 사이즈이다(Q_MIN≤p≤Q_MAX, Q_MIN 및 Q_MAX도 베이스 부호화기 의존).

단계 S203A에서는 식(10A)에 의해 양자화 변환 계수 q_cof(b,i,j)를 계산한다.

여기에서 abs(x)는 입력 x의 절대치를 반환하는 함수, f는 베이스 부호기에 의존하는 1미만의 파라미터이며 사사오입이면 0.5, 절하이면 0으로 된다.

단계 S203B에서는 식(10B)에 의해 양자화 변환 계수 q_cof(b,i,j)를 계산한다.

여기에서 abs(x)는 입력 x의 절대치를 반환하는 함수, f는 베이스부호기에 의존하는 1미만의 파라미터이며 사사오입이면 0.5, 절하이면 0으로 된다.

이상의 처리를 MB내의 모든 직교 변환 계수 cof(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤ 3)에 적용함으로써 1개의 MB에 대한 양자화가 종료한다.

이상으로 양자화 장치(102)의 입출력 및 동작의 설명을 끝낸다.

본 발명의 효과를 이하에서 설명한다.

우선, 데드존을 가변으로 함으로써 양자화 강도도 가변으로 하는 원리를 설명한다.

도 7, 8, 9를 참조하여, 데드존 dz에 의한 양자화 특성의 차이를 비교한다( 베이스 부호화기에 양자화 매트릭스가 없고, f가 0.5인 경우). 양자화 특성이란, 양자화 장치(102)에의 입력 cof와, 역양자화 장치(105)의 출력 icof의 관계를 의미한다.

도 7은 양자화 스텝 사이즈 q의 종래의 양자화 특성, 도 8은 양자화 스텝 사이즈 q에서 데드존 폭 dz=2q의 발명 방식의 양자화 특성, 도 9는 양자화 스텝 사이즈 q'=4q의 종래의 양자화 특성이다(도 7, 9의 예는 데드존 폭 dz=0의 발명의 양자화 특성이라고도 부를 수 있음). 도 7과 도 8을 비교하면, 데드존 폭 dz에 의해 dz=2q보다도 작은 입력 cof의 출력 i_cof가 0으로 된다. 한편, 도 9에서는 양자화 스텝 사이즈 4배의 양자화에 의해 2q보다도 작은 입력 cof의 출력 i_cof가 0으로 된다.

이것은 "발명에 의해, 데드존 폭 dz이하의 입력에 대하여, 양자화 스텝 사이즈 q를 변경하지 않고 양자화 스텝 사이즈 q'=4q의 양자화를 행했다"는 것을 의미한다.

또한 데드존 폭은, 동화상 비트 스트림에 부가해서 전송할 필요성이 없다.

즉, 변환 계수마다 상기 데드존 폭 dz를 가변으로 함으로써 "양자화 부가 정보 추가하는 일없이, 변환 계수마다 자유롭게 양자화할 수 있다"는 것을 의미한다.

상기 데드존 폭 dz를, 단순히 블록의 예측 모드뿐만 아니라, 블록의 그림, 블록의 예측 성능 혹은 블록내의 직교 변환 계수의 분포도 고려해서 제어함으로써, 블록의 시각 감도 혹은 블록내의 변환 계수의 시각 감도에 최적의 양자화를 실현할 수 있다.

본 발명의 실시예 1의 블록 데드존 스케일 생성 장치(202)가 공급하는 데드존 스케일 dz_scale에 의해, 양자화 부가 정보 추가하는 일없이, 블록의 그림/ 블록의 예측 성능을 고려해서 제어할 수 있다. 즉, 도 10에 도시하는 바와 같이, 공간 영역에서의 블록의 시각 감도에 따른 양자화 강도 설정을 가능하게 한다.

본 발명에 의해, 공간 영역에서의 블록의 시각 감도에 적합한 양자화 강도 설정이 가능해져, 상기 시각 감도가 낮은 블록에서의 여분의 발생 부호량을 삭감할 수 있다. 이에 의해, 화상 프레임 전체의 발생 부호량도 삭감되어, 화상 프레임 전체의 양자화 파라미터가 작아진다.

그 결과, 공간 영역에서 시각 감도가 높은 블록의 양자화가 종래 방식보다도 미세해져, 보다 고화질로 부호화된다.

이상으로, 실시예 1의 설명을 끝낸다.

(실시예 2)

본 발명의 실시예 2에 대해서 설명한다.

도 11에 본 발명의 실시예 2의 구성을 도시한다. 실시예 2의 구성은, 실시예 1의 구성에서의 블록 데드존 스케일 생성 장치(202) 대신에, 공간 주파수 데드존 스케일 생성 장치(203)를 구비한다. 공간 주파수 데드존 스케일 생성 장치(203)는, 화상 프레임의 래스터 스캔순으로 b번째의 블록에 대응하는 데드존 스케일 dz_scale(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3)을 데드존 생성 장치(201)에 공급한다.

또한, 이하의 설명에서는, 설명을 구체화하기 위해, 화상 프레임의 사이즈를 QCIF (176×144) 사이즈, MB의 사이즈를 16×16 사이즈, MB를 구성하는 블록의 사이즈를 4×4 사이즈로 한다. 단 당연히, 그 밖의 사이즈로도 본 발명을 적용할 수 있는 것은 물론이다.

또한, 이하에서는, 실시예 2에서의 특징인 공간 주파수 데드존 스케일 생성 장치(203)를 설명한다. 또한, 실시예 1의 구성과 마찬가지의 것에 대해서는 상세한 설명은 생략한다.

공간 주파수 데드존 스케일 생성 장치(203)는, MB를 구성하는 각 블록의 직교 변환 계수의 분포에 적합한 데드존 스케일을 생성한다.

공간 주파수 데드존 스케일 생성 장치(203)의 입출력을 이하에서 설명한다.

공간 주파수 데드존 스케일 생성 장치(203)에의 입력은, 양자화 장치(102)가 현재 대상으로 하는 MB의 래스터 스캔순으로 b번째의 블록에 대응하는 입력 화상 신호 org(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3), 양자화 장치(102)가 현재 대상으로 하는 MB의 래스터 스캔순으로 b번째의 블록에 대응하는 예측 모드 mode(b)(0≤b≤ 15), 움직임 벡터 mv(b, dir)(0≤b≤15, 0≤dir≤1)이다. 여기서 dir은 움직임 벡터의 방향을 나타내고 0에서 가로 방향, 1에서 세로 방향으로 한다.

예측 모드에는, 동일 화상 프레임내로부터 예측하는 프레임내 예측 모드(움직임 벡터 0개), 과거 또는 미래의 화상 프레임 1매로부터 예측하는 프레임간 예측 모드(움직임 벡터 1개), 미래 및 과거의 2매의 프레임으로부터 예측하는 쌍방향 프레임간 예측 모드(움직임 벡터 2개)가 있다.

공간 주파수 데드존 스케일 생성 장치(203)의 출력은, 양자화 장치(102)가 현재 대상으로 하는 MB내의 래스터 스캔순으로 b번째의 블록에 대응하는 데드존 스케일 dz_scale(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3)이다.

이상으로, 공간 주파수 데드존 스케일 생성 장치(203)의 입출력의 설명을 끝낸다.

다음으로, 공간 주파수 데드존 스케일 생성 장치(203)의 내부 구성을 도 12에 도시하고, 그 동작을 설명한다.

공간 주파수 데드존 스케일 생성 장치(203)는, 공간 주파수 특성 설정 장치(2031)와 특성 타입별 데드존 스케일 장치(2032)에 의해 구성된다.

공간 주파수 특성 설정 장치(2031)는 입력된 화상, 예측 모드 및 움직임 벡터를 이용하여, 양자화 장치(102)가 현재 대상으로 하는 MB의 래스터 스캔순으로 b번째의 블록의 직교 변환 계수의 분포에 따른 특성 타입 type(b)(0≤b≤15, 0≤type(b)≤3)를 출력한다.

도 13을 참조하여, 공간 주파수 특성 설정 장치(2031)의 동작을 설명한다.

단계 S4101에서는, 블록 b의 예측 모드가 프레임내 예측인지를 판정한다. 프레임내 예측이면 단계 S41011을 실행한다.

단계 S4101에서는, 식(12)의 값이 미리 결정한 임계치 edge_th보다도 크면 블록 b를 블록 b의 특성 타입 type(b)=4로 하여 종료한다. 그렇지 않으면 블록 b의 특성 타입 type(b)=0으로 하여 종료한다.

Range=max_v(b,i,j)-min_v(b,i,j) (12)

여기서 max_v(b,i,j)는, 블록 b의 최대의 화소치 org(b,i,j)(0≤i≤3, 0≤j≤3)를 반환하는 함수, min_v(b,i,j)는, 블록 b의 최소의 화소치 org(b,i,j)(0≤i≤3, 0≤j≤3)를 반환하는 함수이다.

프레임내 예측 블록은, 프레임간 예측보다도 예측 성능이 낮아, 큰 예측 오차가 발생한다.

블록이 평탄 혹은 텍스쳐이면, 블록내의 저주파수 성분의 변환 계수를 미세하게 양자화하고, 고주파 성분의 변환 계수를 개략적으로 양자화하는 것이 바람직하다. 한편, 블록이 엣지이면 고주파수에도 주관적으로 중요한 계수가 발생하므로, 각 주파수의 변환 계수를 한결같은 강도로 양자화하는 것이 좋다.

단계 S4102에서는, 블록 b의 예측 모드가 쌍방향 예측 모드인지를 판정한다.

쌍방향 예측 모드이면 블록 b의 특성 타입 type(b)=1로 하여 종료한다. 그렇지 않으면 단계 S4103을 실행한다.

쌍방향 예측 블록내는, 팬 영역 혹은 정지 영역이며 시각 감도가 높다. 단, 작은 파워의 예측 오차 신호는, 미래 혹은 과거의 프레임의 압축에서 발생한 노이 즈이기 때문에, 파워가 작은 예측 오차 신호를 떨어뜨리는 양자화 강도의 설정이 좋다.

단계 S4103에서는, 식(13)에 의해 블록 b의 움직임 벡터 mv(b, dir)(0≤b≤ 15, 0≤ dir≤1)의 흩어짐 msv를 계산한다. 상기 움직임 벡터의 흩어짐이, 미리 결정한 움직임 벡터 흩어짐 임계치 mvs_thres보다도 작으면, 블록 b의 특성 타입 type(b)=2로 하여 종료한다. 그렇지 않으면 단계 S4104를 실행한다.

mvs=abs(mv(b, 0)-u_mv(b, 0))+abs(mv(b, 1)-u_mv(b, 1))

+abs(mv(b, 0)-1_mv(b, 0))+abs(mv(b, 1)-1_mv(b, 1)) (13)

여기서 abs(x)는 입력 x의 절대치를 반환하는 함수, u_mv(b, dir)는 블록 b의 상측에 인접하는 블록의 dir 방향의 움직임 벡터 mv를 반환하는 함수, 1_mv(b, dir)는 블록 b의 좌측에 인접하는 블록의 dir 방향의 움직임 벡터 mv를 반환하는 함수이다.

비고립 움직임 블록은, 팬 영역 혹은 정지 영역이며 시각 감도가 높다. 단, 작은 파워의 예측 오차 신호는, 미래 혹은 과거의 프레임의 압축에서 발생한 노이즈이기 때문에, 파워가 작은 예측 오차 신호를 떨어뜨리는 양자화 강도의 설정이 좋다.

단계 S4104에서는, 블록 b의 세로 및 가로의 움직임 벡터 길이 mv(b, dir)(0≤b≤ 15, 0≤ dir≤1)가, 미리 결정한 고속 움직임 벡터 길이 임계치 hs_mv_thres보다도 큰지(고속 움직임 블록인지), 작은지(통상 움직임 블록)를 판정한다. 고속 움직임 블록이면 블록 b의 특성 타입 type(b)=0, 그렇지 않으면 특성 타입 type(b)=3으로 하여 종료한다.

고속 움직임 블록은, 움직임 예측이 맞지 않아, 프레임내 예측과 마찬가지로 큰 예측 오차가 발생한다. 그러나, 움직임이 극단적으로 빨라 인간의 눈에는 추종하기 곤란하므로, 프레임내 예측과 마찬가지로, 고주파 성분의 변환 계수의 양자화 강도를 강하게 설정하는 것이 좋다.

통상 움직임 블록은, 프레임내 예측보다도 예측 오차가 작아지는 경향이 있다. 따라서, 고주파 성분의 변환 계수의 양자화 강도 설정을 프레임내 예측보다도 완만하게 하는 것이 좋다.

단계 S4101에서부터 S4104까지의 처리에 의해, 각 블록의 변환 계수의 특성을 분류할 수 있다.

이상으로, 공간 주파수 특성 설정 장치(2031)의 동작 설명을 종료한다.

다음으로 특성 타입별 데드존 스케일 장치(2032)의 동작을 설명한다.

특성 타입별 데드존 스케일 장치(2032)는, 공간 주파수 특성 설정 장치(2031)가 공급하는 양자화 장치(102)가 현재 대상으로 하는 MB의 래스터 스캔순으로 b번째의 블록에 대응하는 특성 타입 type(b)로부터, 상기 b번째 블록의 데드존 스케일 dz_scale(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3)을 계산한다. 특성 타입별(type0 내지 3)에 따른 블록 b의 데드존 스케일의 계산 방법을 이하에 기재한다.

type0(프레임내 예측 블록이며 또한 비엣지 혹은 고속 움직임 블록)

dz_scale(b,i,j)=B0(i, j) (14)

type1(쌍방향 예측 블록)

dz_scale(b,i,j)=B1 (15)

type2(비고립 움직임 블록)

dz_scale(b,i,j)=B2 (16)

type3(통상 움직임 블록)

dz_scale(b,i,j)=B3(i, j) (17)

type4(프레임내 예측 블록이며 또한 엣지)

dz_scale(b,i,j)=B4 (18)

여기에서 B0, B1, B2, B3, B4는, 미리 결정된 파라미터이다. B0(i, j)={{0, 1.1, 1.3, 1.6}, {1.1, 1.3, 1.6, 1.8}, {1.3, 1.6, 1.8, 2.0}, {1.6, 1.8, 2.0, 2.8}}, B3(x)={{0, 1.1, 1.3, 1.4}, {1.1, 1.3, 1.4, 1.6}, {1.3, 1.4, 1.6, 1.8}, {1.4, 1.6, 1.8, 2.0}}이며, B4>B1>B2>1의 관계가 있다. 또한 블록의 폭 bw가 본 실시예의 4 이외의 수치이면, B0이나 B3의 값은, 식(19)에 의해 산출할 수 있음을 나타내 둔다.

B(i, j)=K(i, j)×(i²+j²)^0.25 (19)

단, K(i, j)는 공간 주파수(i, j)에 의존한 1보다도 큰 값으로 한다. 또한, 프레임내 예측 모드이며 또한 예측 방향 pred_dir이 예측 판정(110)으로부터 공급 가능하면, 상기 예측 방향 pred_dir의 방향(세로, 가로, 경사, 기타)에 의해 type(O)의 경사를 바꾸는 것이 좋다. 예를 들면, 예측의 방향이 가로 방향이면, 블록 내부의 그림은 가로 방향으로는 평탄하고, 가로 방향 i의 주파수에 대응하는 변환 계수의 양자화 계수를 세로 방향의 주파수의 변환 계수보다도 미세하게 양자화하는 데드존 스케일 dz_scale를 생성하는 것이 좋다.

이상으로, 특성 타입별 데드존 스케일 장치(2032) 및 공간 주파수 데드존 스케일 생성 장치(203)의 동작 설명을 끝낸다.

본 발명의 실시예 2에 의해, 공간 주파수 데드존 스케일 생성 장치(203)가 공급하는 데드존 스케일 dz_scale에 의해, 각 블록의 변환 계수의 분포에 따른 데드존 폭을 설정할 수 있다. 즉, 도 14, 15에 도시하는 바와 같이, 양자화 부가 정보 추가하는 일없이, 각 변환 계수의 주파수 영역에서의 시각 감도를 고려한 양자화를 가능하게 한다.

본 발명은, 각 블록의 변환 계수의 분포에 따른 데드존이 설정되고, 그 결과 주파수 영역에서 시각 감도가 낮은 변환 계수의 발생 부호량을 삭감할 수 있다. 이에 의해, 화상 프레임 전체의 발생 부호량도 삭감되어, 화상 프레임 전체의 양자화 파라미터가 작아진다. 그 결과, 주파수 영역에서 시각 감도가 높은 변환 계수가 종래 방식보다도 미세하게 양자화되어, 보다 고화질로 부호화 가능해진다.

이상으로, 실시예 2의 설명을 끝낸다.

(실시예 3)

본 발명의 실시예 3에 대해서 설명한다.

본 발명의 실시예 3의 구성을 도 16에 도시한다.

실시예 3의 구성은, 실시예 1의 구성에서의 블록 데드존 스케일 생성 장치(202) 대신에, 하이브리드 데드존 스케일 생성 장치(204)를 구비한다. 공간 주 파수 데드존 스케일 생성 장치(203)는, 화상 프레임의 래스터 스캔순으로 b번째의 블록에 대응하는 데드존 스케일 dz_scale(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3)을 데드존 생성 장치(201)에 공급한다.

또한, 이하에서는, 설명을 구체화하기 위해, 화상 프레임의 사이즈를 QCIF (176×144) 사이즈, MB의 사이즈를 16×16 사이즈, MB를 구성하는 블록의 사이즈를 4×4 사이즈로 한다. 단 당연히, 그 밖의 사이즈로도 본 발명을 적용할 수 있는 것은 물론이다.

또한, 이하의 설명에서는, 실시예 3에서의 특징인 하이브리드 데드존 스케일 생성 장치(204)를 설명한다. 또한, 실시예 1과 마찬가지의 구성의 것에 대해서는 상세한 설명은 생략한다.

하이브리드 데드존 스케일 생성 장치(204)는, 각 블록의 그림, 각 블록의 예측 성능, 각 블록의 직교 변환 계수의 분포에 적합한 데드존 스케일을 생성한다.

하이브리드 데드존 스케일 생성 장치(204)의 입출력, 동작을 이하에서 설명한다.

하이브리드 데드존 스케일 생성 장치(204)에의 입력은, 양자화 장치(102)가 현재 대상으로 하는 MB의 래스터 스캔순으로 b번째의 블록에 대응하는 예측 모드 mode(b)(0≤b≤15), 움직임 벡터 mv(b, dir)(0≤b≤15, 0≤dir≤1), 입력 화상 신호 org(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3), 예측 오차 신호 pd(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3)이다.

하이브리드 데드존 스케일 생성 장치(204)의 출력은, 양자화 장치(102)가 현 재 대상으로 하는 MB내의 래스터 스캔순으로 b번째의 블록에 대응하는 데드존 스케일 dz_scale(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3)이다.

하이브리드 데드존 스케일 생성 장치(204)의 내부 구성을 도 17에 도시하고, 그 동작을 이하에서 설명한다.

도 17에 도시하는 바와 같이, 하이브리드 데드존 생성 장치(204)는, 블록 데드존 스케일 생성 장치(202), 공간 주파수 데드존 스케일 생성 장치(203), 및 혼합 기(2041)에 의해 구성된다.

블록 데드존 스케일 생성 장치(202)는 제1 실시예, 공간 주파수 데드존 스케일 생성 장치(203)는 제2 실시예에서 설명한 것이다.

따라서 이하에서는, 혼합기(2041)의 입출력 및 동작만을 이하에서 설명한다.

혼합기(2041)에의 입력은, 블록 데드존 장치(202)가 공급하는 양자화 장치(102)가 현재 대상으로 하는 MB내의 래스터 스캔순으로 b번째의 블록에 대응하는 데드존 스케일 1dz_scale 1(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3), 공간 주파수 데드존 장치(203)가 공급하는 양자화 장치(102)가 현재 대상으로 하는 MB내의 래스터 스캔순으로 b번째의 블록에 대응하는 데드존 스케일 2dz_scale 2(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3), 공간 주파수 데드존 장치(203)가 공급하는 양자화 장치(102)가 현재 대상으로 하는 MB의 래스터 스캔순으로 b번째의 블록의 변환 계수의 분포를 나타내는 특성 타입 type(b)(0≤b≤15, 0≤type(b)≤3)이다.

혼합기(2041)의 출력은, 양자화 장치(102)가 현재 대상으로 하는 MB내의 래스터 스캔순으로 b번째의 블록에 대응하는 데드존 스케일 dz_scale(b,i,j)(0≤b≤ 15, 0≤i≤3, 0≤j≤3)이다.

혼합기(2041)는, 상기 블록 b의 특성 타입 type(b)에 따라서 데드존 스케일 dz_scale(b,i,j)을 계산한다.

dz_scale(b,i,j)=dz_scale1(b,i,j)×dz_scale2(b,i,j) (20)

type1(쌍방향 예측 블록)

dz_scale(b,i,j)=max(dz_scale1(b,i,j), dz_scale2(b,i,j)) (21)

type2(비고립 움직임 블록)

dz_scale(b,i,j)=max(dz_scale1(b,i,j), dz_scale2(b,i,j)) (21)

type3(통상 움직임 블록)

dz_scale(b,i,j)=dz_scale1(b,i,j)×dz_scale2(b,i,j) (20)

type4(프레임내 예측 블록이며 또한 엣지)

dz_scale(b,i,j)=max(dz_scale1(b,i,j), dz_scale2(b,i,j)) (21)

이상으로, 혼합기(2041) 및 하이브리드 데드존 스케일 생성 장치(204)의 동작 설명을 종료한다.

본 발명에 의해, 블록의 공간 영역에서의 시각 감도(그림, 예측 성능), 및 변환 계수의 주파수 영역에서의 시각 감도(분포)에 적합한 양자화를 가능하게 한다. 이에 의해, 화상 프레임 전체의 발생 부호량도 삭감되어, 화상 프레임 전체의 양자화 파라미터가 작아진다. 그 결과, 공간 영역에서 시각 감도가 높은 블록 및 주파수 영역에서 시각 감도가 높은 변환 계수가 종래 방식보다도 미세하게 양자화 되어, 보다 고화질로 부호화 가능해진다.

이상으로 실시예 3의 설명을 끝낸다.

(실시예 4)

본 발명의 실시예 4에 대해서 설명한다.

본 발명의 실시예 4의 구성을 도 18에 도시한다.

실시예 4의 구성은, 실시예 1의 구성에서의 블록 데드존 스케일 생성 장치(202) 대신에, 갭 보정 데드존 스케일 생성 장치(205)를 구비한다. 상기 갭 보정 데드존 스케일 생성 장치(205)는, 화상 프레임의 래스터 스캔순으로 b번째의 블록에 대응하는 데드존 스케일 dz_scale(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3)을 데드존 생성 장치(201)에 공급한다.

갭 보정 데드존 스케일 생성 장치(205)의 입출력과 동작을 이하에서 설명한다

갭 보정 데드존 스케일 생성 장치(205)에의 입력은, 양자화 제어 장치(103)로부터 공급되는 양자화 장치(102)가 현재 대상으로 하는 MB의 실제 양자화 파라미터 mb_q, 양자화 제어 장치(103)로부터 공급되는 양자화 장치(102)가 현재 대상으로 하는 MB의 이상 양자화 파라미터 ideal_q이다.

갭 보정 데드존 스케일 생성 장치(205)의 출력은, 양자화 장치(102)가 현재 대상으로 하는 MB내의 래스터 스캔순으로 b번째의 블록에 대응하는 데드존 스케일 dz_scale(b,i,j)(0≤b≤15, 0≤i≤3, 0≤j≤3)이다.

다음으로, 도 19를 참조하여, 갭 보정 데드존 스케일 생성 장치(205)의 동작을 설명한다.

단계 S501에서는, 식(22)을 이용해서 실제 양자화 파라미터 mb_q와 이상 양자화 파라미터 ideal_q의 갭 양자화 폭 qstep_gap를 계산한다. 또한, 이하에서 공통하여 이용하는 양자화 스텝 사이즈 mb_q_step는, mb_q_step=q_step_table[q]에 의해 설정된다. 상기 양자화 스텝 사이즈 q_step_table[q]는, 베이스 부호화기에서 정의되는 양자화 파라미터 q에 대응하는 양자화 스텝 사이즈이다(Q_MIN≤p≤Q_MAX, Q_MIN 및 Q_MAX도 베이스 부호화기 의존).

단계 S502에서는, 식(23)을 이용해서 갭 양자화 폭 qstep_gap으로부터 데드존 스케일 dz_scale(b,i,j)을 계산한다.

dz_scale(b,i,j)=qstep_gap (23)

이상으로, 갭 보정 데드존 스케일 생성 장치(205)의 입출력과 동작의 설명을 종료한다.

갭 보정 데드존 스케일 생성 장치(205)의 효과에 의해, 베이스 부호화기의 이하의 2가지 문제가 발생했을 경우에, 이상 MB 양자화 강도와 실제 MB 양자화 강도의 갭을 보정할 수 있다.

하나는, 베이스 부호화기의 예측 판정(110)이 선택한 MB의 예측 모드가 현재 MB의 양자화 파라미터 혹은 이전 MB의 양자화 파라미터와의 차분이 전송 불가능하고, 또한 베이스 부호화기의 양자화 제어 장치(103)의 이상 MB 양자화 파라미터가 실제 MB 양자화 파라미터보다도 큰 경우이다.

또한, 또 하나는, 베이스 부호화기에, MB마다 전송 가능한 이전 MB의 양자화 파라미터의 차분 delta_mb_Q에 제한이 있고(예를 들면 -2≤delta_mb_Q≤2), 또한 베이스 부호화기의 양자화 제어 장치(103)의 이상 MB 양자화 파라미터가 실제 MB 양자화 파라미터보다도 큰 경우이다.

상기 자화 강도의 갭의 보정에 의해, 시각 감도가 낮은 MB에서 쓸데없이 소비되고 있었던 부호량을 삭감하는 것이 가능해진다.

상기 부호량의 삭감에 의해, 화상 프레임 전체의 양자화 파라미터가 작아지고, 시각 감도가 높은 MB를 보다 미세하게 양자화된다. 이에 의해, 본 발명에 의해, 화상을 종래 방식보다도 고화질로 부호화할 수 있다.

이상으로 실시예 4의 설명을 끝낸다.

(실시예 5)

본 발명의 실시예 5에 대해서 설명한다.

본 발명에 따른 화상 부호화 장치는, 이상의 설명에서도 알 수 있듯이, 하드웨어로 구성하는 것도 가능하지만, 컴퓨터 프로그램에 의해 실현하는 것도 가능하 다.

도 20은, 본 발명에 따른 동화상 부호화 장치를 구현한 정보 처리 시스템의 일반적 블록 구성도이다.

도 20에 도시하는 정보 처리 시스템(컴퓨터)은, 프로세서(A1001), 프로그램 메모리(A1002), 기억 매체(A1003 및 A1004)로 이루어진다. 기억 매체(A1003 및 A1004)는, 별개의 기억 매체이어도 되고, 동일한 기억 매체로 이루어지는 기억 영역이어도 된다. 기억 매체로서는, 하드디스크 등의 자기 기억 매체를 이용할 수 있다.

이상과 같이, 본 발명은, 발명은 화상의 변환 부호화 기술에 있어서, 변환 계수의 주파수 영역에서의 시각 감도, 복수 변환 계수를 구성 요소로 하는 블록의 공간 영역에서의 시각 감도에 따른 데드존 폭을 설정하는 수단을 구비하고, 이에 의해, 변환 계수의 주파수 영역에서의 시각 감도 및 복수 변환 계수를 구성 요소로 하는 블록의 공간 영역에서의 시각 감도에 따른 양자화 기능을 제공하는 것이 가능하다.

또한, 본 발명은, 양자화 파라미터에 의해 결정되는 양자화 폭에 의존하지 않고, 주파수 영역에서 시각 감도가 낮은 변환 계수, 및 공간 영역에서 시각 감도가 낮은 블록에 쓸데없이 소비되고 있었던 부호량을 삭감할 수 있으며, 부호량의 삭감에 의해, 화상 프레임 전체의 양자화가 종래 방식보다도 미세해져, 주파수 영역에서 시각 감도가 높은 변환 계수 및 공간 영역에서 시각 감도가 높은 블록이 고화질로 부호화된다.

Claims

화상을 공간 영역으로부터 주파수 영역으로 변환함으로써 변환 계수를 생성하는 단계와,

복호 시와 동일한 양자화 폭을 이용하여, 복호 시의 양자화 특성과 상이한 양자화 특성으로, 상기 변환 계수를 양자화하는 단계

를 포함하는 것을 특징으로 하는 화상 부호화 방법.
제1항에 있어서,

상기 양자화하는 단계는, 데드존을 이용해서 양자화하는 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.
제2항에 있어서,

데드존 폭을 설정하는 단계를 더 포함하는 것을 특징으로 하는 화상 부호화 방법.
제3항에 있어서,

상기 데드존 폭을 설정하는 단계는, 상기 변환 계수마다 상기 데드존 폭을 설정하는 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.
제3항에 있어서,

상기 데드존 폭을 설정하는 단계는, 복수의 변환 계수를 구성 요소로 하는 블록의 집합에 동일한 양자화 폭으로 양자화를 행하는 경우에, 상기 블록마다 상기 데드존 폭을 설정하는 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.
제3항에 있어서,

상기 데드존 폭을 설정하는 단계는, 상기 데드존 폭을 적응적으로 변화시키는 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.
제4항에 있어서,

상기 데드존 폭을 설정하는 단계는, 주파수 영역에서 시각 감도가 높은 변환 계수일수록 상기 데드존 폭을 좁게, 주파수 영역에서 시각 감도가 낮은 변환 계수일수록 상기 데드존 폭을 넓게 설정하는 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.
제5항에 있어서,

상기 데드존 폭을 설정하는 단계는, 공간 영역에서 시각 감도가 높은 블록일수록 상기 데드존 폭을 좁게, 공간 영역에서 시각 감도가 낮은 블록일수록 상기 데드존 폭을 넓게 설정하는 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.
제6항에 있어서,

상기 데드존 폭을 변화시키는 단계는, 상기 화상의 평탄도에 의해 상기 데드존 폭을 적응적으로 변화시키는 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.
제9항에 있어서,

상기 화상의 평탄도를, 화상의 예측 모드, 화상의 프레임내 예측의 방향, 화상의 움직임, 화상의 프레임간 예측의 방향, 화상의 평균 절대치 오차, 화상의 분산, 화상의 최대치와 최소치의 차분, 화상의 예측 오차 신호의 평균 절대치 오차, 및 화상의 예측 오차 신호의 분산 중 적어도 하나로부터 계산하는 단계를 더 포함하는 것을 특징으로 하는 화상 부호화 방법.
제3항에 있어서,

상기 데드존 폭을 설정하는 단계는, 상기 데드존 폭을 이상의 양자화 폭과 실제의 양자화 폭의 관계로부터 구하는 단계를 포함하는 것을 특징으로 하는 화상 부호화 방법.
화상을 공간 영역으로부터 주파수 영역으로 변환함으로써 변환 계수를 생성하는 변환 수단과,

복호 시와 동일한 양자화 폭을 이용하여, 복호 시의 양자화 특성과 상이한 양자화 특성으로, 상기 변환 계수를 양자화하는 양자화 수단

을 구비하는 것을 특징으로 하는 화상 부호화 장치.
제12항에 있어서,

상기 양자화 수단은, 데드존을 이용해서 양자화하는 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
제13항에 있어서,

상기 양자화 수단에 데드존 폭을 설정하는 데드존 생성 수단을 더 구비하는 것을 특징으로 하는 화상 부호화 장치.
제14항에 있어서,

상기 데드존 생성 수단은, 상기 변환 계수마다 상기 데드존 폭을 설정하는 데드존 스케일 생성 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
제14항에 있어서,

상기 데드존 생성 수단은, 상기 양자화 수단이 복수의 변환 계수를 구성 요소로 하는 블록의 집합에 동일한 양자화 폭으로 양자화를 행하는 경우에, 상기 블록마다 상기 데드존 폭을 설정하는 데드존 스케일 생성 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
제14항에 있어서,

상기 데드존 생성 수단은, 상기 데드존 폭을 적응적으로 변화시키는 데드존 스케일 생성 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
제15항에 있어서,

상기 데드존 스케일 생성 수단은, 주파수 영역에서 시각 감도가 높은 변환 계수일수록 상기 데드존 폭을 좁게, 주파수 영역에서 시각 감도가 낮은 변환 계수일수록 상기 데드존 폭을 넓게 설정하는 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
제16항에 있어서,

상기 데드존 스케일 생성 수단은, 공간 영역에서 시각 감도가 높은 블록일수록 상기 데드존 폭을 좁게, 공간 영역에서 시각 감도가 낮은 블록일수록 상기 데드존 폭을 넓게 설정하는 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
제17항에 있어서,

상기 데드존 스케일 생성 수단은, 상기 화상의 평탄도에 의해 상기 데드존 폭을 적응적으로 변화시키는 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
제20항에 있어서,

상기 화상의 평탄도를, 화상의 예측 모드, 화상의 프레임내 예측의 방향, 화상의 움직임, 화상의 프레임간 예측의 방향, 화상의 평균 절대치 오차, 화상의 분산, 화상의 최대치와 최소치의 차분, 화상의 예측 오차 신호의 평균 절대치 오차, 및 화상의 예측 오차 신호의 분산 중 적어도 하나로부터 계산하는 수단을 더 구비하는 것을 특징으로 하는 화상 부호화 장치.
제14항에 있어서,

상기 데드존 생성 수단은, 상기 데드존 폭을 이상의 양자화 폭과 실제의 양자화 폭의 관계로부터 구하는 데드존 스케일 생성 수단을 구비하는 것을 특징으로 하는 화상 부호화 장치.
컴퓨터를,

화상을 공간 영역으로부터 주파수 영역으로 변환함으로써 변환 계수를 생성하는 변환 수단,

복호 시와 동일한 양자화 폭을 이용하여, 복호 시의 양자화 특성과 상이한 양자화 특성으로, 상기 변환 계수를 양자화하는 양자화 수단

으로서 기능시키는 것을 특징으로 하는 화상 부호화의 제어 프로그램.
제23항에 있어서,

상기 양자화 수단은, 데드존을 이용해서 양자화하는 수단을 구비하는 것을 특징으로 하는 화상 부호화의 제어 프로그램.
제24항에 있어서,

상기 컴퓨터를,

상기 양자화 수단에 데드존 폭을 설정하는 데드존 생성 수단으로서 기능시키는 것을 특징으로 하는 화상 부호화의 제어 프로그램.
제25항에 있어서,

상기 데드존 생성 수단은, 상기 변환 계수마다 상기 데드존 폭을 설정하는 데드존 스케일 생성 수단을 구비하는 것을 특징으로 하는 화상 부호화의 제어 프로그램.
제25항에 있어서,

상기 데드존 생성 수단은, 상기 양자화 수단이 복수의 변환 계수를 구성 요소로 하는 블록의 집합에 동일한 양자화 폭으로 양자화를 행하는 경우에, 상기 블록마다 상기 데드존 폭을 설정하는 데드존 스케일 생성 수단을 구비하는 것을 특징으로 하는 화상 부호화의 제어 프로그램.
제25항에 있어서,

상기 데드존 생성 수단은, 상기 데드존 폭을 적응적으로 변화시키는 데드존 스케일 생성 수단을 구비하는 것을 특징으로 하는 화상 부호화의 제어 프로그램.
제26항에 있어서,

상기 데드존 스케일 생성 수단은, 주파수 영역에서 시각 감도가 높은 변환 계수일수록 상기 데드존 폭을 좁게, 주파수 영역에서 시각 감도가 낮은 변환 계수일수록 상기 데드존 폭을 넓게 설정하는 수단을 구비하는 것을 특징으로 하는 화상 부호화의 제어 프로그램.
제27항에 있어서,

상기 데드존 스케일 생성 수단은, 공간 영역에서 시각 감도가 높은 블록일수록 상기 데드존 폭을 좁게, 공간 영역에서 시각 감도가 낮은 블록일수록 상기 데드존 폭을 넓게 설정하는 수단을 구비하는 것을 특징으로 하는 화상 부호화의 제어 프로그램.
제28항에 있어서,

상기 데드존 스케일 생성 수단은, 상기 화상의 평탄도에 의해 상기 데드존 폭을 적응적으로 변화시키는 수단을 구비하는 것을 특징으로 하는 화상 부호화의 제어 프로그램.
제31항에 있어서,

상기 컴퓨터를,

상기 화상의 평탄도를, 화상의 예측 모드, 화상의 프레임내 예측의 방향, 화상의 움직임, 화상의 프레임간 예측의 방향, 화상의 평균 절대치 오차, 화상의 분산, 화상의 최대치와 최소치의 차분, 화상의 예측 오차 신호의 평균 절대치 오차, 및 화상의 예측 오차 신호의 분산 중 적어도 하나로부터 계산하는 수단으로서 기능시키는 것을 특징으로 하는 화상 부호화의 제어 프로그램.
제25항에 있어서,

상기 데드존 생성 수단은, 상기 데드존 폭을 이상의 양자화 폭과 실제의 양자화 폭의 관계로부터 구하는 데드존 스케일 생성 수단을 구비하는 것을 특징으로 하는 화상 부호화의 제어 프로그램.