KR100574702B1

KR100574702B1 - 화상부호／복호방법 및 그 프로그램을 기록한 기록매체

Info

Publication number: KR100574702B1
Application number: KR1020007015005A
Authority: KR
Inventors: 미우라다카시; 이타가키후미히코; 가와시마미유키
Original assignee: 가부시키가이샤 허드슨
Priority date: 1998-07-03
Filing date: 1999-06-03
Publication date: 2006-04-27
Also published as: EP1104199A1; CN1307782A; EP1104199A4; WO2000002393A1; TW440805B; US6687411B1; KR20010053286A; HK1036377A1; JP3814637B2; CN1168322C; CA2347383A1

Abstract

화상부호/복호방법 및 그 프로그램을 기록한 기록매체에 관한 것으로 화상데이터의 높은 화질을 유지하면서 데이터 압축율을 높이는 것과 함께, 복호시의 계산부하를 경감할 수 있는 것을 과제로 한다. 도 1(A)에 있어서, 화상데이터를 블록분할하여 각 블록 평균치로 이루어지는 DC화상을 생성하고, 각 화소블록에서 대응하는 블록평균치를 분리하여 블록별잔차벡터를 구하고, 잔차벡터 크기가 허용치 이상일 경우는 DC화상의 네스트를 사용한 적응적 직교변환에 의해 잔차벡터를 근사하기 위한 직교기저를 구하고 부호화한다. 도 1(B)에 있어서, 잔차벡터가 허용치 미만일 경우는 직교기저를 부호화하는 대신 복호측에서 4×4화소의 블록평균치로 이루어지는 자블록(S)를 포함한 상하좌우(U,B,L,R)의 합계 5개의 DC화상데이터에 의거하여 자블록(S)상의 4×4화소의 각 화소데이터를 비단계적 교류성분 예측법에 의해 직접적으로 재생한다.

잔차벡터, DC화상, 스칼라 양자화, 허프만 부호화

Description

화상부호／복호방법 및 그 프로그램을 기록한 기록매체{IMAGE CODING/DECODING METHOD AND RECORDED MEDIUM ON WHICH PROGRAM IS RECORDED}

본 발명은 화상부호/복호방법 및 그 프로그램을 기록한 기록매체에 관한 것으로, 더 상세하게는 게임기 등의 비교적 저성능의 하드웨어(CPU, 메모리등)로도 고속으로 양질의 화상(CG화상, 애니메이션화상, 자연화상 등)을 재생가능한 화상부호/복호방법 및 그 프로그램을 기록한 기록매체에 관한 것이다.

도 16, 도 17은 종래기술을 설명하는 도면(1),(2)이고, 도 16은 JPEG에 의한 화상압축처리의 이미지를 표시하고 있다.

도 16(A)에 있어서, 오늘날 정지화상 압축방식의 주류로 돼 있는 JPEG에서는 화상을 8×8화소의 블록으로 분할하고 그것을 2차원 DCT(이산코사인변환)에 의해 DC(평균치) 및 기본주파수로부터 63배 주파수까지의 각계수치로 변환한다. 또한 자연화상의 주파수 성분이 저주파영역에 집중해 있는 것을 이용하여 화질이 저하되지 않은 범위에서 각계수치를 상이한 양자화 폭으로 양자화해서, 정보량의 삭감을 행하고나서 가변길이부호화(허프만부호화)를 행한다.

한편, 이같은 화상부호데이터를 가정용 게임기 등에서 이용할 경우는 CPU성능이나 메모리용량에 제한이 있기 때문에 복호연산부하가 큰 화상압축법(JPEG등)을 소프트웨어로 복호하면 갖가지 결점이 발생한다. 예를 들어, JPEG에는 8×8화소의 블록에 대하여 반드시 64개의 가변길이부호화를 행해야하는 부호가 생성되기 때문에 복호시의 계산부하의 증대를 초래하고 있다.

도 16(B)는 허프만 부호의 일부를 나타내고 있다.

허프만 부호화에서는 출현빈도가 높은 계수치 H₁₃등은 상대적으로 짧은 부호길이 비트로, 또 출현빈도가 낮은 계수치 H₆등을 상대적으로 긴 부호길이 비트로 각각 부호화되기 때문에, 이들 부호는 각 옥텟(바이트)상에서 도시와 같이 고르지 않게 채워져 버리게 되어서 이것이 복호시의 계산부하를 매우 크게하고 있다. 때문에 종래의 게임시스템에서는 동영상으로서 가능할 정도의 속도로 화상을 복원하기 위해서는 화질을 희생하지 않을 수 없는 상황이었다.

또 화질에 대해서는 고주파 성분일수록 정밀하지 못한 정밀도로 양자화되기 때문에, 윤곽부분의 화상정보가 상실되어 모스키토노이즈를 발생해서, 문자나 애니메이션화상의 압축에는 적합하지 않다. 특히 게임소프트는 인공화상(CG화상, 애니메이션화상등)이 다용되기 때문에 모스키토노이즈에 의한 주관적 화질의 열화는 큰 문제이다.

이에 대하여 근년은 이하의 문헌(1)∼(5)가 보고되고 있다.

[1] Michael F. Barnsley, Lyman P. Hurd "FRACTAL IMAGE COMPRESSION" AK Peters Ltd., 1993

[2] 이도다 다카시, 다타케 켄시 "반복변환부호화에 의한 화상압축" 제5회 회로와 시스템 가루이자와 워크숍 논문집, pp.137-142, 1992

[3] 유 횬베, 다카하시 다카시, 가와노 히로지, 도쿠나가 다카지 "그램슈미트의 직교화를 응용한 LIFS화상부호화법의 화질개선" 전자정보통신학회 기술연구보고, vol.NLP-98, no. 146, pp.37-42, 1988

[4] 와타나베 도시아키, 오세키 가즈오 "평균치를 사용한 교류성분예측방식의 일검토" 화상부호화 심포지움(PCSJ89), pp.29-30, Oct.1989

[5] 다카하시 다카시, 노쿠나가 다카지 "화상의 블록평균치로부터 교류성분을 예측하는 고속연산 알고리즘" 전자정보통신학회 논문지 Vol. J81-D-II No. 4, pp.778-780, Apr. 1998

여기서 방식[1],[2]는 복호연산부하가 작은 압축방식으로서의 프랙탈 부호화, 방식[3]은 JPEG과 동정밀도의 부호화 효율을 갖는 적응적 직교변환의 개량, 그리고, 방식[4], [5]는 블록평균치(DC치)에 의거한 교류성분예측에 관한다.

개중에서도 방식[3]은 화상을 K×K화소의 정방형 블록으로 분할하고, 전블록을 허용오차 Z에 응하여 교류성분예측법, 프랙탈 변화법 적응적 직교변환의 어느 하나로 근사한 블록부호화법이다. 교류성분 예측법은 자(自)블록을 포함하는 주위의 블록평균치(DC치)에서 자블록의 교류성분(가산데이터)을 구하고, 대상화상과의 잔차(殘差)를 부호화하는 평균치 분리방식에 이용된다. 또 적응적 직교변환은 화상이 갖는 자기상사성을 이용해서, 벡터양자화의 코드북에 상당하는 화상(네스트)에서 블록화상을 근사하기 위한 기저 벡터를 추출하고, 그램슈미트법에 의해 필요최소차원의 직교기저계를 구성하는 방식이다.

그러나, 상기 방식[1],[2]의 프랙탈변환은 복호에 있어서 반복계산을 필요로 하고 또 화상평면규모의 워크스페이스를 소비하기 때문에 비디오게임기 등에는 맞지 않는다.

또 방식[3]의 적응적 직교변환에서는 네스트로서 대상화상과 같은 큰 가산데이터를 이용하기 때문에 복호시에 매우 큰 워크스페이스를 필요로 한다. 또한 복호시에 압축해제된 블록을 축차적으로 네스트상의 대응하는 블록에 되쓰기 때문에 화질은 개선되나 어드레스계산 및 데이터전송의 부하가 크다. 그리고 또 방식[3]은 기저의 좌표 및 샘플링 계수의 압축에 허프만 부호를 적용하고 있으나 자연화상은 어느 기저의 출현빈도에도 큰 편차가 없기 때문에 압축효율이 오르지 않을 뿐더러 허프만 복호의 계산량만이 소비되고 있다. 또 적응적 직교변환에서는, 화상에 의해 필요최소차원의 직교기저수가 많아질 경우가 있으나, 기저수가 많아지면 잔차 벡터를 직접 부호화함으로써도 많은 비트수가 사용되어서, 부호화 효율이 저하된다.

또, 방식[4]의 교류성분 예측법에서는 화상중의 윤곽부분 주변에서 오버슈트나 언더슈트가 발생하는 경향이 있고, 휘도상승이 예민한 인공화상에서는 반대로 화질을 열화시키는 경향이 있다.

또 방식[5]의 단계적 교류성분예측방식에서는 CPU부하가 클뿐더러 중간적으로 생성되는 보간치의 기억영역이 필요하게 된다.

도 17에 단계적 교류성분 예측방식의 이미지를 표시한다.

도 17(A)에 있어서 단계적 교류성분 예측방식에서는 주목블록을 포함한 주위 4블록의 각 DC치(S, U, R, B, L)로부터 주목블록(S)상의 서브블록(S₁∼S₄)의 각 DC치를 다음식에 의해 추정한다.

S₁=S+(U+L-B-R)/8

S₂=S+(U+R-B-L)/8

S₃=S+(B+L-U-R)/8

S₄=S+(B+R-U-L)/8

도 17(B)에 있어서, 상기 방식을 재귀적으로 적용함으로써, 다시 서브블록(S₁)상의 4화소(P₁∼P₄)의 각 화소치를 다음식에 의해 추정할 수 있다.

P₁=S₁+(U₃+L₂-S₃-S₂)/8

P₂=S₁+(U₃+S₂-S₃-L₂)/8

P₃=S₁+(S₃+L₂-U₃-S₂)/8

P₄=S₁+(S₃+S₂-U₃-L₂)/8

또, 동일하게하여 서브블록(S₂)상의 4화소(P₁∼P₄)의 각 화소치를 다음식에 의해 추정할 수 있다.

P₁=S₂+(U₄+S₁-S₄-R₁)/8

P₂=S₂+(U₄+R₁-S₄-S₁)/8

P₃=S₂+(S₄+S₁-U₄-R₁)/8

P₄=S₂+(S₄+R₁-U₄-S₁)/8

이하, 동일하게하여 서브블록(S₃, S₄)상의 각 화소(P₁∼P₄)의 각화소치를 추정할 수 있다.

그러나, 최초의 DC치(S,U,R,B,L)에서 출발하여 원(原)화소의 전 예측치(P₁∼P₄)를 얻기 위해서는 상기 방식을 단계적으로 적용하여 세분화하지 않으면 안되고, 중간치를 유지하는 메모리가 필요할 뿐더러 CPU의 연산부하도 증대한다.

본 발명은 상기 종래기술의 문제점을 감안하여 이루어진 것으로 그 목적하는 바는, 컴퓨터 이용가능한 화상데이터에 대해서 높은 화질을 유지하면서 화상데이터의 압축율을 높이는 것과 함께 부호/복호시의 계산부하를 경감할 수 있는 화상부호/복호방법 및 그 프로그램을 기록한 기록매체를 제공함에 있다.

상기 과제는 예를 들어 도 1(A)의 구성에 의해 해결된다. 즉, 본 발명(1)의 화상부호방법은, 화상데이터를 복수화소의 블록으로 분할하여 각 블록평균치로 되는 DC화상을 생성하고, 각 화소블록에서 대응하는 블록평균치를 분리하여 블록별 잔차벡터를 구하는 것과 함께, 잔차벡터 크기가 소정의 허용치를 초과하는 경우는, 상기 DC화상의 일부 또는 전부로 이루어지는 네스트를 사용한 적응적 직교변환에 의해 잔차벡터를 근사하기 위한 1 또는 2 이상의 직교기저를 구하고, 이들의 1차 결합으로 이루어지는 직교기저계를 부호화하는 것이다.

본 발명(1)에 있어서는 네스트는 원화상을 1/블록사이즈로 축소한 것이기 때문에, 특히, 에지나 평탄한 휘도성분을 많이 포함하는 인공화상(CG화상, 애니메이션화상 등)으로의 적용예에서는 비교적 작은 DC네스트로 원화상의 특징적인 화상요소가 빠짐없이 포함되는 것과 함께, 이런 원화상과 축소된 네스트의 사이에는 강한 상관이 얻어진다.
따라서, 본 발명(1)에 의하면, 작은 네스트(메모리)를 사용해서, 원화상에 포함되는 특징적인 화상요소(기저벡터)를 빠짐없이, 또는 능률좋게(고속으로) 탐색할 수 있다. 또 이런 축소된 네스트를 사용해도, 잔차벡터를 허용치이하로 근사하기 위한 1 또는 2 이상의 직교기저를 구하는 구성에 의해 최종적으로 소망의 화질이 얻어진다.

바람직하게는, 본 발명(2)에 있어서는 상기 본 발명(1)에 있어서, 잔차벡터 크기가 허용치 미만의 경우는 직교기저를 구하는 대신 기저수=0인 정보를 부호화한다.

예를 들어, 일반적으로 휘도상승이 급격한 인공화상에 대해서는, 윤곽부분이 근방에 존재하지 않은(즉, 잔차벡터 크기가 허용치 미만인)화소블록에 대해서는 기저수=0인 부호가 한정적으로 발생된다. 따라서 이런화소블록에 대해서는 높은 화상압축률이 얻어진다.

한편, 복호측에서는 대응하는 화소블록에 대하여 한정적으로 단계적 교류성분 예측법 또는 본 발명에 의한 비단계적 교류성분 예측법을 적용함으로써 적은 CPU 및 메모리부하로 화소블록을 재생할 수 있다.

또 바람직하게는, 본 발명(3)에 있어서는 상기 본 발명(1)에 있어서, 구해진 직교기저계의 총부호량이 잔차벡터의 총부호량 이상이 되는 경우는 직교기저계 부호화 대신 잔차벡터 그 자체를 부호화한다. 따라서, 화상압축율을 함부로 저하시키는 일이 없다.

또, 바람직하게는 본 발명(4)에 있어서는 상기 본 발명(1)에 있어서, 미리 구해진 기저수(nk)에 의해 잔차벡터<d>와의 제 1오차 <d_nk>가 허용치 미만이 될 경우에 상기 구해진 순으로 m(0≤m<nk)개의 기저를 사용한 후의, 제 2오차벡터<d_m>를 사용되지 않은 여기저수yk(=nk-m)에 대응하여 예정된 양자화 계수 Q_yk로 스칼라 양자화하고, 또 이것을 스칼라 역양자화하여 이것을 상기 제 2오차벡터<d_m>에서 빼서 얻은 nk종류의 제 3오차벡터(d'_m)와 상기 제 1오차<d_nk>중에서 가장 오차가 작은 것을 선택하여 대응하는 기저 및 필요하면 제 2오차벡터를 아울러 부호화 하는 것이다.

이하, 도 12(A)의 (C),(d)를 참조하여 1예의 부호방법을 구체적으로 설명한다. 도 12(A)의 (C)에 있어서, 지금 잔차벡터<d>와의 오차 크기∥(d_nk)∥를 허용치 Z미만으로 하는 nk(예를 들어 nk=3)개의 기저로 이루어지는 선형결합,

<d>≒β₁<v₁>+β₂<v₂>+β₃<v ₃> (nk=3)

이 구해졌다고 하자. 단 <v>는 v가 벡터인 것을 나타낸다.

상기 nk=3개의 기저를 사용한 경우의 제 1오차벡터<d₃>=<d_nk> 및 상기 구해진 순으로 m(0≤m＜nk)개의 기저를 사용한 후의 제 2오차벡터<d_o>∼<d₂>에 대해서는 다음 관계가 있다.

도 12의 (A)의 (d)에 있어서, 상기 제 2의 오차벡터<d₀>∼<d₂>를 사용되지 않은 여기저수 yk=3, 2, 1에 대응하여 미리 예정된 양자화계수 Q_yk(예를 들어 Q₃=6, Q₂=7, Q₁=8)에 의해 각각 스칼라 양자화(또 클리핑)하고, 또 이들은 동양자화 계수 Q_yk로 각각 역양자화하여 역양자화 후의 제 2오차벡터<d₀Q'>∼<d₂Q'>를 구한다.

단, 기호 [ ]는 연산결과의 정수화를 나타낸다.

또한, 이들을 상기 제 2의 오차벡터<d₀>,<d₁>,<d₂>에서 각각 빼고 얻은 제 3의 오차벡터<d'₀>∼<d'₂>를 구한다.

그런데, 이들 제 3의 오차벡터<d'₀>∼<d'₂>의 크기가 반드시 상기 제 1의 오차벡터<d₃>보다 크다고는 한정할 수 없다. 즉, 3개의 기저 β₁<v₁>+β ₂<v₂>+β₃<v₃>를 부호화한 결과, 그 복호후의 오차가 상기 제 1오차벡터=<d₃>로 되기 보다는 예를 들어 2개의 기저 β₁<v₁>+β₂<v₂>를 부호화하고, 또 그 나머지인 1기저분의 부호량을 이용하여 제 2오차벡터 <d₂>를 스칼라양자화한 결과, 그 복호후의 오차가 상기 제 3의 오차벡터=<d'₂>가 되는쪽이 최종적 복호오차는 작을지도 모른다.

그래서, 본 발명(4)에 있어서는 제 3의 오차벡터<d'₀>, <d'₁>, <d' ₂>와 제 1오차벡터<d₃>중에서 가장 오차가 작은 것을 선택하여 대응하는 기저 및 필요하면 제 2오차벡터를 부호화하는 것이다.

상기 예로 말하면, 만일 제 3의 오차벡터<d'₂>가 가장 오차가 작은 경우는 직교기저계로서 {β₁<v₁>+β₂<v₂>}를 채용하여 이것을 부호화하는 것과 함께 제 2오차벡터<d₂>를 아울러 부호화(스칼라양자화)한다. 이같이 생성한 부호는 기저를 nk개 사용할 경우의 총부호량 보다 커지지 않도록 양자화 계수 Q_yk를 정하고 있으므로 화소블록당 부호량을 증가시키지 않고 화질만을 향상시킬 수 있다.

이같이, 본 발명(4)에 있어서는 적응적 직교변환과, 필요하면 m개의 기저를 사용한 후의 제2의 오차벡터의 스칼라 양자화를 병용하는 구성에 의해 잔차벡터<d>를 더 높은 정밀도로 부호화 가능이 된다. 또, 그때에는 제2의 오차벡터를 여기저수 yk(=nk-m)에 알맞는 양자화 계수 Q_yk로 스칼라 양자화하고, 또 이것을 여기저수 yk분의 부호량으로 부호화하므로 그 화소블록에 대한 총부호량을 증가하지 않고 화 질만을 향상시키고 또 그 화소블록에 맞는 부호길이를 복호용이한 형(소정비트수의 배수)으로 할 수 있고, 따라서 복호시의 연산부하가 대폭 경감된다.

또 도 1(B)의 구성에 의한 본 발명(5)의 화상부호/복호방법은 K×K화소의 블록평균치로 이루어지는 자블록(S)을 포함한 상하좌우(U,B,L,R)의 합계 5개의 DC화상데이터에 의거하여 자블록(S)상의 좌상의 제 1서브블록(S₁)의 (K/2)×(K/2)의 각 화소 데이터(P₁∼P₄)를 다음식,

또 자블록(S)상의 우상의 제2 서브블록(S₂)의 (K/2)×(K/2)의 각화소 데이터(P₁∼P₄)를 다음식,

또 자블록(S)상의 좌하의 제3 서브블록(S₃)의 (K/2)×(K/2)의 각화소 데이터(P₁∼P₄)를 다음식,

및 또는 자블록(S)상의 우하의 제4 서브블록(S₄)의 (K/2)×(K/2)의 각화소 데이터(P₁∼P₄)다음식,

에 의해 구하는 것이다.

본 발명(5)에 있어서는, 자블록을 포함한 근방의 DC화상데이터 S,U,B,L,R로부터 무단계로 자블록 S상의 K×K화소의 화소데이터를 직접 구하는 구성에 의해 화상부호/복호시의 CPU 및 메모리 부하가 대폭경감된다. 또 본 발명(5)의 방법은 화상부호시에는 교류성분 예측등에, 또 화상복호시에는 교류성분의 재생등에 이용할 수 있다.
또 본 발명(6)의 화상복호방법은 상기 본 발명(1)에 기재된 화상부호데이터를 복호하는 화상복호방법에 있어서, DC화상에 관한 부호데이터에 기초해서 복호한 DC화상의 일부 또는 전부를 자기가 참조하는 네스트로 이루는 것과 함께, 각 화소블록대응의 부호데이터를 입력해서 그 잔차벡터를 근사하는 직교기저계의 기저수가 0이 아닌 경우는 상기 네스트로부터 대응하는 기저블록을 추출해서 당해 화소블록을 복호하는 것이다.
바람직하게는 본 발명(7)에 있어서는, 상기 본 발명(6)에 있어서, 잔차벡터를 근사하는 직교기저계의 기저수가 0인 경우는 자블록을 포함하는 그 상하좌우의 합계 5개의 DC화상데이터를 사용한 교류성분예측법에 의해 당해 화소블록을 복호화하는 것이다.

또 본 발명(8)의 기록매체는, 상기 본 발명(1)∼(7)의 어느 하나에 기재된 처리를 컴퓨터에 실행시키기 위한 프로그램을 기록한 컴퓨터판독 가능한 기록매체이다.

도 1은 본 발명원리의 설명도,

도 2는 실시형태에 의한 화상부호/복호방식의 구성도,

도 3은 실시형태에 의한 화상부호화 처리의 흐름도(1),

도 4는 실시형태에 의한 화상부호화 처리의 흐름도(2),

도 5는 실시형태에 의한 화상부호화 처리의 흐름도(3),

도 6은 실시형태에 의한 화상부호화 처리의 흐름도(4),

도 7은 실시형태에 의한 화상부호화 처리의 흐름도(5),

도 8은 실시형태에 의한 화상부호화 처리의 테이블의 설명도,

도 9는 실시형태에 의한 화상부호화 처리의 이미지도(1),

도 10은 실시형태에 의한 화상부호화 처리의 이미지도(2),

도 11은 실시형태에 의한 화상부호화 처리의 이미지도(3),

도 12는 실시형태에 의한 화상부호화 처리의 이미지도(4),

도 13은 실시형태에 의한 화상복호화 처리의 흐름도,

도 14는 실시형태에 의한 비단계적 교류성분 예측처리의 이미지도,

도 15는 실시형태에 의한 부호화 효율의 그래프도,

도 16은 종래기술의 설명도(1),

도 17은 종래기술의 설명도(2)이다.

이하, 첨부도면을 따라 본 발명에 적합한 실시형태를 상세히 설명한다. 또, 전도를 통하여 동일부호는 동일 또는 상당부분을 나타내는 것으로 한다.

도 2는 실시형태에 의한 화상부호/복호방식의 구성을 나타내는 도면으로, 게임시스템에의 적용예를 나타내고 있다.

도 2에 있어서, 10은 게임기 본체, 11은 게임기의 주제어{게임프로그램, 3DCG 및 텍스쳐데이터(TXD)의 판독제어, 유저에 의한 게임조작 데이터의 입력제어 등) 및 3DCG에서 애니메이션에 관한 게임처리(게임캐릭터 이동처리등)를 행하는 CPU(게임프로세서), 12는 CPU(11)가 사용되는 RAM, ROM, EEPROM등으로 이루어지는 메모리(MM), 13은 CPU(11)의 로컬(포스트)버스, 14는 데이터를 고속전송가능한 버스, 15는 버스간의 접속(및 경합조정)제어를 행하는 브리지, 16은 유저가 게임조작이나 파라메터 설정등을 행하기 위한 각종 제어키(스타트 키, 선택 키, +자 키 등)나 마우스, 조이스틱 등의 위치입력수단을 구비한 조작패드, 17은 조작패드(16)를 게임시스템에 수용하는 주변인터페이스(PIF), 18은 게임프로그램(처리수순, 게임파라메터, 3DCG모델데이터, 텍스쳐데이터 등)이 마스크 ROM등에 기록되어 있는 ROM카트리지(ROM-C), 19는 ROM카트리지(18)를 게임시스템에 착탈자제로 수용가능한 ROM카트리지 인터페이스(ROM-CIF), 20은 상기 게임프로그램이 기록되어 있는 콤펙트디스크 ROM(CD-ROM), 21은 CD-ROM(20)을 게임시스템에 착탈자재로 수용하고, 구동가능한 CD-ROM드라이버, 22는 게임프로그램의 온라인 다운로드나 기타 게임기와의 사이에 대전게임을 행하기 위하여 본 시스템을 도시생략 한 공중망에 접속하는 통신제어부(COM), 23은 통신선이다.

또한, 30은 입력한 3DCG모델을 2D화면에 투시변환하기 위한 3D액셀레이터, 31은 지오메토리프로세서, 32는 캐릭터, 배경등의 각 기준위치데이터, 및 그 형상모델 데이터에 따라 3D공간상 각 대응위치에 폴리건 등의 집합으로 이루어지는 실사이즈의 3DCG모델을 생성·전개하는 모델링 변환부, 33은 상기 생성모델에 대하여 광선(태양광, 조명광 등)을 고려한 음영을 붙이는 음영처리부, 34는 와일드 좌표계 XYZ에 있어서의 3DCG화상데이터를 카메라 시점정보에 따른 시점좌표계 xyz의 3DCG 화상데이터로 변환하는 시점변환부, 35는 카메라 시점정보(시점좌표계 yxz)에 따라 3DCG생성모델의 투시변환을 행하는 투시변환부이다.

또, 36은 표시 래스터에 동기한 처리를 행하는 렌더링(래스터)프로세서, 37은 투시변환후의 각 화소데이터를 CRT(45)의 주사선 어드레스 x,y에 따라 추출하는 주사선 분해부, 38은 Z버퍼, 39는 Z버퍼(38)를 사용하여 화면(45A)에 보이지 않을 부분의 화소데이터를 화면(45A)에 보이는 부분의 화소데이터로 고치는 은면(隱面)소거부, 40은 본 발명에 의한 입력의 텍스쳐 압축 데이터를 푸는(복호) 텍스쳐 복호부, 41은 텍스쳐 데이터를 일시적으로 저장하는 텍스쳐버퍼, 42는 화면(45A)에 보이는 부분의 각 화소데이터에 대하여 텍스쳐버퍼(41)의 각 대응하는 텍스쳐 데이터를 첩부하는 텍스쳐처리부, 43은 출력의 컬러화상데이터(R,G,B)를 기억하는 프레임메모리, 44는 프레임메모리(43)의 컬러화소데이터를 아날로그 화소신호로 변환하여 CRT(45)에 비디오신호(VS)를 제공하는 D/A변환부(DAC), 45는 표시부로서의 예를 들어 컬러(CRT)모니터, 45A는 그 표시하면, 46은 CR(45)의 횡종 동기신호(H,V)및 3D액셀레이터(30)의 x,y 동기신호를 발생하는 CRT제어부(CRTC)이다.

또한, 외부의 게임작성장치(50)는 게임프로그램(처리수순, 게임파라미터, 3DCG모델데이터, 텍스쳐데이터 등)을 작성하여 ROM카트리지(18) 또는 CD-ROM(20)에 기억시킨다. 또 텍스쳐데이터의 작성시에는 본 발명에 의한 화상부호화 방식이 실행되고, 화상압축된 텍스쳐데이터(TXD)가 ROM카트리지(18) 또는 CD-ROM(20)에 기록된다. 그리고, 이 화상압축된 텍스쳐데이터(TXD)는 텍스쳐복호부(40)에서 고속복호되고, 또 2D투시화상에 첩부되어 화면(45A)에 표시된다. 이하, 게임작성장치(50)에 있어서의 화상부호(압축)처리를 설명한다.

도 3∼도 7은 실시형태에 의한 화상부호화 처리의 흐름도 (1)∼(5), 도 8은 동화상부호화 처리의 테이블을 설명하는 도면, 도 9∼도 12는 동화상부호화 처리의 이미지 도(1)∼(4)이고, 이하 이들 도면을 참조하여 화상부호화 처리의 상세를 설명한다.

또, 명세서를 통해 기호< >는 벡터, 기호∥∥는 벡터 크기, 기호·는 벡터의 내적, 기호[연산]는 연산결과의 정수화를 각각 나타낸다. 단, 기호[연산]을 다른 의미로 사용할 경우는 그 취지를 부기한다. 또 도면이나 [수]중의 벡터를 굵은문자로 표시한다.

또, 흐름도에 있어서, 원화상의 사이즈를 횡 n, 종 m화소로 한다. 또, 기호 T_m,n은 화상(T)의 m행 n열에서 4×4화소의 정방형 블록을 취출한 부분화상 데이터를 표시하고, 기호 B_y,x,sy,sx는 DC화상의 y행, x열에서 횡방향으로 sx, 종방향으로 sy의 스텝으로 4×4의 합계 16화소분의 데이터를 추출한 블록을 나타낸다.

도 3은 화상부호화 처리의 메인처리를 나타낸다.

스텝 S1에서는 원화상 데이터를 판독한다.

도 9(A)에는 원화상 데이터(T)의 이미지를 도시한다. RGB계의 대상화상을 YUV계로 변환하여 입력한다. Y는 휘도데이터, U, V는 색차데이터에 상당하고, U, V는 횡2화소의 휘도평균을 사용하여 다운샘플링된다. 일예로 휘도데이터(Y)는 종 960×횡 1280화소로 이루어지고, U, V는 각각 종 960×횡 640화소로 이루어진다. Y, U, V의 각 화소데이터에는 각각 예를 들어 8비트가 할당되어 있다.

또, 이하는 휘도데이터(Y)처리를 중심으로 말했으나 U, V에 대해서도 동일하게 처리된다.

도 3으로 돌아가서, 스텝 S2에서는 DC화상작성 처리를 실행한다. DC화상작성처리는 원화상을 4×4화소의 블록별로 분할하고 각 블록의 평균치(M)로 이루어진 DC화상을 작성하는 처리이다.

도 4에 DC화상작성처리의 흐름도를 나타낸다. 스텝 S21는 원화상의 어드레스레지스터(i,j)를 함께「0」로 초기화한다. 스텝 22는 DC화상의 어드레스레지스터(I,J)에 i/4, j/4를 세트한다. 스텝S23을 원화상에서 4×4화소의 블록데이터(T_j,i)를 추출한다. 스텝 S24은 블록데이터(T_j,i)에 함유되는 16화소데이터의 평균치(M)를 구한다. 스텝 S25는 그 평균치(M)를 DC화상의 기억위치(DC_J,I)에 격납한다. 스텝 S26은 i에 +4하고 스텝 S27은 i>n인지 여부를 판별한다. i>n이 아닐 경우는 스텝 S22로 복귀하고, 이번에는 다음열의 블록데이터(T_j,i)의 평균치(M)를 구하고, 다음열의 DC_J,I에 격납한다. 이하 동일하게 하여 진행하고, 마침내 스텝 S27의 판별로 i>n이 되면, 스텝 S28은 i를「0」으로 초기화하고 또 j에 +4한다. 스텝 S29는 j>m인지 여부를 판별하고, j>m이 아닐 경우는 스텝 S22로 복귀하고, 이번에는 차행의 블록데이터(T_j,i)의 평균치(M)를 구하고, 다음행의 DC_J,I에 격납한다. 이하 동일하게하여 진행하고 마침내 스텝 S29의 판별로 j>m이 되면 이 처리는 종료된다.

도 9(B)는 DC화상데이터(DC)의 이미지를 나타낸다. 1예의 DC화상을 종 240×횡 320의 DC치로 조성된다.

도 3으로 돌아가, 스텝 S3에서는 DC화상을 2차원 DPCM에 의해 부호화하여 출력한다.

도 10(A)은 2차원 DPCM의 처리이미지를 나타낸다. 지금 DC화상의 J행, I열의 DC_J,I로할 때에 그 DC_J,I의 예측치 DC'_J,I를 예를 들어 DC'_J,I=(DC _J,I-1+DC_J-1,I)/2에 의해 구하고, 그 예측오차 △DC_J,I=DC_J,I-DC'_J,I를 양자화 계수 Q_S에 의해 스칼라양자화{즉, [△DC_J,I/Q_S]}하여 출력한다. 단, 이 경우의 기호 [a]는 실수(a)를 4사5입한 결과를 표시한다. 또, 예측오차 △DC_J,I이「0」의 경우만 런 길이를 고려하여 예측 오차(△DC_J,I) 및 런 길이를 각각 독립하여 허프만 부호화한다.

도 8(A)에 양자화 계수 Q_S의 데이블을 나타낸다. 양자화 계수 Q_S의 값은 복수단계의 허용오차(Z)와 대응하고 있다. 사용자는 높은 화질을 요구할 때는 허용오차(Z)를 작은 범위로 선택하고, 또 낮은 화질이라도 좋을때는 허용오차(Z)를 큰 범위로 선택한다. 이에 응하여 양자계수 Q_s는 1∼8의 범위에서 변화한다.

도 3으로 돌아가서, 스텝 S4에서는 원화상의 어드레스레지스터(i,j)를 함께「0」으로 초기화한다. 스텝 S5에서는 DC화상의 어드레스레지스터(I,J)에 i/4, j/4를 세트한다. 스텝 S6은 4×4의 화소블록에 대응하는 16차원의 잔차벡터<d>를

<d>=J_j,i-DC_J,I

에 의해 구한다.

도 10(B)에 잔차벡터<d>의 이미지를 표시한다. 잔차벡터<d>의 각화소에는 각각 8비트가 할당되어 있다.

도 3으로 돌아가서 스텝 S7에서는 잔차벡터 <d>의 크기(2승)가 허용오차(Z)보다 작은지 여부를 판별한다. 작을 경우는 복호측에서 이 부분의 블록화상데이터(T_j,i)를 후술의 비단계적 교류성분 예측법에 의해 고정밀도로 복원할 수 있으므로 플로우는 스텝 S18로 진행하고 기저수「0」를 부호 F₁으로 출력한다. 또 작지않을 경우는 잔차벡터 <d>를 근사하기 위한 기저벡터를 탐사하고자 스텝 S8로 진행하고, 적응적 직교화 처리를 실행한다.

도 11는 적응적 직교화 처리의 이미지를 표시한다. 적응적 직교화 처리는 잔차벡터 <d>를 허용근사오차(Z)이내로 근사하기 위하여 필요한 기저벡터의 개수(nk)와 각 기저벡터 <v_nk>를 구하는 처리이다. 본 실시형태는 원화상을 종횡 모두 1:k(예를 들어 K=4)로 압축한 DC화상의 일부를 잘라내어 네스트로서 사용해서 네스트의 경량화를 도모하고 있다.

도 11(A)에 있어서, DC화상으로부터 예를 들어 종 39×횡71인 DC치의 영역을 잘라내어 네스트로 한다. 또 기저벡터 <v_nk>의 탐사는 종회 1DC치별로 정점(x,y)

[O,63]×[0,31]을 설정하고 또 그 서브샘플간격은 (sx,sy)

{(1,1), (1,2), (2,1), (2,2)}의 합계 4종류로 한다. 또, 이는 일예이고, 네스트의 사이즈, 잘라낸 위치, 기저벡터의 서브샘플간격 등은 임의로 설정된다.

도 11(B)는 네스트로부터 각종 패턴으로 샘플된 각 DC치가 기저벡터<v_nk>의 4×4인 기억영역에 모이는 상태를 나타낸다. 즉, (sx,sy)=(1,1)일 때는 네스트상의 4×4의 영역에서 4×4의 DC치가 모이고, 또(sx,sy)=(1,2)일때는 네스트상의 y방향으로 뻗은 영역에서 4×4의 DC치가 모이고, 또(sx,sy)=(2,1)일때는 네스트상의 x방향으로 뻗은 영역에서 4×4의 DC치가 모이고, 또(sx,sy)=(2,2)일때는 네스트상의 x 및 y방향으로 뻗은 영역으로부터 4×4의 DC치가 모이고, 기저벡터 <v_nk>의 기억영역에 격납된다. 이는 원화상이 갖는 자기 상사성을 이용하여 네스트상의 DC화상에서 각종 각도로 원화상의 화소블록을 닮은 화상을 탐사하는 처리이다.

도 5, 도 6은 실시형태에 의한 적응적 직교화처리의 흐름도이다. 도 5에 있어서, 스텝 S31에서는 오차레지스터(E_rr)에 큰 값(예를 들어 100000)을 세트하고, 또 기저수레지스터(nk)를「1」로 초기화 한다. 스텝 S32에서는 네스트화상의 개시 어드레스레지스터(x,y)를 함께「0」으로 초기화한다. 스텝 S33에서는 네스트화상의 서브샘플간격 레지스터(sx,sy)를 모두「1」로 초기화한다.

스텝 S34에서는 네스트화상에서 4×4인 DC블록화상(B_y,x,sy,sx)을 추출하여 기저벡터<v_nk>{후술의 도 11(C)에 있어서의 기저벡터<u_nk>에 상당}을 작성하고 또 nk>1의 경우는 그램슈미트의 직교화법에 의해, 그 이전의 기저벡터와 직교한다.

그램슈미트의 직교화법이란, n차원 내적공간(V)의 하나의 기저{v₁,...,v_n}에서 V의 정규직교기저{v'₁,..., v'_n}를 구성하는 방법으로, 이하 도 11(C)를 참조하 여 그램슈미트의 직교화법을 개략설명한다. 제 1의 기저벡터 <v₁>(단, <u₁>에 상당)로 하면, 제 1의 정규화 기저벡터<v'₁>는 단위벡터이므로

로 놓을 수있다. 다음에 네스트 화상에서 제 2기저벡터<u₂>가 추출됐다고 하면 상기 제 1의 정규화기저벡터 <v'₁>와 직교하도록 제 2의 직교기저벡터(v₂)는 예를 들어

로 놓을 수 있다. 그리면, <v₂>·<v'₁>=0에서

의 관계가 얻어진다. 이때, 스칼라 계수(k)는

이 된다. 또한 계수(k)를 위식에 대입하면 제 2의 직교기저벡터<v₂>는

으로 표시된다. 그리고, 제 2의 정규화기저벡터<v'₂>로 단위벡터이므로,

가 된다. 이하 동일하게 하여 일반적으로 제 n이 정규화기저벡터<v'_n>는

이 된다.

스텝 S35는 정규화기저벡터<v'_nk>를 사용하고, 잔차벡터 <d>와의 거리가 최소가 되는 기저벡터의 전개계수(α_nk)를 구한다. 도 12(A)의 (a)에 정규화기저벡터<v'_nk>를 사용하여 잔차벡터<d>를 근사하는 처리의 이미지를 나타낸다. 도 12(A)의 (a)에 있어서, 잔차벡터<d>와 전개계수(α_nk)를 곱하여 기저벡터(α_nk)<v'_nk>와의 차벡터{<d>-α_nk<v'_nk>}의 크기가 최소가 되는 것을 기저벡터(α_nk)<v'_nk>와 차벡터{<d>-α_nk<v'_nk>}가 직교할 때 (내적=0)이므로 아래식에 따라 정규화기저벡터<v'_nk>의 전개계수(α_nk)가 구해진다.

도 12(A)의 (b)에 대하여는 후술한다.

도 5로 돌아가서, 스텝 S36은 잔차벡터<d>를 기적벡터(α_nk)<v'_nk>로 근사할 때의 오차 벡터크기(ε_r)를 구한다. 스텝 S37은 ε_r<E_rr인지 여부를 판별한다. ε_r<E_rr인 경우는 스텝 S38으로 ε_r의 최소치에 관한 각종정보를 기억하기 위한 레지스터(E_rr, X, Y, SX, SY)에 그때의 ε_r, X, Y, SX, SY를 각각 유지한다. 또, 레지스터(α)에는 그때의 전계게수(α_nk), 기저벡터의 기억영역<v>에는 그때의 기저벡터<v_nk>, 직교화 기저벡터의 기억영역<v'>에는 그때의 직교화 기저벡터<v' _nk>를 각각 기억한다. 또 ε_r<E_rr이 아닐 경우는 상기 스텝 S38의 처리를 스킵한다.

스텝 S39는 샘플간격(sx)에 +1하고, 스텝 S40은 sx>2인지 여부를 판별한다. sx>2가 아닐 경우는 스텝 S34로 돌아가고, 이번에는 다른 샘플간격(sx)으로 추출된 기저벡터<v_nk>에 대해 상기와 동일한 처리를 행한다. 이하 동일하게 진행하고, 마침내 스텝 S40의 판별로 sx>2가 되면 스텝 S41은 sx를「1」로 초기화하고, 또 샘플간격(sy)에 +1한다. 스텝 S42은 sy>2인지 여부를 판별하고, sy>2가 아닐 경우는 스텝 S34로 돌아가고, 이번은 다른 샘플간격(sy)으로 추출된 기저벡터<v_nk>에 대해 상기와 동일 처리를 행한다. 이하 동일하게 진행하고, 마침내 스텝 S41의 판별로 sy>2가 되면 우선 네스트화상의 개시위치(x,y)=(0,0)에 대해 다른 샘플간격(sx,sy)=(1,1),(1,2),(2,1),(2,2)를 갖는 계 4종류의 각 기저벡터<v_nk>가 시도된 것이 된다. 처리는 도 6의 스텝 S43로 진행한다.

스텝 S43에서는 네스트상의 개시위치(x)에 +1하고, 스텝 S44에서는 x>p(예를 들어 p=63)인지 여부를 판별한다. x>p가 아닐 경우는 스텝 S33(②)으로 돌아가고, 이번은 x방향으로 1DC치만큼 시프트시킨 개시위치의 각 기저벡터<v_nk>에 대해 상기와 동일한 처리를 행한다. 이하 동일하게 진행하고, 마침내 스텝 S44의 판별로 x>p가 되면 스텝 S45에서는 개시위치(x)를「0」으로 초기화하고, 또 개시위치(y)에 +1한다. 스텝 S46은 y>q(예를 들어 q=31)인지 여부를 판별한다. y>q가 아닐 경우 스텝 S33(②)로 돌아가고, 이번은 y방향으로 1DC치만큼 시프트시킨 개시위치의 각 기저벡터<v_nk>에 대해 상기와 동일한 처리를 행한다. 이리하여 마침내 스텝 S46의 판별로 y>q가 되면 네스트화상상의 전개시위치(x,y)

[0,63]×[0,31]에 대해 모든 샘플간격(sx,sy)

{(1,1), (1,2), (2,1), (2,2)}의 각 기저벡터<v_nk>가 시도된 것이 된다. 처리는 스텝 S47로 진행한다.

스텝 S47에서는 잔차벡터<d>에서 이 시점에 최소의 근사오차(ε_r)를 유도한 직교기저벡터α<v'> 를 빼서 오차 크기를 구하고, 그 크기가 허용치(Z)보다 작은지 여부를 판별한다. 작지 않을 경우는 스텝 S48에서 잔차벡터<d>를 {<d>-α<v'>}로 치환하여 갱신한다. 또 이시점에 최소의 근사오차(ε_r)를 가져온 전개계수(α), 기저벡터<v>, 직교화 기저벡터<v'>의 내용을 α_nk, <v_nk>, <v'_nk>로서 기억 에어리어에 퇴피(退避)·유지한다. 덧붙여 nk=1일때는 α₁, <v₁>, <v'₁>가 퇴피·유지된다. 또 nk에 +1하여 스텝 S32(①)로 돌아간다.

이하 동일하게 진행하고, 마침내 스텝S47의 판별로 근사잔차가 허용치(Z)보 다 작아지면 스텝S49로 진행하고, 각 직교화기저벡터(α_nk)<v'_nk>(단, nk=1,2,...)의 1차 결합으로 이루어지는 벡터를 각 기저벡터(β_nk)<v_k>{도11(c)의 각 기저벡터<u _nk>에 상당}의 1차 결합으로 이루어지는 벡터로 변환한다. 이하, 계수(β)를 기저벡터<v>의 전개계수라 부른다.

여기서, 상기 스텝 S49의 변환방법을 구체적으로 설명한다. 이제, k=1∼nk로 할 때에 기저벡터<v_k>{단, 상기 도 11(C)의 기저벡터<u_k>에 상당}으로 이루어지는 행렬을 V, 스칼라전개계수(β_k)로 이루어지는 행렬을 B, 정규화직교기저벡터<v'_k>로 이루어지는 행렬을 V', 스칼라 계수 α_k로 이루어지는 행렬을 A로할 때에 각각을

로 놓으면 상기 스텝 S49의 변환은

VB=V'A

로 놓음으로써 얻어진다. 이것을 행렬(B)에 대해 풀기 위해서는 우선 행렬(V)을 정방행렬로 변환하고자 행렬(V)에 행렬(V^T; V^T는 V의 전치행렬)을 좌에서 곱하고,

V^T VB=V^TV'A

를 얻는다. 이 행렬(V^TV)은

과 같이 전개되고, 여기서 <v_i>·<v_j>는 내적을 나타내고, 또 <v_i>·<v_j>·<v_j>·<v_i>이기 때문에 대각 요소에 대하여 대칭인 정방행렬이 얻어지고 또 <v_i>과<v_j>이 다르기 때문에 역행렬이 존재한다. 그래서, 다시 좌에서 행렬(V^TV)의 역행렬(V^TV)^-1을 곱해서

(V^TV)^-1V^TVB=B=(V^TV)^-1V^TV'A

가 얻어진다.

이와 같이, 본 실시형태는 잔차벡터<d>와의 오차를 허용치(Z)미만에 근사하는데 필요한 최소한 개수(nk)의 직교화기저벡터<v'_nk>를 탐색한 후, 그것들을 원기저벡터<v_nk>(=<u_nk>)의 선형결합으로 표시하고, 또 각 기저벡터<v_nk>의 전개계수(β_nk)를 구하여 이들을 부호화하는 구성에 의해 복호시에는 그램슈미트의 직교화계산이 불필요하도록 배려하고 있다. 또, 표준을 1로 정규화하는 것도 생략하고 있다.

도 12(A)의(b)는 기저수 nk=3이였을 경우의 잔차벡터 근사의 이미지를 나타 내고 있다. 최초로 잔차벡터<d>와의 오차(ε_r)를 최소로 하는 제 1기저벡터(α₁)<v'₁>가 구해진다. 다음에 그 벡터<v'₁>에 직교하고 또 갱신된 나머지 잔차벡터<d'>와의 오차(ε_r)를 최소로 하는 제 2의 직교화 기저벡터(α₂)<v' ₂>가 구해진다. 다음에 그 벡터<v'₂>에 직교하고, 또 갱신된 나머지 잔차벡터<d">와의 오차(ε_r)를 최소로 하는 제 3의 직교화 기저벡터(α₃)<v'₃>가 구해진다.

도 3으로 돌아가서, 스텝 S9는 사용된 기저수 nk>7인지 여부를 판별한다. nk>7(8이상)의 경우는 기저벡터를 사용하여도 화상압축의 장점이 나오지 않으므로 스텝 S19로 진행하고, 기저수「8」을 부호 F₁, 사용기저수「0」을 부호 F₂, 또 잔차벡터<d>자체를 부호 F₃으로하여 각각 출력한다. 또 nk≤7의 경우는 스텝 S10으로 진행하고, 상기 기저벡터의 사용에 아울러 이하의 스칼라양자화 처리를 실행한다.

스칼라 양자화 처리는 우선 선택된 nk개 내의 선택된 순으로 각 m개(0≤m≤nk)의 기저를 채용할 경우의 오차벡터<dm>를

에 의해 구한다. 또 m=0의 경우의

은 제로벡터를 표시한다. 또한, 이 오차벡터<dm>를 채용되지 않았던 여기저수 yk=nk-m에 상당하는 부호량으로 스칼라양자화한다. 즉, 오차벡터<d_m>를 여기저수(yk)에 대응하는 양자화계수(Q_yk)로 스칼라양자화하고, 그 값을 [-2^yk-1, 2 ^yk-1-1]의 치역에서 클리핑한다.

그런데, 이리하여 스칼라 양자화·클리핑된 오차벡터<d'_m>가 그 복호후에 원 오차벡터<d_m>와 동일하게 된다고는 한정하지 않는다. 그래서, 미리 각 m(m=1,2,m,nk)에 대해 각 양자화 오차벡터<d'_m>를 각 대응하는 양자화계수(Q_yk)로 역양자화하여 각 역양자화 잔차벡터<d"_m>를 구하고, 오차∥<d_m>-<d" _m>∥가 최소가 되는 m을 탐사하고 최종적으로는 이 m개의 기저를 채용한 경우의 부호를 생성한다.

도 8(B)에 스칼라 양자화 테이블을 표시한다.

nk=8의 경우는 기저를 1개 사용할 때(m=1)의 여기저수 yk=7이고, 이하 동일하게 하여 진행하고 기저를 7개 사용할 때(m=7)의 여기저수 yk=1이다.

또, 후술하지만 본 실시형태에서는 하나의 기저에 대해 그 부호에 2바이트를 사용하므로 만일 8개의 기저를 사용하면 토탈 부호길이는 16바이트가 된다. 그런데, 16바이트 용량이 있으면, 16차원의 잔차벡터<d>를 그대로 부호화할 수 있기 때문에 적응적 직교변환을 행하는 장점이 없다. 그래서, 기저를 0∼7개 범위로 사용하고, 이에 따라 여기저수(yk)는 7∼1이 된다.

각 양자화계수(Q_yk)는 여기저수(yk)에 대응하여 미리 결정되어져 있다. 바람직하게는 각 양자화 계수(Q_yk)는 오차벡터<d_m>를 여기저수(yk)만큼의 부호량에 수용 되도록 선택되어 있다.

이제, 여기저수 yk=1의 경우는 16×1비트를 오차벡터 <d_m>인 스칼라 양자화에 사용할 수 있다. 이것은 오차벡터<d_m>의 각 요소당 1비트의 부호량이다. 즉, 이 경우는 오차벡터<d_m>를 Q_yk=8로 스칼라 양자화하고, 그 값을 [-2^1-1, 2^1-1-1]=[-1,0]로 클리핑한다. 여기서 예를 들어 부호비트「0」은 크기「-1」, 비트「1」은 크기「0」에 대응한다. 이하 동일하게하여 진행해서, 지금 여기저수 yk=7의 경우는 16×7비트를 오차벡터<d_m>의 스칼라 양자화에 사용할 수 있다. 이것은 오차벡토<d_m>의 각 요소당 7비트의 부호량이고, 그 경우는 오차벡터<d_m>를 Q_yk=2로 스칼라 양자화하고, 그 값을 [-2^7-1, 2^7-1-1]=[-64,63]을 클리핑한다. 이리하여 m개의 기저와 스칼라 양자화된 오차를 병용함으로써 부호량을 바꾸지 않고 화질만을 향상시킬 수 있다. 또 여기저수(yk)만큼 전개계수(β)는 불필요하기 때문에 약간의 부호량이 감소한다.

도 7은 스칼라 양자화 처리의 흐름도이다. 스텝 S61에서는 사용기저수 카운트용 레지스터(m)를「0」으로 초기화한다. 스텝 S62는 m개의 기저를 채용한 후의 오차벡터<dm>를 구한다. 또 m=0의 경우의 Σ의 항은 제로벡터를 표시한다. 즉, 오차벡터<d_o>=<d>(잔차벡터)가 된다. 스텝 S63은 nk(1≤nk≤7)개내의, 금회의 시행에서는 사용되지 않은 여기저수(yk)를, yk=nk-m에 의해 구한다. 스텝 S64에서는 오차벡터<d_m>를 Q_yk로 스칼라 양자화하고 결과인 오차벡터<d'_m>의 각 요소를 [-2^yk-1, 2^yk-1-1]의 범위로 클리핑한다.

스텝 S65에서는 상기 양자화(또 클리핑)후의 오차벡터<d'_m>를 동 Q_yk에 의해 스칼라 역양자화한다. 스텝 S66에서는 원(元)오차벡터<d_m>와 상기 역 양자화한 오차벡터<d"_m>를 비교한 경우의 오차 εr_m을 구하고, 이것을 소정에어리어에 퇴피·유지한다. 스텝 S67에서는 레지스터 m에 +1한다. 스텝 S68에서는 m>nk(1≤nk≤7)인지 여부를 판별한다. m>nk가 아닐 경우는 스텝 S62로 돌아가서, 상기와 같은 처리를 행한다.

마침내, 상기 스텝 S68의 판별로 m>nk가 되면 각 m(m=0, 1, 2, 3,..., nk)개의 기저를 채용할 경우의 오차 εr_O∼εr_nk가 구해진다. 스텝 S69에서는 오차εr_o∼εr_nk중에서 최소오차(εr_mk)를 추출한다. 스텝 S70에서는 기저수(nk)를 부호 F1로서 출력한다. 스텝 S71은 사용기저수(실효기저수)(mk)를 부호 F2로서 출력한다. 스텝 S72에서는 각 사용기저의 네스트상의 개시위치(x, y), 서브샘플간격(sx,sy)및 각 사용기저의 전개계수(β)를 Q(예를 들어 8)로 양자화한 잉여를 각 기저별로 16비트에 채워 부호 F₄로서 출력한다.

부호 F₄의 내역은 네스트상의 개시위치(x,y)에 횡 6비트와 종 5비트인 합계 11비트, 4종류내의 어느 샘플간격에 2비트, 전개계수 β의 잉여에 3비트 계 16비트가 된다. 따라서 부호 F4는 사용기저별로 2바이트를 소비한다.

스텝 S73에서는 상기 기저의 전개계수(β)를 Q(예를 들어 8)로 양자화한 값을 부호 F₅로서 출력한다. 스텝 S74에서는 상기 최소의 역양자화 오차(εr_mk)가 될때의 오차벡터<d'_mk>를 여기저수(yk)상당의 16×(nk-mk)비트영역에 할당하고 부호 F₃로서 출력한다. 그리고 이 처리를 마친다.

도 3으로 돌아가서, 이리하여 이 시점에서 원화상의 1잔차벡터<d>의 부호화가 종료하였다. 또한, 스텝 S11에서는 어드레스레지스터 i에 +4하고, 스텝 S12에서는 i>n인지 여부를 판별한다. i>n이 아닐 경우는 스텝 S5로 돌아가고, 다음에 i축방향으로 4비트 빗나간 위치로 부터의 1잔차벡터<d>에 대해 상기 동일처리를 행하고, 부호화한다. 이하 동일하게하여 진행하고 마침내 상기 스텝 S12의 판별에서 i>n이 되면 스텝 S13은 i를「0」으로 초기화하고, 또, j에 +4한다. 스텝 S14는 j>m인지 여부를 판별하고, j>m이 아닐경우 스텝 S5로 돌아가고, 다음의 j축방향으로 4비트 빗나간 각 잔차벡터<d>에 대해 상기 동일처리를 행해서, 부호화한다. 이하 동일하게 하여 진행하고, 마침내 상기 스텝 S14의 판별에서 j>m이 되면 전화상의 잔차벡터<d>에 대해 상기 부호화 처리가 종료하였다.

또, 도 12(B)에 화상압축부호의 표를 표시한다. 이하의 설명은 이 표도 참조하기 바란다.

도 3으로 돌아가서 스텝 S15는 가변길이 부호 F₁, F₂, F₅를 허프만 부호화하여 출력한다. 단, 부호 F₁의 기저수「nk」에 대해서는 nk=0의 경우만 런 길이를 고 려하여 허프만 부호화를 행한다. 부호 F₂의 사용기저수「mk」에 대해서도 동일하게 생각된다. 부호 F₅에 대해서는 전개계수(β)를 정수 Q「예를 들어8」로 양자화한 값을 허프만 부호화한다. 또, 여기저수 yk≠0의 경우는 화소블록의 전환을 나타내기 위한 부호 EOB를 기입한다.

스텝 S16에서는 가변길이부호 F₆을 허프만 부호화하여 출력한다. 부호 F₆은 DC치인 2차원 DPCM에 의한 예측잔차 △DC_J,I을 양자화계수 Q5로 양자화한 것이다. 단, 예측잔차 △DC_J,I=0의 경우만 런길이를 고려하여 예측잔차 △DC_J,I및 런길이를 각각 독립으로 허프만 부호화한다.

스텝 S17에서는 가변길이부호 F₃, 고정길이 부호 F₄를 허프만부호화하여 출력한다. 부호 F₃은 사용기저수 mk>0의 경우의 최종적 오차벡터<d'_mk>를 Q_yk로 스칼라 양자화[<d'_mk>/Q_yk]한 것으로, 사용기저수 mk=0인 경우는 원 잔차벡터<d>자체가 부호가 된다. 부호 F₄는 1기저당 네스트개시좌표(x,y)의 11비트와, 서브샘플계수(sx,sy)의 2비트와, 전개계수(β)의 잉여(β/Q)의 3비트로 합계 16비트로 고정되고, 이들은 사용기저의 출현 순으로 채워서 구성된다.

또 상기 부호 전체로서는 화소블록 단위로, 출현순으로 채워서 부호열을 구성한다. 실제, 태반의 블록은 기저수(nk)가 2개 전후로 되고, 소수의 가변길이 부호로 하는 것은 기저의 전개개수(β)를 Q로 양자화한 값과 DC화상의 DPCM 부호 및 기저수「nk」, 사용기저수「mk」만이 된다.

도 13은 실시형태에 의한 화상복호화 처리의 흐름도이다. 스텝 S81에서는 화상부호 데이터를 판독한다. 스텝 S82에서는 Y, U, V의 각 DC치를 해동(복호)한다. 덧붙여, 복호결과의 DC치 DC"_J,I는 DC"_J,I=DC'_J,I+[△DC_J,I/Q_S]Q_S에 의해 얻어진다. 여기서 DC'_J,I은 복호측에 있어서의 DC의 예측치이고, DC'_J,I=(DC"_J,I-1+DC" _{J-I, I})/2로 부여된다. 스텝 S83에서는 Y성분의 DC치에서 네스트를 생성한다. 네스트는 DC화상상의 개시위치 및 사이즈의 정보를 별도로 수취함으로써 생성된다. 스텝 S84는 복호(재생)화상의 어드레스레지스터 i,j를 함께「0」으로 초기화한다.

스텝 S85에서는 블록화상(즉, 잔차벡터)에 관한 부호 데이터를 입력한다. 스텝 S86은 기저수 nk>0인지 여부를 판별한다. nk=0인 경우는 스텝 S97로 후술하는 비단계적 교류성분예측법에 의해 16화소분의 휘도 데이터를 구한다. 또 nk>0인 경우는 다시 스텝 S87로 사용기저수 mk>0인지 여부를 판별한다.

mk=0인 경우는 스텝 S96에서 잔차벡터<d>를 역양자화한다. 스텝 S90에서는 구한 잔차벡터<d>에 복호 DC치를 가산한다. 또 mk>0인의 경우는 스텝 S88에서 여기저수 yk(=nk-mk)를 구하고, 오차벡터 <d'_mk>를 Q_yk로 역양자화한다. 스텝 S89는 각 기저의 개시위치(x,y), 서브샘플간격(sx,sy)에 따라 네스트에서 mk개의 기저벡터를 작성하고, 전개계수(β)와의 적을 취하고, 이들의 1차결합으로 이루어지는 근사벡터(직교기저계)를 형성하고, 여기에 오차벡터<d'_mk>를 합성하여 원잔차벡터<d>를 재생한다. 스텝 90에서는 구한 잔차벡터<d>에 복호 DC치를 가산한다. 이리하여 상기 어느 한 방법에 의해 4×4의 블록화상 T_j,i가 재생되었다. 스텝 S91에서는 재생화상 T_j,i를 화상메모리에 격납한다.

스텝 S92에서는 어드레스레지스터 i에 +4하고, 스텝 S93에서는 i>n인지 여부를 판별한다. i>n이 아닐 경우는 스텝 S85로 되돌아가고, 이번은 차열의 블록화상데이터 T_j,i를 복호하고, 화상메모리에 격납한다. 이하 동일하게하여 진행해서, 마침내 스텝 S93의 i>n이 되면 스텝 S94에서는 i를「0」으로 초기화하고, 또 j에 +4한다. 스텝 S95는 j>m인지 여부를 판별하고 j>m가 아닐경우는 스텝 S85로 돌아가고, 이번은 차행의 각 블록데이터 T_j,i를 복호하고, 화상메모리에 격납한다. 이하 동일하게 하여 진행하고, 마침내 스텝 S95의 판별로 j>m이 되면 화상복호화처리를 종료한다.

또, 도시하지 않으나 YUV계에서 RGB계로 변환한다. 이때, U,V의 업샘플링에는 보간필터를 이용하지 않고 횡2화소에 동일치를 대입한다.

도 14는 실시형태에 의한 비단계적 교류성분예측처리의 이미지도이다. 본 실시형태는 근방의 DC화상에서 비단계적 교류성분예측법에 의해 일거에 원화소 블록의 근사화상(AC화상)을 생성한다.

그런데, 상기 종래의 단계적 교류성분 예측법에 의하면 주목 블록을 포함한 주위4블록의 각 DC치(S,U,R,B,L)로부터 주목 블록(S)상의 서브블록(S₁∼S₄)의 각 DC치는 다음식,

에 의해 추정되었다.

도 14(A)에 상기 도 17(B)와 같은 도면을 다시 표시한다. 동일하게하여, 이 1단계째는 U₁∼U₄, L₁∼L₄, R₁∼R₄, B₁∼B₄등이 추정된다. 또, 상기 방법을 재귀적으로 사용함으로써(S₁)상의 4화소(P₁∼P₄)는 다음식,

(S₂)상의 4화소(P₁∼P₄)는 다음식,

(S₃)상의 4화소(P₁∼P₄)는 다음식,

(S₄)상의 4화소(P₁∼P₄)는 다음식,

에 의해 각각 추정된다.

도 14(B)는 본 실시형태에 의한 비단계적 교류성분예측법을 나타내고 있다. 또, 이하의 설명은 도 14(A)도 참조한다. 우선(S₁)상의 4화소(P₁∼P₄)를 구할 경우는 S₂≒S₃≒S, U₃≒U, L₂≒L의 각 근사를 행한다. 이 근사를 상기 (S₁)상의 P₁의 식에 적용하면,

이 얻어진다. 또, 이식에 상기 (S₁)의 식, (S₁)=S+(U+L-B-R)/8을 대입하면 S₁상의 P₁은 최종적으로,

P₁=S+(2U+2L-2S-B-R)/8

로 표시된다. 또 상기 (S₁)상의 P₂에 대해서는

가 얻어진다. 또, 이 식에 상기 (S₁)의 식, S₁=S+(U+L-B-R)/8을 대입하면 S₁ 상의 P₂는 최종적으로,

P₂=S+(2U-B-R)/8

로 표시된다. 또 상기 (S₁)상의 P₃에 대해서는,

가 얻어진다. 또, 이 식에 상기 (S₁)의 식, S₁=S+(U+L-B-R)/8을 대입하면 S₁상의 P₃은 최종적으로,

P₃=S+(2L-B-R)/8

로 표시된다. 또 상기 (S₁)상의 P₄에 대해서는,

가 얻어진다. 또, 이 식에 상기 (S₁)의 식, S₁=S+(U+L-B-R)/8을 대입하면 S₁상의 P₄는 최종적으로,

P₄=S+(2S-B-R)/8

로 표시된다. 따라서 S₁상의 P₁∼P₄는 최종적으로,

으로 표시된다.

다음에 (S₂)상의 4화소(P₁∼P₄)를 구할 경우는 S₁≒S₄≒S, R₁≒R, U₄≒U의 근사를 행한다. 이 근사를 상기 (S₂)상의 P₁의 식에 적용하면,

이 얻어진다. 또, 이 식에 상기 (S₂)의 식, S₂=S+(U+R-B-L)/8을 대입하면 S₂상의 P₁은 최종적으로,

P₁=S+(2U-B-L)/8

로 표시된다. 또 상기 (S₂)상의 P₂에 대해서는,

이 얻어진다. 또, 이 식에 상기 (S₂)의 식, S₂=S+(U+R-B-L)/8을 대입하면 S₂상의 P₂는 최종적으로,

P₂=S+(2U+2R-2S-B-L)/8

로 표시된다. 또 상기 (S₂)상의 P₃에 대해서는,

이 얻어진다. 또, 이 식에 상기 (S₂)의 식, S₂=S+(U+R-B-L)/8을 대입하면 S₂ 상의 P₃은 최종적으로,

P₃=S+(2S-B-L)/8

로 표시된다. 또 상 (S₂)상의 P₄에 대해서는,

이 얻어진다. 또, 이 식에 상기 (S₂)의 식, S₂=S+(U+R-B-L)/8을 대입하면 S₂상의 P₄은 최종적으로,

P₄=S+(2R-B-L)/8

로 표시된다. 따라서, (S₂)상의(P₁∼P₄)는 최종적으로,

로 표시된다.

다음에(S₃)상의 4화소(P₁∼P₄)를 구할 경우는 S₁≒S₄≒S, L₄≒L, B₁≒B의 각 근사를 행한다. 이 근사를 상기 (S₃)상의 P₁식에 적용하면,

가 얻어진다. 또, 이 식에 상기 (S₃)의 식, S₃=S+(B+L-U-R)/8을 대입하면 S₃ 상의 P₁은 최종적으로,

P₁=S+(2L-U-R)/8

로 표시된다. 상기 (S₃)상의 P₂에 대해서는,

가 얻어진다. 또, 이 식에 상기 (S₃)의 식, S₃=S+(B+L-U-R)/8을 대입하면 S₃상의 P₂는 최종적으로,

P₂=S+(2S-U-R)/8

로 표시된다. 상기 (S₃)상의 P₃에 대해서는

가 얻어진다. 또, 이 식에 상기 (S₃)의 식, S₃=S+(B+L-U-R)/8을 대입하면 S₃상의 P₃은 최종적으로,

P₃=S+(2B+2L-2S-U-R)/8

로 표시된다. 또 상기 S₃상의 P₄에 대해서는,

가 얻어진다. 또, 이 식에 상기 (S₃)의 식, S₃=S+(B+L-U-R)/8을 대입하면 S₃ 상의 P₄는 최종적으로,

P₄=S+(2B-2U-R)/8

로 표시된다. 따라서, (S₃)상의 P₁∼P₄는 최종적으로 표시된다.

로 표시된다.

다음에(S₄)상의 4화소(P₁∼P₄)를 구할 경우는 S₂≒S₃≒S, R₃≒R, B₂≒B의 각 조사를 행한다. 이 조사를 상기 (S₄)상의 P₁의 식에 적용하면,

가 얻어진다. 또, 이식에 상기 (S₄)의 식, S₄=S+(B+R-U-L)/8을 대입하면 (S₄)상의 P₁은 최종적으로,

P₁=S+(2S-U-L)/8

로 표시된다. 또 상기(S₄)상의 P₂에 대해서는,

가 얻어진다. 또, 이식에 상기 (S₄)의 식, S₄=S+(B+R-U-L)/8을 대입하면(S₄) 상의 P₂는 최종적으로,

P₂=S+(2R-U-L)/8

로 표시된다. 또 상기 (S₄)상의 P₃에 대해서는,

가 얻어진다. 또, 이식에 상기 (S₄)의 식, S₄=S+(B+R-U-L)/8을 대입하면 (S₄)상의 P₃은 최종적으로,

P₃=S+(2B-U-L)/8

로 표시된다. 또 상기 (S₄)상의 P₄에 대해서는

가 얻어진다. 또, 이식에 상기 (S₄)의 식, S₄=S+(B+R-U-L)/8을 대입하면 (S₄)상의 P₄는 최종적으로,

P₄=S+(2B+2R-2S-U-L)/8

로 표시된다. 따라서, (S₄)상의(P₁∼P₄)는 최종적으로,

로 표시된다. 이리하여 본 실시형태에 의하면 자기를 포함한 근방의 각 DC치(S,U,R,B,L)에서 4×4화소의 근사화상이 직접(비단계적)으로 구해진다.

도 15는 실시형태에 의한 부호화 효율의 그래프이다. 샘플화상(320×240화소, 1화소의 RGB각 성분 8비트정도)을 사용하여 BPP(Bit Per Pixe),

BPR=[압축후의 총데이터량(bit)]/[원화상의 화소수]

에 대한 PSNR(Peak-to-peak Signal-to-Noise Ratio),

PSNR[dB]=20log₁₀(255/)

에 의해 부호화 성능을 평가하였다. 단, ε²는 화소당 평균 제곱오차를 표시한다.

도 15(A)는 애니메이션 화상을 사용한 경우로, 실선은 본 실시형태, 점선은 JPEG의 경우를 각각 표시해 두고, 도시와 같이 JPEG의 효율을 크게 상회하는 부호화 성능이 얻어지고 있다. 도 15(B)는 CG화상을 사용한 경우로, 상기와 같은 경향이 얻어졌다. 게다가, 본 방식은 직교변환부호법에 특유의 모스키토노이즈나 블록노이즈가 보이지 않아서, 본 방식이 인공화상에 대하여 유효하다고 생각된다. 또, 도시하지 않으나 자연화상에 대해서는 JPEG와 대략 동일한 성능이 얻어졌다.

또, 상기 실시형태는 게임시스템에의 적용예를 설명하였으나 본 발명은 사진화상, 애니메이션화상 등의 통상의 프레임화상의 부호/복호에도 적용될 수 있다는 것은 분명하다.

또, 상기 발명에 적합한 실시형태를 설명하였으나 본 발명 사상을 일탈하지 않은 범위에서 각 부의 구성, 처리 및 이들의 조합의 갖가지 변경이 행해진다는 것은 말할나위 없다.

이상과 같이 본 발명에 의하면, 네스트를 경량화하고, 또 가변길이 부호량을 삭감할 수 있기 때문에, 복호시의 계산부하를 대폭 경감할 수 있고, 비교적 저성능의 시스템으로도 동화나 정지화의 화상데이터를 화질의 저하없이 이용가능하다. 또 윤곽부분에서도 모스키토노이즈가 발생하지 않고 문자나 애니메이션화상 등의 재현성도 좋은 고압축율의 화상데이터를 제공할 수 있다.

Claims

화상데이터를 복수화소의 블록으로 분할하여 각 블록평균치로부터 이루어지는 DC화상을 생성하고, 각 화소블록에서 대응하는 블록평균치를 분리하여 블록별 잔차벡터를 구하는 것과 함께, 잔차벡터 크기가 소정의 허용치를 초과하는 경우는 상기 DC화상의 일부 또는 전부로 이루어지는 네스트를 사용한 적응적 직교변환에 의해 잔차벡터를 근사하기 위한 1 또는 2이상의 직교기저를 구하고, 이들의 1차결합으로 이루어지는 직교기저계를 부호화하는 것을 특징으로 하는 화상부호방법.
제 1 항에 있어서, 잔차벡터의 크기가 허용치 미만인 경우는 직교기저를 구하는 대신 기저수=0인 정보를 부호화하는 것을 특징으로 하는 화상부호방법.
제 1 항에 있어서, 구해진 직교기저계의 총부호량이 잔차벡터의 총부호량 이상이 될 경우는 직교기저계의 부호화대신 잔차벡터 자체를 부호화하는 것을 특징으로 하는 화상부호방법.
제 1 항에 있어서, 미리 구해진 기저수 nk에 의해 잔차벡터 <d>와의 제 1오차 <d_nk>가 허용치 미만이 될 경우에 상기 구해진 순으로 m(0≤m<nk)개의 기저를 사용한 후의 제 2오차벡터 <d_m>를, 사용되지 않았던 여기저수 yk(=nk-m)에 대응하여 미리 정해진 양자화 계수 Q_yk로 스칼라 양자화하고, 또 이것을 스칼라 역양자화하여 이것을 상기 제 2오차벡터<d_m>에서 빼서 얻어진 nk종류의 제 3의 오차벡터<d'_m>와 상기 제 1의 오차<d_nk>중에서 가장 오차가 작은 것을 선택하고, 대응하는 기저 및 필요하면 제 2오차벡터를 아울러 부호화하는 것을 특징으로 하는 화상부호방법.
K×K화소의 블록평균치로 이루어지는 자블록(S)를 포함하는 상하좌우(U,B,L,R)의 합계 5개의 DC화상 데이터에 기초하여 자블록(S)상의 좌상의 제 1서브블록(S₁)의 (K/2)×(K/2)의 각화소 데이터(P₁∼P₄)를 다음식,

또, 자블록(S)상의 우상의 제 2서브블록(S₂)의 (K/2)×(K/2)의 각 화소 데이터(P₁∼P₄)를 다음식,

또, 자블록(S)상의 좌하의 제 3서브블록(S₃)의 (K/2)×(K/2)의 각 화소 데이터(P₁∼P₄)를 다음식,

및/또, 자블록(S)상의 우하의 제 4서브블록(S₄)의 (K/2)×(K/2)의 각 화소 데이터(P₁∼P₄)를 다음식,

에 의해 구하는 것을 특징으로 하는 화상부호/복호방법.
제 1 항에 기재된 화상부호데이터를 복호하는 화상복호방법에 있어서, DC화상에 관한 부호데이터에 기초해서 복호된 DC화상의 일부 또는 전부를 자기가 참조하는 네스트로 이루는 것과 함께 각화소블록대응의 부호데이터를 입력해서, 그 잔차벡터를 근사하는 직교기저계의 기저수가 0이 아닌 경우는, 상기 네스트로부터 대응하는 기저블록을 추출해서, 당해 화소블록을 복호하는 것을 특징으로 하는 화상복호방법.
제 6 항에 있어서, 잔차벡터를 근사하는 직교기저계의 기저수가 0인 경우는, 자블록을 포함하는 그 상하좌우의 합계 5개의 DC화상데이터를 사용한 교류성분 예측법에 의해 당해 화소블록을 복호하는 것을 특징으로 하는 화상복호방법.
제 1 항 내지 제 7 항중 어느 한 항에 기재된 처리를 컴퓨터에 실행시키기 위한 프로그램을 기록한 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체.