WO2000002393A1

WO2000002393A1 - Image coding/decoding method and recorded medium on which program is recorded

Info

Publication number: WO2000002393A1
Application number: PCT/JP1999/002962
Authority: WO
Inventors: Takashi Miura; Fumihiko Itagaki; Miyuki Kawashima
Original assignee: Hudson Co., Ltd.
Priority date: 1998-07-03
Filing date: 1999-06-03
Publication date: 2000-01-13
Also published as: EP1104199A1; CN1307782A; EP1104199A4; TW440805B; US6687411B1; KR20010053286A; KR100574702B1; HK1036377A1; JP3814637B2; CN1168322C; CA2347383A1

Description

明細書画像符号ノ復号方法及びそのプログラムを記録した記録媒体技術分野本発明は画像符号復号方法及びそのプログラムを記録した記録媒体に関し、更に詳しくはゲーム機等の比較的低性能なハードウェア（CPU, メモリ等）でも高速に良質な画像（CG画像，アニメーション画像，自然画像等 ) を再生可能な画像符号 "復号方法及びそのプログラムを記録した記録媒体に関する。背景技術図 1 6，図 1 7は従来技術を説明する図（1) ，（2) で、図 1 6は J P EGによる画像圧縮処理のイメージを示している。

図 1 6 (A) において、今日、静止画像圧縮方式の主流となっている J P EGでは、画像を 8 X 8画素のブロックに分割し、それを 2次元 DC T (離散コサイン変換）により DC (平均値）及び基本周波数から 63倍周波数までの各係数に変換する。更に、自然画像の周波数成分が低周波領域に集中していることを利用し、画品質が低下しない範囲で各係数値を異なる量子化幅で量子化し、情報量の削減を行ってから可変長符号化（ハフマン符号化）を行う。

一方、この様な画像符号データを家庭用ゲーム機等で利用する場合には、 CPU性能やメモリ容量に制限があるため、復号演算負荷の大きな画像圧縮法（J PEG等）をソフトゥエアで復号すると、様々なデメリットが発生する。例えば、 J PEGでは 8 X 8画素のブロックに対して必ず 64個の可変長符号化を行うべき符号が生成されるため、復号時の計算負荷の増大を招いている。

図 1 6 ( B ) はハフマン符号の一部を示している。

ハフマン符号化では、出現頻度の高い係数値 H₁₃等は相対的に短い符号長ビットで、また出現頻度の低い係数値 H₆等は相対的に長い符号長ビットで夫々符号化されるため、これらの符号は各オクテット（バイト）上で図示の如く不揃いに詰め込まれてしまうことになり、このことが復号時の計算負荷を非常に大きくしている。このため従来のゲームシステムでは、動画として容認出来る程の速度で画像を復元するためには画品質を犠牲にせざる得ない状況であった。

また画品質については、高周波成分ほど粗い精度で量子化されるため、輪郭部分の画像情報が失われてモスキートノイズを発生し、文字やアニメーシヨン画像の圧縮には適していない。特にゲームソフトでは人工画像（C G画像，アニメーション画像等）が多用されるため、モスキ一トノイズによる主観的画品質の劣化は大きな問題である。

これに対して、近年は、以下の文献〔1〕〜〔5〕が報告されている。〔 1〕 Michael F. Barnsley, Lyman P. Hurd "FRACTAL IMAGE COMPRESSION" AK Peters Ltd. , 1993

〔2〕井田孝，駄竹建志 "反復変換符号化による画像圧縮" 第 5回回路とシステム軽井沢ヮ一クショップ論文集， pp. 137 - 142， 1992

〔3〕ュヒヨンべ，高橋隆史，河野裕之，徳永隆治 "グラム 'シュミットの直交化を応用した L I F S画像符号化法の画品質改善" 電子情報通信学会技術研究報告， vol. NLP - 98， no. 146, pp. 37-42, 1998

〔4〕渡邊敏明，大関和夫 "平均値を用いた交流成分予測方式の一検討 " 画像符号化シンポジウム（PCSJ89) , pp29-30, Oct. 1989

〔5〕高橋隆史，徳永隆治 "画像のブロック平均値から交流成分を予測する高速演算アルゴリズム" 電子情報通信学会論文誌 Vol. J81-D-II No. 4, pp. 778-780, Apr. 1998

ここで、方式〔1〕，〔2〕は復号演算負荷の小さな圧縮方式としてのフラクタル符号化、方式〔3〕は J P E Gと同程度の符号化効率を有する適応的直交変換の改良、そして、方式〔4〕，〔5〕はブロック平均値（D C値 ) に基づく交流成分予測に関する。

中でも方式〔3〕は、画像を K X K画素の正方形ブロックに分割し、全ブロックを許容誤差 Zに応じて、交流成分予測法，フラクタル変換法，適応的直交変換の何れかで近似するプロック符号化法である。交流成分予測法は自プロックを含む周囲のブロック平均値（D C値）から自ブロックの交流成分 (加算データ）を求め、対象画像との残差を符号化する平均値分離方式に利用される。また適応的直交変換は、画像が有する自己相似性を利用し、べクトル量子化のコードブックに相当する画像（ネスト）からブロック画像を近似するための基底べクトルを抽出し、グラム ·シュミット法によって必要最小次元の直交基底系を構成する方式である。

しかし、上記方式〔1〕，〔2〕のフラクタル変換は、復号において反復計算を必要とし、かつ画像平面規模のヮ一クスベースを消費するため、ビデォゲ一ム機等には不向きである。

また方式〔3〕の適応的直交変換では、ネストとして対象画像と等しい大きさの加算データを利用するため、復号時に非常に大きなワークスペースを必要とする。更には、復号時に解凍されたブロックを逐次的にネスト上の対応するブロックへ書き戻すため、画品質は改善されるが、アドレス計算及びデータ転送の負荷が重い。更にまた、方式〔3〕では基底の座標及びサンプリング係数の圧縮にハフマン符号を適用しているが、自然画像ではどの基底の出現頻度にも大きな偏りが無いため、圧縮効率が上がらないのみか、ハフマン復号の計算量のみが消費されている。また適応的直交変換では、画像により必要最小次元の直交基底数が多くなる場合があるが、基底数が多くなると残差べクトルを直接符号化するよりも多くのビット数が使用され、符号化効率が低下する。

また方式〔4〕の交流成分予測法では、画像中の輪郭部分周辺でオーバーシュ一トゃアンダーシュートを発生する傾向があり、輝度の立ち上がりが鋭い人工画像では逆に画品質を劣化させる傾向がある。

また方式〔5〕の段階的交流成分予測方式では、 C PU負荷が重いばかり力、中間的に生成される補間値の記憶領域が必要となる。

図 1 7に段階的交流成分予測方式のィメージを示す。

図 1 7 (A) において、段階的交流成分予測方では、注目ブロックを含む周囲 4ブロックの各 DC値（S， U， R， B， L) から注目ブロック S上のサブブロック S,〜S₄の各 DC値を次式により推定する。

S, = S + (U+ L-B-R) /S

S₂ =S + (U+R-B - L) /8

S₃ = S + (B + L-U-R) /8

S₄ = S + (B + R-U- L) /8

図 1 7 (B) において、上記方式を再帰的に適用することで、更にサブブロック上の 4画素 Pj〜P₄の各画素値を次式により推定できる _c

P, = S, + (U₃ + L₂ - S₃ - S₂ ) /8

P₂ = S, + (U₃ + S₂ - S₃ - L₂ ) Z 8

P₃ = S, + (S₃ +L₂ -U₃ -S₂ ) /8

P₄ = S' + (S₃ + S₂ — U₃— L₂ ) 8

また同様にして、サブブロック S₂上の 4画素〜P₄の各画素値を次式により推定できる。

P, = S₂ + (U₄ + S, - S₄ -R, ) /8

P₃ - S₂ + (S₄ + S_] -U₄ -R, ) /8

P₄ = S₂ + (S₄ + R, -U₄ - S, ) /8

以下同様にして、サブブロック S ₃， S ₄ 上の各 4画素 P,〜P₄の各画素値を推定できる。

しかし、最初の D C値（S， U, R， B， L ) から出発して原画像の全予測値 P ,〜P ₄を得るには、上記方式を段階的に適用して細分化しなくてはならず、中間値を保持するメモリが必要なばかり力、 C P Uの演算負荷も増大する。発明の開示本発明は上記従来技術の問題点に鑑み成されたもので、その目的とする所は、コンピュータ利用可能な画像データに対して高い画品質を保持しつつ画像データの圧縮率を高めると共に、復号時の計算負荷を軽減できる画像符号

Z復号方法及びそのプログラムを記録した記録媒体を提供することにある。上記の課題は例えば図 1 (A) の構成により解決される。即ち、本発明（ 1 ) の画像符号方法は、画像データを複数画素のプロックに分割して各プロック平均値からなる D C画像を生成し、各画素ブロックから対応するブロック平均値を分離してブロック毎の残差べクトルを求めると共に、残差べクトルの大きさが許容値以上の場合は、 D C画像のネストを使用した適応的直交変換により残差べクトルを近似するための 1又は 2以上の直交基底を求め、これらの 1次結合からなる直交基底系を符号化するものである。

本発明（1 ) においては、 D C画像のネストから 1又は 2以上の直交基底を求める構成により、画像符号ノ復号時における C P Uやメモリの負荷が大幅に軽減される。また、平坦な輝度成分が多く、よって D C画像との相関が強い C G画像やアニメーション画像等の人工画像では、画品質の向上が期待できる。

好ましくは、本発明（2 ) においては、上記本発明（1 ) において、残差べクトルの大きさが許容値未満の場合は、直交基底を求める代わりに、基底数 = 0の情報を符号化する。例えば、一般に輝度の立ち上がりが鋭い人工画像に対しては、輪郭部分が近傍に存在しない（即ち、残差べクトルの大きさが許容値未満の）画素プロックに対して基底数 =0の符号が限定的に生成される。従って、このような画素プロックについては高い画像圧縮率が得られる。

一方、復号側では対応する画素プロックに対して限定的に段階的交流成分予測法又は本発明による非段階的交流成分予測法を適用することで、少ない C P U及びメモリ負荷で画素プロックを再生できる。

また好ましくは、本発明（3) においては、上記本発明（1) において、求めた直交基底系の総符号量が残差べクトルの総符号量以上となる場合は、直交基底系の符号化に代えて、残差べクトルそのものを符号化する。従って

、画像圧縮率をいたずらに低下させることが無レ、。

また好ましくは、本発明（4) においては、上記本発明（1) において、予め求められた基底数 n kにより残差べクトル〈d〉との第 1の誤差く d_nk ) が許容値未満となる場合に、前記求められた順に m (0≤m<n k) 個の基底を使用した後の第 2の誤差べクトルく d_m〉を、使用されなかった余基底数 y k (=n k -m) に対応して予め定められた量子化係数 Q_ykでスカラ —量子化し、かっこれをスカラー逆量子化して、これを前記第 2の誤差べクトルく d_m〉から引いて得られる n k種類の第 3の誤差ベクトル〈d' „〉と前記第 1の誤差〈d_nk〉との中で最も誤差が小さいものを選択し、対応する基底及び必要なら第 2の誤差べクトルを併せて符号化するものである。以下、図 1 2 (A) の（c) ， (d) を参照して一例の符号方法を具体的に説明する。図 1 2 (A) の（c) において、今、残差べクトル〈d〉との誤差の大きさ II <dnk) IIを許容値 Z未満とするような n k (例えば n k二 3) 個の基底からなる線形結合、

〈d〉 ^ β, <v, ) +j3₂ 〈v₂〉 + β₃ <v₃) (n k = 3) が求まったとする。但し、〈v〉は vがべクトルであることを表す。

上記 n k = 3個の基底を使用した場合の第 1の誤差ベクトルく d₃〉 = < dnk) 及び前記求められた順に m (0≤m< n k) 個の基底を使用した後の第 2の誤差べクトル〈d。〉〜く d₂〉については次の関係がある。

(d₀ > <d> (τη= 0， y k = 3) <d , ) <d> ]3】く v,〉 (m= l , y k = 2) <d₂ > 〈d〉 β、 < , ) β₂ 〈v₂〉 (m= 2， y k = 1 ) く d₃〉〈d〉 ]3, (v, ) β₂ く v₂〉 (v₃>

(m= 3， y k = 0) 図 1 2 (A) の（d ) において、上記第 2の誤差べクトル〈d。〉〜〈d₂ > を、使用されなかった余基底数 y k = 3， 2， 1に対応して予め定められた量子化係数 Q_yk (例えば Q₃ = 6， Q₂ = 7, Q, = 8) により夫々にスカラー量子化（かつクリッピング）し、かつこれらを同量子化係数 Q_ykで夫々逆量子化して逆量子化後の第 2の誤差べクトル〈d。 Q'〉〜〈d₂ Q'〉を求める。

く d。 Q'〉 = [ く d₀〉 /Q₃ ] Q₃

<d , Q'> = [ (d, > /Q₂ ] XQ₂

〈d₂ Q'〉 = [ 〈d₂〉 /Q, ] XQ,

但し、記号 [ ] は演算結果の整数化を表す。

更に、これらを前記第 2の誤差ベクトルく d。〉，く〉，く d₂〉から夫々に差し引いて得られる第 3の誤差ベクトル〈d'。〉〜〈d' ₂〉を求める。

〈d，。〉 - く d。〉 ― 〈d。 Q' >

<d' , > = <d, > 一 (d, Q， >

く d' ₂〉 = <d₂ > 一〈d₂ Q' >

ところで、これらの第 3の誤差べクトル〈d'。〉〜〈d' ₂ ) の大きさは、必ずしも前記第 1の誤差ベクトルく d₃ 〉よりも大きいとは限らない。即ち、 3個の基底 <ν, ) + β₂ <ν₂ > + β₃ <ν₃ ) を符号化した結果、その復号後の誤差が前記第 1の誤差ベクトル = 〈d₃〉となるよりも、例えば 2個の基底 ]3, (ν, ) + β₂ <ν₂) を符号化し、かつその残りの 1基底分の符号量を利用して第 2の誤差ベクトル〈d₂〉をスカラー量子化した結果、その復号後の誤差が前記第 3の誤差ベクトル == 〈d' ₂〉となる方が、最終的な復号誤差は小さレ、かも知れない。

そこで、本発明（4) においては、第 3の誤差べクトル〈d'。〉，〈d，

, ) , 〈d' ₂〉と第 1の誤差べクトル〈d₃〉とのなかで、最も誤差が小さいものを選択して対応する基底及び必要なら第 2の誤差べクトルを符号化するものである。

上記の例で言うと、もし第 3の誤差ベクトル〈d' ₂〉が最も誤差が小さい場合は、直交基底系として {/3, く _Vl〉 + β₂ <ν₂> } を採用し、これらを符号化すると共に、第 2の誤差べクトルく d₂〉を併せて符号化（スカラー量子化）する。このようにして生成した符号は、基底を n k個使用する場合の総符号量よりも大きくはならない様に量子化係数 Q_ykを定めているので、画素ブロック当たりの符号量を増加させずに画品質のみを向上させることが出来る。

この様に、本発明（4) においては、適応的直交変換と、必要なら m個の基底を使用した後の第 2の誤差べクトルのスカラー量子化とを併用する構成により、残差べクトル〈d〉をより高い精度で符号化可能となる。また、その際には、第 2の誤差ベクトルを余基底数 y k (=n k -m) に応じた量子化係数 Q_ykでスカラー量子化し、かっこれを余基底数 y k分の符号量に符号化するので、当該画素プロックに対する総符号量を増さずに画品質のみを向上させ、かつ当該画素ブロック当たりの符号長を復号容易な形（所定ビット数の倍数）にでき、よって復号時の演算負荷が大幅に軽減される。

また図 1 (B) の構成による本発明（5) の画像符号 Z復号方法は、 KX K画素のブロック平均値からなる自ブロック Sを含む上下左右 U， B, L， Rの計 5つの DC画像データに基づき、自ブロック S上の左上の第 1のサブブロック S,の（K/2) X (K/2) の各画素データ〜P₄を次式、 P, = S + (2 U+ 2 L- 2 S -B-R) /S

P₂ = S + (2U-B-R) /8

P₃ = S + (2 L -B -R) /S

P₄ = S + (2 S -B-R) /S

また自ブロック S上の右上の第 2のサブブロック S₂の（KZ2) X (K/ 2) の各画素データ〜P₄を次式、

P, =S + (2U-B- L) /8

P₂ = S + (2U+ 2 R- 2 S -B-L) / 8

P₃ =S + (2 S -B- L) 8

P₄ = S + (2 R-B- L) /8

また自ブロック S上の左下の第 3のサブブロック S₃の（KZ2) X (Kノ 2) の各画素データ P,〜P₄を次式、

P, = S + (2 L-U-R) /8

P₂ = S + (2 S -U-R) ノ 8

P₃ =S + (2 B + 2 L- 2 S -U-R) /8

P₄ =S + (2 B-U-R) /8

及び又は、自ブロック S上の右下の第 4のサブブロック S₄の（KZ2) X (K/2) の各画素データ〜P₄を次式、

P, =S + (2 S -U- L) /8

P₂ =S + (2 R-U-L) 8

P₃ =S + (2 B-U- L) /8

P₄ = S + (2 B+ 2 R- 2 S -U- L) /S

により求めるものである。

本発明（5) においては、自ブロックを含む近傍の DC画像データ S， U ， B, L, Rから無段階で自ブロック S上の KXK画素の画素データを直接に求める構成により、画像符号/復号時の C PU及びメモリ負荷が大幅に軽減される。なお本発明（5) の方法は、画像符号時には交流成分の予測等に、また画像復号時には交流成分の再生等に利用できる。

また本発明（6 ) の記録媒体は、上記本発明（1 ) 〜（5 ) の何れか 1つに記載の処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。図面の簡単な説明図 1は本発明の原理を説明する図、

図 2は実施の形態による画像符号ノ復号方式の構成を示す図、

図 3は実施の形態による画像符号化処理のフローチャート（1 ) 、図 4は実施の形態による画像符号化処理のフローチャート（2 ) 、図 5は実施の形態による画像符号化処理のフローチャート（3 ) 、図 6は実施の形態による画像符号化処理のフローチャート（4 ) 、図 7は実施の形態による画像符号化処理のフローチャート（5 ) 、図 8は実施の形態による画像符号化処理のテーブルを説明する図、図 9は実施の形態による画像符号化処理のイメージ図（1 ) 、

図 1 0は実施の形態による画像符号化処理のイメージ図（2 ) 、図 1 1は実施の形態による画像符号化処理のイメージ図（3 ) 、図 1 2は実施の形態による画像符号化処理のイメージ図（4 ) 、図 1 3は実施の形態による画像複号化処理のフローチヤ一ト、

図 1 4は実施の形態による非段階的交流成分予測処理のィメージ図、図 1 5は実施の形態による符号化効率のグラフ図、

図 1 6は従来技術を説明する図（1 ) 、

図 1 7は従来技術を説明する図（2 ) である。発明を実施するための最良の形態以下、添付図面に従って本発明に好適なる実施の形態を詳細に説明する。なお、全図を通して同一符号は同一又は相当部分を示すものとする。

図 2は実施の形態による画像符号復号方式の構成を示す図で、ゲームシステムへの適用例を示している。

図 2において、 1 0はゲーム機本体、 1 1はゲーム機の主制御 {ゲームプログラム， 3 DCG及びテクスチャデータ TXDの読込制御，ユーザによるゲーム操作データの読込制御等）並びに 3 DCGアニメーションに係るゲーム処理（ゲームキャラクタの移動処理等）を行う CPU (ゲームプロセッサ ) 、 1 2は C PU 1 1が使用する RAM, ROM, EEPROM等からなる主メモリ（MM) 、 1 3は C PU 1 1のローカル（ホスト）ノくス、 14はデータを高速転送可能なバス、 1 5はバス間の接続（及び競合調停）制御を行うブリッジ、 1 6はュ一ザがゲーム操作やパラメ一タ設定等を行うための各種制御キー（スタートキー，選択キ一，十字キー等）や、マウス，ジョイスティック等の位置入力手段を備える操作パッド、 1 7は操作パッド 1 6をゲームシステムに収容する周辺インタフェース（P I F) 、 1 8はゲームプログラム（処理手順，ゲームパラメータ， 3 DCGモデルデータ，テクスチャデータ等）をマスク ROM等に記録している ROMカートリッジ（ROM— C) 、 1 9は ROMカートリッジ 1 8をゲームシステムに着脱自在に収容可能な ROM力一トリッジインタフェース（ROM— C I F) 、 20は上記ゲ —ムプログラムを記録しているコンパクトディスク ROM (CD-ROM) 、 21は CD— ROM 20をゲームシステムに着脱自在に収容し、駆動可能な CD— ROMドライバ、 22は、ゲームプログラムのオンラインダウン口一ドゃ他のゲーム機との間で対戦ゲームを行うために、本システムを不図示の公衆網に接続する通信制御部（COM) 、 23は通信線である。

更に、 30は入力の 3 DCGモデルデータを 2D画面に透視変換するための 3Dァクセラレータ、 3 1はジオメトリプロセッサ、 32はキャラクタ，背景等の各基準位置データ、及びその形状モデルデータに従って 3 D空間上の各対応位置にポリゴン等の集合からなる実サイズの 3 DCGモデルを生成 •展開するモデリング変換部、 33は前記生成モデルに対して光線（太陽光，照明光等）を考慮した陰影を付ける陰影処理部、 34はワールド座標系 X Y Zにおける 3 D C G画像デ一タをカメラ視点情報に従う視点座標系 X y z の 3 DCG画像データに変換する視点変換部、 35はカメラの視点情報（視点座標系 X y z ) に従って 3 D C G生成モデルの透視変換を行う透視変換部である。

更に、 36は表示ラスタに同期した処理を行うレンダリング（ラスタ）プロセッサ、 37は透視変換後の各画素データを CRT 45の走査線アドレス X , yに従って抽出する走査線分解部、 38は Zバッファ、 3 9は Zバッファ 38を使用して画面 45 Aに見えないはずの部分の画素データを画面 45 Aに見える部分の画素データで書き換える隠面消去部、 40は本発明による入力のテクスチャ圧縮データを解凍（復号）するテクスチャ復号部、 41はテクスチャデータを一時的に蓄えるテクスチャバッファ、 42は画面 45 A に見える部分の各画素データに対してテクスチャバッファ 4 1の各対応するテクスチャデータを貼付けるテクスチャ処理部、 43は出力のカラー画像デ —タ（R， G， B) を記憶するフレームメモリ、 44はフレームメモリ 43 のカラ一画素データをアナ口グ画素信号に変換して CRT45にビデオ信号 VSを提供する DZA変換部（DAC) 、 45は表示部としての例えばカラ —CRTモニタ、 45Aはその表示画面、 46は CR45の水平垂直同期信号 H， V及び 3 Dァクセラレータ 30の x， y同期信号を発生する CRT制御部（CRTC) である。

更に、外部のゲーム作成装置 50は、ゲームプログラム（処理手順，ゲ一ムパラメータ， 3DCGモデルデータ，テクスチャデータ等）を作成して R OMカートリッジ 1 8又は CD— ROM 20に記録する。またテクスチャデ ―タの作成時には本発明による画像符号化方式が実行され、画像圧縮されたテクスチャデータ TXDが ROMカートリッジ 1 8又は CD— ROM 20に記録される。そして、この画像圧縮されたテクスチャデータ T X Dはテクスチヤ復号部 4 0で高速に復号され、更に 2 D透視画像に貼りつけられ、画面 4 5 Aに表示される。以下、ゲーム作成装置 5 0における画像符号（圧縮）処理を説明する。

図 3〜図 7は実施の形態による画像符号化処理のフローチャート（1 ) 〜 ( 5 ) 、図 8は同画像符号化処理のテーブルを説明する図、図 9〜図 1 2は同画像符号化処理のイメージ図（1 ) 〜（4 ) であり、以下、これらの図を参照して画像符号化処理の詳細を説明する。

なお、明細書を通して、記号く〉はべクトル、記号 II IIはべクトルの大きさ、記号 ·はベタトルの内積、記号 [演算] は演算結果の整数化を夫々表す。但し、記号 [演算] を異なる意味で使用する場合はその旨を付記する。また図や [数] 中のべクトルを太文字で表す。

また、フローチャートにおいて、原画像のサイズを横 n，縦 m画素とする。また、記号 T_ra,_nは画像 Tの m行 n列から 4 X 4画素の正方形ブロックを取り出した部分画像データを表し、記号 B _y，_x,_sy,_sxは D C画像の y行， X列から横方向に s X , 縦方向に s yのステップで 4 X 4の合計 1 6画素分のデータを取り出したプロックを表すものとする。

図 3は画像符号化処理のメイン処理を示している。

ステップ S 1では原画像データを読み込む。

図 9 (A) に原画像データ Tのイメージを示す。 R G B系の対象画像を Y U V系に変換して読み込む。 Yは輝度データ、 U， Vは色差データに相当し、 U， Vは横 2画素の輝度平均を用いてダウンサンプリングされる。一例の輝度データ γは縦 ₉ 6 0 X横 1 2 8 0画素から成り、 U， Vは夫々縦 9 6 0 X横 6 4 0画素からなる。 Y， U， Vの各画素データには夫々例えば 8ビットが割り付けられている。

なお、以下は輝度データ Yの処理を中心に述べるが、 U， Vについても同様に処理できる。図 3に戻り、ステップ S 2では DC画像作成処理を実行する。 DC画像作成処理は原画像を 4 X 4画素のブロック毎に分割し、各ブロックの平均値 M よりなる DC画像を作成する処理である。

図 4に DC画像作成処理のフローチヤ一トを示す。ステップ S 2 1では原画像のアドレスレジスタ i， j を共に「0」に初期化する。ステップ S 2 2 では DC画像のアドレスレジスタ I， Jに i Z4. jZ4をセットする。ステツプ S 2 3では原画像から 4 X 4画素のブロックデータ丁を取り出す。ステップ S 24ではブロックデータ Tj. iに含まれる 1 6画素データの平均値 Mを求める。ステップ S 2 5では該平均値 Mを D C画像の記憶位置 D C j,!に格納する。ステップ S 2 6では iに + 4し、ステップ S 2 7では i > nか否かを判別する。 i 〉nでない場合はステップ S 2 2に戻り、今度は次列のブロックデータ丁の平均値 Mを求め、次列のに格納する。以下同様にして進み、やがてステップ S 2 7の判別で i 〉nになると、ステツプ S 2 8では iを「0」に初期化し、かつ jに + 4する。ステップ S 2 9では： i >mか否かを判別し、 j 〉mでない場合はステップ S 2 2に戻り、今度は次行のブロックデータ Tj. iの平均値 Mを求め、次行の D CJJに格納する。以下同様にして進み、やがてステップ S 2 9の判別で j >mになると、この処理を抜ける。

図 9 (B) に DC画像データ DCのイメージを示す。 1例の DC画像は縦 24 0 X横 3 2 0の DC値から成っている。

図 3に戻り、ステップ S 3では DC画像を 2次元 DP CMにより符号化して出力する。

図 1 0 (A) に 2次元 D P CMの処理イメージを示す。今、 DC画像の J 行， I列の DC値を DC_J;I とする時に、該 D CJJの予測値 DC' uを例えば DC' _:>1 = (DCj.w +DCj— ） Z 2により求め、その予測誤差 Δ DC _J;I =DC_:>I -DC を量子化係数 Q_sによりスカラー量子化 {即ち、 [

/Qs ] } して出力する。但し、この場合の記号 [ a ] は実数 aを四捨五入した結果を表す。なお、予測誤差 ADCJJが「0」の場合のみランレングスを考慮して、予測誤差 ADC ₁及びランレングスを夫々独立にハフマン符号化する。

図 8 (A) に量子化係数 Q_sのテーブルを示す。量子化係数 Q_sの値は複数段階の許容誤差 Zと対応付けられている。使用者は、高い画品質を要求する時は許容誤差 Zを小の範囲で選び、また低い画品質でも良い時は許容誤差 Zを大の範囲で選ぶ。これに応じて量子化係数 Q_sは 1〜8の範囲で変化する。

図 3に戻り、ステップ S 4では原画像のアドレスレジスタ i， jを共に「 0」に初期化する。ステップ S 5では DC画像のアドレスレジスタ I， Jに i /4, をセットする。ステップ S 6では 4 X 4の画素ブロックに対応する 1 6次元の残差べクトル〈d〉を、

〈d〉 -T^ -DCj,,

により求める。

図 1 0 (B) に残差べクトル〈d〉のイメージを示す。残差べクトル〈d > の各要素には夫々 8ビットが割り付けられている。

図 3に戻り、ステップ S 7では残差べクトル〈d〉の大きさ（2乗）が許容誤差 Zより小さいか否かを判別する。小さい場合は、復号側でこの部分のプロック画像データ Tj,iを後述の非段階的交流成分予測法により高精度に復元できるので、フローはステップ S 1 8に進み、基底数「0」を符号 F, として出力する。また小さくない場合は、残差ベクトル〈d〉を近似するための基底ベクトルを探査すべく、ステップ S 8に進み、適応的直交化処理を実行する。

図 1 1に適応的直交化処理のイメージを示す。適応的直交化処理は、残差ベクトル〈d〉を許容近似誤差 Z以内に近似するために必要な基底べクトルの個数 n kと、各基底べクトルく v_nk〉とを求める処理である。本実施の形態では、原画像を縦横とも 1 ： K (例えば K = 4) で圧縮した DC画像の一部を切り出してネストとして用い、ネストの軽量化を図っている。

図 1 1 (A) において、 DC画像から例えば縦 39 X横 7 1の DC値の領域を切り出してネストとする。また基底べクトル〈v_nk〉の探査は、縦横 1 DC値毎に頂点（x， y) e [0， 63] X [0， 3 1] を設定し、かつそのサブサンプル間隔は（s x, s y) e { (l， l) ，（1， 2) ， (2, 1) , (2, 2) } の計 4種類とする。なお、これは一例であり、ネストのサイズ、切り出し位置、基底べクトルのサブサンプル間隔等は任意に設定でさる。

図 1 1 (B) はネストから各種パターンでサンプリングされた各 DC値が基底ベクトル〈v_nk〉の 4 X 4の記憶領域に集められる状態を示している。即ち、（s x， s y) = (l， 1) の時はネスト上の 4 X 4の領域から 4 X 4の DC値が集められ、また（s x， s y ) = (1， 2) の時はネスト上の y方向に間延びした領域から 4 X 4の DC値が集められ、また（s x， s y ) = (2, 1) の時はネスト上の x方向に間延びした領域から 4 X 4の DC 値が集められ、また（s x， s y) = (2, 2) の時はネスト上の x及び y 方向に間延びした領域から 4 X 4の DC値が集められ、基底べクトルく v_nk > の記億領域に格納される。これは原画像が有する自己相似性を利用して、ネスト上の DC画像から様々な角度で原画像の画素ブロックに似た画像を探査する処理である。

図 5，図 6は実施の形態による適応的直交化処理のフローチャートである。図 5において、ステップ S 3 1では誤差レジスタ E_rrに大きな値（例えば 100000) をセットし、かつ基底数レジスタ n kを「1」に初期化する。ステップ S 32ではネスト画像の開始アドレスレジスタ x， yを共に「 0」に初期化する。ステップ S 33ではネスト画像のサブサンプル間隔レジスタ s x， s yを共に「1」に初期化する。

ステップ S 34ではネスト画像から 4 X 4の DCブロック画像 B_y,_x,_sy,_sxを取り出して基底ベクトルく v_nk〉 {後述の図 1 1 (C) における基底べクトルく u_nk〉に相当 } を作成し、かつ n k > 1の場合はグラム 'シュミットの直交化法により、それ以前の基底べクトルと直交化する。

グラム ·シュミットの直交化法とは、 n次元内積空間 Vの一つの基底 { v ,， ···, v_n } より Vの正規直交基底 { ν' …， v' Jを構成する方法であり、以下、図 1 1 (C) を参照してグラム .シュミットの直交化法を概説する。第 1の基底ベクトル〈V （但し、〈_Ul〉に相当）とすると、第 1 の正規化基底べクトルく v' は単位べクトルであるから、

とおける。次にネスト画像から第 2の基底ベクトルく u₂〉が抽出されたとすると、前記第 1の正規化基底べクトル〈νΊ〉と直交するような第 2の直交基底べクトルく ν₂〉は仮に、

v₂ =u₂ + κ ν】'

と置ける。すると、く ν₂〉 · (ν',) = 0より、

ν₂ · Vj' =\ ₂ +k ν,') · v{ = ι₂ · v{ + k \v{ · v[) = ₂ ·ν[ + k = 0 の関係が得られる。この時、スカラ一係数 kは、

k - - ₂ · vj)

となる。更に係数 kを上式に代入すると、第 2の直交基底べクトルく v₂〉は、

^V2 ="2 -("2 ^#νί)^νί

で表せる。そして、第 2の正規化基底べクトルく ν'₂〉も単位べクトルであるから、

, ₂ u₂ -(u₂ ·ν[)ν[

ν₂ - 7ΐ ~ ^-τ, =— » 11 ί； Μ,

11 ,：\—— , ^11 =― α,,

21 1 +α ",22，"₂

^V2 II ||"2 - ("2 · l||

となる。以下同様にして、一般に第 nの正規化基底べクトルく v'_n〉は、

V：、'" ^v\)^v\

v" II I "„一 ("" · ) ^vi— · K-i ) -i

となる _c ステップ S 3 5では正規化基底べクトル〈v， _nk〉を使用し、残差べクトル〈d〉との距離が最小となる様な基底ベクトルの展開係数 a_nkを求める。図 1 2 (A) の（a) に正規化基底べクトル〈v' _nk〉を使用して残差べクトル〈d〉を近似する処理のイメージを示す。図 1 2 (A) の（a) において、残差べクトル〈d〉と展開係数 a_nkを掛けた基底べクトル <ν' ) との差べクトル { (d> -a_nk (ν' J } の大きさが最小となるのは、基底べクトル a_nk 〈v，と差べクトル { 〈d〉 -a^ 〈v， J } とが直交する時（内積 =0) であるから、下式に従い正規化基底べクトルく v' _nk 〉の展開係数 a _nkが求まる。

=

ー ²

図 1 2 (A) の（b) については後述する。

図 5に戻り、ステップ S 3 6では残差べクトル〈d〉を基底ベクトル a _nk 〈ν' _nk〉で近似した時の誤差ベクトルの大きさ ε _rを求める。ステップ S 3 7では ε _r < Ε„か否かを判別する。 ί _r < E_rrの場合はステップ S 3 8での最小値に係る各種情報を記憶するためのレジスタ E„， X， Y， SX ， SYにその時の ε _Γ ， X , y， s x, s yを夫々保持する。また、レジスタ aにはその時の展開係数 a_nk、基底ベクトルの記憶領域〈v〉にはその時の基底べクトルく v_nk〉，直交化基底べグ卞ルの記憶領域〈ν' > にはその時の直交化基底べクトル〈v， _nk〉を夫々記憶する。また <E„でない場合は上記ステップ S 3 8の処理をスキップする。

ステップ S 3 9ではサンプル間隔 s Xに + 1 し、ステップ S 40では s X 〉2か否かを判別する。 s X〉 2でない場合はステップ S 3 4に戻り、今度は異なるサンプル間隔 s Xで抽出された基底べクトルく v_nk〉にっき上記同様の処理を行う。以下同様にして進み、やがて、ステップ S 40の判別で s X〉 2になると、ステップ S 4 1では s xを「1」に初期化し、かつサンプル間隔 s yに + 1する。ステップ S 42では s y > 2か否かを判別し、 s y 〉 2でない場合はステップ S 34に戻り、今度は異なるサンプル間隔 s yで抽出された基底べクトル〈v_nk〉にっき上記同様の処理を行う。以下同様にして進み、やがて、ステップ S 4 1の判別で s y〉 2になると、まずネスト画像の開始位置（X , y) = (0， 0) にっき、異なるサンプル間隔（s x ， s y) = (1， 1) ，（1， 2) ， (2, 1) ，（2， 2) を有する計 4 種類の各基底べクトルく v_nk〉が試されたことになる。処理は図 6のステツプ S 43に進む。

ステップ S 43ではネスト上の開始位置 Xに + 1 し、ステップ S 44では X > p (例えば p = 63) か否かを判別する。 X〉 pでない場合はステップ S 33 (②）に戻り、今度は X方向に 1 DC値分シフトさせた開始位置の各基底べクトルく v_nk〉にっき上記同様の処理を行う。以下同様にして進み、やがてステップ S 44の判別で X〉 pになると、ステップ S 45では開始位置 Xを「0」に初期化し、かつ開始位置 yに + 1する。ステップ S 46では y > q (例えば q = 3 1) か否かを判別する。 y > qでない場合はステップ S 33 (②）に戻り、今度は y方向に 1 DC値分シフトさせた開始位置の各基底べクトルく v_nk〉にっき上記同様の処理を行う。こうして、やがてステップ S 46の判別で y > qになると、ネスト画像上の全開台位置（ x， y ) ≡ [0， 63] X [0， 3 1] にっき、全サンプル間隔（ s x， s y) e { (1， 1) ，（1， 2) ， (2, 1) , (2， 2) } の各基底べクトル〈v _nk〉が試されたことになる。処理はステップ S 47に進む。

ステップ S 47では残差ベクトルく d〉からこの時点で最小の近似誤差 f _rをもたらした直交基底ベクトルひ〈ν' ) を差し引いて、誤差の大きさを求め、該大きさが許容値 Ζより小さいか否かを判別する。小さくない場合は、ステップ S 48で残差ベクトル〈d〉を { 〈d〉 -α 〈ν' 〉 } で置き換え、更新する。またこの時点で最小の近似誤差をもたらした展開係数ひ，基底べクトル〈v〉，直交化基底べクトルく v' ) の内容を a_nk， (_Vnk ) , <ν' _nk) として記憶エリアに退避 '保持する。因みに、 n k = lの時は α,， <ν,) , く ν' ,〉が退避 '保持される。また n kに + 1 して、ステツプ S 3 2 (①）に戻る。

以下同様にして進み、やがてステップ S 47の判別で近似残差が許容値 Z より小さくなると、ステップ S 49に進み、各直交化基底ベクトル a_nk 〈v ， _nk〉（但し、 n k = l， 2， ···）の 1次結合からなるベクトルを各基底べクトル l3_nl! <v J {図 1 1 (C) の各基底べクトル〈"„₄〉に相当 } の 1次結合からなるべクトルに変換する。以下、係数 ]3を基底べクトル〈v〉の展開係数と呼ぶ。

ここで、上記ステップ S 49の変換方法を具体的に説明する。今、 k = l 〜n kとする時に、基底べクトルく v_A〉 U旦し、上記図 1 1 (C) の基底べタトルく^〉に相当 } からなる行列を、スカラー展開計数からなる行列を B、正規化直交基底ベクトル〈〉からなる行列を)^、スカラー係数 a_t からなる行列を Aとする時に、夫々を、

«1

a nk と置くと、上記ステップ S 49の変換は、

VB = VA

と置くことにより得られる。これを行列 Bについて解くためには、まず行列 Vを正方行列に変換すべく、行列 Vに行列 ^t は Vの転置行列）を左から掛け、

V^TVB = V^TV'A

を得る。この行列 (v^Tv) は、 V, ] · V] V, · v₂

v₂ · j v₂ · v₂ ^V2 ·

V^TV = 1,^V2,

の様に展開され、ここで〈 ,〉，^〉は内積を表し、かっ〈〉*〈〉= であるから、対角要素に対して対称な正方行列が得られ、かつ〈〉と〈〉とが異なるから、逆行列が存在する。そこで、更に左から行列 (ί^ )の逆行列

V^TV) を掛け、

\V^TV) V^TVB^B = (V^TV) V^TV'A が得られる。

このように、本実施の形態では、残差べクトル〈d〉との誤差を許容値 Z 未満に近似するのに必要な最小限個数 n kの直交化基底ベクトル〈_v， _nk〉を探索した後、それらを元の基底べクトルく v_nk〉 (= (u ) の線形結合で表し、かつ各基底べクトルく v_nk〉の展開係数を求めて、これらを符号化する構成により、復号時にはグラム ·シュミットの直交化計算が不要となるように配慮している。また、ノルムを 1に正規化することも省略している。

図 1 2 (Α) の（b) は基底数 n k = 3であった場合の残差べクトル近似のイメージを示している。最初に残差べクトル〈d〉との誤差を最小とするような第 1の基底ベクトル (ν' ,) が求まる。次に該ベクトル〈ν ) に直交し、かつ更新された残りの残差べクトルく d' 〉との誤差 _{£ r}を最小とするような第 2の直交化基底ベクトル v'₂〉が求まる。次に該べクトルく v'₂〉に直交し、かつ更新された残りの残差べクトルく d"〉との誤差 i _rを最小とするような第 3の直交化基底ベクトル α₃ v'₃〉が求まる。

図 3に戻り、ステップ S 9では使用した基底数 n k〉 7か否かを判別する。 n k > 7 (8以上）の場合は、基底ベクトルを使用しても画像圧縮のメリットが出ないので、ステップ S 1 9に進み、基底数「8」を符号、使用基底数「0」を符号 F₂、また残差べクトル〈d〉そのものを符号 F₃として夫々出力する。また n k≤ 7の場合は、ステップ S 1 0に進み、上記基底ベタトルの使用に併せて以下のスカラー量子化処理を実行する。

スカラー量子化処理では、まず選択された n k個の内の選択された順に各 m個（0≤m≤n k) の基底を採用した場合の誤差ベクトルく d_m〉を、

;=1

により求める。なお、 m=0の場合の、

∑

;=1

はゼロべクトルを表す。更に、この誤差べクトルく d_m〉を採用されなかつた余基底数 y k = n k—mに相当する符号量でスカラー量子化する。即ち、誤差ベクトルく d_n〉を余基底数 y kに対応する量子化係数 Q_ykでスカラー量子化し、その値を [― 2 ， 2 —¹一 1 ] の値域でクリッビングする。ところで、こうしてスカラ一量子化 ·クリッビングされた誤差べクトルく d' _m ) がその復号後に元の誤差ベクトルく d_m〉と同一になるとは限らなレ、。そこで、予め各 m (m= 1 , 2， ···, n k) にっき、各量子化誤差べクトル〈d' _m〉を各対応する量子化係数 Q_ykで逆量子化して各逆量子化残差ベタトル〈d'，„〉を求め、誤差 II (d_m> 一 (d"_m> IIが最小となるような mを探査し、最終的にはこの m個の基底を採用した場合の符号を生成することとする。

図 8 (B) にスカラー量子化テ一ブルを示す。

n k = 8の場合には、基底を 1つ使用した時（m= l) の余基底数 y k二 7であり、以下同様にして進み、基底を 7つ使用した時（m= 7) の余基底数 y k = lである。

なお、後述するが、本実施の形態では 1つの基底につきその符号に 2バイトを使用するので、もし 8つの基底を使用するとトータルの符号長は 1 6バィトになる。しかるに、 1 6バイトの容量があれば、 1 6次元の残差べクトル〈d〉をそのまま符号化できるから、適応的直交変換を行うメリットが無レ、。そこで、基底を 0〜 7個の範囲で使用し、これに応じて余基底数 y kは 7〜：！となる。

各量子化係数 Q_ykは余基底数 y kに対応して予め定められている。好ましくは、各量子化係数 Q_ykは誤差べクトル〈d_m〉を余基底数 y k分の符号量に収められる様に選ばれている。

今、余基底数 y k = 1の場合は、 1 6 X 1 ビットを誤差ベクトルく d_m〉のスカラー量子化に使用できる。これは誤差ベクトルく d_m〉の各要素当たり 1ビットの符号量である。即ち、この場合は誤差べクトルく d_m〉を Q_yk =8でスカラー量子化し、その値を [― 2'—'， 2¹— = [― 1， 0] にクリッピングする。ここで、例えば符号のビット「0」は大きさ「一 1」、ビット「1」は大きさ「0」に対応する。以下同様にして進み、今、余基底数 y k = 7の場合は、 1 6 X 7ビットを誤差ベクトルく d_ra〉のスカラ一量子化に使用できる。これは誤差ベクトルく d_m〉の各要素当たり 7ビットの符号量であり、この場合は誤差ベクトルく d_m〉を Q_yk= 2でスカラー量子化し、その値を [— 2⁷—'， 2⁷'¹ - 1 ] = [—64， 6 3] にクリツピングする。こうして、 m個の基底とスカラー量子化された誤差とを併用することで、符号量を変えずに画品質のみを向上させることができる。また余基底数 y k分の展開係数 ]3は不要となるため、若干の符号量が減少する。

図 7はスカラー量子化処理のフローチヤ一トである。ステップ S 6 1では使用基底数カウント用のレジスタ mを「0」に初期化する。ステップ S 6 2 では m個の基底を採用した後の誤差ベクトルく d_m〉を求める。なお、 m = 0の場合の∑の項はゼロべクトルを表す。即ち、誤差べクトル〈d。〉 = ( d〉（残差ベクトル）となる。ステップ S 6 3では n k (l≤n k≤ 7) 個の内の今回の試行では使用されない余基底数 y kを、 y k = n k— mにより求める。ステップ S 64では誤差ベクトルく d_m〉を Q_ykでスカラー量子化し、結果の誤差べクトル〈d' _m) の各要素を [一 2 ¹， 2 ¹— 1 ] の範囲にクリッビングする。

ステップ S 6 5では上記量子化（かつクリッビング）後の誤差べクトルく d， _m〉を同 Q_ykによりスカラ一逆量子化する。ステップ S 6 6では元の誤差べクトル〈d_m〉と前記逆量子化した誤差べクトルく d''_m〉とを比較した場合の誤差 f r_mを求め、これを所定エリアに退避 '保持する。ステップ S 6 7ではレジスタ mに + 1する。ステップ S 68では m〉 n k ( 1≤ n k ≤ 7) か否かを判別する。 m〉n kでない場合はステップ S 6 2に戻り、上記同様の処理を行う。

やがて、上記ステップ S 6 8の判別で m〉 n kになると、各 m (m=0, 1 2 3 ·■·, n k) 個の基底を採用した場合の誤差 £ r f r が求まる。ステップ S 6 9では誤差 ε r i r の中から最小の誤差 _f r_mkを抽出する。ステップ S 70では基底数 n kを符号 F 1として出力する。ステツプ S 7 1では使用基底数（実効基底数） m kを符号 F 2として出力する。ステツプ S 7 2では各使用基底のネスト上の開始位置（x y) 、サブサンプル間隔（s x s y) 及び各使用基底の展開係数を Q (例えば 8) で量子化した乗余を各基底毎に 1 6ビットにつめて符号 F₄ として出力する。

符号 F₄の内訳は、ネスト上の開始位置（X , y) に横 6ビットと縦 5ビットの計 1 1ビット、 4種類の内のいずれかのサブサンプル間隔に 2ビット、展開係数 /3の剰余に 3ビットの計 1 6ビットとなる。従って、符号 F₄は使用基底毎に 2バイトを消費する。

ステップ S 73では上記基底の展開係数 ]3を Q (例えば 8) で量子化した商を符号 F₅として出力する。ステップ S 74では上記最小の逆量子化誤差 e r_mkとなる時の誤差べクトルく d' _mk〉を余基底数 y k相当の 1 6 X (n k-mk) ビットの領域に割り振り、符号 F₃として出力する。そして、この処理を抜ける。図 3に戻り、かくして、この時点で原画像の 1残差ベクトル〈d〉の符号化が終了した。更に、ステップ S 1 1ではァドレスレジスタ iに +4し、ステツプ S 1 2では i 〉nか否かを判別する。 i > nでない場合はステップ S 5に戻り、次の i軸方向に 4ビットずれた位置からの 1残差ベクトル〈d〉にっき上記同様の処理を行い、符号化する。以下同様にして進み、やがて上記ステップ S 1 2の判別で i 〉 nになると、ステップ S 1 3では iを「0」に初期化し、かつ jに +4する。ステップ S 1 4では j 〉mか否かを判別し、 j 〉mでない場合はステップ S 5に戻り、次の j軸方向に 4ビットずれた各残差べクトルく d〉にっき上記同様の処理を行い、符号化する。以下同様にして進み、やがて上記ステップ S 14の判別で j >mになると、全画像の残差べクトル〈d〉にっき上記符号化処理が終了した。

なお、図 1 2 (B) に画像圧縮符号の表を示す。以下の説明ではこの表も参照されたい。

図 3に戻り、ステップ S 1 5では可変長符号 Fい F₂， F₅をハフマン符号化して出力する。但し、符号 F,の基底数「n k」については、 n k = 0 の場合のみランレングスを考慮して、ハフマン符号化を行う。符号 F₂の使用基底数「mk」についても同様に考えられる。符号 F₅については、展開係数 ]3を定数 Q (例えば 8) で量子化した商をハフマン符号化する。なお、余基底数 y k≠0の場合は、画素プロックの切り替わりを示すための符号 E OBを書き込む。

ステップ S 1 6では可変長符号 F₆をハフマン符号化して出力する。符号 F₆は DC値の 2次元 DP CMによる予測残差 AD C _Iを量子化係数 Q_sで量子化したものである。但し、予測残差 ADCu =0の場合のみランレングスを考慮して、予測残差△ D C z及びランレングスを夫々独立にハフマン符号化する。

ステップ S 1 7では可変長符号 F₃，固定長符号 F₄をハフマン符号化して出力する。符号 F\は、使用基底数 mk〉 0の場合の最終的な誤差べクトルく d' を Q_ykでスカラー量子化 [ く d' _rak〉 /Q_yk] したものであり、使用基底数 mk = 0の場合は元の残差ベクトル〈d〉そのものが符号となる。符号 F₄は、 1基底当たり、ネストの開始座標（x， y) の 1 1ビットと、サブサンプル係数（ s X， s y ) の 2ビットと、展開係数 βの剰余（ β / Q) の 3ビットとの計 1 6ビット固定から成り、これらは使用基底の出現順に詰めて構成される。

また上記符号の全体としては画素プロック単位で出現順に詰めて符号列を構成する。実際上、大半のブロックでは基底数 n kが 2個前後となり、少数の可変長符号にするのは基底の展開係数 ]3を Qで量子化した商と、 DC画像の DP CM符号及び基底数「n k」，使用基底数「mk」のみとなる。図 1 3は実施の形態による画像複号化処理のフローチャートである。ステップ S 8 1では画像符号データを読み込む。ステップ S 8 2では Y， U， V の各 DC値を解凍（復号）する。因みに、復号結果の DC値 DC'' wは、 DC" _:>1 =DC _:>1 + [ADC_J(1 /Q_s ] Q_sにより得られる。ここで、 D C は復号側における DCの予測値であり、 DC' _J;I = (DC"_J,_I-1 + OC" ) / 2で与えられる。ステップ S 8 3では Y成分の DC値からネストを生成する。ネストは DC画像上の開始位置及びサイズの情報を別途受け取ることで生成できる。ステップ S 84では復号（再生）画像のアドレスレジスタ jを共に「0」に初期化する。

ステップ S 8 5ではブロック画像（即ち、残差ベクトル）に関する符号データを入力する。ステップ S 8 6では基底数 n k〉0か否かを判別する。 n k = 0の場合はステップ S 9 7で後述する非段階的交流成分予測法により 1 6画素分の輝度データを求める。また n k〉 0の場合は更にステップ S 8 7 で使用基底数 m k >0か否かを判別する。

mk = 0の場合は、ステップ S 9 6で残差ベクトル〈d〉を逆量子化する。ステップ S 90では求めた残差べクトル〈d〉に復号 DC値を加算する。また mk〉0の場合は、ステップ S 8 8で余基底数 y k (= n k-mk) を求め、誤差ベクトル〈d' を Q_ykで逆量子化する。ステップ S 89では各基底の開始位置（x， y) ，サブサンプル間隔（s x， s y) に従いネストから mk個の基底ベクトルを作成し、展開係数 /3との積をとり、これらの 1次結合から成る近似ベクトル（直交基底系）を形成し、これに誤差べクトル〈d' を合成して、元の残差べクトル〈d〉を再生する。ステップ S 90では求めた残差べクトル〈d〉に復号 DC値を加算する。こうして、上記何れかの方法により 4 X 4のブロック画像 Tj.iが再生された。ステツプ S 91では再生画像丁を画像メモリに格納する。

ステップ S 92ではァドレスレジスタ iに +4し、ステップ S 93では i 〉nか否かを判別する。 i >nでない場合はステップ S 85に戻り、今度は次列のブロック画像データ丁を復号し、画像メモリに格納する。以下同様にして進み、やがてステップ S 93の判別で i 〉nになると、ステップ S 94では iを「0」に初期化し、かつ jに +4する。ステップ S 95では j >mか否かを判別し、 j 〉mでない場合はステップ S 85に戻り、今度は次行の各ブロックデータ Tj. iを復号し、画像メモリに格納する。以下同様にして進み、やがてステップ S 95の判別で j 〉mになると、画像複号化処理を終了する。

なお、図示しないが、 YUV系から RGB系に変換する。この時、 U， V のアップサンプリングには、補間フィルタを利用せず、横 2画素に同一の値を代入する。

図 1 4は実施の形態による非段階的交流成分予測処理のィメ一ジ図である。本実施の形態では近傍の DC画像から非段階的交流成分予測法により一挙に原画素ブロックの近似画像（AC画像）を生成する。

ところで、上記従来の段階的交流成分予測方によれば、注目ブロックを含む周囲 4ブロックの各 DC値（S， U, R， B， L) から注目ブロック S上のサブブロック S,〜S₄の各 DC値は次式、

S, =S+ (U+ L-B-R) /8 S₂ = S + (U + R-B-L) /8

S₃ =S+ (B + L-U-R) /8

S₄ =S+ (B + R-U-L) /8

により推定された。

図 14 (A) に上記図 1 7 (B) と同様の図を再度示す。同様にして、この 1段階目では U,〜U₄， L,〜L₄，！^〜尺 Bi B 等が推定される。また、上記方法を再帰的に使用することで、 S,上の 4画素 P,〜P₄は次式、

P】 =S】 + (u + L₂― ) /8

P₂ + (u_: L₂ /8

P₃ + (s: + L₂ -U₃ - /8

P₄ =s, + (s₂ + s₂ -u₃―し /8

S₂上の 4画素 p> ' P₄は次式、

Pi =s₂ + (u₄ + s】— s₄ - J ノ 8

P₂ =s₂ + (u₄ + R】 -S₄ - s, ) /8

P₃ =s₂ + (s₄ + s, -u₄― R】 ) Z8

P₄ =s₂ + (s₄ + R】一 U₄— s】 ) /8

S₃上の 4画素 P,〜P₄は次式、

P> =s₃ + + L₄ -B,一 s₄) /8

P₂ =S₃ + + S₄— B〗一 /8

P₃ =S₃ + (B, + _s〗 - sj /8

P₄ =S₃ + (B, + S₄— S〗一 LJ /8

S₄上の 4画素 P】〜P₄は次式、

P> =s₄ + (s₂ + ₃ — B₂— R₃) /8

P₂ =S₄ + (s₂ + R₃— B₂ — S₃ ) /8

P₃ =S₄ + (B₂ + — ° 一 R₃) /8

P₄ =S₄ + (B₂ + R₃— ₂— S₃ ) /8 により夫々推定される。

図 1 4 (B) は本実施の形態による非段階的交流成分予測法を示している。なお、以下の説明では図 1 4 (A) も参照する。まず S,上の 4画素 P, 〜P₄を求める場合は、 S₂ ^ S₃ S， U₃ =U, L₂ = Lの各近似を行う。この近似を上記 S,上の P,の式に適用すると、

P】 = S, + (U₃ + L₂ - S₃ - S₂ ) /8

が得られる。更に、この式に上記 S,の式、 Si =S + (U+ L-B-R) / 8を代入すると、 S,上の P,は最終的に、

P, = S + (2U+ 2 L- 2 S -B-R) /S

で表せる。また上記 S,上の P₂については、

P₂ = S, + (U₃ + S₂ - S₃ -L₂ ) /8

= S, + (U+ S - S - L) /8

が得られる。更に、この式に上記の式、 S, S + (U+ L-B-R) ノ 8を代入すると、 S,上の P₂は最終的に、

S + (2U-B-R) /S

で表せる。また上記 S,上の P₃については、

P₃ = + (S₃ + L₂ -U₃ - S₂ ) /8

= S, + (S + L-U- S) /8

が得られる。更に、この式に上記の式、 S, S + (U+ L-B-R) Z 8を代入すると、上の P₃は最終的に、

P₃ = S + (2 L-B-R) /8

で表せる。また上記 S,上の P₄については、

P₄ = S, + (S₃ + S₂ — U₃— L₂ ) /S

=S, + (S + S— U— L) /8

が得られる。更に、この式に上記 S,の式、 S, = S + (U+ L-B-R) 8を代入すると、 S,上の P₄は最終的に、 P₄ =S+ (2 S -B-R) /8

で表せる。従って、 S,上の〜P₄は最終的に、

P, =S+ (2U+ 2 L- 2 S-B-R) /8

P₂ = S + (2U-B-R) /8

P₃ =S + (2 L-B-R) /8

P₄ =S+ (2 S-B-R) /8

で表せる。

次に S₂上の 4画素〜P₄を求める場合は、 SI ^F S₄ S， Rj =R, u₄ =U, の近似を行う。この近似を上記 S₂上の P,の式に適用すると、 P, =S₂ + (U₄ — S₄ ) 8

= S₂ + (U+ S— S _R) /S

が得られる。更に、この式に上記 S₂の式、 S₂ =S+ (U + R-B- L) Z 8を代入すると、 S₂上のは最終的に、

P, = S + (2 U-B- L) /8

で表せる。また上記 S₂上の P₂については、

= S₂ + (U + R- S - S) S

が得られる。更に、この式に上記 S₂の式、 S₂ =S+ (U+R-B- L) Z 8を代入すると、 S₂上の P₂は最終的に、

P₂ =S+ (2U+ 2 R- 2 S-B-L) / 8

で表せる。また上記 S₂上の P₃については、

P₃ =S₂ + (S₄ -U₄ -R, ) /8

= S₂ + (S + S— U— R) /8

が得られる。更に、この式に上記 S₂の式、 S₂ =S+ (U + R-B-L) ノ 8を代入すると、 S₂上の P₃は最終的に、

P₃ = S + (2 S-B-L) /8

で表せる。また上記 S。上の P については、 P₄ = S₂ + (S₄ +R, -U₄ - S, ) /8

- S₂ + (S + R-U-S) /8

が得られる。更に、この式に上記 S₂の式、 S₂ = S + (U + R-B-L) / 8を代入すると、 S₂上の P₄は最終的に、

P₄ = S + (2 R-B- L) /8

で表せる。従って、 S₂上の P,〜P₄は最終的に、

P₂ =S + (2 U+ 2 R- 2 S -B- L) /8

P₃ = S + (2 S -B- L) /8

P₄ = S + (2 R-B- L) /8

で表せる。

次に S₃上の 4画素〜P₄を求める場合は、 Sj ^ S ^ S, L₄ = L, B₁ Bの各近似を行う。この近似を上記 S₃上の P,の式に適用すると、 P, =S₃ + (S, + L₄ -B, - S₄ ) /8

= S₃ + (S + L-B- S) ノ 8

が得られる。更に、この式に上記 S₃の式、 S₃ = S + (B + L-U-R) 8を代入すると、 ≤₃上の？₁は最終的に、

で表せる。また上記 S₃上の P₂については、

P₂ =S₃ + (Si + S₄ — Β〗一 L₄ ) Z8

= S₃ + (S + S -B- L) /8

が得られる。更に、この式に上記 S₃の式、 S₃ = S + (B + L-U-R) 8を代入すると、 S₃上の P₂は最終的に、

P₂ = S + (2 S -U-R) /8

で表せる。また上記 S₃上の P₃については、

P₃ = S₃ + (B, + L₄ - S, - S₄ ) /8

= S + (B + L- S - S) /8 が得られる。更に、この式に上記 S₃の式、 S₃ =S+ (B + L-U-R) 8を代入すると、 S₃上の P₃は最終的に、

P₃ = S + (2 B+ 2 L- 2 S-U-R) /8

で表せる。また上記 S ₃上の P₄については、

P₄ =S₃ + (B〗 +S₄ — S】一） ,8

= S₃ + (B + S-S-L) /8

が得られる。更に、この式に上記 S₃の式、 S₃ =S+ (B + L-U-R) Z 8を代入すると、 S₃上の P₄は最終的に、

P₄ = S + (2 B-U-R) /8

で表せる。従って、 S₃上の P】〜P₄は最終的に、

P, =S+ (2 L-U-R) /S

P₂ =S+ (2 S-U-R) /8

P₃ =S+ (2 B+ 2 L- 2 S -U-R) /S

P₄ = S + (2 B-U-R) /S

で表せる。

次に S₄上の 4画素 P,〜P₄を求める場合は、 S₂ S₃ S, R₃ ^R, B₂ Bの各近似を行う。この近似を上記 S₄上の P,の式に適用すると、 P, = S₄ + (S₂ +S₃ -B₂ -R₃) /S

= S₄ + (S + S— B— R) /%

が得られる。更に、この式に上記 S₄の式、 S₄ =S+ (B + R-U-L) 8を代入すると、 S₄上の P】は最終的に、

Pj =S + (2 S— U— L) ノ 8

で表せる。また上記 S₄上の P₂については、

P₂ =S₄ + (S₂ +R₃ -B₂ -S₃) /8

=S₄ + (S + R-B-S) /8

が得られる。更に、この式に上記 S₄の式、 S₄ =S+ (B + R-U-L ) Z 8を代入すると、 S₄上の P₂は最終的に、 P₂ = S + (2 R— U— L) /8

で表せる。また上記 S₄上の P₃については、

P₃ = S₄ + (B₂ + S₃ _ S₂— R₃ ) /8

= S₄ + (B + S - S -R) /8

が得られる。更に、この式に上記 S₄の式、 S₄ =S + (B + R-U-L) Z 8を代入すると、 S₄上の P₃は最終的に、

P₃ = S + (2 B-U- L) /8

で表せる。また上記 S₄上の P₄については、

P₄ = S₄ + (B₂ +R₃ - S₂ - S₃ ) /8

= S₄ + (B + R- S - S) /8

が得られる。更に、この式に上記 S₄の式、 S₄ =S + (B + R-U- L) 8を代入すると、 S₄上の P₄は最終的に、

P₄ = S + (2 B+ 2 R- 2 S -U- L) /8

で表せる。従って、 S₄上の〜P₄は最終的に、

P! = S + (2 S -U- L) /8

P₂ = S + (2 R-U-L) /8

P₃ = S + (2 B-U- L) /8

P₄ = S + (2 B + 2 R- 2 S -U- L) /S

で表せる。かくして、本実施の形態によれば、自己を含む近傍の各 DC値（ S, U, R, B, L) から 4 X 4画素の近似画像が直接（非段階的）に求められる。

図 1 5は実施の形態による符号化効率のグラフ図である。サンプル画像（ 3 2 0 X 24 0画素， 1画素の RG B各成分 8ビット精度）を用い、 B P P (Bit Per Pixel ) 、

B P R= [圧縮後の総データ量（bit) ] Z [原画像の画素数]

に対する P S NR (Peak-to-peak Signal— to— Noise Ratio) 、

P S NR [dB] = 2 0 1 o g₁₀ (2 5 5 /f ί ² ) により符号化性能を評価した。但し、 ε ²は画素当たりの平均二乗誤差を表す。

図 1 5 (Α) はアニメーション画像を使用した場合で、実線は本実施の形態、点線は J P E Gの場合を夫々示しており、図示の如く J P E Gの効率を大きく上回る符号化性能が得られている。図 1 5 ( B ) は C G画像を使用した場合で、上記同様の傾向が得られた。しかも、本方式では直交変換符号法に特有のモスキ一トノイズやブロックノイズが見られず、本方式が人工画像に対し有効であると考えられる。なお、図示しないが、自然画像に対しては J P E Gと略同一の性能が得られた。

なお、上記実施の形態ではゲームシステムへの適用例を述べたが、本発明は写真画像、アニメーション画像等の通常のフレーム画像の符号復号にも適用できることは明らかである。

また、上記本発明に好適なる実施の形態を述べたが、本発明思想を逸脱しない範囲内で、各部の構成、処理、及びこれらの組合せの様々な変更が行えることは言うまでも無い。

以上述べた如く本発明によれば、ネストを軽量化し、かつ可変長符号量を削減出来るために、復号時の計算負荷を大幅に軽減でき、比較的低性能のシステムでも動画や静止画の画像データを画品質を落とさずに利用可能となる。また輪郭部分でもモスキートノイズが発生せず、文字やアニメーション画像等の再現性も良い高圧縮率の画像データを提供できる。

Claims

請求の範囲

1. 画像データを複数画素のプロックに分割して各プロック平均値からなる DC画像を生成し、各画素プロックから対応するプロック平均値を分離してブロック毎の残差べクトルを求めると共に、残差べクトルの大きさが許容値以上の場合は、 DC画像のネストを使用した適応的直交変換により残差べクトルを近似するための 1又は 2以上の直交基底を求め、これらの 1次結合からなる直交基底系を符号化することを特徴とする画像符号方法。

2. 残差ベクトルの大きさが許容値未満の場合は、直交基底を求める代わりに、基底数 = 0の情報を符号化することを特徴とする請求項 1に記載の画像符号方法。

3. 求めた直交基底系の総符号量が残差べクトルの総符号量以上となる場合は、直交基底系の符号化に代えて、残差べクトルそのものを符号化することを特徴とする請求項 1に記載の画像符号方法。

4. 予め求められた基底数 n kにより残差ベクトル〈d〉との第 1の誤差〈d_nk〉が許容値未満となる場合に、前記求められた順に m (0≤m< n k ) 個の基底を使用した後の第 2の誤差べクトル〈d_m〉を、使用されなかつた余基底数 y k (= n k -m) に対応して予め定められた量子化係数 Q_ykでスカラ一量子化し、かっこれをスカラー逆量子化して、これを前記第 2の誤差べクトル〈d_n〉から引いて得られる n k種類の第 3の誤差べクトルく d ， _m) と前記第 1の誤差くとの中で最も誤差が小さいものを選択し、対応する基底及び必要なら第 2の誤差べクトルを併せて符号化することを特徴とする請求項 1に記載の画像符号方法。

5. KXK画素のブロック平均値からなる自ブロック Sを含む上下左右 U , B, L, Rの計 5つの DC画像データに基づき、自ブロック S上の左上の第 1のサブブロック S,の（KZ2) X (K/ 2) の各画素データ Ρ,〜Ρ₄ を次式、 P, = S + (2 U+ 2 L- 2 S -B-R) /S

P₂ = S + (2U-B-R) /8

P₃ = S + (2 L-B-R) /8

P₄ =S + (2 S -B-R) /8

また自ブロック S上の右上の第 2のサブブロック S₂の（Kノ 2) X (K/ 2) の各画素データ P,〜P₄を次式、

P, = S + (2 U-B- L) /8

P₂ =S + (2 U+ 2 R- 2 S -B-L) /S

P₃ =S + (2 S -B-L) /8

P₄ = S + (2 R-B- L) /S

また自ブロック S上の左下の第 3のサブブロック S₃の（K/2) X {K/ 2) の各画素データ〜P₄を次式、

P₂ =S + (2 S— U— R) /8

P₃ =S + (2 B+ 2 L- 2 S -U-R) / 8

P₄ = S + (2 B-U-R) /8

及び又は、自ブロック S上の右下の第 4のサブブロック S₄の（K/2) X (K/2) の各画素データ P,〜P₄を次式、

P, =S + (2 S -U-L) /8

P₂ =S + (2 R-U- L) /8

P₃ = S + (2 B-U- L) /8

P₄ =S + (2 B+ 2 R- 2 S -U-L) /S

により求めることを特徴とする画像符号復号方法。

6. 請求項 1乃至 5の何れか 1つに記載の処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。