JP3787911B2 - 画像信号の符号化／復号化装置 - Google Patents
画像信号の符号化／復号化装置 Download PDFInfo
- Publication number
- JP3787911B2 JP3787911B2 JP23728096A JP23728096A JP3787911B2 JP 3787911 B2 JP3787911 B2 JP 3787911B2 JP 23728096 A JP23728096 A JP 23728096A JP 23728096 A JP23728096 A JP 23728096A JP 3787911 B2 JP3787911 B2 JP 3787911B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- adrc
- data
- image
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画像データの高能率符号化の一つであるフラクタル符号化に適用される画像信号の符号化／復号化装置に関する。
【０００２】
【従来の技術】
従来より、画像の持つ自己相似性という冗長度を取り除くことによって、画像圧縮を行うフラクタル符号化が提案されている。画像の一部分の画像パターンに注目すると、同じ画像内に良く似た画像パターンが異なったスケールで存在する性質を部分的自己相似性という。フラクタル符号化は、符号化対象画像をｍ×ｎのレンジブロックに分割する。そして、各レンジブロックに対して変換を求める。この変換は、それぞれ適当に決められるドメインブロックの画素値を取り出し、縮小、回転等の簡単な線形変換を画素値に施したもので、レンジブロック内の画素を置き換える処理である。フラクタル符号化は、レンジブロックの画像パターンを正確に近似する変換を決定することである。
【０００３】
より具体的には、１フレームの画像を８×８画素のレンジブロックに分割し、また、１６×１６画素のドメインブロックが設定される。変換要素としては、４種類のもの（縮小変換、回転変換、鏡像変換、輝度変換）が設定され、また、これらの組合せの変換を含めて、合計８種類の変換が使用される。縮小変換は、４画素の値の平均をとって、水平、垂直の長さをそれぞれ1/2 に縮小するものである。回転変換は、０°、９０°、１８０°、２７０°の反時計方向の回転である。鏡像変換は、左右を入れ替える処理である。輝度変換は、平均値分離後ゲインを乗じ、振幅方向に縮小する処理である。この変換の処理を一般式で表したものを以下に示す。
【０００４】
【数１】
【０００５】
ドメインブロックに対する上述の変換を行った後、レンジブロックとの相似性をブロックマッチングによって見いだし、ドメインブロックの位置情報である、ベクトルおよび上式のパラメータ（すなわち、サーチ範囲内の位置、回転の角度、左右反転したかどうか）の伝送を行うことによって、情報量の圧縮がなされる。
【０００６】
復号側では、初期画像からドメインブロックを切り出し、受信されたパラメータを用いて変換を行った結果をレンジブロックとして初期画像に張りつけ、それによって画像の更新を行う。この操作を繰り返し行うことで、除々に解像度のある復元画像を生成する。
【０００７】
【発明が解決しようとする課題】
かかるフラクタル符号化においては、画像における部分自己相似性をより簡単に見いだすために、前処理として平均値分離操作などを行なって、適当にゲインを変化させることで正規化処理を行ない、線形変換を行なって、マッチング演算を行なっている。より具体的には、符号化の最初のステップにおいて、レンジブロックの平均値を求め、各画素の値から平均値を減じたものを探索のターゲットデータとし、また、ドメインブロックのデータの平均値を求め、これを各データから減じている。しかしながら、平均値の分離に伴い、計算量が増大するという問題があった。
【０００８】
従って、この発明の目的は、フラクタル符号化において、ＡＤＲＣ符号化という非常に簡単な正規化手段を用いることで、ゲインを変化させて反復する必要がなくなり、全体として計算量を削減することが可能な画像信号の符号化／復号化装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、この発明は、入力画像をｍ×ｎの大きさの第１のブロックに分割する手段と、
入力画像を第１のブロックと同一または異なる大きさのＭ×Ｎの第２のブロックに分割する手段と、
第１のブロックの画像データに対してＡＤＲＣ符号化を行う手段と、
第２のブロックの画像データに対してＡＤＲＣ符号化を行なう手段と、
第２のブロックのＡＤＲＣ符号化データの量子化データに対して、相異なる複数の線形変換を施す手段と、
第１のブロックと、複数の線形変換のそれぞれの線形変換後の第２のブロックとを、画面内で第２のブロック位置をずらせながらブロックマッチングを行なうことによって相似性のあるブロック位置と変換パラメータを決定する手段と、
ブロック位置情報と変換パラメータと第１のブロックのＡＤＲＣ符号化により生じたダイナミックレンジ、最大値、最小値のうちの二つの情報とを、第１のブロックのデータに代えて伝送する手段と
からなることを特徴とする画像信号の符号化装置である。
【００１０】
また、この発明は、上述の符号化装置に対する復号化装置であって、入力画像をｍ×ｎの大きさの第１のブロックに分割し、入力画像を第１のブロックと同一または異なる大きさのＭ×Ｎの第２のブロックに分割し、第１のブロックの画像データに対してＡＤＲＣ符号化を行い、第２のブロックの画像データに対してＡＤＲＣ符号化を行ない、第２のブロックのＡＤＲＣ符号化データの量子化データに対して、相異なる複数の線形変換を施し、第１のブロックと、複数の線形変換のそれぞれの線形変換後の第２のブロックとを、画面内で第２のブロック位置をずらせながらブロックマッチングを行なうことによって相似性のあるブロック位置と変換パラメータを決定し、ブロック位置情報と変換パラメータと第１のブロックのＡＤＲＣ符号化により生じたダイナミックレンジ、最大値、最小値のうちの二つの情報とを、第１のブロックのデータに代えて伝送するようにした画像信号の符号化装置に対する復号化装置において、
受信した第２のブロックの位置と変換パラメータと第１のブロックのＡＤＲＣ符号化により生じたダイナミックレンジ情報とを格納するメモリ手段と、
メモリ手段に格納された第２のブロックの位置情報に基づいて、任意の初期画像から個々の第１のブロックに対応した第２のブロックを切り出し、切り出された第２のブロックをＡＤＲＣ符号化する手段と、
変換パラメータを使用してＡＤＲＣ符号化のデータに対して線形変換を行う線形変換手段と、
メモリ手段に格納されたダイナミックレンジ情報とを使用して、線形変換手段の出力をＡＤＲＣ復号する手段と、
ＡＤＲＣ復号により生成された画像データにより初期画像を更新し、復号化画像を形成するメモリ手段とからなることを特徴とする画像信号の復号化装置である。
【００１１】
ＡＤＲＣ符号化によりレンジブロック（第１のブロック）およびドメインブロック（第２のブロック）の両者の画像データをレベル方向に正規化し、正規化されたドメインブロックのデータに対して種々の線形変換を行う。この線形変換後のドメインブロックのデータとレンジブロックのデータとの間で、ブロックマッチングを行い、相似性を見いだす。レンジブロックおよびドメインブロックの両者のデータをレベル方向に正規化しているので、ゲイン補正を考える必要がなくなり、計算量を減少できる。
【００１２】
【発明の実施の形態】
以下、この発明の実施の形態について説明する。まず、符号化について説明する。図１にこの発明によるエンコーダのブロック図を示す。入力端子１からのディジタル画像信号がレンジブロック化回路２およびドメインブロック化回路４に供給される。レンジブロック化回路２およびドメインブロック化回路４に対してＡＤＲＣエンコーダ３およびＡＤＲＣエンコーダ５がそれぞれ接続される。
【００１３】
レンジブロック化回路２では、入力画像信号が２次元の（ｍ×ｎ）、例えば８×８画素の大きさのレンジブロックに分割され、レンジブロック毎にＡＤＲＣエンコーダ３によって、ＡＤＲＣ符号化が行なわれる。ＡＤＲＣ符号化は、ブロック毎に画素値の最大値ＭＡＸ、最小値ＭＩＮを検出し、最大値ＭＡＸおよび最小値ＭＩＮの差である、ダイナミックレンジＤＲを求め、ダイナミックレンジＤＲとビット数から決定される量子化ステップ幅によって、最小値ＭＩＮを減じた修正入力画素値を元の量子化ビット数（８ビット）より少ない固定のビット数（例えば４ビット）で再度量子化するものである。符号化の結果である、ダイナミックレンジＤＲ、最小値ＭＩＮがパラメータメモリ８に送られ、各画素の量子化データＱｒが差分の２乗和を計算する演算回路７に送られる。ダイナミックレンジ情報としては、ダイナミックレンジＤＲ、最大値ＭＡＸ、最小値ＭＩＮのうちの二つを伝送すれば良い。
【００１４】
一方、ドメインブロック化回路４は、上記レンジブロックに対応したサーチ範囲（計算時間を抑えるために、例えば水平、垂直ともに−７〜＋８画素程度）の中から、２次元の（Ｍ×Ｎ）、例えば１６×１６画素程度の大きさのドメインブロックを切り出し、ＡＤＲＣエンコーダ５により、ＡＤＲＣエンコーダ３と同様のＡＤＲＣ符号化を行なう。
【００１５】
ＡＤＲＣエンコーダ５からのドメインブロックの符号化出力の中の量子化データＱｄに対して、次の線形変換回路６において、縮小変換（縦横それぞれ１／２）、回転（０°、９０°、１８０°、２７０°）、反転（左右反転）などの操作が行なわれ、最終的な画素単位の量子化データＱｄ´が差分の２乗和を計算する演算回路７に送られる。線形変換回路６においてなされる処理は、座標変換処理である。なお、線形変換回路６における変換パラメータは、パラメータメモリ８に供給され、パラメータメモリ８に記憶される。
【００１６】
差分の２乗和を計算する演算回路７においては、レンジブロックとドメインブロックの画素単位の差分（Ｑｒ−Ｑｄ´）が計算され、この差分の２乗値のブロック内での総和が計算され、計算された差分の２乗値の総和が評価値テーブル９に送られ、評価値としてテーブル９に格納される。なお、評価値としては、差分の絶対値和等を用いることができる。
【００１７】
次に、線形変換回路６において、パラメータを変更して変換処理を行い、同様にして差分の２乗値の総和を求め、これを評価値テーブル９に格納する。この動作を全てのパラメータに対して行ない、サーチ範囲内で１つのドメインブロックの位置に対する計算を終了する。一例として、下記に挙げる８種類のパラメータが使用される。
【００１８】
第１のパラメータ： 1/2の縮小
第２のパラメータ： 1/2の縮小および左右反転
第３のパラメータ： 1/2の縮小および９０°回転
第４のパラメータ： 1/2の縮小および１８０°回転
第５のパラメータ： 1/2の縮小および２７０°回転
第６のパラメータ： 1/2の縮小、９０°回転および左右反転
第７のパラメータ： 1/2の縮小、１８０°回転および左右反転
第８のパラメータ： 1/2の縮小、２７０°回転および左右反転
【００１９】
次に、サーチ範囲内でドメインブロックの切り出しを少し（例えば１画素）ずらして行ない、上記と同様な評価値の演算を全ての変換パラメータに対して行ない、サーチ範囲内で１画素ずつ動かした位置のドメインブロックを切り出し、全ての演算を終了する。
【００２０】
全ての演算が終了すると、評価値テーブル９に格納されている評価値の中から最小値を検出し、その最小値を生じさせる、ドメインブロックの位置、変換パラメータ（回転角度、左右反転の有無）を決定する。このようにして、ブロックマッチング法によりレンジブロックと相似な画像が探し出される。そして、パラメータメモリ８に格納されていたレンジブロックのダイナミックレンジＤＲ、最小値ＭＩＮとともに符号化データとして出力端子１２に取り出される。
【００２１】
以上の一連の符号化動作が、各レンジブロックについてなされ、画像フレーム全体にわたって符号化動作が行なわれる。伝送されるデータは、各４ビットの位置情報ｘ、ｙと、変換パラメータの３ビット（回転に関する２ビットと反転に関する１ビット）と、ダイナミックレンジＤＲの８ビットと、最小値ＭＩＮの８ビットである。従って、１画素が８ビットのデータの場合では、８×８×８＝５１２ビットの原データが２７ビットに圧縮することができる。なお、制御回路１１に関しては詳説しないが、各回路ブロックでの動作がスムーズに行なえるように、各種の制御信号を発生したり、メモリのアドレスを発生する。
【００２２】
図２は、レンジブロック化およびドメインブロック化の一例を示すものである。１枚（例えば１フレーム）の画像が８×８の大きさのレンジブロックへ分割される。例えば７２０画素×４８０ラインの有効画像がレンジブロックに分割されることによって、９０×６０のレンジブロックが形成される。画像の左上のコーナーから水平方向へ順次増加する番号ｉと、垂直方向に順次増加する番号ｊとによって、各レンジブロックの番号Ｂijが規定される。
【００２３】
ドメインブロックは、図２に示すように、１６×１６のサイズとされる。ドメインブロックの画素データをＡＤＲＣ符号化した量子化データＱｄを線形変換し、線形変換で得られた量子化データＱｄ´がサーチ範囲内で１画素ステップで動かされる。サーチ範囲は、一例として図３に示すように、水平および垂直方向のそれぞれで、（−８〜＋７）の範囲と規定される。このサーチ範囲の位置を水平方向では、ｋ（−８〜＋７）の番号で規定し、垂直方向では、ｌ（−８〜＋７）の番号で規定する。従って、サーチ範囲内のある位置のドメインブロックは、Ｄklで規定される。
【００２４】
図４は、符号化処理を示すフローチャートである。ステップＳＴ１では、ｉ＝０，ｊ＝０とされ、次のステップＳＴ２において、（ｉ≧９０）かどうかが決定される。そうでない場合では、ステップＳＴ３に処理が移り、レンジブロック化がされる。すなわち、ｊ＝０の９０個のレンジブロック化が最初になされる。最初のレンジブロックＢ00がステップＳＴ４においてＡＤＲＣ符号化される。
【００２５】
Ｂ00のレンジブロックからＢ890 のレンジブロックまでのＡＤＲＣ符号化が終了すると、ステップＳＴ２の決定の結果が肯定となり、処理がステップＳＴ５に移る。ステップＳＴ５は、（ｊ≧６０）かどうかを決定する。若し、そうであるならば、１フレームの処理が完了したことになる。ステップＳＴ５の決定が否定であるならば、ｊの値が＋１される（ステップＳＴ６）。そして、ステップＳＴ３のレンジブロック化がなされる。このようにして、全てのレンジブロックＢ00からＢ8959のＡＤＲＣ符号化がなされる。
【００２６】
ステップＳＴ４に続くステップＳＴ７において、サーチ範囲内のドメインブロックの位置が初期位置（ｋ＝−８、ｌ＝−８）とされる。ステップＳＴ８において、（ｋ≧８）かどうかが決定される。そうでない場合では、処理がステップＳＴ９に移り、ドメインブロック化がなされる。最初のドメインブロック化によって、ドメインブロックＤ-8-8が形成される。次のステップＳＴ１０においてドメインブロックＤklがＡＤＲＣ符号化される。
【００２７】
ＡＤＲＣ符号化で生じた量子化データＱｄがステップＳＴ１１において縮小される。縦横のブロックサイズがそれぞれ半分とされ、８×８のサイズとされる。この縮小がされたドメインブロックをＤkl´と表す。次のステップＳＴ１２では、回転操作の回転角度Ｒが０とされる。つまり、縮小のみの変換操作がドメインブロックの量子化データに対してなされる。次の決定のステップＳＴ１３では、Ｒ≧３６０°かどうかが決定される。このステップＳＴ１３の結果が否定の場合では、処理がステップＳＴ１４に移る。
【００２８】
このステップＳＴ１４では、角度Ｒの回転操作がなされる。Ｒ＝０の場合では、回転操作がされないことである。回転操作、または回転操作および反転操作がなされたドメインブロックをＤkl´´と表す。ステップＳＴ１５において、Ｄkl´´とＢijとの画素同士の差分が演算され、差分の２乗和が求められる。これが評価値として評価値テーブルに格納される。Ｒ＝０の場合では、縮小の操作がされたドメインブロックとレンジブロックとの間の評価値が求められ、テーブルに格納される。
【００２９】
ステップＳＴ１６において、ドメインブロックＤkl´´の左右反転操作がなされる。そして、ステップＳＴ１７において、Ｄkl´´とＢijとの画素同士の差分が演算され、差分の２乗和が求められる。これが評価値として評価値テーブルに格納される。Ｒ＝０の場合では、縮小および反転の操作がなされたドメインブロックとレンジブロックとの間の評価値が求められ、テーブルに格納される。
【００３０】
次のステップＳＴ１８において、回転角度が＋９０°され、ステップＳＴ１３の決定のステップに処理が戻る。そして、Ｒ≧３６０°ならば、ステップＳＴ１４、ＳＴ１５、ＳＴ１６、およびＳＴ１７の処理がなされ、求められた評価値が評価値テーブルに格納される。さらに、回転角度Ｒが＋９０°され、同様の処理が繰り返される。回転角度が０から開始して、９０°、１８０°、２７０°のそれぞれについて、上述と同様の処理がなされる。
【００３１】
一例として、ドメインブロックＤ-8-8について、前述したような８種類の変換パラメータについての評価値が求められる。すなわち、第１のパラメータ（ 1/2の縮小）、第２のパラメータ（ 1/2の縮小および左右反転）、第３のパラメータ（ 1/2の縮小および９０°回転）、第４のパラメータ（ 1/2の縮小および１８０°回転）、第５のパラメータ（ 1/2の縮小および２７０°回転）、第６のパラメータ（ 1/2の縮小、９０°回転および左右反転）、第７のパラメータ（ 1/2の縮小、１８０°回転および左右反転）、および第８のパラメータ（ 1/2の縮小、２７０°回転および左右反転）についての評価値がそれぞれ求められる。
【００３２】
一つのドメインブロックＤklについて、第１〜第８のパラメータのそれぞれについての評価値が求められると、ステップＳＴ１３の決定の結果が肯定となり、ステップＳＴ１９に処理が移り、ｋの値が＋１される。言い換えると、サーチ範囲内でドメインブロックの位置が水平方向で１画素シフトされる。そして、ステップＳＴ８に処理が戻り、上述したように、シフトされた位置のドメインブロックについての縮小、回転、左右反転の操作がなされ、８個の変換パラメータに関しての評価値が求められる。この評価値も評価値テーブルに格納される。
【００３３】
サーチ範囲内で、ドメインブロックの位置が水平方向に１画素ずつシフトされ、ステップＳＴ８において、ｋ≧８にまで到達すると、ステップＳＴ２０に処理が分岐する。ステップＳＴ２０では、ｌ≧８かどうかが決定される。すなわち、サーチ範囲の最も下側の位置にまで到達したかどうかが決定される。そうでない場合には、ステップＳＴ２１において、ｌの値が＋１され、ｋ＝−８に初期化される。そして、処理がステップＳＴ９（ドメインブロック化）に戻る。
【００３４】
このステップＳＴ９以降の処理は、上述したものと同様である。ステップＳＴ２０およびＳＴ２１を介することによって、サーチ範囲内のドメインブロックの垂直方向の位置が１ライン下側にシフトされ、そのライン上でｋの値がインクリメントされることによって、水平方向にドメインブロックの位置がシフトされ、各位置において評価値が計算される。
【００３５】
ステップＳＴ２０において、ｌ≧８の関係が成立すると、処理がステップＳＴ２２に移る。このステップＳＴ２２では、評価値テーブルに格納されている複数の評価値（上述したように差分の２乗和）の中の最小値を検出する。最小値が検出されると、次のステップＳＴ２３において、検出された最小値と対応して符号化データが作成される。符号化データは、ドメインブロックのダイナミックレンジＤＲおよび最小値ＭＩＮと、評価値の最小値を生じさせる、ドメインブロックの位置（ｋおよびｌの値）およびパラメータである。
【００３６】
求められたレンジブロックＢijの符号化データが伝送され（ステップＳＴ２４）、ステップＳＴ２５において、ｉの値が＋１され、次のレンジブロックについての符号化処理を行うために、処理がステップＳＴ２に戻る。ステップＳＴ２において、ｉ≧９０が満たされ、ステップＳＴ５において、ｊ≧６０が満たされることによって、１フレームの全ブロックの処理が終了する。
【００３７】
次にデコーダについて説明する。図５にこの発明によるデコーダの一実施例のブロック図を示す。上記符号化動作において作成された符号化データが伝送路を通じて伝送され、入力端子２１に供給される。この受信された符号化データがパラメータメモリ２２に格納される。
【００３８】
一方、フレームメモリＦＭ０には、何らかの初期画像（一様でもランダムでもよい）が設定されており、パラメータメモリ２２のドメインブロックの切り出し情報（位置情報ｘ、ｙ）をもとにドメインブロック（１６×１６画素）の切り出しが行なわれ、ドメインブロック化回路２３から切り出されたドメインブロックのデータが出力される。このドメインブロックのデータがＡＤＲＣエンコーダ２４に供給され、ＡＤＲＣ符号化が行なわれる。
【００３９】
ＡＤＲＣエンコーダ２４の出力中の量子化データのみが線形変換回路２５に供給される。線形変換回路２５に対しては、パラメータメモリ２２からの変換パラメータが与えられ、線形変換回路２５は、この変換パラメータに応じて縮小変換、回転、反転などの線形変換を切り出されたドメインブロックに対して施す。線形変換回路２５からの変換後の量子化データとパラメータメモリ２２からのダイナミックレンジＤＲ、最小値ＭＩＮがＡＤＲＣデコーダ２６に供給され、復号動作が行なわれる。もとの画素情報に復元されたデータはレンジブロックとしてフレームメモリＦＭ０に書き込まれる。
【００４０】
同様にして、次のレンジブロックに対応する符号化データの復号動作が行なわれ、１フレーム全体にわたって復号が終了した時点で、再度復号化動作を行なうよう、反復動作が行なわれる。この反復動作を収束させるための判定は、前回の復号結果をフレームメモリＦＭ１に格納しておき、フレームメモリＦＭ０との画素単位の差分の２乗和を演算回路２７により計算し、比較回路２８においてこれをあるしきい値ＴＨと比較することで実現する。すなわち、フレーム間差分の２乗和がしきい値ＴＨより大であるときは、未だ収束してないものと決定され、復号動作が繰り返される。
【００４１】
反復動作を続行することが決定したならば、フレームメモリＦＭ０のデータはフレームメモリＦＭ１にコピーされる。フレーム間差分の２乗和がしきい値ＴＨ以下であるならば、収束したものと決定され、反復動作を終了する。この場合は、フレームメモリＦＭ０のデータは復号画像として出力端子２９から外部に出力される。制御回路３０は、パラメータメモリ２２からのパラメータを受け取ってドメインブロックの切り出しを制御したり、比較回路２８の比較出力を受け取って反復動作を行うかどうかの制御を行う。
【００４２】
図６は、この発明の一実施例の復号動作を示すフローチャートである。最初のステップＳＴ３１では、フレームメモリＦＭ０およびＦＭ１が初期化される。次のステップＳＴ３２において、１フレームの符号化データを受信する。レンジブロックの番号ｉおよびｊを共に０とする（ステップＳＴ３３）。ステップＳＴ３４において、受信したデータ中のドメインブロックの位置情報に従ってドメインブロックを切り出す。復号しようとするレンジブロックＢijと対応して切り出されたドメインブロックをＤijと表す。
【００４３】
このドメインブロックＤijがＡＤＲＣ符号化される（ステップＳＴ３５）。ＡＤＲＣ符号化で発生した符号化データ中の量子化データのみが縮小される（ステップＳＴ３６）。また、ステップＳＴ３７（回転操作）、ステップＳＴ３８（左右反転操作）が受信されたパラメータに従ってなされる。そして、ステップＳＴ３９において、変換操作後のドメインブロックのデータが受信されており、パラメータメモリ２２に格納されているダイナミックレンジＤＲおよび最小値ＭＩＮのデータを使用してＡＤＲＣ復号される。ＡＤＲＣ復号によりレンジブロックＢijの復号データが得られ、この復号データがフレームメモリＦＭ０のレンジブロックＢijの位置に格納される。
【００４４】
この実施例では、図２に示したように、水平方向のレンジブロックの番号ｉの最大値が８９であり、垂直方向のレンジブロックの番号ｊの最大値が５９である。従って、ステップＳＴ４０に続くステップＳＴ４１において、ｉ≧９０が成立するかどうかが決定され、そうでない場合には、ステップＳＴ４２において、ｉの値が＋１され、処理がステップＳＴ３４に戻る。ステップＳＴ４１の結果が肯定の場合では、ステップＳＴ４３において、ｊ≧６０が成立するかどうかが決定される。そうでない場合には、ステップＳＴ４４において、ｊの値が＋１され、処理がステップＳＴ３４に戻る。
【００４５】
ステップＳＴ４３の決定の結果が肯定の場合では、フレームメモリＦＭ０に蓄えられている今回の復号画像と、フレームメモリＦＭ１に蓄えられている前回の復号画像との差分の２乗和Ｓが計算される（ステップＳＴ４５）。この２乗和ＳがステップＳＴ４６においてしきい値ＴＨと比較される。Ｓ＞ＴＨであるならば、未だ収束していないと決定され、処理がステップＳＴ４７に移る。ステップＳＴ４７では、フレームメモリＦＭ０に蓄えられている復号画像がフレームメモリＦＭ１にコピーされる。そして、処理がステップＳＴ３２に戻り、復号動作が繰り返される。この反復動作は、Ｓ≦ＴＨとなるまで継続される。そして、この条件が成立すると、ステップＳＴ４８において、フレームメモリＦＭ０の復号画像を出力し、復号動作が終了する。
【００４６】
次に、図７を参照してこの発明によるデコーダの他の実施例を示す。２１で示す入力端子に対して、上述した符号化により作成されたデータが供給され、パラメータメモリ２２に格納される。図５に示すデコーダの一実施例と対応する構成要素に対しては、同一の参照符号を付し、その説明は、重複を避けるために省略する。図５の構成と相違する点の一つは、パラメータメモリ２２の出力（受信された変換パラメータ）を係数ＲＯＭ３１に供給することである。
【００４７】
係数ＲＯＭ３１からの変換係数が線形変換回路２５に供給される。係数ＲＯＭ３１には、変換パラメータと対応する実際の変換式の係数が格納されている。一般的に、変換によって発生した画素の位置が格子状のグリッドにのらないものも発生する。この問題を解決するためのひとつの方法としては、変換後の画像の解像度をもとのものより高くする。係数ＲＯＭ３１には、変換のための係数とともに、解像度を高くするような係数が格納されている。この係数は、予め学習によって獲得される。
【００４８】
また、線形変換回路２５からの変換後の量子化データがクラス分類回路３２および遅延回路３３に供給される。遅延回路３３を介された変換後の量子化データとクラス分類回路３２からのクラス情報とがＡＤＲＣ適応復号回路３４の入力端子４１および４２にそれぞれ供給される。ＡＤＲＣ適応復号回路３４の一部を図８に示す。
【００４９】
入力端子４１からのクラス情報が係数ＲＯＭ４４にアドレスとして供給される。係数ＲＯＭ４４には、予め学習によって獲得された係数が格納されている。クラス情報としては、復号しようとする注目画素の量子化データＱｉの周辺の量子化データの値、または量子化データの圧縮した値の分布のパターンを使用することができる。係数ＲＯＭ４４から読出された複数の係数が積和演算回路４５に供給される。積和演算回路４５では、復号しようとする量子化データＱｉの周辺の同一ブロック内の複数の量子化データと、複数の係数の積和演算（線形１次結合式）によって、補正値δを発生する。この補正値δが加算回路４６に供給される。
【００５０】
加算回路４６では、量子化データＱｉに対して補正値δが加算され、補正後の量子化データＱｉ´（＝Ｑｉ＋δ）が生成され、出力端子４３に取り出される。図示を省略しているが、出力端子４３に対しては、通常のＡＤＲＣ復号回路と同様に、逆量子化回路、最小値を加算する回路、ブロック分解回路が接続されている。補正値δを加算した量子化データＱｉ´をＡＤＲＣ復号した時の復号値と真値（原画素値）との誤差の自乗和が最小となるように、係数ＲＯＭ４４に格納される係数が予め学習によって獲得される。
【００５１】
上述したＡＤＲＣ適応復号回路３４によれば、復号値の原画素値との誤差を小とすることができる。従って、復号されたデータである、レンジブロックの復元誤差もより小さくすることができる。このレンジブロックのデータがフレームメモリＦＭ０に書込まれる。次々とレンジブロックの復号処理を行い、フレーム全体の復号動作が終了すると、再度復号動作がなされ、この反復動作が収束するまで繰り返されるのは、上述した一実施例と同様である。
【００５２】
なお、この発明の実施例においては、２次元のブロックを構成するようにしたが、３次元のブロックを構成してもよい。この場合、圧縮率は向上するが計算時間が増大する。
【００５３】
また、符号化の際に、差分の２乗和の最小値をしきい値判定し、最小値がしきい値より大きい場合には、レンジブロック、ドメインブロック共により小さいサイズのブロックへ細分化することも可能である。このような階層的な符号化は、圧縮率が若干落ちるが、復号画質が向上する。
【００５４】
さらに、レンジブロック、ドメインブロックの大きさを任意の大きさとし、任意の縮小、拡大変換、および回転、反転を伴わせてマッチングを行なうようにしてもよい。
【００５５】
【発明の効果】
この発明では、レンジブロックおよびドメインブロックのデータをＡＤＲＣ符号化によりレベル方向に正規化している。これによって、相似性のある画像を見つける符号化の処理を簡単化（演算量の低減、処理時間の短縮化等）することができる。
【図面の簡単な説明】
【図１】この発明の一実施例のエンコーダの構成を示すブロック図である。
【図２】この発明の一実施例におけるレンジブロックおよびドメインブロックを説明するための略線図である。
【図３】この発明の一実施例におけるサーチ範囲の説明に用いる略線図である。
【図４】この発明によるエンコーダの動作を説明するためのフローチャートである。
【図５】この発明の一実施例におけるデコーダの構成を示すブロック図である。
【図６】この発明によるデコーダの動作を説明するためのフローチャートである。
【図７】この発明によるデコーダの他の実施例の構成を示すブロック図である。
【図８】デコーダの他の実施例におけるＡＤＲＣ適応復号回路の構成を示すブロック図である。
【符号の説明】
３、５、２４・・・ＡＤＲＣエンコーダ、６、２５・・・線形変換回路、７、２７・・・差分の２乗和を計算する演算回路、１０・・・評価値の最小値を検出する回路、ＦＭ０、ＦＭ１・・・フレームメモリ、３１・・・係数ＲＯＭ、３４・・・ＡＤＲＣ適応復号回路
【発明の属する技術分野】
この発明は、画像データの高能率符号化の一つであるフラクタル符号化に適用される画像信号の符号化／復号化装置に関する。
【０００２】
【従来の技術】
従来より、画像の持つ自己相似性という冗長度を取り除くことによって、画像圧縮を行うフラクタル符号化が提案されている。画像の一部分の画像パターンに注目すると、同じ画像内に良く似た画像パターンが異なったスケールで存在する性質を部分的自己相似性という。フラクタル符号化は、符号化対象画像をｍ×ｎのレンジブロックに分割する。そして、各レンジブロックに対して変換を求める。この変換は、それぞれ適当に決められるドメインブロックの画素値を取り出し、縮小、回転等の簡単な線形変換を画素値に施したもので、レンジブロック内の画素を置き換える処理である。フラクタル符号化は、レンジブロックの画像パターンを正確に近似する変換を決定することである。
【０００３】
より具体的には、１フレームの画像を８×８画素のレンジブロックに分割し、また、１６×１６画素のドメインブロックが設定される。変換要素としては、４種類のもの（縮小変換、回転変換、鏡像変換、輝度変換）が設定され、また、これらの組合せの変換を含めて、合計８種類の変換が使用される。縮小変換は、４画素の値の平均をとって、水平、垂直の長さをそれぞれ1/2 に縮小するものである。回転変換は、０°、９０°、１８０°、２７０°の反時計方向の回転である。鏡像変換は、左右を入れ替える処理である。輝度変換は、平均値分離後ゲインを乗じ、振幅方向に縮小する処理である。この変換の処理を一般式で表したものを以下に示す。
【０００４】
【数１】
ドメインブロックに対する上述の変換を行った後、レンジブロックとの相似性をブロックマッチングによって見いだし、ドメインブロックの位置情報である、ベクトルおよび上式のパラメータ（すなわち、サーチ範囲内の位置、回転の角度、左右反転したかどうか）の伝送を行うことによって、情報量の圧縮がなされる。
【０００６】
復号側では、初期画像からドメインブロックを切り出し、受信されたパラメータを用いて変換を行った結果をレンジブロックとして初期画像に張りつけ、それによって画像の更新を行う。この操作を繰り返し行うことで、除々に解像度のある復元画像を生成する。
【０００７】
【発明が解決しようとする課題】
かかるフラクタル符号化においては、画像における部分自己相似性をより簡単に見いだすために、前処理として平均値分離操作などを行なって、適当にゲインを変化させることで正規化処理を行ない、線形変換を行なって、マッチング演算を行なっている。より具体的には、符号化の最初のステップにおいて、レンジブロックの平均値を求め、各画素の値から平均値を減じたものを探索のターゲットデータとし、また、ドメインブロックのデータの平均値を求め、これを各データから減じている。しかしながら、平均値の分離に伴い、計算量が増大するという問題があった。
【０００８】
従って、この発明の目的は、フラクタル符号化において、ＡＤＲＣ符号化という非常に簡単な正規化手段を用いることで、ゲインを変化させて反復する必要がなくなり、全体として計算量を削減することが可能な画像信号の符号化／復号化装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、この発明は、入力画像をｍ×ｎの大きさの第１のブロックに分割する手段と、
入力画像を第１のブロックと同一または異なる大きさのＭ×Ｎの第２のブロックに分割する手段と、
第１のブロックの画像データに対してＡＤＲＣ符号化を行う手段と、
第２のブロックの画像データに対してＡＤＲＣ符号化を行なう手段と、
第２のブロックのＡＤＲＣ符号化データの量子化データに対して、相異なる複数の線形変換を施す手段と、
第１のブロックと、複数の線形変換のそれぞれの線形変換後の第２のブロックとを、画面内で第２のブロック位置をずらせながらブロックマッチングを行なうことによって相似性のあるブロック位置と変換パラメータを決定する手段と、
ブロック位置情報と変換パラメータと第１のブロックのＡＤＲＣ符号化により生じたダイナミックレンジ、最大値、最小値のうちの二つの情報とを、第１のブロックのデータに代えて伝送する手段と
からなることを特徴とする画像信号の符号化装置である。
【００１０】
また、この発明は、上述の符号化装置に対する復号化装置であって、入力画像をｍ×ｎの大きさの第１のブロックに分割し、入力画像を第１のブロックと同一または異なる大きさのＭ×Ｎの第２のブロックに分割し、第１のブロックの画像データに対してＡＤＲＣ符号化を行い、第２のブロックの画像データに対してＡＤＲＣ符号化を行ない、第２のブロックのＡＤＲＣ符号化データの量子化データに対して、相異なる複数の線形変換を施し、第１のブロックと、複数の線形変換のそれぞれの線形変換後の第２のブロックとを、画面内で第２のブロック位置をずらせながらブロックマッチングを行なうことによって相似性のあるブロック位置と変換パラメータを決定し、ブロック位置情報と変換パラメータと第１のブロックのＡＤＲＣ符号化により生じたダイナミックレンジ、最大値、最小値のうちの二つの情報とを、第１のブロックのデータに代えて伝送するようにした画像信号の符号化装置に対する復号化装置において、
受信した第２のブロックの位置と変換パラメータと第１のブロックのＡＤＲＣ符号化により生じたダイナミックレンジ情報とを格納するメモリ手段と、
メモリ手段に格納された第２のブロックの位置情報に基づいて、任意の初期画像から個々の第１のブロックに対応した第２のブロックを切り出し、切り出された第２のブロックをＡＤＲＣ符号化する手段と、
変換パラメータを使用してＡＤＲＣ符号化のデータに対して線形変換を行う線形変換手段と、
メモリ手段に格納されたダイナミックレンジ情報とを使用して、線形変換手段の出力をＡＤＲＣ復号する手段と、
ＡＤＲＣ復号により生成された画像データにより初期画像を更新し、復号化画像を形成するメモリ手段とからなることを特徴とする画像信号の復号化装置である。
【００１１】
ＡＤＲＣ符号化によりレンジブロック（第１のブロック）およびドメインブロック（第２のブロック）の両者の画像データをレベル方向に正規化し、正規化されたドメインブロックのデータに対して種々の線形変換を行う。この線形変換後のドメインブロックのデータとレンジブロックのデータとの間で、ブロックマッチングを行い、相似性を見いだす。レンジブロックおよびドメインブロックの両者のデータをレベル方向に正規化しているので、ゲイン補正を考える必要がなくなり、計算量を減少できる。
【００１２】
【発明の実施の形態】
以下、この発明の実施の形態について説明する。まず、符号化について説明する。図１にこの発明によるエンコーダのブロック図を示す。入力端子１からのディジタル画像信号がレンジブロック化回路２およびドメインブロック化回路４に供給される。レンジブロック化回路２およびドメインブロック化回路４に対してＡＤＲＣエンコーダ３およびＡＤＲＣエンコーダ５がそれぞれ接続される。
【００１３】
レンジブロック化回路２では、入力画像信号が２次元の（ｍ×ｎ）、例えば８×８画素の大きさのレンジブロックに分割され、レンジブロック毎にＡＤＲＣエンコーダ３によって、ＡＤＲＣ符号化が行なわれる。ＡＤＲＣ符号化は、ブロック毎に画素値の最大値ＭＡＸ、最小値ＭＩＮを検出し、最大値ＭＡＸおよび最小値ＭＩＮの差である、ダイナミックレンジＤＲを求め、ダイナミックレンジＤＲとビット数から決定される量子化ステップ幅によって、最小値ＭＩＮを減じた修正入力画素値を元の量子化ビット数（８ビット）より少ない固定のビット数（例えば４ビット）で再度量子化するものである。符号化の結果である、ダイナミックレンジＤＲ、最小値ＭＩＮがパラメータメモリ８に送られ、各画素の量子化データＱｒが差分の２乗和を計算する演算回路７に送られる。ダイナミックレンジ情報としては、ダイナミックレンジＤＲ、最大値ＭＡＸ、最小値ＭＩＮのうちの二つを伝送すれば良い。
【００１４】
一方、ドメインブロック化回路４は、上記レンジブロックに対応したサーチ範囲（計算時間を抑えるために、例えば水平、垂直ともに−７〜＋８画素程度）の中から、２次元の（Ｍ×Ｎ）、例えば１６×１６画素程度の大きさのドメインブロックを切り出し、ＡＤＲＣエンコーダ５により、ＡＤＲＣエンコーダ３と同様のＡＤＲＣ符号化を行なう。
【００１５】
ＡＤＲＣエンコーダ５からのドメインブロックの符号化出力の中の量子化データＱｄに対して、次の線形変換回路６において、縮小変換（縦横それぞれ１／２）、回転（０°、９０°、１８０°、２７０°）、反転（左右反転）などの操作が行なわれ、最終的な画素単位の量子化データＱｄ´が差分の２乗和を計算する演算回路７に送られる。線形変換回路６においてなされる処理は、座標変換処理である。なお、線形変換回路６における変換パラメータは、パラメータメモリ８に供給され、パラメータメモリ８に記憶される。
【００１６】
差分の２乗和を計算する演算回路７においては、レンジブロックとドメインブロックの画素単位の差分（Ｑｒ−Ｑｄ´）が計算され、この差分の２乗値のブロック内での総和が計算され、計算された差分の２乗値の総和が評価値テーブル９に送られ、評価値としてテーブル９に格納される。なお、評価値としては、差分の絶対値和等を用いることができる。
【００１７】
次に、線形変換回路６において、パラメータを変更して変換処理を行い、同様にして差分の２乗値の総和を求め、これを評価値テーブル９に格納する。この動作を全てのパラメータに対して行ない、サーチ範囲内で１つのドメインブロックの位置に対する計算を終了する。一例として、下記に挙げる８種類のパラメータが使用される。
【００１８】
第１のパラメータ： 1/2の縮小
第２のパラメータ： 1/2の縮小および左右反転
第３のパラメータ： 1/2の縮小および９０°回転
第４のパラメータ： 1/2の縮小および１８０°回転
第５のパラメータ： 1/2の縮小および２７０°回転
第６のパラメータ： 1/2の縮小、９０°回転および左右反転
第７のパラメータ： 1/2の縮小、１８０°回転および左右反転
第８のパラメータ： 1/2の縮小、２７０°回転および左右反転
【００１９】
次に、サーチ範囲内でドメインブロックの切り出しを少し（例えば１画素）ずらして行ない、上記と同様な評価値の演算を全ての変換パラメータに対して行ない、サーチ範囲内で１画素ずつ動かした位置のドメインブロックを切り出し、全ての演算を終了する。
【００２０】
全ての演算が終了すると、評価値テーブル９に格納されている評価値の中から最小値を検出し、その最小値を生じさせる、ドメインブロックの位置、変換パラメータ（回転角度、左右反転の有無）を決定する。このようにして、ブロックマッチング法によりレンジブロックと相似な画像が探し出される。そして、パラメータメモリ８に格納されていたレンジブロックのダイナミックレンジＤＲ、最小値ＭＩＮとともに符号化データとして出力端子１２に取り出される。
【００２１】
以上の一連の符号化動作が、各レンジブロックについてなされ、画像フレーム全体にわたって符号化動作が行なわれる。伝送されるデータは、各４ビットの位置情報ｘ、ｙと、変換パラメータの３ビット（回転に関する２ビットと反転に関する１ビット）と、ダイナミックレンジＤＲの８ビットと、最小値ＭＩＮの８ビットである。従って、１画素が８ビットのデータの場合では、８×８×８＝５１２ビットの原データが２７ビットに圧縮することができる。なお、制御回路１１に関しては詳説しないが、各回路ブロックでの動作がスムーズに行なえるように、各種の制御信号を発生したり、メモリのアドレスを発生する。
【００２２】
図２は、レンジブロック化およびドメインブロック化の一例を示すものである。１枚（例えば１フレーム）の画像が８×８の大きさのレンジブロックへ分割される。例えば７２０画素×４８０ラインの有効画像がレンジブロックに分割されることによって、９０×６０のレンジブロックが形成される。画像の左上のコーナーから水平方向へ順次増加する番号ｉと、垂直方向に順次増加する番号ｊとによって、各レンジブロックの番号Ｂijが規定される。
【００２３】
ドメインブロックは、図２に示すように、１６×１６のサイズとされる。ドメインブロックの画素データをＡＤＲＣ符号化した量子化データＱｄを線形変換し、線形変換で得られた量子化データＱｄ´がサーチ範囲内で１画素ステップで動かされる。サーチ範囲は、一例として図３に示すように、水平および垂直方向のそれぞれで、（−８〜＋７）の範囲と規定される。このサーチ範囲の位置を水平方向では、ｋ（−８〜＋７）の番号で規定し、垂直方向では、ｌ（−８〜＋７）の番号で規定する。従って、サーチ範囲内のある位置のドメインブロックは、Ｄklで規定される。
【００２４】
図４は、符号化処理を示すフローチャートである。ステップＳＴ１では、ｉ＝０，ｊ＝０とされ、次のステップＳＴ２において、（ｉ≧９０）かどうかが決定される。そうでない場合では、ステップＳＴ３に処理が移り、レンジブロック化がされる。すなわち、ｊ＝０の９０個のレンジブロック化が最初になされる。最初のレンジブロックＢ00がステップＳＴ４においてＡＤＲＣ符号化される。
【００２５】
Ｂ00のレンジブロックからＢ890 のレンジブロックまでのＡＤＲＣ符号化が終了すると、ステップＳＴ２の決定の結果が肯定となり、処理がステップＳＴ５に移る。ステップＳＴ５は、（ｊ≧６０）かどうかを決定する。若し、そうであるならば、１フレームの処理が完了したことになる。ステップＳＴ５の決定が否定であるならば、ｊの値が＋１される（ステップＳＴ６）。そして、ステップＳＴ３のレンジブロック化がなされる。このようにして、全てのレンジブロックＢ00からＢ8959のＡＤＲＣ符号化がなされる。
【００２６】
ステップＳＴ４に続くステップＳＴ７において、サーチ範囲内のドメインブロックの位置が初期位置（ｋ＝−８、ｌ＝−８）とされる。ステップＳＴ８において、（ｋ≧８）かどうかが決定される。そうでない場合では、処理がステップＳＴ９に移り、ドメインブロック化がなされる。最初のドメインブロック化によって、ドメインブロックＤ-8-8が形成される。次のステップＳＴ１０においてドメインブロックＤklがＡＤＲＣ符号化される。
【００２７】
ＡＤＲＣ符号化で生じた量子化データＱｄがステップＳＴ１１において縮小される。縦横のブロックサイズがそれぞれ半分とされ、８×８のサイズとされる。この縮小がされたドメインブロックをＤkl´と表す。次のステップＳＴ１２では、回転操作の回転角度Ｒが０とされる。つまり、縮小のみの変換操作がドメインブロックの量子化データに対してなされる。次の決定のステップＳＴ１３では、Ｒ≧３６０°かどうかが決定される。このステップＳＴ１３の結果が否定の場合では、処理がステップＳＴ１４に移る。
【００２８】
このステップＳＴ１４では、角度Ｒの回転操作がなされる。Ｒ＝０の場合では、回転操作がされないことである。回転操作、または回転操作および反転操作がなされたドメインブロックをＤkl´´と表す。ステップＳＴ１５において、Ｄkl´´とＢijとの画素同士の差分が演算され、差分の２乗和が求められる。これが評価値として評価値テーブルに格納される。Ｒ＝０の場合では、縮小の操作がされたドメインブロックとレンジブロックとの間の評価値が求められ、テーブルに格納される。
【００２９】
ステップＳＴ１６において、ドメインブロックＤkl´´の左右反転操作がなされる。そして、ステップＳＴ１７において、Ｄkl´´とＢijとの画素同士の差分が演算され、差分の２乗和が求められる。これが評価値として評価値テーブルに格納される。Ｒ＝０の場合では、縮小および反転の操作がなされたドメインブロックとレンジブロックとの間の評価値が求められ、テーブルに格納される。
【００３０】
次のステップＳＴ１８において、回転角度が＋９０°され、ステップＳＴ１３の決定のステップに処理が戻る。そして、Ｒ≧３６０°ならば、ステップＳＴ１４、ＳＴ１５、ＳＴ１６、およびＳＴ１７の処理がなされ、求められた評価値が評価値テーブルに格納される。さらに、回転角度Ｒが＋９０°され、同様の処理が繰り返される。回転角度が０から開始して、９０°、１８０°、２７０°のそれぞれについて、上述と同様の処理がなされる。
【００３１】
一例として、ドメインブロックＤ-8-8について、前述したような８種類の変換パラメータについての評価値が求められる。すなわち、第１のパラメータ（ 1/2の縮小）、第２のパラメータ（ 1/2の縮小および左右反転）、第３のパラメータ（ 1/2の縮小および９０°回転）、第４のパラメータ（ 1/2の縮小および１８０°回転）、第５のパラメータ（ 1/2の縮小および２７０°回転）、第６のパラメータ（ 1/2の縮小、９０°回転および左右反転）、第７のパラメータ（ 1/2の縮小、１８０°回転および左右反転）、および第８のパラメータ（ 1/2の縮小、２７０°回転および左右反転）についての評価値がそれぞれ求められる。
【００３２】
一つのドメインブロックＤklについて、第１〜第８のパラメータのそれぞれについての評価値が求められると、ステップＳＴ１３の決定の結果が肯定となり、ステップＳＴ１９に処理が移り、ｋの値が＋１される。言い換えると、サーチ範囲内でドメインブロックの位置が水平方向で１画素シフトされる。そして、ステップＳＴ８に処理が戻り、上述したように、シフトされた位置のドメインブロックについての縮小、回転、左右反転の操作がなされ、８個の変換パラメータに関しての評価値が求められる。この評価値も評価値テーブルに格納される。
【００３３】
サーチ範囲内で、ドメインブロックの位置が水平方向に１画素ずつシフトされ、ステップＳＴ８において、ｋ≧８にまで到達すると、ステップＳＴ２０に処理が分岐する。ステップＳＴ２０では、ｌ≧８かどうかが決定される。すなわち、サーチ範囲の最も下側の位置にまで到達したかどうかが決定される。そうでない場合には、ステップＳＴ２１において、ｌの値が＋１され、ｋ＝−８に初期化される。そして、処理がステップＳＴ９（ドメインブロック化）に戻る。
【００３４】
このステップＳＴ９以降の処理は、上述したものと同様である。ステップＳＴ２０およびＳＴ２１を介することによって、サーチ範囲内のドメインブロックの垂直方向の位置が１ライン下側にシフトされ、そのライン上でｋの値がインクリメントされることによって、水平方向にドメインブロックの位置がシフトされ、各位置において評価値が計算される。
【００３５】
ステップＳＴ２０において、ｌ≧８の関係が成立すると、処理がステップＳＴ２２に移る。このステップＳＴ２２では、評価値テーブルに格納されている複数の評価値（上述したように差分の２乗和）の中の最小値を検出する。最小値が検出されると、次のステップＳＴ２３において、検出された最小値と対応して符号化データが作成される。符号化データは、ドメインブロックのダイナミックレンジＤＲおよび最小値ＭＩＮと、評価値の最小値を生じさせる、ドメインブロックの位置（ｋおよびｌの値）およびパラメータである。
【００３６】
求められたレンジブロックＢijの符号化データが伝送され（ステップＳＴ２４）、ステップＳＴ２５において、ｉの値が＋１され、次のレンジブロックについての符号化処理を行うために、処理がステップＳＴ２に戻る。ステップＳＴ２において、ｉ≧９０が満たされ、ステップＳＴ５において、ｊ≧６０が満たされることによって、１フレームの全ブロックの処理が終了する。
【００３７】
次にデコーダについて説明する。図５にこの発明によるデコーダの一実施例のブロック図を示す。上記符号化動作において作成された符号化データが伝送路を通じて伝送され、入力端子２１に供給される。この受信された符号化データがパラメータメモリ２２に格納される。
【００３８】
一方、フレームメモリＦＭ０には、何らかの初期画像（一様でもランダムでもよい）が設定されており、パラメータメモリ２２のドメインブロックの切り出し情報（位置情報ｘ、ｙ）をもとにドメインブロック（１６×１６画素）の切り出しが行なわれ、ドメインブロック化回路２３から切り出されたドメインブロックのデータが出力される。このドメインブロックのデータがＡＤＲＣエンコーダ２４に供給され、ＡＤＲＣ符号化が行なわれる。
【００３９】
ＡＤＲＣエンコーダ２４の出力中の量子化データのみが線形変換回路２５に供給される。線形変換回路２５に対しては、パラメータメモリ２２からの変換パラメータが与えられ、線形変換回路２５は、この変換パラメータに応じて縮小変換、回転、反転などの線形変換を切り出されたドメインブロックに対して施す。線形変換回路２５からの変換後の量子化データとパラメータメモリ２２からのダイナミックレンジＤＲ、最小値ＭＩＮがＡＤＲＣデコーダ２６に供給され、復号動作が行なわれる。もとの画素情報に復元されたデータはレンジブロックとしてフレームメモリＦＭ０に書き込まれる。
【００４０】
同様にして、次のレンジブロックに対応する符号化データの復号動作が行なわれ、１フレーム全体にわたって復号が終了した時点で、再度復号化動作を行なうよう、反復動作が行なわれる。この反復動作を収束させるための判定は、前回の復号結果をフレームメモリＦＭ１に格納しておき、フレームメモリＦＭ０との画素単位の差分の２乗和を演算回路２７により計算し、比較回路２８においてこれをあるしきい値ＴＨと比較することで実現する。すなわち、フレーム間差分の２乗和がしきい値ＴＨより大であるときは、未だ収束してないものと決定され、復号動作が繰り返される。
【００４１】
反復動作を続行することが決定したならば、フレームメモリＦＭ０のデータはフレームメモリＦＭ１にコピーされる。フレーム間差分の２乗和がしきい値ＴＨ以下であるならば、収束したものと決定され、反復動作を終了する。この場合は、フレームメモリＦＭ０のデータは復号画像として出力端子２９から外部に出力される。制御回路３０は、パラメータメモリ２２からのパラメータを受け取ってドメインブロックの切り出しを制御したり、比較回路２８の比較出力を受け取って反復動作を行うかどうかの制御を行う。
【００４２】
図６は、この発明の一実施例の復号動作を示すフローチャートである。最初のステップＳＴ３１では、フレームメモリＦＭ０およびＦＭ１が初期化される。次のステップＳＴ３２において、１フレームの符号化データを受信する。レンジブロックの番号ｉおよびｊを共に０とする（ステップＳＴ３３）。ステップＳＴ３４において、受信したデータ中のドメインブロックの位置情報に従ってドメインブロックを切り出す。復号しようとするレンジブロックＢijと対応して切り出されたドメインブロックをＤijと表す。
【００４３】
このドメインブロックＤijがＡＤＲＣ符号化される（ステップＳＴ３５）。ＡＤＲＣ符号化で発生した符号化データ中の量子化データのみが縮小される（ステップＳＴ３６）。また、ステップＳＴ３７（回転操作）、ステップＳＴ３８（左右反転操作）が受信されたパラメータに従ってなされる。そして、ステップＳＴ３９において、変換操作後のドメインブロックのデータが受信されており、パラメータメモリ２２に格納されているダイナミックレンジＤＲおよび最小値ＭＩＮのデータを使用してＡＤＲＣ復号される。ＡＤＲＣ復号によりレンジブロックＢijの復号データが得られ、この復号データがフレームメモリＦＭ０のレンジブロックＢijの位置に格納される。
【００４４】
この実施例では、図２に示したように、水平方向のレンジブロックの番号ｉの最大値が８９であり、垂直方向のレンジブロックの番号ｊの最大値が５９である。従って、ステップＳＴ４０に続くステップＳＴ４１において、ｉ≧９０が成立するかどうかが決定され、そうでない場合には、ステップＳＴ４２において、ｉの値が＋１され、処理がステップＳＴ３４に戻る。ステップＳＴ４１の結果が肯定の場合では、ステップＳＴ４３において、ｊ≧６０が成立するかどうかが決定される。そうでない場合には、ステップＳＴ４４において、ｊの値が＋１され、処理がステップＳＴ３４に戻る。
【００４５】
ステップＳＴ４３の決定の結果が肯定の場合では、フレームメモリＦＭ０に蓄えられている今回の復号画像と、フレームメモリＦＭ１に蓄えられている前回の復号画像との差分の２乗和Ｓが計算される（ステップＳＴ４５）。この２乗和ＳがステップＳＴ４６においてしきい値ＴＨと比較される。Ｓ＞ＴＨであるならば、未だ収束していないと決定され、処理がステップＳＴ４７に移る。ステップＳＴ４７では、フレームメモリＦＭ０に蓄えられている復号画像がフレームメモリＦＭ１にコピーされる。そして、処理がステップＳＴ３２に戻り、復号動作が繰り返される。この反復動作は、Ｓ≦ＴＨとなるまで継続される。そして、この条件が成立すると、ステップＳＴ４８において、フレームメモリＦＭ０の復号画像を出力し、復号動作が終了する。
【００４６】
次に、図７を参照してこの発明によるデコーダの他の実施例を示す。２１で示す入力端子に対して、上述した符号化により作成されたデータが供給され、パラメータメモリ２２に格納される。図５に示すデコーダの一実施例と対応する構成要素に対しては、同一の参照符号を付し、その説明は、重複を避けるために省略する。図５の構成と相違する点の一つは、パラメータメモリ２２の出力（受信された変換パラメータ）を係数ＲＯＭ３１に供給することである。
【００４７】
係数ＲＯＭ３１からの変換係数が線形変換回路２５に供給される。係数ＲＯＭ３１には、変換パラメータと対応する実際の変換式の係数が格納されている。一般的に、変換によって発生した画素の位置が格子状のグリッドにのらないものも発生する。この問題を解決するためのひとつの方法としては、変換後の画像の解像度をもとのものより高くする。係数ＲＯＭ３１には、変換のための係数とともに、解像度を高くするような係数が格納されている。この係数は、予め学習によって獲得される。
【００４８】
また、線形変換回路２５からの変換後の量子化データがクラス分類回路３２および遅延回路３３に供給される。遅延回路３３を介された変換後の量子化データとクラス分類回路３２からのクラス情報とがＡＤＲＣ適応復号回路３４の入力端子４１および４２にそれぞれ供給される。ＡＤＲＣ適応復号回路３４の一部を図８に示す。
【００４９】
入力端子４１からのクラス情報が係数ＲＯＭ４４にアドレスとして供給される。係数ＲＯＭ４４には、予め学習によって獲得された係数が格納されている。クラス情報としては、復号しようとする注目画素の量子化データＱｉの周辺の量子化データの値、または量子化データの圧縮した値の分布のパターンを使用することができる。係数ＲＯＭ４４から読出された複数の係数が積和演算回路４５に供給される。積和演算回路４５では、復号しようとする量子化データＱｉの周辺の同一ブロック内の複数の量子化データと、複数の係数の積和演算（線形１次結合式）によって、補正値δを発生する。この補正値δが加算回路４６に供給される。
【００５０】
加算回路４６では、量子化データＱｉに対して補正値δが加算され、補正後の量子化データＱｉ´（＝Ｑｉ＋δ）が生成され、出力端子４３に取り出される。図示を省略しているが、出力端子４３に対しては、通常のＡＤＲＣ復号回路と同様に、逆量子化回路、最小値を加算する回路、ブロック分解回路が接続されている。補正値δを加算した量子化データＱｉ´をＡＤＲＣ復号した時の復号値と真値（原画素値）との誤差の自乗和が最小となるように、係数ＲＯＭ４４に格納される係数が予め学習によって獲得される。
【００５１】
上述したＡＤＲＣ適応復号回路３４によれば、復号値の原画素値との誤差を小とすることができる。従って、復号されたデータである、レンジブロックの復元誤差もより小さくすることができる。このレンジブロックのデータがフレームメモリＦＭ０に書込まれる。次々とレンジブロックの復号処理を行い、フレーム全体の復号動作が終了すると、再度復号動作がなされ、この反復動作が収束するまで繰り返されるのは、上述した一実施例と同様である。
【００５２】
なお、この発明の実施例においては、２次元のブロックを構成するようにしたが、３次元のブロックを構成してもよい。この場合、圧縮率は向上するが計算時間が増大する。
【００５３】
また、符号化の際に、差分の２乗和の最小値をしきい値判定し、最小値がしきい値より大きい場合には、レンジブロック、ドメインブロック共により小さいサイズのブロックへ細分化することも可能である。このような階層的な符号化は、圧縮率が若干落ちるが、復号画質が向上する。
【００５４】
さらに、レンジブロック、ドメインブロックの大きさを任意の大きさとし、任意の縮小、拡大変換、および回転、反転を伴わせてマッチングを行なうようにしてもよい。
【００５５】
【発明の効果】
この発明では、レンジブロックおよびドメインブロックのデータをＡＤＲＣ符号化によりレベル方向に正規化している。これによって、相似性のある画像を見つける符号化の処理を簡単化（演算量の低減、処理時間の短縮化等）することができる。
【図面の簡単な説明】
【図１】この発明の一実施例のエンコーダの構成を示すブロック図である。
【図２】この発明の一実施例におけるレンジブロックおよびドメインブロックを説明するための略線図である。
【図３】この発明の一実施例におけるサーチ範囲の説明に用いる略線図である。
【図４】この発明によるエンコーダの動作を説明するためのフローチャートである。
【図５】この発明の一実施例におけるデコーダの構成を示すブロック図である。
【図６】この発明によるデコーダの動作を説明するためのフローチャートである。
【図７】この発明によるデコーダの他の実施例の構成を示すブロック図である。
【図８】デコーダの他の実施例におけるＡＤＲＣ適応復号回路の構成を示すブロック図である。
【符号の説明】
３、５、２４・・・ＡＤＲＣエンコーダ、６、２５・・・線形変換回路、７、２７・・・差分の２乗和を計算する演算回路、１０・・・評価値の最小値を検出する回路、ＦＭ０、ＦＭ１・・・フレームメモリ、３１・・・係数ＲＯＭ、３４・・・ＡＤＲＣ適応復号回路
Claims (5)
- 入力画像をｍ×ｎの大きさの第１のブロックに分割する手段と、
上記入力画像を上記第１のブロックと同一または異なる大きさのＭ×Ｎの第２のブロックに分割する手段と、
上記第１のブロックの画像データに対してＡＤＲＣ符号化を行う手段と、
上記第２のブロックの画像データに対してＡＤＲＣ符号化を行なう手段と、
上記第２のブロックのＡＤＲＣ符号化データの量子化データに対して、相異なる複数の線形変換を施す手段と、
上記第１のブロックと、上記複数の線形変換のそれぞれの線形変換後の上記第２のブロックとを、画面内で上記第２のブロック位置をずらせながらブロックマッチングを行なうことによって相似性のあるブロック位置と変換パラメータを決定する手段と、
上記ブロック位置情報と上記変換パラメータと上記第１のブロックのＡＤＲＣ符号化により生じたダイナミックレンジ、最大値、最小値のうちの二つの情報とを、上記第１のブロックのデータに代えて伝送する手段と
からなることを特徴とする画像信号の符号化装置。 - 入力画像をｍ×ｎの大きさの第１のブロックに分割し、上記入力画像を上記第１のブロックと同一または異なる大きさのＭ×Ｎの第２のブロックに分割し、上記第１のブロックの画像データに対してＡＤＲＣ符号化を行い、上記第２のブロックの画像データに対してＡＤＲＣ符号化を行ない、上記第２のブロックのＡＤＲＣ符号化データの量子化データに対して、相異なる複数の線形変換を施し、上記第１のブロックと、上記複数の線形変換のそれぞれの線形変換後の上記第２のブロックとを、画面内で上記第２のブロック位置をずらせながらブロックマッチングを行なうことによって相似性のあるブロック位置と変換パラメータを決定し、上記ブロック位置情報と上記変換パラメータと上記第１のブロックのＡＤＲＣ符号化により生じたダイナミックレンジ、最大値、最小値のうちの二つの情報とを、上記第１のブロックのデータに代えて伝送するようにした画像信号の符号化装置に対する復号化装置において、
受信した上記第２のブロックの位置と上記変換パラメータと上記第１のブロックのＡＤＲＣ符号化により生じたダイナミックレンジ情報とを格納するメモリ手段と、
上記メモリ手段に格納された上記第２のブロックの位置情報に基づいて、任意の初期画像から個々の第１のブロックに対応した上記第２のブロックを切り出し、切り出された上記第２のブロックをＡＤＲＣ符号化する手段と、
上記変換パラメータを使用して上記ＡＤＲＣ符号化のデータに対して線形変換を行う線形変換手段と、
上記メモリ手段に格納された上記ダイナミックレンジ情報とを使用して、上記線形変換手段の出力をＡＤＲＣ復号する手段と、
上記ＡＤＲＣ復号により生成された画像データにより上記初期画像を更新し、復号化画像を形成するメモリ手段とからなることを特徴とする画像信号の復号化装置。 - 請求項１に記載の符号化装置において、
上記線形変換を施す手段は、縮小、拡大、回転、反転、等の空間的に第２のブロックの画像を座標変換する手段であることを特徴とする装置。 - 請求項２に記載の復号化装置において、
上記線形変換手段は、上記線形変換のパラメータに従って予め学習した係数を用いて線形変換を行うことを特徴とする画像信号の復号化装置。 - 請求項２に記載の復号化装置において、
上記ＡＤＲＣ復号する手段は、復号しようとする注目画素の周辺の量子化データに基づいてクラス分類を行い、クラス情報を発生する手段と、予め学習により獲得された係数が格納されたメモリと、上記クラス情報をアドレスとして上記メモリから読出された係数と複数の量子化データの線形１次結合により補正値を発生する演算手段と、上記補正値によって上記注目画素の量子化データを補正し、補正後の量子化データを逆量子化する手段とからなることを特徴とする画像信号の復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23728096A JP3787911B2 (ja) | 1995-08-21 | 1996-08-20 | 画像信号の符号化／復号化装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23467595 | 1995-08-21 | ||
| JP7-234675 | 1995-08-21 | ||
| JP23728096A JP3787911B2 (ja) | 1995-08-21 | 1996-08-20 | 画像信号の符号化／復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09139941A JPH09139941A (ja) | 1997-05-27 |
| JP3787911B2 true JP3787911B2 (ja) | 2006-06-21 |
Family
ID=26531694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23728096A Expired - Fee Related JP3787911B2 (ja) | 1995-08-21 | 1996-08-20 | 画像信号の符号化／復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3787911B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019107881A1 (ko) * | 2017-11-28 | 2019-06-06 | 한국전자통신연구원 | 영상 변환 신경망 및 영상 역변환 신경망을 이용한 영상 처리 방법 및 장치 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6687304B1 (en) | 2000-04-19 | 2004-02-03 | Koninklijke Philips Electronics N.V. | Efficient video data data access using fixed ratio compression |
| CN112242804B (zh) * | 2020-09-15 | 2022-03-18 | 浙江工业大学 | 步进式电-机械转换器的自抗扰同步跟踪控制方法 |
-
1996
- 1996-08-20 JP JP23728096A patent/JP3787911B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019107881A1 (ko) * | 2017-11-28 | 2019-06-06 | 한국전자통신연구원 | 영상 변환 신경망 및 영상 역변환 신경망을 이용한 영상 처리 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09139941A (ja) | 1997-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3013698B2 (ja) | ベクトル量子化符号化装置と復号化装置 | |
| US8023754B2 (en) | Image encoding and decoding apparatus, program and method | |
| JPH08242458A (ja) | 動きベクトル検出方法 | |
| CN113301347B (zh) | 一种hevc高清视频编码的优化方法 | |
| US20180091818A1 (en) | Methods of and apparatus for encoding data arrays | |
| JP3787911B2 (ja) | 画像信号の符号化／復号化装置 | |
| Cherigui et al. | Epitome-based image compression using translational sub-pel mapping | |
| JP3859325B2 (ja) | 画像の反復変換復号化装置及び方法、並びに記録媒体 | |
| KR100240064B1 (ko) | 반복 변환이 필요없는 프랙탈 영상 부호화 방법 | |
| JP4051696B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| JP4174111B2 (ja) | 符号化方法及び装置 | |
| US12069238B2 (en) | Image compression method and apparatus for machine vision | |
| JP3339256B2 (ja) | フラクタル画像圧縮データの復元装置 | |
| JP3265928B2 (ja) | フラクタル画像圧縮装置 | |
| Salih | Fractal coding technique based on different block size | |
| Ancis et al. | Fractal zooming of thumbnails for progressive image coding | |
| JP4085301B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| Chou et al. | Video coding algorithm based on image warping and nonrectangular DCT coding | |
| KR100296097B1 (ko) | 제어 그리드 보간방식에 따른 영상부호화에서 제어점의 움직임벡터를 구하는 방법 및 그 장치 | |
| JP2000152233A (ja) | 画像情報変換装置および変換方法 | |
| JP2000270334A (ja) | 符号化装置、復号化装置、画像処理装置、符号化方法、復号化方法及び画像処理方法 | |
| Saito et al. | Some variants of universal pattern-matching interframe coding | |
| Liu | Ordered Kohonen vector quantization for very low rate interframe video coding | |
| JP3950161B2 (ja) | 属性検出方法及び装置 | |
| CN118400529A (zh) | 一种支持纬度冗余感知的360度视频编码全零块检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051129 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060320 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090407 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100407 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100407 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110407 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120407 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120407 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130407 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130407 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140407 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |