JP4174111B2 - 符号化方法及び装置 - Google Patents
符号化方法及び装置 Download PDFInfo
- Publication number
- JP4174111B2 JP4174111B2 JP30431898A JP30431898A JP4174111B2 JP 4174111 B2 JP4174111 B2 JP 4174111B2 JP 30431898 A JP30431898 A JP 30431898A JP 30431898 A JP30431898 A JP 30431898A JP 4174111 B2 JP4174111 B2 JP 4174111B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- encoding
- memory
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般に符号化方法および装置に関し、詳しくは効果的に画像を伝送するための効率の高い画像符号化を行う符号化方法及び装置に関する。
【０００２】
【従来の技術】
国際標準化機構（International Organazation for Standardization;ISO）はＪＰＥＧ（Joint Photographic Experts Group）と呼ばれる従来の画像圧縮のための標準化体系を公表している。この体系は、離散コサイン変換（Discrete Cosine Transformation;DCT）を画像に適用して画像をＤＣＴ係数に変換することにより画像の最適化符号化又は復号を与える。この体系は、符号化された情報を表すために比較的多数のビットが使われているときに最も効率よく働く。しかし、符号化された情報を表すためのビットの数がある所定値より小さいと、そのようなＤＣＴ変換に生来のブロック歪みが顕著になり、画像の質は見ている人が気づくほどに劣化する。
【０００３】
ＪＰＥＧとＤＣＴの手順のこのような欠陥に応じて、新しい反復変換システム（反復関数体系；Iterated Function System;IFS）が提案され、賛意を獲得しつつある。このＩＦＳの技術は、画像の部分の間の自己相似性に着目したものであって、フラクタル幾何学に基づくものである。ＩＦＳは、特定の画像の様々な部分は、たとえこれらが異なった大きさ（サイズ）、位置、遠近法または方向であっても、類似しているという仮定の下に働く。ＩＦＳは、ＪＰＥＧ体系で生成されるかもしれないブロック歪みなしに画像を効率的に符号化するために、画像の冗長度を利用している。従って、ＩＦＳは、符号化された情報を表すために用いられたビット数に殆ど依存することがなく、復号中における解像度は、符号化された情報を表すために比較的少数のビット数が用いられたときにも影響を受けない。
【０００４】
ＩＦＳの基本構造は、Arnaud E. Jaquinの“反復縮小画像変換のフラクタル理論に基づく画像符号化（Image Coding Based on a Fractal Theory of Iterated Image Transformations）”,IEEE Transactions on Image Processing,Vol.1,No.1,pp.18-30という題名の学位論文に述べられている。さらに、全てBarnsley他に発行された、米国特許の第５３４７６００号、第５０６５４４７号及び第４９４１１９３号に記述されている。これらの参考文献に一般的に説明されている符号化及び復号装置は、ここで先行技術の図１５及び図１６により記述される。
【０００５】
最初に図１５を参照すると、符号化装置の従来の操作が示されている。図１５に示されるように、原画像３００はブロック生成回路２００に入力され、そこで複数のブロック３０１に分割される。全てのブロック３０１は合わせて原画像３００を完全に覆うが、互いに重なることはない。原画像３００はまた先行技術で知られているような方法によって縮小した大きさの縮小画像３０７を作成する縮小画像生成回路２０２に送られる。縮小画像は先に送られて縮小画像蓄積回路２０４に蓄積される。
【０００６】
各ブロック３０１は近似領域探索回路２０１に送られるが、近似領域探索回路では縮小画像蓄積回路２０４に蓄積された縮小画像３０７を探索することにより探索される特定ブロック３０１に類似の縮小画像の部分があるかどうかを決定する。上述のように、この探索は、探索されているブロック３０１とは異なった大きさ、部分、遠近法、又は方向の縮小画像３０７の部分の探索を含んでいる。最も近似した部分の成功した探索を示す検知された結果に従って、縮小画像３０７内で選択された部分３０５を特定する近似ブロック位置情報３０６は、縮小画像蓄積回路２０４に伝送される。このように示された結果に応じて、縮小画像蓄積回路２０４に蓄積された縮小画像３０７の選択された部分３０５は抽出され、回転／反転／レベル値変換回路２０３に伝送される。
【０００７】
回転／反転／レベル値変換回路２０３において、縮小画像３０７の部分３０５は、近似領域探索回路２０１から供給される変換パラメータ３０４に従った回転／反転／レベル値変換によって処理される。変換パラメータ３０４は、縮小画像３０７の選択された部分３０５のブロック３０１へ変換する変換を示している。これらのパラメータは、縮小画像３０７の特定の部分３０５が、探索されているブロック３０１に最も近く対応していることが見いだされたときに決定される。回転／変転／レベル値変換回路２０３による変換をすると、変換縮小画像３０３は近似領域探索回路２０１に送られる。結果として、変換パラメータ３０４と近似ブロック位置情報３０６は、ＩＦＳ符号３０２として出力される。よって、第１の画像はこのシステムへ入力され、出力は、第１の画像の第１のブロックを縮小画像の近似した第２のブロックへ変換するための変換パラメータおよび符号化された画像内の第２のブロックの位置を決定するための位置情報を少なくとも含んでいる。
【０００８】
次に図１６を参照すると、復号装置が示されているが、図１５に示した符号化装置から出力される変換パラメータと近似ブロック位置情報３０２を含むＩＦＳコードが、ＩＦＳ符号蓄積回路２０５に入力されて蓄積される。ＩＦＳ符号３０２はこれに引き続いてＩＦＳ符号蓄積回路２０５から各ブロックごと読み出され、ＩＦＳ符号読み出し回路２０６に送られる。ＩＦＳ符号読み出し回路２０６は、符号化装置により生成されたように、符号を近似ブロック位置情報３０６と変換パラメータ３０４に分割する。近似ブロック位置情報３０６は、近似ブロック位置情報３０６により特定される縮小画像の領域を再現するために、そして縮小画像蓄積回路２０４に送られる。特定された領域に対応する縮小画像蓄積回路２０４に蓄積された縮小画像の部分３０５は、そして回転／反転／レベル値変換回路２０３に伝送され、ＩＦＳ符号読み出し回路２０６から供給される変換パラメータ３０４に従って変換される。変換の結果の変換画像３０３は、回転／反転／レベル値変換回路２０３から送られ、復号画像蓄積回路２０８に蓄積される。この手順は、ＩＦＳ符号が与えられた各ブロックに実行される。
【０００９】
全てのブロックについての全てのＩＦＳ符号が読み出されると、ＩＦＳ読み出し回路２０６は読み出し終了（READ OUT END）表示信号を複写制御回路２０７に送る。複写制御回路２０７は実行された再帰的な復号／複写の回数を計数し、この回数が予め設定された数に達していないと、複写制御回路２０７は再帰的な復号手順に従って画像内の全ブロックの複合処理を続行するために再処理制御命令３０９をＩＦＳ符号読み取り回路２０６に送る。同時に、再処理命令情報は一部復号された画像データ３１３を情報経路３１４を通じて縮小画像生成回路２０２に送るために制御信号３１１を通じて送られる。縮小画像生成回路２０２はそして縮小画像陸蓄積回路２０４に蓄積された画像を書き換えるためと一部復号された縮小画像データ３１５で次の再帰的な復号工程を可能とするために符号化装置と同様の方法によって復号された画像データ３１３の一部復号された復号画像３１５を生成する。再帰的な復号操作が所定の数行われると、よって複写操作が所定の数行われると、再処理命令情報が復号画像出力制御信号３１１によってスイッチ２０９に送られる。スイッチ２０９は復号画像蓄積回路２０８からの復号画像データ３０３を画像出力ポート３１６に結びつけるように制御されている。復号画像データ３１３は予め設定され多数反復して再帰的に符号化された上述の復号ブロックの全ての画像データから構成され、制御信号３１２に従って復号が増築積回路３１２から読み出される。
【００１０】
【発明が解決しようとする課題】
上述の従来の技術では、全画像および縮小／変換画像における任意の位置に位置するブロック間の類似の近似度が計測され、最も似たブロックの位置情報（近似ブロック位置情報）とその変換パラメータがあり得る候補の全てから選択される。多くの場合には、ブロックを復号するのに必要な参照ブロックはそのブロックから離れた位置に位置している。このような場合には、画像のブロックの全てを実質的に蓄積する大容量の画像メモリが復号装置および符号化装置に保持されなければならず、メモリは頻繁にアクセスされることになる。従って、上述の欠点を克服するような改良が与えられると有益である。
【００１１】
上述の課題に鑑み、本発明は、小さい容量のメモリで画像の復元を可能とする符号化方法及び装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る符号化方法は、画像の各ブロックを反復変換符号化する符号化方法において、入力画像を第１の画像メモリに蓄積する工程と、符号化画像の反復変換復号を実行するように復号側の第２の画像メモリの最大許容メモリ容量を示す容量情報を受け取る工程と、蓄積された入力画像を上記受け取られた容量情報に従って分割して探索範囲を決定する工程と、上記決定された探索範囲内で上記各ブロックを反復変換符号化する工程とを有し、上記反復変換符号化する工程は、上記入力画像から第１の画像ブロックを生成する工程と、上記第１の画像ブロックと同一の探索領域内で上記入力画像の部分から複数の第２の画像ブロックを生成する工程と、写像関数により上記第２の画像ブロックを変換する工程と、上記第１の画像に最も似た上記変換された第２の画像ブロックを選択する工程と、上記選択された第２の画像ブロックの位置を示す符号位置情報を出力する工程と、上記選択された第２の画像ブロックを表す変換パラメータを出力する工程とを有するものである。
【００１３】
本発明に係る符号化方法は、画像の各ブロックを反復変換符号化する符号化方法において、入力画像を画像メモリに蓄積する工程と、上記画像メモリの最大許容メモリ容量を示す容量情報を生成する工程と、上記入力画像を上記最大許容メモリ容量に従って分割して探索範囲を決定する工程と、上記決定された探索範囲内で上記画像の上記各ブロックを上記画像メモリを用いて反復変換符号化して符号化ビットストリームを生成する工程と、上記生成された符号化ビットストリームおよび上記容量情報を出力する工程とを有し、上記反復変換符号化する工程は、上記入力画像から第１の画像ブロックを生成する工程と、上記第１の画像ブロックと同一の探索領域内で上記入力画像の部分から複数の第２の画像ブロックを生成する工程と、写像関数により上記第２の画像ブロックを変換する工程と、上記第１の画像に最も似た上記変換された第２の画像ブロックを選択する工程と、上記選択された第２の画像ブロックの位置を示す符号位置情報を出力する工程と、上記選択された第２の画像ブロックを表す変換パラメータを出力する工程とを有するものである。
【００１４】
本発明に係る符号化装置は、画像の各ブロックを反復変換符号化する符号化装置において、入力画像を第１の画像メモリに蓄積する手段と、符号化画像の反復変換復号を実行するように復号側の第２の画像メモリの最大許容メモリ容量を示す容量情報を受け取る手段と、蓄積された入力画像を上記受け取られた容量情報に従って分割して探索範囲を決定する手段と、上記決定された探索範囲内で上記受け取られた容量情報に従って上記各ブロックを反復変換符号化する手段とを有し、上記反復変換符号化する手段は、上記入力画像から第１の画像ブロックを生成する手段と、上記第１の画像ブロックと同一の探索領域内で上記入力画像の部分から複数の第２の画像ブロックを生成する手段と、写像関数により上記第２の画像ブロックを変換する手段と、上記第１の画像に最も似た上記変換された第２の画像ブロックを選択する手段と、上記選択された第２の画像ブロックの位置を示す符号位置情報を出力し、上記選択された第２の画像ブロックを表す変換パラメータを出力する手段とを有するものである。
【００１５】
本発明に係る符号化装置は、画像の各ブロックを反復変換符号化する符号化装置において、入力画像を画像メモリに蓄積する手段と、上記画像メモリの最大許容メモリ容量を示す容量情報を生成する手段と、上記入力画像を上記最大許容メモリ容量に従って分割して探索範囲を決定する手段と、上記決定された探索範囲内で上記画像の上記各ブロックを上記画像メモリを用いて反復変換符号化して符号化ビットストリームを生成する手段と、上記生成された符号化ビットストリームおよび上記容量情報を出力する手段とを有し、上記反復変換符号化する手段は、上記入力画像から第１の画像ブロックを生成する手段と、上記第１の画像ブロックと同一の探索領域内で上記入力画像の部分から複数の第２の画像ブロックを生成する手段と、写像関数により上記第２の画像ブロックを変換する手段と、上記第１の画像に最も似た上記変換された第２の画像ブロックを選択する手段と、上記選択された第２の画像ブロックの位置を示す符号位置情報を出力し、上記選択された第２の画像ブロックを表す変換パラメータを出力する手段とを有するものである。
【００２１】
画像の各ブロックを符号化する反復変換符号化の方法では、入力画像は第１の画像メモリに蓄積される。容量情報は符号化画像の反復変換復号を実行するように第２の画像メモリの最大許容メモリ容量を示して受け取られる。探索範囲は蓄積された入力画像において決定され、各ブロックは決定された探索範囲内で受け取った容量情報に従って反復変換符号化される。
【００２２】
本発明の一面に従うと、決定された探索領域内の入力画像の部分はローカル目メモリに蓄積される。
【００２３】
本発明の他の面に従うと、反復変換符号化は入力画像からの第１の画像ブロックの生成、決定された探索範囲内での入力画像の部分からの複数の第２の画像ブロックの生成、予め設定された操作による第２のブロックの変換、第１の画像ブロックに最も似た変換された第２の画像ブロックの選択、選択された第２のブロックの位置を示す符号位置情報の出力、選択された第２の画像ブロックの変換を表す変換パラメータの出力から構成されている。
【００２５】
【発明の実施の形態】
本発明に従った符号化方法及び装置、並びに復号方法及び装置の好適な実施の形態について、図面を参照して説明する。
【００２６】
最初に、符号化および復号装置について、図１を参照して述べる。この符号化および復号装置は、入力された画像を符号化して符号語のビットストリームである符号化ビットストリーム１０１を出力する符号化装置１と、符号化ビットストリーム１０１を受け取って復号して復号画像を生成する復号装置２とを含んでいる。
【００２７】
符号化および復号装置では、符号化装置１は、原画像データが入力されて蓄積される画像メモリ部６と、画像メモリ部６から供給される画像データ１１２、１１３を符号化する反復変換符号化部３と、反復変換符号化操作に用いる最大許容メモリ容量情報１０２に基づいて探索範囲を決定する探索範囲決定部９とを含んでいる。反復変換符号化部３からの符号化ビットストリーム１０１は、通信ネットワークを介して復号装置２に供給される。復号装置２は、符号語の符号化ビットストリームを復号して復号画像を出力する反復変換復号部４と、復号画像が蓄積される画像メモリ部１５と、画像メモリ部１５の復号可能な最大許容メモリ容量を決定して復号可能な最大許容メモリ容量を示す最大許容メモリ容量を出力する最大許容メモリ容量決定部１４０とを有している。
【００２８】
符号化および復号装置の操作について、ここで説明する。復号装置２は、画像メモリ部１５の復号最大許容メモリ容量を決定する。従って、復号装置２が符号化装置１によって符号化されて出力された符号化ビットストリームを復号するには、符号化装置１は、復号装置２から出力される最大許容メモリ情報１０２に基づいて符号化操作を実行しなければならない。
【００２９】
よって、符号化装置１は、数値化された入力された画像データ１００を最大許容メモリ容量情報１０２により決定された領域内で反復変換符号化を実行する。この反復変換符号化は、後に詳細に記述される。
【００３０】
符号化および復号の一連の処理について、ここで図２のフローチャートを参照して説明する。ステップＳ１１では、画像メモリ部１５の復号可能最大許容メモリ容量は最大許容メモリ容量決定部１４０によって決定され、復号可能な最大許容メモリ容量を示す最大許容メモリ容量情報１０２は符号化装置１に与えられる。そしてステップＳ１２では、符号化される入力された画像の範囲が探索範囲決定部９により与えられた最大許容メモリ容量情報１０２に従って決定され、探索範囲情報１１４は画像メモリ部６に与えられる。これに続くステップＳ１３では、画像メモリ部６から与えられた範囲の入力された画像データは、反復変換符号化部３により符号化ビットストリームに符号化される。その結果、符号化ビットストリーム１０１は復号装置２に与えられる。そして、操作はステップＳ１４に進む。ステップＳ１４では、符号化装置１からの符号化ビットストリームは、反復変換復号部により復号されて復号画像が生成される。
【００３１】
ネットワークを用いて情報信号（符号化ビットストリーム）を伝送する情報信号伝送装置について、ここで図３を参照して説明する。本発明に従った情報信号伝送装置は、画像データ１００を符号化して符号化ビットストリーム１０１を生成してネットワーク１８に伝送する符号化装置１と、符号化ビットストリームをネットワーク１８から受け取って復号画像１０３を生成することにより復号ビットストリームを復号する第１の復号装置２1と、第１の復号装置２1と同じ機能を実行する第Ｎの復号装置２nと、復号ビットストリーム１０１および他の情報信号を伝送するように第１の復号装置１、第１の復号装置２1および第Ｎの復号装置２nに接続されたネットワーク１８とを含んでいる。第１の符号化装置１の構造は図１の符号化装置１と同じであり、第１および第Ｎの復号装置２1、２nの構造は図１の復号装置２と同じである。
【００３２】
図３の情報信号伝送装置の操作について、ここで説明する。ネットワーク１８上の複数の復号装置の内の一つの復号装置から、復号装置の画像メモリ部１５の最大許容メモリ容量を示す最大許容メモリ容量情報１０２がネットワーク１８に出力される。例えば、復号が第Ｎの復号装置２nによって実行される場合には、第Ｎの復号装置２nからの最大許容メモリ容量情報１０２がネットワーク１８に伝送されてそして符号化装置１に与えられる。
【００３３】
最大許容メモリ容量情報を受け取った符号化装置１は、受け取った情報に基づいて反復変換符号化を実行して符号化ビットストリーム１０１を生成する。符号化装置１はそして符号化ビットストリーム１０１をネットワーク１８上に伝送する。符号化ビットストリーム１０１は第Ｎの復号装置２nに与えられ、第Ｎの復号装置２nは画像データ１０３を復号して出力する。
【００３４】
ネットワーク１８上で受け取られたデータは効率のためにしばしばパケット化された伝送データ（パケット）の形で伝送される。
【００３５】
本発明の他の具体例に従ったネットワークを用いた情報信号伝送装置について図４を参照して説明する。この情報信号伝送装置は画像データ１００を符号化して符号化ビットストリーム１０１を生成してネットワークに伝送する符号化装置５と、ネットワーク１８から受け取った符号化ビットストリーム１０１を復号して復号画像データ１０３を生成する第１の復号装置２１と、第１の復号装置２１と同じ機能を実行する第Ｎの復号装置２ｎと、符号化ビットストリーム１０１および他の情報信号を伝送するように符号化装置５、第１の復号装置２１および第Ｎの復号装置２ｎに接続されたネットワーク１８と、復号装置を選択する復号装置選択部１０とを含んでいる。第１および第Ｎの復号装置２１、２ｎの構造は図１の復号装置２の構造と同じである。しかし、符号化装置５の構造は図１の符号化装置１の構造と異なっている。すなわち、上で図１を参照して説明したように、符号化装置１はある復号装置２から最大許容メモリ容量情報１０２を受け取るが、符号化装置５はその内部に有する画像メモリ部の最大許容メモリ容量情報を示す最大許容メモリ容量情報１３１を出力する。
【００３６】
符号化装置の詳細な構造について以下で説明する。符号化装置５は内部の画像メモリ部の容量に従ってステップとして原画像データ１００を入力し、原画像データ１００を反復変換符号化を用いて符号化する。得られた符号化ビットストリーム１０１および符号化装置５の画像メモリ部の最大許容メモリ容量を示す最大許容メモリ容量情報１３１は図４に示すようにネットワーク１８に伝送される。
【００３７】
第１および第Ｎの復号装置２１、２Ｎのそれぞれは、それぞれの画像メモリ部の最大許容メモリ容量を示す最大許容メモリ容量情報１０２をネットワーク１８に伝送する。
【００３８】
図４はまたネットワーク１８に備えられた復号装置選択部２０を図示している。符号化装置５からの最大許容メモリ容量情報１３および復号装置２１、２ｎからの最大許容メモリ容量情報１０２は比較され、符号化装置５の最大許容メモリ容量を有する復号装置が復号装置選択部２０によって選択される。符号化ビットストリーム１０１はそして復号装置選択部２０によって選択された復号装置にネットワーク１８を介して伝送される。符号化ビットストリーム１０１は選択された復号装置に与えられ、そして復号画像データ１０３が復号されてそこから出力する。
【００３９】
符号化装置の第１の具体例についてここで図５を参照して説明する。この具体例によると、符号化装置は、画像データ１００が蓄積される画像メモリ部６と、外部から入力される最大許容メモリ情報１０２に基づいて反復変換符号化を実行するのに用いるとともに制御信号１１４により画像メモリ部６からの読み取り操作を制御するために探索範囲を決定する探索範囲決定部９と、反復変換符号化を実行して符号化ビットストリーム１０１を生成する反復変換符号化部３とを含んでいる。反復変換符号化部３は、画像メモリ部６から読み出された画像データ１１２から第１のブロック画像データ１１５を生成する第１のブロック画像生成部７と、画像メモリ部６から読み出された画像データ１１３から第２のブロック画像データ１１９を生成する第２のブロック生成部８とを有している。好適な具体例では、第２のブロック画像データは第１の画像データの２倍の大きさである。
【００４０】
反復変換符号化部３はまた第２のブロック画像データを写像して変換された第２のブロック画像データ１０７を生成する変換／生成部１１と、変換された第２のブロック画像データ１０７と画像データ１１２との類似の近似度を計測する近似度計測／閾値処理部１０と、選択された第２のブロック画像データの番号または番地および変換パラメータを符号化／多重化して符号化ビットストリーム１０１を出力する符号化／多重化部１３とを含んでいる。
【００４１】
第１の具体化の符号化装置の操作について図６に示すフローチャートを参照してここで説明する。ステップＳ３１では、入力された画像データ１００は画像メモリ６に蓄積される。ステップＳ３２では、最大許容メモリ容量を示す最大許容メモリ容量情報１０２が復号装置のような外部の装置から供給される探索領域決定部９は、受け取った最大許容メモリ容量情報１０２に従って近似ブロック探索領域内の探索範囲を計算する。例えば、最大許容メモリ容量が１００Ｋｂｉｔｓの場合には、１００Ｋｂｉｔｓ＝３１６ｂｉｔｓ×３１６ラインであるので、３１６の縦方向（longitudinal）および３１６の横方向（lateral ）のビットにより定義される領域が最大許容探索範囲である。操作はステップＳ３３に進む。
【００４２】
ステップＳ３３では、反復変換符号化操作が決定された最大許容探索範囲に基づいて実行され、符号化ビットストリームが生成される。
【００４３】
図６に示すステップＳ３３に対応する反復変換符号化部３の操作について図７のフローチャートを参照して説明する。ステップＳ２１では、制御信号１１８を用いた制御部１２の制御の下に、画像データ１１２は画像メモリ部６から第１のブロック生成部７に供給される。さらに、制御信号１１４を用いた探索範囲決定部９の制御の下に、画像データ１１３は、第１の画像データ１１５の位置および最大許容メモリ容量情報１０２に基づいた探索範囲に対応して、画像メモリ部６から第２のブロック生成部８に与えられる。そして、第１のブロック生成部７は画像データ１１２から第１のブロック画像１１５を生成する。同様に、第２のブロック画像生成部８は探索領域に対応した画像データ１１３から第２のブロック画像データ１１９を生成する。これに続くステップＳ２２では、第２のブロック画像データ１１９は画像変換／生成部１１により写像され、変換された第２のブロック画像データ１０７が生成される。そして、操作はステップＳ２３に進む。
【００４４】
写像変換についてはは反復変換符号化の基本的な理論の記述において以下で説明する。
【００４５】
図７の説明を続けると、ステップ２３では、近似度計測／閾値処理部１は誤差を計算し、すなわち変換された第２のブロックデータ１７と第１のブロック画像データ１１５との類似の近似度を計算する。これに続くステップＳ２４では、計算された類似の近似度が予め設定された閾値（ＴＨ）と比較される。誤差が閾値より小さいと、すなわち、誤差＜ＴＨであると“ＹＥＳ”決定が得られて操作はステップＳ２５に進む。ステップＳ２５では、制御信号２２を用いた制御部１２の制御の下に第２のブロックデータが候補として選択され、操作はステップＳ２６に進む。上記条件（誤差＜ＴＨ）が充足されないと、“ＮＯ”決定が得られて操作はステップＳ２６に進む。
【００４６】
ステップＳ２６では、探索領域の全ての第２のブロック画像データの写像が完了したか否かが決定される。全ての第２のブロック画像データの処理が終えられると、“ＹＥＳ”決定が得られて操作はステップＳ２７に進む。そうでないと、“ＮＯ”決定が得られて操作はステップＳ２２に戻ってそして次の第２のブロック画像データに同様の操作が実行される。ステップＳ２７では、候補として選択された全ての第２のブロック画像データの中から第１のブロック画像データからの誤差が最小となったときの第２のブロックデータが制御信号１２２にて制御部１２によって選択され、操作はステップＳ２８に進む。ステップＳ２８では、選択された第２のブロック画像の位置情報としての番号または番地および変換パラメータ１２１が符号化／多重化部１２に伝送される。操作はそしてステップＳ２９に進む。ステップＳ２９では、全ての第１のブロック画像データの処理が完了したか否かが決定される。全ての第１のブロック画像データの処理が終えられると、処理はステップＳ３０に進む。そうでないと、操作はステップＳ２１に戻り、そして次の第１のブロック画像データに同じ操作が実行される。
【００４７】
ステップＳ３０では、第１のブロック画像の番号または番地の順序で、類似の最高の近似度を有する選択された第２のブロック画像の番号または番地１２０および変換パラメータ１２１が、符号化および多重化され、そして符号化／多重化部１２から符号化ビットストリーム１０１として出力される。
【００４８】
探索範囲決定部９の詳細な操作についてここで説明する。探索範囲決定部９は、第１のブロック画像データ１１５および最大許容メモリ容量情報１０２から、現符号化標的ブロックとしての第１のブロック画像データの位置に基づいて標的領域を決定し、探索範囲値（制御信号）１１４を画像メモリ部６に出力する。
【００４９】
例えば、上述のように原画像の大きさが７２０画素×７２０ラインで最大許容メモリ容量が１００Ｋｂｉｔであると、最大許容メモリ情報から計算された分割画面の数は、横方向（lateral）に２、縦方向（longitudinal ）に２、総計４である。
【００５０】
探索領域値１１４により設定された領域からの画像データ１１３は画像メモリ部６から第２のブロック生成部８に出力される。
【００５１】
図８に示されるように、例えば、第１のブロック画像がＲｍであると、探索範囲値１１４は領域２を示し、同じ領域の画像データ１１３は画像メモリ部６から読み出される。
【００５２】
各部についてここで詳細に説明する。最初に、本発明の具体例の技術としての反復変換符号化／復号の基本的な理論について図９を参照して説明する。
【００５３】
反復変換符号化はドメインブロックから画面（画像）を構成する全てのレンジブロックへの縮小（還元）写像を繰り返し実行する記述である。この点について、最も近似したドメインブロックの位置情報および変換パラメータは各レンジブロックについて符号化される。
【００５４】
図９では、レンジブロックＲｋは第１のブロック画像データ１１５に対応しドメインブロックＤｋは第２のブロック画像データ１１９に対応している。レンジブロックＲｋのブロックの大きさはｍ×ｎと定義され、ドメインブロックＤｋのブロックの大きさはＭ×Ｎと定義される。図９では、この画像内にＬ×Ｌのレンジブロックデータが存在することが示されている。レンジブロックとドメインブロックのブロックの大きさは符号化効率に影響する要素であり、従って、ブロックの大きさの決定は重要である。
【００５５】
画像変換／生成部１１によって実行されるブロック画像変換はドメインブロックＤｋをレンジブロックＲｋに変換するものである。ブロックｋの写像関数がｗｋで全画面の写像変換に要する第２のブロック画像の数がＰであると、画像ｆは前画像の写像関数Ｗによって次の式（１）のように変換される。
Ｗ（ｆ）＝ｗ1（ｆ）∪ｗ2（ｆ）∪・・・∪ｗP（ｆ） （１）
従って、Ｗは次の式（２）によって表現される。
Ｗ＝∪P k=1Ｗk （２）
写像関数Ｗとしては、収束する限りは任意の関数が選択される。収束を確保するために、縮小写像が典型的に用いられる。加えて、アフィン変換が処理を簡単にするためにしばしば用いられる。
【００５６】
ドメインブロックＤｋがレンジブロックＲｋにアフィン変換によって写像される場合は次に式（３）によって表現され、実際の変換関数はｖiとされる。
【００５７】
【数１】
【００５８】
この式（３）によって、２ブロック間の縦方向および横方向の移動、縮小、拡大の全ての変換が表現される。
【００５９】
上述の変換は空間座標についてであるが、明度や色彩相違情報のような密度値に関連する画像値についての写像変換も同様にして行われる。この場合には、簡単のために、Ｄｋ内の画素値ｄiからＲｋ内の画素値ｒiへの変換の関係表現は次の式（４）にて示される。
ｖi（ｄi）＝ｃ×ｄi＋ｂ （４）
この式（４）では、ｃはコントラストとｂは輝度（ブライトネス）と定義される。
【００６０】
この場合には、レンジブロックＲｋの画像値ｒiから相違の最小平方和を実現するパラメータｃおよびｂは、次の（５）式のように計算される。
Σ（ｃ×ｄi＋ｂ−ｒi）2→最小値 （５）
画像変換／生成部１１は式（３）によって表現される回転、縦方向および横方向の移動、縮小、拡大のような一連のアフィン変換を実行し、画面内で第２のブロック画像データ１１９について位置変換を実行する。
【００６１】
図９では、画面の下右の部分に位置しているドメインブロックＤｋは画面の上左の部分に位置しているレンジブロックＲｋに写像される。ブロックの画素の密度値の変換方法としては、アフィン変換が同様に用いられる。
【００６２】
特に、第２のブロック画像データ１１９について、式（３）の変換係数（ａi，ｂ ，ｃi，ｄｉ，ｅｉ，ｆｉ）を種々の組み合わせに変更して実行され、それによって変換された第２のブロック画像データ１０７が得られる。そして、変換された第２のブロック画像データ１０７と第１のブロック画像データ１１５の間の類似の近似度が測定される。
【００６３】
類似の近似度を測定する方法としては、これらの画像の誤差の絶対値の和が使用される。
【００６４】
復号装置の具体例についてここで図１０を参照して説明する。復号装置は符号化ビットストリームを受け取って反復変換復号を実行して復号画像を生成する反復変換復号部４と、反復変換復号により処理された復号画像を蓄積する画像メモリ部１５と、画像メモリ部１５の最大許容メモリ容量を示す最大許容メモリ容量情報１０２を生成する最大許容メモリ容量決定部１４０とを含んでいる。
【００６５】
反復変換復号部４は受け取った符号化ビットストリームを復号して多重化を分解して第１のブロック画像の番号または番地１１７、第２のブロック画像の番号または番地１２０および変換パラメータ１２０を生成する復号／分解部２５を含んでいる。変換元ブロック再現部１４は第２のブロック画像の番号または番地１２０に基づいて、画像メモリ部１５から供給される画像データ１２４から変換元ブロック画像データ１２２を再現する。画像変換／生成部１１は変換パラメータ１２１に基づいて、変換元ブロック再現部１４によって再現された変換元ブロック画像データ１２２に写像変換を実行し、画像メモリ部１５に変換されたブロック画像１２３を与える。制御部１６は反復変換復号操作の数が予め設定された数に達するまで反復変換を制御する。
【００６６】
復号装置の操作についてここで図１１のフローチャートを参照して説明する。ステップＳ４１では、復号される画像データを蓄積するために画像メモリ部１５の最大復号容量として最大許容メモリ容量情報１０２が計算され、外部の符号化装置にネットワークを通じて伝送される。そして復号装置の操作はステップＳ４２に進む。ステップＳ４２では、符号化装置からの符号化ビットを受け取ったか否かが決定される。符号化ビットが受け取られていると、操作はステップＳ４３に進む。そうでないと、処理は待ち状態にある。ステップＳ４３では、復号装置の反復変換操作は画像メモリ部を用いて符号化ビットに行われ、そして復号画像が出力される。
【００６７】
次に、図１１のステップＳ４３に対応する反復変換復号部４の操作について図１２を参照して説明する。ステップＳ５２では、符号化ビットストリーム１０１は復号／分解部２５によって復号／分解されて次の符号語が生成される：第１のブロックの番号または番地１１７、第２のブロックの番号または番地１２０および変換パラメータ１２１。操作はステップＳ５３に進む。ステップＳ５３では、第２のブロック画像の位置情報としての番号または番地１２０に基づいて、変換元ブロックデータ１２２が画像メモリ部１５の画像データから再現されてそして変換生成部１１に与えられる。ステップＳ５４では、変換パラメータ１２１によって設定された写像変換が画像変換／生成部１１によって変換元ブロック再現部１４によって再現された変換元ブロック画像データ１２２について実行される。変換されたブロック画像がそして生成される。操作はステップＳ５５に進む。変換されたブロック画像データ（復号ブロック画像）１２３は第１のブロック画像の番号または番地（位置情報）の位置に、画像メモリ部１５に蓄積される。ステップＳ５６では、画像画面の全ての第１のブロックの画像データの復号操作が処理されたか否かが決定される。全ての第１のブロック画像データの処理が処理されていると、操作はステップＳ５７に進む。そうでないと、操作はステップＳ５３に戻り同じ操作が次のブロック画像データに対して行われる。
【００６８】
ステップＳ５７では、反復変換操作が続行されるか否かが制御部１６によって決定される。これは、反復変換操作の数が予め設定された数に達したかどうかによって決定される。反復変換操作を続行することが必要であると、すなわち、予め設定する得た反復変換処理の数に達していないと、制御信号１１７が変換元ブロック再現部１４に生成される。操作はそしてステップＳ５３に戻る。反復変換操作の数が予め設定された数に達していると、処理はステップＳ５８に継続する。
【００６９】
ステップＳ５８では、最終的に復号画像データ１２５は画像メモリ部１５に蓄積され復号画像データとして制御部１６により出力される。
【００７０】
図１および図３の符号化装置の第２の具体例についてここで図１３を参照して説明する。符号化装置は入力された画像データ１００が蓄積される画像メモリ部６と、最大許容メモリ容量情報１０２に基づいて反復変換符号化を実行する際に探索範囲を決定するとともに画像メモリ部６を制御する探索範囲決定部９と、反復変換を実行して符号化ビットストリーム１０１を生成する反復変換符号化部３とを含んでいる。第１の符号化装置とは異なって、反復変換符号化部３は、読み出し操作が第１の符号化器１とは異なった画像メモリ部６から読み出された画像を一時的に蓄積するローカルメモリ部を含んでいる。
【００７１】
反復変換符号化部３は本発明の第２の具体例に従ってローカルメモリ部１７から取り出された画像データ１２９から第１のブロック画像１１５を生成する第１のブロック画像生成部７と、ローカルメモリ部１７から取り出された画像データ１３０から第２のブロック画像データを生成する第２のブロック画像生成部８とを含んでいる。反復変換符号化部３はまた画像変換／生成部１１によって変換された画像と第１のブロック画像の類似の近似度を計測して閾値を処理する近似度計測／閾値処理部１０と、第２のブロック画像を社蔵して変換された痔亜２の部録画像データ１０７を生成する画像変換／生成部１１とを含んでいる。
【００７２】
第２の具体例の符号化装置はさらに画像メモリ部６からとローカルメモリ部１７からの画像の読み出しを制御する制御部１２と、第２のブロック画像の番号または番地および変換パラメータを符号化／多重化して符号化ビットストリームとして出力する符号化／多重化部とを有している。
【００７３】
符号化装置の第２の具体例の操作についてここで説明する。この符号化装置は符号化装置の第１の具体例とは領域画像データ１２７が探索範囲決定部９からの探索範囲値（制御信号）１１４および制御部１２からの制御信号１２３に従って画像メモリ部６からローカルメモリ部１７に続けて伝送されることが相違している。
【００７４】
例えば、符号化装置の第１の具体例で記述した許容メモリ容量および画像の大きさの条件の下では、画像メモリ部６からは４つの領域が続いて読み出され、ローカルメモリ部１７に一時的に蓄積される。その後、制御信号１１８を用いて制御部１２の制御の下にローカルメモリ部１７から読み出された画像データ１２９および画像データ１３０は第１および第２のブロック画像データ１１５、１１９を生成するために第１のブロック画像生成部７および第２のブロック画像生成部８に与えられる。
【００７５】
画像メモリ部６およびローカルメモリ部１７は異なったメモリ型から構成されている。ローカルメモリ部１７は画像メモリ部６より頻繁にアクセスされるので、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が用いられる。他には、ＣＰＵ（central processing unit ）に取り付けられたキャッシュメモリも用いることができる。
【００７６】
符号化装置の第３の具体例は画像メモリ部６に代わって制御信号１１８を用いて制御部１２の制御の下に、入力された画像を一時的に蓄積してブロック画像データ１２９を第１のブロック生成部７に供給し、ブロック画像データ１３０を第２のブロック画像生成部８に供給するローカルメモリ部１７と、符号化装置の第１の具体例の探索領域決定部９とを含んでいる。
【００７７】
図１４に示すように、ローカルメモリ部１７はネットワークに出力するローカルメモリ部１７の最大許容メモリ容量を示す最大許容メモリ容量情報１３１も生成する。第３の具体例の他の部分の構造および操作は符号化装置の第１および第２の具体例と同じであり、それらの説明は省略する。
【００７８】
符号化装置の第３の具体例の操作についてここで説明する。符号化装置５には比較的小さいメモリ容量を有するローカルメモリ部１７のみが与えられ、ローカルメモリ部１７の容量は符号化装置からネットワークへこの符号化装置の最大許容メモリ容量情報１３１として伝送される。
【００７９】
ローカルメモリ部１７から読み出されたブロック画像データ１２９、１３０はそれぞれ第１のブロック画像データ１１５および第２のブロック画像データ１１９を生成する第１および第２のブロック生成部７、８に供給される。これに続く処理は符号化装置の第２の具体例と同様である。
【００８０】
本発明に従った符号化および復号装置ならびに方法がブロック図について示されたが、各ブロックを物理的な要素として与えることに加え、全方法および装置をこの目的のために一般用のコンピュータにインプリメントすることができる。これに関し、記録媒体、または他の蓄積装置は、上述の符号化および復号の方法に示した各ステップを実行する操作命令を含んでいる。また、記録媒体に代わって、通信ネットワークに接続された伝送チャンネルまたはこれに類するものは符号化部からのデータを受け取って伝送し、符号化されたデータを復号するために提供される。
【００８１】
符号化装置及び方法、復号装置および方法、符号化および復号装置ならびに方法、情報信号伝送装置、記録媒体の適用の具体例は、デジタルビデオディスク、画像伝送／受け取り装置、画像データベース、インターネットからの画像ダウンロードを目的とする画像圧縮／復号装置、電子スチルカメラ、ゲーム装置、可変サイズ表示の表示部を有する符号化／復号装置、同様のシステムを実現するソフトウェアモジュールを含んでいる。
【００８２】
以上説明したように、符号化／復号装置は入力画像データを蓄積する画像メモリ部および反復符号化される画像の範囲を決定する探索範囲決定部を有する符号化装置を含んでいる。符号化ビットストリームは決定さえれた範囲で反復符号化される画像データから生成される。復号装置は符号化装置から受け取った符号化ビットストリームから得られた画像データを蓄積する画像メモリ部を有している。復号装置はまた符号化ビットストリームを反復変換復号して復号データを復号画像データとして出力するための画像メモリ部の最大復号容量を計算する最大許容メモリ容量決定部を有している。符号化／復号装置は、小さいメモリ容量を使うことにより高い符号化効率と高品質の画像を与える。
【００８３】
【発明の効果】
上述のように、本発明に従った符号化方法及び装置は、復号のためのメモリが限られた容量であっても、符号化操作はメモリ容量に従って先立って行われる。従って、メモリ容量は符号化操作を限定せず、スケール可能な構成が実現される。加えて、メモリ容量の減少は符号化のための近似ブロックの探索の範囲を狭くするので、高速の操作が実行される。
【００８４】
本発明では、符号化制御はネットワーク上に存在する複数の復号装置の反復変換復号部の一つからネットワークに伝送された復号装置の最大許容メモリ容量に基づいて符号化装置により行われる。従って、ネットワーク上の全ての復号装置が有効に利用される。また、符号化装置によって自分かつ処理が行われると、効率はさらに改善される。
【００８５】
加えて、本発明では、符号化装置から伝送される符号化ビットストリームの復号を可能にする最大の許容メモリ容量を有する一つの反復変換復号部がネットワークから選択される。従って、符号化制御は復号装置の許容メモリ容量に関わらず、符号化装置に与えられた画像メモリ部の容量の範囲内で実行される。よって、非常に高い自由度を有するネットワークが得られる。また、高価でない符号化装置から出力された符号化ビットストリームは高価な復号装置によって復号されることなく、高価でない復号装置が復号画像を与えるために選択される。従って、資源の有効活用が得られる。
【図面の簡単な説明】
【図１】符号化および復号装置のブロック図である。
【図２】符号化および復号方法のフローチャートである。
【図３】情報信号伝送装置を表すブロック図である。
【図４】他の情報信号伝送装置を表すブロック図である。
【図５】符号化装置の第１の具体例を示すブロック図である。
【図６】符号化装置の第１の具体例に従った方法のフローチャートである。
【図７】図６の反復変換符号化を詳しく説明するフローチャートである。
【図８】画像内のブロック間の写像関係を示す図である。
【図９】反復変換符号化に従ったブロック間の写像を示す図である。
【図１０】復号装置のブロック図である。
【図１１】復号方法のフローチャートである。
【図１２】復号操作の反復変換復号のフローチャートである。
【図１３】符号化装置の第２の具体例のブロック図である。
【図１４】符号化装置の第３の具体例のブロック図である。
【図１５】従来の符号化装置のブロック図である。
【図１６】従来の符号化装置のブロック図である。
【符号の説明】
１ 符号化装置、２ 復号装置、３ 反復変換符号化部、４ 反復変換復号部、６ 画像メモリ部、９ 探索領域決定部、１４０ 最大許容メモリ容量決定部
【発明の属する技術分野】
本発明は、一般に符号化方法および装置に関し、詳しくは効果的に画像を伝送するための効率の高い画像符号化を行う符号化方法及び装置に関する。
【０００２】
【従来の技術】
国際標準化機構（International Organazation for Standardization;ISO）はＪＰＥＧ（Joint Photographic Experts Group）と呼ばれる従来の画像圧縮のための標準化体系を公表している。この体系は、離散コサイン変換（Discrete Cosine Transformation;DCT）を画像に適用して画像をＤＣＴ係数に変換することにより画像の最適化符号化又は復号を与える。この体系は、符号化された情報を表すために比較的多数のビットが使われているときに最も効率よく働く。しかし、符号化された情報を表すためのビットの数がある所定値より小さいと、そのようなＤＣＴ変換に生来のブロック歪みが顕著になり、画像の質は見ている人が気づくほどに劣化する。
【０００３】
ＪＰＥＧとＤＣＴの手順のこのような欠陥に応じて、新しい反復変換システム（反復関数体系；Iterated Function System;IFS）が提案され、賛意を獲得しつつある。このＩＦＳの技術は、画像の部分の間の自己相似性に着目したものであって、フラクタル幾何学に基づくものである。ＩＦＳは、特定の画像の様々な部分は、たとえこれらが異なった大きさ（サイズ）、位置、遠近法または方向であっても、類似しているという仮定の下に働く。ＩＦＳは、ＪＰＥＧ体系で生成されるかもしれないブロック歪みなしに画像を効率的に符号化するために、画像の冗長度を利用している。従って、ＩＦＳは、符号化された情報を表すために用いられたビット数に殆ど依存することがなく、復号中における解像度は、符号化された情報を表すために比較的少数のビット数が用いられたときにも影響を受けない。
【０００４】
ＩＦＳの基本構造は、Arnaud E. Jaquinの“反復縮小画像変換のフラクタル理論に基づく画像符号化（Image Coding Based on a Fractal Theory of Iterated Image Transformations）”,IEEE Transactions on Image Processing,Vol.1,No.1,pp.18-30という題名の学位論文に述べられている。さらに、全てBarnsley他に発行された、米国特許の第５３４７６００号、第５０６５４４７号及び第４９４１１９３号に記述されている。これらの参考文献に一般的に説明されている符号化及び復号装置は、ここで先行技術の図１５及び図１６により記述される。
【０００５】
最初に図１５を参照すると、符号化装置の従来の操作が示されている。図１５に示されるように、原画像３００はブロック生成回路２００に入力され、そこで複数のブロック３０１に分割される。全てのブロック３０１は合わせて原画像３００を完全に覆うが、互いに重なることはない。原画像３００はまた先行技術で知られているような方法によって縮小した大きさの縮小画像３０７を作成する縮小画像生成回路２０２に送られる。縮小画像は先に送られて縮小画像蓄積回路２０４に蓄積される。
【０００６】
各ブロック３０１は近似領域探索回路２０１に送られるが、近似領域探索回路では縮小画像蓄積回路２０４に蓄積された縮小画像３０７を探索することにより探索される特定ブロック３０１に類似の縮小画像の部分があるかどうかを決定する。上述のように、この探索は、探索されているブロック３０１とは異なった大きさ、部分、遠近法、又は方向の縮小画像３０７の部分の探索を含んでいる。最も近似した部分の成功した探索を示す検知された結果に従って、縮小画像３０７内で選択された部分３０５を特定する近似ブロック位置情報３０６は、縮小画像蓄積回路２０４に伝送される。このように示された結果に応じて、縮小画像蓄積回路２０４に蓄積された縮小画像３０７の選択された部分３０５は抽出され、回転／反転／レベル値変換回路２０３に伝送される。
【０００７】
回転／反転／レベル値変換回路２０３において、縮小画像３０７の部分３０５は、近似領域探索回路２０１から供給される変換パラメータ３０４に従った回転／反転／レベル値変換によって処理される。変換パラメータ３０４は、縮小画像３０７の選択された部分３０５のブロック３０１へ変換する変換を示している。これらのパラメータは、縮小画像３０７の特定の部分３０５が、探索されているブロック３０１に最も近く対応していることが見いだされたときに決定される。回転／変転／レベル値変換回路２０３による変換をすると、変換縮小画像３０３は近似領域探索回路２０１に送られる。結果として、変換パラメータ３０４と近似ブロック位置情報３０６は、ＩＦＳ符号３０２として出力される。よって、第１の画像はこのシステムへ入力され、出力は、第１の画像の第１のブロックを縮小画像の近似した第２のブロックへ変換するための変換パラメータおよび符号化された画像内の第２のブロックの位置を決定するための位置情報を少なくとも含んでいる。
【０００８】
次に図１６を参照すると、復号装置が示されているが、図１５に示した符号化装置から出力される変換パラメータと近似ブロック位置情報３０２を含むＩＦＳコードが、ＩＦＳ符号蓄積回路２０５に入力されて蓄積される。ＩＦＳ符号３０２はこれに引き続いてＩＦＳ符号蓄積回路２０５から各ブロックごと読み出され、ＩＦＳ符号読み出し回路２０６に送られる。ＩＦＳ符号読み出し回路２０６は、符号化装置により生成されたように、符号を近似ブロック位置情報３０６と変換パラメータ３０４に分割する。近似ブロック位置情報３０６は、近似ブロック位置情報３０６により特定される縮小画像の領域を再現するために、そして縮小画像蓄積回路２０４に送られる。特定された領域に対応する縮小画像蓄積回路２０４に蓄積された縮小画像の部分３０５は、そして回転／反転／レベル値変換回路２０３に伝送され、ＩＦＳ符号読み出し回路２０６から供給される変換パラメータ３０４に従って変換される。変換の結果の変換画像３０３は、回転／反転／レベル値変換回路２０３から送られ、復号画像蓄積回路２０８に蓄積される。この手順は、ＩＦＳ符号が与えられた各ブロックに実行される。
【０００９】
全てのブロックについての全てのＩＦＳ符号が読み出されると、ＩＦＳ読み出し回路２０６は読み出し終了（READ OUT END）表示信号を複写制御回路２０７に送る。複写制御回路２０７は実行された再帰的な復号／複写の回数を計数し、この回数が予め設定された数に達していないと、複写制御回路２０７は再帰的な復号手順に従って画像内の全ブロックの複合処理を続行するために再処理制御命令３０９をＩＦＳ符号読み取り回路２０６に送る。同時に、再処理命令情報は一部復号された画像データ３１３を情報経路３１４を通じて縮小画像生成回路２０２に送るために制御信号３１１を通じて送られる。縮小画像生成回路２０２はそして縮小画像陸蓄積回路２０４に蓄積された画像を書き換えるためと一部復号された縮小画像データ３１５で次の再帰的な復号工程を可能とするために符号化装置と同様の方法によって復号された画像データ３１３の一部復号された復号画像３１５を生成する。再帰的な復号操作が所定の数行われると、よって複写操作が所定の数行われると、再処理命令情報が復号画像出力制御信号３１１によってスイッチ２０９に送られる。スイッチ２０９は復号画像蓄積回路２０８からの復号画像データ３０３を画像出力ポート３１６に結びつけるように制御されている。復号画像データ３１３は予め設定され多数反復して再帰的に符号化された上述の復号ブロックの全ての画像データから構成され、制御信号３１２に従って復号が増築積回路３１２から読み出される。
【００１０】
【発明が解決しようとする課題】
上述の従来の技術では、全画像および縮小／変換画像における任意の位置に位置するブロック間の類似の近似度が計測され、最も似たブロックの位置情報（近似ブロック位置情報）とその変換パラメータがあり得る候補の全てから選択される。多くの場合には、ブロックを復号するのに必要な参照ブロックはそのブロックから離れた位置に位置している。このような場合には、画像のブロックの全てを実質的に蓄積する大容量の画像メモリが復号装置および符号化装置に保持されなければならず、メモリは頻繁にアクセスされることになる。従って、上述の欠点を克服するような改良が与えられると有益である。
【００１１】
上述の課題に鑑み、本発明は、小さい容量のメモリで画像の復元を可能とする符号化方法及び装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る符号化方法は、画像の各ブロックを反復変換符号化する符号化方法において、入力画像を第１の画像メモリに蓄積する工程と、符号化画像の反復変換復号を実行するように復号側の第２の画像メモリの最大許容メモリ容量を示す容量情報を受け取る工程と、蓄積された入力画像を上記受け取られた容量情報に従って分割して探索範囲を決定する工程と、上記決定された探索範囲内で上記各ブロックを反復変換符号化する工程とを有し、上記反復変換符号化する工程は、上記入力画像から第１の画像ブロックを生成する工程と、上記第１の画像ブロックと同一の探索領域内で上記入力画像の部分から複数の第２の画像ブロックを生成する工程と、写像関数により上記第２の画像ブロックを変換する工程と、上記第１の画像に最も似た上記変換された第２の画像ブロックを選択する工程と、上記選択された第２の画像ブロックの位置を示す符号位置情報を出力する工程と、上記選択された第２の画像ブロックを表す変換パラメータを出力する工程とを有するものである。
【００１３】
本発明に係る符号化方法は、画像の各ブロックを反復変換符号化する符号化方法において、入力画像を画像メモリに蓄積する工程と、上記画像メモリの最大許容メモリ容量を示す容量情報を生成する工程と、上記入力画像を上記最大許容メモリ容量に従って分割して探索範囲を決定する工程と、上記決定された探索範囲内で上記画像の上記各ブロックを上記画像メモリを用いて反復変換符号化して符号化ビットストリームを生成する工程と、上記生成された符号化ビットストリームおよび上記容量情報を出力する工程とを有し、上記反復変換符号化する工程は、上記入力画像から第１の画像ブロックを生成する工程と、上記第１の画像ブロックと同一の探索領域内で上記入力画像の部分から複数の第２の画像ブロックを生成する工程と、写像関数により上記第２の画像ブロックを変換する工程と、上記第１の画像に最も似た上記変換された第２の画像ブロックを選択する工程と、上記選択された第２の画像ブロックの位置を示す符号位置情報を出力する工程と、上記選択された第２の画像ブロックを表す変換パラメータを出力する工程とを有するものである。
【００１４】
本発明に係る符号化装置は、画像の各ブロックを反復変換符号化する符号化装置において、入力画像を第１の画像メモリに蓄積する手段と、符号化画像の反復変換復号を実行するように復号側の第２の画像メモリの最大許容メモリ容量を示す容量情報を受け取る手段と、蓄積された入力画像を上記受け取られた容量情報に従って分割して探索範囲を決定する手段と、上記決定された探索範囲内で上記受け取られた容量情報に従って上記各ブロックを反復変換符号化する手段とを有し、上記反復変換符号化する手段は、上記入力画像から第１の画像ブロックを生成する手段と、上記第１の画像ブロックと同一の探索領域内で上記入力画像の部分から複数の第２の画像ブロックを生成する手段と、写像関数により上記第２の画像ブロックを変換する手段と、上記第１の画像に最も似た上記変換された第２の画像ブロックを選択する手段と、上記選択された第２の画像ブロックの位置を示す符号位置情報を出力し、上記選択された第２の画像ブロックを表す変換パラメータを出力する手段とを有するものである。
【００１５】
本発明に係る符号化装置は、画像の各ブロックを反復変換符号化する符号化装置において、入力画像を画像メモリに蓄積する手段と、上記画像メモリの最大許容メモリ容量を示す容量情報を生成する手段と、上記入力画像を上記最大許容メモリ容量に従って分割して探索範囲を決定する手段と、上記決定された探索範囲内で上記画像の上記各ブロックを上記画像メモリを用いて反復変換符号化して符号化ビットストリームを生成する手段と、上記生成された符号化ビットストリームおよび上記容量情報を出力する手段とを有し、上記反復変換符号化する手段は、上記入力画像から第１の画像ブロックを生成する手段と、上記第１の画像ブロックと同一の探索領域内で上記入力画像の部分から複数の第２の画像ブロックを生成する手段と、写像関数により上記第２の画像ブロックを変換する手段と、上記第１の画像に最も似た上記変換された第２の画像ブロックを選択する手段と、上記選択された第２の画像ブロックの位置を示す符号位置情報を出力し、上記選択された第２の画像ブロックを表す変換パラメータを出力する手段とを有するものである。
【００２１】
画像の各ブロックを符号化する反復変換符号化の方法では、入力画像は第１の画像メモリに蓄積される。容量情報は符号化画像の反復変換復号を実行するように第２の画像メモリの最大許容メモリ容量を示して受け取られる。探索範囲は蓄積された入力画像において決定され、各ブロックは決定された探索範囲内で受け取った容量情報に従って反復変換符号化される。
【００２２】
本発明の一面に従うと、決定された探索領域内の入力画像の部分はローカル目メモリに蓄積される。
【００２３】
本発明の他の面に従うと、反復変換符号化は入力画像からの第１の画像ブロックの生成、決定された探索範囲内での入力画像の部分からの複数の第２の画像ブロックの生成、予め設定された操作による第２のブロックの変換、第１の画像ブロックに最も似た変換された第２の画像ブロックの選択、選択された第２のブロックの位置を示す符号位置情報の出力、選択された第２の画像ブロックの変換を表す変換パラメータの出力から構成されている。
【００２５】
【発明の実施の形態】
本発明に従った符号化方法及び装置、並びに復号方法及び装置の好適な実施の形態について、図面を参照して説明する。
【００２６】
最初に、符号化および復号装置について、図１を参照して述べる。この符号化および復号装置は、入力された画像を符号化して符号語のビットストリームである符号化ビットストリーム１０１を出力する符号化装置１と、符号化ビットストリーム１０１を受け取って復号して復号画像を生成する復号装置２とを含んでいる。
【００２７】
符号化および復号装置では、符号化装置１は、原画像データが入力されて蓄積される画像メモリ部６と、画像メモリ部６から供給される画像データ１１２、１１３を符号化する反復変換符号化部３と、反復変換符号化操作に用いる最大許容メモリ容量情報１０２に基づいて探索範囲を決定する探索範囲決定部９とを含んでいる。反復変換符号化部３からの符号化ビットストリーム１０１は、通信ネットワークを介して復号装置２に供給される。復号装置２は、符号語の符号化ビットストリームを復号して復号画像を出力する反復変換復号部４と、復号画像が蓄積される画像メモリ部１５と、画像メモリ部１５の復号可能な最大許容メモリ容量を決定して復号可能な最大許容メモリ容量を示す最大許容メモリ容量を出力する最大許容メモリ容量決定部１４０とを有している。
【００２８】
符号化および復号装置の操作について、ここで説明する。復号装置２は、画像メモリ部１５の復号最大許容メモリ容量を決定する。従って、復号装置２が符号化装置１によって符号化されて出力された符号化ビットストリームを復号するには、符号化装置１は、復号装置２から出力される最大許容メモリ情報１０２に基づいて符号化操作を実行しなければならない。
【００２９】
よって、符号化装置１は、数値化された入力された画像データ１００を最大許容メモリ容量情報１０２により決定された領域内で反復変換符号化を実行する。この反復変換符号化は、後に詳細に記述される。
【００３０】
符号化および復号の一連の処理について、ここで図２のフローチャートを参照して説明する。ステップＳ１１では、画像メモリ部１５の復号可能最大許容メモリ容量は最大許容メモリ容量決定部１４０によって決定され、復号可能な最大許容メモリ容量を示す最大許容メモリ容量情報１０２は符号化装置１に与えられる。そしてステップＳ１２では、符号化される入力された画像の範囲が探索範囲決定部９により与えられた最大許容メモリ容量情報１０２に従って決定され、探索範囲情報１１４は画像メモリ部６に与えられる。これに続くステップＳ１３では、画像メモリ部６から与えられた範囲の入力された画像データは、反復変換符号化部３により符号化ビットストリームに符号化される。その結果、符号化ビットストリーム１０１は復号装置２に与えられる。そして、操作はステップＳ１４に進む。ステップＳ１４では、符号化装置１からの符号化ビットストリームは、反復変換復号部により復号されて復号画像が生成される。
【００３１】
ネットワークを用いて情報信号（符号化ビットストリーム）を伝送する情報信号伝送装置について、ここで図３を参照して説明する。本発明に従った情報信号伝送装置は、画像データ１００を符号化して符号化ビットストリーム１０１を生成してネットワーク１８に伝送する符号化装置１と、符号化ビットストリームをネットワーク１８から受け取って復号画像１０３を生成することにより復号ビットストリームを復号する第１の復号装置２1と、第１の復号装置２1と同じ機能を実行する第Ｎの復号装置２nと、復号ビットストリーム１０１および他の情報信号を伝送するように第１の復号装置１、第１の復号装置２1および第Ｎの復号装置２nに接続されたネットワーク１８とを含んでいる。第１の符号化装置１の構造は図１の符号化装置１と同じであり、第１および第Ｎの復号装置２1、２nの構造は図１の復号装置２と同じである。
【００３２】
図３の情報信号伝送装置の操作について、ここで説明する。ネットワーク１８上の複数の復号装置の内の一つの復号装置から、復号装置の画像メモリ部１５の最大許容メモリ容量を示す最大許容メモリ容量情報１０２がネットワーク１８に出力される。例えば、復号が第Ｎの復号装置２nによって実行される場合には、第Ｎの復号装置２nからの最大許容メモリ容量情報１０２がネットワーク１８に伝送されてそして符号化装置１に与えられる。
【００３３】
最大許容メモリ容量情報を受け取った符号化装置１は、受け取った情報に基づいて反復変換符号化を実行して符号化ビットストリーム１０１を生成する。符号化装置１はそして符号化ビットストリーム１０１をネットワーク１８上に伝送する。符号化ビットストリーム１０１は第Ｎの復号装置２nに与えられ、第Ｎの復号装置２nは画像データ１０３を復号して出力する。
【００３４】
ネットワーク１８上で受け取られたデータは効率のためにしばしばパケット化された伝送データ（パケット）の形で伝送される。
【００３５】
本発明の他の具体例に従ったネットワークを用いた情報信号伝送装置について図４を参照して説明する。この情報信号伝送装置は画像データ１００を符号化して符号化ビットストリーム１０１を生成してネットワークに伝送する符号化装置５と、ネットワーク１８から受け取った符号化ビットストリーム１０１を復号して復号画像データ１０３を生成する第１の復号装置２１と、第１の復号装置２１と同じ機能を実行する第Ｎの復号装置２ｎと、符号化ビットストリーム１０１および他の情報信号を伝送するように符号化装置５、第１の復号装置２１および第Ｎの復号装置２ｎに接続されたネットワーク１８と、復号装置を選択する復号装置選択部１０とを含んでいる。第１および第Ｎの復号装置２１、２ｎの構造は図１の復号装置２の構造と同じである。しかし、符号化装置５の構造は図１の符号化装置１の構造と異なっている。すなわち、上で図１を参照して説明したように、符号化装置１はある復号装置２から最大許容メモリ容量情報１０２を受け取るが、符号化装置５はその内部に有する画像メモリ部の最大許容メモリ容量情報を示す最大許容メモリ容量情報１３１を出力する。
【００３６】
符号化装置の詳細な構造について以下で説明する。符号化装置５は内部の画像メモリ部の容量に従ってステップとして原画像データ１００を入力し、原画像データ１００を反復変換符号化を用いて符号化する。得られた符号化ビットストリーム１０１および符号化装置５の画像メモリ部の最大許容メモリ容量を示す最大許容メモリ容量情報１３１は図４に示すようにネットワーク１８に伝送される。
【００３７】
第１および第Ｎの復号装置２１、２Ｎのそれぞれは、それぞれの画像メモリ部の最大許容メモリ容量を示す最大許容メモリ容量情報１０２をネットワーク１８に伝送する。
【００３８】
図４はまたネットワーク１８に備えられた復号装置選択部２０を図示している。符号化装置５からの最大許容メモリ容量情報１３および復号装置２１、２ｎからの最大許容メモリ容量情報１０２は比較され、符号化装置５の最大許容メモリ容量を有する復号装置が復号装置選択部２０によって選択される。符号化ビットストリーム１０１はそして復号装置選択部２０によって選択された復号装置にネットワーク１８を介して伝送される。符号化ビットストリーム１０１は選択された復号装置に与えられ、そして復号画像データ１０３が復号されてそこから出力する。
【００３９】
符号化装置の第１の具体例についてここで図５を参照して説明する。この具体例によると、符号化装置は、画像データ１００が蓄積される画像メモリ部６と、外部から入力される最大許容メモリ情報１０２に基づいて反復変換符号化を実行するのに用いるとともに制御信号１１４により画像メモリ部６からの読み取り操作を制御するために探索範囲を決定する探索範囲決定部９と、反復変換符号化を実行して符号化ビットストリーム１０１を生成する反復変換符号化部３とを含んでいる。反復変換符号化部３は、画像メモリ部６から読み出された画像データ１１２から第１のブロック画像データ１１５を生成する第１のブロック画像生成部７と、画像メモリ部６から読み出された画像データ１１３から第２のブロック画像データ１１９を生成する第２のブロック生成部８とを有している。好適な具体例では、第２のブロック画像データは第１の画像データの２倍の大きさである。
【００４０】
反復変換符号化部３はまた第２のブロック画像データを写像して変換された第２のブロック画像データ１０７を生成する変換／生成部１１と、変換された第２のブロック画像データ１０７と画像データ１１２との類似の近似度を計測する近似度計測／閾値処理部１０と、選択された第２のブロック画像データの番号または番地および変換パラメータを符号化／多重化して符号化ビットストリーム１０１を出力する符号化／多重化部１３とを含んでいる。
【００４１】
第１の具体化の符号化装置の操作について図６に示すフローチャートを参照してここで説明する。ステップＳ３１では、入力された画像データ１００は画像メモリ６に蓄積される。ステップＳ３２では、最大許容メモリ容量を示す最大許容メモリ容量情報１０２が復号装置のような外部の装置から供給される探索領域決定部９は、受け取った最大許容メモリ容量情報１０２に従って近似ブロック探索領域内の探索範囲を計算する。例えば、最大許容メモリ容量が１００Ｋｂｉｔｓの場合には、１００Ｋｂｉｔｓ＝３１６ｂｉｔｓ×３１６ラインであるので、３１６の縦方向（longitudinal）および３１６の横方向（lateral ）のビットにより定義される領域が最大許容探索範囲である。操作はステップＳ３３に進む。
【００４２】
ステップＳ３３では、反復変換符号化操作が決定された最大許容探索範囲に基づいて実行され、符号化ビットストリームが生成される。
【００４３】
図６に示すステップＳ３３に対応する反復変換符号化部３の操作について図７のフローチャートを参照して説明する。ステップＳ２１では、制御信号１１８を用いた制御部１２の制御の下に、画像データ１１２は画像メモリ部６から第１のブロック生成部７に供給される。さらに、制御信号１１４を用いた探索範囲決定部９の制御の下に、画像データ１１３は、第１の画像データ１１５の位置および最大許容メモリ容量情報１０２に基づいた探索範囲に対応して、画像メモリ部６から第２のブロック生成部８に与えられる。そして、第１のブロック生成部７は画像データ１１２から第１のブロック画像１１５を生成する。同様に、第２のブロック画像生成部８は探索領域に対応した画像データ１１３から第２のブロック画像データ１１９を生成する。これに続くステップＳ２２では、第２のブロック画像データ１１９は画像変換／生成部１１により写像され、変換された第２のブロック画像データ１０７が生成される。そして、操作はステップＳ２３に進む。
【００４４】
写像変換についてはは反復変換符号化の基本的な理論の記述において以下で説明する。
【００４５】
図７の説明を続けると、ステップ２３では、近似度計測／閾値処理部１は誤差を計算し、すなわち変換された第２のブロックデータ１７と第１のブロック画像データ１１５との類似の近似度を計算する。これに続くステップＳ２４では、計算された類似の近似度が予め設定された閾値（ＴＨ）と比較される。誤差が閾値より小さいと、すなわち、誤差＜ＴＨであると“ＹＥＳ”決定が得られて操作はステップＳ２５に進む。ステップＳ２５では、制御信号２２を用いた制御部１２の制御の下に第２のブロックデータが候補として選択され、操作はステップＳ２６に進む。上記条件（誤差＜ＴＨ）が充足されないと、“ＮＯ”決定が得られて操作はステップＳ２６に進む。
【００４６】
ステップＳ２６では、探索領域の全ての第２のブロック画像データの写像が完了したか否かが決定される。全ての第２のブロック画像データの処理が終えられると、“ＹＥＳ”決定が得られて操作はステップＳ２７に進む。そうでないと、“ＮＯ”決定が得られて操作はステップＳ２２に戻ってそして次の第２のブロック画像データに同様の操作が実行される。ステップＳ２７では、候補として選択された全ての第２のブロック画像データの中から第１のブロック画像データからの誤差が最小となったときの第２のブロックデータが制御信号１２２にて制御部１２によって選択され、操作はステップＳ２８に進む。ステップＳ２８では、選択された第２のブロック画像の位置情報としての番号または番地および変換パラメータ１２１が符号化／多重化部１２に伝送される。操作はそしてステップＳ２９に進む。ステップＳ２９では、全ての第１のブロック画像データの処理が完了したか否かが決定される。全ての第１のブロック画像データの処理が終えられると、処理はステップＳ３０に進む。そうでないと、操作はステップＳ２１に戻り、そして次の第１のブロック画像データに同じ操作が実行される。
【００４７】
ステップＳ３０では、第１のブロック画像の番号または番地の順序で、類似の最高の近似度を有する選択された第２のブロック画像の番号または番地１２０および変換パラメータ１２１が、符号化および多重化され、そして符号化／多重化部１２から符号化ビットストリーム１０１として出力される。
【００４８】
探索範囲決定部９の詳細な操作についてここで説明する。探索範囲決定部９は、第１のブロック画像データ１１５および最大許容メモリ容量情報１０２から、現符号化標的ブロックとしての第１のブロック画像データの位置に基づいて標的領域を決定し、探索範囲値（制御信号）１１４を画像メモリ部６に出力する。
【００４９】
例えば、上述のように原画像の大きさが７２０画素×７２０ラインで最大許容メモリ容量が１００Ｋｂｉｔであると、最大許容メモリ情報から計算された分割画面の数は、横方向（lateral）に２、縦方向（longitudinal ）に２、総計４である。
【００５０】
探索領域値１１４により設定された領域からの画像データ１１３は画像メモリ部６から第２のブロック生成部８に出力される。
【００５１】
図８に示されるように、例えば、第１のブロック画像がＲｍであると、探索範囲値１１４は領域２を示し、同じ領域の画像データ１１３は画像メモリ部６から読み出される。
【００５２】
各部についてここで詳細に説明する。最初に、本発明の具体例の技術としての反復変換符号化／復号の基本的な理論について図９を参照して説明する。
【００５３】
反復変換符号化はドメインブロックから画面（画像）を構成する全てのレンジブロックへの縮小（還元）写像を繰り返し実行する記述である。この点について、最も近似したドメインブロックの位置情報および変換パラメータは各レンジブロックについて符号化される。
【００５４】
図９では、レンジブロックＲｋは第１のブロック画像データ１１５に対応しドメインブロックＤｋは第２のブロック画像データ１１９に対応している。レンジブロックＲｋのブロックの大きさはｍ×ｎと定義され、ドメインブロックＤｋのブロックの大きさはＭ×Ｎと定義される。図９では、この画像内にＬ×Ｌのレンジブロックデータが存在することが示されている。レンジブロックとドメインブロックのブロックの大きさは符号化効率に影響する要素であり、従って、ブロックの大きさの決定は重要である。
【００５５】
画像変換／生成部１１によって実行されるブロック画像変換はドメインブロックＤｋをレンジブロックＲｋに変換するものである。ブロックｋの写像関数がｗｋで全画面の写像変換に要する第２のブロック画像の数がＰであると、画像ｆは前画像の写像関数Ｗによって次の式（１）のように変換される。
Ｗ（ｆ）＝ｗ1（ｆ）∪ｗ2（ｆ）∪・・・∪ｗP（ｆ） （１）
従って、Ｗは次の式（２）によって表現される。
Ｗ＝∪P k=1Ｗk （２）
写像関数Ｗとしては、収束する限りは任意の関数が選択される。収束を確保するために、縮小写像が典型的に用いられる。加えて、アフィン変換が処理を簡単にするためにしばしば用いられる。
【００５６】
ドメインブロックＤｋがレンジブロックＲｋにアフィン変換によって写像される場合は次に式（３）によって表現され、実際の変換関数はｖiとされる。
【００５７】
【数１】
この式（３）によって、２ブロック間の縦方向および横方向の移動、縮小、拡大の全ての変換が表現される。
【００５９】
上述の変換は空間座標についてであるが、明度や色彩相違情報のような密度値に関連する画像値についての写像変換も同様にして行われる。この場合には、簡単のために、Ｄｋ内の画素値ｄiからＲｋ内の画素値ｒiへの変換の関係表現は次の式（４）にて示される。
ｖi（ｄi）＝ｃ×ｄi＋ｂ （４）
この式（４）では、ｃはコントラストとｂは輝度（ブライトネス）と定義される。
【００６０】
この場合には、レンジブロックＲｋの画像値ｒiから相違の最小平方和を実現するパラメータｃおよびｂは、次の（５）式のように計算される。
Σ（ｃ×ｄi＋ｂ−ｒi）2→最小値 （５）
画像変換／生成部１１は式（３）によって表現される回転、縦方向および横方向の移動、縮小、拡大のような一連のアフィン変換を実行し、画面内で第２のブロック画像データ１１９について位置変換を実行する。
【００６１】
図９では、画面の下右の部分に位置しているドメインブロックＤｋは画面の上左の部分に位置しているレンジブロックＲｋに写像される。ブロックの画素の密度値の変換方法としては、アフィン変換が同様に用いられる。
【００６２】
特に、第２のブロック画像データ１１９について、式（３）の変換係数（ａi，ｂ ，ｃi，ｄｉ，ｅｉ，ｆｉ）を種々の組み合わせに変更して実行され、それによって変換された第２のブロック画像データ１０７が得られる。そして、変換された第２のブロック画像データ１０７と第１のブロック画像データ１１５の間の類似の近似度が測定される。
【００６３】
類似の近似度を測定する方法としては、これらの画像の誤差の絶対値の和が使用される。
【００６４】
復号装置の具体例についてここで図１０を参照して説明する。復号装置は符号化ビットストリームを受け取って反復変換復号を実行して復号画像を生成する反復変換復号部４と、反復変換復号により処理された復号画像を蓄積する画像メモリ部１５と、画像メモリ部１５の最大許容メモリ容量を示す最大許容メモリ容量情報１０２を生成する最大許容メモリ容量決定部１４０とを含んでいる。
【００６５】
反復変換復号部４は受け取った符号化ビットストリームを復号して多重化を分解して第１のブロック画像の番号または番地１１７、第２のブロック画像の番号または番地１２０および変換パラメータ１２０を生成する復号／分解部２５を含んでいる。変換元ブロック再現部１４は第２のブロック画像の番号または番地１２０に基づいて、画像メモリ部１５から供給される画像データ１２４から変換元ブロック画像データ１２２を再現する。画像変換／生成部１１は変換パラメータ１２１に基づいて、変換元ブロック再現部１４によって再現された変換元ブロック画像データ１２２に写像変換を実行し、画像メモリ部１５に変換されたブロック画像１２３を与える。制御部１６は反復変換復号操作の数が予め設定された数に達するまで反復変換を制御する。
【００６６】
復号装置の操作についてここで図１１のフローチャートを参照して説明する。ステップＳ４１では、復号される画像データを蓄積するために画像メモリ部１５の最大復号容量として最大許容メモリ容量情報１０２が計算され、外部の符号化装置にネットワークを通じて伝送される。そして復号装置の操作はステップＳ４２に進む。ステップＳ４２では、符号化装置からの符号化ビットを受け取ったか否かが決定される。符号化ビットが受け取られていると、操作はステップＳ４３に進む。そうでないと、処理は待ち状態にある。ステップＳ４３では、復号装置の反復変換操作は画像メモリ部を用いて符号化ビットに行われ、そして復号画像が出力される。
【００６７】
次に、図１１のステップＳ４３に対応する反復変換復号部４の操作について図１２を参照して説明する。ステップＳ５２では、符号化ビットストリーム１０１は復号／分解部２５によって復号／分解されて次の符号語が生成される：第１のブロックの番号または番地１１７、第２のブロックの番号または番地１２０および変換パラメータ１２１。操作はステップＳ５３に進む。ステップＳ５３では、第２のブロック画像の位置情報としての番号または番地１２０に基づいて、変換元ブロックデータ１２２が画像メモリ部１５の画像データから再現されてそして変換生成部１１に与えられる。ステップＳ５４では、変換パラメータ１２１によって設定された写像変換が画像変換／生成部１１によって変換元ブロック再現部１４によって再現された変換元ブロック画像データ１２２について実行される。変換されたブロック画像がそして生成される。操作はステップＳ５５に進む。変換されたブロック画像データ（復号ブロック画像）１２３は第１のブロック画像の番号または番地（位置情報）の位置に、画像メモリ部１５に蓄積される。ステップＳ５６では、画像画面の全ての第１のブロックの画像データの復号操作が処理されたか否かが決定される。全ての第１のブロック画像データの処理が処理されていると、操作はステップＳ５７に進む。そうでないと、操作はステップＳ５３に戻り同じ操作が次のブロック画像データに対して行われる。
【００６８】
ステップＳ５７では、反復変換操作が続行されるか否かが制御部１６によって決定される。これは、反復変換操作の数が予め設定された数に達したかどうかによって決定される。反復変換操作を続行することが必要であると、すなわち、予め設定する得た反復変換処理の数に達していないと、制御信号１１７が変換元ブロック再現部１４に生成される。操作はそしてステップＳ５３に戻る。反復変換操作の数が予め設定された数に達していると、処理はステップＳ５８に継続する。
【００６９】
ステップＳ５８では、最終的に復号画像データ１２５は画像メモリ部１５に蓄積され復号画像データとして制御部１６により出力される。
【００７０】
図１および図３の符号化装置の第２の具体例についてここで図１３を参照して説明する。符号化装置は入力された画像データ１００が蓄積される画像メモリ部６と、最大許容メモリ容量情報１０２に基づいて反復変換符号化を実行する際に探索範囲を決定するとともに画像メモリ部６を制御する探索範囲決定部９と、反復変換を実行して符号化ビットストリーム１０１を生成する反復変換符号化部３とを含んでいる。第１の符号化装置とは異なって、反復変換符号化部３は、読み出し操作が第１の符号化器１とは異なった画像メモリ部６から読み出された画像を一時的に蓄積するローカルメモリ部を含んでいる。
【００７１】
反復変換符号化部３は本発明の第２の具体例に従ってローカルメモリ部１７から取り出された画像データ１２９から第１のブロック画像１１５を生成する第１のブロック画像生成部７と、ローカルメモリ部１７から取り出された画像データ１３０から第２のブロック画像データを生成する第２のブロック画像生成部８とを含んでいる。反復変換符号化部３はまた画像変換／生成部１１によって変換された画像と第１のブロック画像の類似の近似度を計測して閾値を処理する近似度計測／閾値処理部１０と、第２のブロック画像を社蔵して変換された痔亜２の部録画像データ１０７を生成する画像変換／生成部１１とを含んでいる。
【００７２】
第２の具体例の符号化装置はさらに画像メモリ部６からとローカルメモリ部１７からの画像の読み出しを制御する制御部１２と、第２のブロック画像の番号または番地および変換パラメータを符号化／多重化して符号化ビットストリームとして出力する符号化／多重化部とを有している。
【００７３】
符号化装置の第２の具体例の操作についてここで説明する。この符号化装置は符号化装置の第１の具体例とは領域画像データ１２７が探索範囲決定部９からの探索範囲値（制御信号）１１４および制御部１２からの制御信号１２３に従って画像メモリ部６からローカルメモリ部１７に続けて伝送されることが相違している。
【００７４】
例えば、符号化装置の第１の具体例で記述した許容メモリ容量および画像の大きさの条件の下では、画像メモリ部６からは４つの領域が続いて読み出され、ローカルメモリ部１７に一時的に蓄積される。その後、制御信号１１８を用いて制御部１２の制御の下にローカルメモリ部１７から読み出された画像データ１２９および画像データ１３０は第１および第２のブロック画像データ１１５、１１９を生成するために第１のブロック画像生成部７および第２のブロック画像生成部８に与えられる。
【００７５】
画像メモリ部６およびローカルメモリ部１７は異なったメモリ型から構成されている。ローカルメモリ部１７は画像メモリ部６より頻繁にアクセスされるので、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が用いられる。他には、ＣＰＵ（central processing unit ）に取り付けられたキャッシュメモリも用いることができる。
【００７６】
符号化装置の第３の具体例は画像メモリ部６に代わって制御信号１１８を用いて制御部１２の制御の下に、入力された画像を一時的に蓄積してブロック画像データ１２９を第１のブロック生成部７に供給し、ブロック画像データ１３０を第２のブロック画像生成部８に供給するローカルメモリ部１７と、符号化装置の第１の具体例の探索領域決定部９とを含んでいる。
【００７７】
図１４に示すように、ローカルメモリ部１７はネットワークに出力するローカルメモリ部１７の最大許容メモリ容量を示す最大許容メモリ容量情報１３１も生成する。第３の具体例の他の部分の構造および操作は符号化装置の第１および第２の具体例と同じであり、それらの説明は省略する。
【００７８】
符号化装置の第３の具体例の操作についてここで説明する。符号化装置５には比較的小さいメモリ容量を有するローカルメモリ部１７のみが与えられ、ローカルメモリ部１７の容量は符号化装置からネットワークへこの符号化装置の最大許容メモリ容量情報１３１として伝送される。
【００７９】
ローカルメモリ部１７から読み出されたブロック画像データ１２９、１３０はそれぞれ第１のブロック画像データ１１５および第２のブロック画像データ１１９を生成する第１および第２のブロック生成部７、８に供給される。これに続く処理は符号化装置の第２の具体例と同様である。
【００８０】
本発明に従った符号化および復号装置ならびに方法がブロック図について示されたが、各ブロックを物理的な要素として与えることに加え、全方法および装置をこの目的のために一般用のコンピュータにインプリメントすることができる。これに関し、記録媒体、または他の蓄積装置は、上述の符号化および復号の方法に示した各ステップを実行する操作命令を含んでいる。また、記録媒体に代わって、通信ネットワークに接続された伝送チャンネルまたはこれに類するものは符号化部からのデータを受け取って伝送し、符号化されたデータを復号するために提供される。
【００８１】
符号化装置及び方法、復号装置および方法、符号化および復号装置ならびに方法、情報信号伝送装置、記録媒体の適用の具体例は、デジタルビデオディスク、画像伝送／受け取り装置、画像データベース、インターネットからの画像ダウンロードを目的とする画像圧縮／復号装置、電子スチルカメラ、ゲーム装置、可変サイズ表示の表示部を有する符号化／復号装置、同様のシステムを実現するソフトウェアモジュールを含んでいる。
【００８２】
以上説明したように、符号化／復号装置は入力画像データを蓄積する画像メモリ部および反復符号化される画像の範囲を決定する探索範囲決定部を有する符号化装置を含んでいる。符号化ビットストリームは決定さえれた範囲で反復符号化される画像データから生成される。復号装置は符号化装置から受け取った符号化ビットストリームから得られた画像データを蓄積する画像メモリ部を有している。復号装置はまた符号化ビットストリームを反復変換復号して復号データを復号画像データとして出力するための画像メモリ部の最大復号容量を計算する最大許容メモリ容量決定部を有している。符号化／復号装置は、小さいメモリ容量を使うことにより高い符号化効率と高品質の画像を与える。
【００８３】
【発明の効果】
上述のように、本発明に従った符号化方法及び装置は、復号のためのメモリが限られた容量であっても、符号化操作はメモリ容量に従って先立って行われる。従って、メモリ容量は符号化操作を限定せず、スケール可能な構成が実現される。加えて、メモリ容量の減少は符号化のための近似ブロックの探索の範囲を狭くするので、高速の操作が実行される。
【００８４】
本発明では、符号化制御はネットワーク上に存在する複数の復号装置の反復変換復号部の一つからネットワークに伝送された復号装置の最大許容メモリ容量に基づいて符号化装置により行われる。従って、ネットワーク上の全ての復号装置が有効に利用される。また、符号化装置によって自分かつ処理が行われると、効率はさらに改善される。
【００８５】
加えて、本発明では、符号化装置から伝送される符号化ビットストリームの復号を可能にする最大の許容メモリ容量を有する一つの反復変換復号部がネットワークから選択される。従って、符号化制御は復号装置の許容メモリ容量に関わらず、符号化装置に与えられた画像メモリ部の容量の範囲内で実行される。よって、非常に高い自由度を有するネットワークが得られる。また、高価でない符号化装置から出力された符号化ビットストリームは高価な復号装置によって復号されることなく、高価でない復号装置が復号画像を与えるために選択される。従って、資源の有効活用が得られる。
【図面の簡単な説明】
【図１】符号化および復号装置のブロック図である。
【図２】符号化および復号方法のフローチャートである。
【図３】情報信号伝送装置を表すブロック図である。
【図４】他の情報信号伝送装置を表すブロック図である。
【図５】符号化装置の第１の具体例を示すブロック図である。
【図６】符号化装置の第１の具体例に従った方法のフローチャートである。
【図７】図６の反復変換符号化を詳しく説明するフローチャートである。
【図８】画像内のブロック間の写像関係を示す図である。
【図９】反復変換符号化に従ったブロック間の写像を示す図である。
【図１０】復号装置のブロック図である。
【図１１】復号方法のフローチャートである。
【図１２】復号操作の反復変換復号のフローチャートである。
【図１３】符号化装置の第２の具体例のブロック図である。
【図１４】符号化装置の第３の具体例のブロック図である。
【図１５】従来の符号化装置のブロック図である。
【図１６】従来の符号化装置のブロック図である。
【符号の説明】
１ 符号化装置、２ 復号装置、３ 反復変換符号化部、４ 反復変換復号部、６ 画像メモリ部、９ 探索領域決定部、１４０ 最大許容メモリ容量決定部
Claims (4)
- 画像の各ブロックを反復変換符号化する符号化方法において、
入力画像を第１の画像メモリに蓄積する工程と、
符号化画像の反復変換復号を実行するように復号側の第２の画像メモリの最大許容メモリ容量を示す容量情報を受け取る工程と、
蓄積された入力画像を上記受け取られた容量情報に従って分割して探索範囲を決定する工程と、
上記決定された探索範囲内で上記各ブロックを反復変換符号化する工程とを有し、
上記反復変換符号化する工程は、
上記入力画像から第１の画像ブロックを生成する工程と、
上記第１の画像ブロックと同一の探索領域内で上記入力画像の部分から複数の第２の画像ブロックを生成する工程と、
写像関数により上記第２の画像ブロックを変換する工程と、
上記第１の画像に最も似た上記変換された第２の画像ブロックを選択する工程と、
上記選択された第２の画像ブロックの位置を示す符号位置情報を出力する工程と、
上記選択された第２の画像ブロックを表す変換パラメータを出力する工程とを有する
ことを特徴とする符号化方法。 - 画像の各ブロックを反復変換符号化する符号化方法において、
入力画像を画像メモリに蓄積する工程と、
上記画像メモリの最大許容メモリ容量を示す容量情報を生成する工程と、
上記入力画像を上記最大許容メモリ容量に従って分割して探索範囲を決定する工程と、
上記決定された探索範囲内で上記画像の上記各ブロックを上記画像メモリを用いて反復変換符号化して符号化ビットストリームを生成する工程と、
上記生成された符号化ビットストリームおよび上記容量情報を出力する工程とを有し、
上記反復変換符号化する工程は、
上記入力画像から第１の画像ブロックを生成する工程と、
上記第１の画像ブロックと同一の探索領域内で上記入力画像の部分から複数の第２の画像ブロックを生成する工程と、
写像関数により上記第２の画像ブロックを変換する工程と、
上記第１の画像に最も似た上記変換された第２の画像ブロックを選択する工程と、
上記選択された第２の画像ブロックの位置を示す符号位置情報を出力する工程と、
上記選択された第２の画像ブロックを表す変換パラメータを出力する工程とを有する
ことを特徴とする符号化方法。 - 画像の各ブロックを反復変換符号化する符号化装置において、
入力画像を第１の画像メモリに蓄積する手段と、
符号化画像の反復変換復号を実行するように復号側の第２の画像メモリの最大許容メモリ容量を示す容量情報を受け取る手段と、
蓄積された入力画像を上記受け取られた容量情報に従って分割して探索範囲を決定する手段と、
上記決定された探索範囲内で上記受け取られた容量情報に従って上記各ブロックを反復変換符号化する手段とを有し、
上記反復変換符号化する手段は、
上記入力画像から第１の画像ブロックを生成する手段と、
上記第１の画像ブロックと同一の探索領域内で上記入力画像の部分から複数の第２の画像ブロックを生成する手段と、
写像関数により上記第２の画像ブロックを変換する手段と、
上記第１の画像に最も似た上記変換された第２の画像ブロックを選択する手段と、
上記選択された第２の画像ブロックの位置を示す符号位置情報を出力し、上記選択された第２の画像ブロックを表す変換パラメータを出力する手段とを有する
ことを特徴とする符号化装置。 - 画像の各ブロックを反復変換符号化する符号化装置において、
入力画像を画像メモリに蓄積する手段と、
上記画像メモリの最大許容メモリ容量を示す容量情報を生成する手段と、
上記入力画像を上記最大許容メモリ容量に従って分割して探索範囲を決定する手段と、
上記決定された探索範囲内で上記画像の上記各ブロックを上記画像メモリを用いて反復変換符号化して符号化ビットストリームを生成する手段と、
上記生成された符号化ビットストリームおよび上記容量情報を出力する手段とを有し、
上記反復変換符号化する手段は、
上記入力画像から第１の画像ブロックを生成する手段と、
上記第１の画像ブロックと同一の探索領域内で上記入力画像の部分から複数の第２の画像ブロックを生成する手段と、
写像関数により上記第２の画像ブロックを変換する手段と、
上記第１の画像に最も似た上記変換された第２の画像ブロックを選択する手段と、
上記選択された第２の画像ブロックの位置を示す符号位置情報を出力し、上記選択された第２の画像ブロックを表す変換パラメータを出力する手段とを有する
ことを特徴とする符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30431898A JP4174111B2 (ja) | 1997-10-28 | 1998-10-26 | 符号化方法及び装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29548197 | 1997-10-28 | ||
| JP9-295481 | 1997-10-28 | ||
| JP30431898A JP4174111B2 (ja) | 1997-10-28 | 1998-10-26 | 符号化方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11220730A JPH11220730A (ja) | 1999-08-10 |
| JP4174111B2 true JP4174111B2 (ja) | 2008-10-29 |
Family
ID=26560295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30431898A Expired - Fee Related JP4174111B2 (ja) | 1997-10-28 | 1998-10-26 | 符号化方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4174111B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6804401B2 (en) * | 2000-05-12 | 2004-10-12 | Xerox Corporation | Method for compressing digital documents with control of image quality subject to multiple compression rate constraints |
-
1998
- 1998-10-26 JP JP30431898A patent/JP4174111B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11220730A (ja) | 1999-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4493215B2 (ja) | ウェーブレット係数の方向性予測コード化法を用いた画像圧縮 | |
| US6891973B1 (en) | Lossy/lossless region-of-interest image coding | |
| US7177356B2 (en) | Spatially transcoding a video stream | |
| EP1062625A1 (en) | Lossy/lossless region-of-interest image coding | |
| JPH08214318A (ja) | ビデオ画像のシーケンスを符号化するための領域ベースアプローチに対する方法及び装置 | |
| JPH1093972A (ja) | 輪郭符号化方法 | |
| KR20010080065A (ko) | Ｒｏｉ 코드화 방법 및 시스템 | |
| US5883981A (en) | Lattice vector transform coding method for image and video compression | |
| JP2005519543A (ja) | レイヤ映像符合化のための方法及びシステム | |
| JPH08275157A (ja) | 映像信号符号化装置 | |
| JP3359215B2 (ja) | 多値画像符号化装置 | |
| JP2006508584A (ja) | ベクトル予測のための方法 | |
| JP4174111B2 (ja) | 符号化方法及び装置 | |
| US6339659B1 (en) | Fractal coding/decoding of picture data using memory capacity information | |
| HUE033524T2 (en) | Procedure for compressing data | |
| US6356667B1 (en) | Encoding apparatus and method, decoding apparatus and method and recording medium | |
| JP3859325B2 (ja) | 画像の反復変換復号化装置及び方法、並びに記録媒体 | |
| JP3546720B2 (ja) | 符号化装置及び方法、復号装置及び方法並びに記録媒体 | |
| JP3359214B2 (ja) | 多値画像符号化装置 | |
| JP2003244443A (ja) | 画像符号化装置及び画像復号装置 | |
| RU2316908C2 (ru) | Способ совместного использования векторного квантования и фрактального кодирования изображений | |
| JP2584854B2 (ja) | 画像符号化方法 | |
| JP3734871B2 (ja) | 画像通信方法 | |
| JPH09139941A (ja) | 画像信号の符号化／復号化装置 | |
| JP4526069B2 (ja) | 画情報の算術符号化装置及び画情報の算術復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050201 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051021 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051021 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080805 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080818 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |