JP3863775B2 - 画像情報圧縮方法及び画像情報圧縮装置並びに画像情報圧縮プログラム - Google Patents
画像情報圧縮方法及び画像情報圧縮装置並びに画像情報圧縮プログラム Download PDFInfo
- Publication number
- JP3863775B2 JP3863775B2 JP2001392738A JP2001392738A JP3863775B2 JP 3863775 B2 JP3863775 B2 JP 3863775B2 JP 2001392738 A JP2001392738 A JP 2001392738A JP 2001392738 A JP2001392738 A JP 2001392738A JP 3863775 B2 JP3863775 B2 JP 3863775B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- data
- image
- dimensional
- basis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、二次元又は三次元の画像情報の圧縮方式に係り、特に、画像の特徴分離符号化による画像情報の圧縮を行う画像情報圧縮方式に関するものである。
【０００２】
【従来の技術】
従来より、画像情報圧縮方法として、画像情報を、画像情報に含まれるパターンごとに分離して二つの特徴データとし、各特徴データごとに符号化することにより画像情報を圧縮する特徴分離符号化の方法が知られている。かかる特徴分離符号化による画像情報圧縮方法として、例えば、Ｊｏｎｓｏｎ Ｋ．Ｙａｎ，Ｄａｖｉｄ Ｊ．Ｓａｋｒｉｓｏｎ，”Ｅｎｃｏｄｉｎｇ ｏｆ Ｉｍａｇｅｓ Ｂａｓｅｄ ｏｎ ａ Ｔｗｏ−Ｃｏｍｐｏｎｅｎｔ Ｓｏｕｒｃｅ Ｍｏｄｅｌ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｖｏｌ．ＣＯＭ−２５，Ｎｏ．１１（１９７７）に記載の方法が知られている。この方法によれば、まず、原画像データをラスタ走査により一次元化した一次元原データｉ（ｘ，ｙ）より三乗根強度ｕ（ｘ，ｙ）＝［ｉ（ｘ，ｙ）］１／３を求め、三乗根強度ｕ（ｘ，ｙ）をスムージングにより非連続成分ｄ（ｘ，ｙ）成分と残りの成分ｒ（ｘ，ｙ）とに分離して、各成分をそれぞれ符号化するものである。
【０００３】
この場合、非連続成分ｄ（ｘ，ｙ）には画像のエッジ成分やコントラスト成分が取り込まれ、残りの成分ｒ（ｘ，ｙ）には画像のテクスチャ成分が取り込まれるため、原画像が特徴分離され、各特徴成分ごとに最適な符号化がされる。
【０００４】
【発明が解決しようとする課題】
しかしながら上記従来の画像情報圧縮方法では、ラスタ走査した一次元原データのスペクトルは高周波成分を多く含む。そのため、一次元原データをスムージングする際に、エッジ成分やコントラスト成分が十分にスムージング関数に取り込まれず、残りの成分に残留する。従って、符号化効率を十分に得ることができず、また、符号化効率を上げるために残りの成分の情報を削減すると、画像の劣化が大きくなるという問題があった。
【０００５】
そこで、本発明の解決課題は、かかる画像情報の特徴分離符号化方法において、画像を特徴ごとに効果的に分離することができ、符号化効率の高く画質の劣化の少ない画像情報圧縮方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像情報圧縮方法は、原画像の特徴分離符号化を行う画像情報圧縮方法において、二次元又は三次元の原画像を擬似ヒルベルト走査により一次元原データに変換し、前記一次元原データよりも冗長性の大きい所定の関数により前記一次元原データを近似して第一特徴データを生成することにより第一特徴情報を抽出し、前記第一特徴情報を符号化して第一特徴符号データとするとともに、前記原画像から前記第一特徴情報を差し引いて第二特徴情報を抽出し、前記第二特徴情報を符号化して第二特徴符号データとするようにしたものであり、この構成により、次のような作用が得られる。
【０００７】
まず、二次元又は三次元の原画像を擬似ヒルベルト走査により、原画像は、高周波数成分が少なく低周波成分の多いスペクトル特性を持つ一次元原データに変換される。ここで、擬似ヒルベルト走査は、画像を正方形又は長方形のブロックごとに走査する特性がある。また、一般に画像はブロック内における画素値の相関が大きく、ブロック内においては画素値の変化は平均的に緩やかであるという特性がある。従って、擬似ヒルベルト走査により得られる一次元原データのパワースペクトルは低周波領域に集中し、一般によく用いられているラスタ走査に比べて高周波成分はきわめて小さいという特性がある。
【０００８】
この一次元原データを、一次元原データよりも冗長性の大きい所定の関数で近似して、この近似関数値を第一特徴データとする。また、原画像から第一特徴データを差し引いて第二特徴データを生成する。一次元原データのスペクトル特性は、高周波成分が少ないため、所定の関数を適当に選択することによって、所定の関数で近似した場合の近似誤差は小さくすることができ、第二特徴データの各値の絶対値平均を、一次元原データの各値の絶対値平均に比べて、小さくすることができ、原画像の特徴成分を十分に分離することが可能である。尚、この際、原画像のコントラスト成分やエッジ成分は、主として第一特徴データに取り込まれ、テクスチャ成分は主として第二特徴データに取り込まれる。さらに、第一特徴データは、符号量は原画像と等しいが、冗長性は原画像に比べて増大しているため、第一特徴データは高効率で符号化することが可能である。
【０００９】
一方、第二特徴データは、原画像から第一特徴データを差し引いたものであるため、原画像のコントラスト成分やエッジ成分はほとんど含まれず、主として原画像の高周波成分のみが含まれる。従って、第二特徴データのスペクトル特性は、高周波側に偏倚しているため、それに適した符号化方式を採用することで、この第二特徴データは高い符号化効率で符号化することが可能である。よって、全体として原画像を高い符号化効率により符号化することができる。
【００１０】
ここで、「原画像」は、静止画像に限られるものではなく、時間方向に連続する複数のフレーム系列からなる動画像であってもよい。「二次元の又は３次元の」としたのは、静止画像の場合は原画像は二次元となるが、動画像の場合には、時間軸方向に複数のフレームが重なっているため、三次元画像となるからである。「特徴分離符号化」とは、画像をそれに含まれる特徴成分ごとに分離して各特徴成分ごとに符号化する画像符号化方法をいう。「擬似ヒルベルト走査」とは、長方形領域又は立方体領域に対しても適用可能なように拡張されたヒルベルト曲線に沿って行う走査をいい、その詳細については特開平１１−３５３４５３号公報、信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．２８６４−２８６７，Ｏｃｔ．１９９７等に既に開示されているためここでは詳細な説明は省略する。この、「擬似ヒルベルト走査」は、二次元の擬似ヒルベルト走査に限られず、三次元の擬似ヒルベルト走査であってもよい。静止画像の場合には、原画像は１フレームのみであるため二次元の擬似ヒルベルト走査となるが、動画像の場合には、原画像は三次元画像となるため、二次元擬似ヒルベルト走査のほかに、所定数のフレームを一組として三次元擬似ヒルベルト走査を行うことも可能である。尚、二次元の擬似ヒルベルト走査については、信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．２８６４−２８６７，Ｏｃｔ．１９９７等に開示されており、三次元の擬似ヒルベルト走査については、特開平１１−３５３４５３号公報、信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．２４８３−２４８６，Ｏｃｔ．１９９８、特開２０００−２５３３９６号公報等に開示されている。「所定の関数」とは、特に関数形を限定するものではなく、例えば、ステップ関数、折線関数、スプライン関数等が用いられる。しかしながら、計算処理の高速性及びエッジ成分の取り込み特性のよさから考えてステップ関数を用いるのが好ましい。また、「冗長性の大きい」とは、第一特徴データの自己相関係数が一次元原データの自己相関係数に比べて大きいことを意味する。これにより、第一特徴データは高符号化効率で符号化が可能となる。「第一特徴データ」とは、一次元原データを所定の関数により近似した一次元の系列からなるデータをいう。また、「第一特徴情報」とは、第一特徴データの有する情報をいう。「第二特徴情報」とは、原画像から前記第一特徴情報を差し引いて得られる情報をいい、一次元原データから第一特徴データを差し引いて得られるデータ系列の有する情報、及び、第一特徴データを擬似ヒルベルト走査により二次元又は三次元空間に充填して得られる第一特徴画像を原画像から差し引いた画像の有する情報が含まれる。「第一特徴情報を符号化」又は「第二特徴情報を符号化」する方法については、特に限定するものではなく、一般的な量子化、エントロピ符号化等の符号化方法が用いられる。
【００１１】
また、本発明の画像情報圧縮装置は、原画像の特徴分離符号化を行う画像情報圧縮装置において、二次元又は三次元の原画像を擬似ヒルベルト走査により一次元原データに変換する擬似ヒルベルト走査手段と、前記一次元原データよりも冗長性の大きい所定の関数により前記一次元原データを近似して第一特徴データを生成することにより第一特徴情報を抽出する第一特徴情報抽出手段と、前記第一特徴情報を符号化して第一特徴符号データを生成する第一符号化手段と、前記原画像から前記第一特徴情報を差し引いて第二特徴情報を抽出する第二特徴情報抽出手段と、前記第二特徴情報を符号化して第二特徴符号データを生成する第二符号化手段と、を備えたことを特徴とする。
【００１２】
この構成により、上述のように、全体として原画像を高い符号化効率により符号化することができる。
【００１３】
また、前記原画像が、時間方向に連続する複数のフレーム系列から構成されている場合、前記第一特徴情報を抽出するに際し、所定のフレームについては、前記一次元原データよりも冗長性の大きい所定の関数により前記一次元原データを近似して第一特徴データを生成することにより第一特徴情報を抽出するとともに、前記第一特徴データを第一特徴データ記憶手段に格納し、それ以外のフレームについては、第一特徴データ記憶手段に格納された過去のフレームの第一特徴データを前記一次元原データから差し引いた第一差分データを生成し、前記第一差分データよりも冗長性の大きい所定の関数により前記第一差分データを近似して第一特徴データを生成することができる。
【００１４】
動画像のように、時間方向に連続する原画像の場合、連続するフレーム間での相関が大きい場合がある。この場合は、現在の一次元原データから過去のフレームの第一特徴データを差し引いて第一差分データとすることで、この第一差分データでは、原画像の時間方向に変化の小さい成分が大部分除去される。その結果、動画原画像の符号化効率をさらに向上させることができる。
【００１５】
ここで、「所定のフレーム」とは、過去のフレームとの相関がない又は相関の小さいフレームをいい、例えば、最初のフレームやシーン・チェンジが行われた際のチェンジ直後のフレーム等をいう。「過去のフレーム」とは、現在画像情報圧縮を行っているフレームの直前に画像情報圧縮を行ったフレームをいう。
【００１６】
また、前記第二特徴情報を抽出するに際し、前記一次元原データから前記第一特徴データを差し引いた第二特徴データを生成し、前記第二特徴データを擬似ヒルベルト走査により二次元又は三次元空間に充填して第二特徴画像を復元し、基底ベクトルテーブルに格納された基底ベクトルを用いて前記第二特徴画像を基底ベクトルで張られる空間に展開するとともに、前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴画像の成分値を符号化して第二特徴符号データとすることができる。
【００１７】
また、前記第二特徴情報を抽出するに際し、前記第一特徴データを擬似ヒルベルト走査により二次元又は三次元空間に充填して第一特徴画像を復元し、前記原画像から前記第一特徴画像を差し引いた第二特徴画像を生成し、基底ベクトルテーブルに格納された基底ベクトルを用いて前記第二特徴画像を基底ベクトルで張られる空間に展開するとともに、前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴画像の成分値を符号化して第二特徴符号データとすることができる。
【００１８】
上述のように、原画像を一次元化するに際し擬似ヒルベルト走査を用いるため、一次元原データは、高周波数成分が少なく低周波成分の多いスペクトル特性を持ち、これを所定の関数で近似することにより、原画像のコントラスト成分（ＤＣ成分や低周波成分）やエッジ成分（画像の輪郭成分）は、主として第一特徴情報に取り込まれ、残りのテクスチャ成分は主として第二特徴情報に取り込まれる。このテクスチャ成分は、パワースペクトルが高周波側に偏倚した特徴を有する。従って、第二特徴情報を基底ベクトルで張られる空間に展開した場合、ＤＣ成分及び低周波成分以外の中高周波成分に対応するいくつかの基底成分にスペクトルが集中する傾向にある。
【００１９】
そこで、あらかじめ複数のテストパターン画像を用いて、第二特徴情報を基底ベクトルで張られる空間に展開するに際して、平均的にもっとも有効ないくつかの基底成分を特定し、第二特徴画像をそれらの基底成分に展開するための基底ベクトルを求め、これらの基底ベクトルを基底ベクトルテーブルに格納しておく。そして、基底ベクトルテーブルに格納された基底ベクトルを、各第二特徴画像を基底ベクトルで張られる空間に展開する場合に、各第二特徴画像をもっとも有効な基底成分に展開するであろう基底ベクトルとみなす。
【００２０】
そして、画像情報圧縮時には、基底ベクトルテーブルにあらかじめ格納されている基底ベクトルを用いて、第二特徴画像を基底ベクトルで張られる空間に展開する（すなわち、第二特徴画像と基底ベクトルとの内積計算を行う）ことにより、画質のＳ／Ｎ比の劣化が少なく、かつ、高符号化効率で高速な画像符号化が可能となる。
【００２１】
ここで、「基底ベクトルで張られる空間」とは、特徴抽出によってパターンを写像する空間をいい、この写像には、カルーネン・レーベ変換（以下、「ＫＬ変換」という。）、ディスクリート・コサイン変換（以下、「ＤＣＴ」という。）、ディスクリート・サイン変換（以下、「ＤＳＴ」という。）等の直交変換が用いられる。「基底ベクトルで張られる空間に展開」とは、第二特徴画像を基底ベクトルで張られる空間に写像することをいい、具体的には、各基底ベクトルと第二特徴画像との内積計算により行われる。「基底ベクトルで張られる空間内の所定の基底ベクトル」としては、基底ベクトルで張られる空間内の基底ベクトルのうちで第二特徴画像の特徴を最も有効に表す基底ベクトルが選ばれる。例えば、特徴抽出にＫＬ変換を用いる場合は、第二特徴画像の各画素を特徴空間に写像した際に、各画素の基底成分の分散値が大きい順にいくつか選ばれた基底ベクトルをいい、特徴抽出にＤＴＣを用いる場合は、第二特徴画像のスペクトルの大きい周波数成分の順にいくつか選ばれた基底ベクトルをいう。
【００２２】
尚、第二特徴画像を基底ベクトルで張られる空間に展開するに際しては、必ずしも全ての基底ベクトルについて第二特徴画像を展開する必要はなく、あらかじめ設定した基底ベクトルに対してのみ第二特徴画像を展開するようにし、他の基底ベクトルに対する成分値は０とみなすようにしてもよい。すなわち、テストパターン画像を用いて、あらかじめ成分値が平均的に有意な値を持つような基底ベクトルをいくつか選択しておき、かかる基底ベクトルに対してのみ第二特徴画像を展開するようにすることもできる。このようにしても、画質のＳ／Ｎ比の減少量は少なく、また、第二特徴画像の展開時における計算量が減少するため、符号化ノイズの増加を抑えつつ高速な処理が可能となる。
【００２３】
また、前記第二特徴情報を抽出するに際し、前記一次元原データから前記第一特徴データを差し引いた第二特徴データを生成し、基底ベクトルテーブルに格納された基底ベクトルを用いて前記第二特徴データを基底ベクトルで張られる空間に展開するとともに、前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴データの成分値を符号化して第二特徴符号データとすることができる。
【００２４】
この構成によれば、前述の画像情報圧縮方法と同様、画質のＳ／Ｎ比の劣化が少なく、かつ、高速な画像符号化が可能となる。加えて、誤差データは一次元のまま直交変換され、圧縮されるため、計算量が少なく、より高速な画像符号化が可能となる。
【００２５】
また、前記第二特徴情報を符号化するに際し、前記基底ベクトルで張られる空間内の前記第二特徴画像又は前記第二特徴データの成分値が所定の閾値以上となる基底ベクトルについてのみ、該基底ベクトルに対する前記第二特徴画像又は前記第二特徴データの成分値を符号化して第二特徴符号データとすることができる。
【００２６】
本発明では、原画像を一次元化するに際して擬似ヒルベルト走査を用いるため、原画像のコントラスト成分及びエッジ成分は、ほとんどが第一特徴符号データに取り込まれる。従って、基底ベクトルで張られる空間における各基底ベクトルに対する第二特徴画像の成分値のうち、成分値が所定の閾値以上となるようなもののみを残し、成分値の小さい残りのものは０とみなしても、視覚的に原画像を復元した際の画質の劣化は少ない。これは、人間が画像を認知する場合、輪郭部分や大局的な模様から画像の特徴を認知するため、コントラスト成分及びエッジ成分が十分に再現されていれば、細かいテクスチャについて多少再現性が悪くても、視覚的には画質の劣化は少ないと認識するためである。すなわち、この構成により、原画像を復元した際の視覚的な画質の劣化を抑えつつ、第二符号化手段による符号化において、符号化効率を向上させることができる。
【００２７】
ここで、「所定の閾値」は、符号化する画像の種類や目的等に合わせて自由に設定することが可能であり、閾値を大きく設定すれば符号化効率は向上する反面、符号化された画像のＳ／Ｎ比は低下する。
【００２８】
また、前記第二特徴情報を符号化するに際し、前記一次元原データと前記第一特徴データとの累積誤差に基づき、前記第二特徴画像又は前記第二特徴データを展開すべき前記基底ベクトルを決定し、前記決定された基底ベクトルに対して前記第二特徴画像又は前記第二特徴データを展開し、該基底ベクトルに対する前記第二特徴画像又は前記第二特徴データの成分値を符号化して第二特徴符号データとすることができる。
【００２９】
これにより、原画像のパターンに応じて、成分値が有意な値となる基底ベクトルで張られる空間の基底ベクトルの組を適切に設定し、該基底ベクトルの組に対してのみ成分値を計算し、他の基底ベクトルに対する成分値は０とみなすため、画質の符号化雑音を増加させることなく符号化効率を上げることができる。また、基底ベクトルで張られる空間内のすべての基底ベクトルについて第二特徴画像の成分値を計算する必要はないため、高速な符号化処理を行うことが可能となる。
【００３０】
ここで、「累積誤差」とは、各画素に対する一次元原データと第一特徴データと差分の絶対値や二乗値等を、全画素について加算した値をいう。また、「累積誤差に基づき」、基底ベクトルを決定する方法としては、例えば、あらかじめテストパターンを用いて累積誤差の大きさと各基底ベクトルに対する成分値との関係を求めておき、累積誤差の大きさに対して成分値が有意な大きさとなる基底ベクトルの組との対応関係を、判定テーブルに登録しておき、画像情報圧縮時には、累積誤差の大きさに応じて、判定テーブルを参照し、基底ベクトルを決定する方法が採られる。
【００３１】
また、前記第一特徴データは、所定の区間をおいて階段状に変化するステップ関数に従うデータ系列からなり、前記各区間における前記第一特徴データのデータ値は前記一次元原データの該区間内における平均値に等しく、かつ、前記データ系列は、前記一次元原データと前記第一特徴データとの全区間に渡る累積誤差が最小となるように前記各区間に分割されていることとすることができる。
【００３２】
この構成により、単純なステップ関数による近似であるため、近似計算処理のアルゴリズムが簡単であり、近似計算処理に要する計算量が少なく高速化が可能となる。また、一次元原データと第一特徴データとの累積誤差が最小となるように各区間に分割されたステップ関数で近似することにより、モスキート・ノイズのように、画像中の鋭いエッジ部分が平滑化され画像の輪郭部分が暈かされることがない。そのため、第一特徴符号データにおいて、画像中の輪郭部分が正確に保存され、第一特徴符号データから第一特徴画像を復元した際に、該第一特徴画像において画像の輪郭が明確であり、視覚的に画像の内容を的確に認知することが可能となる。
【００３３】
また、前記第一特徴データは、所定の区間をおいて階段状に変化するステップ関数に従うデータ系列からなり、前記各区間における前記第一特徴データのデータ値は前記一次元原データの該区間内における平均値に等しく、かつ、前記データ系列は、前記一次元原データと前記第一特徴データとの各区間内における累積誤差が所定の閾値以下となるように前記各区間に分割されていることとすることができる。
【００３４】
この構成により、単純なステップ関数による近似であるため、近似計算処理のアルゴリズムが簡単であり、近似計算処理に要する計算量が少なく高速化が可能である。また、近似計算処理を一次元原データの先頭から逐次的に処理することにより区間分割を行うことが可能であり、近似計算処理に要するメモリ量が少なく、計算量も少なく、高速化が可能である。更に、各区間における一次元原データと第一特徴データとの累積誤差が閾値以下となるように各区間に分割されたステップ関数で近似することにより、画像中の鋭いエッジ部分が平滑化され画像の輪郭部分が暈かされることがない。そのため、第一特徴符号データにおいて、画像中の輪郭部分が保存され、第一特徴符号データから第一特徴画像を復元した際に、該第一特徴画像において画像の輪郭が明確であり、視覚的に画像の内容を的確に認知することが可能となる。
【００３５】
【発明の実施の形態】
以下に本発明の一実施の形態について、図面を参照しながら説明する。
【００３６】
（実施の形態１）
図１は本発明の実施の形態１に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【００３７】
図１において、１は画像圧縮装置、２は画像復元装置である。
【００３８】
画像圧縮装置１は、画像入力部３、フレームメモリ４、擬似ヒルベルト走査手段５、第一特徴情報抽出手段６、第一符号化手段７、第二特徴情報抽出手段８、及び第二符号化手段９を備えている。画像入力部３は、装置外部から二次元又は三次元の原画像を入力する機能を有し、具体的には、スキャナやビデオカメラなどの画像入力装置等で構成される。フレームメモリ４は、画像入力部３に入力された原画像を一時的に格納する。擬似ヒルベルト走査手段５は、擬似ヒルベルト走査によりフレームメモリ４に格納された原画像を一次元原データに変換する。第一特徴情報抽出手段６は、一次元原データを所定の関数で近似することにより第一特徴データを生成するとともに、累積誤差を累積誤差メモリ１０に格納する。第一符号化手段７は、第一特徴データをエントロピ符号化により情報圧縮することにより、第一特徴符号データを生成する。
【００３９】
第二特徴情報抽出手段８は、累積誤差メモリ１０、第二特徴データ生成手段１１、第二特徴画像復元手段１２、判定手段１３、判定テーブル１４、基底ベクトル記憶手段１５、及び直交変換手段１６により構成される。累積誤差メモリ１０は、一次元原データと第一特徴データとの累積二乗誤差を格納する。第二特徴データ生成手段１１は、一次元原データと第一特徴データとの差分を計算することにより一次元の第二特徴データを生成する。第二特徴画像復元手段１２は、一次元の第二特徴データを擬似ヒルベルト走査により二次元又は三次元の第二特徴画像に復元する。判定手段１３は、累積誤差メモリ１０に格納された累積二乗誤差に基づき、判定テーブル１４を参照して、直交変換手段が内積を計算すべき基底ベクトルの組を決定する。判定テーブル１４には、累積二乗誤差の大きさに対応して、成分値が有意な大きさとなる基底ベクトルの組との対応関係を表す一覧表が格納されている。この対応関係は、あらかじめ、テストパターンを用いて累積誤差の大きさと各基底ベクトルに対する成分値との関係を求めることによって、累積二乗誤差の大きさに対して必要とされる基底ベクトルの組を割り出し、登録しておく。
【００４０】
基底ベクトル記憶手段１５は、第二特徴画像を直交変換する際の基底ベクトルの集合からなる基底ベクトルテーブルを格納する。ここで、あらかじめ複数のテストパターン画像を用いて、第二特徴情報を基底ベクトルで張られる空間に展開するに際して、平均的にもっとも有効ないくつかの基底成分を特定し、第二特徴画像をそれらの基底成分に展開するための基底ベクトルを求め、これらの基底ベクトルを基底ベクトルテーブルに格納しておく。直交変換手段１６は、基底ベクトル記憶手段１５に格納された各基底ベクトルと第二特徴画像との内積を計算する。
【００４１】
第二符号化手段９は、内積の組を符号化して第二特徴符号データを生成する機能を有し、量子化部１７、及びエントロピ符号化部１８からなる。
【００４２】
一方、画像復元装置２は、第一復号化手段１９、第一特徴画像復元手段２０、第二復号化手段２１、第二特徴画像復元手段２２、原画像復元手段２３、画像メモリ２４、及び出力手段２５を備えている。
【００４３】
第一復号化手段１９は、第一特徴符号データを復号し第一特徴データを復元する。第一特徴画像復元手段２０は、第一特徴データを擬似ヒルベルト走査により二次元又は三次元の第一特徴画像に復元する。第二復号化手段２１は、第二特徴符号データを復号し内積の組及び基底ベクトルを復元する。第二特徴画像復元手段２２は、内積の組に基底ベクトルの逆行列を作用させることにより二次元又は三次元の第二特徴画像を復元する。原画像復元手段２３は、第一特徴画像に第二特徴画像を加えて原画像を復元する。画像メモリ２４は、復元された原画像を格納する。出力手段２５は、復元された画像を出力する装置であり、ディスプレイ、プリンタ、ファクシミリ等で構成される。
【００４４】
以上のように構成された本実施の形態における画像情報圧縮装置において、以下その画像情報圧縮方法について説明する。
【００４５】
図２は本発明の実施の形態１に係る画像情報圧縮方法を表すフローチャートである。
【００４６】
まず、画像入力部３から原画像Ｇ０が入力されると、原画像Ｇ０はフレームメモリ４に格納される（Ｓ１）。この場合、入力された原画像が静止画像であれば、原画像Ｇ０は二次元の原画像として格納され、動画像であれば、原画像Ｇ０は二次元の画像フレームが時間軸方向に何枚も重なった三次元の原画像として格納される。
【００４７】
次に、擬似ヒルベルト走査手段５は、フレームメモリ４に格納された原画像Ｇ０について擬似ヒルベルト走査を行うことにより一次元原データＧ１＝｛ｇｉ：ｉ＝１，２，３，・・・，Ｓ｝に変換する（Ｓ２）。ここで、Ｓは原画像Ｇ０に含まれる全画素数を表す。
【００４８】
尚、この擬似ヒルベルト走査により一次元に変換された一次元原データＧ１は、原画像Ｇ０をラスタ走査やジグザグ走査により一次元原データに変換したものに比べて、スペクトルの高周波成分がきわめて少ないという特性を有する。図３は、ある同一の画像をラスタ走査により一次元化した一次元原データと擬似ヒルベルト走査により一次元化した一次元原データとのパワースペクトルを比較した図であり、（ａ）は、ラスタ走査により一次元化した一次元原データのパワースペクトルであり、（ｂ）は、擬似ヒルベルト走査により一次元化した一次元原データのパワースペクトルである。ラスタ走査の場合、画像の右端まで走査すると、再び画像の左端に戻って走査をするという動作を繰り返すことによって画像を一次元化するため、一次元原データは画像の幅分の周期を有する。また、画像右端から画像左端に移る際に、画素値に急激な変化が生じるため、高周波成分が生じ、パワースペクトルは、かなり高周波の帯域に渡って広がる。一方、擬似ヒルベルト走査では、空間充填曲線の一種である擬似ヒルベルト曲線に沿って、画像のブロックごとに走査が行われる。一般に画像はブロック内における画素値の相関が大きく、ブロック内においては画素値の変化は平均的に緩やかであるという特性がある。従って、擬似ヒルベルト走査により得られる一次元原データのパワースペクトルは低周波領域に集中し、一般によく用いられているラスタ走査に比べて高周波成分はきわめて小さい。すなわち、擬似ヒルベルト走査により一次元化した一次元原データは、急激に変化する成分は少なく、緩やかに変化する成分が多い。このことは、当該一次元原データを適当な冗長性の大きい関数で近似した場合でも、誤差を小さくすることが可能であることを意味する。従って、近似関数として、画像の特定の特徴を抽出するのに適した関数を選択することによって、画像の特定の特徴成分のみを、きわめて効率よく分離することが可能となる。
【００４９】
次に、第一特徴情報抽出手段６は、所定の区間おきに階段状に変化するステップ関数により、一次元原データＧ１を近似した第一特徴データＧ１’＝｛ｃ １ ，・・・，ｃｋ：ｋ＝１，・・・，Ｍ｝に変換する（Ｓ３）。ここで、連続するｃｋの個数をｌｋとすれば、
【数１】
である。このとき、各区間ｋ（ｋ＝１，２，・・・，Ｍ）における第一特徴データＧ１’の値ｃｋは一次元原データＧ１の該区間ｋ内における平均値に設定される。すなわち、
【数２】
により定まる。ここで、ｐｋは第ｋ番目の区間の始点であり、ｐ１＝１，ｐｋ＋１＝ｐｋ＋ｌｋである。また、第一特徴データＧ１’は、各区間ｋ内における一次元原データＧ１と第一特徴データＧ１’との累積二乗誤差ｅ（ｐｋ，ｌｋ）が所定の閾値Γ以下となるように各区間に分割される。ここで、累積二乗誤差ｅ（ｐｋ，ｌｋ）とは、一次元原データ｛ｇｐｋ＋ｉ：ｉ＝０，１，２，・・・，ｌｋ−１｝とこの平均値ｃｋとの差の二乗を全てのｉについて加算したものをいい、
【数３】
により表される。
【００５０】
具体的には、次のような逐次処理により区間分割を行う。
【００５１】
［１］一次元原データＧ１＝｛ｇｉ：ｉ＝１，２，３，・・・，Ｓ｝のある画素ｐｋからＮ−１番目の画素までのＮ個の画素値の平均ｃｋ（Ｎ）を式（数２）と同様に計算し、［２］このｃｋ（Ｎ）に対して、累積二乗誤差ｅ（ｐｋ，Ｎ）を式（数３）と同様に計算する。このとき、累積二乗誤差ｅ（ｐｋ，Ｎ）が閾値Γ以下の場合、Ｎを１だけインクリメントし、［１］に戻り同様の処理を繰り返す。累積二乗誤差ｅ（ｐｋ，Ｎ）が閾値Γより大きい場合、この区間ｋの長さはｌｋ＝Ｎ−１として、第一特徴データＧ１’の区間ｋの値｛ｇｉ’：ｉ＝ｐｋ，ｐｋ＋１，・・・，ｐｋ＋ｌｋ−１｝をｃｋ（Ｎ−１）とし、累積二乗誤差ｅ（ｐｋ，ｌｋ）を累積誤差メモリ１０に格納する（Ｓ３）。そして、ｋを１だけインクリメントし、次の区間について、［１］に戻り同様の処理を行う。
【００５２】
このようにして得られた一次元原データＧ１と第一特徴データＧ１’との関係は、図４に示すようになる。
【００５３】
図４（ａ）の破線は一次元原データであり、実線は第一特徴データである。また、図４（ｂ）は第一特徴データであり、図４（ａ）よりも縦軸のスケールを拡大して示されている。図４において、第一特徴データは、一次元原データ（原画像）のエッジ部分（図４のＡ，Ｂ，Ｃの部分等）においては、ステップ状に急激に変化し、エッジ以外の部分においては、一次元原データを平均化し、なだらかに変化するため、原画像のエッジ及びコントラストをよく保存するとともに、エッジ及びコントラスト以外のテクスチャ成分は除去されることが分かる。
【００５４】
尚、第一特徴情報を抽出するための他の方法として、第一特徴情報抽出手段６は、各区間ｋにおける第一特徴データＧ１’の値｛ｇｉ’：ｉ＝ｐｋ，ｐｋ＋１，・・・，ｐｋ＋ｌｋ−１｝が一次元原データの該区間内における平均値ｃｋであり、かつ、全区間｛ｋ：ｋ＝１，２，・・・，Ｍ｝における一次元原データＧ１と第一特徴データＧ１’との累積誤差
【数４】
が最小となるように各区間に分割されたステップ関数により一次元原データＧ１を近似したデータ系列を、第一特徴データＧ１’としてもよい。
【００５５】
このようにして生成された第一特徴データＧ１’は、一次元原データＧ１に比べて冗長性が増加しているため、高い符号化効率で圧縮することができる。第一符号化手段７は、第一特徴データＧ１’をエントロピ符号化し（Ｓ４）、これを第一特徴符号データとして出力する（Ｓ５）。尚、この第一特徴符号データには、イメージ開始符号（ＳＯＦ）、第一符号化手段において符号化に使用した定義パラメータ群（ＤＰ）、イメージ終了符号（ＥＯＩ）等のマーカ・コードも付加される。第一特徴符号データを復元する際に必要となるからである。
【００５６】
一方、第二特徴データ生成手段１１は、一次元原データＧ１と第一特徴データＧ１’との差分である一次元の第二特徴データＧ２’＝｛ｆｉ＝ｇｉ−ｇｉ’：ｉ＝１，２，・・・，Ｓ｝を生成し（Ｓ６）、第二特徴画像復元手段１２は、一次元の第二特徴データＧ２’を擬似ヒルベルト走査により二次元又は三次元の第二特徴画像Ｇ２に復元する（Ｓ７）。次に、直交変換手段１６は、第二特徴画像Ｇ２をＭ０行×Ｎ０列の部分第二特徴画像｛ｆｐ，ｑ（ｉ，ｊ）：ｐ＝１，・・・，Ｌ，ｑ＝１，・・・，Ｃ，ｉ＝１，２，・・・，Ｍ０，ｊ＝１，２，・・・，Ｎ０｝に分割する（Ｓ８）。ここで、ｐは第二特徴画像Ｇ２内の行方向の部分第二特徴画像の位置を表す添字であり、ｑは第二特徴画像Ｇ２内の列方向の部分第二特徴画像の位置を表す添字であり、ｉは部分第二特徴画像ｆｐ，ｑ内の行方向の画素の位置を表す添字であり、ｊは部分第二特徴画像ｆｐ，ｑ内の列方向の画素の位置を表す添字である。第二特徴画像Ｇ２は、二次元の場合には、行方向にＬ分割、列方向にＣ分割されているものとする。また、第二特徴画像Ｇ２が三次元の場合には、第二特徴画像Ｇ２を時間座標ｔが等しい画像フレームごとに二次元画像Ｇ２（ｔ）に分割し、各画像フレームＧ２（ｔ）について、行方向にＬ分割、列方向にＣ分割されているものとする。尚、通常は、部分第二特徴画像｛ｆｐ，ｑ（ｉ，ｊ）｝のサイズはＭ０＝８画素，Ｎ０＝８画素とされる。
【００５７】
次に、直交変換手段１６は、基底ベクトル記憶手段１５に格納された基底ベクトルテーブルから、基底ベクトル｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，Ｍ０×Ｎ０｝を取得し、各基底ベクトルａｋ（ｉ，ｊ）と部分第二特徴画像ｆｐ，ｑ（ｉ，ｊ）との内積ｂｐ，ｑ，ｋを計算する（Ｓ９）。これにより、部分第二特徴画像ｆｐ，ｑ（ｉ，ｊ）は基底ベクトル｛ａｋ（ｉ，ｊ）｝により特徴づけられる基底ベクトルで張られる空間に展開される。ここで、基底ベクトル｛ａｋ（ｉ，ｊ）｝は、部分第二特徴画像｛ｆｐ，ｑ（ｉ，ｊ）｝を直交変換する場合の基底ベクトルであり、直交変換としては、ＫＬ変換、ＤＣＴ、ＤＳＴ等が使用される。また、内積ｂｐ，ｑ，ｋは、
【数５】
で与えられる（ここで、ｆｐ，ｑ及びａｋはＭ０×Ｎ０次のベクトルである）。この内積値が、基底ベクトルで張られる空間における部分第二特徴画像｛ｆｐ，ｑ（ｉ，ｊ）｝の座標値となる。
【００５８】
この際、直交変換手段１６は、すべての基底ベクトルａｋ（ｉ，ｊ）に関する内積は計算せず、部分第二特徴画像ｆｐ，ｑ（ｉ，ｊ）の固有成分が有意な値となる基底ベクトルａｋ（ｉ，ｊ）についてのみ内積を出力する。基底ベクトル｛ａｋ（ｉ，ｊ）｝は、複数のテストパターンを用いて、部分第二特徴画像ｆｐ，ｑ（ｉ，ｊ）の直交変換におけるもっとも有効な基底成分に対応する固有ベクトルの組｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，ｍ，ｍ＜Ｍ０×Ｎ０｝をあらかじめ定めておき、この固有ベクトルの組｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，ｍ｝を基底ベクトルとして基底ベクトル記憶手段１５に格納しておく。この際、部分第二特徴画像ｆｐ，ｑ（ｉ，ｊ）のパターンを的確に表現できる基底成分順に、ａ１（ｉ，ｊ），ａ２（ｉ，ｊ），・・・，ａｍ（ｉ，ｊ）のように基底ベクトルを配列しておく。判定手段１３は、累積誤差メモリ１０に格納された累積誤差｛ｅ（ｐｋ，ｌｋ）：ｋ＝１，２，・・・，Ｍ｝の値に基づき、判定テーブルを参照することにより、内積計算に用いる基底ベクトルの組の数ｍを決定する。そして、直交変換手段１６は、判定手段１３が判定した数の基底ベクトルの組｛ａ１（ｉ，ｊ），ａ２（ｉ，ｊ），・・・，ａｍ（ｉ，ｊ）｝についてのみ固有値を計算して出力し、他の固有値については０を出力する。このようにすることで、直交変換手段１６は必ずしもＭ０×Ｎ０回の内積演算をする必要はなく、有効な特徴軸に対してｍ回の内積演算をすればよいため、計算量が低減され、情報圧縮処理の高速化が可能となる。
【００５９】
尚、情報圧縮処理の高速性があまり要求されない場合には、直交変換手段１６は、すべての基底ベクトルの組｛ａｋ（ｉ，ｊ）｝について内積演算を行い、内積が所定の閾値β以上のもののみ出力し、それ以外のものについては０を出力するようにしてもよい。
【００６０】
このように、本実施の形態においては、基底ベクトル｛ａｋ（ｉ，ｊ）｝については、部分第二特徴画像ごとに計算せずあらかじめ基底ベクトル記憶手段１５に記憶された基底ベクトルの組｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，ｍ｝を用いるため、画像情報圧縮処理時における固有値・基底ベクトルの演算時間は考慮する必要はない。従って、直交変換のうちもっとも部分第二特徴画像ｆｐ，ｑ（ｉ，ｊ）のパターンを的確に表現できるＫＬ変換により、あらかじめ複数のテストパターンを用いて最適な基底ベクトルの組｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，ｍ｝を決めておき、直交変換手段１６は、この基底ベクトルの組｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，ｍ｝を用いて内積を計算するようにすることが可能である。ＫＬ変換を使用することによって、従来のＤＣＴによる場合に比べ符号化効率を上げることが可能である。
【００６１】
直交変換手段１６により内積の組｛ｂｐ，ｑ，ｋ｝が出力されると、第二符号化手段９はこの内積の組｛ｂｐ，ｑ，ｋ｝を符号化し（Ｓ１０）、第二特徴符号データとして出力する（Ｓ１１）。ここで、符号化は、量子化部１７より量子化された後、エントロピ符号化部１８によりエントロピ符号化が行われ、情報圧縮が行われる。尚、第二特徴符号データには、イメージ開始符号（ＳＯＦ）、第一符号化手段において符号化に使用した定義パラメータ群（ＤＰ）、イメージ終了符号（ＥＯＩ）等のマーカ・コードも含まれる。また、定義パラメータ群には、直交変換に用いた基底ベクトルの組｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，ｍ｝も付加される。第二特徴符号データを復号する際に必要とされるからである。
【００６２】
このように、部分第二特徴画像を直交変換し特徴軸に対する内積のみを符号化して第二特徴符号データとするため、高い符号化効率を得ることができる。
【００６３】
次に、第一特徴符号データ及び第二特徴符号データから原画像を復元する方法について説明する。
【００６４】
図５は実施の形態１における画像情報圧縮方法により符号化された階層データから原画像を復元する方法を表すフローチャートである。
【００６５】
まず、第一復号化手段１９は、第一符号化手段７から伝送される第一特徴符号データを受信すると（Ｓ２０）、第一特徴符号データに含まれる符号化された画像を復号し、第一特徴データＧ１’を復元する（Ｓ２１）。第一特徴画像復元手段２０は、第一特徴データＧ１’を擬似ヒルベルト走査により二次元又は三次元空間に充填することにより、二次元又は三次元の第一特徴画像Ｇ０’を復元する（Ｓ２２）。
【００６６】
一方、第二復号化手段２１は、第二符号化手段９から伝送される第二特徴符号データを受信すると（Ｓ２３）、第二特徴符号データに含まれる符号化された画像を復号し、内積の組｛ｂｐ，ｑ，ｋ｝を復元する（Ｓ２４）。また、このとき、第二特徴符号データに含まれる定義パラメータ群から直交変換に用いた基底ベクトルの組｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，ｍ｝を取得する。次いで、第二特徴画像復元手段２２は、部分第二特徴画像｛ｆｐ，ｑ’（ｉ，ｊ）｝を復元し、復元した部分第二特徴画像｛ｆｐ，ｑ’（ｉ，ｊ）｝から第二特徴画像Ｇ２ ”を復元する（Ｓ２５）。
【００６７】
ここで、内積の組｛ｂｐ，ｑ，ｋ｝は式（５）で表されるため、部分第二特徴画像｛ｆ ｐ，ｑ （ｉ，ｊ）｝は次のような演算を行うことで復元される。
【数６】
ここで、Ｍ０×Ｎ０次のベクトルａｋ −１は、基底ベクトルａｋの逆ベクトルである。
【００６８】
尚、内積の組｛ｂｐ，ｑ，ｋ｝の非有効成分は、０で近似されているため、復元された第二特徴画像Ｇ２ ”は、もとの第二特徴画像Ｇ２とは完全には一致しないが、よい近似を与える。
【００６９】
原画像復元手段２３は、第一特徴画像Ｇ０’と復元された第二特徴画像Ｇ２ ”とを加えることにより、原画像Ｇ０”を復元する（Ｓ２６）。復元された原画像Ｇ０”は画像メモリ２４に格納され、ディスプレイ等の出力手段２５に出力される（Ｓ２７）。
【００７０】
このように、特徴分離符号化された原画像データを復号し、復元画像を生成する場合、簡単な行列計算により高速に復元することができる。
【００７１】
（実施の形態２）
図６は本発明の実施の形態２に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【００７２】
図６において、１は画像圧縮装置、２は画像復元装置、３は画像入力部、４はフレームメモリ、５は擬似ヒルベルト走査手段、６は第一特徴情報抽出手段、７は第一符号化手段、９は第二符号化手段、１０は累積誤差メモリ、１３は判定手段、１４は判定テーブル、１５は基底ベクトル記憶手段、１６は直交変換手段、１７は量子化部、１８はエントロピ符号化部、１９は第一復号化手段、２０は第一特徴画像復元手段、２１は第二復号化手段、２２は第二特徴画像復元手段、２３は原画像復元手段、２４は画像メモリ、２５は出力手段であり、これらは図１と同様であるため、同符号を付して説明は省略する。
【００７３】
本実施の形態においては、第二特徴情報抽出手段３０は、第一特徴画像復元手段３１及び第二特徴画像生成手段３２を有することを特徴とする。第一特徴情報抽出手段６が第一特徴データＧ１’を生成すると、第一特徴画像復元手段３１は、第一特徴データＧ１’を擬似ヒルベルト走査により二次元又は三次元の空間に充填し、第一特徴画像Ｇ０’に復元する。第二特徴画像生成手段３２は、原画像Ｇ０と第一特徴画像Ｇ０’との差分を計算し、第二特徴画像Ｇ２＝Ｇ０−Ｇ０’を生成する。こうして得られた第二特徴画像Ｇ２を、直交変換手段１６及び第二符号化手段９により圧縮、符号化するように構成したものである。
【００７４】
（実施の形態３）
図７は本発明の実施の形態３に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【００７５】
図７において、１は画像圧縮装置、２は画像復元装置、３は画像入力部、４はフレームメモリ、５は擬似ヒルベルト走査手段、６は第一特徴情報抽出手段、７は第一符号化手段、９は第二符号化手段、１０は累積誤差メモリ、１１は第二特徴データ生成手段、１３は判定手段、１４は判定テーブル、１５は基底ベクトル記憶手段、１７は量子化部、１８はエントロピ符号化部、１９は第一復号化手段、２１は第二復号化手段、２４は画像メモリ、２５は出力手段であり、これらは図１と同様であるため、同符号を付して説明は省略する。
【００７６】
本実施の形態においては、第二特徴情報抽出手段３３は、基底ベクトルで張られる空間内の所定の基底ベクトルに対する第二特徴データの成分値を符号化して第二特徴符号データとする直交変換手段３４を有していることを特徴とする。また、画像復元装置２は、第二特徴データ復元手段３５，一次元原データ復元手段３６、及び原画像復元手段３７を有している。
【００７７】
以下、本実施の形態の画像情報圧縮方法について、図８のフローチャートを参照しながら説明する。
【００７８】
図８は本発明の実施の形態３に係る画像情報圧縮方法を表すフローチャートである。
【００７９】
図８において、Ｓ３１〜Ｓ３６はそれぞれ図２のＳ１〜Ｓ６の動作と同様であるため、説明は省略する。
【００８０】
本実施の形態においては、第二特徴データ生成手段１１が一次元の第二特徴データＧ２’＝｛ｆｉ＝ｇｉ−ｇｉ’：ｉ＝１，２，・・・，Ｓ｝を生成すると（Ｓ３６）、直交変換手段３４は、一次元の第二特徴データＧ２’をＭ０個のデータ系列からなるＮ０組の部分一次元第二特徴データ｛ｆｐ（ｉ）：ｉ＝１，・・・，Ｍ０，ｐ＝１，・・・，Ｎ０｝に分割する（Ｓ３７）。ここで、一般には、Ｍ０の値としては６４画素が用いられる。また、基底ベクトル記憶手段１５には、一次元の第二特徴データを直交変換する際の基底ベクトルの集合からなる基底ベクトルテーブルが格納されている。直交変換手段３４は、基底ベクトル記憶手段１５に格納された基底ベクトルテーブルから、基底ベクトル｛ａｋ（ｉ）：ｋ＝１，・・・，Ｍ０｝を取得し、各基底ベクトルａｋ（ｉ，ｊ）と部分一次元第二特徴データｆｐ（ｉ）との内積ｂｐ，ｋを計算する（Ｓ３８）。すなわち、本実施の形態においては内積ｂｐ，ｋは、
【数７】
で与えられる。
【００８１】
この際、直交変換手段３４は、すべての基底ベクトルａｋ（ｉ）に関する内積は出力せず、部分一次元第二特徴データｆｐ（ｉ）の固有成分が有意な値となる基底ベクトルａｋ（ｉ）についてのみ内積を出力する。基底ベクトル｛ａｋ（ｉ）｝は、複数のテストパターンを用いて、部分一次元第二特徴データｆｐ（ｉ）の直交変換におけるもっとも有効な特徴軸に対応する基底ベクトルの組｛ａｋ（ｉ）：ｋ＝１，・・・，ｍ，ｍ＜Ｍ０｝をあらかじめ定めておき、この基底ベクトルの組｛ａｋ（ｉ）：ｋ＝１，・・・，ｍ｝を基底ベクトル記憶手段１５に格納しておく。この際、部分一次元第二特徴データｆｐ（ｉ）のパターンを的確に表現できる軸順に、ａ１（ｉ），ａ２（ｉ），・・・，ａｍ（ｉ）のように基底ベクトルを配列しておく。判定手段１３は、累積誤差メモリ１０に格納された累積二乗誤差｛ｅ（ｐｋ，ｌｋ）：ｋ＝１，２，・・・，Ｍ｝の値を参照することにより、内積計算に用いる基底ベクトルの組の数ｍを決定する。直交変換手段３４は、判定手段１３が判定した数の基底ベクトルの組｛ａ１（ｉ），ａ２（ｉ），・・・，ａｍ（ｉ）｝についてのみ内積値を計算して出力し、他の基底ベクトルについては０を出力する。このようにすることで、直交変換手段３４は必ずしもＭ０回の内積演算をする必要はなく、有効な基底ベクトルに対してｍ回の内積演算をすればよいため、計算量が低減され、情報圧縮処理の高速化が可能となる。
【００８２】
さらに、本実施の形態においては、内積計算の前に二次元又は三次元の第二特徴画像を復元することなく、一次元の第二特徴データＧ２’のまま基底ベクトル｛ａｋ（ｉ）｝との内積を計算し、圧縮、符号化するため、計算量が少なく、特に高速性が要求される場合において適している。
【００８３】
直交変換手段３４により出力された内積の組｛ｂｐ，ｋ｝は、第二符号化手段９により量子化、エントロピ符号化され（Ｓ３９）、第二特徴符号データとして出力される（Ｓ４０）。
【００８４】
次に、第一特徴符号データ及び第二特徴符号データから原画像を復元する方法について説明する。
【００８５】
図９は実施の形態３における画像情報圧縮方法により符号化された階層データから原画像を復元する方法を表すフローチャートである。
【００８６】
まず、第一復号化手段１９は、第一符号化手段７から伝送される第一特徴符号データを受信すると（Ｓ４１）、第一特徴符号データに含まれる符号化された画像を復号し、第一特徴データＧ１’を復元する（Ｓ４２）。
【００８７】
一方、第二復号化手段２１は、第二符号化手段９から伝送される第二特徴符号データを受信すると（Ｓ４３）、第二特徴符号データに含まれる符号化された画像を復号し、内積の組｛ｂｐ，ｋ｝を復元する（Ｓ４４）。また、このとき、第二特徴符号データに含まれる定義パラメータ群から直交変換に用いた基底ベクトルの組｛ａｋ（ｉ）：ｋ＝１，・・・，ｍ｝を取得する。次いで、一次元の第二特徴データ復元手段３５は、部分一次元第二特徴データ｛ｆｐ’（ｉ）｝を復元し、復元した部分一次元第二特徴データ｛ｆｐ’（ｉ）｝から一次元の第二特徴データＧ３’を復元する（Ｓ４５）。
【００８８】
ここで、内積の組｛ｂｐ，ｋ｝は式（７）で表されるため、部分一次元第二特徴データ｛ｆｐ’（ｉ）｝は次のような演算を行うことで復元される。
【数８】
ここで、Ｍ０次のベクトルａｋ −１は、基底ベクトルａｋの逆ベクトルである。
【００８９】
尚、内積の組｛ｂｐ，ｋ｝の非有効成分は、０で近似されているため、復元された一次元の第二特徴データＧ３’は、もとの一次元の第二特徴データＧ３とは完全には一致しないが、よい近似を与える。
【００９０】
一次元原データ復元手段３６は、第一特徴データＧ１’と復元された一次元の第二特徴データＧ３’とを加えることにより、一次元原データＧ１”を復元し（Ｓ４６）、原画像復元手段３７は、一次元原データＧ１”を擬似ヒルベルト走査により二次元又は三次元空間に充填することにより、二次元又は三次元の原画像Ｇ０”を復元する（Ｓ４７）。復元された原画像Ｇ０”は画像メモリ２４に格納され、ディスプレイ等の出力手段２５に出力される（Ｓ４８）。
【００９１】
（実施の形態４）
図１０は本発明の実施の形態４に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【００９２】
図１０において、１は画像圧縮装置、２は画像復元装置、３は画像入力部、４はフレームメモリ、５は擬似ヒルベルト走査手段、７は第一符号化手段、８は第二特徴情報抽出手段、９は第二符号化手段、１０は累積誤差メモリ、１１は第二特徴データ生成手段、１２は第二特徴画像復元手段、１３は判定手段、１４は判定テーブル、１５は基底ベクトル記憶手段、１６は直交変換手段、１７は量子化部、１８はエントロピ符号化部、１９は第一復号化手段、２０は第一特徴画像復元手段、２１は第二復号化手段、２２は第二特徴画像復元手段、２４は画像メモリ、２５は出力手段であり、これらは図１と同様のものであるため、同符号を付して説明は省略する。
【００９３】
本実施の形態においては、画像入力部３から入力される原画像は、時間方向に連続する複数のフレーム系列から構成される動画像であるものとする。第一特徴情報抽出手段３８は、所定のフレームについては、一次元原データよりも冗長性の大きい所定の関数により一次元原データを近似して第一特徴データを生成することにより第一特徴情報を抽出するとともに、当該第一特徴データを第一特徴データ記憶手段３９に格納する。一方、それ以外のフレームについては、第一特徴データ記憶手段３９に格納された過去のフレームの第一特徴データを一次元原データから差し引いた第一差分データを生成し、第一差分データよりも冗長性の大きい所定の関数により第一差分データを近似して第一特徴データを生成することにより第一特徴情報を抽出する。
【００９４】
第一符号化手段７は、第一特徴データをエントロピ符号化することにより第一特徴符号データを生成するが、符号量判定手段４１は、この第一特徴符号データの符号量を計算し、符号量が所定の閾値を超えたか否かを判定する。
【００９５】
また、画像復元装置２は、原画像復元手段４２及び第一特徴画像記憶手段４３を有する。原画像復元手段４２は、第一特徴画像復元手段２０の生成する第一特徴画像と第二特徴画像復元手段２２の生成する第二特徴画像とを加えて復元画像を生成するが、該復元画像が復元された原画像である場合には、該復元画像を復元原画像として画像メモリ２４に出力するとともに、第一特徴画像を第一特徴画像記憶手段４３に格納する。一方、該復元画像が復元された原画像ではない場合には、原画像復元手段４２は、第一特徴画像記憶手段４３に格納された第一特徴画像と該復元画像とを加えて復元原画像とし、画像メモリ２４に出力する。
【００９６】
以上のように構成された本実施の形態の画像圧縮装置において、以下その画像圧縮方法について、図１１のフローチャートを参照しながら説明する。
【００９７】
図１１は本発明の実施の形態４に係る画像情報圧縮方法を表すフローチャートである。
【００９８】
まず、画像入力部３より複数のフレームからなる動画像が入力されると、フレームメモリ４に格納される（Ｓ５１）。ここでは、あるフレームの原画像Ｇｘ０がフレームメモリに格納されてものとする。ｘ（ｘ＝１，２，３，・・・）はフレームの番号を表す添字である。擬似ヒルベルト走査手段５は、原画像Ｇｘ０を、擬似ヒルベルト走査により一次元原データＧｘ１に変換する（Ｓ５２）。次に、第一特徴情報抽出手段３８は、内部変数として保有する更新フラグを参照する。ここで。「更新フラグ」とは、第一特徴データ記憶手段３９に格納されている第一特徴データの更新を行うか否かを判定するためのフラグであり、このフラグがＯＮ状態の場合には、第一特徴データ記憶手段３９に格納されている第一特徴データの更新を行う。
【００９９】
初期状態においては、更新フラグはＯＮ状態とされており、最初のフレーム（ｘ＝１のフレーム）については、第一特徴情報抽出手段３８は、所定の区間おきに階段状に変化するステップ関数により、一次元原データＧｘ１を近似した第一特徴データＧｘ１’に変換するとともに、累積二乗誤差ｅ（ｐｋ，ｌｋ）を累積誤差メモリ１０に格納する（Ｓ５４）。この際、第一特徴情報抽出手段３８は、第一特徴データＧｘ１’のステップ数ｎｓ、及びステップ間隔の平均値（平均ステップ間隔）ｄ＝Ｓ／ｎｓ（図４（ａ）参照）又はステップ密度ρ＝ｎｓ／Ｓについても計算する。ここで、Ｓは原画像Ｇ ｘ０ のサイズ（原画像Ｇ ｘ０ の全画素数）である。そして、第一特徴情報抽出手段３８は、第一特徴データＧ ｘ１ ’を第一特徴データ記憶手段３９に格納し、更新フラグをＯＦＦ状態にする（Ｓ５５）。尚、ステップＳ５４における第一特徴情報抽出手段３８の動作については、実施の形態１のステップＳ３の動作と同様であるため、詳細な説明は省略する。
【０１００】
次に、符号量判定手段４１は、平均ステップ間隔ｄが所定の閾値Γｄ以下又はステップ密度ρが所定の閾値Γρ以上の場合（Ｓ５６）、更新フラグをＯＮ状態とする（Ｓ５７）。これは、動画像のシーン・チェンジなどにより、画像の時間方向の相関がなくなった場合や、現在のフレーム画像と過去のフレーム画像との相関が低くなった場合において、第一特徴データ記憶手段３９に格納されている第一特徴データの更新を行うようにするための動作であり、詳細については後述する。
【０１０１】
一方、ステップＳ５６において、符号量判定手段４１は、平均ステップ間隔ｄが所定の閾値Γｄより大きいか又はステップ密度ρが所定の閾値Γρより小さい場合、更新フラグをＯＦＦ状態とする（Ｓ５８）。
【０１０２】
次に、第一符号化手段７は、第一特徴データＧｘ１’をエントロピ符号化により符号化し（Ｓ５９）、第一特徴符号データとして出力する（Ｓ６０）。この際、第一特徴符号データを復元可能とするため、一次元原データを符号化したものであることを示すマーカー符号を付加する。
【０１０３】
一方、第二特徴情報抽出手段８及び第二符号化手段９は、一次元原データＧｘ１から第一特徴データＧｘ１’を差し引いた残りの第二特徴データＧｘ２’について、符号化を行い、第二特徴符号データとして出力するが（Ｓ６１〜Ｓ６６）、この動作は、実施の形態１のステップＳ６〜Ｓ１１と同様であるため、ここでは説明は省略する。
【０１０４】
そして、全てのフレームについて画像情報圧縮処理が終了していない場合は（Ｓ６７）、ステップＳ５１に戻る。
【０１０５】
ステップＳ５３において、更新フラグがＯＦＦ状態の場合、第一特徴情報抽出手段３８は、第一特徴データ記憶手段３９に格納されている過去の第一特徴データＧｙ１’（ｙ＜ｘ）を取得し、一次元原データＧｘ１から過去の第一特徴データＧｙ１’を差し引いて、第一差分データＧｘ１”を生成する（Ｓ６８）。そして、第一特徴情報抽出手段３８は、所定の区間おきに階段状に変化するステップ関数により、この第一差分データＧｘ１”を近似した第一特徴データＧｘ１’に変換するとともに、累積二乗誤差ｅ（ｐｋ，ｌｋ）を累積誤差メモリ１０に格納する（Ｓ６９）。
【０１０６】
このように、直接一次元原データＧｘ１を符号化せず、一次元原データＧｘ１から過去の第一特徴データＧｙ１’を差し引いた第一差分データＧｘ１”を符号化することで、時間方向に変化の小さい第一特徴情報が差し引かれ、時間方向の冗長度除去が効果的に行われる。この結果、第一特徴情報に関し、高い符号化効率を得ることが可能となる。
【０１０７】
尚、時間が経過するに従って、時間方向のフレーム間の相関は低下する。これに伴い、第一差分データＧｘ１”において第一特徴情報の情報量が増加していくため、第一差分データＧｘ１”においてある程度第一特徴情報の情報量が増加した時点で第一特徴データ記憶手段３９に格納された過去の第一特徴データＧｙ１’（ｙ＜ｘ）を更新する必要が生じる。そこで、ステップＳ５６〜Ｓ５８において、符号量判定手段４１により平均ステップ間隔ｄ又はステップ密度ρを監視し、平均ステップ間隔ｄが所定の閾値Γｄ以下又はステップ密度ρが所定の閾値Γρ以上となったときに、時間方向のフレーム間の相関が低下したものと判断し、更新フラグをＯＮ状態として、第一特徴データ記憶手段３９に格納された過去の第一特徴データＧｙ１’（ｙ＜ｘ）を更新することとしたものである。これにより、第一特徴情報の符号化において、時間方向の冗長度除去を効果的に行うことができるようになる。
【０１０８】
また、本実施の形態においては、現在のフレームの原画像Ｇ０が過去のフレームの原画像と相関があるか否かの判定は、符号量判定手段４１が平均ステップ間隔ｄ又はステップ密度ρと閾値Γｄ又はΓρとを比較することにより行い、更新フラグを切り替えることとしたが（Ｓ５６〜Ｓ５８）、現在のフレームの原画像Ｇ０が過去のフレームの原画像と相関があるか否かの判定はこの方法に限られるものではない。例えば、第一特徴データＧｘ１’の符号量Ｑが閾値ΓＱを超えたか否かにより当該判定を行うことも可能である。すなわち、ステップＳ５６〜Ｓ５８の代わりに、ステップＳ６０の後に、符号量判定手段４１が、第一特徴データＧｘ１’の符号量Ｑを計算し、符号量Ｑが閾値ΓＱを超えたか否かを判定し、符号量Ｑが所定の閾値ΓＱを超えた場合には、更新フラグをＯＮ状態とするように構成することも可能である。
【０１０９】
また、ステップＳ５７において、符号量判定手段４１は、まず、現在の更新フラグがＯＮ状態かＯＦＦ状態かを判定し、ＯＦＦ状態の場合は、単に更新フラグをＯＮ状態とする一方、ＯＮ状態の場合、第一特徴情報抽出手段３８にステップＳ５４及びＳ５５の動作を行わせた後、更新フラグをＯＮ状態とするように構成してもよい。すなわち、Ｓ６９において第一差分データＧｘ１”を近似して第一特徴データＧｘ１’を生成した結果、その第一特徴データＧｘ１’の平均ステップ間隔ｄが所定の閾値Γｄ以下又はステップ密度ρが所定の閾値Γρ以上の場合、現在のフレームの原画像Ｇ０と第一特徴データ記憶手段３９に格納された過去のフレームの原画像との相関は小さいため、第一差分データＧｘ１”を近似して第一特徴データＧｘ１’を生成したのでは、符号化効率が低下することになる。そこで、かかる場合、再度、一次元原データＧｘ１を近似して第一特徴データＧｘ１’を生成しなおすように構成してもよい。
【０１１０】
次に、第一特徴符号データ及び第二特徴符号データから原画像を復元する方法について説明する。
【０１１１】
図１２は実施の形態４における画像情報圧縮方法により符号化された階層データから原画像を復元する方法を表すフローチャートである。
【０１１２】
図１２において、ステップＳ７１〜Ｓ７７までの動作については、実施の形態１の図５におけるステップＳ２０〜Ｓ２６と同様であるため、ここでは説明を省略する。
【０１１３】
ステップＳ７７において、原画像復元手段４２は、復元された第一特徴画像Ｇｘ０’と復元された第二特徴画像Ｇｘ２ ”とを加算して、復元画像Ｇｘ３を生成する。この復元画像Ｇｘ３は、実施の形態１の場合と異なり、時間方向の冗長度除去処理がされているため、復元に当たっては、この除去された冗長度を伸長する必要がある。
【０１１４】
そこで、原画像復元手段４２は、第一特徴符号データに一次元原データであることのマーカが付加されているか否かを調べ、該マーカが付加されている場合（Ｓ７８）、復元画像Ｇｘ３を復元原画像Ｇｘ０”として画像メモリ２４に格納するとともに（Ｓ７９）、復元された第一特徴画像Ｇｘ０’を第一特徴画像記憶手段４３に格納する（Ｓ８０）。尚、画像メモリ２４に格納された復元原画像Ｇｘ０”は、ディスプレイ等の出力手段２５に出力される。
【０１１５】
一方、第一特徴符号データに一次元原データであることのマーカが付加されていない場合（Ｓ７８）、原画像復元手段４２は、第一特徴画像記憶手段４３より、復元された過去の第一特徴画像Ｇ ｙ０ ’（ｙ＜ｘ）を取得し（Ｓ８２）、この第一特徴画像Ｇ ｙ０ ’と復元画像Ｇｘ３とを加えて復元原画像Ｇｘ０”を生成し、画像メモリ２４に格納する。画像メモリ２４に格納された復元原画像Ｇｘ０”は、ディスプレイ等の出力手段２５に出力される。
【０１１６】
そして、これらの処理は、全てのフレームの処理が終了するまで繰り返される（Ｓ８１）。
【０１１７】
このように、特徴分離符号化された原画像データを復号し、復元画像を生成する場合、簡単な行列計算により高速に復元することができる。
【０１１８】
尚、上記各実施の形態の画像情報圧縮装置については、プログラムをコンピュータで実行させることにより、各実施の形態の画像情報圧縮装置を実現するように構成することも可能である。さらに、当該プログラムを記録媒体に記録しておき、記録媒体に記録されたプログラムをコンピュータに読み込ませて実行させることにより、上記各実施の形態の画像情報圧縮装置を実現するように構成してもよい。
【０１１９】
【発明の効果】
以上のように、本発明によれば、二次元又は三次元原画像を一次元原データに変換するに際して、擬似ヒルベルト走査を用いることにより、走査方向に沿った画素データの相関性が大きく、そのため、第一特徴データにより近似した場合、画像に含まれるコントラスト成分及びエッジ成分をテクスチャ成分から効果的に分離することができる。
【０１２０】
そのため、第二特徴画像を基底ベクトルで張られる空間に写像した場合の有効な特徴軸（基底成分）の画像パターン依存性が小さく、圧縮画像ごとに基底ベクトルを計算しなくても、テストパターンを用いてあらかじめ基底ベクトルを計算しておき、これを基底ベクトルテーブルに登録し、参照して用いることができる。
【０１２１】
また、基底ベクトルで張られる空間における各座標軸に対する第二特徴画像の座標値は、いくつかの基底ベクトルに対する固有値のみが有意な値をもち、その他の固有値は略０になるため、いくつかの有意な値を持つ基底ベクトルのみを残してあとは０で近似することで、第二特徴画像を圧縮できる。
【０１２２】
これにより、画像情報圧縮方式において、高速で符号化効率の高い画像圧縮方式を提供することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【図２】 本発明の実施の形態１に係る画像情報圧縮方法を表すフローチャートである。
【図３】 ある同一の画像をラスタ走査により一次元化した一次元原データと擬似ヒルベルト走査により一次元化した一次元原データとのパワースペクトルを比較した図である。
【図４】 一次元原データＧ１と第一特徴データＧ１’との関係を表す図である。
【図５】 実施の形態１における画像情報圧縮方法により符号化された階層データから原画像を復元する方法を表すフローチャートである。
【図６】 本発明の実施の形態２に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【図７】 本発明の実施の形態３に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【図８】 本発明の実施の形態３に係る画像情報圧縮方法を表すフローチャートである。
【図９】 実施の形態３における画像情報圧縮方法により符号化された階層データから原画像を復元する方法を表すフローチャートである。
【図１０】 本発明の実施の形態４に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【図１１】 本発明の実施の形態４に係る画像情報圧縮方法を表すフローチャートである。
【図１２】 実施の形態４における画像情報圧縮方法により符号化された階層データから原画像を復元する方法を表すフローチャートである。
【符号の説明】
１ 画像圧縮装置
２ 画像復元装置
３ 画像入力部
４ フレームメモリ
５ 擬似ヒルベルト走査手段
６ 第一特徴情報抽出手段
７ 第一符号化手段
８ 第二特徴情報抽出手段
９ 第二符号化手段
１０ 累積誤差メモリ
１１ 第二特徴データ生成手段
１２ 第二特徴画像復元手段
１３ 判定手段
１４ 判定テーブル
１５ 基底ベクトル記憶手段
１６ 直交変換手段
１７ 量子化部
１８ エントロピ符号化部
１９ 第一復号化手段
２０ 第一特徴画像復元手段
２１ 第二復号化手段
２２ 第二特徴画像復元手段
２３ 原画像復元手段
２４ 画像メモリ
２５ 出力手段
３０ 第二特徴情報抽出手段
３１ 第一特徴画像復元手段
３２ 第二特徴画像生成手段
３３ 第二特徴情報抽出手段
３４ 直交変換手段
３５ 第二特徴データ復元手段
３６ 一次元原データ復元手段
３７ 原画像復元手段
３８ 第一特徴情報抽出手段
３９ 第一特徴データ記憶手段
４０ 第一符号化手段
４１ 符号量判定手段
４２ 原画像復元手段
４３ 第一特徴画像記憶手段
【発明の属する技術分野】
本発明は、二次元又は三次元の画像情報の圧縮方式に係り、特に、画像の特徴分離符号化による画像情報の圧縮を行う画像情報圧縮方式に関するものである。
【０００２】
【従来の技術】
従来より、画像情報圧縮方法として、画像情報を、画像情報に含まれるパターンごとに分離して二つの特徴データとし、各特徴データごとに符号化することにより画像情報を圧縮する特徴分離符号化の方法が知られている。かかる特徴分離符号化による画像情報圧縮方法として、例えば、Ｊｏｎｓｏｎ Ｋ．Ｙａｎ，Ｄａｖｉｄ Ｊ．Ｓａｋｒｉｓｏｎ，”Ｅｎｃｏｄｉｎｇ ｏｆ Ｉｍａｇｅｓ Ｂａｓｅｄ ｏｎ ａ Ｔｗｏ−Ｃｏｍｐｏｎｅｎｔ Ｓｏｕｒｃｅ Ｍｏｄｅｌ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｖｏｌ．ＣＯＭ−２５，Ｎｏ．１１（１９７７）に記載の方法が知られている。この方法によれば、まず、原画像データをラスタ走査により一次元化した一次元原データｉ（ｘ，ｙ）より三乗根強度ｕ（ｘ，ｙ）＝［ｉ（ｘ，ｙ）］１／３を求め、三乗根強度ｕ（ｘ，ｙ）をスムージングにより非連続成分ｄ（ｘ，ｙ）成分と残りの成分ｒ（ｘ，ｙ）とに分離して、各成分をそれぞれ符号化するものである。
【０００３】
この場合、非連続成分ｄ（ｘ，ｙ）には画像のエッジ成分やコントラスト成分が取り込まれ、残りの成分ｒ（ｘ，ｙ）には画像のテクスチャ成分が取り込まれるため、原画像が特徴分離され、各特徴成分ごとに最適な符号化がされる。
【０００４】
【発明が解決しようとする課題】
しかしながら上記従来の画像情報圧縮方法では、ラスタ走査した一次元原データのスペクトルは高周波成分を多く含む。そのため、一次元原データをスムージングする際に、エッジ成分やコントラスト成分が十分にスムージング関数に取り込まれず、残りの成分に残留する。従って、符号化効率を十分に得ることができず、また、符号化効率を上げるために残りの成分の情報を削減すると、画像の劣化が大きくなるという問題があった。
【０００５】
そこで、本発明の解決課題は、かかる画像情報の特徴分離符号化方法において、画像を特徴ごとに効果的に分離することができ、符号化効率の高く画質の劣化の少ない画像情報圧縮方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像情報圧縮方法は、原画像の特徴分離符号化を行う画像情報圧縮方法において、二次元又は三次元の原画像を擬似ヒルベルト走査により一次元原データに変換し、前記一次元原データよりも冗長性の大きい所定の関数により前記一次元原データを近似して第一特徴データを生成することにより第一特徴情報を抽出し、前記第一特徴情報を符号化して第一特徴符号データとするとともに、前記原画像から前記第一特徴情報を差し引いて第二特徴情報を抽出し、前記第二特徴情報を符号化して第二特徴符号データとするようにしたものであり、この構成により、次のような作用が得られる。
【０００７】
まず、二次元又は三次元の原画像を擬似ヒルベルト走査により、原画像は、高周波数成分が少なく低周波成分の多いスペクトル特性を持つ一次元原データに変換される。ここで、擬似ヒルベルト走査は、画像を正方形又は長方形のブロックごとに走査する特性がある。また、一般に画像はブロック内における画素値の相関が大きく、ブロック内においては画素値の変化は平均的に緩やかであるという特性がある。従って、擬似ヒルベルト走査により得られる一次元原データのパワースペクトルは低周波領域に集中し、一般によく用いられているラスタ走査に比べて高周波成分はきわめて小さいという特性がある。
【０００８】
この一次元原データを、一次元原データよりも冗長性の大きい所定の関数で近似して、この近似関数値を第一特徴データとする。また、原画像から第一特徴データを差し引いて第二特徴データを生成する。一次元原データのスペクトル特性は、高周波成分が少ないため、所定の関数を適当に選択することによって、所定の関数で近似した場合の近似誤差は小さくすることができ、第二特徴データの各値の絶対値平均を、一次元原データの各値の絶対値平均に比べて、小さくすることができ、原画像の特徴成分を十分に分離することが可能である。尚、この際、原画像のコントラスト成分やエッジ成分は、主として第一特徴データに取り込まれ、テクスチャ成分は主として第二特徴データに取り込まれる。さらに、第一特徴データは、符号量は原画像と等しいが、冗長性は原画像に比べて増大しているため、第一特徴データは高効率で符号化することが可能である。
【０００９】
一方、第二特徴データは、原画像から第一特徴データを差し引いたものであるため、原画像のコントラスト成分やエッジ成分はほとんど含まれず、主として原画像の高周波成分のみが含まれる。従って、第二特徴データのスペクトル特性は、高周波側に偏倚しているため、それに適した符号化方式を採用することで、この第二特徴データは高い符号化効率で符号化することが可能である。よって、全体として原画像を高い符号化効率により符号化することができる。
【００１０】
ここで、「原画像」は、静止画像に限られるものではなく、時間方向に連続する複数のフレーム系列からなる動画像であってもよい。「二次元の又は３次元の」としたのは、静止画像の場合は原画像は二次元となるが、動画像の場合には、時間軸方向に複数のフレームが重なっているため、三次元画像となるからである。「特徴分離符号化」とは、画像をそれに含まれる特徴成分ごとに分離して各特徴成分ごとに符号化する画像符号化方法をいう。「擬似ヒルベルト走査」とは、長方形領域又は立方体領域に対しても適用可能なように拡張されたヒルベルト曲線に沿って行う走査をいい、その詳細については特開平１１−３５３４５３号公報、信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．２８６４−２８６７，Ｏｃｔ．１９９７等に既に開示されているためここでは詳細な説明は省略する。この、「擬似ヒルベルト走査」は、二次元の擬似ヒルベルト走査に限られず、三次元の擬似ヒルベルト走査であってもよい。静止画像の場合には、原画像は１フレームのみであるため二次元の擬似ヒルベルト走査となるが、動画像の場合には、原画像は三次元画像となるため、二次元擬似ヒルベルト走査のほかに、所定数のフレームを一組として三次元擬似ヒルベルト走査を行うことも可能である。尚、二次元の擬似ヒルベルト走査については、信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．２８６４−２８６７，Ｏｃｔ．１９９７等に開示されており、三次元の擬似ヒルベルト走査については、特開平１１−３５３４５３号公報、信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．２４８３−２４８６，Ｏｃｔ．１９９８、特開２０００−２５３３９６号公報等に開示されている。「所定の関数」とは、特に関数形を限定するものではなく、例えば、ステップ関数、折線関数、スプライン関数等が用いられる。しかしながら、計算処理の高速性及びエッジ成分の取り込み特性のよさから考えてステップ関数を用いるのが好ましい。また、「冗長性の大きい」とは、第一特徴データの自己相関係数が一次元原データの自己相関係数に比べて大きいことを意味する。これにより、第一特徴データは高符号化効率で符号化が可能となる。「第一特徴データ」とは、一次元原データを所定の関数により近似した一次元の系列からなるデータをいう。また、「第一特徴情報」とは、第一特徴データの有する情報をいう。「第二特徴情報」とは、原画像から前記第一特徴情報を差し引いて得られる情報をいい、一次元原データから第一特徴データを差し引いて得られるデータ系列の有する情報、及び、第一特徴データを擬似ヒルベルト走査により二次元又は三次元空間に充填して得られる第一特徴画像を原画像から差し引いた画像の有する情報が含まれる。「第一特徴情報を符号化」又は「第二特徴情報を符号化」する方法については、特に限定するものではなく、一般的な量子化、エントロピ符号化等の符号化方法が用いられる。
【００１１】
また、本発明の画像情報圧縮装置は、原画像の特徴分離符号化を行う画像情報圧縮装置において、二次元又は三次元の原画像を擬似ヒルベルト走査により一次元原データに変換する擬似ヒルベルト走査手段と、前記一次元原データよりも冗長性の大きい所定の関数により前記一次元原データを近似して第一特徴データを生成することにより第一特徴情報を抽出する第一特徴情報抽出手段と、前記第一特徴情報を符号化して第一特徴符号データを生成する第一符号化手段と、前記原画像から前記第一特徴情報を差し引いて第二特徴情報を抽出する第二特徴情報抽出手段と、前記第二特徴情報を符号化して第二特徴符号データを生成する第二符号化手段と、を備えたことを特徴とする。
【００１２】
この構成により、上述のように、全体として原画像を高い符号化効率により符号化することができる。
【００１３】
また、前記原画像が、時間方向に連続する複数のフレーム系列から構成されている場合、前記第一特徴情報を抽出するに際し、所定のフレームについては、前記一次元原データよりも冗長性の大きい所定の関数により前記一次元原データを近似して第一特徴データを生成することにより第一特徴情報を抽出するとともに、前記第一特徴データを第一特徴データ記憶手段に格納し、それ以外のフレームについては、第一特徴データ記憶手段に格納された過去のフレームの第一特徴データを前記一次元原データから差し引いた第一差分データを生成し、前記第一差分データよりも冗長性の大きい所定の関数により前記第一差分データを近似して第一特徴データを生成することができる。
【００１４】
動画像のように、時間方向に連続する原画像の場合、連続するフレーム間での相関が大きい場合がある。この場合は、現在の一次元原データから過去のフレームの第一特徴データを差し引いて第一差分データとすることで、この第一差分データでは、原画像の時間方向に変化の小さい成分が大部分除去される。その結果、動画原画像の符号化効率をさらに向上させることができる。
【００１５】
ここで、「所定のフレーム」とは、過去のフレームとの相関がない又は相関の小さいフレームをいい、例えば、最初のフレームやシーン・チェンジが行われた際のチェンジ直後のフレーム等をいう。「過去のフレーム」とは、現在画像情報圧縮を行っているフレームの直前に画像情報圧縮を行ったフレームをいう。
【００１６】
また、前記第二特徴情報を抽出するに際し、前記一次元原データから前記第一特徴データを差し引いた第二特徴データを生成し、前記第二特徴データを擬似ヒルベルト走査により二次元又は三次元空間に充填して第二特徴画像を復元し、基底ベクトルテーブルに格納された基底ベクトルを用いて前記第二特徴画像を基底ベクトルで張られる空間に展開するとともに、前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴画像の成分値を符号化して第二特徴符号データとすることができる。
【００１７】
また、前記第二特徴情報を抽出するに際し、前記第一特徴データを擬似ヒルベルト走査により二次元又は三次元空間に充填して第一特徴画像を復元し、前記原画像から前記第一特徴画像を差し引いた第二特徴画像を生成し、基底ベクトルテーブルに格納された基底ベクトルを用いて前記第二特徴画像を基底ベクトルで張られる空間に展開するとともに、前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴画像の成分値を符号化して第二特徴符号データとすることができる。
【００１８】
上述のように、原画像を一次元化するに際し擬似ヒルベルト走査を用いるため、一次元原データは、高周波数成分が少なく低周波成分の多いスペクトル特性を持ち、これを所定の関数で近似することにより、原画像のコントラスト成分（ＤＣ成分や低周波成分）やエッジ成分（画像の輪郭成分）は、主として第一特徴情報に取り込まれ、残りのテクスチャ成分は主として第二特徴情報に取り込まれる。このテクスチャ成分は、パワースペクトルが高周波側に偏倚した特徴を有する。従って、第二特徴情報を基底ベクトルで張られる空間に展開した場合、ＤＣ成分及び低周波成分以外の中高周波成分に対応するいくつかの基底成分にスペクトルが集中する傾向にある。
【００１９】
そこで、あらかじめ複数のテストパターン画像を用いて、第二特徴情報を基底ベクトルで張られる空間に展開するに際して、平均的にもっとも有効ないくつかの基底成分を特定し、第二特徴画像をそれらの基底成分に展開するための基底ベクトルを求め、これらの基底ベクトルを基底ベクトルテーブルに格納しておく。そして、基底ベクトルテーブルに格納された基底ベクトルを、各第二特徴画像を基底ベクトルで張られる空間に展開する場合に、各第二特徴画像をもっとも有効な基底成分に展開するであろう基底ベクトルとみなす。
【００２０】
そして、画像情報圧縮時には、基底ベクトルテーブルにあらかじめ格納されている基底ベクトルを用いて、第二特徴画像を基底ベクトルで張られる空間に展開する（すなわち、第二特徴画像と基底ベクトルとの内積計算を行う）ことにより、画質のＳ／Ｎ比の劣化が少なく、かつ、高符号化効率で高速な画像符号化が可能となる。
【００２１】
ここで、「基底ベクトルで張られる空間」とは、特徴抽出によってパターンを写像する空間をいい、この写像には、カルーネン・レーベ変換（以下、「ＫＬ変換」という。）、ディスクリート・コサイン変換（以下、「ＤＣＴ」という。）、ディスクリート・サイン変換（以下、「ＤＳＴ」という。）等の直交変換が用いられる。「基底ベクトルで張られる空間に展開」とは、第二特徴画像を基底ベクトルで張られる空間に写像することをいい、具体的には、各基底ベクトルと第二特徴画像との内積計算により行われる。「基底ベクトルで張られる空間内の所定の基底ベクトル」としては、基底ベクトルで張られる空間内の基底ベクトルのうちで第二特徴画像の特徴を最も有効に表す基底ベクトルが選ばれる。例えば、特徴抽出にＫＬ変換を用いる場合は、第二特徴画像の各画素を特徴空間に写像した際に、各画素の基底成分の分散値が大きい順にいくつか選ばれた基底ベクトルをいい、特徴抽出にＤＴＣを用いる場合は、第二特徴画像のスペクトルの大きい周波数成分の順にいくつか選ばれた基底ベクトルをいう。
【００２２】
尚、第二特徴画像を基底ベクトルで張られる空間に展開するに際しては、必ずしも全ての基底ベクトルについて第二特徴画像を展開する必要はなく、あらかじめ設定した基底ベクトルに対してのみ第二特徴画像を展開するようにし、他の基底ベクトルに対する成分値は０とみなすようにしてもよい。すなわち、テストパターン画像を用いて、あらかじめ成分値が平均的に有意な値を持つような基底ベクトルをいくつか選択しておき、かかる基底ベクトルに対してのみ第二特徴画像を展開するようにすることもできる。このようにしても、画質のＳ／Ｎ比の減少量は少なく、また、第二特徴画像の展開時における計算量が減少するため、符号化ノイズの増加を抑えつつ高速な処理が可能となる。
【００２３】
また、前記第二特徴情報を抽出するに際し、前記一次元原データから前記第一特徴データを差し引いた第二特徴データを生成し、基底ベクトルテーブルに格納された基底ベクトルを用いて前記第二特徴データを基底ベクトルで張られる空間に展開するとともに、前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴データの成分値を符号化して第二特徴符号データとすることができる。
【００２４】
この構成によれば、前述の画像情報圧縮方法と同様、画質のＳ／Ｎ比の劣化が少なく、かつ、高速な画像符号化が可能となる。加えて、誤差データは一次元のまま直交変換され、圧縮されるため、計算量が少なく、より高速な画像符号化が可能となる。
【００２５】
また、前記第二特徴情報を符号化するに際し、前記基底ベクトルで張られる空間内の前記第二特徴画像又は前記第二特徴データの成分値が所定の閾値以上となる基底ベクトルについてのみ、該基底ベクトルに対する前記第二特徴画像又は前記第二特徴データの成分値を符号化して第二特徴符号データとすることができる。
【００２６】
本発明では、原画像を一次元化するに際して擬似ヒルベルト走査を用いるため、原画像のコントラスト成分及びエッジ成分は、ほとんどが第一特徴符号データに取り込まれる。従って、基底ベクトルで張られる空間における各基底ベクトルに対する第二特徴画像の成分値のうち、成分値が所定の閾値以上となるようなもののみを残し、成分値の小さい残りのものは０とみなしても、視覚的に原画像を復元した際の画質の劣化は少ない。これは、人間が画像を認知する場合、輪郭部分や大局的な模様から画像の特徴を認知するため、コントラスト成分及びエッジ成分が十分に再現されていれば、細かいテクスチャについて多少再現性が悪くても、視覚的には画質の劣化は少ないと認識するためである。すなわち、この構成により、原画像を復元した際の視覚的な画質の劣化を抑えつつ、第二符号化手段による符号化において、符号化効率を向上させることができる。
【００２７】
ここで、「所定の閾値」は、符号化する画像の種類や目的等に合わせて自由に設定することが可能であり、閾値を大きく設定すれば符号化効率は向上する反面、符号化された画像のＳ／Ｎ比は低下する。
【００２８】
また、前記第二特徴情報を符号化するに際し、前記一次元原データと前記第一特徴データとの累積誤差に基づき、前記第二特徴画像又は前記第二特徴データを展開すべき前記基底ベクトルを決定し、前記決定された基底ベクトルに対して前記第二特徴画像又は前記第二特徴データを展開し、該基底ベクトルに対する前記第二特徴画像又は前記第二特徴データの成分値を符号化して第二特徴符号データとすることができる。
【００２９】
これにより、原画像のパターンに応じて、成分値が有意な値となる基底ベクトルで張られる空間の基底ベクトルの組を適切に設定し、該基底ベクトルの組に対してのみ成分値を計算し、他の基底ベクトルに対する成分値は０とみなすため、画質の符号化雑音を増加させることなく符号化効率を上げることができる。また、基底ベクトルで張られる空間内のすべての基底ベクトルについて第二特徴画像の成分値を計算する必要はないため、高速な符号化処理を行うことが可能となる。
【００３０】
ここで、「累積誤差」とは、各画素に対する一次元原データと第一特徴データと差分の絶対値や二乗値等を、全画素について加算した値をいう。また、「累積誤差に基づき」、基底ベクトルを決定する方法としては、例えば、あらかじめテストパターンを用いて累積誤差の大きさと各基底ベクトルに対する成分値との関係を求めておき、累積誤差の大きさに対して成分値が有意な大きさとなる基底ベクトルの組との対応関係を、判定テーブルに登録しておき、画像情報圧縮時には、累積誤差の大きさに応じて、判定テーブルを参照し、基底ベクトルを決定する方法が採られる。
【００３１】
また、前記第一特徴データは、所定の区間をおいて階段状に変化するステップ関数に従うデータ系列からなり、前記各区間における前記第一特徴データのデータ値は前記一次元原データの該区間内における平均値に等しく、かつ、前記データ系列は、前記一次元原データと前記第一特徴データとの全区間に渡る累積誤差が最小となるように前記各区間に分割されていることとすることができる。
【００３２】
この構成により、単純なステップ関数による近似であるため、近似計算処理のアルゴリズムが簡単であり、近似計算処理に要する計算量が少なく高速化が可能となる。また、一次元原データと第一特徴データとの累積誤差が最小となるように各区間に分割されたステップ関数で近似することにより、モスキート・ノイズのように、画像中の鋭いエッジ部分が平滑化され画像の輪郭部分が暈かされることがない。そのため、第一特徴符号データにおいて、画像中の輪郭部分が正確に保存され、第一特徴符号データから第一特徴画像を復元した際に、該第一特徴画像において画像の輪郭が明確であり、視覚的に画像の内容を的確に認知することが可能となる。
【００３３】
また、前記第一特徴データは、所定の区間をおいて階段状に変化するステップ関数に従うデータ系列からなり、前記各区間における前記第一特徴データのデータ値は前記一次元原データの該区間内における平均値に等しく、かつ、前記データ系列は、前記一次元原データと前記第一特徴データとの各区間内における累積誤差が所定の閾値以下となるように前記各区間に分割されていることとすることができる。
【００３４】
この構成により、単純なステップ関数による近似であるため、近似計算処理のアルゴリズムが簡単であり、近似計算処理に要する計算量が少なく高速化が可能である。また、近似計算処理を一次元原データの先頭から逐次的に処理することにより区間分割を行うことが可能であり、近似計算処理に要するメモリ量が少なく、計算量も少なく、高速化が可能である。更に、各区間における一次元原データと第一特徴データとの累積誤差が閾値以下となるように各区間に分割されたステップ関数で近似することにより、画像中の鋭いエッジ部分が平滑化され画像の輪郭部分が暈かされることがない。そのため、第一特徴符号データにおいて、画像中の輪郭部分が保存され、第一特徴符号データから第一特徴画像を復元した際に、該第一特徴画像において画像の輪郭が明確であり、視覚的に画像の内容を的確に認知することが可能となる。
【００３５】
【発明の実施の形態】
以下に本発明の一実施の形態について、図面を参照しながら説明する。
【００３６】
（実施の形態１）
図１は本発明の実施の形態１に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【００３７】
図１において、１は画像圧縮装置、２は画像復元装置である。
【００３８】
画像圧縮装置１は、画像入力部３、フレームメモリ４、擬似ヒルベルト走査手段５、第一特徴情報抽出手段６、第一符号化手段７、第二特徴情報抽出手段８、及び第二符号化手段９を備えている。画像入力部３は、装置外部から二次元又は三次元の原画像を入力する機能を有し、具体的には、スキャナやビデオカメラなどの画像入力装置等で構成される。フレームメモリ４は、画像入力部３に入力された原画像を一時的に格納する。擬似ヒルベルト走査手段５は、擬似ヒルベルト走査によりフレームメモリ４に格納された原画像を一次元原データに変換する。第一特徴情報抽出手段６は、一次元原データを所定の関数で近似することにより第一特徴データを生成するとともに、累積誤差を累積誤差メモリ１０に格納する。第一符号化手段７は、第一特徴データをエントロピ符号化により情報圧縮することにより、第一特徴符号データを生成する。
【００３９】
第二特徴情報抽出手段８は、累積誤差メモリ１０、第二特徴データ生成手段１１、第二特徴画像復元手段１２、判定手段１３、判定テーブル１４、基底ベクトル記憶手段１５、及び直交変換手段１６により構成される。累積誤差メモリ１０は、一次元原データと第一特徴データとの累積二乗誤差を格納する。第二特徴データ生成手段１１は、一次元原データと第一特徴データとの差分を計算することにより一次元の第二特徴データを生成する。第二特徴画像復元手段１２は、一次元の第二特徴データを擬似ヒルベルト走査により二次元又は三次元の第二特徴画像に復元する。判定手段１３は、累積誤差メモリ１０に格納された累積二乗誤差に基づき、判定テーブル１４を参照して、直交変換手段が内積を計算すべき基底ベクトルの組を決定する。判定テーブル１４には、累積二乗誤差の大きさに対応して、成分値が有意な大きさとなる基底ベクトルの組との対応関係を表す一覧表が格納されている。この対応関係は、あらかじめ、テストパターンを用いて累積誤差の大きさと各基底ベクトルに対する成分値との関係を求めることによって、累積二乗誤差の大きさに対して必要とされる基底ベクトルの組を割り出し、登録しておく。
【００４０】
基底ベクトル記憶手段１５は、第二特徴画像を直交変換する際の基底ベクトルの集合からなる基底ベクトルテーブルを格納する。ここで、あらかじめ複数のテストパターン画像を用いて、第二特徴情報を基底ベクトルで張られる空間に展開するに際して、平均的にもっとも有効ないくつかの基底成分を特定し、第二特徴画像をそれらの基底成分に展開するための基底ベクトルを求め、これらの基底ベクトルを基底ベクトルテーブルに格納しておく。直交変換手段１６は、基底ベクトル記憶手段１５に格納された各基底ベクトルと第二特徴画像との内積を計算する。
【００４１】
第二符号化手段９は、内積の組を符号化して第二特徴符号データを生成する機能を有し、量子化部１７、及びエントロピ符号化部１８からなる。
【００４２】
一方、画像復元装置２は、第一復号化手段１９、第一特徴画像復元手段２０、第二復号化手段２１、第二特徴画像復元手段２２、原画像復元手段２３、画像メモリ２４、及び出力手段２５を備えている。
【００４３】
第一復号化手段１９は、第一特徴符号データを復号し第一特徴データを復元する。第一特徴画像復元手段２０は、第一特徴データを擬似ヒルベルト走査により二次元又は三次元の第一特徴画像に復元する。第二復号化手段２１は、第二特徴符号データを復号し内積の組及び基底ベクトルを復元する。第二特徴画像復元手段２２は、内積の組に基底ベクトルの逆行列を作用させることにより二次元又は三次元の第二特徴画像を復元する。原画像復元手段２３は、第一特徴画像に第二特徴画像を加えて原画像を復元する。画像メモリ２４は、復元された原画像を格納する。出力手段２５は、復元された画像を出力する装置であり、ディスプレイ、プリンタ、ファクシミリ等で構成される。
【００４４】
以上のように構成された本実施の形態における画像情報圧縮装置において、以下その画像情報圧縮方法について説明する。
【００４５】
図２は本発明の実施の形態１に係る画像情報圧縮方法を表すフローチャートである。
【００４６】
まず、画像入力部３から原画像Ｇ０が入力されると、原画像Ｇ０はフレームメモリ４に格納される（Ｓ１）。この場合、入力された原画像が静止画像であれば、原画像Ｇ０は二次元の原画像として格納され、動画像であれば、原画像Ｇ０は二次元の画像フレームが時間軸方向に何枚も重なった三次元の原画像として格納される。
【００４７】
次に、擬似ヒルベルト走査手段５は、フレームメモリ４に格納された原画像Ｇ０について擬似ヒルベルト走査を行うことにより一次元原データＧ１＝｛ｇｉ：ｉ＝１，２，３，・・・，Ｓ｝に変換する（Ｓ２）。ここで、Ｓは原画像Ｇ０に含まれる全画素数を表す。
【００４８】
尚、この擬似ヒルベルト走査により一次元に変換された一次元原データＧ１は、原画像Ｇ０をラスタ走査やジグザグ走査により一次元原データに変換したものに比べて、スペクトルの高周波成分がきわめて少ないという特性を有する。図３は、ある同一の画像をラスタ走査により一次元化した一次元原データと擬似ヒルベルト走査により一次元化した一次元原データとのパワースペクトルを比較した図であり、（ａ）は、ラスタ走査により一次元化した一次元原データのパワースペクトルであり、（ｂ）は、擬似ヒルベルト走査により一次元化した一次元原データのパワースペクトルである。ラスタ走査の場合、画像の右端まで走査すると、再び画像の左端に戻って走査をするという動作を繰り返すことによって画像を一次元化するため、一次元原データは画像の幅分の周期を有する。また、画像右端から画像左端に移る際に、画素値に急激な変化が生じるため、高周波成分が生じ、パワースペクトルは、かなり高周波の帯域に渡って広がる。一方、擬似ヒルベルト走査では、空間充填曲線の一種である擬似ヒルベルト曲線に沿って、画像のブロックごとに走査が行われる。一般に画像はブロック内における画素値の相関が大きく、ブロック内においては画素値の変化は平均的に緩やかであるという特性がある。従って、擬似ヒルベルト走査により得られる一次元原データのパワースペクトルは低周波領域に集中し、一般によく用いられているラスタ走査に比べて高周波成分はきわめて小さい。すなわち、擬似ヒルベルト走査により一次元化した一次元原データは、急激に変化する成分は少なく、緩やかに変化する成分が多い。このことは、当該一次元原データを適当な冗長性の大きい関数で近似した場合でも、誤差を小さくすることが可能であることを意味する。従って、近似関数として、画像の特定の特徴を抽出するのに適した関数を選択することによって、画像の特定の特徴成分のみを、きわめて効率よく分離することが可能となる。
【００４９】
次に、第一特徴情報抽出手段６は、所定の区間おきに階段状に変化するステップ関数により、一次元原データＧ１を近似した第一特徴データＧ１’＝｛ｃ １ ，・・・，ｃｋ：ｋ＝１，・・・，Ｍ｝に変換する（Ｓ３）。ここで、連続するｃｋの個数をｌｋとすれば、
【数１】
【数２】
【数３】
【００５０】
具体的には、次のような逐次処理により区間分割を行う。
【００５１】
［１］一次元原データＧ１＝｛ｇｉ：ｉ＝１，２，３，・・・，Ｓ｝のある画素ｐｋからＮ−１番目の画素までのＮ個の画素値の平均ｃｋ（Ｎ）を式（数２）と同様に計算し、［２］このｃｋ（Ｎ）に対して、累積二乗誤差ｅ（ｐｋ，Ｎ）を式（数３）と同様に計算する。このとき、累積二乗誤差ｅ（ｐｋ，Ｎ）が閾値Γ以下の場合、Ｎを１だけインクリメントし、［１］に戻り同様の処理を繰り返す。累積二乗誤差ｅ（ｐｋ，Ｎ）が閾値Γより大きい場合、この区間ｋの長さはｌｋ＝Ｎ−１として、第一特徴データＧ１’の区間ｋの値｛ｇｉ’：ｉ＝ｐｋ，ｐｋ＋１，・・・，ｐｋ＋ｌｋ−１｝をｃｋ（Ｎ−１）とし、累積二乗誤差ｅ（ｐｋ，ｌｋ）を累積誤差メモリ１０に格納する（Ｓ３）。そして、ｋを１だけインクリメントし、次の区間について、［１］に戻り同様の処理を行う。
【００５２】
このようにして得られた一次元原データＧ１と第一特徴データＧ１’との関係は、図４に示すようになる。
【００５３】
図４（ａ）の破線は一次元原データであり、実線は第一特徴データである。また、図４（ｂ）は第一特徴データであり、図４（ａ）よりも縦軸のスケールを拡大して示されている。図４において、第一特徴データは、一次元原データ（原画像）のエッジ部分（図４のＡ，Ｂ，Ｃの部分等）においては、ステップ状に急激に変化し、エッジ以外の部分においては、一次元原データを平均化し、なだらかに変化するため、原画像のエッジ及びコントラストをよく保存するとともに、エッジ及びコントラスト以外のテクスチャ成分は除去されることが分かる。
【００５４】
尚、第一特徴情報を抽出するための他の方法として、第一特徴情報抽出手段６は、各区間ｋにおける第一特徴データＧ１’の値｛ｇｉ’：ｉ＝ｐｋ，ｐｋ＋１，・・・，ｐｋ＋ｌｋ−１｝が一次元原データの該区間内における平均値ｃｋであり、かつ、全区間｛ｋ：ｋ＝１，２，・・・，Ｍ｝における一次元原データＧ１と第一特徴データＧ１’との累積誤差
【数４】
【００５５】
このようにして生成された第一特徴データＧ１’は、一次元原データＧ１に比べて冗長性が増加しているため、高い符号化効率で圧縮することができる。第一符号化手段７は、第一特徴データＧ１’をエントロピ符号化し（Ｓ４）、これを第一特徴符号データとして出力する（Ｓ５）。尚、この第一特徴符号データには、イメージ開始符号（ＳＯＦ）、第一符号化手段において符号化に使用した定義パラメータ群（ＤＰ）、イメージ終了符号（ＥＯＩ）等のマーカ・コードも付加される。第一特徴符号データを復元する際に必要となるからである。
【００５６】
一方、第二特徴データ生成手段１１は、一次元原データＧ１と第一特徴データＧ１’との差分である一次元の第二特徴データＧ２’＝｛ｆｉ＝ｇｉ−ｇｉ’：ｉ＝１，２，・・・，Ｓ｝を生成し（Ｓ６）、第二特徴画像復元手段１２は、一次元の第二特徴データＧ２’を擬似ヒルベルト走査により二次元又は三次元の第二特徴画像Ｇ２に復元する（Ｓ７）。次に、直交変換手段１６は、第二特徴画像Ｇ２をＭ０行×Ｎ０列の部分第二特徴画像｛ｆｐ，ｑ（ｉ，ｊ）：ｐ＝１，・・・，Ｌ，ｑ＝１，・・・，Ｃ，ｉ＝１，２，・・・，Ｍ０，ｊ＝１，２，・・・，Ｎ０｝に分割する（Ｓ８）。ここで、ｐは第二特徴画像Ｇ２内の行方向の部分第二特徴画像の位置を表す添字であり、ｑは第二特徴画像Ｇ２内の列方向の部分第二特徴画像の位置を表す添字であり、ｉは部分第二特徴画像ｆｐ，ｑ内の行方向の画素の位置を表す添字であり、ｊは部分第二特徴画像ｆｐ，ｑ内の列方向の画素の位置を表す添字である。第二特徴画像Ｇ２は、二次元の場合には、行方向にＬ分割、列方向にＣ分割されているものとする。また、第二特徴画像Ｇ２が三次元の場合には、第二特徴画像Ｇ２を時間座標ｔが等しい画像フレームごとに二次元画像Ｇ２（ｔ）に分割し、各画像フレームＧ２（ｔ）について、行方向にＬ分割、列方向にＣ分割されているものとする。尚、通常は、部分第二特徴画像｛ｆｐ，ｑ（ｉ，ｊ）｝のサイズはＭ０＝８画素，Ｎ０＝８画素とされる。
【００５７】
次に、直交変換手段１６は、基底ベクトル記憶手段１５に格納された基底ベクトルテーブルから、基底ベクトル｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，Ｍ０×Ｎ０｝を取得し、各基底ベクトルａｋ（ｉ，ｊ）と部分第二特徴画像ｆｐ，ｑ（ｉ，ｊ）との内積ｂｐ，ｑ，ｋを計算する（Ｓ９）。これにより、部分第二特徴画像ｆｐ，ｑ（ｉ，ｊ）は基底ベクトル｛ａｋ（ｉ，ｊ）｝により特徴づけられる基底ベクトルで張られる空間に展開される。ここで、基底ベクトル｛ａｋ（ｉ，ｊ）｝は、部分第二特徴画像｛ｆｐ，ｑ（ｉ，ｊ）｝を直交変換する場合の基底ベクトルであり、直交変換としては、ＫＬ変換、ＤＣＴ、ＤＳＴ等が使用される。また、内積ｂｐ，ｑ，ｋは、
【数５】
【００５８】
この際、直交変換手段１６は、すべての基底ベクトルａｋ（ｉ，ｊ）に関する内積は計算せず、部分第二特徴画像ｆｐ，ｑ（ｉ，ｊ）の固有成分が有意な値となる基底ベクトルａｋ（ｉ，ｊ）についてのみ内積を出力する。基底ベクトル｛ａｋ（ｉ，ｊ）｝は、複数のテストパターンを用いて、部分第二特徴画像ｆｐ，ｑ（ｉ，ｊ）の直交変換におけるもっとも有効な基底成分に対応する固有ベクトルの組｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，ｍ，ｍ＜Ｍ０×Ｎ０｝をあらかじめ定めておき、この固有ベクトルの組｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，ｍ｝を基底ベクトルとして基底ベクトル記憶手段１５に格納しておく。この際、部分第二特徴画像ｆｐ，ｑ（ｉ，ｊ）のパターンを的確に表現できる基底成分順に、ａ１（ｉ，ｊ），ａ２（ｉ，ｊ），・・・，ａｍ（ｉ，ｊ）のように基底ベクトルを配列しておく。判定手段１３は、累積誤差メモリ１０に格納された累積誤差｛ｅ（ｐｋ，ｌｋ）：ｋ＝１，２，・・・，Ｍ｝の値に基づき、判定テーブルを参照することにより、内積計算に用いる基底ベクトルの組の数ｍを決定する。そして、直交変換手段１６は、判定手段１３が判定した数の基底ベクトルの組｛ａ１（ｉ，ｊ），ａ２（ｉ，ｊ），・・・，ａｍ（ｉ，ｊ）｝についてのみ固有値を計算して出力し、他の固有値については０を出力する。このようにすることで、直交変換手段１６は必ずしもＭ０×Ｎ０回の内積演算をする必要はなく、有効な特徴軸に対してｍ回の内積演算をすればよいため、計算量が低減され、情報圧縮処理の高速化が可能となる。
【００５９】
尚、情報圧縮処理の高速性があまり要求されない場合には、直交変換手段１６は、すべての基底ベクトルの組｛ａｋ（ｉ，ｊ）｝について内積演算を行い、内積が所定の閾値β以上のもののみ出力し、それ以外のものについては０を出力するようにしてもよい。
【００６０】
このように、本実施の形態においては、基底ベクトル｛ａｋ（ｉ，ｊ）｝については、部分第二特徴画像ごとに計算せずあらかじめ基底ベクトル記憶手段１５に記憶された基底ベクトルの組｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，ｍ｝を用いるため、画像情報圧縮処理時における固有値・基底ベクトルの演算時間は考慮する必要はない。従って、直交変換のうちもっとも部分第二特徴画像ｆｐ，ｑ（ｉ，ｊ）のパターンを的確に表現できるＫＬ変換により、あらかじめ複数のテストパターンを用いて最適な基底ベクトルの組｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，ｍ｝を決めておき、直交変換手段１６は、この基底ベクトルの組｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，ｍ｝を用いて内積を計算するようにすることが可能である。ＫＬ変換を使用することによって、従来のＤＣＴによる場合に比べ符号化効率を上げることが可能である。
【００６１】
直交変換手段１６により内積の組｛ｂｐ，ｑ，ｋ｝が出力されると、第二符号化手段９はこの内積の組｛ｂｐ，ｑ，ｋ｝を符号化し（Ｓ１０）、第二特徴符号データとして出力する（Ｓ１１）。ここで、符号化は、量子化部１７より量子化された後、エントロピ符号化部１８によりエントロピ符号化が行われ、情報圧縮が行われる。尚、第二特徴符号データには、イメージ開始符号（ＳＯＦ）、第一符号化手段において符号化に使用した定義パラメータ群（ＤＰ）、イメージ終了符号（ＥＯＩ）等のマーカ・コードも含まれる。また、定義パラメータ群には、直交変換に用いた基底ベクトルの組｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，ｍ｝も付加される。第二特徴符号データを復号する際に必要とされるからである。
【００６２】
このように、部分第二特徴画像を直交変換し特徴軸に対する内積のみを符号化して第二特徴符号データとするため、高い符号化効率を得ることができる。
【００６３】
次に、第一特徴符号データ及び第二特徴符号データから原画像を復元する方法について説明する。
【００６４】
図５は実施の形態１における画像情報圧縮方法により符号化された階層データから原画像を復元する方法を表すフローチャートである。
【００６５】
まず、第一復号化手段１９は、第一符号化手段７から伝送される第一特徴符号データを受信すると（Ｓ２０）、第一特徴符号データに含まれる符号化された画像を復号し、第一特徴データＧ１’を復元する（Ｓ２１）。第一特徴画像復元手段２０は、第一特徴データＧ１’を擬似ヒルベルト走査により二次元又は三次元空間に充填することにより、二次元又は三次元の第一特徴画像Ｇ０’を復元する（Ｓ２２）。
【００６６】
一方、第二復号化手段２１は、第二符号化手段９から伝送される第二特徴符号データを受信すると（Ｓ２３）、第二特徴符号データに含まれる符号化された画像を復号し、内積の組｛ｂｐ，ｑ，ｋ｝を復元する（Ｓ２４）。また、このとき、第二特徴符号データに含まれる定義パラメータ群から直交変換に用いた基底ベクトルの組｛ａｋ（ｉ，ｊ）：ｋ＝１，・・・，ｍ｝を取得する。次いで、第二特徴画像復元手段２２は、部分第二特徴画像｛ｆｐ，ｑ’（ｉ，ｊ）｝を復元し、復元した部分第二特徴画像｛ｆｐ，ｑ’（ｉ，ｊ）｝から第二特徴画像Ｇ２ ”を復元する（Ｓ２５）。
【００６７】
ここで、内積の組｛ｂｐ，ｑ，ｋ｝は式（５）で表されるため、部分第二特徴画像｛ｆ ｐ，ｑ （ｉ，ｊ）｝は次のような演算を行うことで復元される。
【数６】
【００６８】
尚、内積の組｛ｂｐ，ｑ，ｋ｝の非有効成分は、０で近似されているため、復元された第二特徴画像Ｇ２ ”は、もとの第二特徴画像Ｇ２とは完全には一致しないが、よい近似を与える。
【００６９】
原画像復元手段２３は、第一特徴画像Ｇ０’と復元された第二特徴画像Ｇ２ ”とを加えることにより、原画像Ｇ０”を復元する（Ｓ２６）。復元された原画像Ｇ０”は画像メモリ２４に格納され、ディスプレイ等の出力手段２５に出力される（Ｓ２７）。
【００７０】
このように、特徴分離符号化された原画像データを復号し、復元画像を生成する場合、簡単な行列計算により高速に復元することができる。
【００７１】
（実施の形態２）
図６は本発明の実施の形態２に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【００７２】
図６において、１は画像圧縮装置、２は画像復元装置、３は画像入力部、４はフレームメモリ、５は擬似ヒルベルト走査手段、６は第一特徴情報抽出手段、７は第一符号化手段、９は第二符号化手段、１０は累積誤差メモリ、１３は判定手段、１４は判定テーブル、１５は基底ベクトル記憶手段、１６は直交変換手段、１７は量子化部、１８はエントロピ符号化部、１９は第一復号化手段、２０は第一特徴画像復元手段、２１は第二復号化手段、２２は第二特徴画像復元手段、２３は原画像復元手段、２４は画像メモリ、２５は出力手段であり、これらは図１と同様であるため、同符号を付して説明は省略する。
【００７３】
本実施の形態においては、第二特徴情報抽出手段３０は、第一特徴画像復元手段３１及び第二特徴画像生成手段３２を有することを特徴とする。第一特徴情報抽出手段６が第一特徴データＧ１’を生成すると、第一特徴画像復元手段３１は、第一特徴データＧ１’を擬似ヒルベルト走査により二次元又は三次元の空間に充填し、第一特徴画像Ｇ０’に復元する。第二特徴画像生成手段３２は、原画像Ｇ０と第一特徴画像Ｇ０’との差分を計算し、第二特徴画像Ｇ２＝Ｇ０−Ｇ０’を生成する。こうして得られた第二特徴画像Ｇ２を、直交変換手段１６及び第二符号化手段９により圧縮、符号化するように構成したものである。
【００７４】
（実施の形態３）
図７は本発明の実施の形態３に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【００７５】
図７において、１は画像圧縮装置、２は画像復元装置、３は画像入力部、４はフレームメモリ、５は擬似ヒルベルト走査手段、６は第一特徴情報抽出手段、７は第一符号化手段、９は第二符号化手段、１０は累積誤差メモリ、１１は第二特徴データ生成手段、１３は判定手段、１４は判定テーブル、１５は基底ベクトル記憶手段、１７は量子化部、１８はエントロピ符号化部、１９は第一復号化手段、２１は第二復号化手段、２４は画像メモリ、２５は出力手段であり、これらは図１と同様であるため、同符号を付して説明は省略する。
【００７６】
本実施の形態においては、第二特徴情報抽出手段３３は、基底ベクトルで張られる空間内の所定の基底ベクトルに対する第二特徴データの成分値を符号化して第二特徴符号データとする直交変換手段３４を有していることを特徴とする。また、画像復元装置２は、第二特徴データ復元手段３５，一次元原データ復元手段３６、及び原画像復元手段３７を有している。
【００７７】
以下、本実施の形態の画像情報圧縮方法について、図８のフローチャートを参照しながら説明する。
【００７８】
図８は本発明の実施の形態３に係る画像情報圧縮方法を表すフローチャートである。
【００７９】
図８において、Ｓ３１〜Ｓ３６はそれぞれ図２のＳ１〜Ｓ６の動作と同様であるため、説明は省略する。
【００８０】
本実施の形態においては、第二特徴データ生成手段１１が一次元の第二特徴データＧ２’＝｛ｆｉ＝ｇｉ−ｇｉ’：ｉ＝１，２，・・・，Ｓ｝を生成すると（Ｓ３６）、直交変換手段３４は、一次元の第二特徴データＧ２’をＭ０個のデータ系列からなるＮ０組の部分一次元第二特徴データ｛ｆｐ（ｉ）：ｉ＝１，・・・，Ｍ０，ｐ＝１，・・・，Ｎ０｝に分割する（Ｓ３７）。ここで、一般には、Ｍ０の値としては６４画素が用いられる。また、基底ベクトル記憶手段１５には、一次元の第二特徴データを直交変換する際の基底ベクトルの集合からなる基底ベクトルテーブルが格納されている。直交変換手段３４は、基底ベクトル記憶手段１５に格納された基底ベクトルテーブルから、基底ベクトル｛ａｋ（ｉ）：ｋ＝１，・・・，Ｍ０｝を取得し、各基底ベクトルａｋ（ｉ，ｊ）と部分一次元第二特徴データｆｐ（ｉ）との内積ｂｐ，ｋを計算する（Ｓ３８）。すなわち、本実施の形態においては内積ｂｐ，ｋは、
【数７】
【００８１】
この際、直交変換手段３４は、すべての基底ベクトルａｋ（ｉ）に関する内積は出力せず、部分一次元第二特徴データｆｐ（ｉ）の固有成分が有意な値となる基底ベクトルａｋ（ｉ）についてのみ内積を出力する。基底ベクトル｛ａｋ（ｉ）｝は、複数のテストパターンを用いて、部分一次元第二特徴データｆｐ（ｉ）の直交変換におけるもっとも有効な特徴軸に対応する基底ベクトルの組｛ａｋ（ｉ）：ｋ＝１，・・・，ｍ，ｍ＜Ｍ０｝をあらかじめ定めておき、この基底ベクトルの組｛ａｋ（ｉ）：ｋ＝１，・・・，ｍ｝を基底ベクトル記憶手段１５に格納しておく。この際、部分一次元第二特徴データｆｐ（ｉ）のパターンを的確に表現できる軸順に、ａ１（ｉ），ａ２（ｉ），・・・，ａｍ（ｉ）のように基底ベクトルを配列しておく。判定手段１３は、累積誤差メモリ１０に格納された累積二乗誤差｛ｅ（ｐｋ，ｌｋ）：ｋ＝１，２，・・・，Ｍ｝の値を参照することにより、内積計算に用いる基底ベクトルの組の数ｍを決定する。直交変換手段３４は、判定手段１３が判定した数の基底ベクトルの組｛ａ１（ｉ），ａ２（ｉ），・・・，ａｍ（ｉ）｝についてのみ内積値を計算して出力し、他の基底ベクトルについては０を出力する。このようにすることで、直交変換手段３４は必ずしもＭ０回の内積演算をする必要はなく、有効な基底ベクトルに対してｍ回の内積演算をすればよいため、計算量が低減され、情報圧縮処理の高速化が可能となる。
【００８２】
さらに、本実施の形態においては、内積計算の前に二次元又は三次元の第二特徴画像を復元することなく、一次元の第二特徴データＧ２’のまま基底ベクトル｛ａｋ（ｉ）｝との内積を計算し、圧縮、符号化するため、計算量が少なく、特に高速性が要求される場合において適している。
【００８３】
直交変換手段３４により出力された内積の組｛ｂｐ，ｋ｝は、第二符号化手段９により量子化、エントロピ符号化され（Ｓ３９）、第二特徴符号データとして出力される（Ｓ４０）。
【００８４】
次に、第一特徴符号データ及び第二特徴符号データから原画像を復元する方法について説明する。
【００８５】
図９は実施の形態３における画像情報圧縮方法により符号化された階層データから原画像を復元する方法を表すフローチャートである。
【００８６】
まず、第一復号化手段１９は、第一符号化手段７から伝送される第一特徴符号データを受信すると（Ｓ４１）、第一特徴符号データに含まれる符号化された画像を復号し、第一特徴データＧ１’を復元する（Ｓ４２）。
【００８７】
一方、第二復号化手段２１は、第二符号化手段９から伝送される第二特徴符号データを受信すると（Ｓ４３）、第二特徴符号データに含まれる符号化された画像を復号し、内積の組｛ｂｐ，ｋ｝を復元する（Ｓ４４）。また、このとき、第二特徴符号データに含まれる定義パラメータ群から直交変換に用いた基底ベクトルの組｛ａｋ（ｉ）：ｋ＝１，・・・，ｍ｝を取得する。次いで、一次元の第二特徴データ復元手段３５は、部分一次元第二特徴データ｛ｆｐ’（ｉ）｝を復元し、復元した部分一次元第二特徴データ｛ｆｐ’（ｉ）｝から一次元の第二特徴データＧ３’を復元する（Ｓ４５）。
【００８８】
ここで、内積の組｛ｂｐ，ｋ｝は式（７）で表されるため、部分一次元第二特徴データ｛ｆｐ’（ｉ）｝は次のような演算を行うことで復元される。
【数８】
【００８９】
尚、内積の組｛ｂｐ，ｋ｝の非有効成分は、０で近似されているため、復元された一次元の第二特徴データＧ３’は、もとの一次元の第二特徴データＧ３とは完全には一致しないが、よい近似を与える。
【００９０】
一次元原データ復元手段３６は、第一特徴データＧ１’と復元された一次元の第二特徴データＧ３’とを加えることにより、一次元原データＧ１”を復元し（Ｓ４６）、原画像復元手段３７は、一次元原データＧ１”を擬似ヒルベルト走査により二次元又は三次元空間に充填することにより、二次元又は三次元の原画像Ｇ０”を復元する（Ｓ４７）。復元された原画像Ｇ０”は画像メモリ２４に格納され、ディスプレイ等の出力手段２５に出力される（Ｓ４８）。
【００９１】
（実施の形態４）
図１０は本発明の実施の形態４に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【００９２】
図１０において、１は画像圧縮装置、２は画像復元装置、３は画像入力部、４はフレームメモリ、５は擬似ヒルベルト走査手段、７は第一符号化手段、８は第二特徴情報抽出手段、９は第二符号化手段、１０は累積誤差メモリ、１１は第二特徴データ生成手段、１２は第二特徴画像復元手段、１３は判定手段、１４は判定テーブル、１５は基底ベクトル記憶手段、１６は直交変換手段、１７は量子化部、１８はエントロピ符号化部、１９は第一復号化手段、２０は第一特徴画像復元手段、２１は第二復号化手段、２２は第二特徴画像復元手段、２４は画像メモリ、２５は出力手段であり、これらは図１と同様のものであるため、同符号を付して説明は省略する。
【００９３】
本実施の形態においては、画像入力部３から入力される原画像は、時間方向に連続する複数のフレーム系列から構成される動画像であるものとする。第一特徴情報抽出手段３８は、所定のフレームについては、一次元原データよりも冗長性の大きい所定の関数により一次元原データを近似して第一特徴データを生成することにより第一特徴情報を抽出するとともに、当該第一特徴データを第一特徴データ記憶手段３９に格納する。一方、それ以外のフレームについては、第一特徴データ記憶手段３９に格納された過去のフレームの第一特徴データを一次元原データから差し引いた第一差分データを生成し、第一差分データよりも冗長性の大きい所定の関数により第一差分データを近似して第一特徴データを生成することにより第一特徴情報を抽出する。
【００９４】
第一符号化手段７は、第一特徴データをエントロピ符号化することにより第一特徴符号データを生成するが、符号量判定手段４１は、この第一特徴符号データの符号量を計算し、符号量が所定の閾値を超えたか否かを判定する。
【００９５】
また、画像復元装置２は、原画像復元手段４２及び第一特徴画像記憶手段４３を有する。原画像復元手段４２は、第一特徴画像復元手段２０の生成する第一特徴画像と第二特徴画像復元手段２２の生成する第二特徴画像とを加えて復元画像を生成するが、該復元画像が復元された原画像である場合には、該復元画像を復元原画像として画像メモリ２４に出力するとともに、第一特徴画像を第一特徴画像記憶手段４３に格納する。一方、該復元画像が復元された原画像ではない場合には、原画像復元手段４２は、第一特徴画像記憶手段４３に格納された第一特徴画像と該復元画像とを加えて復元原画像とし、画像メモリ２４に出力する。
【００９６】
以上のように構成された本実施の形態の画像圧縮装置において、以下その画像圧縮方法について、図１１のフローチャートを参照しながら説明する。
【００９７】
図１１は本発明の実施の形態４に係る画像情報圧縮方法を表すフローチャートである。
【００９８】
まず、画像入力部３より複数のフレームからなる動画像が入力されると、フレームメモリ４に格納される（Ｓ５１）。ここでは、あるフレームの原画像Ｇｘ０がフレームメモリに格納されてものとする。ｘ（ｘ＝１，２，３，・・・）はフレームの番号を表す添字である。擬似ヒルベルト走査手段５は、原画像Ｇｘ０を、擬似ヒルベルト走査により一次元原データＧｘ１に変換する（Ｓ５２）。次に、第一特徴情報抽出手段３８は、内部変数として保有する更新フラグを参照する。ここで。「更新フラグ」とは、第一特徴データ記憶手段３９に格納されている第一特徴データの更新を行うか否かを判定するためのフラグであり、このフラグがＯＮ状態の場合には、第一特徴データ記憶手段３９に格納されている第一特徴データの更新を行う。
【００９９】
初期状態においては、更新フラグはＯＮ状態とされており、最初のフレーム（ｘ＝１のフレーム）については、第一特徴情報抽出手段３８は、所定の区間おきに階段状に変化するステップ関数により、一次元原データＧｘ１を近似した第一特徴データＧｘ１’に変換するとともに、累積二乗誤差ｅ（ｐｋ，ｌｋ）を累積誤差メモリ１０に格納する（Ｓ５４）。この際、第一特徴情報抽出手段３８は、第一特徴データＧｘ１’のステップ数ｎｓ、及びステップ間隔の平均値（平均ステップ間隔）ｄ＝Ｓ／ｎｓ（図４（ａ）参照）又はステップ密度ρ＝ｎｓ／Ｓについても計算する。ここで、Ｓは原画像Ｇ ｘ０ のサイズ（原画像Ｇ ｘ０ の全画素数）である。そして、第一特徴情報抽出手段３８は、第一特徴データＧ ｘ１ ’を第一特徴データ記憶手段３９に格納し、更新フラグをＯＦＦ状態にする（Ｓ５５）。尚、ステップＳ５４における第一特徴情報抽出手段３８の動作については、実施の形態１のステップＳ３の動作と同様であるため、詳細な説明は省略する。
【０１００】
次に、符号量判定手段４１は、平均ステップ間隔ｄが所定の閾値Γｄ以下又はステップ密度ρが所定の閾値Γρ以上の場合（Ｓ５６）、更新フラグをＯＮ状態とする（Ｓ５７）。これは、動画像のシーン・チェンジなどにより、画像の時間方向の相関がなくなった場合や、現在のフレーム画像と過去のフレーム画像との相関が低くなった場合において、第一特徴データ記憶手段３９に格納されている第一特徴データの更新を行うようにするための動作であり、詳細については後述する。
【０１０１】
一方、ステップＳ５６において、符号量判定手段４１は、平均ステップ間隔ｄが所定の閾値Γｄより大きいか又はステップ密度ρが所定の閾値Γρより小さい場合、更新フラグをＯＦＦ状態とする（Ｓ５８）。
【０１０２】
次に、第一符号化手段７は、第一特徴データＧｘ１’をエントロピ符号化により符号化し（Ｓ５９）、第一特徴符号データとして出力する（Ｓ６０）。この際、第一特徴符号データを復元可能とするため、一次元原データを符号化したものであることを示すマーカー符号を付加する。
【０１０３】
一方、第二特徴情報抽出手段８及び第二符号化手段９は、一次元原データＧｘ１から第一特徴データＧｘ１’を差し引いた残りの第二特徴データＧｘ２’について、符号化を行い、第二特徴符号データとして出力するが（Ｓ６１〜Ｓ６６）、この動作は、実施の形態１のステップＳ６〜Ｓ１１と同様であるため、ここでは説明は省略する。
【０１０４】
そして、全てのフレームについて画像情報圧縮処理が終了していない場合は（Ｓ６７）、ステップＳ５１に戻る。
【０１０５】
ステップＳ５３において、更新フラグがＯＦＦ状態の場合、第一特徴情報抽出手段３８は、第一特徴データ記憶手段３９に格納されている過去の第一特徴データＧｙ１’（ｙ＜ｘ）を取得し、一次元原データＧｘ１から過去の第一特徴データＧｙ１’を差し引いて、第一差分データＧｘ１”を生成する（Ｓ６８）。そして、第一特徴情報抽出手段３８は、所定の区間おきに階段状に変化するステップ関数により、この第一差分データＧｘ１”を近似した第一特徴データＧｘ１’に変換するとともに、累積二乗誤差ｅ（ｐｋ，ｌｋ）を累積誤差メモリ１０に格納する（Ｓ６９）。
【０１０６】
このように、直接一次元原データＧｘ１を符号化せず、一次元原データＧｘ１から過去の第一特徴データＧｙ１’を差し引いた第一差分データＧｘ１”を符号化することで、時間方向に変化の小さい第一特徴情報が差し引かれ、時間方向の冗長度除去が効果的に行われる。この結果、第一特徴情報に関し、高い符号化効率を得ることが可能となる。
【０１０７】
尚、時間が経過するに従って、時間方向のフレーム間の相関は低下する。これに伴い、第一差分データＧｘ１”において第一特徴情報の情報量が増加していくため、第一差分データＧｘ１”においてある程度第一特徴情報の情報量が増加した時点で第一特徴データ記憶手段３９に格納された過去の第一特徴データＧｙ１’（ｙ＜ｘ）を更新する必要が生じる。そこで、ステップＳ５６〜Ｓ５８において、符号量判定手段４１により平均ステップ間隔ｄ又はステップ密度ρを監視し、平均ステップ間隔ｄが所定の閾値Γｄ以下又はステップ密度ρが所定の閾値Γρ以上となったときに、時間方向のフレーム間の相関が低下したものと判断し、更新フラグをＯＮ状態として、第一特徴データ記憶手段３９に格納された過去の第一特徴データＧｙ１’（ｙ＜ｘ）を更新することとしたものである。これにより、第一特徴情報の符号化において、時間方向の冗長度除去を効果的に行うことができるようになる。
【０１０８】
また、本実施の形態においては、現在のフレームの原画像Ｇ０が過去のフレームの原画像と相関があるか否かの判定は、符号量判定手段４１が平均ステップ間隔ｄ又はステップ密度ρと閾値Γｄ又はΓρとを比較することにより行い、更新フラグを切り替えることとしたが（Ｓ５６〜Ｓ５８）、現在のフレームの原画像Ｇ０が過去のフレームの原画像と相関があるか否かの判定はこの方法に限られるものではない。例えば、第一特徴データＧｘ１’の符号量Ｑが閾値ΓＱを超えたか否かにより当該判定を行うことも可能である。すなわち、ステップＳ５６〜Ｓ５８の代わりに、ステップＳ６０の後に、符号量判定手段４１が、第一特徴データＧｘ１’の符号量Ｑを計算し、符号量Ｑが閾値ΓＱを超えたか否かを判定し、符号量Ｑが所定の閾値ΓＱを超えた場合には、更新フラグをＯＮ状態とするように構成することも可能である。
【０１０９】
また、ステップＳ５７において、符号量判定手段４１は、まず、現在の更新フラグがＯＮ状態かＯＦＦ状態かを判定し、ＯＦＦ状態の場合は、単に更新フラグをＯＮ状態とする一方、ＯＮ状態の場合、第一特徴情報抽出手段３８にステップＳ５４及びＳ５５の動作を行わせた後、更新フラグをＯＮ状態とするように構成してもよい。すなわち、Ｓ６９において第一差分データＧｘ１”を近似して第一特徴データＧｘ１’を生成した結果、その第一特徴データＧｘ１’の平均ステップ間隔ｄが所定の閾値Γｄ以下又はステップ密度ρが所定の閾値Γρ以上の場合、現在のフレームの原画像Ｇ０と第一特徴データ記憶手段３９に格納された過去のフレームの原画像との相関は小さいため、第一差分データＧｘ１”を近似して第一特徴データＧｘ１’を生成したのでは、符号化効率が低下することになる。そこで、かかる場合、再度、一次元原データＧｘ１を近似して第一特徴データＧｘ１’を生成しなおすように構成してもよい。
【０１１０】
次に、第一特徴符号データ及び第二特徴符号データから原画像を復元する方法について説明する。
【０１１１】
図１２は実施の形態４における画像情報圧縮方法により符号化された階層データから原画像を復元する方法を表すフローチャートである。
【０１１２】
図１２において、ステップＳ７１〜Ｓ７７までの動作については、実施の形態１の図５におけるステップＳ２０〜Ｓ２６と同様であるため、ここでは説明を省略する。
【０１１３】
ステップＳ７７において、原画像復元手段４２は、復元された第一特徴画像Ｇｘ０’と復元された第二特徴画像Ｇｘ２ ”とを加算して、復元画像Ｇｘ３を生成する。この復元画像Ｇｘ３は、実施の形態１の場合と異なり、時間方向の冗長度除去処理がされているため、復元に当たっては、この除去された冗長度を伸長する必要がある。
【０１１４】
そこで、原画像復元手段４２は、第一特徴符号データに一次元原データであることのマーカが付加されているか否かを調べ、該マーカが付加されている場合（Ｓ７８）、復元画像Ｇｘ３を復元原画像Ｇｘ０”として画像メモリ２４に格納するとともに（Ｓ７９）、復元された第一特徴画像Ｇｘ０’を第一特徴画像記憶手段４３に格納する（Ｓ８０）。尚、画像メモリ２４に格納された復元原画像Ｇｘ０”は、ディスプレイ等の出力手段２５に出力される。
【０１１５】
一方、第一特徴符号データに一次元原データであることのマーカが付加されていない場合（Ｓ７８）、原画像復元手段４２は、第一特徴画像記憶手段４３より、復元された過去の第一特徴画像Ｇ ｙ０ ’（ｙ＜ｘ）を取得し（Ｓ８２）、この第一特徴画像Ｇ ｙ０ ’と復元画像Ｇｘ３とを加えて復元原画像Ｇｘ０”を生成し、画像メモリ２４に格納する。画像メモリ２４に格納された復元原画像Ｇｘ０”は、ディスプレイ等の出力手段２５に出力される。
【０１１６】
そして、これらの処理は、全てのフレームの処理が終了するまで繰り返される（Ｓ８１）。
【０１１７】
このように、特徴分離符号化された原画像データを復号し、復元画像を生成する場合、簡単な行列計算により高速に復元することができる。
【０１１８】
尚、上記各実施の形態の画像情報圧縮装置については、プログラムをコンピュータで実行させることにより、各実施の形態の画像情報圧縮装置を実現するように構成することも可能である。さらに、当該プログラムを記録媒体に記録しておき、記録媒体に記録されたプログラムをコンピュータに読み込ませて実行させることにより、上記各実施の形態の画像情報圧縮装置を実現するように構成してもよい。
【０１１９】
【発明の効果】
以上のように、本発明によれば、二次元又は三次元原画像を一次元原データに変換するに際して、擬似ヒルベルト走査を用いることにより、走査方向に沿った画素データの相関性が大きく、そのため、第一特徴データにより近似した場合、画像に含まれるコントラスト成分及びエッジ成分をテクスチャ成分から効果的に分離することができる。
【０１２０】
そのため、第二特徴画像を基底ベクトルで張られる空間に写像した場合の有効な特徴軸（基底成分）の画像パターン依存性が小さく、圧縮画像ごとに基底ベクトルを計算しなくても、テストパターンを用いてあらかじめ基底ベクトルを計算しておき、これを基底ベクトルテーブルに登録し、参照して用いることができる。
【０１２１】
また、基底ベクトルで張られる空間における各座標軸に対する第二特徴画像の座標値は、いくつかの基底ベクトルに対する固有値のみが有意な値をもち、その他の固有値は略０になるため、いくつかの有意な値を持つ基底ベクトルのみを残してあとは０で近似することで、第二特徴画像を圧縮できる。
【０１２２】
これにより、画像情報圧縮方式において、高速で符号化効率の高い画像圧縮方式を提供することが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【図２】 本発明の実施の形態１に係る画像情報圧縮方法を表すフローチャートである。
【図３】 ある同一の画像をラスタ走査により一次元化した一次元原データと擬似ヒルベルト走査により一次元化した一次元原データとのパワースペクトルを比較した図である。
【図４】 一次元原データＧ１と第一特徴データＧ１’との関係を表す図である。
【図５】 実施の形態１における画像情報圧縮方法により符号化された階層データから原画像を復元する方法を表すフローチャートである。
【図６】 本発明の実施の形態２に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【図７】 本発明の実施の形態３に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【図８】 本発明の実施の形態３に係る画像情報圧縮方法を表すフローチャートである。
【図９】 実施の形態３における画像情報圧縮方法により符号化された階層データから原画像を復元する方法を表すフローチャートである。
【図１０】 本発明の実施の形態４に係る画像情報圧縮装置及び画像復元装置のブロック図である。
【図１１】 本発明の実施の形態４に係る画像情報圧縮方法を表すフローチャートである。
【図１２】 実施の形態４における画像情報圧縮方法により符号化された階層データから原画像を復元する方法を表すフローチャートである。
【符号の説明】
１ 画像圧縮装置
２ 画像復元装置
３ 画像入力部
４ フレームメモリ
５ 擬似ヒルベルト走査手段
６ 第一特徴情報抽出手段
７ 第一符号化手段
８ 第二特徴情報抽出手段
９ 第二符号化手段
１０ 累積誤差メモリ
１１ 第二特徴データ生成手段
１２ 第二特徴画像復元手段
１３ 判定手段
１４ 判定テーブル
１５ 基底ベクトル記憶手段
１６ 直交変換手段
１７ 量子化部
１８ エントロピ符号化部
１９ 第一復号化手段
２０ 第一特徴画像復元手段
２１ 第二復号化手段
２２ 第二特徴画像復元手段
２３ 原画像復元手段
２４ 画像メモリ
２５ 出力手段
３０ 第二特徴情報抽出手段
３１ 第一特徴画像復元手段
３２ 第二特徴画像生成手段
３３ 第二特徴情報抽出手段
３４ 直交変換手段
３５ 第二特徴データ復元手段
３６ 一次元原データ復元手段
３７ 原画像復元手段
３８ 第一特徴情報抽出手段
３９ 第一特徴データ記憶手段
４０ 第一符号化手段
４１ 符号量判定手段
４２ 原画像復元手段
４３ 第一特徴画像記憶手段
Claims (18)
- 原画像の特徴分離符号化を行う画像情報圧縮方法において、
二次元又は三次元の原画像を擬似ヒルベルト走査により一次元原データに変換する手順、
所定の区間をおいて階段状に変化するステップ関数により前記一次元原データを近似して第一特徴データを生成することにより第一特徴情報を抽出する手順、
前記第一特徴情報を符号化して第一特徴符号データとする手順、
前記原画像から前記第一特徴情報を差し引いて第二特徴情報を抽出する手順、及び、
前記第二特徴情報を基底ベクトルテーブルに格納された基底ベクトルを用いて基底ベクトルで張られる空間に展開するとともに、前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴情報の成分値の一部を符号化して第二特徴符号データとする手順、
を有し、
前記一次元原データを近似するステップ関数は、
前記各区間における前記第一特徴データのデータ値が、前記一次元原データの該区間内における平均値に等しく、かつ、前記一次元原データと前記第一特徴データとの全区間に渡る累積誤差が最小となるように前記各区間に分割されたデータ系列からなるステップ関数、又は、
前記各区間における前記第一特徴データのデータ値が、前記一次元原データの該区間内における平均値に等しく、かつ、前記一次元原データと前記第一特徴データとの各区間内における累積誤差が所定の閾値以下となるように前記各区間に分割されたデータ系列からなるステップ関数であり、
前記第二特徴情報を抽出する手順において、
前記一次元原データから前記第一特徴データを差し引いた第二特徴データを生成し、
前記第二特徴データを擬似ヒルベルト走査により二次元又は三次元空間に充填して第二特徴画像を復元し、
基底ベクトルテーブルに格納された基底ベクトルを用いて前記第二特徴画像を基底ベクトルで張られる空間に展開し、
前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴画像の成分値を符号化して第二特徴符号データとすることを特徴とする画像情報圧縮方法。 - 前記原画像は、時間方向に連続する複数のフレーム系列から構成されており、
前記第一特徴情報を抽出する手順において、
所定のフレームについては、前記ステップ関数により前記一次元原データを近似して第一特徴データを生成することにより第一特徴情報を抽出するとともに、前記第一特徴データを第一特徴データ記憶手段に格納し、
それ以外のフレームについては、第一特徴データ記憶手段に格納された過去のフレームの第一特徴データを前記一次元原データから差し引いた第一差分データを生成し、前記ステップ関数により前記第一差分データを近似して第一特徴データを生成することにより第一特徴情報を抽出することを特徴とする請求項１記載の画像情報圧縮方法。 - 前記第二特徴情報を抽出する手順において、
前記第一特徴データを擬似ヒルベルト走査により二次元又は三次元空間に充填して第一特徴画像を復元し、
前記原画像から前記第一特徴画像を差し引いた第二特徴画像を生成し、
基底ベクトルテーブルに格納された基底ベクトルを用いて前記第二特徴画像を基底ベクトルで張られる空間に展開するとともに、
前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴画像の成分値を符号化して第二特徴符号データとする請求項１又は２に記載の画像情報圧縮方法。 - 前記第二特徴情報を抽出する手順において、
前記一次元原データから前記第一特徴データを差し引いた第二特徴データを生成し、
基底ベクトルテーブルに格納された基底ベクトルを用いて前記第二特徴データを基底ベクトルで張られる空間に展開するとともに、
前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴データの成分値を符号化して第二特徴符号データとする請求項１又は２に記載の画像情報圧縮方法。 - 前記第二特徴情報を符号化する手順において、前記基底ベクトルで張られる空間内の前記第二特徴画像又は前記第二特徴データの成分値が所定の閾値以上となる基底ベクトルについてのみ、該基底ベクトルに対する前記第二特徴画像又は前記第二特徴データの成分値を符号化して第二特徴符号データとする請求項１乃至４の何れか一項に記載の画像情報圧縮方法。
- 前記第二特徴情報を符号化する手順において、前記一次元原データと前記第一特徴データとの累積誤差に基づき、前記第二特徴画像又は前記第二特徴データを展開すべき前記基底ベクトルを決定し、前記決定された基底ベクトルに対して前記第二特徴画像又は前記第二特徴データを展開し、該基底ベクトルに対する前記第二特徴画像又は前記第二特徴データの成分値を符号化して第二特徴符号データとする請求項１乃至４の何れか一項に記載の画像情報圧縮方法。
- 原画像の特徴分離符号化を行う画像情報圧縮装置において、
二次元又は三次元の原画像を擬似ヒルベルト走査により一次元原データに変換する擬似ヒルベルト走査手段と、
所定の区間をおいて階段状に変化するステップ関数により前記一次元原データを近似して第一特徴データを生成することにより第一特徴情報を抽出する第一特徴情報抽出手段と、
前記第一特徴情報を符号化して第一特徴符号データを生成する第一符号化手段と、
前記原画像から前記第一特徴情報を差し引いて第二特徴情報を抽出する第二特徴情報抽出手段と、
前記第二特徴情報を基底ベクトルテーブルに格納された基底ベクトルを用いて基底ベクトルで張られる空間に展開するとともに、前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴情報の成分値の一部を符号化して第二特徴符号データを生成する第二符号化手段と、
を備え、
前記第一特徴情報抽出手段が前記一次元原データを近似するステップ関数は、
前記各区間における前記第一特徴データのデータ値が、前記一次元原データの該区間内における平均値に等しく、かつ、前記一次元原データと前記第一特徴データとの全区間に渡る累積誤差が最小となるように前記各区間に分割されたデータ系列からなるステップ関数、又は、
前記各区間における前記第一特徴データのデータ値が、前記一次元原データの該区間内における平均値に等しく、かつ、前記一次元原データと前記第一特徴データとの各区間内における累積誤差が所定の閾値以下となるように前記各区間に分割されたデータ系列からなるステップ関数であり、
前記第二特徴情報抽出手段は、
前記一次元原データ又は前記第一差分データから前記第一特徴データを差し引いた第二特徴データを生成する第二特徴データ生成手段と、
前記第二特徴データを擬似ヒルベルト走査により二次元又は三次元空間に充填して第二特徴画像を復元する第二特徴画像復元手段と、
前記第二特徴画像を基底ベクトルで張られる空間に展開する際の基底ベクトルの集合である基底ベクトルテーブルを格納する基底ベクトル記憶手段と、
前記基底ベクトル記憶手段に格納された基底ベクトルを用いて前記第二特徴画像を基底ベクトルで張られる空間に展開する直交変換手段と、
を具備し、
前記第二符号化手段は、前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴画像の成分値を符号化して第二特徴符号データを生成することを特徴とする画像情報圧縮装置。 - 前記原画像は、時間方向に連続する複数のフレーム系列から構成されており、
第一特徴データを格納する第一特徴データ記憶手段を具備し、
前記第一特徴情報抽出手段は、
所定のフレームについては、前記ステップ関数により前記一次元原データを近似して第一特徴データを生成することにより第一特徴情報を抽出するとともに、前記第一特徴データを第一特徴データ記憶手段に格納し、
それ以外のフレームについては、前記第一特徴データ記憶手段に格納された過去のフレームの第一特徴データを前記一次元原データから差し引いた第一差分データを生成し、前記ステップ関数により前記第一差分データを近似して第一特徴データを生成することにより第一特徴情報を抽出することを特徴とする請求項７記載の画像情報圧縮装置。 - 前記第二特徴情報抽出手段は、
前記第一特徴データを擬似ヒルベルト走査により二次元又は三次元空間に充填して第一特徴画像を復元する第一特徴画像復元手段と、
前記原画像から前記第一特徴画像を差し引いた第二特徴画像を生成する第二特徴画像生成手段と、
前記第二特徴画像を基底ベクトルで張られる空間に展開する際の基底ベクトルの集合である基底ベクトルテーブルを格納する基底ベクトル記憶手段と、
基底ベクトル記憶手段に格納された基底ベクトルを用いて前記第二特徴画像を基底ベクトルで張られる空間に展開する直交変換手段と、
を具備し、
前記第二符号化手段は、前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴画像の成分値を符号化して第二特徴符号データを生成することを特徴とする請求項７又は８に記載の画像情報圧縮装置。 - 前記第二特徴情報抽出手段は、
前記一次元原データ又は前記第一差分データから前記第一特徴データを差し引いた第二特徴データを生成する第二特徴データ生成手段と、
前記第二特徴データを基底ベクトルで張られる空間に展開する際の基底ベクトルの集合である基底ベクトルテーブルを格納する基底ベクトル記憶手段と、
前記基底ベクトル記憶手段に格納された基底ベクトルを用いて前記第二特徴データを基底ベクトルで張られる空間に展開する直交変換手段と、
を具備し、
前記第二符号化手段は、前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴データの成分値を符号化して第二特徴符号データを生成することを特徴とする請求項７又は８に記載の画像情報圧縮装置。 - 前記第二符号化手段は、前記基底ベクトルで張られる空間内の前記第二特徴画像又は前記第二特徴データの成分値が所定の閾値以上となる基底ベクトルについてのみ、該基底ベクトルに対する前記第二特徴画像又は前記第二特徴データの成分値を符号化して第二特徴符号データを生成することを特徴とする請求項７乃至１０の何れか一項に記載の画像情報圧縮装置。
- 前記一次元原データと前記第一特徴データとの累積誤差に基づき、前記第二特徴画像又は前記第二特徴データを展開すべき前記基底ベクトルを決定する判定手段を有し、
前記直交変換手段は、前記判定手段により決定された基底ベクトルに対して前記第二特徴画像又は前記第二特徴データを展開し、
前記第二符号化手段は、前記第二特徴画像又は前記第二特徴データが展開された基底ベクトルに対する前記第二特徴画像又は前記第二特徴データの成分値を符号化して第二特徴符号データを生成することを特徴とする請求項７乃至１０の何れか一項に記載の画像情報圧縮装置。 - 原画像の特徴分離符号化を行う画像情報圧縮プログラムにおいて、コンピュータを、
二次元又は三次元の原画像を擬似ヒルベルト走査により一次元原データに変換する擬似ヒルベルト走査手段、
所定の区間をおいて階段状に変化するステップ関数により前記一次元原データを近似して第一特徴データを生成することにより第一特徴情報を抽出する第一特徴情報抽出手段、
前記第一特徴情報を符号化して第一特徴符号データを生成する第一符号化手段、
前記原画像から前記第一特徴情報を差し引いて第二特徴情報を抽出する第二特徴情報抽出手段、及び、
前記第二特徴情報を基底ベクトルテーブルに格納された基底ベクトルを用いて基底ベクトルで張られる空間に展開するとともに、前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴情報の成分値の一部を符号化して第二特徴符号データを生成する第二符号化手段、
として機能させるとともに、
前記第一特徴情報抽出手段が前記一次元原データを近似するステップ関数は、
前記各区間における前記第一特徴データのデータ値が、前記一次元原データの該区間内における平均値に等しく、かつ、前記一次元原データと前記第一特徴データとの全区間に渡る累積誤差が最小となるように前記各区間に分割されたデータ系列からなるステップ関数、又は、
前記各区間における前記第一特徴データのデータ値が、前記一次元原データの該区間内における平均値に等しく、かつ、前記一次元原データと前記第一特徴データとの各区間内における累積誤差が所定の閾値以下となるように前記各区間に分割されたデータ系列からなるステップ関数であり、
前記第二特徴情報抽出手段は、
前記第一特徴データを擬似ヒルベルト走査により二次元又は三次元空間に充填して第一特徴画像を復元する第一特徴画像復元手段、
前記原画像から前記第一特徴画像を差し引いた第二特徴画像を生成する第二特徴画像生成手段、
前記第二特徴画像を基底ベクトルで張られる空間に展開する際の基底ベクトルの集合である基底ベクトルテーブルを格納する基底ベクトル記憶手段、及び、
基底ベクトル記憶手段に格納された基底ベクトルを用いて前記第二特徴画像を基底ベクトルで張られる空間に展開する直交変換手段、
として機能し、
前記第二符号化手段は、前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴画像の成分値を符号化して第二特徴符号データを生成することを特徴とする画像情報圧縮プログラム。 - 時間方向に連続する原画像の特徴分離符号化を行う画像情報圧縮プログラムにおいて、コンピュータを、第一特徴データを格納する第一特徴データ記憶手段として機能させ、
前記第一特徴情報抽出手段は、
所定のフレームについては、前記ステップ関数により前記一次元原データを近似して第一特徴データを生成することにより第一特徴情報を抽出するとともに、前記第一特徴データを第一特徴データ記憶手段に格納し、
それ以外のフレームについては、第一特徴データ記憶手段に格納された過去のフレームの第一特徴データを前記一次元原データから差し引いた第一差分データを生成し、前記ステップ関数により前記第一差分データを近似して第一特徴データを生成することにより第一特徴情報を抽出することを特徴とする請求項１３記載の画像情報圧縮プログラム。 - 前記第二特徴情報抽出手段は、
前記一次元原データ又は前記第一差分データから前記第一特徴データを差し引いた第二特徴データを生成する第二特徴データ生成手段、
前記第二特徴データを擬似ヒルベルト走査により二次元又は三次元空間に充填して第二特徴画像を復元する第二特徴画像復元手段、
前記第二特徴画像を基底ベクトルで張られる空間に展開する際の基底ベクトルの集合である基底ベクトルテーブルを格納する基底ベクトル記憶手段、及び、
前記基底ベクトル記憶手段に格納された基底ベクトルを用いて前記第二特徴画像を基底ベクトルで張られる空間に展開する直交変換手段、
として機能し、
前記第二符号化手段は、前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴画像の成分値を符号化して第二特徴符号データを生成することを特徴とする請求項１３又は１４に記載の画像情報圧縮プログラム。 - 前記第二特徴情報抽出手段は、
前記一次元原データ又は前記第一差分データから前記第一特徴データを差し引いた第二特徴データを生成する第二特徴データ生成手段、
前記第二特徴データを基底ベクトルで張られる空間に展開する際の基底ベクトルの集合である基底ベクトルテーブルを格納する基底ベクトル記憶手段、及び、
前記基底ベクトル記憶手段に格納された基底ベクトルを用いて前記第二特徴データを基底ベクトルで張られる空間に展開する直交変換手段、
として機能し、
前記第二符号化手段は、前記基底ベクトルで張られる空間内の所定の基底ベクトルに対する前記第二特徴データの成分値を符号化して第二特徴符号データを生成することを特徴とする請求項１３又は１４に記載の画像情報圧縮プログラム。 - 前記第二符号化手段は、前記基底ベクトルで張られる空間内の前記第二特徴画像又は前記第二特徴データの成分値が所定の閾値以上となる基底ベクトルについてのみ、該基底ベクトルに対する前記第二特徴画像又は前記第二特徴データの成分値を符号化して第二特徴符号データを生成することを特徴とする請求項１３乃至１６の何れか一項に記載の画像情報圧縮プログラム。
- コンピュータを、前記一次元原データと前記第一特徴データとの累積誤差に基づき、前記第二特徴画像又は前記第二特徴データを展開すべき前記基底ベクトルを決定する判定手段として機能させ、
前記直交変換手段は、前記判定手段により決定された基底ベクトルに対して前記第二特徴画像又は前記第二特徴データを展開し、
前記第二符号化手段は、前記第二特徴画像又は前記第二特徴データが展開された基底ベクトルに対する前記第二特徴画像又は前記第二特徴データの成分値を符号化して第二特徴符号データを生成することを特徴とする請求項１３乃至１６の何れか一項に記載の画像情報圧縮プログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001392738A JP3863775B2 (ja) | 2001-12-25 | 2001-12-25 | 画像情報圧縮方法及び画像情報圧縮装置並びに画像情報圧縮プログラム |
| PCT/JP2002/000038 WO2003056836A1 (en) | 2001-12-25 | 2002-01-09 | Image information compressing method, image information compressing device and image information compressing program |
| US10/498,818 US7274826B2 (en) | 2001-12-25 | 2002-01-09 | Image information compressing method, image information compressing device and image information compressing program |
| AU2002219564A AU2002219564A1 (en) | 2001-12-25 | 2002-01-09 | Image information compressing method, image information compressing device and image information compressing program |
| KR20047008795A KR100863018B1 (ko) | 2001-12-25 | 2002-01-09 | 화상 정보 압축방법 및 화상 정보 압축장치 및 화상 정보 압축프로그램을 기록한 기록매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001392738A JP3863775B2 (ja) | 2001-12-25 | 2001-12-25 | 画像情報圧縮方法及び画像情報圧縮装置並びに画像情報圧縮プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003199105A JP2003199105A (ja) | 2003-07-11 |
| JP2003199105A5 JP2003199105A5 (ja) | 2005-07-21 |
| JP3863775B2 true JP3863775B2 (ja) | 2006-12-27 |
Family
ID=19188682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001392738A Expired - Fee Related JP3863775B2 (ja) | 2001-12-25 | 2001-12-25 | 画像情報圧縮方法及び画像情報圧縮装置並びに画像情報圧縮プログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7274826B2 (ja) |
| JP (1) | JP3863775B2 (ja) |
| KR (1) | KR100863018B1 (ja) |
| AU (1) | AU2002219564A1 (ja) |
| WO (1) | WO2003056836A1 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1306805A1 (en) * | 2001-10-25 | 2003-05-02 | Mitsubishi Electric Information Technology Centre Europe B.V. | Image Analysis |
| JP3863775B2 (ja) | 2001-12-25 | 2006-12-27 | 株式会社九州エレクトロニクスシステム | 画像情報圧縮方法及び画像情報圧縮装置並びに画像情報圧縮プログラム |
| JP5111739B2 (ja) * | 2005-05-12 | 2013-01-09 | 三菱電機株式会社 | 質感表示装置 |
| JP2007184800A (ja) * | 2006-01-10 | 2007-07-19 | Hitachi Ltd | 画像符号化装置、画像復号化装置、画像符号化方法及び画像復号化方法 |
| US20090110313A1 (en) * | 2007-10-25 | 2009-04-30 | Canon Kabushiki Kaisha | Device for performing image processing based on image attribute |
| US8185568B2 (en) * | 2008-03-24 | 2012-05-22 | Shlomo Selim Rakib | Method of providing space filling patterns |
| JP5521436B2 (ja) * | 2009-08-19 | 2014-06-11 | ソニー株式会社 | 動画像記録装置、動画像記録方法およびプログラム |
| US8983193B1 (en) * | 2012-09-27 | 2015-03-17 | Google Inc. | Techniques for automatic photo album generation |
| US8913152B1 (en) | 2012-09-27 | 2014-12-16 | Google Inc. | Techniques for user customization in a photo management system |
| JP6393058B2 (ja) * | 2014-03-31 | 2018-09-19 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| CN106231309B (zh) * | 2016-08-03 | 2019-05-24 | 吕长磊 | 医疗影像数据压缩方法 |
| CN107124614B (zh) * | 2017-04-20 | 2019-12-13 | 华东师范大学 | 一种具有超高压缩比的图像数据压缩方法 |
| CN107609390A (zh) * | 2017-08-25 | 2018-01-19 | 深圳天珑无线科技有限公司 | 终端解锁方法、终端和计算机可读存储介质 |
| CN110109751B (zh) * | 2019-04-03 | 2022-04-05 | 百度在线网络技术（北京）有限公司 | 分布式切图任务的分配方法、装置及分布式切图系统 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2602550B2 (ja) | 1989-06-01 | 1997-04-23 | 三菱電機株式会社 | フレーム間符号化装置 |
| JPH0638047A (ja) | 1992-07-15 | 1994-02-10 | Kyocera Corp | 画像再生装置 |
| JPH08140097A (ja) * | 1994-11-08 | 1996-05-31 | Matsushita Electric Ind Co Ltd | 動画像輪郭情報圧縮装置および動画像キーフレーム抽出装置 |
| US6104833A (en) * | 1996-01-09 | 2000-08-15 | Fujitsu Limited | Pattern recognizing apparatus and method |
| JPH1051785A (ja) | 1996-07-31 | 1998-02-20 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化装置 |
| US6178261B1 (en) * | 1997-08-05 | 2001-01-23 | The Regents Of The University Of Michigan | Method and system for extracting features in a pattern recognition system |
| JPH11331613A (ja) | 1998-05-20 | 1999-11-30 | Matsushita Electric Ind Co Ltd | 階層型映像信号符号化装置と階層型映像信号復号化装置 |
| JP3218220B2 (ja) * | 1998-06-10 | 2001-10-15 | 株式会社九州エレクトロニクスシステム | 画像情報圧縮方法及びその画像情報圧縮システム |
| JP3347684B2 (ja) * | 1999-03-01 | 2002-11-20 | 株式会社九州エレクトロニクスシステム | リアルタイム動画転送方法 |
| JP2001118075A (ja) * | 1999-07-09 | 2001-04-27 | Toshiba Corp | 物体領域情報記述方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 |
| US6542545B1 (en) * | 1999-10-01 | 2003-04-01 | Mitsubishi Electric Reseach Laboratories, Inc. | Estimating rate-distortion characteristics of binary shape data |
| JP3773417B2 (ja) * | 2000-03-14 | 2006-05-10 | 株式会社モノリス | 画像データ符号化および復号のための方法および装置 |
| CN1440538A (zh) * | 2000-05-09 | 2003-09-03 | 西门子公司 | 用于测定图像中的对象的方法和装置 |
| US6876771B2 (en) * | 2000-12-20 | 2005-04-05 | Pts Corporation | Efficiently adaptive double pyramidal coding |
| JP2004523994A (ja) * | 2001-04-10 | 2004-08-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 一連のフレームを符号化する方法 |
| JP3863775B2 (ja) | 2001-12-25 | 2006-12-27 | 株式会社九州エレクトロニクスシステム | 画像情報圧縮方法及び画像情報圧縮装置並びに画像情報圧縮プログラム |
-
2001
- 2001-12-25 JP JP2001392738A patent/JP3863775B2/ja not_active Expired - Fee Related
-
2002
- 2002-01-09 AU AU2002219564A patent/AU2002219564A1/en not_active Abandoned
- 2002-01-09 KR KR20047008795A patent/KR100863018B1/ko not_active IP Right Cessation
- 2002-01-09 US US10/498,818 patent/US7274826B2/en not_active Expired - Fee Related
- 2002-01-09 WO PCT/JP2002/000038 patent/WO2003056836A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2003056836A1 (en) | 2003-07-10 |
| KR20040074996A (ko) | 2004-08-26 |
| KR100863018B1 (ko) | 2008-10-13 |
| US7274826B2 (en) | 2007-09-25 |
| JP2003199105A (ja) | 2003-07-11 |
| US20050063601A1 (en) | 2005-03-24 |
| AU2002219564A1 (en) | 2003-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3863775B2 (ja) | 画像情報圧縮方法及び画像情報圧縮装置並びに画像情報圧縮プログラム | |
| JP3814637B2 (ja) | 画像符号／復号方法及びそのプログラムを記録した記録媒体並びに装置 | |
| JP2007518367A (ja) | マッチング追跡を用いたデータ圧縮 | |
| US8204109B2 (en) | Overcomplete basis transform-based motion residual frame coding method and apparatus for video compression | |
| JP2006502604A (ja) | 任意形状オブジェクトの画像圧縮方法 | |
| JP2003199105A5 (ja) | ||
| JPH08242378A (ja) | 標準ａｄｃｔ圧縮像を効率的に繰り返し圧縮解除する方法 | |
| JP2723867B2 (ja) | 画像信号復号化装置 | |
| JP3952116B2 (ja) | 画像圧縮装置及び方法 | |
| JP2626521B2 (ja) | 画像符号変換装置 | |
| WO2012128209A1 (ja) | 画像符号化装置、画像復号装置、プログラムおよび符号化データ | |
| JP3833224B2 (ja) | 符号化方法及び装置、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| JP2005124001A (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム | |
| JP2002199401A (ja) | 画像符号化装置、画像復号化装置、電子カメラ、および記録媒体 | |
| JP2004289284A (ja) | 画像処理方法および画像処理装置ならびに画像処理プログラム | |
| JP3822512B2 (ja) | 画像データ圧縮装置、画像データ圧縮方法、記録媒体およびプログラム | |
| KR101149920B1 (ko) | 움직임 보상 시간적 필터핑을 이용한 홀로그램 압축방법 및 그 기록매체 | |
| JP2004312693A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP4957572B2 (ja) | 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム | |
| Vijayarani et al. | Image Compression Techniques–An Overview | |
| KR100397083B1 (ko) | 피라미드 분해 방식을 이용한 이진 체적소 모델의 순차부호화 방법 | |
| JPH04271664A (ja) | 画像データ圧縮装置および画像データ復元装置 | |
| JP4161312B2 (ja) | 画質評価値算出方法及び画質評価値算出装置 | |
| JP4490051B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP2000270334A (ja) | 符号化装置、復号化装置、画像処理装置、符号化方法、復号化方法及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041208 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060908 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060929 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |