JP3986219B2

JP3986219B2 - Image compression method and image compression apparatus for multispectral image

Info

Publication number: JP3986219B2
Application number: JP29393399A
Authority: JP
Inventors: 磴　　秀康
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 1999-10-15
Filing date: 1999-10-15
Publication date: 2007-10-03
Anticipated expiration: 2019-10-15
Also published as: JP2001119586A

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体を撮影する際の撮影波長領域を複数のバンド帯域に分割して撮影したバンド画像を用いて得られるマルチスペクトル画像の画像データに対して、画像品質を損なうことなく効率的に圧縮することのできる画像データの圧縮処理の技術分野に関する。
【０００２】
【従来の技術】
今日、デジタル画像処理の進歩によって、画像の色情報（明度、色相、彩度）を完全に表現する手段として、画像の各画素毎に分光情報（スペクトル画像）を備える画像、すなわちマルチスペクトル画像が利用されている。
このマルチスペクトル画像は、撮影被写体を、複数のバンド帯域に分割して各バンド帯域毎に撮影した複数のバンド画像から構成されるマルチバンド画像に基づいて分光反射率分布を各画像毎に推定して得られるものである。このマルチバンド画像は、赤（Ｒ）、緑（Ｇ）および青（Ｂ）画像からなる従来のＲＧＢカラー画像では十分に表現できない色情報を再現することができ、例えばより正確な色再現の望まれる絵画の世界にとって有効である。そこで、この色情報を正確に再現するといった特徴を生かすために、例えば３８０〜７８０ｎｍの撮影波長帯域を１０ｎｍ帯域毎に区切って４１バンドさらには５ｎｍ帯域毎に区切って８１バンドといった多くのバンド数を備えたマルチバンド画像に基づいてマルチスペクトル画像を得ることが望まれる。
【０００３】
しかし、画素毎に分光情報を備えるマルチスペクトル画像は、撮影波長帯域を分割した各帯域（チャンネル）毎に、例えば４１チャンネル毎に分光反射率データを有するため、従来から用いられてきた３チャンネルのＲＧＢカラー画像に比べ、例えば約１３倍（４１チャンネル／３チャンネル）の画像データ量を備えなければならない。
そのため、得られたマルチスペクトル画像の画像データを保存する場合、大きな記憶容量が必要となり、保存に要する時間も長い。また、画像データをネットワークを介して転送する際にも多大の時間がかかり、取り扱いが困難になる。
【０００４】
このような問題に対して、マルチスペクトル画像の各画素ごとの分光情報から得られるスペクトル波形を３つの等色関数、例えばＲＧＢ表色形の等色関数で展開するとともに、等色関数で表されないスペクトル波形の部分を、主成分分析法を用いて、主成分基底ベクトルで展開し、その中からスペクトル画像の画像情報を代表する主成分を抽出して採用し、それ以外の主成分は取り除き、最終的に等色関数を含め合計６〜８個の基底ベクトルで上記スペクトル波形を表現する方法が提案されている（Th.Keusen,Multispectoral Color System wuth an Encoding Format Compatible with the Conventional Tristimulus Model,Journal of Imaging Science and Technology 40:510-515(1996)）。これを用いて、上記スペクトル波形を６〜８個の基底ベクトルとそれに対応した係数の対とで表わすことによって、マルチスペクトル画像の画像データを圧縮することができる。特に、ＲＧＢ表色形の等色関数で表される場合の等色関数の係数は、Ｒ、ＧおよびＢの三刺激値に対応するので、Ｒ、ＧおよびＢ画素による３刺激値に基づいて画像処理や画像表示等が行われる従来の画像処理装置や画像表示装置に対応して適合するように特別な変換を施す必要がなく、直接画像データを従来の画像処理装置や画像表示装置に送ることができるといった処理の低減に対して優れた効果を備える。
【０００５】
このような方法によって得られる画像データは、例えば４１個のスペクトル画像から構成されるマルチスペクトル画像の場合、例えば８個の基底ベクトルとその係数によって表すことによって、マルチスペクトル画像の画像データ量の約２０％（８個／４１個×１００）に圧縮することができる。
しかし、４１個のスペクトル画像から構成されるマルチスペクトル画像の場合、ＲＧＢカラー画像の画像データ量に比べて約１３倍も大きく、上記方法で約３０％に圧縮できたとしても、ＲＧＢカラー画像の画像データ量に対して、依然として約２．５倍（１３×２０／１００）ものデータ量を有することになる。そのため、上述したように記録メディア等に記録保存する際の記録時間や画像データをネットワークを介して転送する際の転送時間も長く、依然として取り扱いが困難である。
【０００６】
そこで、本発明は、上記問題点を解決し、被写体を撮影する際の撮影波長帯域を複数のバンド帯域に分割することで得られる複数のスペクトル画像に対して、視覚的に劣化することが少なく画像圧縮の際の圧縮率を高め、画像データの取り扱いが向上するマルチスペクトル画像の画像圧縮方法および画像圧縮装置を提供することを目的とする。
【０００７】
上記目的を達成するために、本発明は、被写体を撮影する際に撮影波長帯域を複数のバンド帯域に分割して撮影したバンド画像を用いて得られるマルチスペクトル画像を画像圧縮する方法であって、
マルチスペクトル画像の画像データを用いて、主成分分析を行い、マルチスペクトル画像の主成分ベクトルと主成分画像の複数の対を得、
この複数の対の中の前記主成分ベクトルから選択された主成分ベクトルを用いて再構成される合成画像と、マルチスペクトル画像との色空間における色度差を所定値以下とする、前記主成分ベクトルの中から選ばれた最適主成分ベクトルとこれに対応する最適主成分画像を得、
得られた各最適主成分画像に対して、像構造圧縮を行い最適主成分圧縮画像データを得ることによって、
前記マルチスペクトル画像の画像データを前記最適主成分ベクトルおよび前記最適主成分圧縮画像データに圧縮することを特徴とするマルチスペクトル画像の画像圧縮方法を提供するものである。
【０００８】
ここで、前記色空間は、ＣＩＥＤ ₆₅ の標準光源下のＣＩＥＤ１９７６Ｌ ^* ａ ^* ｂ ^* 色空間であり、前記所定値は、この色空間における色度に基づく平均色差が１．５であるのが好ましい。
【０００９】
また、前記像構造圧縮は、離散フーリエ変換またはウェーブレット変換による画像データの高周波成分の圧縮であるのが好ましく、さらに、前記像構造による圧縮は、画像データの符号化により画像データを圧縮する符号化圧縮処理が付加されるのが好ましい。
【００１０】
また、本発明は、被写体を撮影する際に撮影波長帯域を複数のバンド帯域に分割して撮影したバンド画像を用いて得られるマルチスペクトル画像を画像圧縮するマルチスペクトル画像の画像圧縮装置であって、
マルチスペクトル画像の画像データを用いて、主成分分析を行い、マルチスペクトル画像の主成分ベクトルと主成分画像の複数の対を得る主成分分析部と、
この主成分分析部で得られた主成分ベクトルと主成分画像の複数の対の中の前記主成分ベクトルから選択された主成分ベクトルを用いて再構成される合成画像と、マルチスペクトル画像との色空間における色度差を所定値以下とする、前記主成分ベクトルの中から選ばれた最適主成分ベクトルと最適主成分画像を得る最適主成分ベクトル・画像抽出部と、
この最適成分ベクトル・画像抽出部で得られた各最適主成分画像の画像データに対して、像構造圧縮を行う画像圧縮部とを有することを特徴とするマルチスペクトル画像の画像圧縮装置を提供するものである。
ここで、前記色空間は、ＣＩＥＤ ₆₅ の標準光源下のＣＩＥＤ１９７６Ｌ ^* ａ ^* ｂ ^* 色空間であり、前記所定値は、この色空間における色度に基づく平均色差が１．５であるのが好ましい。
【００１１】
【発明の実施の形態】
以下、本発明のマルチスペクトル画像の画像圧縮方法を実施するマルチスペクトル画像取得システムについて、添付の図面に示される好適実施例を基に詳細に説明する。
【００１２】
図１は、本発明のマルチスペクトル画像の画像圧縮方法を実施し、本発明のマルチスペクトル画像の画像圧縮装置を含むマルチスペクトル画像取得システム（以下、本システムという）１０を示す。
本システム１０は、撮影被写体Ｏを撮影し、得られたマルチスペクトル画像ＭS の画像データを記録メディアに保存するものであって、撮影被写体Ｏを照らす光源１２と、撮影波長帯域を複数のバンド帯域に分割する可変フィルタ１４と、撮影被写体Ｏを撮影してマルチバンド画像Ｍ_Bを得るＣＣＤカメラ１６と、画像データを一時保持するマルチバンド画像記憶装置１８と、マルチバンド画像から各画素毎に分光反射率分布を推定してマルチスペクトル画像Ｍ_Sを得るマルチスペクトル画像取得装置２０と、マルチスペクトル画像ＭS の画像データを、視覚的な劣化が少なく、圧縮率を高くして圧縮するマルチスペクトル画像圧縮装置２２と、得られた圧縮画像データを保存する記録メディアドライブ装置２４とを主に有して構成される。なお、本発明において、マルチスペクトル画像Ｍ_sは、少なくとも６チャンネル以上のスペクトル画像を備え、すなわち、分光反射率分布のデータを持つ構成波長数が６以上であるのが好ましい。
【００１３】
光源１２は、撮影被写体Ｏを撮影するものであって、光源の種類等は特に制限されないが、撮影されたマルチバンド画像Ｍ_Bから分光反射率を推定し、マルチスペクトル画像Ｍ_Sを取得するために、分光強度分布が既知の光源であることが好ましい。
可変フィルタ１４は、撮影被写体Ｏを撮影してマルチバンド画像Ｍ_Bを得るために、撮影波長帯域を分割するバンド帯域が可変に設定可能なバンドパスフィルタであり、例えば１６バンド、２１バンドや４１バンド等に分割することができる。このような可変フィルタとして、例えば液晶チューナブルフィルタが挙げられる。
【００１４】
ＣＣＤカメラ１６は、撮影被写体Ｏの反射光を可変フィルタ１４を介して所望の波長帯域に分光された透過光によって結像される像を黒白のバンド画像として撮影するカメラであって、受光面には、エリアセンサとしてＣＣＤ（charge coupled device ) 撮像素子が面状に配置されている。
また、ＣＣＤカメラ１６には、撮影される画像の明度値のダイナミックレンジを適切に定めるため、撮影被写体Ｏの撮影前に行うホワイトバランスの調整機構を備える。
【００１５】
マルチバンド画像データ記憶装置１８は、撮影波長帯域を複数のバンド帯域に分割して撮影され、各バンドに対応するホワイトバランスの調整された複数のバンド画像からなるマルチバンド画像Ｍ_Bを一時記憶保持する部分である。
マルチスペクトル取得装置２０は、ＣＣＤカメラ１６で撮影された分光反射率の既知の撮影被写体の画像データ、例えばマクベスチャートのグレーパッチの画像データとその既知の分光反射率の値との対応関係から予め作成された１次元ルックアップテーブル（１次元ＬＵＴ）を備え、この１次元ＬＵＴを用いて、マルチバンド画像データ記憶装置１８より呼び出された撮影被写体Ｏのマルチバンド画像Ｍ_Bの画像データから各画素毎の撮影被写体Ｏの分光反射率を推定し、マルチスペクトル画像Ｍ_Sを取得する部分である。
撮影被写体Ｏの分光反射率の推定において、可変フィルタ１４のフィルタ特性、すなわち可変フィルタ１４の分光透過率分布がバンド間で一部分が重なった特性を有する場合、得られるマルチスペクトル画像Ｍ_Sの分光反射率分布は鈍り、精度の高い分光反射率分布を推定することができないため、マトリクス演算やフーリエ変換を用いて、上記フィルタ特性を排除するデコンボリューション処理を施してもよい。
【００１６】
記録メディアドライブ装置２４は、ハードディスクやフロッピーディスクやＭＯやＣＤ−ＲやＤＶＤ等の記録メディアに記録するドライブ装置であり、マルチスペクトル画像Ｍ_Sの画像データを後述するマルチスペクトル画像圧縮装置２２で圧縮した圧縮マルチスペクトル画像データを記録することができる。また、記録メディアドライブ装置２４と共に、またこれに替えて、後述する圧縮マルチスペクトル画像データを各種ネットワークを介して転送するために、ネットワーク接続装置を備えてもよい。
【００１７】
マルチスペクトル画像圧縮装置２２は、マルチスペクトル取得装置２０で得られたマルチスペクトル画像Ｍ_Sを構成するマルチスペクトル画像データに対して、視覚的な劣化が少なく画像圧縮率の高い圧縮マルチスペクトル画像データを求める部分であり、主成分分析部２２ａと、最適主成分ベクトル・画像抽出部２２ｂと、画像圧縮部２２ｃとを備える。また、本装置は、以下に示すような機能を備えるソフトウェアで構成してもよく、また１つのハードウェアとして構成してもよい。
【００１８】
主成分分析部２２ａは、マルチスペクトル画像Ｍ_Sの各画素毎に備える分光反射率分布の主成分分析を行い、各画素ごとに分光反射率分布を主成分に展開する部分である。なお、以降では、撮影波長帯域を複数のバンド帯域に分割するバンド数をｎとして説明する。
本発明における主成分分析法は、観測波形データ群を正規直交展開して標本化する方法の一つで、最適標本化ともいわれるものである。即ち、最も少ない数の直交基底関数の加重平均で、観測波形データを最も精度良く表現するための方法である。ここでは、直交基底関数を主成分ベクトルと呼ぶ。
本発明における主成分分析として具体的には、観測波形から、統計的手法および固有値解析法を用いて、観測波形に固有の１次独立な固有ベクトルを主成分ベクトルとして求め、この主成分ベクトルから、本来観測波形に雑音成分が無ければ、固有値が０となる固有値の小さな主成分ベクトルを取り除き、バンド数ｎより少ない数の最適主成分ベクトルを求め、この最適主成分ベクトルによって観測波形を線型的に表す、南茂夫著、「科学計測のための波形データ処理」、２２０−２２５頁に記載の方法があげられる。この分析方法は、主成分分析部２２ａおよび後述する最適主成分ベクトル・画像抽出部２２ｂにおいて主に行われる。
主成分分析法を用いる場合には、観測波形であるマルチスペクトル画像Ｍ_Sの画素毎の分光反射率波形が、線型的に表すことができ、また分光反射率波形に含まれる雑音成分も、分光反射率の値と無関係な雑音であることが好ましい。
【００１９】
本実施例に沿って説明すると、マルチスペクトル画像Ｍ_Sは、各画素毎に、可変フィルタ１４を用いて被写体の撮影波長帯域を分割したバンドの数ｎだけ、分光反射率の値を有する。すなわち、ｎ個のバンド帯域からなるマルチバンド画像Ｍ_Bによって得られたマルチスペクトル画像Ｍ_Sは、ｎ個の分光反射率の値からなる分光反射率分布Ｒを有する。また、マルチスペクトル画像Ｍ_Sの各画素は、例えば１０２４×１０２４画素、すなわち約１０⁶個の画素で構成され、この画素数は、分光反射率の個数であるｎよりも圧倒的に大きいため、統計的処理、すなわち、後述するように、ｎ次元ベクトルの形式で表された分光反射率分布Ｒ(i,j，λ) ＝( Ｒ (i,j ，λ₁)，Ｒ(i,j，λ₂)，Ｒ(i,j，λ₃)，・・・，Ｒ（i,j ，λ_n) ）^T（小文字^Tは転置を示し、(i,j) は、注目画素の画素位置であり、λは分光波長を示す）の、画像領域全体またはその一部分の画素に関する自己相関行列Ｔを求め、分光反射率の主成分分析を行うことができる。
【００２０】
ここで求められる主成分とは、統計的処理を用いて得られるもので、例えばｎバンドの数に相当するｎ個の分光反射率の値からなる正規直交化された自己相関行列Ｔの固有ベクトルである主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）と自己相関行列Ｔの固有値ｕ_k（ｋ＝１〜ｎ（ｋは１以上ｎ以下の整数を示す））の対である。また、主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）を用いて、スペクトル画像の画素位置(i,j) での分光反射率分布Ｒ(i,j，λ) を線型展開し、その際得られる各主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）に係る係数ｓ_k(i,j) （ｋ＝１〜ｎ）を求め、これを画素位置(i,j) での画像データとする主成分画像Ｓ_k（ｋ＝１〜ｎ）を得ることができる。
得られた主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）および主成分画像Ｓ_k（ｋ＝１〜ｎ）は、最適主成分ベクトル・画像抽出部２２ｂに送られる。
【００２１】
最適主成分ベクトル・画像抽出部２２ｂは、主成分分析部２２ａで得られた主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）とそれに対応した主成分画像Ｓ_k（ｋ＝１〜ｎ）とを用いて、最適主成分数ｍ₁を定め、最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）および最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）を抽出する部分である。
最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）および最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）を抽出するのは、主成分分析部２２ａで求められた主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）には、マルチスペクトル画像の画像データの雑音成分の影響を受けて、本来主成分ベクトルに当たらない固有ベクトルも主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）として含まれるため、この主成分ベクトルｐ_k（λ）を排除し、最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）および最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）を抽出する必要があるからである。
【００２２】
すなわち、ｎ個の主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）とそれに対応した主成分画像Ｓ_k（ｋ＝１〜ｎ）の対の中から、それより少ないｍ（ｍ＜ｎ）個の主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ）とそれに対応した主成分画像Ｓ_k（ｋ＝１〜ｍ）の対を用いて合成画像Ｇを求め、この合成画像Ｇの画像情報の、マルチスペクトル画像Ｍ_sに基づくオリジナル画像の画像情報に対する誤差を用いて、ｍ個の主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ）とそれに対応した主成分画像Ｓ_k（ｋ＝１〜ｍ）が最適な主成分であるかどうか判断する。
【００２３】
ここで、主成分ベクトルｐ_k（λ）は、対応した固有値ｕ_kが大きい程、マルチスペクトル画像Ｍ_sの分光反射率分布における主成分の寄与は大きい。主成分ベクトルｐ_k（λ）を、固有値ｕ_kの大きい順に並べ、固有値ｕ_kの大きい順に、合成画像Ｇを求めるために採用する主成分ベクトルを順次増やし、一定の照明光源下て再構成された合成画像Ｇを求めていくと、ｎ個の主成分ベクトルから構成されるマルチスペクトル画像Ｍ_Sに基づくオリジナル画像に対する合成画像Ｇの画像情報の誤差が、採用する主成分ベクトル数ｍの増加に伴って単調減少する。そのため、この誤差が予め定めた所定値以下に減少する最初の主成分ベクトル数ｍを求めることによって、最小の最適主成分数ｍ₁を求めることができる。これによって、最適主成分数ｍ₁で合成画像Ｇを求める際に採用した主成分ベクトルｐ_k（λ）およびこれに基づいて得られる主成分画像Ｓ_kを、それぞれ、最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）および最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）として抽出することができる。
【００２４】
ここで、上記画像情報とは、例えば、ＣＩＥＬ^*ａ^*ｂ^*色空間に於ける一定の光源下の測色値Ｌ^*、ａ^*およびｂ^*、例えばＣＩＥＤ₆₅の標準光条件下の測色値Ｌ^*、ａ^*およびｂ^*であり、その際、上記誤差とは下記式(1) で表される色差ΔＥ₀である。この場合、この色差ΔＥ₀が例えば１．０以下となるような主成分画像の数ｍを見出すことによって最適主成分数ｍ₁を求めることができる。
ΔＥ₀＝｛（ΔＬ^*）²＋（Δａ^*）²＋（Δｂ^*）²｝^1/2 （１）
ここで、ΔＬ^*、Δａ^*およびΔｂ^*は、上記合成画像とマルチスペクトル画像の画像全体または一部分における平均測色値Ｌ^*、ａ^*およびｂ^*の差分である。このようにして、最適主成分数ｍ₁は、合成画像Ｇの色空間上の測色値とオリジナル画像の測色値の色差ΔＥ₀に基づいて適応的に決定される。
【００２５】
また、上記画像情報の誤差、すなわち、オリジナル画像に対するｍ個の主成分ベクトルｐ_kによって再構成される合成画像Ｇの、画像全体または一部分の画素のスペクトルの自乗誤差Ｅ₁であってもよい。合成画像Ｇのバンド帯域に対応して分光情報を持つスペクトルの画像データについても、測色値の一例と見なされ、合成画像Ｇの色空間上の測色値であるスペクトルの画像データとオリジナル画像の測色値であるスペクトルの画像データの自乗誤差Ｅ₁に基づいて，最適主成分数ｍ₁を適応的に決定してもよい。この場合、この自乗誤差Ｅ₁またはＬｏｇ（Ｅ₁）は、主成分ベクトル数ｍに対して単調減少となるため、ｍを増やすことによって、自乗誤差Ｅ₁またはＬｏｇ（Ｅ₁）の減少幅が予め定められた所定値より小さくなる時のｍの値、すなわちｍの増加に対して自乗誤差Ｅの減少が所定値以下で飽和する時の最小のｍの値を求めればよい。
【００２６】
画像圧縮部２２ｃは、最適主成分ベクトル・画像抽出部２２ｂで求めた最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）の各々の画像データに対して像構造に基づく像構造圧縮を行う部分である。
最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）は、第ｋ主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）の分光反射率分布Ｒ（i,j , λ）に基づいた画像であり、その画像データが第ｋ主成分ベクトルｐ_k（λ）の係数に基づく明度値で表現された画像データからなる黒白画像である。画像圧縮部２２ｃは、このような画像データに対して、各主成分の主成分画像毎に、像構造圧縮を行う。なお、像構造圧縮方法として、例えば、ＪＰＥＧ（Joint Photographics Expert Group) で用いられるＤＣＴ（Discrete Cosine Transformation) 方式が挙げられる。以下では、ＪＰＥＧ方式について説明するが、この方式に制限されれず、例えば、ＤＦＴ（Discrete Fourier Transformation)方式やＦＦＴ(Fast Fourier Transformation) 方式やＷＴ(Wavelet Transformation)方式であってもよい。
【００２７】
ＪＰＥＧ方式とは、例えば１０２４×１０２４画素の主成分画像Ｓ_kを８×８画素のブロック画像に分解し、このブロック画像各々に対して、cosine関数による２次元の離散型のフーリエ展開であるＤＣＴを施し、得られた低周波成分から高周波成分に至る複数のフーリエ係数をＤＣＴ係数として求めたのち、予め与えられた量子化テーブルによって上記ＤＣＴ係数を除して、高周波成分のフーリエ係数を０として省略することで、高周波成分の画像データを圧縮し、その後ＤＣＴ係数の０次低周波成分である直流成分とそれ以外の周波数成分に分け、ハフマン符号化方式や公知の算術符号化方式を用いて、ＤＣＴ係数の画像データを符号化し圧縮する方式である。ここで、上記量子化テーブルの値は、主成分画像Ｓ_kの像構造によって変化するものである。
本発明においては、上記ＤＣＴ係数の高周波成分を量子化テーブルによって除去した画像データを、ハフマン符号化方式や公知の算術符号化方式を用いることなく、圧縮マルチスペクトル画像データとして、画像圧縮部２２ｃから出力させてもよい。また、最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）の画像像データに対して、符号化による圧縮を直接施してもよい。
【００２８】
本システム１０は、以上のように構成される。
次に、本発明のマルチスペクトル画像の画像圧縮方法について、本システム１０に沿った画像圧縮方法の流れを、図３を参照しつつ説明する。
【００２９】
まず、光源１２、可変フィルタ１４およびＣＣＤカメラ１６によって形成されるマルチバンドカメラによって撮影被写体Ｏを撮影し、複数のバンド帯域に分割された複数のバンド画像からなるマルチバンド画像Ｍ_Bを取得する（ステップ１００）。得られたマルチバンド画像Ｍ_Bは、マルチバンド画像データ記憶装置１８に一時記憶されると共に、マルチスペクトル画像取得装置２０に送られる。
【００３０】
マルチスペクトル画像取得装置２０では、例えばマクベスチャートのグレーパッチの画像データとその分光反射率の値との関係から作成された１次元ルックアップテーブル（１次元ＬＵＴ）が備えられており、この１次元ＬＵＴを用いて、マルチバンド画像データ記憶装置１８から呼び出された撮影被写体Ｏのマルチバンド画像Ｍ_Bの画像データを用いて各画素毎の撮影被写体Ｏの分光反射率を推定しマルチスペクトル画像Ｍ_Sの画像データを取得する（ステップ１０２）。この撮影被写体Ｏの分光反射率の推定において、精度の高い分光反射率分布を推定するために、マトリクス演算やフーリエ変換を用いたデコンボリューション処理が付加されてもよい。
【００３１】
次に、最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）および最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）を、最適主成分ベクトル・画像抽出部２２ｂにおいて求める（ステップ１０４）。
まず、主成分分析を行い（ステップ１０６）、主成分画像Ｓ_k（ｋ＝１〜ｎ）および主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）を求める。以下、主成分分析法について説明する。
【００３２】
マルチスペクトル画像Ｍ_sは、画素位置(i,j) においてそれぞれｎ個の分光反射率の値を持つ分光反射率分布を有し、分光反射率分布をＲ(i,j，λ) ＝( Ｒ (i,j ，λ₁)，Ｒ(i,j，λ₂)，Ｒ（i,j ，λ₃)，・・・，Ｒ（i,j ，λ_n) ）^T（小文字^Tは転置を示す）として、画像全体の画素または画像の一部分、例えば画像全体の画素から一定間隔で画素を間引いた残りの画素における自己相関行列Ｔ（Ｔの（i,j ) 成分Ｔ_ijはＲ^T・Ｒ／ｎである）を求める。
【００３３】
得られた自己相関行列Ｔはｎ×ｎの正方行列であり、この自己相関行列Ｔを用いて、下記式（２）を満足する固有値ｕ_k（ｕ₁＞ｕ₂＞・・・＞ｕ_n，ｋ＝１〜ｎ）および正規直交化された固有ベクトルである主成分ベクトルｐ_k（λ）＝( ｐ_k (i,j ，λ₁)，ｐ_k(i,j，λ₂)，ｐ_k（i,j ，λ₃)，・・・，ｐ_k（i,j ，λ_n) ）^T（ｋ＝１〜ｎ）を求める。固有値および固有ベクトルを求める方法は、ｊａｃｏｂｉ法やべき乗法等の公知の方法であればよく、特に制限されない。
Ｔ・ｐ_k（λ）＝ｕ_kｐ_k（λ）（２）
また、画素位置(i,j) における分光反射率分布Ｒ(i,j，λ) が下記式（３）のように、固有ベクトルである主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）で表されるため、
【数１】

下記式（４）に従って、主成分ベクトルｐ_k（λ）（ｋ＝１〜ｎ）がお互いに正規直行関係にあることを利用して、ｓ_k(i,j) 求める。
ｓ_k(i,j) ＝Ｒ(i,j，λ) ・ｐ_k（λ）（４）
ここで、記号・は、ｎ個の成分から成るバンド帯域の分光反射率の値についてのベクトルの内積であり、ｓ_k(i,j) は、マルチスペクトル画像の画素位置(i,j) での分光反射率Ｒ(i,j，λ) に含まれる第ｋ主成分ベクトルｐ_kの大きさを示す量である。また、このｓ_k(i,j) を各画素位置で求め、その値を各々の画素位置での画像データとする第ｋ主成分画像Ｓ_k（ｋ＝１〜ｎ）を求める。
【００３４】
ところで、分光反射率分布Ｒ(i,j，λ) における第１〜第ｎの各主成分の寄与は、上述したように、各主成分に付随した固有値ｕ_kの値が小さくなるに連れて小さくなることから、分光反射率分布Ｒ(i,j，λ) は、画像情報を最適に保持する限りにおいて、小さな固有値ｕ_kを持つ主成分ベクトルｐ_kを省略して近似することができる。
すなわち、下記式（５）に示すように、固有値ｕ_k（ｋ＝１〜ｎ）を大きい順に並べた際の、上からｍ番目以内の固有値ｕ_k（ｋ＝１〜ｍ）に対応する固有ベクトルｐ_k（λ) （ｋ＝１〜ｍ）を採用し、それ以外の固有値ｕ_kの小さい固有ベクトルｐ_k（λ) （ｋ＝ｍ＋１〜ｎ）を切り捨てることによって、分光反射率分布Ｒ(i,j，λ) を近似し、画像データを圧縮することができる。
【数２】

【００３５】
そこで、画像情報を最適に保持した状態で、分光反射率分布Ｒ(i,j，λ) が、画像情報を損なうことなく、近似的に表されるような主成分ベクトルｐ_kの採用数、すなわち最適主成分数ｍ₁を見いだし、これを用いて、マルチスペクトル画像Ｍ_sを圧縮する。これによって、マルチスペクトル画像Ｍ_sの画質を劣化させることなく、画像データを圧縮することができる。
ここで、固有値ｕ_kの大きい固有ベクトルである主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）を採用し、固有値ｕ_kの小さい固有ベクトルｐ_k（λ）（ｋ＝ｍ₁＋１〜ｎ）を切り捨てるための閾値となる最適主成分数ｍ₁の設定を以下の判断基準によって行なう（ステップ１０８）。
【００３６】
まず、固有値ｕ_kの大きい順に主成分ベクトルｐ_k（λ）を順次式（４）の主成分ベクトルｐ_k（λ）に含め、下記式（６）で示されるマルチスペクトル画像に対応する近似分光反射率分布Ｒ’(i,j，λ) を求める。
【数３】

近似分光反射率分布Ｒ’(i,j，λ) は、分光反射率分布Ｒ(i,j，λ) を近似しているため誤差が存在するが、この近似分光反射率分布Ｒ’(i,j，λ) から、一定の分光強度分布を掛け合わせて得られる合成画像Ｇの画像情報の、マルチスペクトル画像Ｍ_Sに上記分光強度分布を掛け合わせて得られるオリジナル画像の画像情報に対する誤差も、主成分数ｍが大きくなるに連れて減少する。そこで、判断基準として、所定値を予め定め、近似分光反射率分布Ｒ’(i,j，λ) に分光強度分布を掛け合わせて得られる合成画像Ｇの画像情報の上記オリジナル画像の画像情報に対する誤差が、上記判断基準として定めた所定値より小さくなる最初の主成分数ｍを求めることによって、最小の最適主成分数ｍ₁が取得される。
【００３７】
たとえば、合成画像Ｇの画像情報のマルチスペクトル画像Ｍ_Sの画像情報に対する誤差を、ＣＩＥＤ₆₅の標準光条件下のＣＩＥＬ^*ａ^*ｂ^*色空間における測色値Ｌ^*、ａ^*およびｂ^*の色差ΔＥ₀として、この色差ΔＥ₀に対する上記所定値を定め、最小の最適主成分数ｍ₁を求める。
また、上記誤差は、合成画像Ｇの画像全体または一部分のスペクトルの自乗誤差Ｅ₁であってもよく、その際、主成分数ｍの増加に対して自乗誤差Ｅ₁の減少量が所定値以内に飽和する時の最小の最適主成分数ｍ₁の値を求めてもよい。
【００３８】
このようにして、マルチスペクトル画像Ｍ_sの画像情報を保持し最適に代表する最小の最適主成分数ｍ₁を求め、これによって、固有値ｕ₁〜ｕ_m1（ｕ₁〜ｕ_m1＞ｕ_m1＞ｕ_m1+1＞・・・＞ｕ_n）に対応するｍ₁個の最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）および最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）を取得する。ここで、取り除かれる主成分ベクトルｐ_k（λ）（ｋ＝ｍ₁＋１〜ｎ）は、マルチスペクトル画像Ｍs に含まれるノイズ成分が支配的な場合が比較的多く、マルチスペクトル画像Ｍs から寄与の小さな主成分ベクトルｐ_k（λ）（ｋ＝ｍ₁＋１〜ｎ）を除去することで、マルチスペクトル画像Ｍ_sに含まれるノイズ成分の抑制も行うことができる。
【００３９】
次に、得られた最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）に対して、画像圧縮部２２ｃで画像圧縮（ステップ１１０）を行う。画像圧縮は、像構造に基づく画像データの圧縮（ステップ１１２）および符号化データの圧縮（ステップ１１４）から構成される。
像構造に基づく画像データの圧縮は、例えば、ＪＰＥＧ方式の圧縮が行われ、例えば１０２４×１０２４画素の主成分画像Ｓ_kを８×８画素のブロック画像に分解し、このブロック画像各々に対して、cosine関数による2 次元の離散型のフーリエ展開であるＤＣＴを施し、得られ低周波成分から高周波成分に至る複数のフーリエ係数をＤＣＴ係数として求めたのち、予め与えられた量子化テーブルによって上記ＤＣＴ係数を除した商を画像データとする。ここで、上記ＤＣＴ係数を除する量子化テーブルの係数は、高周波成分になるほど、値が大きく、しかも高周波成分のＤＣＴ係数は、低周波成分に比べて小さいため、高周波成分のＤＣＴ係数を除した商は大部分が０となる。すなわち、最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）の画像データに含まれる高周波成分の画像データの大部分を、像構造に基づいた量子化テーブルによって０とするのである。一般的に画像データに含まれる高周波成分は、低周波成分に対して、画像に対する寄与が小さく、高周波成分を除去しても原画像の画像情報に対する影響は少なく、高周波成分を省略しても構わないからである。また、高周波成分は、撮影被写体Ｏの画像成分よりもノイズ成分が支配的である場合が多く、高周波成分を除去することで、画像データに含まれるノイズ成分を除去することができる。
【００４０】
このように大部分の画像データの高周波成分のＤＣＴ係数を０とすることで、画像データの情報エントロピーを低減することができ、後述する符号化データ圧縮( ステップ１１４）の際において、画像データを大きく圧縮することが可能となる。
【００４１】
次に、高周波成分の大部分が０となったＤＣＴ係数で構成される主成分画像Ｓ_k（ｋ＝１〜ｍ₁）をそれぞれ、符号化し、画像データを圧縮する（ステップ１１４）。符号化は、例えばハフマン符号化やその他の算術符号化が行われる。
例えば、ハフマン符号化においては、ＤＣＴ係数の０次低周波成分である直流成分とそれ以外の周波数成分に分け、例えば、８×８画素のブロック画像を代表した直流成分のみで表示される１／８×１／８の縮尺画像を得、この縮尺画像に対して、隣接する画素値との差分を取ってＤＰＣＭ符号化により圧縮を行う。
一方、直流成分以外の周波数成分は、高周波成分になるにつれ、ＤＣＴ係数が０となって行くため、順次低周波から高周波に向けてＤＣＴ係数を符号化する際、ＤＣＴ係数０の連続する個数、すなわちランレングスによって符号化し、画像データの圧縮率を高めることができる。
【００４２】
このようにして、最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）の画像データを符号化した最適主成分圧縮画像データＳｄ_k（ｋ＝１〜ｍ₁）を得、ステップ１０４において求められた最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）とともに、圧縮マルチスペクトル画像データとして、記録メディアドライブ装置２４を介して、ハードディスクやＭＯやＣＤ−ＲやＤＶＤ等の各種記録メディアに保存する（ステップ１１６）。
【００４３】
本発明においては、画像データ量の大きなマルチスペクトル画像Ｍ_sを主成分分析し、画像情報を最適に保持する最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）および最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）を求めることによって、画像データ量を圧縮し、さらに、ＪＰＥＧ方式等によって、最適主成分画像Ｓ_k（ｋ＝１〜ｍ₁）に対応した圧縮画像データＳｄ_k（ｋ＝１〜ｍ₁）を求めて一層圧縮し，得られた最適主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ₁）および圧縮画像データＳｄ_k（ｋ＝１〜ｍ₁）を記録保存する。
これによって、複数のスペクトル画像が視覚的に劣化することなく画像圧縮の際の圧縮率を高め、画像データの取り扱いが向上する。
【００４４】
このようなマルチスペクトル画像の画像圧縮方法および画像圧縮装置において、以下のようなマルチスペクトル画像の圧縮を行った。
ＣＣＤカメラ１６として、ＤＡＬＳＡ社製 CA-D4-1024A（画素数１０２４×１０２４、ピクセルサイズ１２×１２ミクロン、ＰＣＩインターフェース付き、モノクロ）を用い、可変フィルタ１４として、ＣＲＩ社製Varispec Tunable Filter （液晶チューナブルフィルタ）を用いた。この液晶チューナブルフィルタによって、３８０〜７８０ｎｍの撮影波長帯域を、バンド帯域幅を１０ｎｍずつに分割し、４１バンドとした。人物を撮影被写体Ｏとし、４１画像から成る人物画のマルチバンド画像Ｍ_Bを得た。
【００４５】
マルチバンド画像記憶部１８、マルチスペクトル画像取得装置２０およびマルチスペクトル画像圧縮装置２２は、ＰＲＯＳＩＤＥ社製ブック型ＰＣ（パーソナルコンピュータ）を用いて構成し、Windows ９５上でＣ⁺⁺言語によるソフトウェア処理を行った。なお、ＰＲＯＳＩＤＥ社製ブック型ＰＣは、ＣＰＵが１６６MHz であり、ＲＡＭは１２８Mbyte であった。
なお、前処理として、ソフトウェア処理の都合上から、画像データの量子化数を２バイトから１バイトに変換した。この前処理は、以降で述べる画像データ量の圧縮には含まれていないものである。
【００４６】
まず、マルチスペクトル画像取得装置２０において、マルチバンド画像Ｍ_Bからマルチスペクトル画像Ｍ_Sを抽出し、主成分分析を行い、主成分ベクトルｐ_k（λ）（ｋ＝１〜４１）および主成分画像Ｓ_k（ｋ＝１〜４１）を求めた。
【００４７】
次に、最適主成分数ｍ₁を求めるために、判断基準として、ＣＩＥＤ₆₅の標準光源下のＣＩＥＤ１９７６Ｌ^*ａ^*ｂ^*色空間における色度に基づく平均色差を１．５とし、上述した主成分分析法によって固有値ｕ_kおよび固有ベクトルである主成分ベクトルｐ_kを求めた。固有値ｕ_kの大きい順に採用したｍ個の主成分ベクトルｐ_k（λ）（ｋ＝１〜ｍ）によって再構成される合成画像Ｇとマルチスペクトル画像Ｍ_sから得られるオリジナル画像との上記平均色差を求め、平均色差が１．５以下となる最適主成分数ｍ₁を決定した。
その結果、最適主成分数ｍ₁は６であった。また、マルチスペクトル画像Ｍ_sを第１〜第６主成分ベクトルによって近似しても、再構成された合成画像Ｇは、オリジナル画像の画像情報を依然保持し、しかも視覚的に劣化の少ないことがわかった。すなわち、第１〜６主成分画像Ｓ_k（ｋ＝１〜６）と第１〜６主成分ベクトルにより、４１のバンド帯域からなるマルチスペクトル画像Ｍ_sを約１／７（６／４１）に画像データ量を圧縮することができた。
【００４８】
さらに、求められた第１〜６主成分画像Ｓ_k（ｋ＝１〜６）について、上述した像構造に基づく非可逆なＤＣＴによるＪＰＥＧ方式で画像データの圧縮を行い、最適主成分画像Ｓ_k（ｋ＝１〜６）の画像データを符号化した。
その結果、最終的に主成分画像Ｓ_k（ｋ＝１〜６）の画像データは、４１Ｍバイトから０．７Ｍバイトに、約１／６０に圧縮されることがわかった。しかも、画像情報を保持し、視覚的な劣化も見られなかった。
【００４９】
このように、本発明の画像圧縮方法およびこれを用いた画像圧縮装置は、複数のスペクトル画像に対して、視覚的な劣化が少なく画像圧縮の際の圧縮率を高め、例えば１／６０程度に高め、画像データの取り扱いを向上するのは明らかである。
【００５０】
以上、本発明のマルチスペクトル画像の画像圧縮方法および画像圧縮装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００５１】
【発明の効果】
以上、詳細に説明したように、本発明によれば、画像データ量の大きなマルチスペクトル画像を主成分分析し、画像情報を最適に保持し代表する最適主成分ベクトルおよび最適主成分画像を求めることによって、画像データ量を圧縮し、さらに最適主成分画像をＪＰＥＧ方式等による像構造圧縮を行い、さらに像構造圧縮を行った最適主成分画像の画像データを符号化して圧縮画像データとすることによって、マルチスペクトル画像の画像データに対して、画像情報を最適に保持し代表する最適主成分画像と最適主成分圧縮画像データで近似して表すことができるので、画像品質を損なうことなく、画像圧縮し、さらに圧縮率を高め、画像データの取り扱いを向上させることができる。
また、マルチスペクトル画像に含まれる主成分ベクトルからノイズ成分が支配的な主成分ベクトルを除去することができ、ノイズ成分の抑制も行うことができる。
【図面の簡単な説明】
【図１】本発明のマルチスペクトル画像圧縮装置を含むマルチスペクトル画像取得システムの一例を示す概念図である。
【図２】本発明に係るマルチスペクトル画像圧縮装置の一例を示すブロック図である。
【図３】本発明のマルチスペクトル画像圧縮方法のフローの一例を示すフローチャートである。
【符号の説明】
１０マルチスペクトル画像取得システム
１２光源
１４可変フィルタ
１６ＣＣＤカメラ
１８マルチバンド画像データ記憶装置
２０マルチスペクトル画像取得装置
２２マルチスペクトル画像圧縮装置
２２ａ主成分分析部
２２ｂ最適主成分ベクトル・画像抽出部
２２ｃ画像圧縮部
２４記録メディアドライブ装置[0001]
BACKGROUND OF THE INVENTION
The present invention is effective for image data of a multispectral image obtained by using a band image obtained by dividing a photographing wavelength region when photographing a subject into a plurality of band bands, without impairing image quality. The present invention relates to a technical field of compression processing of image data that can be compressed.
[0002]
[Prior art]
  Today, with the advancement of digital image processing, as a means for completely expressing color information (lightness, hue, saturation) of an image, an image having spectral information (spectral image) for each pixel of the image, that is, a multispectral image is used. It's being used.
  In this multispectral image, a spectral reflectance distribution is estimated for each image based on a multiband image composed of a plurality of band images obtained by dividing a subject to be photographed into a plurality of band bands. Is obtained. This multiband image can reproduce color information that cannot be sufficiently expressed by a conventional RGB color image composed of red (R), green (G), and blue (B) images. For example, a more accurate color reproduction is desired. It is effective for the world of painting. Therefore, in order to take advantage of the feature of accurately reproducing this color information, for example, the imaging wavelength band of 380 to 780 nm is divided into 10 nm bands.41Divide every band and every 5nm band81It is desirable to obtain a multispectral image based on a multiband image having a large number of bands such as bands.
[0003]
However, since a multispectral image having spectral information for each pixel has spectral reflectance data for each band (channel) obtained by dividing the imaging wavelength band, for example, for every 41 channels, the conventional three-channel image has been used. Compared to the RGB color image, for example, the image data amount must be about 13 times (41 channels / 3 channels).
Therefore, when storing the image data of the obtained multispectral image, a large storage capacity is required, and the time required for storage is long. Also, it takes a lot of time to transfer image data via a network, and handling becomes difficult.
[0004]
  To solve such a problem, a spectral waveform obtained from spectral information for each pixel of a multispectral image is developed with three color matching functions, for example, a color matching function of RGB color form, and is not represented with a color matching function. Using the principal component analysis method, the spectral waveform part is expanded with the principal component basis vectors, and the principal components that represent the image information of the spectral image are extracted and adopted, and the other principal components are removed. Finally, a method of expressing the above spectrum waveform with a total of 6 to 8 basis vectors including color matching functions has been proposed (Th. Keusen, Multispectoral Color System wuth an Encoding Format Compatible with the Conventional Tristimulus Model, Journal of Imaging Science and Technology 40: 510-515 (1996)). By using this, the image data of the multispectral image can be compressed by expressing the spectrum waveform with 6 to 8 basis vectors and pairs of coefficients corresponding thereto. Especially when expressed by color matching functions of RGB color formofThe coefficients of the color matching function are R, G and B tristimulus valuesBecause it corresponds toIt is not necessary to perform special conversion so as to be compatible with a conventional image processing apparatus or image display apparatus in which image processing, image display, etc. are performed based on tristimulus values by R, G, and B pixels. Image dataFor conventional image processing devices and image display devicesIt has an excellent effect for reducing processing such as being able to be sent.
[0005]
For example, in the case of a multispectral image composed of 41 spectral images, the image data obtained by such a method is represented by, for example, eight basis vectors and their coefficients, thereby reducing the amount of image data of the multispectral image. It can be compressed to 20% (8 pieces / 41 pieces × 100).
However, in the case of a multi-spectral image composed of 41 spectral images, the amount of image data of the RGB color image is about 13 times larger than that of the RGB color image. The amount of data is still about 2.5 times (13 × 20/100) the amount of image data. For this reason, as described above, the recording time when recording and saving on a recording medium or the like, and the transfer time when transferring image data via a network are long, and handling is still difficult.
[0006]
Therefore, the present invention solves the above-described problems, and is less likely to be visually degraded with respect to a plurality of spectral images obtained by dividing a photographing wavelength band when photographing a subject into a plurality of band bands. It is an object of the present invention to provide an image compression method and an image compression apparatus for multispectral images that can increase the compression rate during image compression and improve the handling of image data.
[0007]
  In order to achieve the above object, the present invention is a method of compressing a multispectral image obtained by using a band image obtained by dividing a shooting wavelength band into a plurality of band bands when shooting a subject. ,
  Perform principal component analysis using image data of multispectral image to obtain multiple pairs of principal component vector and principal component image of multispectral image,
  In this multiple pairThe principal component vector ofFromA composite image reconstructed using the selected principal component vector and, Multispectral imageSelected from among the principal component vectors having a chromaticity difference in a color space of less than or equal to a predetermined valueObtain the optimal principal component vector and the corresponding optimal principal component image,
  For each optimum principal component image obtained, image structure compression is performed to obtain optimum principal component compressed image data,
  The present invention provides an image compression method for a multispectral image, wherein the image data of the multispectral image is compressed into the optimum principal component vector and the optimum principal component compressed image data.
[0008]
  here,The color space is CIED ₆₅ CIED 1976L under standard light source ^* a ^* b ^* A color space, and the predetermined value has an average color difference of 1.5 based on chromaticity in the color space.Is preferred.
[0009]
The image structure compression is preferably compression of high-frequency components of the image data by discrete Fourier transform or wavelet transform, and the compression by the image structure is encoding that compresses image data by encoding image data. A compression process is preferably added.
[0010]
  The present invention is also a multispectral image compression apparatus for compressing a multispectral image obtained by using a band image obtained by dividing a photographing wavelength band into a plurality of band bands when photographing a subject. ,
  A principal component analysis unit that performs principal component analysis using the image data of the multispectral image and obtains a plurality of pairs of the principal component vector and the principal component image of the multispectral image;
  Among multiple pairs of principal component vectors and principal component images obtained by this principal component analysis unitThe principal component vector ofFromA composite image reconstructed using the selected principal component vector and, Multispectral imageSelected from among the principal component vectors having a chromaticity difference in a color space of less than or equal to a predetermined valueAn optimum principal component vector / image extraction unit for obtaining an optimum principal component vector and an optimum principal component image;
  Provided is an image compression device for multispectral images, characterized by having an image compression unit that performs image structure compression on the image data of each optimum principal component image obtained by the optimum component vector / image extraction unit. Is.
  Here, the color space is CIED. ₆₅ CIED 1976L under standard light source ^* a ^* b ^* Preferably, the predetermined value has an average color difference of 1.5 based on chromaticity in the color space.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a multispectral image acquisition system for performing an image compression method of a multispectral image of the present invention will be described in detail based on a preferred embodiment shown in the accompanying drawings.
[0012]
  FIG. 1 shows a multispectral image acquisition system (hereinafter referred to as the present system) 10 that implements the multispectral image compression method of the present invention and includes the multispectral image compression apparatus of the present invention.
  The present system 10 shoots a photographic subject O and stores the obtained image data of the multispectral image MS in a recording medium. The system 10 illuminates the photographic subject O and shoots wavelength bands into a plurality of band bands. A multi-band image M obtained by photographing the photographic subject O_BCCD camera 16 for obtaining a multi-band image storage for temporarily storing image dataapparatus18, the spectral reflectance distribution is estimated for each pixel from the multiband image, and the multispectral image M_SA multispectral image acquisition device 20 for obtaining the image data, a multispectral image compression device 22 for compressing the image data of the multispectral image MS with little visual deterioration and a high compression ratio, and storing the obtained compressed image data. And a recording medium drive device 24. In the present invention, the multispectral image M_sPreferably comprises at least 6 channels or more of spectral images, that is, the number of constituent wavelengths having spectral reflectance distribution data is 6 or more.
[0013]
The light source 12 captures the photographic subject O, and the type of the light source is not particularly limited, but the captured multiband image M_BSpectral reflectance is estimated from the multispectral image M_SIs preferably a light source with a known spectral intensity distribution.
The variable filter 14 captures the photographic subject O and multiband image M._BIn order to obtain the above, a band pass filter in which the band for dividing the imaging wavelength band can be set variably, for example, it can be divided into 16 bands, 21 bands, 41 bands, and the like. An example of such a variable filter is a liquid crystal tunable filter.
[0014]
The CCD camera 16 is a camera that captures an image formed by transmitted light obtained by splitting reflected light of a photographing subject O into a desired wavelength band through a variable filter 14 as a black and white band image. In this case, a CCD (charge coupled device) imaging device is arranged in a planar shape as an area sensor.
In addition, the CCD camera 16 is provided with a white balance adjustment mechanism that is performed before the photographing subject O is photographed in order to appropriately determine the dynamic range of the brightness value of the photographed image.
[0015]
The multiband image data storage device 18 is a multiband image M composed of a plurality of band images obtained by dividing the imaging wavelength band into a plurality of band bands and adjusted in white balance corresponding to each band._BIs a part for temporarily storing and holding.
The multispectral acquisition device 20 is preliminarily determined based on the correspondence between the image data of the photographic subject having a known spectral reflectance photographed by the CCD camera 16, for example, the image data of the Macbeth chart gray patch and the known spectral reflectance value. A created one-dimensional lookup table (one-dimensional LUT) is provided, and a multiband image M of the photographic subject O called from the multiband image data storage device 18 using the one-dimensional LUT._BThe spectral reflectance of the photographic subject O for each pixel is estimated from the image data of the multi-spectral image M_SIs the part to get.
When estimating the spectral reflectance of the photographic subject O, the obtained multispectral image M is obtained when the filter characteristics of the variable filter 14, that is, the spectral transmittance distribution of the variable filter 14 has a characteristic in which the spectral transmittance partially overlaps between bands._SSince the spectral reflectance distribution is dull and a highly accurate spectral reflectance distribution cannot be estimated, a deconvolution process that eliminates the filter characteristics may be performed using matrix calculation or Fourier transform.
[0016]
The recording media drive device 24 is a drive device that records on a recording medium such as a hard disk, floppy disk, MO, CD-R, or DVD._SThe compressed multispectral image data obtained by compressing the image data by the multispectral image compression device 22 described later can be recorded. Further, in addition to or instead of the recording media drive device 24, a network connection device may be provided to transfer compressed multispectral image data described later via various networks.
[0017]
The multispectral image compression device 22 is a multispectral image M obtained by the multispectral acquisition device 20._SIs a part for obtaining compressed multispectral image data with a low visual degradation and a high image compression rate, and a principal component analyzing unit 22a, an optimum principal component vector / image extracting unit 22b, And an image compression unit 22c. Moreover, this apparatus may be comprised by the software provided with the function as shown below, and may be comprised as one hardware.
[0018]
  The principal component analysis unit 22 a_SThe principal component analysis of the spectral reflectance distribution provided for each pixel is performed, and the spectral reflectance distribution is developed into the principal component for each pixel. Hereinafter, the number of bands for dividing the imaging wavelength band into a plurality of band bands will be described as n.
  The principal component analysis method according to the present invention is one of the methods for sampling an observed waveform data group by normal orthogonal expansion, and is also called optimum sampling. That is, the smallest number of orthogonal basis functionsWeightIt is a method for expressing the observed waveform data with the highest accuracy on average. Here, the orthogonal basis function is called a principal component vector.
  Specifically, as the principal component analysis in the present invention, a primary independent eigenvector specific to the observed waveform is obtained as a principal component vector from the observed waveform using a statistical method and an eigenvalue analysis method. If there is essentially no noise component in the observed waveform, the principal component vector having a small eigenvalue having an eigenvalue of 0 is removed, the optimal principal component vector having a number smaller than the number of bands n is obtained, and the observed waveform is linearized by this optimum principal component vector. The method described in Shigeo Minami, “Waveform data processing for scientific measurement”, pp. 220-225. This analysis method is mainly performed in the principal component analysis unit 22a and an optimum principal component vector / image extraction unit 22b described later.
  When the principal component analysis method is used, the multispectral image M which is an observed waveform_SThe spectral reflectance waveform for each pixel can be expressed linearly, and the noise component included in the spectral reflectance waveform is also preferably unrelated to the spectral reflectance value.
[0019]
To explain along the present embodiment, the multispectral image M_SEach has a spectral reflectance value corresponding to the number n of bands obtained by dividing the imaging wavelength band of the subject using the variable filter 14 for each pixel. That is, a multiband image M composed of n band bands._BMultispectral image M obtained by_SHas a spectral reflectance distribution R composed of n spectral reflectance values. Multispectral image M_SEach pixel is, for example, 1024 × 1024 pixels, that is, about 10 pixels.⁶Since the number of pixels is overwhelmingly larger than n, which is the number of spectral reflectances, statistical processing, that is, spectral reflection expressed in the form of an n-dimensional vector as will be described later. Rate distribution R (i, j, λ) = (R (i, j, λ₁), R (i, j, λ₂), R (i, j, λ_Three), ..., R (i, j, λ_n))^T(Lowercase^TIs the transposition, (i, j) is the pixel position of the pixel of interest, and λ is the spectral wavelength), the autocorrelation matrix T for the entire image area or a part of the pixel is obtained, and the main spectral reflectance is calculated. Component analysis can be performed.
[0020]
The principal component obtained here is obtained by using a statistical process, and is an eigenvector of an autocorrelation matrix T that is orthonormalized, for example, consisting of n spectral reflectance values corresponding to the number of n bands. A principal component vector p_k(Λ) (k = 1 to n) and the eigenvalue u of the autocorrelation matrix T_k(K = 1 to n (k represents an integer of 1 to n)). The principal component vector p_k(Λ) (k = 1 to n) is used to linearly develop the spectral reflectance distribution R (i, j, λ) at the pixel position (i, j) of the spectral image, and the principal components obtained at that time Vector p_kCoefficient s according to (λ) (k = 1 to n)_k(i, j) (k = 1 to n) is obtained, and this is used as image data at the pixel position (i, j)._k(K = 1 to n) can be obtained.
Obtained principal component vector p_k(Λ) (k = 1 to n) and principal component image S_k(K = 1 to n) is sent to the optimum principal component vector / image extraction unit 22b.
[0021]
The optimum principal component vector / image extraction unit 22b is configured to output the principal component vector p obtained by the principal component analysis unit 22a._k(Λ) (k = 1 to n) and the corresponding principal component image S_k(K = 1 to n) and the optimal number of principal components m₁And the optimal principal component vector p_k(Λ) (k = 1 to m₁) And the optimal principal component image S_k(K = 1 to m₁).
Optimal principal component vector p_k(Λ) (k = 1 to m₁) And the optimal principal component image S_k(K = 1 to m₁) Is extracted from the principal component vector p obtained by the principal component analysis unit 22a._kIn (λ) (k = 1 to n), an eigenvector that does not originally correspond to the principal component vector due to the influence of the noise component of the image data of the multispectral image is also the principal component vector p._kSince it is included as (λ) (k = 1 to n), this principal component vector p_k(Λ) is eliminated and the optimal principal component vector p_k(Λ) (k = 1 to m₁) And the optimal principal component image S_k(K = 1 to m₁) Must be extracted.
[0022]
That is, n principal component vectors p_k(Λ) (k = 1 to n) and the corresponding principal component image S_kFrom the (k = 1 to n) pairs, fewer m (m <n) principal component vectors p_k(Λ) (k = 1 to m) and the corresponding principal component image S_kA composite image G is obtained using a pair of (k = 1 to m), and the multispectral image M of the image information of the composite image G is obtained._sUsing the error to the image information of the original image based on_k(Λ) (k = 1 to m) and the corresponding principal component image S_kIt is determined whether (k = 1 to m) is the optimum principal component.
[0023]
Where the principal component vector p_k(Λ) is the corresponding eigenvalue u_kIs larger, the multispectral image M_sThe main component contributes greatly to the spectral reflectance distribution. Principal component vector p_k(Λ) to the eigenvalue u_kIn ascending order of eigenvalue u_kThe principal component vectors employed for obtaining the composite image G are sequentially increased in the descending order of the number, and the composite image G reconstructed under a certain illumination light source is obtained. Spectral image M_SThe error of the image information of the composite image G with respect to the original image based on the above decreases monotonously as the number m of principal component vectors employed increases. Therefore, the minimum optimum principal component number m is obtained by obtaining the first principal component vector number m in which this error decreases below a predetermined value.₁Can be requested. As a result, the optimum number of principal components m₁Principal component vector p adopted when obtaining composite image G_k(Λ) and the principal component image S obtained based thereon_kRespectively, the optimal principal component vector p_k(Λ) (k = 1 to m₁) And the optimal principal component image S_k(K = 1 to m₁) Can be extracted.
[0024]
Here, the image information is, for example, CIEL^*a^*b^*Colorimetric value L under a certain light source in the color space^*, A^*And b^*For example, CIED₆₅Colorimetric value L under standard light conditions^*, A^*And b^*In this case, the error is a color difference ΔE represented by the following formula (1).₀It is. In this case, this color difference ΔE₀For example, the optimal number m of principal components is found by finding the number m of principal component images such that the value is 1.0 or less.₁Can be requested.
ΔE₀= {(ΔL^*)²+ (Δa^*)²+ (Δb^*)²}^1/2    (1)
Where ΔL^*, Δa^*And Δb^*Is an average colorimetric value L in the whole or part of the composite image and the multispectral image.^*, A^*And b^*Difference. In this way, the optimum number of principal components m₁Is the color difference ΔE between the colorimetric value in the color space of the composite image G and the colorimetric value of the original image.₀Is adaptively determined based on
[0025]
Further, the error of the image information, that is, m principal component vectors p with respect to the original image_kThe square error E of the spectrum of the pixel of the whole image or a part of the composite image G reconstructed by₁It may be. The spectral image data having spectral information corresponding to the band band of the composite image G is also regarded as an example of the colorimetric value, and the spectral image data that is the colorimetric value in the color space of the composite image G and the original image The square error E of the spectral image data that is the colorimetric value of₁Based on the optimal number of principal components m₁May be determined adaptively. In this case, this square error E₁Or Log (E₁) Is monotonically decreasing with respect to the number m of principal component vectors.₁Or Log (E₁The value of m when the decrease width of) becomes smaller than a predetermined value, that is, the minimum value of m when the decrease in the square error E is saturated below a predetermined value with respect to the increase in m may be obtained. .
[0026]
The image compression unit 22c obtains the optimum principal component image S obtained by the optimum principal component vector / image extraction unit 22b._k(K = 1 to m₁The image structure is compressed based on the image structure for each image data.
Optimal principal component image S_k(K = 1 to m₁) Is the k-th principal component vector p_k(Λ) (k = 1 to m₁) Spectral reflectance distribution R (i, j, λ), and the image data is the k-th principal component vector p._kIt is a black-and-white image composed of image data expressed by brightness values based on the coefficient of (λ). The image compression unit 22c performs image structure compression on such image data for each principal component image of each principal component. An example of the image structure compression method is a DCT (Discrete Cosine Transformation) method used in JPEG (Joint Photographics Expert Group). Hereinafter, the JPEG method will be described. However, the present invention is not limited to this method, and for example, a DFT (Discrete Fourier Transformation) method, an FFT (Fast Fourier Transformation) method, or a WT (Wavelet Transformation) method may be used.
[0027]
  The JPEG method is, for example, a principal component image S of 1024 × 1024 pixels._kIs divided into 8 × 8 pixel block images, and for each block image, a cosine function is used.2Obtained by applying DCT, which is a discrete Fourier expansion of dimensionsTheAfter obtaining a plurality of Fourier coefficients from a low frequency component to a high frequency component as DCT coefficients, the DCT coefficient is divided by a predetermined quantization table, and the Fourier coefficient of the high frequency component is omitted as 0, thereby eliminating the high frequency. The image data of the component is compressed, and then divided into a DC component that is the zero-order low frequency component of the DCT coefficient and other frequency components, and the image data of the DCT coefficient using a Huffman coding method or a known arithmetic coding method. Is encoded and compressed. Here, the value of the quantization table is the principal component image S._kDepending on the image structure.
  In the present invention, the image data obtained by removing the high-frequency component of the DCT coefficient by the quantization table is used as compressed multispectral image data from the image compression unit 22c without using a Huffman coding method or a known arithmetic coding method. It may be output. In addition, the optimum principal component image S_k(K = 1 to m₁) May be directly compressed by encoding.
[0028]
The system 10 is configured as described above.
Next, the flow of the image compression method according to the present system 10 will be described with reference to FIG.
[0029]
  First, a photographic subject O is photographed by a multiband camera formed by the light source 12, the variable filter 14, and the CCD camera 16, and a multiband image M composed of a plurality of band images divided into a plurality of band bands._BIs acquired (step 100). Obtained multiband image M_BIs temporarily stored in the multiband image data storage device 18.WhenBoth are sent to the multispectral image acquisition device 20.
[0030]
The multispectral image acquisition apparatus 20 is provided with a one-dimensional lookup table (one-dimensional LUT) created from the relationship between, for example, image data of a gray patch of a Macbeth chart and the value of its spectral reflectance. Using the LUT, the multiband image M of the photographic subject O called from the multiband image data storage device 18_BMultispectral image M by estimating the spectral reflectance of the photographic subject O for each pixel using the image data of_SImage data is acquired (step 102). In the estimation of the spectral reflectance of the photographic subject O, a deconvolution process using a matrix operation or Fourier transform may be added in order to estimate a highly accurate spectral reflectance distribution.
[0031]
Next, the optimum principal component image S_k(K = 1 to m₁) And the optimal principal component vector p_k(Λ) (k = 1 to m₁) Is obtained in the optimum principal component vector / image extraction unit 22b (step 104).
First, principal component analysis is performed (step 106), and the principal component image S_k(K = 1 to n) and principal component vector p_k(Λ) (k = 1 to n) is obtained. Hereinafter, the principal component analysis method will be described.
[0032]
Multispectral image M_sHas a spectral reflectance distribution having n spectral reflectance values at the pixel position (i, j), and R (i, j, λ) = (R (i, j, λ₁), R (i, j, λ₂), R (i, j, λ_Three), ..., R (i, j, λ_n))^T(Lowercase^TIs a transposition), an autocorrelation matrix T (the (i, j) component T of T) in a pixel of the entire image or a part of the image, for example, the remaining pixels obtained by thinning out pixels from the entire image at regular intervals_ijIs R^T(R / n)
[0033]
The obtained autocorrelation matrix T is an n × n square matrix, and using this autocorrelation matrix T, an eigenvalue u that satisfies the following equation (2):_k(U₁> U₂> ...> u_n, K = 1 to n) and the principal component vector p which is an orthonormalized eigenvector_k(Λ) = (p_k (i, j, λ₁), P_k(i, j, λ₂), P_k(I, j, λ_Three), ..., p_k(I, j, λ_n))^T(K = 1 to n) is obtained. The method for obtaining the eigenvalue and the eigenvector is not particularly limited as long as it is a known method such as the jacobi method or the power method.
T ・ p_k(Λ) = u_kp_k(Λ) (2)
The spectral reflectance distribution R (i, j, λ) at the pixel position (i, j) is a principal component vector p that is an eigenvector as shown in the following equation (3)._kSince (λ) (k = 1 to n),
[Expression 1]

In accordance with the following equation (4), the principal component vector p_kUsing the fact that (λ) (k = 1 to n) are in a normal orthogonal relationship with each other, s_k(i, j) Find it.
s_k(i, j) = R (i, j, λ) ・ p_k(Λ) (4)
Here, the symbol “·” is the inner product of the vectors of the spectral reflectance values in the band band composed of n components, and s_k(i, j) is the k-th principal component vector p included in the spectral reflectance R (i, j, λ) at the pixel position (i, j) of the multispectral image._kIt is an amount indicating the size of. This s_k(i, j) is obtained at each pixel position, and the k-th principal component image S having the value as image data at each pixel position._k(K = 1 to n) is obtained.
[0034]
By the way, as described above, the contribution of the first to n-th principal components in the spectral reflectance distribution R (i, j, λ) is the eigenvalue u associated with each principal component._kThe spectral reflectance distribution R (i, j, λ) is small as long as the image information is optimally held._kPrincipal component vector p with_kCan be approximated by omitting.
That is, as shown in the following formula (5), the eigenvalue u_kEigenvalue u within mth from the top when (k = 1 to n) are arranged in descending order_kEigenvector p corresponding to (k = 1 to m)_k(Λ) (k = 1 to m) is adopted, and other eigenvalues u_kSmall eigenvector p_kBy truncating (λ) (k = m + 1 to n), the spectral reflectance distribution R (i, j, λ) can be approximated and the image data can be compressed.
[Expression 2]

[0035]
Therefore, the principal component vector p such that the spectral reflectance distribution R (i, j, λ) is approximately expressed without impairing the image information in a state where the image information is optimally held._kAdopted number, that is, optimum number of principal components m₁And using this, the multispectral image M_sCompress. As a result, the multispectral image M_sThe image data can be compressed without degrading the image quality.
Where eigenvalue u_kPrincipal component vector p which is a large eigenvector_k(Λ) (k = 1 to m₁) And the eigenvalue u_kSmall eigenvector p_k(Λ) (k = m₁+1 to n) is the optimum number of principal components m as a threshold for rounding down₁Is set according to the following criteria (step 108).
[0036]
First, the eigenvalue u_kPrincipal component vector p in descending order of_k(Λ) is sequentially changed to the principal component vector p of the formula (4)._kThe approximate spectral reflectance distribution R ′ (i, j, λ) corresponding to the multispectral image represented by the following formula (6) is obtained in (λ).
[Equation 3]

The approximate spectral reflectance distribution R ′ (i, j, λ) has an error because it approximates the spectral reflectance distribution R (i, j, λ), but this approximate spectral reflectance distribution R ′ (i , j, λ) from the multispectral image M of the image information of the composite image G obtained by multiplying a certain spectral intensity distribution._SThe error with respect to the image information of the original image obtained by multiplying the above-mentioned spectral intensity distribution also decreases as the number of principal components m increases. Therefore, as a determination criterion, a predetermined value is determined in advance, and the image information of the composite image G obtained by multiplying the spectral intensity distribution by the approximate spectral reflectance distribution R ′ (i, j, λ) is the image information of the original image. The minimum optimum principal component number m is obtained by obtaining the first principal component number m whose error is smaller than the predetermined value set as the determination criterion.₁Is acquired.
[0037]
For example, the multispectral image M of the image information of the composite image G_SThe error for the image information of CIED₆₅CIEL under standard light conditions^*a^*b^*Colorimetric value L in color space^*, A^*And b^*Color difference ΔE₀This color difference ΔE₀The above-mentioned predetermined value for is determined, and the minimum optimum number of principal components m₁Ask for.
Further, the error is the square error E of the spectrum of the entire image or a part of the composite image G.₁In this case, the square error E with respect to the increase in the number of principal components m.₁Minimum optimal number of principal components m when the amount of decrease is saturated within a predetermined value₁May be obtained.
[0038]
In this way, the multispectral image M_sThe minimum number of optimal principal components m that best represents the image information₁, So that the eigenvalue u₁~ U_m1(U₁~ U_m1> U_m1> U_{m1 + 1}> ...> u_nM corresponding to₁Optimal principal component vectors p_k(Λ) (k = 1 to m₁) And the optimal principal component image S_k(K = 1 to m₁) To get. Where the principal component vector p to be removed_k(Λ) (k = m₁+1 to n), the noise component included in the multispectral image Ms is relatively dominant, and the principal component vector p having a small contribution from the multispectral image Ms._k(Λ) (k = m₁By removing +1 to n), the multispectral image M_sThe noise component contained in can also be suppressed.
[0039]
Next, the obtained optimum principal component image S_k(K = 1 to m₁), The image compression unit 22c performs image compression (step 110). Image compression consists of compression of image data based on the image structure (step 112) and compression of encoded data (step 114).
The compression of the image data based on the image structure is, for example, JPEG compression, for example, a main component image S of 1024 × 1024 pixels._kIs divided into 8 × 8 pixel block images, and each block image is subjected to DCT, which is a two-dimensional discrete Fourier expansion using a cosine function. After obtaining the coefficient as a DCT coefficient, a quotient obtained by dividing the DCT coefficient by a predetermined quantization table is set as image data. Here, the coefficient of the quantization table that divides the DCT coefficient has a larger value as the frequency component becomes higher, and the DCT coefficient of the high frequency component is smaller than the low frequency component. Therefore, the DCT coefficient of the high frequency component is divided. Most of the quotient is 0. That is, the optimum principal component image S_k(K = 1 to m₁) Is set to 0 by the quantization table based on the image structure. In general, the high frequency component included in the image data has a small contribution to the image with respect to the low frequency component, and even if the high frequency component is removed, the influence on the image information of the original image is small, and the high frequency component may be omitted. Because there is no. Further, the high-frequency component is often dominated by the noise component as compared with the image component of the photographic subject O, and the noise component included in the image data can be removed by removing the high-frequency component.
[0040]
In this way, by setting the DCT coefficient of the high-frequency component of most image data to 0, the information entropy of the image data can be reduced, and the image data is reduced during the encoded data compression (step 114) described later. Large compression is possible.
[0041]
Next, the principal component image S composed of DCT coefficients in which most of the high frequency components are zero._k(K = 1 to m₁) Are respectively encoded and the image data is compressed (step 114). For example, Huffman encoding or other arithmetic encoding is performed.
For example, in Huffman coding, a DC component that is a zero-order low-frequency component of a DCT coefficient is divided into a frequency component other than the DC component and, for example, 1 / D that is displayed only with a DC component that represents a block image of 8 × 8 pixels. An 8 × 1/8 scale image is obtained, and this scaled image is compressed by DPCM encoding by taking a difference from adjacent pixel values.
On the other hand, since the frequency components other than the direct current component become high frequency components, the DCT coefficient becomes 0. Therefore, when sequentially encoding DCT coefficients from low frequency to high frequency, the number of continuous DCT coefficients 0, That is, it is possible to increase the compression rate of image data by encoding with run length.
[0042]
In this way, the optimum principal component image S_k(K = 1 to m₁) Image data of the optimum principal component compressed image data Sd_k(K = 1 to m₁) And the optimum principal component vector p determined in step 104_k(Λ) (k = 1 to m₁In addition, the compressed multispectral image data is stored in various recording media such as a hard disk, an MO, a CD-R, and a DVD via the recording media drive device 24 (step 116).
[0043]
In the present invention, the multispectral image M having a large amount of image data._sThe principal component analysis, and the optimal principal component vector p that holds the image information optimally_k(Λ) (k = 1 to m₁) And the optimal principal component image S_k(K = 1 to m₁) Is compressed, and the optimum principal component image S is further compressed by the JPEG method or the like._k(K = 1 to m₁) Corresponding to the compressed image data Sd_k(K = 1 to m₁) To obtain the optimal principal component vector p_k(Λ) (k = 1 to m₁) And compressed image data Sd_k(K = 1 to m₁) Is recorded and saved.
Thereby, the compression rate at the time of image compression is increased without visually degrading a plurality of spectrum images, and the handling of image data is improved.
[0044]
In such a multispectral image compression method and image compression apparatus, the following multispectral image was compressed.
A CA-D4-1024A manufactured by DALSA (pixel number: 1024 × 1024, pixel size: 12 × 12 microns, with a PCI interface, monochrome) is used as the CCD camera 16, and a variable spec tunable filter (liquid crystal tuner) manufactured by CRI is used as the variable filter 14. Bull filter) was used. With this liquid crystal tunable filter, the imaging wavelength band of 380 to 780 nm was divided into 10 nm increments to obtain 41 bands. A person is a shooting subject O, and a multi-band image M of a figure composed of 41 images._BGot.
[0045]
The multiband image storage unit 18, the multispectral image acquisition device 20, and the multispectral image compression device 22 are configured using a book-type PC (personal computer) manufactured by PROSIDE, and can be used on Windows 95.⁺⁺Software processing by language was performed. The book type PC manufactured by PROSIDE had a CPU of 166 MHz and a RAM of 128 Mbytes.
As preprocessing, the quantization number of the image data is converted from 2 bytes to 1 byte for the convenience of software processing. This preprocessing is not included in the compression of the image data amount described below.
[0046]
First, in the multispectral image acquisition apparatus 20, the multiband image M_BTo multispectral image M_SIs extracted, the principal component analysis is performed, and the principal component vector p is extracted._k(Λ) (k = 1 to 41) and principal component image S_k(K = 1 to 41) was determined.
[0047]
Next, the optimum number of principal components m₁CIED as a criterion for determining₆₅CIED 1976L under standard light source^*a^*b^*The average color difference based on the chromaticity in the color space is set to 1.5, and the eigenvalue u is determined by the principal component analysis method described above._kAnd a principal component vector p which is an eigenvector_kAsked. Eigenvalue u_kM principal component vectors p adopted in descending order of_kComposite image G and multispectral image M reconstructed by (λ) (k = 1 to m)_sThe average color difference from the original image obtained from the above is obtained, and the optimum number of main components m for which the average color difference is 1.5 or less₁It was determined.
As a result, the optimum number of principal components m₁Was 6. Multispectral image M_sIs approximated by the first to sixth principal component vectors, it is found that the reconstructed composite image G still retains the image information of the original image and is visually less degraded. That is, the first to sixth principal component images S_k(K = 1 to 6) and first to sixth principal component vectors, a multispectral image M composed of 41 band bands_sThe image data amount could be compressed to about 1/7 (6/41).
[0048]
Further, the obtained first to sixth principal component images S_kFor (k = 1 to 6), the image data is compressed by the JPEG method by irreversible DCT based on the above-described image structure, and the optimum principal component image S_kImage data (k = 1 to 6) was encoded.
As a result, finally the principal component image S_kIt was found that the image data of (k = 1 to 6) was compressed from 41 Mbytes to 0.7 Mbytes to about 1/60. In addition, the image information was retained and no visual deterioration was observed.
[0049]
As described above, the image compression method and the image compression apparatus using the image compression method according to the present invention increase the compression ratio at the time of image compression with little visual deterioration with respect to a plurality of spectral images, for example, about 1/60. Obviously, it improves and improves the handling of image data.
[0050]
The multispectral image compression method and image compression apparatus according to the present invention have been described in detail above. However, the present invention is not limited to the above embodiments, and various improvements and modifications can be made without departing from the scope of the present invention. Of course, you may also do.
[0051]
【The invention's effect】
As described above in detail, according to the present invention, a multispectral image having a large amount of image data is subjected to principal component analysis, and an optimum principal component vector and optimum principal component image that optimally hold and represent image information are obtained. By compressing the image data amount, further compressing the optimal principal component image by image structure compression using the JPEG method, etc., and further encoding the image data of the optimal principal component image subjected to image structure compression into compressed image data Since image data of multispectral images is optimally retained and can be represented by representing the optimum principal component image and optimum principal component compressed image data, image compression can be performed without sacrificing image quality. In addition, the compression rate can be further increased and the handling of image data can be improved.
In addition, it is possible to remove the principal component vector in which the noise component is dominant from the principal component vector included in the multispectral image, and it is possible to suppress the noise component.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram showing an example of a multispectral image acquisition system including a multispectral image compression apparatus of the present invention.
FIG. 2 is a block diagram showing an example of a multispectral image compression apparatus according to the present invention.
FIG. 3 is a flowchart showing an example of the flow of the multispectral image compression method of the present invention.
[Explanation of symbols]
10 Multispectral image acquisition system
12 Light source
14 Variable filter
16 CCD camera
18 Multiband image data storage device
20 Multispectral image acquisition device
22 Multispectral image compression device
22a Principal component analysis unit
22b Optimal principal component vector / image extraction unit
22c Image compression unit
24 Recording media drive device

Claims

A method of compressing a multispectral image obtained by using a band image obtained by dividing a shooting wavelength band into a plurality of band bands when shooting a subject,
Perform principal component analysis using image data of multispectral image to obtain multiple pairs of principal component vector and principal component image of multispectral image,
The principal component having a chromaticity difference in a color space between a composite image reconstructed using the principal component vector selected from the principal component vectors in the plurality of pairs and a multispectral image equal to or less than a predetermined value. Obtain the optimal principal component vector selected from the vector and the corresponding optimal principal component image,
For each optimum principal component image obtained, image structure compression is performed to obtain optimum principal component compressed image data,
An image compression method for a multispectral image, wherein the image data of the multispectral image is compressed into the optimum principal component vector and the optimum principal component compressed image data.

The color space is CIED 1976 L ^* under a standard light source of CIED ₆₅ ^. a ^* b ^* Color space,
The image compression method for a multispectral image according to claim 1, wherein the predetermined value has an average color difference of 1.5 based on chromaticity in the color space .

The multi-spectral image compression method according to claim 1 or 2 , wherein the image structure compression is compression of a high-frequency component of image data by discrete Fourier transform or wavelet transform.

The multi-spectral image compression method according to claim 3 , wherein the compression by the image structure is added with an encoding compression process for compressing the image data by encoding the image data.

A multispectral image compression apparatus that compresses a multispectral image obtained using a band image obtained by dividing a photographing wavelength band into a plurality of band bands when photographing a subject,
A principal component analysis unit that performs principal component analysis using the image data of the multispectral image and obtains a plurality of pairs of the principal component vector and the principal component image of the multispectral image;
Once reconstructed composite image using principal component vector said selected from principal component vector of a plurality of pairs of principal component vectors and principal component image obtained by the principal component analysis unit, the multispectral image An optimum principal component vector / image extraction unit for obtaining an optimum principal component vector and an optimum principal component image selected from the principal component vectors, wherein a chromaticity difference in a color space is a predetermined value or less ;
An image compression apparatus for a multispectral image, comprising: an image compression unit that performs image structure compression on image data of each optimum principal component image obtained by the optimum component vector / image extraction unit.

The color space is CIED ₆₅₆₅ CIED 1976L under standard light source ^** a ^** b ^** Color space,
The multi-spectral image compression apparatus according to claim 5, wherein the predetermined value has an average color difference of 1.5 based on chromaticity in the color space.