JP2649367B2 - 多次元画像相関演算装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、ステレオマッチングや画像認識などにお
いて用いられるカラー画像などの多次元画像に対する相
関演算を行うための多次元画像相関演算装置に関する。

〔従来の技術〕

一般に航空写真における等高線抽出等に利用されるス
テレオマッチング、画像認識などの技術においては、画
像の相関演算を如何に精度良く行うかが重要な課題にな
っている。従来、この相関演算の精度を高める方法とし
ては、例えばステレオマッチングに関しては、杉原厚
吉，「画像を利用した立体計測法の動向」〔第17回画像
工学コンファレンス論文集２−1,31〜36頁，（1986）〕
において種々の方法が紹介されている。これらの方法
は、一方の画像内の着目領域に対応する領域を他の画像
から探し出す際に、幾何学的拘束を設けたり、左右像か
ら求めた３次元位置を第３の眼を使ってわざわざ検証し
たり、あるいは一台のカメラを少しずつ動していって対
応点を追跡したりする方法などである。

これらの方法は確かに精度を高めることはできるが、
実際にこれらの手法を実行するには無理があったり、ア
ルゴリズムが複雑すぎたりして、実用的でないものが殆
どである。また上記文献ではいずれも濃淡画像に対する
方法しか紹介されておらず、カラー画像などの多次元画
像を扱うことにより情報量を増加して、より精度良く相
関演算を行う方法については提案がなされていない。

〔発明が解決しようとする問題点〕

従来は、上記のように濃淡画像に対する相関演算の手
法しかなかったため、本来カラー等で表現される多次元
画像に対しても、濃淡画像として取り扱い、相関演算し
なければならなかった。しかしながら、このように多次
元画像を濃淡画像として取り扱う方法では、濃淡画像よ
り多くの情報を持つと考えられる多次元画像に対して、
最適な相関演算を行えるとはいえない。また、多次元画
像、例えばカラー画像の場合、カラー画像を構成する３
原色成分を個々に扱って、３つの濃淡画像の相関演算の
結果を加え合わせる手法をとっても、精度はそれほど向
上しない上に、計算量が膨大になってしまうという問題
点があった。更にステレオマッチング等において見られ
る従来の精度向上のための技術には、先に述べたように
実用上困難なものが多かった。

本発明は、従来の画像相関演算方式における上記問題
点を解決するためになされたもので、濃淡画像と比べて
精度を大幅に向上させ、しかも、多次元画像の全成分を
用いて相関演算を行うよりも計算量を減少させることの
できる実用的な多次元画像相関演算装置を提供すること
を目的とする。

〔問題点を解決するための手段及び作用〕

上記問題点を解決するため、本発明は、入力画像の各
画素が２次元以上の多次元成分で構成される多次元画像
に対する相関演算を行う装置であって、前記多次元画像
を入力する画像入力手段と、前記多次元成分の個々の次
元成分値を示す軸を互いに直交軸とするベクトル空間に
おいて、前記画像入力手段によって入力された前記多次
元画像の各画素を、前記多次元成分を要素とする複数の
ベクトルとして表し、これらの複数のベクトル分布の分
散が大きな方向に対して直交する直交空間に前記複数の
ベクトルを投影することで、前記多次元成分の１つ以上
の成分を減らすように前記多次元画像を変換する画像変
換手段と、前記成分の減らされた多次元成分の各成分毎
に相関演算を行う相関演算手段とで多次元画像相関演算
装置を構成するものである。

次に本発明に係る多次元画像相関演算装置において、
その典型例としてカラー画像の２成分値に対して相関演
算を行う場合の基本作用を、第１図に示した基本的な処
理の流れ図を用いて説明する。まず赤（Ｂ），緑
（Ｇ），青（Ｂ）の３次元成分で構成される次の（１）
式で表現される２枚のディジタルカラー画像 を入力する。

次に、前記２枚のカラー画像 のうちの１枚〔ここでは とする〕の低空間周波数領域において、RGB3次元空間上
で最も分散が大きい方向（主成分方向）に近い単位ベク
トル を求める。次いで、前記RGB空間において単位ベクトル と垂直な面（以下投影面という）に、前記カラー画像 の成分値を投影すること（以下投影変換という）によ
り、カラー画像 を２成分値で表す。

これらの変換を式で表すと次のようになる。すなわ
ち、まず前記カラー画像 を前記投影変換して得られる画像を とすると、 と表される。

次に前記投影変換画像 をそれぞれ２成分値で表す方法を述べる。前記投影面上
の互いに直交する単位ベクトルを、 とおく。これらのベクトル の各成分値を単位ベクトル の成分値（n₁,n₂,n₃）で表すと、次のようになる。

そして、前記投影変換画像 を投影面上の前記単位ベクトル で表すことにより、それぞれ２成分値 で表現できる。すなわち、 となる。なお前記RGB3次元空間におけるこれらのベクト
ルの位置関係を第２図に示す。

このようにして得られた２成分値で表される投影変換
画像 について次の（５）式で示す相関演算を行い、その結果
を出力する。

また、１成分値に対して相関演算を行う場合は、上記
のようにして得られた２成分値を線形結合により１次元
成分に変換した後、相関演算を行うものである。

以上述べたように、入力カラー画像 を低空間周波数成分の主成分方向に近いベクトルと垂直
な面に投影変換することにより、相対的に高空間周波数
成分を多く有する画像を抽出し、より精度良く相関演算
を行うことが可能となる。更にカラー画像を構成する３
原色成分を相関演算に有効な２又は１成分に変換してか
ら計算を行うことにより、計算量の減少化を計ることが
可能となる。

〔実施例〕

以下、具体的な実施例について説明する。

（第１実施例） 第３図は、本発明に係るカラー画像相関演算装置の第
１の実施例を示すブロック図構成図である。このカラー
画像相関演算装置は大きく分けて、カラー画像入力装置
１とカラー画像メモリ2a,2bとからなる画像入力装置20
と、ローパスフィルタ３と共分散行列演算器４とメモリ
５と固有値演算器６と固有ベクトル演算器７とからなる
主成分分析装置21と、積和演算器8a,8bからなる画像変
換装置22と、相関演算器9a,9bとからなる相関演算装置2
3と、出力画像メモリ24とで構成されており、CPU等で構
成されるコントローラ25によって動作が制御されている
ようになっている。

次に個々の構成要素の構成と動作について説明する。
まず、２枚の入力カラー画像０はカラー画像入力装置１
に入力され、該カラー画像入力装置１によって適当なサ
イズ及び階調のR,G,B3原色成分を有するディジタルカラ
ー画像 に変換され、それぞれカラー画像メモリ2a,2bに記録さ
れる。前記カラー画像入力装置１は、例えば前記入力カ
ラー画像０が銀塩写真の場合にはドラムスキャナー装置
であったり、NTSC信号の場合にはマトリックス回路とA/
D変換器を組み合わせた装置であったり、R,G,B信号の場
合にはA/D変換器であったり、あるいはまたR,G,Bディジ
タル信号の場合にはタイミング変換器，バスコンバータ
等で構成される。

次に前記カラー画像メモリ2bに記録されているカラー
画像 の３成分値 は、それぞれローパスフィルタ３で適当な低空間周波数
領域が抽出された後、共分散行列演算器４に入力され
る。この共分散行列演算器４は、２乗器，乗算器，加算
器，累積加算器で構成され、前記低空間周波数領域の３
成分値 について各共分散値σ_RR ²,σ_GG ²,σ_BB ²,σ_RG ²,σ_GB ²,σ
_BR ²が計算される。

ここで共分散行列Ｖは次のように定義される。

但し、 N:対象画像の画素数 そして前記共分散行列の要素は、一旦メモリ５に記録
され、次いで（７）式で表される固有方程式を解くため
に、まず、固有値演算器６に入力される。

α：固有値 前記固定値演算器６は固有値αを求めるための方程式
（８）の最大の根のみを算出する回路で、乗算器、除算
器，加算器，テーブル変換用メモリから構成されてい
る。なお（８）式において は単位行列を示す。

次に前記メモリ５に記録されている前記共分散行列要
素及び前記固有値演算器６からの出力αは、固有ベクト
ル演算器７に入力され、（９）式で表される前記固有値
αに対する固有ベクトル の各成分値（n₁,n₂,n₃）が計算され、その結果は前記固
有ベクトル演算器６内に設けられているレジスタに記憶
されるようになっている。

但し、 次に、前記カラー画像メモリ2a,2bに記録されている
カラー画像 の各々の３原色信号 は、それぞれ積和演算器8a,8bに入力され、また前記固
有ベクトル演算器７からの出力 は、前記積和演算器8a,8bの両方に入力されて、（10）
式で表される投影変換が行われる。

そして前記積和演算器8a,8bによって、２成分で構成
される画像に変換されたカラー画像 は、成分別に相関演算器9a,9bに入力され、相関演算が
実行される。そして該相関演算器9a,9bからの出力は加
算器10で加算され、その結果は相関画像として画像メモ
リ24に記録される。前記相関演算器9a,9bは、第４図に
示すように、乗算器と加算器とメモリからなる積和演算
器で構成され、（11）式で表される相関演算を行うも
の、あるいは第５図に示すように高速フーリエ変換（FF
T）を実行する回路を組み込み、（12）式に示すように
周波数画像において位相相関を実行するもの、及び第６
図に示すように、各々の成分値の標準偏差を予め計算し
ておき、（13）式に示すように前記成分値を標準偏差で
割ってから積和演算を行うものとがある。

なお、第５図に示した相関演算器において、絶対値変
換器と、その出力を乗算する乗算器と、その出力を除算
する除算器を省略したものにおいても、同様な相関演算
を行わせることができる。

そして前記画像メモリ24に記録された相関画像は、他
の装置に出力されたり、あるいはコントローラで解折さ
れたりして、目的に応じて利用される。

この実施例は、入力カラー画像にローパスフィルタリ
ングを施すことによって得られる低空間周波数領域につ
いて、実際に主成分分析を行い、前述したRGB3次元空間
において分散が最大になるベクトルを直接求めるように
したものである。したがって、最も好ましいカラー画像
の投影変換を行うことができ、それにより最も精度良く
相関演算を実行することができる。

（第２実施例） 第７図は、本発明の第２の実施例を示すブロック構成
図である。この実施例は、第１実施例における主成分分
析装置21の代わりに、平均色方向演算装置26を設けたも
ので、他の点は第１実施例と同様である。前記平均色方
向演算装置26はローパスフィルタ３と、加算器11a,11b,
11cと、メモリ12a,12b,12cと、ベクトル演算器13とで構
成されている。

次にこの実施例の動作について説明すると、第１実施
例と同様に、まず画像入力装置20に入力された２枚のカ
ラー画像 のうち一方の画像 の３原色成分値（R_f,G_f,B_f）は、平均色方向演算装置26
内のローパスフィルタ３に入力され、低空間周波数成分
が抽出される。前記ローパスフィルタ３から出力された
低空間周波数成分の３原色値（R_L,G_L,B_L）は、それぞれ
加算器11a〜11cに入力され、メモリ12a〜12cに記憶され
ている前画素までの累積加算値に加えられ、その結果は
前記メモリ12a〜12cに改めて記録される。

このようにして前記カラー画像 の全画素について加算が終了された後に、前記メモリ12
a〜12cに記録されている値（S_R,S_G,S_B）をベクトル演算
器13に入力し、投影変換を決定するベクトル の３成分値（n₁,n₂,n₃）を導出する。すなわち、 を計算する。このベクトル の３成分値（n₁,n₂,n₃）は、前記ベクトル演算器13内に
設けたレジスタに保持される。このベクトル演算器13か
らの出力 は、第１実施例と同様に画像変換装置22に入力されて投
影変換された後、相関演算装置23で相関演算が実行され
る。

この実施例では、一般にカラー画像のR,G,B原色画像
間には相関があり、前述したRGB3次元空間上において分
布が、Ｙ＝C₁R＋C₂G＋C₃Bで表される明度方向に大きく
存在する場合が多いという性質を利用している。この場
合、第１の実施例において実際に求める低空間周波数領
域の主成分方向と、この実施例で求める低空間周波数領
域の平均色の方向とは非常に近くなる。したがってこの
実施例では、カラー画像の低空間周波数領域の３原色成
分値をそれぞれ加算するという極めて簡単の演算を行う
だけで、第１の実施例とほぼ同等な作用効果をもたらす
ものである。このように第２実施例においては、計算が
簡単になることにより装置を簡略化でき、しかも精度良
く相関演算を実行することができる。

（第３実施例） 第８図は、本発明の第３の実施例を示すブロック構成
図である。この実施例は、第２実施例の平均色方向演算
装置26においてローパスフィルタ３を取り去った構成の
ものである。すなわち、この実施例では画像入力装置20
に入力された２枚の画像 の３原色成分値（R_f,G_f,B_f）は、直接加算器11a〜11cに
入力され、メモリ12a〜12cと共同して前記カラー画像 の全画素について加算を行う。このメモリ12a〜12cに記
録された値（S_R,S_G,S_B）ｃは、第２実施例と同様にベク
トル演算器13に入力され、投影変換を決定するベクトル の３成分値が導出される。以下同様にして投影変換を行
われたのち相関演算が実行される。

この実施例では、一般に画像は低空間周波数領域の成
分が非常に大きく、第２実施例のように一旦ローパスフ
ィルタリングを施してから平均色方向を求めるのと、こ
の実施例のようにそのまま直接求めるのとでは殆ど差が
ないということを利用している。したがってこの実施例
ではカラー画像の３原色成分値をそれぞれ加算するとい
う更に簡単な演算を行うだけで、第1,第２の実施例とほ
ぼ同等な作用をもたらすものである。このように第３実
施例では計算をより簡単にすることにより装置を更に簡
略化でき、しかも精度良く相関演算を実行することがで
きる。

（第４実施例） 第９図は本発明の第４実施例を示すブロック構成図で
ある。この実施例は、第１〜３実施例において、画像変
換装置から導出されたカラー画像 の２次元成分を、１次元成分に変換してから相関演算を
行うものである。すなわち第９図に示すように、この実
施例における画像変換装置28は積和演算器8a,8bと減算
器14a,14bとから構成されており、該積和演算器8a,8bに
より投影変換されて導出された２次元信号（g_x,g_y），
（f_x,f_y）は、それぞれ減算器14a,14bに入力され、１次
元の信号、 g_z＝g_x−g_y f_z＝f_x−f_y ……（15） が計算される。なお、導出されたカラー画像 の２成分を線形結合により１次元の信号、 g_z＝c_xg_x＋c_yg_y f_z＝c_xf_x＋c_yf_y ……（16） に変換するものであり、（16）式における係数（c_x,
c_y）は、画像に応じて最適な値を設定するのがよりよい
方法であるが、通常この係数は（1,−１）に設定すれば
十分精度はよく、また計算も容易である。したがってこ
の実施例では減算器14a,14bを用いて、（15）式により
１次元信号を得るようにしたものを示している。

そして前記減算器14a,14bからの出力g_z,f_zは相関演算
器９に入力されて相関演算が実行され、その出力は画像
メモリ24に保存されるようになっている。

このように本実施例では、カラー画像の３原色成分か
ら導出した相関演算に有効な２成分を線形結合により１
次元の信号に変換してから相関演算を行うことにより、
計算量を更に減少させることができる。それにより、装
置の規模を小さくすることができ、しかも精度良く相関
演算を実行できる。

（第５実施例） 第10図は、本発明の第５実施例を示すブロック構成図
である。この実施例は、第１〜第３実施例における相関
演算装置23を他の構成としたものである。この実施例の
相関演算装置23においては、まず画像変換装置22からの
出力g_x,g_y,f_x,f_yはそれぞれ複素数信号、g_c＝g_x＋i g_y,
f_c＝f_x＋i f_yとしてFFT演算器101a,101bに入力される。
該FFT演算器101a,101bでは、それぞれ前記複素数信号
g_c,f_cをフーリエ変換し、複素数信号G_c＝Ｇ＋iG′,F_c＝
Ｆ＋iF′を出力する。そしてこれらの複素数信号G_c,F_c
は、それぞれ画像メモリ102a,102bに実部と虚部を区別
して記録されるように構成されている。

次に乗算器103aには前記画像メモリ102aより実部Ｇ、
及び前記画像メモリ102bより実部Ｆが入力され、また乗
算器103bには前記画像メモリ102aより虚部Ｇ′、及び前
記画像メモリ102bより虚部Ｆ′が入力され、それぞれ掛
け算が実行される。また乗算器103cには前記画像メモリ
102aより虚部Ｇ′、及び前記画像メモリ102bより実部Ｆ
が入力され、乗算器103dには前記画像メモリ102aより実
部Ｇ、及び前記画像メモリ102bより虚部Ｆ′が入力さ
れ、それぞれ掛け算が実行されるようになっている。そ
して前記乗算器103a,103bからの出力は加算器104aに入
力され、Ｕ＝FG＋Ｆ′Ｇ′が出力される。また前記乗算
器103c,103dからの出力は減算器104dに入力され、Ｖ＝
Ｆ′Ｇ−FG′が出力される。次いで逆FFT演算器105にお
いて、（Ｕ＋iV）を複素数信号とみなして逆フーリエ変
換を実行し、その実数部を結果として出力し画像メモリ
24に送出するように構成されている。

次にこの実施例の動作を式で表現して説明すると次の
とおりである。まずFFT演算器101a,101bでは次式で示す
変換が行われる。

ここで（17）式において、実数部をＦ、虚数部をＦ′
として、 Ｆ＝F_xR−F_yI,F′＝F_xI＋F_yR とおく。

同様に（18）式において、実数部をＧ、虚数部をＧ′
として Ｇ＝G_xR−G_yI,G′＝G_xI＋G_yR とおく。

そこで、（17）式と（18）式の相関を考えると、 （F_x＋iF_y）（G_x＋iG_y）^＊ ＝（Ｆ＋iF′）（Ｇ−iG′） ＝（FG＋Ｆ′Ｇ′）＋ｉ（Ｆ′Ｇ−FG′） ＝Ｕ＋iV ……（19） となり、上記（19）式のFG,F′Ｇ′,F′G,FG′の４種の
乗算を、第10図に示した前記乗算器103a,103b,103c,103
dで実行し、（FG＋Ｆ′Ｇ′）の加算を前記加算器104a
で、（Ｆ′Ｇ−FG′）の減算を前記減算器104bで行うこ
とになる。

一方、前記（19）式は次のようにも書き表わすことが
できる。

（F_x＋iF_y）（G_x＋iG_y）^＊ ＝F_xG_x ^＊＋F_yG_y ^＊＋ｉ（F_yG_x ^＊−F_xG_y ^＊） ……（20） 次いでこの（20）式を逆フーリエ変換すると、 但し☆は相関演算を表すオペレータ 上記（21）式から、実数部（f_x☆g_x＋f_y☆g_y）は２次
元画像（f_x,f_y）と（g_x,g_y）の相関を表していることが
わかる。

このように本実施例では、フーリエ変換を介する相関
演算において、高速フーリエ変換（FFT）を実行する際
に、２次元画像信号の２成分を複素数の実数部と虚数部
として取り扱うようにしたので、装置の規模を大幅に小
さくでき、しかも計算量を大幅に減らして高速に相関演
算を実行することが可能となる。

（第６実施例） 本発明の第６の実施例は第３図乃至第10図に示した第
１〜第５の実施例における入力カラー画像信号０に、
（R,G,B）以外のカラー３次元信号を用いるものであ
る。（R,G,B）以外のカラー信号としては、例えばNTSC
カラーTV方式における（Y,I,Q）信号等がある。本実施
例は、例えば（Y,I,Q）信号を考えた場合、第１〜第５
実施例における（R,G,B）信号の流れを、全て（Y,I,Q）
信号に置き換えるように構成するものである。

このように構成することにより、本実施例は、任意の
カラー３次元信号、例えばNTSC方式で伝達されてきたカ
ラー信号に対して、（R,G,B）信号にわざわざ変換する
ことなく相関演算を行うことができるため、回路規模を
大きくすることなしに任意のカラー３次元信号に対して
本発明を適用できるものである。

（第７実施例） 本発明の第７の実施例は、入力画像信号０にNTSC方式
における（Y,I,Q）信号のように、明るさを表す信号Ｙ
と、色空間においてそれに直交する面、つまり色相・彩
度を表す面内に定義した２軸（I,Q）とで構成される３
次元信号を用いた場合に、（I,Q）信号のように２信号
だけで相関演算を行うようにしたものである。なお上記
色空間とは、色を表す３次元成分を直交３軸とする空間
として定義するものとする。

第11図に本実施例をブロック構成図を示す。入力画像
信号０は、例として（Y,I,Q）信号とする。まず２つの
入力画像信号０がカラー画像入力装置１に入力される
と、該入力装置１によって、（I,Q）の２成分で構成さ
れる適当なサイズ及び階調のディジタル画像信号に変換
される。このように前記カラー画像入力装置１により適
当な（I,Q）２次元画像の変換された２種類の画像信号 は、それぞれ画像メモリ2a,2bに蓄積される。この画像
メモリ2a,2bにそれぞれ蓄積された２種類の画像信号 で表される２成分画像は、相関演算器9a,9bにおいて、
それぞれＩ成分同志及びＱ成分同志で相関演算が実行さ
れ、相関信号 として出力される。次いで前記相関演算器9a,9bからの
出力信号 は加算器10によって加算され、結果は画像メモリ24に記
録される。そして以上の動作はコントローラ25により制
御されるようになっている。

このように本実施例は、一般にカラー画像は明るさを
表す成分の分散が大きいことを利用して、（Y,I,Q）信
号のように、色空間において明るさを表すＹ信号と、こ
れと直交する平面上の２成分（I,Q）信号とで構成され
る信号に対しては、（I,Q）信号についてのみ相関演算
を実行するものであり、明るさとそれに直交する面（色
相、彩度面）内の２成分とで構成される信号について、
簡単な構成により、精度の高い相関演算を行うことがで
きる。

（第８実施例） 本発明の第８の実施例は、前記第７実施例と同様に、
入力画像信号０として、NTSC方式における（Y,I,Q）信
号のように明るさを表す信号Ｙと、色空間においてそれ
に直交する面内に定義された２軸成分（I,Q）とで構成
される３次元信号を用いるときに、（I,Q）成分から導
出される１次元成分について相関演算を行うようにした
ものである。第12図に本実施例のブロック構成図を示
す。第12図に示すように、前記第７実施例と同様にして
入力されカラー画像メモリ2a,2bに蓄積された２次元画
像信号 の各成分画像信号 は、それぞれ減算器14a,14bに入力され、各成分間の減
算、すなわち、 が実行される。次いで前記減算器14a,14bからの出力 は相関演算器９に入力され、相関演算が実行され、結果
は画像メモリ24へ出力される。そして以上の動作はコン
トローラ25により制御されるようになっている。

このように本実施例は、（Y,I,Q）信号のうち、相関
演算に有効と考えられる（I,Q）信号を、線形結合によ
り１次元の信号、g_Z＝c₁g_I＋c₂g_Q,f_Z＝c₁f_I＋c₁f_Qに変
換してから相関演算を行うことにより、計算量を更に減
少させるものである。なお上記線形結合による１次元信
号の係数（c₁,c₂）は画像に応じて最適な値を設定する
のがより良い方法であるが、通常この係数は（1,−１）
に設定すれば十分精度は良く、また計算も簡単であるの
で、本実施例では係数を（1,−１）とした１次元信号、
g_Z＝g_I−g_Q,f_Z＝f_I−f_Qを得る場合について示してい
る。

したがって積和演算器又はルックアップテーブルメモ
リと加算器等で構成される線形演算器を用いることによ
って、より適当な１次元信号を導出する手段を設けても
よいし、またＩ又はＱ信号だけについて相関演算を行っ
ても、本実施例とほぼ同じ作用，効果が得られる。

以上のように本実施例によれば、明るさと、色空間に
おいて明るさと直交する面内の２軸成分とで構成される
信号について、線形結合により１次元信号に変換してか
ら相関演算を行うようにしているので、より計算量を少
なくすることができ、それにより装置の規模を小さくで
き、しかも精度良く相関演算を実行できる。

（第９実施例） 前記第７及び第８実施例においては、入力画像信号と
して、NTSC方式における（Y,I,Q）信号のように、明る
さを表す信号と色空間においてそれに直交する面内で定
義される２成分信号とで構成される信号に対して、２次
元信号又は１次元信号に変換してから相関演算を実行す
るようにしたものを示したが、本発明の第９の実施例
は、入力画像信号０が（R,G,B）信号のカラー３次元信
号の場合に、カラー画像入力装置１にマトリックス演算
器を組み込んで、入力された３次元信号を、色空間にお
いて明るさを表す信号に直交する面内で定義される２次
元信号に変換する機能をもたせ、前記第７及び第８実施
例と同様な動作を行わせるものである。

第13図は、本実施例を示すブロック構成図である。
（R,G,B）カラー３次元入力信号０は、まずカラー画像
入力装置１内のバッファメモリ110に入力される。該バ
ッファメモリ110内の（R,G,B）３次元信号は、積和演算
器又はルックアップテーブルメモリと加算器等で構成さ
れるマトリックス演算器111に同時に入力され、前記３
次元信号間の線形演算が行われ、新たな２次元信号（I,
Q）が導出される。前記カラー画像入力装置１から導出
される２次元信号（I,Q）で構成される２枚の２次元出
力画像信号 は、それぞれカラー画像メモリ2a,2bに蓄積される。そ
してそれ以降の相関演算を行うための手段は第７及び第
８の実施例と同様に構成されている。

このように本実施例は、入力信号が、（R,G,B）信号
のように、明るさ成分と色相・彩度を表す２成分という
ように分離されていない３次元信号である場合に、例え
ば（Y,I,Q）信号における（I,Q）信号のように、色相・
彩度を表す２成分を導出してから、第７あるいは第８の
実施例に示した相関演算を適用するものである。３次元
信号から２次元信号を導出する過程は、次の（22）式の
ようにマトリックス演算で表すことができる。

ここで、変換マトリックスＡは、NTSC信号における
（R,G,B）→（I,Q）変換のように予め定義されたものを
用いることができる。なお、その場合の前記変換マトリ
ックスＡは（23）式で表される。

また、この他に、例えば入力カラー画像がある特定の
種類に限定されているような場合は、第１の実施例で述
べた色についてのＫ−Ｌ変換を予め行っておき、入力３
次元信号を第2,第３主成分信号へ変換するマトリックス
を、前記変換マトリックスＡとして定義することもでき
る。

以上のように本実施例によれば、入力画像信号が、
（R,G,B）信号のような、明るさ成分と色相・彩度を表
す２成分というように分離されていない３次元信号であ
る場合に、２次元信号を導出してから相関演算を行うよ
うにしているので、より計算量を少なくすることがで
き、それによる装置の規模を小さくでき、しかも精度良
く相関演算を実行することができる。

（第10実施例） 本発明の第10の実施例は、前記第９の実施例と同様
に、入力画像信号０が（R,G,B）等のカラー３次元信号
の場合に、カラー画像入力装置１にマトリックス演算器
を組み込むことによって、前記３次元信号を色空間にお
いて明るさを表す軸に垂直な面内に定義される１次元信
号に変換する機能を持たせるように構成したものであ
る。第14図に本実施例のブロック構成図を示す。カラー
３次元信号０はカラー画像入力装置１内のバッファメモ
リ110に入力される。該バッファメモリ110内の３次元信
号は、積和演算器又はルックアップテーブルメモリと加
算器等で構成されるマトリックス演算器112に同時に入
力され、前記３次元信号間の線形演算が行われて、新た
な１次元信号が導出される。前記カラー画像入力装置１
からの２枚の１次元出力画像信号 はそれぞれカラー画像メモリ2a,2bに蓄積される。次い
で該カラー画像メモリ2a,2bからの出力信号は相関演算
器９に入力され、演算結果 は画像メモリ24に蓄積される。そして以上の動作はコン
トローラ25で制御されるようになっている。

このように本実施例は、入力信号が（R,G,B）信号の
ように、明るさ成分と色相・彩度を表す２成分というよ
うに分離されていない３次元信号である場合に、色空間
において色相・彩度を表す面内の１次元成分を導出し
て、１次元画像間の相関演算を実行するものである。前
記１次元信号は、（24）式で表されるように、３成分間
の線形結合により表すことができる。

Ｖ＝b₁I₁＋b₂I₂＋b₃I₃ ……（24） ここで変換係数（b₁,b₂,b₃）は、NTSC信号におけるＩ
又はＱ信号のように予め定義されたものを用いることも
できるし、またある特定の種類に限定された画像群につ
いて予めＫ−Ｌ変換を行うことによって求められた第２
又は第３主成分でもよい。あるいは前記Ｉ信号とＱ信
号、又は前記第２主成分信号と第３主成分信号を線形結
合して得られる成分でもよい。

以上のように本実施例によれば、入力画像信号が（R,
G,B）信号のように、明るさ成分と色相・彩度を表す２
成分というふうに分離されていない３次元信号である場
合に、１次元成分を導出してから相関演算を行うように
しているので、より計算量を少なくすることができ、そ
れにより装置の規模を小さくでき、しかも精度良く相関
演算を実行することができる。

（第11実施例） 本発明の第11の実施例は、２次元以上の任意の次元数
を持つ多次元画像について、主成分分析により求めた主
成分のうち、第２主成分以下の分散と小さい成分を用い
て相関演算を行うようにするものである。第15図に本実
施例のブロック構成図を示す。本実施例の構成は大きく
分けて、画像入力装置220,主成分分析装置221,画像変換
装置222,相関演算装置223,画像メモリ224,及びこれらの
動作を制御するコントローラ225からなる。

入力多次元画像信号200は、任意のｎ次元（ｎ≧２）
で構成される画像の信号とする。多次元画像としては、
例えば干渉フィルター等で狭い波長領域について取り込
んだ複数枚の画像で構成される画像や、やはり複数のバ
ンドで構成されるリモートセンシング画像や、異なる照
明条件により取り込んだ複数の画像で構成される画像等
が考えられる。もちろんカラー画像もこの範疇に含まれ
る。

前記入力多次元画像信号200は、多次元画像入力装置2
01によって適当なサイズ及び階調の多次元ディジタル画
像信号に変換される。前記多次元画像入力装置201から
の２種類の出力画像は画像メモリ202a,202bに保存され
る。前記画像メモリ202bに保存されている多次元画像を とすると、そのｎ個の成分画像（f₁,f₂,……f_n）は共に
前記主成分分析装置221のローパスフィルタ203に入力さ
れる。該ローパスフィルタ203により適当な低空間周波
数成分が抽出された前記ｎ個の成分画像（f₁ ^L,f₂ ^L,……
f_n ^L）は、２乗器，乗算器，加算器，積和演算器等で構
成される共分散行列演算器204に入力され、（25）式で
表すことのできる共分散行列が計算され、結果はメモリ
205に保存される。

但しC_ij＝〈（f_i−〈f_i〉）（f_j−〈f_j〉）〉 i,j＝1,2,……ｎ 〈 〉は集合平均のオペレータ であり、また、 と定義した。

前記メモリ205に記録された共分散行列の各要素値
は、固有値演算器206に入力され、（26）式で表される
固有方程式の解である、ｎ個の固有値α_ｌ（ｌ＝1,2,…
…ｎ）が算出される。

すなわち、 なお、前記固有値演算器206では、実際には（27）式
で表される方程式が解かれる。

ｎが小さいときは、第１の実施例でｎ＝３の場合につ
いて述べたように、前記固有値演算器206は乗算器，除
算器，加算器，ルックアップテーブルメモリ等で構成し
てもよいが、ｎが大きくなると処理が複雑になるので、
前記固有値演算器206ではプログラマブルなマイクロプ
ロセッサ等で構成してもよい。

次に、前記メモリ205に記録されてある前記共分散行
列要素及び前記固有値演算器206からの出力α_ｌは固有
ベクトル演算器207に入力される。該固有ベクトル演算
器207では前記ｎ個の固有値α_ｌのうち、設定した下位
ｍ個（ｍ＜ｎ）の固有値α_ｌについて固有ベクトル を算出する。前記固有ベクトル演算器207は、乗算器，
加算器，ルックアップテーブルメモリ等で構成される
か、もしくはプログラマブルなマイクロプロセッサ等で
構成され、（28）式の解を求める計算が実行される。

なお、以上の前記主成分分析装置221の動作におい
て、対象となる多次元画像に高空間周波数成分が比較的
少なく、低周波数成分の寄与が大きい場合は、前記ロー
パスフィルタ203は必要としない。

次に前記画像メモリ202a,202bに記録されている前記
多次元画像 の各々のｎ次元信号（g₁,g₂,……g_n），（f₁,f₂,……
f_n）は、それぞれ積和演算器又はルックアップテーブル
メモリと加算器等で構成されるマトリックス演算器208
a,208bに入力され、前記固有ベクトル演算器207からの
出力 は前記マトリックス演算器208a,208bの両方に入力され
て、前記 の両画像について、ｍ個の各固有ベクトル方向への投影
画像、 が導出される。

このようにしてｍ個の成分で構成される画像に変換さ
れた多次元画像 は、成分毎に相関演算器209−１〜209−ｍに入力され、
各々相関演算が実行される。そして前記相関演算器209
−１〜209−ｍからの出力は加算器210で総和が計算さ
れ、結果は画像メモリ224に保存される。

このように本実施例では、入力画像が任意のｎ次元成
分で構成される多次元画像の場合に、主成分分析を行う
ことによって、多次元空間における画像の固有ベクトル
方向とその方向の分散、すなわち共分散行列の固有値を
求める。ここで多次元空間とは、前記多次元成分におけ
る個々の成分値を示す軸を互いに直交な軸とするベクト
ル空間を示す。そして、分散の小さい、すなわち固有値
の小さい固有ベクトルをｍ個選んで、前記多次元画像を
それらの前記固有ベクトル方向へ投影することにより、
ｎ次元の前記多次元画像の次元数をｍ個に減らす。ｍ個
の固有ベクトルの設定の仕方は、最初から数を固定して
しまってもよいし、ｍ個の前記固有値の大小を比較し、
前記コントローラ225において前記相関演算器209の設置
個数を最大限として、適当な数に設定できるようにして
もよい。このようにして分散の小さなｍ次元画像に変換
された前記多次元画像に対し、成分毎に相関演算を行う
ことにより、減算量を減らし、しかも精度良く相関演算
を行うものである。

以上のように本実施例によれば、任意の次元数を持つ
多次元画像について、多次元空間において分散の大きい
ベクトルに直交するベクトルを直接計算して求めること
により、最適な投影変換を行うことができ、最も精度良
く、しかも少ない演算量で相関演算を実行することがで
きる。

（第12実施例） 本発明の第12の実施例は、２次元以上の任意の次元数
を持つ多次元画像を対象とした相関演算を行う装置にお
いて、前記第11実施例における主成分分析装置221の代
りに、平均ベクトル演算装置を設けるものである。第16
図に本実施例のブロック構成図を示す。第11の実施例と
同様に、画像入力装置220に入力された２枚の多次元画
像 のうち、一方の画像 のｎ個の成分値（f₁,f₂,……f_n）は平均ベクトル演算装
置226内のローパスフィルタ203に入力され、それぞれの
成分画像の低空間周波数成分が抽出される。前記ローパ
スフィルタ203から出力されたｎ個の低空間周波数成分
画像はそれぞれ加算器211−１〜211−ｎに入力され、メ
モリ212−１〜212−ｎに記憶されている前画素までの累
積加算値に加えられ、結果は前記メモリ212−１〜212−
ｎに改めて記録される。

このようにして前記多次元画像 の全画素について加算が終了された後に、前記メモリ21
2−１〜212−ｎに記録されている値（S₁,S₂,……S_n）
は、２乗器，乗算器，加算器，ルックアップテーブルメ
モリ等で構成されるベクトル演算器213に入力され、ま
ず平均ベクトル が算出される。ここで、 である。

また前記ベクトル演算器213では、前記平均ベクトル が算出される。ここで、 はどちらもｎ次元単位ベクトルで、 の関係より導出される。

次に、前記画像入力装置220内の画像メモリに保存さ
れている２枚の前記多次元画像 のそれぞれｎ個の成分値、及び前記ベクトル演算器213
からの出力 は、共に２個のマトリックス演算器からなる画像変換装
置222に入力される。該画像変換装置213では、前記多次
元画像 がそれぞれ前記 方向の投影画像に変換され、２次元画像 となる。以下は第１〜第３の実施例で記述したのと同様
に、２個の相関演算器と１個の加算器で構成される相関
演算器223によって、前記２次元成分を持つ画像 の間で相関演算が行われ、結果は画像メモリ24に保存さ
れる。なお、前記平均ベクトル演算装置226において、
対象となる多次元画像の高空間周波数成分が非常に小さ
い場合は、ローパスフィルタ203は特に必要としない。

また前記ベクトル演算器213において、前記平均ベク
トル と直交する１つの単位ベクトル だけを導出して、前記多次元画像 を前記画像変換装置222によって前記単位ベクトル １個の相関演算器で構成される前記相関演算装置223に
よって、１次元画像 間の相関演算を実行し、結果を画像メモリ224に保存す
るようにしてもよい。

このように本実施例では、多次元画像において各次元
画像間に相関がある場合に、前記第11の実施例において
実際に求める、分散が最も大きな主成分（第１主成分）
方向と、本実施例で求める平均ベクトルの方向とが非常
に近くなるという性質を利用している。そこで本実施例
では、多次元画像の主に低空間周波数領域の各成分をそ
れぞれ加算するというごく簡単な演算を行うだけで、ｎ
次元で構成される画像を相関演算に有効な（ｎ−１）次
元以下の画像に変換するものである。これにより、計算
が簡単になり、装置を単純化でき、しかも精度良く相関
演算を実行できる。

（第13実施例） 本発明の第13の実施例は、例えば入力多次元信号が、
ある特定の種類に限定されること等によって多次元空間
における分布の特徴がわかっている場合に、主成分分析
装置や平均ベクトル演算装置を用いることなく、予め設
定した変換マトリックスに従って多次元画像の次元数を
減らすように構成したものである。第17図に本実施例の
ブロック構成図を示す。ｎ次元成分を持つ入力多次元画
像信号200は、多次元画像入力装置201内のバッファメモ
リ214に一時保持され、前記バッファメモリ214からのｎ
個の画像成分信号はマトリックス演算器215に入力され
る。前記マトリックス演算器215では、予め適当に設定
しておいた変換マトリックスに従って、ｎ次元信号をｍ
次元（ｍ＜ｎ）の信号に変換する。このようにして、前
記多次元画像入力装置201により変換された２種類の多
次元画像 は多次元画像メモリ202a,202bにそれぞれ保存される。

前記多次元画像メモリ202a,202bからの出力信号は、
成分毎に相関演算器209−１〜209−ｍに入力され、それ
ぞれ相関演算が実行される。前記相関演算器209−１〜2
09−ｍからの出力結果は、加算器210に入力されて総和
が計算され、結果は画像メモリ224に蓄積される。なお
前記マトリックス演算器215によってｎ次元信号が１次
元信号に変換される場合は、前記加算器210は必要とし
ない。そして以上の動作はコントローラ225により制御
されるようになっている。

このように本実施例は、入力多次元画像が特定の種類
に限定されていること等によって、多次元空間での分散
が大きい方向が推定可能な場合に適用されるものであ
る。そして前記多次元画像の次元数を減らすための変換
マトリックスの設定の仕方としては、例えば予め対象と
なる画像又はそれと同種類の画像群についてＫ−Ｌ変換
を行っておいたり、あるいは平均ベクトルを求めておい
たりする方法がある。したがって、本実施例は相関演算
装置内に主成分分析装置や平均ベクトル演算装置を設け
ることはなく、前記第11又は第12の実施例と同様の相関
演算を実現できるものである。

以上のように本実施例によれば、多次元空間における
分散の大きい方向が推定可能な多次元画像を対象とする
場合には、計算量を大幅に減らすことにより装置を簡単
にすることができ、しかも精度良く相関演算を行える。

以上述べたとおり、本発明は、航空写真からの等高線
抽出、あるいは内視鏡画像や顕微鏡画像による対象物の
立体的表面構造の解折、更には移動可能な１台のカメラ
又は複数のカメラにより入力された複数のカラー画像に
よるロボットビジョン等多目的な用途に用いられる物体
の３次元的把握などに、用いられるカラー画像を対象と
したステレオマッチングに適用可能なことは明白であ
る。

また本発明はカメラや顕微鏡等のオートフォーカス機
構に適用することができ、従来の機構より精度を向上さ
せることが可能である。更にはまた本発明は、医学にお
ける細胞診，生物学，地学，金属材料等の諸研究に用い
られる顕微鏡下における自動認識の技術に適用すること
ができ、従来の形態だけの判定に色の情報を加えること
によって精度を高め、応用範囲を拡大することができ
る。また本発明の工業的応用としては、生産ラインにお
ける塗装検査や、色と形の両方を認識するロボットビジ
ョンに応用することもできるし、生鮮食品の自動振り分
け機にも適用でき、その場合は形状の他に色具合をパラ
メータとして加えることができる。

〔発明の効果〕

以上実施例に基づいて説明したように、本発明によれ
ば、入力画像である多次元画像を、多次元画像の分布の
分散が大きくなるようなベクトルと直交する直交空間に
投影変換することにより、相対的に高空間周波数成分を
多く含む、多次元成分を１つ以上減らした画像を抽出
し、この画像に対して相関演算を行う、すなわち多次元
成分を減らした、相関演算に有効な成分をもつ画像に変
換してから計算を行うようにしているので、計算量を減
少させることができると共に、より精度良く相関演算を
行うことができる。

【図面の簡単な説明】

第１図は、本発明に係るカラー画像相関演算装置におけ
る２成分値に対して相関演算を行う場合の基本的な処理
の流れを説明するためのフローチャート、第２図は、RG
B3次元空間におけるカラー画像及び単位ベクトルの位置
関係を示す図、第３図は、本発明の第１実施例を示すブ
ロック構成図、第４図は、相関演算器の構成例を示すブ
ロック図、第５図は、相関演算器の他の構成例を示すブ
ロック図、第６図は、相関演算器の更に他の構成例を示
すブロック図、第７図は、本発明の第２実施例を示すブ
ロック構成図、第８図は、本発明の第３実施例を示すブ
ロック構成図、第９図は、本発明の第４実施例を示すブ
ロック構成図、第10図は、本発明の第５実施例を示すブ
ロック構成図、第11図は、本発明の第７実施例を示すブ
ロック構成図、第12図は、本発明の第８実施例を示すブ
ロック構成図、第13図は、本発明の第９実施例を示すブ
ロック構成図、第14図は、本発明の第10実施例を示すブ
ロック構成図、第15図は、本発明の第11実施例を示すブ
ロック構成図、第16図は、本発明の第12実施例を示すブ
ロック構成図、第17図は、本発明の第13実施例を示すブ
ロック構成図である。 図において、20は画像入力装置、21は主成分分析装置、
22は画像変換装置、23は相関演算装置、24は画像メモ
リ、25はコントローラ、26,27は平均色方向演算装置、2
8は画像変換装置を示す。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 エリク バディケ 神奈川県横浜市緑区長津田町4259 東京 工業大学像情報工学研究施設内 (72)発明者 菊地 奨 東京都渋谷区幡ケ谷２丁目43番２号 オ リンパス光学工業株式会社内 (72)発明者 小宮 康宏 東京都渋谷区幡ケ谷２丁目43番２号 オ リンパス光学工業株式会社内 (56)参考文献 特開 昭62−52675（ＪＰ，Ａ) 特開 昭55−80185（ＪＰ，Ａ) 特開 昭59−99581（ＪＰ，Ａ)

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】入力画像の各画素が２次元以上の多次元成
   分で構成される多次元画像に対する相関演算を行う装置
   であって、 前記多次元画像を入力する画像入力手段と、 前記多次元成分の個々の次元成分値を示す軸を互いに直
   交軸とするベクトル空間において、前記画像入力手段に
   よって入力された前記多次元画像の各画素を、前記多次
   元成分を要素とする複数のベクトルとして表し、これら
   の複数のベクトル分布の分散が大きな方向に対して直交
   する直交空間に前記複数のベクトルを投影することで、
   前記多次元成分の１つ以上の成分を減らすように前記多
   次元画像を変換する画像変換手段と、前記成分の減らさ
   れた多次元成分の各成分毎に相関演算を行う相関演算手
   段とを有することを特徴とする多次元画像相関演算装
   置。
2. 【請求項２】前記画像変換手段は、前記ベクトル空間に
   おいて前記複数のベクトルの分布の主成分分析を行っ
   て、前記複数のベクトルの分布の分散が最大となる第１
   主成分方向に直交する直交空間を求める主成分方向直交
   空間演算手段と、前記複数のベクトルを前記第１主成分
   方向と直交する直交空間に投影する画像投影手段とを有
   することを特徴とする特許請求の範囲第１項記載の多次
   元画像相関演算装置。
3. 【請求項３】前記主成分方向直交空間演算手段は、前記
   第１主成分方向を示す第１主成分ベクトルを求めて、こ
   の第１主成分ベクトルに直交する直交空間を求める主成
   分方向直交空間演算手段であることを特徴とする特許請
   求の範囲第２項記載の多次元画像相関演算装置。
4. 【請求項４】前記主成分方向直交空間演算手段は、前記
   第１主成分方向を示す第１主成分ベクトル以外の固有値
   の小さな主成分ベクトルからなる、前記第１主成分ベク
   トルに直交する直交空間を求める主成分方向直交空間演
   算手段であることを特徴とする特許請求の範囲第２項記
   載の多次元画像相関演算装置。
5. 【請求項５】前記画像変換手段は、前記ベクトル空間に
   おいて、前記複数のベクトルの各成分値毎の和を、それ
   ぞれこれらの成分値毎の和の二乗和の平方根で除した値
   を要素とする平均ベクトルを求めて、この平均ベクトル
   に直交する直交空間を求める平均ベクトル直交空間演算
   手段と、前記複数のベクトルを前記平均ベクトルと直交
   する直交空間に投影する画像投影手段とを有することを
   特徴とする特許請求の範囲第１項記載の多次元画像相関
   演算装置。
6. 【請求項６】前記画像変換手段は、前記ベクトル空間に
   おいて、前記多次元画像の明度方向に直交する直交空間
   に前記複数のベクトルを投影する画像変換手段であるこ
   とを特徴とする特許請求の範囲第１項記載の多次元画像
   相関演算装置。
7. 【請求項７】前記画像変換手段は、更に、前記変換され
   た多次元画像の多次元成分間の線形結合値を演算するこ
   とで、前記変換された多次元画像の多次元成分の１つ以
   上の成分を更に減らす線形結合演算手段を備えているこ
   とを特徴とする特許請求の範囲第１項乃至第６項のいず
   れか１項に記載の多次元画像相関演算装置。
8. 【請求項８】前記相関演算手段は、前記画像変換手段に
   よって変換された多次元画像の次元成分が２個の場合
   に、この２個の成分を複素数の実数部及び虚数部として
   フーリエ変換を行うことによって相関演算を行う相関演
   算手段であることを特徴とする特許請求の範囲第１項乃
   至第７項のいずれか１項に記載の多次元画像相関演算装
   置。