JPH03233433A - 光学並列相関演算装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、２枚の画像間の局所的相関演算を空間的に並
列に行なう光学並列相関演算装置に関する。

［従来の技術］ 異なる２点から同一対象物を撮像して得られたステレオ
画像（２枚の画像を合わせて呼ぶ）からは、例えば、対
象物までの距離を算出することができるので、車間距離
の検出や飛行物体から地面までの距離の検出等に利用さ
れている。このように利用する場合、ステレオ画像のそ
れぞれについて対応する位置を検出しておくことを要し
、かかる位置検出のために両画像間の相関演算を適宜行
なっている。

ステレオ画像であるか否かを問わず、２枚の画像間の相
関演算を光学的に実現する装置としては、従来、コヒー
レント相関計とインコヒーレント相関計とがある（文献
１パ辻内順平、村田和美編、「光学情報処理」、第２章
及び第３章、朝食書店発行、１９７４年″、文献２′山
ロ一部著、雑誌「情報処理Ｊ　、Ｖｏｌ、２６．　Ｎｏ
、８、ｐｐ９１７−９２６．１９８５年８月″り。

コヒーレント相関計は、一方の画像のフーリエ変換像を
ホログラムに記録しておき、他方の画像のフーリエ変換
像で該ホログラムを再生することにより、両画像の相関
関数を空間上に展開して求めるものである。

インコヒーレント相関計は、幾何光学的な光束の伝搬法
則に基づくもので、大きくは二つに分けることができる
。第１の相関計は、密着させた２枚の画像の一方の画像
を縦横にシフトさせなから垂直に入射された平行光束を
受光素子に集光させ、両画像間の相関関数を時間軸上に
展開して求めるものであり、第２の相関計は、一定の距
離を離して平行に設置した両画像を異なる方向を持つ多
数の平行光束で照明し、両画像を通過した各平行光束を
ある平面上の異なる位置に集光させることにより両画像
間の相関関数を空間上に展開して求めるものである。

［発明が解決しようとする課題］ 上述したコヒーレント相関計、第１及び第２のインコヒ
ーレント相関計のいずれも、一方の画像の全面若しくは
ある特定の部分画像と他方の画像の全面との相関関数を
求めるものであり、これらの相関計では一方の画像に含
まれる多数の局所部分画像と他方の画像の全面との相関
関数を独立にしかも空間的に並列に求めることはできな
い。

しかし、例えば、ステレオ画像対の一方の画像上の各点
と、他方の画像上の各点との対応関係を相関法で求める
場合のように、一方の画像の各点を中心とするある小さ
い領域を持つ各局所部分画像と、他方の画像の全面との
相関関数を求めることが必要となる場合がある。このよ
うな要求に対して従来の相関計で応じようとすると、一
方の画像の各局所部分画像を逐次入力し、それぞれにつ
いて上述した相関演算処理を繰り返さなければならない
。従って、演算に長時間を要する。

本発明は、以上の点を考慮してなされたものであり、一
つの光学系で一方の画像の各局所部分画像と他方の画像
の全面との相関演算を独立にそして空間的に並列して行
なうことができる光学並列相関演算装置を提供しようと
するものである。

［課題を解決するための手段］ かかる課題を解決するため、請求項■に記載の本発明に
おいては、光学並列相関演算装置を、以下の各要素で構
成した。

すなわち、第工の透光性画像上の各点を中心とする各局
所部分画像に対して、それぞれ異なる方向を持つ平行光
束を照射する照明系と、第１の透光性画像を第２の透光
性画像上に結像させる結像光学系と、第１の透光性画像
及び第２の透光性画像を順次通過した各平行光束を、所
定の平面上の異なる位置に集光させる集光手段とを設け
た。また、この所定の平面上に並べられた複数の受光素
子でなる受光素子アレイと、第）の透光性画像又は第２
の透光性画像の少なくとも一方を、画像が位置する平面
内でシフトさせる画像シフト手段とを設けた。

そして、第１の透光性画像上の各局所部分画像と第２の
透光性画像との相開演算を空間的に並列に行なって受光
素子アレイから出力する。

また、上記課題を解決するため、請求項２に記載の本発
明においては、光学並列相関演算装置を、以下の各要素
で構成した。

すなわち、第工の画像上の各点を中心とする各局所部分
画像に対して、画像に対応した強度をもち、しかも異な
る方向をもつ複数の平行光束を発生する第１の画像光発
生手段と、第１の画像光発生手段からの平行光束を第１
の所定面上に結像させる結像光学系とを設けた。また、
第２の画像上の各点を中心とする各局所部分画像に対し
て、画像に対応した強度をもち、しかも異なる方向をも
つ平行光束を発生するものであって、その発光量が結像
光学系による結像光量に応じたものとする第２の画像光
発生手段と、この第２の画像光発生手段からの各平行光
束を第２の所定平面上の異なる位置に集光させる集光手
段と、第２の所定平面上に並べられた複数の受光素子ア
レイと、第１の画像光発生手段にかかる第Ｉの画像又は
第２の画像光発生手段にかかる第２の画像の少なくとも
一方の画像をその画像平面内でシフトさせる画像シフト
手段を備えた。

そして、第１の画像上の各局所部分画像と第２の画像と
の相関演算を空間的に並列に行なって受光素子アレイか
ら出力するようにした。

なお、請求項２の本発明について、第１及び第２の画像
光発生手段をそれぞれ、液晶パネルを用いて構成するこ
とが好ましい。液晶パネルで構成した場合には、この液
晶パネルとその駆動制御構成とによって、画像シフト手
段を構成することもできる。

なお、請求項１及び２にかかる本発明共に、各局所部分
画像の外形形状を短冊状とすることが望ましい。

［作用］ 請求項１にかかる本発明では、照明系から射出された各
平行光束の進行方向をそれぞれ異なる方向にして第１の
透光性画像の各局所部分画像を通過させ、その後、各平
行光束を結像光学系を介してそれぞれ第２の透光性画像
の異なる部分を通過させる。このようにして両画像を通
過した各平行光束を、集光手段によっである平面上に設
置された受光素子アレイ上に集光させる。各受光素子に
は、第１の透光性画像の各局所部分画像と第２の透光性
画像の局所部分画像との相関値が得られる。

ここで、画像シフト手段によって一方の透光性画像を縦
横に連続的にシフトすると、第工の透光性画像の各局所
部分画像と第２の透光性画像の全面との相関関数がそれ
ぞれ独立にそして並列に時系列の電気信号として得られ
る。

請求項２にかかる本発明では、第１の画像光発生手段が
、第１の画像上の各点を中心とする各局所部分画像に対
して、画像に対応した強度をもち、しかも異なる方向を
もつ複数の平行光束を発生する。この第１の画像光発生
手段からの平行光束を結像光学系によって、第２の画像
光発生手段に結像させる。第２の画像光発生手段は、第
２の画像上の各点を中心とする各局所部分画像に対して
、画像に対応した強度をもち、しかも異なる方向をもつ
平行光束を発生し、その際、その発光量をさらに結像光
学系による結像光量に応じたものとする。この第２の画
像光発生手段からの各平行光束を、集光手段によっであ
る平面上に設置された受光素子アレイ上に集光させる。

かくして、各受光素子には、第１の画像の各局所部分画
像と第２の画像の局所部分画像との相関値が得られる。

ここで、画像シフト手段によって一方の画像を縦横に連
続的にシフトすると、第Ｉの画像の各局所部分画像と第
２の画像の全面との相関関数がそれぞれ独立にそして並
列に時系列の電気信号として得られる。

［実施例］ 策上実施舅 まず、本発明の第１実施例を図面を参照しなから説明す
る。

第１図は本発明の第１実施例の構成を示したものである
。

第１図において、照明系は白色光源１、コリメーティン
グレンズ２、拡散板３及び絞り４から構成される。白色
光源１からの射出光がコリメーティングレンズ２によっ
て平行光に変換されて拡散板３に入射される。拡散板３
は、入射平行光をあらゆる方向へほぼ均一に拡散する作
用を有し、あらゆる方向へ向かう平行光束を生成する。

拡散板３からの各平行光束が与えられる絞り４は、第１
の透光性画像Ａの各局所部分画像の形状と大きさを決定
するものである。また、絞り４は、透光性画像Ａの各局
所部分画像に照射される平行光束の進行方向を定めるも
のである。この実施例の場合、絞り４の開口４Ａが半径
ｒを有する円形とされている。

第１のレンズ５及び第２のレンズ６は結像光学系を構成
しており、また、これらのレンズ５及び６はテレセント
リック系をなす。第２の透光性画像Ｂは、レンズ５及び
レンズ６による画像Ａの像面上に設置する。なお、画像
Ａと、レンズ５及びレンズ６によるその像の方向とが互
いに逆になっているため、画像Ｂを画像Ａに対して上下
及び左右を逆にして設置する。なお、この結像光学系は
、画像Ａに入射される複数の平行光束の進行方向が発散
する関係にあってこのままでは画像Ｂに入射されない平
行光束が生じるので、これを避けるために設けられてい
る。

第３のレンズ７は、画像Ａ及びＢを通過した平行光束を
受光素子アレイ８に集光させるためのものである。この
実施例の場合、上述したレンズ６とこの集光レンズ７と
はテレセントリック系をなす。受光素子アレイ８は、集
光レンズ７の後焦平面上に設置される。受光素子アレイ
８の各受光素子は、その受光量を光電変換して相関値を
表す電気信号として出力する。

なお、図示は省略しているが、画像Ｂを縦横にシフトさ
せる構成が設けられている。この第１実施例の場合、透
光性画像Ａ及びＢはフィルム状媒体によって実現されて
おり、シフト構成は機構的な構成となっている。

次に、以上の構成を有する光学並列相関演算装置１０の
動作を、用途の一例と共に説明する。透光性画像Ａ及び
Ｂがランダムな透過率分布パターンを持つカラーのステ
レオ画像対であるとし、上記実施例の装置ＩＯを用いて
、このステレオ画像対の各点の対応関係すなわち各対応
点対の位置ずれ量を求める場合を説明する。

画像Ａ上の点ｐを中心とする半径での円形局所部分画像
Ａｐについて考える。画像Ａ及びＢがランダムな透過率
分布パターンを有するので、画像Ｂ上の点ｑが画像Ａの
点ｐと対応している場合に、部分画像Ａｐと点ｑを中心
とする半径ｒの部分画像Ｂｑとの積和の値、すなわち相
関値が最大となる。そこで、局所部分画像Ａｐと画像Ｂ
のあらゆる局所部分画像との相関値を逐次に求め、その
中から最大相関値を取るものをみつけることで対応点ｑ
を求めることとする。

最初（時刻１＝０のとき）は、第を図に破線で示すよう
に、画像Ｂを画像Ａの像とオーバーラツプしない位置に
置き、時間の経過と共にオーバーラツプするように画像
Ｂを同一平面上を横方向にシフトさせていく。そうする
と、画像Ａの部分画像Ａｐと、中心が点ｑを通る横線上
にある画像Ｂ上の全ての局所部分画像との相関値が、画
像Ｂの右端の局所部分画像から左端の局所部分画像へか
けて逐次受光素子アレイ８内の受光素子Ｄｐ上に得られ
る。局所部分画像Ａｐが局所部分画像Ｂｑと完全にオー
バーラツプしたときに、受光素子Ｄｐからの電気信号（
相関信号）についてピーク値が得られ、このピーク値の
タイミングを検出すれば、点ｐと点ｑとの位置ずれ量を
求めることができる。

＃像Ａのその他の点についても、空間的位置が異なるだ
けで、以上と同じことが言える。このことは、画像Ａ上
の各点に対するマツチング処理がそれぞれ独立にそして
空間的に並列に行われていることを意味する。また、画
像Ａ上の点ｐ　（図示せず）と点ｐとが異なる点であれ
ば、点ｐ′を中心とする半径ｒの局所部分画像Ａｐ　　
（図示せず）と点ｐを中心とする半径ｒの局所部分画像
Ａｐとの間に共通画像領域があっても、それぞれは互い
に干渉することなく、独立に処理される。

上述の第１実施例によれば、例えば、ステレオ画像につ
いて実行が求められるような２枚の画像間の局所相関演
算を、光学的に並列に行なうことができ、処理速度が大
幅に向上できる。また、カラー画像か白黒画像かに関係
なく、同じ装置で、しかも同じ演算時間で処理すること
ができる。

基２犬施舅 次に、本発明の第２実施例を説明する。

この第２実施例は、第１実施例に比較して絞りの開口形
状が異なっており、他の構成は第１実施例と同様である
。すなわち、この第２実施例の絞り４０の開口４ＯＡは
、第２図に示すように、左右方向の長さが上下方向の長
さに比べて大きい矩形形状に選定されている。これは、
両送光性画像Ａ及びＢがステレオ画像対である場合を特
に意識したものである。

上述した第１実施例は、両送光性画像Ａ及びＢがステレ
オ画像対以外の場合には有効なものであるが、ステレオ
画像対の場合には以下のような不都合を生じる。

第３図はかかる不都合の説明図である。今、対象物の正
面画像ＦＯが正方形で、しがも下辺が上辺に比べて撮像
系側にある場合を考える。ステレオ画像は、同一対象物
を異なる視点から撮像したものであり、上述した形状を
有する対象物を左側から撮像した左画像ＦＬは、下辺が
上辺より左側に位置する平行四辺形となり、対象物を右
側から撮像した右画像ＦＲは、下辺が上辺より右側に位
置する平行四辺形となる。第３図の左右画像Ｆ［、ＦＲ
における円形便域は、従来の絞り４の開口４Ａによって
定まる相関演算の有効領域Ｓａである。

このように同一の相関演算領域Ｓａ内の左右画像ＦＬ　
、ＦＲは、異なる形状で観測される。従って、同一対象
物を撮像としているにも拘らず、得られる相関係数は低
いものとなり、信頼できる相関係数が得られない。

第４図は、第２実施例にかかる絞り４０を用いた場合の
第３図に対応する図面である。この場合、左右画像ＦＬ
　、ＦＲの形状が異なっていても、絞り４０の開口４０
Ａにより定まる相関演算領域Ｓｂの形状が左右方向に長
い矩形形状であるので、左右画像ＦＬ　、ＦＲの形状の
違いが相関演算値に現れる比率がごく僅がとなる。

実際上、次式 ％式％ （１） （但し、ｆＬ、ｆＲは左右の画像濃度分布、Ｓは相関演
算領域） で表される相互相関係数γを、第３図及び第４図の場合
のそれぞれについて求めたところ、第３図の場合には０
．７５、第４図の場合には０．８９となった。なお、正
方形形状の対象物が−様な濃度Ｄｏを有し、背景も濃度
値自体は異なるが−様な濃度Ｄ８を有するとして演算し
ている。

以上のように、この第２実施例によれば、第１実施例と
同様な効果を奏すると共に、さらに、両送光性画像Ａ及
びＢがステレオ画像対であっても十分な相関係数の演算
精度を確保できるという効果が得られる。

族１犬施剥 次に、本発明の第３実施例を第５図を用いて説明する。

この第３実施例の光学並列相関演算装置２０は、第１及
び第２実施例の装置に比較して、透光性画像Ａ及び又は
Ｂのシフトを簡易に実現できるようにしたものであり、
また、光学系全体を簡易なものとしたものである。

第５図において、図示しない光源から射出され、図示し
ないコリメーティングレンズによって平行光に変換され
た光線は、第１の透過型液晶パネル２■に与えられる。

この第Ｉの透過型液晶パネル２■は、図示しない液晶駆
動部による透過率制御によって相関演算に供する一方の
透光性画像Ａを形成するものであり、また、この透光性
画像Ａに応じた光線を拡散させるものである。一般の液
晶パネルは、その透過特性から考えると、入射光の透過
率の制御と拡散光生成の両機能が備わっており、この実
施例の透過型液晶パネル２１もこれら機能を利用してい
る。

第Ｉの透過型液晶パネル２１を介した透光性画像Ａに応
じたしかもあらゆる方向に向かう平行光束は、第１の絞
り２２に与えられる。絞り２２は、透光性画像Ａの相関
演算に供する各局所部分くマツチング領域〉の大きさと
形状を決定するものであり、また、並列演算に供する平
行光束の進行方向を定めるものである。

絞り２２を通過した平行光束が与えられるレンズ２３は
、第２の透過型液晶パネル２４への入射角と、第２の透
過型液晶パネル２４上でのマツチング領域の大きさと形
状を決定するためのものである。この第２の透過型液晶
パネル２４上には透光性画像Ａの上下及び左右が逆転し
た光量分布像が照射されることになる。

この第２の透過型液晶パネル２４は、図示しない液晶駆
動部による透過率制御によって相関演算に供する他方の
透光性画像Ｂを形成するものであり、また、この透光性
画像Ｂに応じた光線を拡散させるものである。この透過
型液晶パネル２４には、上述したように透光性画像Ａを
介した光線が入射されているので、この透過型液晶パネ
ル２４からの出射光は、透光性画像Ａと透光性画像Ｂと
の透過率の積に対応する光強度をもつ拡散光となる。

第２の絞り２５は、透過型液晶パネル２４からの拡散光
の進行方向を制限するものである。

レンズ２６は、この第２の絞り２５を通過した光線をデ
ィテクタとしての受光素子アレイ２７上へ集光させるも
のである。

受光素子アレイ２７は、上述の第１実施例と同様に受光
量を光電変換するものである。

以上の構成を有する第３実施例においても、透光性画像
Ａ及びＢが液晶パネル２１及び２４に形成される、光拡
散手段として液晶パネル２■及び２４を利用している、
という違いはあるが、第１実施例と同様に動作して、画
像Ａ上の各点に対するマツチング処理をそれぞれ独立に
そして空間的に並列に実行する。

この第３実施例を用いてステレオ画像のマツチングを行
なう場合には、２枚の透光性画像Ａ及びＢの少なくとも
一方を移動させる必要があるが、透光性画像Ａ及びＢを
透過型液晶パネル２１及び２４上に形成しているので、
その移動を、液晶駆動部の制御を通じた透過型液晶パネ
ル２１又は２４の画像スクロールにより実現できる。

従って、この第３実施例においても、第１実施例と同様
な効果を得ることができる。しがも、透光性画像Ａ及び
Ｂの移動制御を容易に実行できるという効果をも得るこ
とができる。

位り実施例 なお、上述の実施例においては、白色光源１を用いたも
のを示したが、単色光源を適用することもできる。例え
ば、入力された透光性画像が白黒画像の場合、単色光源
を適用すると、白色光源を適用した場合に比べて、レン
ズ系での色収差を低減させることができ、より高精度の
相関値を得ることができる。

また、上記実施例を用いた応用例としては、各種のもの
が考えられ、例えば、画像Ｂに各種の画像パターンを記
録しておき、画像Ａ上にある多数の入力画像パターンを
同時に同定するようなことも考えられる。

さらに、上記実施例においては、集光手段が集光レンズ
７であるものを示したが、集光ミラー等を用いても良い
。

また、第１及び第２実施例についていえば、画像Ａ及び
Ｂの設置位置も上記実施例のものに限定されるものでは
ない。例えば、画像Ａをレンズ５の後方（平行光束の進
行方向からみて後方）に設置すると共に、画像Ｂをレン
ズ７の後方に設置しても良く、上記実施例と同様な効果
を得ることができる。

第３実施例の変形として、液晶パネルの拡散光分布が不
充分な場合には、その出力面に拡散板を配置することが
考えられる。

また、第３実施例の変形として、透過型液晶パネル２１
及び２４を受光、発光素子に置き換えることも考えられ
る。この場合、第１の透過型液晶パネル２１は発光素子
アレイに、第２の透過型液晶パネル２２は受光素子アレ
イと発光素子アレイに置き換えることで、光量補償が可
能となる。

さらに、第３実施例に関し、拡散光量の不均一性を、透
過型液晶パネルあるいは発光素子アレイの信号入力にバ
イアスを加えて補償することができ、高精度な演算が可
能となる。

［発明の効果コ 以上のように、本発明によれば、２枚の画像情報を、異
なる進行方向を有する複数の平行光束に重畳させて相関
演算させるようにしたので、対象画像がカラー画像か白
黒画像かに関係なく、２枚の画像間の局所相関演算を光
学的に並列に行なうことができて、処理速度を大幅に向
上させることができる。

【図面の簡単な説明】

第工図は本発明による光学並列相関演算装置の第１実施
例の構成を示す斜視図、第２図は本発明の第２実施例に
よる絞りを示す正面図、第３図及び第４図は第２実施例
の効果の説明に供する説明図、第５図は本発明の第３実
施例による光学要素の配置図である。 １・・・白色光源、２・・・コリメーティングレンズ、
３・・・拡散ガラス、４．２２．２５．４０・・・絞り
、５．６．２３・・・結像光学系を構成するレンズ、７
．２６・・・集光レンズ、８．２７・・・受光素子アレ
イ、２１．２４・・・透過型液晶パネル、Ａ、　Ｂ・・
・入力された透光性画像。

Claims (5)

【特許請求の範囲】
1. （１）第１の透光性画像上の各点を中心とする各局所部
   分画像に対して、それぞれ異なる方向を持つ平行光束を
   照射する照明系と、 第１の透光性画像を第２の透光性画像上に結像させる結
   像光学系と、 第１の透光性画像及び第２の透光性画像を順次通過した
   各平行光束を、所定の平面上の異なる位置に集光させる
   集光手段と、 この所定の平面上に並べられた複数の受光素子でなる受
   光素子アレイと、 第１の透光性画像又は第２の透光性画像の少なくとも一
   方を、画像が位置する平面内でシフトさせる画像シフト
   手段とを備え、 第１の透光性画像上の各局所部分画像と第２の透光性画
   像との相関演算を空間的に並列に行なつて上記受光素子
   アレイから出力するようにしたことを特徴とする光学並
   列相関演算装置。
2. （２）第１の画像上の各点を中心とする各局所部分画像
   に対して、画像に対応した強度をもち、しかも異なる方
   向をもつ複数の平行光束を発生する第１の画像光発生手
   段と、 第１の画像光発生手段からの平行光束を第１の所定面上
   に結像させる結像光学系と、 第２の画像上の各点を中心とする各局所部分画像に対し
   て、画像に対応した強度をもち、しかも異なる方向をも
   つ平行光束を発生するものであって、その発光量が上記
   結像光学系による結像光量に応じたものとする第２の画
   像光発生手段と、この第２の画像光発生手段からの各平
   行光束を第２の所定平面上の異なる位置に集光させる集
   光手段と、 上記第２の所定平面上に並べられた複数の受光素子アレ
   イと、 上記第１の画像光発生手段にかかる第１の画像又は上記
   第２の画像光発生手段にかかる第２の画像の少なくとも
   一方の画像をその画像平面内でシフトさせる画像シフト
   手段を備え、 第１の画像上の各局所部分画像と第２の画像との相関演
   算を空間的に並列に行なって上記受光素子アレイから出
   力するようにしたことを特徴とする光学並列相関演算装
   置。
3. （３）上記第１及び第２の画像光発生手段をそれぞれ、
   液晶パネルを用いて構成したことを特徴とする請求項２
   に記載の光学並列相関演算装置。
4. （４）上記液晶パネルとその駆動制御構成とによつて、
   上記画像シフト手段を構成したことを特徴とする請求項
   ３に記載の光学並列相関演算装置。
5. （５）上記各局所部分画像の外形形状を短冊状としたこ
   とを特徴とする請求項１ないし４のいずれかに記載の光
   学並列相関演算装置。