JP2771665B2

JP2771665B2 - 光相関処理方法

Info

Publication number: JP2771665B2
Application number: JP5654690A
Authority: JP
Inventors: 利治武居; 安弘竹村
Original assignee: Sumitomo Osaka Cement Co Ltd
Current assignee: Sumitomo Osaka Cement Co Ltd
Priority date: 1990-03-09
Filing date: 1990-03-09
Publication date: 1998-07-02
Anticipated expiration: 2013-07-02
Also published as: JPH03259129A

Description

【発明の詳細な説明】［産業上の利用分野］本発明は、光情報処理の分野において、利用される光
相関処理方法に関する。即ち、光学的画像認識、画像連
想において、重要な役割りを演じる可能性を有し、特
に、複雑な画像中からターゲット画像の抽出を行なうな
どの演算処理において、役立つ光相関処理方法に関す
る。

［従来の技術及び発明が解決しようとする問題点］従来、光学的に相関演算を行なう方法として、マッチ
ドフィルター法とジョイントトランスフォーム法（合同
フーリエ変換法）があった。

前記のマッチドフィルター法は、２次元的な参照画像
の光学的フーリエ変換面に、参照波を照射し、いわゆる
フーリエ変換ホログラムを作成し、これをフィルターと
し、そのフィルターに対して、被検画像のフーリエ変換
像を重畳することにより、相関演算を行なうものであっ
た。

また、後者のジョイントトランスフォーム法は、被検
画像と参照画像の合同のフーリエ変換像を、強度パター
ンとして記録し、この強度パターンに応じた透過率分布
或いは反射率分布を作り、これを平面波で照射すること
により、相関演算を行なうものであった。

然し乍ら、前者の方法では、参照画像を記録する際
に、一つ一つの画像毎に、参照波の照射方向を変える必
要があり、実時間的に多くの画像を処理することが困難
であった。

一方、後者の方法では、参照画像と被検画像を同時に
提示することができるので、実時間的な処理が可能にな
ったが、合同フーリエ変換像の強度パターンを記録する
際に、隣接した参照画像同志の距離と、被検画像の距離
を適正化するために、画像表示部の利用効率が悪かっ
た。また、多くの参照画像を提示すると、フーリエ変換
面での参照画像と被検画像による多重干渉縞の可視度が
低下し、一度に多くの参照像を提示することが困難であ
った。

また、従来の合同フーリエ変換法では、被検画像と参
照画像群を同時に提示し、相関演算を行なっていたた
め、被検画像と参照画像群との相関光量に参照画像同志
の相関光量が載ってしまい、被検画像の正しい認識や連
想ができない場合があった。

また、本発明者等は、後者の方法によって得た相関度
を基準にして、参照画像を照射する光量を変化させるフ
ィードバック系を導入することにより、参照画像数の増
大と被検画像の識別や連想の効率が向上させられること
を、平成１年特許願第114145、114146及び114148号出願
の明細書で明らかにしたが、更なる被検画像数の増大が
必要であった。

本発明は、上記の問題点を解決するために為されたも
ので、ホログラフィー等の手段を使用せずに、容易に、
しかも多くの参照画像メモリをその配置によらず、形成
でき、実時間動作で参照画像群と被検画像の相関演算を
行ない、更に、S/N比高く、相関ピークを得ることがで
きる相関演算処理方法を提供することを目的とする。

［問題点を解決するための手段］そこで、本発明は、上記の技術的な課題の解決のため
に、光学的に、被検画像と参照画像群との合同フーリエ変換
を行なうことにより得られた強度パターンと再び光学的
にフーリエ交換を行ない、或いは、その相関演算の結果
得られた相関光量より各参照画像からの出力を変化さ
せ、更に上記の一連の動作を繰り返す帰還過程を設けた
相関処理方法において、前記参照画像群のみを合同フー
リエ変換し、前記参照画像群同志の前記相関演算を行な
って得た第１の光量の平方根に相当する第１の出力と、
前記参照画像群と被検画像との前記演算を行なって得た
第２の光量の平方根に相当する第２の出力との対応する
画素毎の差の光量、若しくはその対応するピーク光量の
差の出力を第３の出力とし、該第３の出力を相関演算結
果とするか或いは前記帰還過程の基準相関光量とするこ
とを特徴とする光相関処理方法を提供する。そして、第
１の光量及び第２の光量の平方根は、各々の光量を２次
元光電変換素子で検出し、電気的画像処理装置により、
算出するものが好適である。

［作用］上記のような本発明の光相関処理方法によれば、参照
画像群の合同フーリエ変換をし、参照画像群同志の相関
演算から得た第１の光量は、相関度の二乗に相当する量
になり、光軸を基準にして、各参照画像間の距離と方向
に応じた位置に現れ、一方、被検画像と参照画像群との
合同フーリエ変換から得た第２の光量は、相関度の二乗
に相当する量になり、光軸を基準にして、各参照画像間
の距離と方向に応じた位置、及び、被検画像と各参照画
像との距離と方向に応じた位置に現れる。この第１の光
量の平方根と第２の光量の平方根との対応する画素毎の
差の光量である第３の光量は、被検画像と各参照画像群
との相関光量のみとなる。従って、第３の光量を相関出
力とすれば、参照画像群同志から生じる相関光量による
ノイズ成分を除去することができるので、被検画像の正
しい認識を行なうことができる。また、該第３の光量を
基準にして帰還量を設定し、フィードバック系にするこ
とにより、参照画像数を更に増大でき、また被検画像の
認識と連想の効率を更に増大させることができる。

次に、本発明の光相関演算処理方法を具体的に実施例
により説明するが、本発明はそれらによって限定される
ものではない。

［実施例１］第１図は、本発明による光相関演算処理方法の１例の
機能を示す模式構成図である。

第１図に示す光学的配置図において、半導体レーザや
気体レーザ等のコヒーレント光源11から出射した光束12
は、ビームエキスパンダ13で、適当な光束径に変換さ
れ、ビームスプリッター14で、２つの光路に分けられ
る。

ビームスプリッター14を透過した光束は、液晶ライト
バルブ（以下、LCLVと称する）15を通過して、画像表示
装置16に入射する。ここで、LCLV15には、電気信号入力
により、空間的に透過率分布を変調できる空間光変調器
を成しており、その最も一般的な例では、液晶テレビや
コンピュータデイスプレイに使用されている液晶パネル
が用いられる。

このLCLV15は、当初、透過率が均一に設定されている
が、その後の行程処理の結果により、その透過率分布の
形状が、後述する第３の相関光量に基づく相関度が高い
参照画像に対応する部分の透過率が高くなり、そうでな
い部分の透過率が低くなる。

さて、画像表示装置16は、電気的入力或いは光学的入
力によりパターンを表示できる空間光変調器となってお
り、最初、参照画像群のみが書き込まれる。

この画像表示装置16を通過した光束12は、フーリエ変
換レンズ21に入射され、フーリエ変換面に置かれたスク
リーン41に入射される。

このスクリーン41上では、画像表示装置16における、
複素振幅分布の二次元フーリエ変換の２乗に比例した光
強度が観測される。この光強度分布は、空間フィルタ３
を経て、CCD等の２次元光電変換素子42により検出され
る。ここで、２次元光電変換素子42で得られた画像は、
電気信号としてビデオアンプ及び液晶駆動回路43を通っ
て、LCLV45上に表示される。このLCLV45もLCLV15と同様
に空間光変調器を成しており、入射光の複素振幅を変調
して出射させる。このLCLV45への入射光束47は、レーザ
11から出射した光束12が、ビームスプリッター14で分け
られたもので、従って、光源は、ここでは共有されてい
ることになる。

LCLV45を出射した光束47は、フーリエ交換レンズ51を
通ってスクリーン52に入射する。この際に、スクリーン
52は、LCLV45に対して、フーリエ変換の位置となってお
り、従って、スクリーン52上における光強度は、各参照
画像同志との空間的相関の二乗を表わしたものである。
そこで、CCD等の二次元光電変換素子61により、電気信
号に変換して画像処理装置及び液晶駆動回路62に入力
し、平方根の演算を行ない、第１の出力パターンとして
第１の画像メモリ内に記憶する。この第１の出力パター
ンは、各参照画像同志の相関度を表わしたものである。

次に、画像表示装置16上に被検画像と参照画像群を表
示し、前記の方法と同様にして、被検画像と参照画像群
の合同フーリエ変換をした後に、このパターンをLCLV45
上に描き、フーリエ変換レンズ51により再びフーリエ変
換して、画像処理装置62により、平方根の演算を行な
い、第２の出力パターンとして第２の画像メモリ内に記
憶する。この第２の出力パターンは、被検画像と各参照
画像との相関度と、各参照画像同志の相関度を表わした
ものである。

このようにして得た第１の出力パターンと第２の出力
パターンの差の演算を画像処理装置62内で行ない、この
演算結果を第３の出力パターンとする。

さて、このような方法により得た相関度に応じた光強
度のピーク量が、どのようなものであるかを、第２図
（ａ）、（ｂ）に示されたパターンを例として、以下に
説明する。

最初に第２図（ａ）に示すように、参照パターンとし
て、ａ、ｂ、ｃ、ｄを、画像表示装置16に書き込む。

さて、合同フーリエ変換法を用いた相関演算処理方法
では、これらの一括した合同フーリエ変換を取るので、
合同フーリエ変換パターンＦは、Ｆ＝|A＋Ｂ＋Ｃ＋D|²
となる。

ここで、各アルファベットの大文字は、各々の参照パ
ターンのフーリエ変換パターンを表わす。

さて、Ｆを展開すると、Ｆ＝A²＋B²＋C²＋D²＋Ａ^＊Ｂ＋Ｂ^＊Ａ＋Ｂ^＊Ｃ＋Ｃ^＊Ｂ＋・・・となる。ここで、^＊は、複素共役量を表わす。このパタ
ーンを更にフーリエ変換した場合、得られる第１の相関
度は、ｆ＝ａ＊ａ＋ｂ＊ｂ＋ｃ＊ｃ＋ｄ＊ｄ＋ａ＊ｂ＋ｂ＊ａ＋ｂ＊ｃ＋ｃ＊ｂ＋……（１）となる。

ここで、＊印は、相関を表わす。

実際には、式（１）の二乗の強度として、２次元光電
変換素子61で検出されるので、相関度は電気的画像処理
装置62にて、平方根演算をして得られる。

次に、第２図（ｂ）に示すように、被検画像として、
ｓを、参照画像として、ａ、ｂ、ｃ、ｄを画像表示装置
16に描く。

これらの合同フーリエ変換パターンF'は、 F'＝|S＋Ａ＋Ｂ＋Ｃ＋D|² ＝S²＋A²＋B²＋C²＋D²＋Ｓ^＊Ａ＋Ａ^＊Ｓ＋Ｓ^＊Ｂ＋Ｂ^＊Ｓ＋・・・・となる。

このパターンを更にフーリエ変換した場合、得られる
第２の相関度は、 f'＝ｓ＊ｓ＋ａ＊ａ＋ｂ＊ｂ＋ｃ＊ｃ＋ｄ＊ｄ＋ｓ＊ａ＋ａ＊ｓ＋ｓ＊ｂ＋ｂ＊ｓ＋・・・・＋ａ＊ｂ＋ｂ＊ａ＋ｂ＊ｃ＋ｃ＊ｂ＋……（２）となる。ここでも、同様に式（２）の二乗の強度とし
て、２次元光電変換素子61で検出されるので、相関度
は、電気的画像処理装置62にて、平方根演算をして得ら
れる。

さて、本発明による相関処理方法では、式（１），
（２）の差を取るので、 f"＝f'−ｆ＝ｓ＊ｓ＋ｓ＊ａ＋ａ＊ｓ＋ｓ＊ｂ＋ｂ＊ｓ＋・・・・・となり、参照パターン同志の相関パターンは消失し、被
検画像と各参照画像との相関度のみが検出される。ここ
で重要なことは、従来例に比較すると、必要でない情報
は全く取っていないので、参照画像同志の相関パターン
が被検画像との相関パターンに載ることによるノイズが
完全に除去される。従って、被検画像と各参照画像との
相関度の検出におけるS/N比の劣化が非常に少なくな
る。このために、被検画像の認識などにおいて、誤って
認識する確率が大幅に減少する。

また、誤認識による確率の大幅減少を避けるために、
参照画像群同志の距離を適正に配置するなど考慮が、必
要でなくなるために、画像表示装置の利用効率の向上、
並びに、連続した画像中の目標物の抽出などにおいて、
極めて正確な認識ができるようになる。

このようにして得た第３の出力パターン自体を、被検
画像の識別等に使用することもできるが、２次元光電変
換素子61からの出力を画像処理装置62内で前記演算を行
ない、液晶駆動回路62により、第３の出力パターンの相
関出力に応じて、LCLV15の透過度を変化させて、各参照
画像を照射する光量を変え、前記の一連の操作を繰り返
すフィードバック系とすることもできる。

この場合、前記の特許出願において、明らかにしたよ
うに、連想識別能力の向上と参照画像の増大が図られる
上、本発明の相関演算処理方法の採用により、更なる参
照画像の増大及び相関出力のS/N比の向上により、更
に、連想識別能力を向上させることができる。

尚、本発明において、空間光変調器の働きをしている
部分については、仕様上の差異はあるが、原理的には、
すべて同様の電気アドレス型のもの及び光アドレス型の
ものが使用可能である。

電気アドレス型の例としては、前記に説明された液晶
ライトバブルの他に、PLZTやKDP、BSO（Bi₁₂SiO₂₀）、
ニオブ酸リチウム、KTP等の電気光学効果を付加したも
のが良く使用できる。（電気光学効果を持つ媒体にマト
リックス電極を形成したもの等が、使用でき、これら
は、本例で挙げたものと、同様に使用可能である）。

光アドレス型のものでも、電気アドレス型と同様の材
料に、光導電層を組合わせたものが一般的に使用でき
る。但し、BSOやBaTiO₃等の光起電力効果を有する結晶
では、入力光強度に応じた自発分極により光誘起屈折率
変化を起こすので、光導電層を付加する必要はない。

尚、これらの空間光変調器は、透過型としても、反射
型としても構成するこのができる。即ち、光アドレス型
で読み出した光が、書き込み光の情報を完全に打ち消し
てしまうような場合には、読み出し光と書き込み光の波
長域を分離して、読み出し光が、書き込み情報に影響を
与えないようにする等の工夫が必要である。

また、電気アドレス型を使用する場合には、その入力
情報を得るための二次元光電変換素子及びそのための駆
動回路が必要になるが、その信号を加工処理し易いとい
う利点がある。

尚、通常使用されているインコヒーレント・コヒーレ
ント変換素子は、前記の光アドレスの反射型空間光変調
器に属するものであり、これを画像表示装置16として、
用いる場合には、入力画像（被検画像）をそのままイン
コヒーレント・コヒーレント変換素子に入射するための
結像光学系が必要である。

［実施例２］第３図は、本発明による光相関演算処理方法を実施す
る他の光学系を示す模式構成図である。

第３図に示すような相関処理装置において、レーザ11
からの光束12は、ビームエキスパンダ13を経て、ビーム
スプリッター14で反射されて画像表示装置16'に入射す
る。ここで、画像表示装置16'は、被検画像表示部分に
対応したインコヒーレント・コヒーレント変換素子16b
と、参照画像表示部分に対応したLCLV等の反射型電気ア
ドレス型空間光変調器16aとからなる。ここで、インコ
ヒーレント・コヒーレント変換素子16bは、光束12とは
反対側から光学的な変調入力を受ける。この変調入力
は、例えば、第３図に示されるように、被検物体Ｓの像
18が、結像レンズ17により、シャッタ19を介し、インコ
ヒーレント・コヒーレント変換素子16bの画面上に結像
されたものである。

また、参照画像表示部分の入力は、参照画像群と、２
次元光電変換素子61で検出された相関度に基づいた帰還
情報、即ち、各々の参照画像の画像表示装置16aから出
射すべき光強度とが重畳されたものとなっている。即
ち、第３図に示す相関処理装置では、画像表示装置16'
は、第１図の相関処理装置のLCLV15と画像表示装置16と
の機能を同時に受け持つものである。

このような機能を、本発明の処理方法に適応すると、
最初、画像処理装置及び液晶駆動回路62からの指令によ
り、シャッタ19を閉じ、参照画像群のみの出力を得、前
記の実施例１と同様に、画像処理装置内で、平方根処理
した後、メモリ内に記憶する。

次に、シャッタ19を開き、被検画像と参照画像群の出
力を得、前記の実施例１と同様に画像処理装置内で平方
根処理した後、前記メモリ内の画像との差の出力自体を
真の相関出力として、認識等の基準にできるし、また、
帰還系の基準信号として、画像表示装置16'aに表示する
参照画像の光量を変化させることもできる。

これ以外の部分については、使用している空間光変調
器が、電気アドレス或いは光アドレス型であるか、ま
た、透過型或いは反射型であるかの組合わせの違いがあ
るが、第１図の説明とほとんど同じであるので、省略す
る。

尚、帰還系において、参照画像表示部に空間光変調器
を用いた場合、参照画像を直接描けるので、画像の描き
替えが容易になり、当初、多数ある参照画像と被検画像
の輪郭又は分解能の粗い画像を一度に掲示しておいて、
連想を行ない、徐々に参照画像の候補を減らすと共に、
画像を大きくし表示して、その分解能を上げていき、最
後は、参照画像の候補を一つに絞って、精度の高い相関
度の検出を行なうことにより、被検画像の確実な確認を
行なうことができる。

また、前記の実施例における空間フィルタ３は、基本
的には空間光変調器として考えることができるのは、無
論であるが、この場合には、透過型の電気アドレス型と
することが、構成上並びに制御上で都合のよいものであ
る。また、機械的な絞りと同様な構成にすることも可能
である。

前記の説明からも分かるように、これらの空間光変調
器は、どのような組合わせでも可能であり、従って、本
発明の相関処理方法では、その組合わせによって、多数
の実施形態を得ることができるようになる。

［発明の効果］本発明による光相関演算処理方法により、上述のよう
な効果が得られた、それらをまとめると、次のような顕
著な技術的効果が得られた。

第１に、参照画像群同志の相関光量に影響を受けるこ
となく、被検画像と参照画像群との相関度を検出するこ
とができるので、正確に被検画像の識別が行なえる光相
関処理方法を提供できた。

第２に、参照画像群同志の相関光量に影響を受けるこ
とがないので、参照画像群と被検画像との相対的な配置
に制限がなくなり、且つ画像表示領域の利用効率を向上
させることができる光相関処理方法を提供できた。

第３に、ホログラフィ等の手段を用いずに、しかも準
実時間動作で、参照画像群と被検画像の相関演算を正確
に行なう相関演算処理方法を提供できた。

第４に、実時間動作で、非常に多くの参照画像と被検
画像との相関演算を正確に行ない、フィードバック系に
することにより、更に、参照画像群の個数を比較的に大
きくすることができる光相関演算処理方法を提供でき
た。

【図面の簡単な説明】

第１図は、本発明の光相関演算処理方法の１例の機能を
示す模式構成図である。第２図（ａ）、（ｂ）は、本発明の光相関演算処理方法
の処理過程を説明するための画像表示装置上のパターン
を示す模式図である。第３図は、本発明の光相関演算処理方法の別の例の構成
を示す模式構成図である。［主要部分の符号の説明］３……空間周波数フィルタ 11……レーザ 12、47……光束 13……ビームエキスパンダ 14、50……偏光ビームスプリッター 15、16'、45'……液晶ライトバルブ 16……画像表示装置 16a……参照画像表示部 16b……被検画像表示部 17……結像レンズ 18……被検物体 21、51……フーリエ変換レンズ 41、52……スクリーン 42、61……二次元光電変換素子 43……ビデオアンプ及び液晶駆動回路 44、49……ミラー 62……画像処理装置及び液晶駆動回路

Claims

(57)【特許請求の範囲】

【請求項１】光学的に、被検画像と参照画像群との合同
フーリエ交換を行なうことにより得られた強度パターン
を、再び、光学的にフーリエ交換を行なうことにより相
関演算を行なうことにより、或いは更に、その相関演算により得られた相関ピーク光
量より各参照画像からの出力を変化させ、その一連の動
作を繰り返す帰還過程を設けたことを特徴とする光相関
処理を行なう方法において、前記参照画像群のみを合同フーリエ変換し、前記参照画
像群同志の前記相関演算を行なって得た第１の光量の平
方根に相当する第１の出力と、前記参照画像群と被検画
像との前記相関演算を行なって得た第２の光量の平方根
に相当する第２の出力との対応する画素毎の差の出力、
若しくはその対応するピーク出力の差の出力を第３の出
力とし、該第３の出力を相関演算結果とするか或いは前
記帰還過程の基準相関光量とすることを特徴とする光相
関処理方法。
【請求項２】前記第１の光量及び第２の光量の平方根
は、各々の光量を２次元光電変換素子で検出し、電気的
画像処理装置により算出することを特徴とする請求項１
に記載の光相関処理方法。