JP2986491B2

JP2986491B2 - 光学的自動追尾装置

Info

Publication number: JP2986491B2
Application number: JP1313252A
Authority: JP
Inventors: 利治武居; 安弘竹村
Original assignee: Sumitomo Osaka Cement Co Ltd
Current assignee: Sumitomo Osaka Cement Co Ltd
Priority date: 1989-12-04
Filing date: 1989-12-04
Publication date: 1999-12-06
Anticipated expiration: 2014-12-06
Also published as: JPH03174671A

Description

【発明の詳細な説明】［産業上の利用分野］本発明は、光計測分野等において、利用される光学的
自動追尾装置に関する。

［従来の技術及び発明が解決しょうとする問題点］従来、画像中から移動物体を検出し、移動物体を捕捉
する手段というものは、カメラからの入力画像を画像処
理すること（重心の移動や、エッジ検出など）により行
なうことが多かった。然し乍ら、移動物体が背景の間を
見え隠れしながら、進んだり、背景を排除するために、
複雑な画像処理をしなくてはならず、実時間処理を行な
うことは困難であった。

更に、移動物体を相関処理により捉えようとする方法
も考案されたが、光学的に行なう場合には、予め移動物
体の変形パターンを数多く、多重マッチドフィルターに
するか、SDFフィルターを作成する繁雑さがあり、実用
的でなかった。また、電気的に行なう場合には、画像情
報をシリアル情報に直し、２次元のフーリエ変換を２度
行なう必要があり、実時間で処理することが不可能であ
った。

本発明は、上記の問題点を解決するために為されたも
のであり、複雑な画像処理を行なうことなく、移動物体
の時間的な前後の画像の相関演算を光学的に行なうこと
で、移動量の方向並びに移動量を実時間に検出すること
ができるので、検出信号に基づきカメラなどを動かすこ
とにより、自動追尾を実時間に行なうことができる光学
的自動追尾装置を提供することを目的とする。更に、本
発明は、相関演算に基づき自動追尾を行なっているの
で、移動物体の一部が背景に隠れても、相関度が多少落
ちる程度なので、追尾性能が極端に低下することがない
光学的自動追尾処理を提供することを目的とする。本発
明は、また、移動物体の大きさや方向が変化しても、画
像取り入れ間隔を短くすることで、相関度が大きく変化
することがないので、追尾性が極端に低下することがな
い光学的自動追尾装置を提供することを目的とする。

［問題点を解決するための手段］本発明は、上記の技術的な課題の解決のために、少な
くとも、目標物を含む第１の画像と、該第１の画像を入
力した時点から時間経過した後の前記目標物を含む第２
の画像とによるコヒーレント画像を同時に出力する第１
の画像出力手段（例えば１）と、前記第１の画像出力手
段からの出力光複素振幅の二次元的分布パターンを光学
的にフーリエ変換する第１の光学的フーリエ変換手段
（例えば２）と、前記第１の光学的フーリエ変換手段か
らの光出力の空間的光強度分布パターンに応じてコヒー
レントな二次元的出力光複素振幅分布を変化することが
できる第２の画像出力手段（例えば３）と、前記第２の
画像出力手段からの出力光複素振幅の二次元的分布パタ
ーンを光学的にフーリエ変換し、その出力を検出する光
検出手段（例えば４）と、前記光検出手段から得られる
前記第１の画像と、前記第２の画像との相関信号の移動
方向並びに移動量に基づき、前記目標物の動きを検出す
る手段（例えば５）と、前記目標物の動きを検出する手
段に基づき前記目標物を捕捉する手段（例えば６）と、
該捕捉手段により目標物を追尾した後の第３の画像を入
力した時点から時間経過した後の画像を前記第２の画像
として入力する手段（例えば17）とから本質的になり、
前記の一連の動作を繰り返すことを特徴とする光学的自
動追尾装置である。また、前記第１の画像出力手段は、
少なくとも、コヒーレントな光源と、目標物を含む第１
の画像及び第１の画像を入力した時点から時間経過した
後の前記目標物を含む第２の画像を表示する電気入力が
可能な第１の空間光変調器であるものが好適である。更
に、前記第１の画像出力手段は、少なくともコヒーレン
トな光源と、前記第１の画像と前記第２の画像を互いに
異なる時間に入力された目標物を含む画像として表示す
るメモリー性を有する光アドレス型の第２及び第３の空
間光変調器とからなるものが好適である。そして、前記
第２の画像出力手段は、少なくとも、コヒーレントな光
源と、前記第１のフーリエ変換手段からの出力光を受光
する第２の二次元的光電変換手段からの信号に基づい
て、入射した光束の複素振幅分布を変調して出力する第
４の空間光変調器とからなるものが好適である。

［作用］本発明による光学的自動追尾装置の構成により、第１
の画像出力手段により提示された目標物を含む画像と第
１の画像を入力した時点から時間経過した後の前記目標
物を含む第２の画像とによるコヒーレント画像の空間的
パターンは、前記第１の光学的フーリエ変換手段によ
り、フーリエ変換され、前記第１の画像と第２の画像と
による多重干渉縞を形成する。次に、第２の画像出力手
段から、前記多重干渉縞の光強度分布に応じた光強度分
布或いは位相分布を有するコヒーレント光束が出射され
る。

前記コヒーレント光束は、前記第２のフーリエ変換手
段により光学的にフーリエ変換され、その結果、得られ
た二次元的光強度分布は、第１の画像と第２の画像との
相対位置及びその相関度を表わしたものとなる。ここ
で、第２の画像は、第１の画像から時間経過があった後
の目標物を含む画像であるので、もしも目標物がその時
間内に移動すれば、その目標物による相関信号も移動す
る。

この相関信号の移動量と方向を検出し、画像を取り入
れるカメラなどを相関信号に基づき移動させることによ
り、目標物をカメラ等の視野の中央に移動させることが
でき、次に、第１の画像として、カメラ等を移動させた
後の画像を取り入れ、更に、それから時間経過した後の
画像を、第２の画像として取り入れ、上記の動作を繰り
返す。

この結果、不連続的にではあるが、目標物を自動的に
追尾することができる。更に、第１の画像と第２の画像
を取り入れる時間間隔を短くすることにより、より滑ら
かに目標物を捕捉することができる。

本発明の光学的自動追尾装置は、少なくとも、目標物
を含む第１の画像と、第１の画像を入力した時点から時
間経過した後の前記目標物を含む第２の画像とによるコ
ヒーレント画像を同時に出力する第１の画像出力手段
（例えば）１と、前記第１の画像出力手段からの出力光複素振幅の二次
元的分布パターンを光学的にフーリエ変換する第１の光
学的フーリエ変換手段（例えば２）と、前記第１の光学的フーリエ変換手段からの光出力の空
間的光強度分布パターンに応じてコヒーレントな二次元
的出力光複素振幅分布を変化することができる第２の画
像出力手段（例えば３）と、前記第２の画像出力手段からの出力光複素振幅の二次
元的分布パターンを光学的にフーリエ変換し、その出力
を検出する光検出手段（例えば４）と、前記光検出手段から得られる前記第１の画像と、前記
第２の画像との相関信号の移動方向並びに移動量に基づ
き、前記目標物の動きを検出する手段（例えば５）と、前記目標物の動きを検出する手段に基づき前記目標物
を捕捉する手段（例えば６）と、該捕捉手段により目標物を追尾した後の第３の画像を
前記第１の画像として入力し、前記第３の画像を入力し
た時点から時間経過した後の画像を前記第２の画像とし
て入力する手段（例えば17）とから本質的に構成され、
第１の画像と第２の画像との相互相関信号により、目標
物の移動量及び方向を検出し、この情報よりカメラなど
の移動を行なうものである。

次に、カメラを移動させた後の目標物を含む画像を新
たに第１の画像とし、それから時間が経過した後の目標
物を含む画像を新めて第２の画像として、第１の画像出
力手段に入力し、上記の動作を繰り返すことにより、自
動追尾を継続させることができる。

そして、本発明の光学的自動追尾装置において、第１
の画像出力手段（例えば１）は、少なくとも、コヒーレ
ントな光源（例えば11）と、目標物を含む第１の画像及
び第１の画像を入力した時点から時点経過した後の前記
目標物を含む第２の画像を表示する電気入力が可能な第
１の空間光変調器（例えば、液晶ライトバルブ15）であ
る。

また、第１の画像出力手段（例えば１）は、少なくと
もコヒーレントな光源（例えば11）と、前記第１の画像
と前記第２の画像を互いに異なる時間に入力された目標
物を含む画像として表示するメモリー性を有する光アド
レス型の第２及び第３の空間光変調器（例えば18と19）
である。

そして、第２の画像出力手段（例えば３）は、少なく
とも、コヒーレントな光源（例えば11）と、前記第１の
フーリエ変換手段からの出力光を受光する第２の二次元
的光電変換手段（例えば32）からの信号（例えば32から
35への）に基づいて、入射した光束の複素振幅分布を変
調して出力する第４の空間光変調器（例えば35）とから
本質的になることができる。そして、第２の画像出力手
段（例えば３）は、少なくとも、コヒーレントな光源
（例えば11）と、入射した前記第１のフーリエ変換手段
からの出力光の強度分布に依存して、その光学的特性が
二次元的或いは三次元的に変化する第５の空間光変調器
（例えば35′）とから本質的になることができる。

次に、本発明の光学的自動追尾装置を具体的に実施例
により説明するが、本発明はそれらによって限定される
ものではない。

［実施例１］第１図は、本発明の光学的自動追尾装置の１例の主要
部分の光学配置を示す模式構成図である。

第１図の光学的配置において、光学的自動追尾装置
は、画像出力手段１、光学的フーリエ変換手段２、画像
出力手段３、光学的フーリエ変換手段と光検出手段４、
相関信号に基づき目標物の移動量及び方向を検出する検
出手段５、目標物捕捉手段６から構成され、以下、その
構成について、詳細に説明する。

半導体レーザや気体レーザ等のコヒーレント光源11か
ら出射した光束12は、ビームエキスパンダ13で、適当な
光束径に変換され、ビームスプリッター14で、２つの光
路に分けられる。

一方、CCDカメラなどの画像入力装置16に入力される
目標物を含む画像は、画像メモリー17に一旦蓄えられ、
目標物が視野のほぼ中央にあるときの画像を第１の画像
とし、それ以後の時間における目標物を含む画像を第２
の画像として、電気信号により、LCLV15に書き込まれ
る。このLCLV15は、空間的に透過率分布を変化させられ
る空間光変調器を成しており、その最も一般的な例で
は、液晶テレビやコンピュータディスプレイに使用され
ている液晶パネルが用いられる。

さて、ビームスプリッター14を通過した光束12は、液
晶ライトバルブ（以下LCLVと称する）15を通過してフー
リエ変換レンズ21に入射され、そのフーリエ変換面に置
かれたスクリーン31に入射される。

このスクリーン31上では、LCLV15における複素振幅分
布の二次元フーリエ変換の二乗に比例した光強度が観測
される。この光強度分布は、CCD等の２次元光電変換素
子32で得られ、電気信号としてビデオアンプ及び液晶駆
動回路33を通って、LCLV35上に表示される。このLCLV35
も、LCLV15と同様に空間光変調器を成しており、入射光
の複素振幅を変調して出射させる。このLCLV35への入射
光束37はビームスプリッター14で分けられたもので、従
って、画像出力手段３の光源とは、ここでは共有されて
いることになる。

LCLV35を出射した光束37は、フーリエ変換レンズ41を
通って、スクリーン42に入射する。この際に、スクリー
ン42は、LCLV35に対して、フーリエ変換の位置となって
おり、従って、スクリーン42上における光強度は、目標
物が視野のほぼ中央にあるときの第１の画像とそれ以後
の時間における目標物を含む第２の画像との空間的相互
相関及び空間的自己相関の程度を表わしたものである。
そこで、CCD等の２次元光電変換素子43により、時間経
過後の目標物の移動に伴う相関信号の移動量及び方向を
検出することができる。

さて、このような相互相関度に応じた光強度のピーク
移動がどのようなものであるかを、第３図に示されたパ
ターンを例として、以下に説明する。

LCLV15上には、第３図に示すように、例えば、自動車
ｃを目標物として、それが視野のほぼ中央にあるときの
画像を画像Ａとし、それ以後の時間における自動車を含
む画像を画像Ｂとし、また、画像Ａ、画像Ｂ中の背景を
ｄとする。

これらの画像パターンにコヒーレント光を照射し、フ
ーリエ変換レンズ21により、フーリエ変換を行なうと、
スクリーン31上の光強度パターンＩ（fx）は、Ｉ（fx）＝|C＋Ｄ＋Ｃ（X,T）＋Ｄ（Ｘ）|² ここでは、fxは、スクリーン31上での、ｘ方向の空間
周波数、Ｃ、Ｄは、自動車と背景の光振幅のフーリエ変
換の複素振幅、また、ｘは、画像ＡとＢの相対位置を表
わし、Ｔは、画像Ａと画像Ｂを取り入れた時間差を表わ
す。

上記のような光強度パターンＩ（fx）をLCLV35に透過
率分布として書き込み、フーリエ変換光学系により再び
フーリエ変換すると、スクリーン42上の光強度パターン
Ｉ（fx）は、画像間の相関ピーク及び各々の画像内の相
関ピークを表わすが、ここで重要なことは、画像内の相
関ピークと画像間の相関ピークは画像同士を離せば、分
離することができ、しかも、画像内の相関ピークは、０
次光としてマスクすることにより、完全に取り除くこと
ができるということである。一方、画像間の相関ピーク
は、画像間の距離に応じた位置に現れるが、背景同士の
画像内の相対位置は変化しないので、背景同士の相関ピ
ークは、定まる位置に現れる。ところが、自動車の位置
は、変化しているので、背景同士の相関ピークからずれ
た位置に相関ピークを生じる。従って、背景同士の相関
位置をマスクしておけば、自動車の移動に伴う相関ピー
クの移動方向及び移動量を位置検出素子43により、検出
することができる。

そこで、位置検出素子43の出力を増幅回路51を経て、
カメラ16を移動させる機構と駆動回路を有する捕捉手段
61に入力し、自動車の移動方向に移動距離分だけカメラ
を移動させることにより、目標物を自動追尾することが
可能になる。

更に、捕捉手段61の駆動回路の出力を画像メモリー17
に入力し、カメラ16の移動が終了した時点の画像を第１
の画像として取り込み、次に、適当な時間が経過した後
の画像を第２の画像として取り込み、上記の一連の動作
を継続することにより、自動追尾を継続させることがで
きる。

このように、カメラの視野のほぼ中央に目標物を常に
捕捉できると共に、時間的に僅かにずれた画像を比較
し、相関演算を行なっているので、目標物の変形に対し
ても、追従することができ、通常の相関演算には見られ
ない特長を有する。また、目標物の大まかな特徴が一致
すれば、相関ピークを得ることができるので、背景等に
目標物の一部が隠れても自動追尾することが、可能であ
る。

［実施例２］第２図は、他の例の本発明の光学的自動追尾装置の構
成の一部を示す模式構成図である。これにより更に本発
明を説明する。

第２図に示す光学的自動追尾装置においては、カメラ
16の画像をビームスプリッター22を介して２つの光束に
分割し、ミラー23、24、25により、同一の平面上に２つ
の画像を隣接して伝達する。この２つの画像は、ほぼカ
メラ16の視野の中央にあるときに、電子シャッター26を
開放し、メモリー性を有する光アドレス型の空間光変調
器18（例えば強誘電性液晶を利用した液晶ライトバル
ブ）に書き込む。次に、所定時間だけ経過した後の目標
物を含む画像を、電子シャッター或いは機械的シャッタ
ー27を開放することにより、同様にメモリー性を有する
光アドレス型の空間光変調器19に書き込む。

そこで、レーザ11からの光束12をビームエキスパンダ
ー13により広げ、ビームスプリッター28により光路を曲
げ、空間光変調器18、19の反対側から上記の２つの画像
をコヒーレント画像として、同時に読み出す。

これらの画像をフーリエ変換レンズ21により光学的に
フーリエ変換する以降の構成は、上記実施例１と同様で
あるので、省略するが、ここでは、画像を画像メモリー
17に蓄えシリアルに転送する必要がないので、より高速
な自動追尾ができる。従って、取り入れる画像間隔を短
くすることが可能となるので、スムーズな自動追尾が可
能となる。

［実施例３］第４図は、更に他の本発明の光学的自動追尾装置の構
成の一部を示す模式構成図である。これにより、更に、
本発明を説明する。

第４図に示す光学的自動識別装置においては、目標物
を含む時間的に差のある２つのコヒーレント画像が、フ
ーリエ変換レンズ21により光学的にフーリエ変換され、
光アドレス型の空間光変調器35′（例えば、ネマティッ
ク液晶を利用した液晶ライトバルブ）に、光強度分布と
して、書き込まれる。

これを、前記の実施例１、２と同様にビームスプリッ
ター29を介して入射されるコヒーレントビームにより空
間光変調器35′の反対側より読み出し、フーリエ変換レ
ンズ41により再び光学的にフーリエ変換させる。以降の
構成は、前記の実施例１、２と同様なので省略するが、
ここでは、２次元の光電変換素子と電気的に入力する空
間光変調器の代わりに、光アドレス型の空間光変調器を
用いているので、更に高速な自動追尾が可能となる。

尚、本発明において、空間光変調器の働きをしている
部分については、仕様上の差異があるが、原理的には、
すべて同様の電気アドレス型のもの及び光アドレス型の
ものが、使用可能である。電気アドレス型の例として
は、上記の液晶ライトバルブの他に、PLZTやKDP、BSO
（Bi₁₂SiO₂₀）等の電気光学効果を付加したものがよく
使用されている。

光アドレス型の例でも、電気アドレス型と同様の材料
に、光導電性層を組合わせたものが、一般的である。但
し、BSOやBaTiO₃等の光起電力効果を有する結晶では、
入力光強度に応じた自発分極により光誘起屈折率変化を
起こすので、光導電性層を付加する必要はない。

尚、これらの空間光変調器は、透過型としても、反射
型としても構成することができる。但し、光アドレス型
で読み出し光が、書き込み光の情報を完全に消してしま
うような場合には、読み出し光と書き込み光と波長域を
分離して、読み出し光が、書き込み情報に影響を与えな
いようにする等の工夫が必要である。

また、電気アドレス型を使用する場合は、その入力画
像を得るための二次元光電変換素子及びそのための駆動
回路が必要になるが、その信号を加工し易いという利点
がある。

［発明の効果］本発明による光学的自動追尾装置は、第１に、実時間動作で目標物を含む時間的にずれた画
像間の相関演算を行なうことにより、目標物の移動量、
方向を検出し、この量を基礎に、実時間で自動追尾を行
なうことができる光学的自動追尾装置を提供することが
できたこと、第２に、追尾した後の画像は、視野の中央に目標物を
常に捕捉することができると共に、取り入れる画像間隔
を短くすれば、目標物の変形に際しても殆ど関係なく、
追尾することができること、第３に、相関演算を実時間に行なうことができるの
で、目標物が、背景に多少隠れても関係なく、追尾する
ことができること等の、顕著な技術的な効果を奏する。

【図面の簡単な説明】

第１図は、本発明の光学的自動追尾装置の一例の光学配
置を示す模式構成図である。第２図は、本発明の光学的自動追尾装置の他の例の光学
配置を示す模式構成図である。第３図は、本発明の光学的自動追尾装置における第１の
画像表示素子上に取り入れた２つの画像を示した説明図
である。第４図は、本発明の光学的自動追尾装置の更に他の例の
光学配置を示す模式構成図である。［主要部分の符号の説明］１、３……画像出力手段２……光学的フーリエ変換手段４……光学的フーリエ変換と光検出手段５……目標物検出手段６……目標物捕捉手段 11……レーザ 12、37……光束 13……ビームエキスパンダー 14、22、29……ビームスプリッター 15、18、19、35、35′……液晶ライトバルブ 16……カメラ 17……画像メモリー 21、41……フーリエ変換レンズ 23、24、25、34……ミラー 26、27……シャッター 31、42……スクリーン 32……二次元光電変換素子 43……位置検出素子 51……光検出手段 61……目標物捕捉手段

Claims

(57)【特許請求の範囲】

【請求項１】少なくとも、目標物を含む第１の画像と、
該第１の画像を入力した時点から時間経過した後の前記
目標物を含む第２の画像とによるコヒーレント画像を同
時に出力する第１の画像出力手段と、前記第１の画像出力手段からの出力光複素振幅の二次元
的分布パターンを光学的にフーリエ変換する第１の光学
的フーリエ変換手段と、前記第１の光学的フーリエ変換手段からの光出力の空間
的光強度分布パターンに応じてコヒーレントな二次元的
出力光複素振幅分布を変化することができる第２の画像
出力手段と、前記第２の画像出力手段からの出力光複素振幅の二次元
的分布パターンを光学的にフーリエ変換し、その出力を
検出する光検出手段と、前記光検出手段から得られる前記第１の画像と、前記第
２の画像との相関信号の移動方向並びに移動量に基づ
き、前記目標物の動きを検出する手段と、前記目標物の動きを検出する手段に基づき前記目標物を
捕捉する手段と、該捕捉手段により目標物を追尾した後の第３の画像を前
記第１の画像として入力し、前記第３の画像を入力した
時点から時間経過した後の画像を前記第２の画像として
入力する手段とから本質的になり、前記の一連の動作を
繰り返すことを特徴とする光学的自動追尾装置。
【請求項２】前記第１の画像出力手段は、少なくとも、
コヒーレントな光源と、目標物を含む第１の画像及び第
１の画像を入力した時点から時間経過した後の前記目標
物を含む第２の画像を表示する電気入力が可能な第１の
空間光変調器であることを特徴とする請求項１に記載の
光学的自動追尾装置。
【請求項３】前記第１の画像出力手段は、少なくともコ
ヒーレントな光源と、前記第１の画像と前記第２の画像
を互いに異なる時間に入力された目標物を含む画像とし
て表示するメモリー性を有する光アドレス型の第２及び
第３の空間光変調器とからなることを特徴とする請求項
１に記載の光学的自動追尾装置。
【請求項４】前記第２の画像出力手段は、少なくとも、
コヒーレントな光源と、前記第１のフーリエ変換手段か
らの出力光を受光する第２の二次元的光電変換手段から
の信号に基づいて、入射した光束の複素振幅分布を変調
して出力する第４の空間光変調器とからなることを特徴
とする請求項１〜３のいずれかに記載の光学的自動追尾
装置。