JP2841762B2

JP2841762B2 - 視覚認識装置

Info

Publication number: JP2841762B2
Application number: JP2180059A
Authority: JP
Inventors: 完治西井; 浩幸河村; 正弥伊藤; 厚司福井
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1990-07-06
Filing date: 1990-07-06
Publication date: 1998-12-24
Anticipated expiration: 2013-12-24
Also published as: JPH0467116A

Description

【発明の詳細な説明】産業上の利用分野本発明は、３次元的形状認識を光情報処理機能を用い
て行う視覚認識装置に関するものである。

従来の技術光情報処理機能を用いた３次元的形状認識は、例えば
ロボット用視覚認識装置において使用されている。

従来例として、受動的両眼立体視と呼ばれる従来の３
次元的形状認識を行うロボット用視覚認識装置を、第９
図に基づいて説明する。

１は第１のカメラレンズ、２は第２のカメラレンズ、
３は第１のカメラレンズ１の結像位置に配置された第１
のCCD素子、４は第２のカメラレンズ２の結像位置に配
置された第２のCCD素子、５は第１及び第２のCCD素子の
出力信号の相関処理手段、６は対象物体である。

次にこの従来の３次元的形状認識を行うロボット用視
覚認識装置の動作を第９図及び第10図を用いて説明す
る。第10図でＬを第１のカメラレンズの中心、Ｒを第２
のカメラレンズの中心、f1,f2をそれぞれ第１及び第２
のカメラレンズの焦点距離、Ｏを対象物体６上の点、θ
及びΦを各々基線LRと主光線OL及び主光線ORの成す角度
とし基線LRの長さをＤと置けば点Ｏまでの距離ｈは式
（１）で表される。

ｈ＝DtanθtanΦ（tanθ＋tanΦ） …式（１）ここで、 tanθ＝f1/d1 …式（２） tanΦ＝f2/d2 …式（３） d1:LとCCD素子３上のビーム検出点P1との距離 d2:RとCCD素子４上のビーム検出点P2との距離このような従来のロボット用視覚認識装置において
は、D,1f及びf2は既知なので、d1及びd2を求めれば、対
象物体６までの距離が得られる。そこで、CCD素子３及
びCCD素子４の出力の相互相関演算を相関処理手段６を
用いて実行し、両者の出力信号の相関が高いビーム検出
点を各々対象物体６上の点Ｏに対応するCCD素子３上の
ビーム検出点及びCCD素子４上のビーム検出点すなわち
左右の対応点とみなして、式（１）〜式（３）を用いて
対象物体６までの距離ｈを求めることができ、これを用
いて３次元空間認識を行うことが可能となる。

発明が解決しようとする課題しかしながら、上記の様な構成では対応点を決定する
ために計算機で行なう相互相関処理の実行時間が長い、
消費電力が大きい等の課題があった。

本発明は、かかる問題点に鑑み、対象物体像に対して
フーリエ変換面で空間周波数フィルタリング処理を行う
事で等高面を検出し、この等高面について対応点演算を
電気的あるいは光学的に行う事で、高速でかつ低消費電
力の視覚認識装置を提供する事を目的とする。

課題を解決するための手段上記課題を解決するために、本発明においては、視覚
認識装置は、TVカメラにより撮像された画像を表示する
第１の空間光変調素子と、この第１の空間光変調素子を
照射する光源と、この第１の空間光変調素子の置かれた
面をその前側の焦点面とする第１のレンズと、この第１
のレンズの後側焦点面に配した第２の空間光変調素子
と、この第２の空間光変調素子の置かれた面をその前側
焦点面とする第２のレンズと、この第２のレンズの後側
焦点面に配置した撮像素子とから構成され、前記第２の
空間光変調素子の各構成絵素の透過率を中心絵素からの
距離に応じた値に空間的に変調し空間フィルタを表示す
る事を特徴とする。

あるいは、TVカメラにより撮像された画像を表示する
第１の空間光変調素子と、この第１の空間光変調素子を
照射する光源と、この第１の空間光変調素子の置かれた
面をその前側の焦点面とする第１のレンズと、第１のレ
ンズとこの第１のレンズの後側焦点面の間に配した第２
の空間光変調素子および第３の空間光変調素子と、この
第２および第３の空間光変調素子の置かれた面をその前
側焦点面とする第２のレンズと、この第２のレンズの後
側焦点面に配置した光検出器とから構成され、前記第２
の空間光変調素子の各構成絵素の透過率を中心絵素から
の距離に応じた値に空間的に変調し空間フィルタを表示
し、前記第３の空間光変調素子にその構成絵素の透過率
を空間的に変調する事で計算機ホログラムを表示する事
を特徴とする。

あるいは、TVカメラにより撮像された画像を表示する
第１の空間光変調素子と、この第１の空間光変調素子を
照射する光源と、この第１の空間光変調素子の置かれた
面をその前側の焦点面とする第１のレンズと、第１のレ
ンズと、この第１のレンズの後側焦点面をその前側焦点
面とする第３のレンズと、この第３のレンズの後側焦点
面をその前側焦点面とする第４のレンズと、この第４の
レンズの後側焦点面の間に配した第２の空間光変調素子
および第３の空間光変調素子と、この第２および第３の
空間光変調素子の置かれた面をその前側焦点面とする第
２のレンズと、この第２のレンズの後側焦点面に配置し
た光検出器とから構成され、前記第２の空間光変調素子
の各構成絵素の透過率を中心絵素からの距離に応じた値
に空間的に変調することで空間フィルタを表示し、前記
第３の空間光変調素子にその構成絵素の透過率を空間的
に変調する事で計算機ホログラムを表示する事を特徴と
する。

作用上記の構成により対象物体像を第１の空間光変調素子
に表示し、この表示画像に対して第２の空間光変調素子
に表示した光学フィルタにより空間周波数フィルタリン
グを行う。その処理像を第２のレンズにより再回折させ
る。その結果、TVカメラの全焦点近傍のみの画像、すな
わち等高面像が得られる。この等高面像を計算機の入力
画像とし、その幾何学的形状（例えば、アスペクト比、
図形重心等々）に基づく認識処理を計算機により実行す
る事で、対応点検出を行く事無く単眼立体視を実現する
ものである。

また、再回折させることなく直接空間周波数フィルタ
リング像と第３の空間光変調素子に表示した参照図形の
計算機ホログラムとのパターンマッチングを光学的に実
行する事で、さらに高速化、低消費電力化を図った単眼
立体視を実現するものである。

また、レンズ系を用いることで、スペクトラムの拡が
りを任意に設定し、空間周波数フィルタリングの範囲を
可変化することで、光学的に対応点検出する等高面像の
高さ方向の分解能の可変化を実現するものである。

さらに、複数のTVカメラの撮影像に対する前処理とし
て、この空間周波数フィルタリングを行い左右両眼の入
力像として等高面像を用いる事で、計算機による対応点
検出の演算処理を高速化した両眼立体視を実現するもの
である。

また左右両眼の等高面像に対して各々計算機ホログラ
ムを用いたパターンマッチングを実行することで対応点
検出を光学的に実行する事でさらに、高速化、低消費電
力化を図った両眼立体視を実現するものである。

実施例（第１実施例）本発明の第１の実施例について、第１図を用いてその
構成を説明する。第１図は本発明の第１の実施例の平面
図である。20はTVカメラ、21はTVカメラ20により撮像さ
れた入力画像を表示する第１の液晶ディスプレイ、22は
半導体レーザ、23は半導体レーザ22からの光を平行光化
するコリメータレンズ、24は第１のレンズで第１の液晶
ディスプレイ21はこの第１のレンズ24の前側焦点面に配
置されている。27は第２のレンズでありその前側焦点面
に第２の液晶ディスプレイ25が配置されている。28は第
２のレンズ27の後側焦点面に配置された撮像素子、30は
撮像素子28からの信号を入力像とし、ソフトウェアで形
状認識を行う計算機、31は第２の液晶デイスプレイに表
示する空間周波数フィルタのデータを記憶するメモリで
ある。

次に、以上のように構成された本発明の第１の実施例
についてその動作を第１図〜第４図を用いて以下に説明
する。第２図は、第２の液晶ディスプレイ25に表示する
空間周波数フィルタの説明図である。第３図はTVカメラ
20の撮像レンズのOptical Transfer Function（以下、O
TFとも記す）の説明図である。第４図は対象物体とTVカ
メラ20の位置関係を示す図である。TVカメラ20により撮
像された対象物体のパターンは第１の液晶ディスプレイ
21に表示される。この第１の液晶ディスプレイ21はコリ
メータレンズ23により平行光化された半導体レーザ22か
らのコヒーレント光により照射される。この第１の液晶
ディスプレイ21は第１のレンズ24の前側焦点面に配置さ
れているので、第１のレンズ24の後側焦点面すなわち第
２の液晶ディスプレイ25上には、TVカメラ20により撮像
された対象物体のパターンのフーリエスペクトラムが形
成される。このフーリエスペクトラムの拡がりすなわち
光軸からの距離r_sは、式（４）で表される。

r_s＝f_i×λ×f_s …式（４）ここで、 f_i:第１のレンズ24の焦点距離 λ：半導体レーザ22の波長 f₅:対象物体パターンの空間周波数すなわち、フーリエスペクトラムの拡がりは、対象物
体に含まれる空間周波数に比例する。

従って、例えば、第２の液晶ディスプレイ25に第２図
に示した様なパターンすなわち第２の液晶ディスプレイ
の中心部を遮光し周辺部のみを透過させるパターンを表
示すると、空間周波数領域でのハイパスフィルタリング
を実行できる。

一方、TVカメラ20により撮像された対象物体のパター
ンに含まれる空間周波数はTVカメラの撮像レンズが合焦
点位置にあるか否かによって変化する。これを第３図を
用いて説明する。第３図は、撮像レンズのOTF図であ
り、横軸は空間周波数、縦軸は撮像のコントラストを各
々示している。今、撮像レンズが無収差の理想レンズで
あるとし、インコヒーレント照明（自然光照明）下に有
り、かつ、合焦点状態であるとすると図中の２点鎖線で
示したような特性を示す。ところが、合焦点からずれる
と第３図に示したようにOTFは劣化する。すなわち、TV
カメラ20で撮影した像の高周波成分がしだいに失われ
る。

そこで、例えば第２図に示した空間フィルタのカット
オフ周波数を第３図のf₀に選べば、ディフォーカス量が
△_１以内の対象物体のフーリエスペクトラムのみが、第
２のレンズ27により再回折されて撮像素子28により撮像
される。

従って、第４図に示した様に、段差を持った３次元物
体をTVカメラ20で撮像した場合、合焦点近傍の画像のみ
が撮像素子28により出力される。

その結果、TVカメラ20を移動させる、あるいは撮像レ
ンズのみを移動させる、あるいはメモリ31からのデータ
により第２の液晶ディスプレイに異なった空間フィルタ
を表示するといった手段により対象物体６の等高画像が
得られる。

この等高画像に対して、計算機30により公知の２次元
パターンに対する認識処理することで、３次元物体認識
を単眼で実現できる。

本実施例によれば従来の受動的両眼立体視と比較し
て、左右両眼間の対応点検出を行う必要が無いので高速
化が図れる。

（第２実施例）本発明の第２の実施例の構成を第５図を用いて説明す
る。但し、図中の番号で第１図〜第４図と同一のもの
は、同じものを示す。20a及び20bは、距離Ｌだけ離間し
て配置され、かつ対象物体６を撮像する左右両眼に相当
する１対のTVカメラである。32はTVカメラ20aおよび20b
の撮影像を第１の液晶ディスプレイ21に選択的に表示す
るための切り替え手段である。

以上の様に構成された本発明の第２の実施例の動作を
第５図を用いて説明する。

まず、初めにTVカメラ20aにより撮像された像が、第
１の液晶ディスプレイ21に表示され、本発明の第１の実
施例と同様に、空間周波数フィルタリングされる。その
結果、計算機30にはTVカメラ20aによる等高画像が入力
される。次に、切り替え手段32によりTVカメラ20bによ
り撮像された像が、第１の液晶ディスプレイ21に表示さ
れ、同様の処理後、計算機30にTVカメラ20bによる等高
面像が入力される。このTVカメラ20aおよび20bすなわ
ち、左右両眼の等高面像に対する対応点検出を、計算機
30により公知の相関演算を実行し、式（１）〜（３）に
基づいて、３次元形状認識を行う事ができる。

本実施例によれば、従来の受動的両眼立体視と比較し
て、前処理として光学的に対応点の候補をその高さ情報
に基づいて絞り込む事ができるので、対応点検出処理を
高速化できる。

さらに、誤対応の可能性を減らす事ができるので、認
識精度を向上できる。

（第３実施例）次に、本発明の第３の実施例の構成を第６図に基づい
て説明する。第６図は、本発明の第３の実施例の構成図
である。但し、図中の番号で第１図〜第５図と同一のも
のは、同じものを示す。33は第３の液晶ディスプレイで
あり、第２の液晶ディスプレイ25と密着して配置されて
いる。すなわち、第２の液晶ディスプレイ25と第３の液
晶ディスプレイ33は、第１のレンズ24の後側の焦点面位
置に配置されている。34は参照パターンの計算機ホログ
ラムに関するデータを記憶する第２のメモリであり、こ
の第２のメモリ34のデータに基づいて絵素の透過率を空
間的に変調することで、第３の液晶ディスプレイ33に参
照パターンの計算機ホログラムが表示される。35は第２
のレンズ27の後側焦点面に配置された光検出器である。

以上の様に、構成された本発明の第３の実施例の動作
を第６図に基づいて説明する。本発明の第１及び第２の
実施例と同様に、TVカメラ20により撮像された対象物体
のパターンは第１の液晶ディスプレイ21に表示される。
この第１の液晶ディスプレイ21はコリメータレンズ23に
より平行光化された半導体レーザ22からのコヒーレント
光により照射される。この第１の液晶ディスプレイ21は
第１のレンズ24の前側焦点面に配置されているので、第
１のレンズ24の後側焦点面すなわち第２の液晶ディスプ
レイ25上には、TVカメラ20により撮像された対象物体６
のパターンのフーリエスペクトラムが形成される。

従って、例えば撮像レンズのみを移動させる、あるい
はメモリ31からのデータにより第２の液晶ディスプレイ
に異なった空間フィルタを表示するといった手段により
対象物体６の等高面に関するフーリエスペクトラム像が
得られる。これらの種々の等高面フーリエスペクトラム
像に対応する等高面を参照パターンとしたフーリエ変換
計算機ホログラムを予め計算しておいてメモリ34に記憶
しておく。このメモリ34のデータに基づいて絵素の通過
率を空間的に変調することで、第３の液晶ディスプレイ
33に参照等高面のフーリエ変換計算機ホログラムが表示
される。

ここで、対象物体６の等高面フーリエスペクトラム像
及び参照等高面のフーリエ変換計算機ホログラム像が形
成される面は、第１のレンズ24の後側焦点面であり、か
つ、第２のレンズ27の前側焦点面に位置しているので、
第２のレンズ27の後側焦点面上には、対象物体６の等高
面と参照等高面とのパターンマッチングが光学的に実行
される。その結果は、第２のレンズ27の後側焦点面上に
配置された高検出器35によりビーム強度として検出され
る。

以上のように本実施例によれば、はじめに空間周波数
フィルタリングを実行する事で、等高面像すなわち２次
元パターンに変換する。次に、得られた等高面像に関し
て光学的パターンマッチングを実行する事で、３次元形
状認識を単眼で実行できる。従って、従来の受動的両眼
立体視と比較して高速化を図れ、かつ、本発明の第１の
実施例と比較しても、パターンマッチングを光学的に実
行するので高速化できる。

（第４実施例）次に、本発明の第４の実施例の構成について第７図に
基づいて説明する。第７図は本発明の第４の実施例の構
成図である。但し、図中の番号で第１図〜第６図と同一
のものは、同じものを示す。36は第１のレンズ24の後側
焦点面を、その前側焦点面とする第３のレンズであり、
37は第３のレンズ36の後側焦点面を、その前側焦点面と
する第４のレンズである。

本実施例では、第４のレンズ37の後側焦点面に第２の
液晶ディスプレイ25及び第３の液晶ディスプレイ33が配
置されている。

このように構成された本発明の第４の実施例の動作に
ついて第７図を用いて説明する。

本発明の第３の実施例と同様に、TVカメラ20により撮
像された対象物体のパターンは第１の液晶ディスプレイ
21に表示される。この第１の液晶ディスプレイ21はコリ
メータレンズ23により平行光化され半導体レーザ22から
のコヒーレント光により照射される。この第１の液晶デ
ィスプレイ21は第１のレンズ24の前側焦点面に配置され
ているので、第１のレンズ24の後側焦点面には、式
（４）で示した様に対象物体に含まれる空間周波数に基
づいたフーリエスペクトラムが現れる。

しかし、このフーリエスペクトラムの拡がりは、第１
のレンズ24の焦点距離f₁で決定される。第７図に示した
本実施例によれば、このフーリエスペクトラムは、f
₃（第３のレンズの焦点距離）およびf₄（第４のレンズ
の焦点距離）の比率、すなわちf₄/f₃倍されて、第２の
液晶ディスプレイ25上に照射される。この拡大あるいは
縮小されたフーリエスペクトラムは、第２の液晶ディス
プレイ25上に表示された空間フィルタにより、空間周波
数フィルタリングされ、以下、本発明の第３の実施例と
同様に等高面間のパターンマッチングが実行されて単眼
立体視が実現できる。

以上の様に本実施例によれば、本発明の第３の実施例
と同様に、従来の受動的両眼立体視と比較して高速化が
図れる。

さらに本実施例によれば、第１のレンズ24の焦点距離
f₁にかかわらず、f₃とf₄の比率の任意に設定することで
対象物体のフーリエスペクトラムの拡がりを設定でき
る。従って、フィルタリングを行う空間周波数の範囲す
なわち対象物体の等高面の高さの範囲を調整することが
できるので、認識の高さ方向分解能を可変できる。

（第５実施例）本発明の第５の実施例の構成を第８図に基づいて説明
する。但し、図中の番号で第１図〜第７図と同一のもの
は、同じものを示す。

本実施例ではTVカメラ20a,20bの２つで構成されてい
る。この本発明の第５の実施例の動作を第８図に基づい
て説明する。まず、初めにTVカメラ20aにより撮像され
た像が、第１の液晶ディスプレイ21に表示され、本発明
の第３の実施例と同様に、空間周波数フィルタリングさ
れる。その第２のレンズ27による再回折像、すなわち、
対象物体６の等高面像に対するパターンマッチングが、
第３の液晶ディスプレイ33に表示された計算機ホログラ
ムにより実行される。

次に、切り替え手段32によりTVカメラ20bにより撮像
された像が、第１の液晶ディスプレイ21に表示され、同
様の処理後、TVカメラ20bにより撮像された対象物体６
の等高面像に対するパターンマッチングが、第３の液晶
ディスプレイ33に表示された計算機ホログラムにより実
行される。

この様にTVカメラ20aおよび20bすなわち、左右両眼の
等高面像に対する対応点検出を、左右両眼の像に対する
パターンマッチング結果がいずれも、参照パターンに対
して一致するか否かで判別できる。

従って、本実施例によれば、従来の受動的両眼立体視
と比較して、前処理として光学的に対応点の候補をその
高さ情報に基づいて絞り込む事ができる。さらに、対応
点検出処理そのものも光情報処理化できるので、３次元
形状認識を大幅に高速化できる。また、誤対応の可能性
を減らす事ができるので、認識精度を向上できる。

発明の効果以上、詳細に説明した通り、本発明によれば、対象物
体像に対してフーリエ変換面で空間周波数フィルタリン
グ処理を行う事で等高面を検出し、この等高面について
対応点演算が電気的あるいは光学的に行なわれるので、
処理時間が短縮され、かつ低消費電力の視覚認識装置が
得られるものであり、産業上、大なる効果を有する。

【図面の簡単な説明】

第１図は本発明の視覚認識装置の第１の実施例の構成
図、第２図、第３図、第４図はそれぞれ本発明の第１の
実施例の動作説明図、第５図は本発明の第２の実施例の
構成図、第６図は本発明の第３の実施例の構成図、第７
図は本発明の第４の実施例の構成図、第８図は本発明の
第５の実施例の構成図、第９図は従来例の視覚認識装置
の構成図、第10図は従来例装置の原理説明図である。６……対象物体、20……TVカメラ、21……第１の液晶デ
ィスプレイ、22……体レーザ、24……第１のレンズ、27
……第２のレンズ、28……撮像素子、30……計算機、33
……第３の液晶ディスプレイ、36……第３のレンズ、37
……第４のレンズ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者福井厚司大阪府門真市大字門真1006番地松下電器産業株式会社内 (58)調査した分野(Int.Cl.⁶，ＤＢ名) G02B 11/00 G02B 11/24 G02B 27/46 G06F 15/62 415

Claims

(57)【特許請求の範囲】

【請求項１】TVカメラにより撮像された被写体の画像を
表示する第１の空間光変調素子と、この第１の空間光変
調素子を照射する光源と、この第１の空間光変調素子の
置かれた面をその前側の焦点面とする第１のレンズと、
この第１のレンズの後側焦点面に配した第２の空間光変
調素子と、この第２の空間光変調素子の置かれた面をそ
の前側焦点面とする第２のレンズと、この第２のレンズ
の後側焦点面に配置した撮像素子とを備えるとともに、
前記第２の空間光変調素子の各構成絵素の透過率を中心
絵素からの距離に応じた値に空間的に変調し空間フィル
タを表示することで前記TVカメラの合焦点近傍のみ再回
折像を前記撮像素子により撮像すると共に前記TVカメラ
全体もしくは前記TVカメラの撮像レンズを移動させるこ
とにより前記被写体の等高画像を得ることを特徴とする
視覚認識装置。
【請求項２】TVカメラにより撮像された被写体の画像を
表示する第１の空間光変調素子と、この第１の空間光変
調素子を照射する光源と、この第１の空間光変調素子の
置かれた面をその前側の焦点面とする第１のレンズと、
この第１のレンズの後側焦点面に配した第２の空間光変
調素子および第３の空間光変調素子と、この第２および
第３の空間光変調素子の置かれた面をその前側焦点面と
する第２のレンズと、この第２のレンズの後側焦点面に
配置した光検出器とを備えるとともに、前記第２の空間
光変調素子の各構成絵素の透過率を中心絵素からの距離
に応じた値に空間的に変調し空間フィルタを表示するこ
とで前記TVカメラの合焦点近傍のみ再回折像を前記撮像
素子により撮像すると共に前記TVカメラ全体もしくは前
記TVカメラの撮像レンズを移動させることにより前記被
写体の等高画像を得るとともに、前記第３の空間光変調
素子にその構成絵素の透過率を空間的に変調する事で計
算機ホログラムを表示する事を特徴とする視覚認識装
置。
【請求項３】TVカメラにより撮像された被写体の画像を
表示する第１の空間光変調素子と、この第１の空間光変
調素子を照射する光源と、この第１の空間光変調素子の
置かれた面をその前側の焦点面とする第１のレンズと、
この第１のレンズの後側焦点面をその前側焦点面とする
第３のレンズと、この第３のレンズの後側焦点面をその
前側焦点面とする第４のレンズと、この第４のレンズの
後側焦点面に配した第２の空間光変調素子および第３の
空間光変調素子と、この第２および第３の空間光変調素
子の置かれた面をその前側焦点面とする第２のレンズ
と、この第２のレンズの後側焦点面に配置した光検出器
とを備えるとともに、前記第２の空間光変調素子の各構
成絵素の透過率を中心絵素からの距離に応じた値に空間
的に変調することで空間フィルタを表示することで前記
TVカメラの合焦点近傍のみ再回折像を前記撮像素子によ
り撮像すると共に前記TVカメラ全体もしくは前記TVカメ
ラの撮像レンズを移動させることにより前記被写体の等
高画像を得るとともに、前記第３の空間光変調素子にそ
の構成絵素の透過率を空間的に変調する事で計算機ホロ
グラムを表示する事を特徴とする視覚認識装置。
【請求項４】TVカメラを一定距離離間して配置した複数
のTVカメラにより構成すると共に、第１の空間光変調素
子に前記複数のTVカメラの撮影像を順次切り替え表示可
能とした事を特徴とする請求項１、２または３記載の視
覚認識装置。