JP2584042B2 - ３次元視覚情報処理装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、太陽光、一般照明光等の外界光による三次
元空間認識を行う受動的両眼立体視装置と呼ばれるロボ
ット用視覚装置に関する。

従来の技術 従来、三次元視覚情報処理装置として、左右の二つの
眼を用いて三次元空間認識を行う両眼立体視と呼ばれる
ものが、２種類提案されている。そのひとつは、左右一
方の眼をレーザ発振器、他方を受光器としたもので被験
物体上の左右両眼の注視点が一点に定まるので、信号処
理が容易であるという利点を有している。しかしなが
ら、レーザ光の到達距離が実用上数10m程度に制限され
るため例えば、自走ロボットにおいて周囲環境を認識す
るための視覚装置として利用する場合、その活用範囲が
距離的に制限されるという問題点及び人体に対する安全
性の面からもその使用が制限されるという問題点をを有
していた。そこで、太陽光，照明光等の外界光を用いた
受動的両眼立体視と呼ばれる３次元視覚情報処理装置が
このような用途に多く用いられている。

従来の３次元視覚情報処理装置の中で、この受動的両
眼立体視装置の構成を第７図に基づいて説明する。１は
第１のカメラレンズ、２は第２のカメラレンズ、３は第
１のカメラレンズ１の結像位置に配置された第１のCCD
素子、４は第２のカメラレンズ２の結像位置に配置され
た第２のCCD素子、５は第１及び第２のCCD素子の出力信
号の相関処理を計算機で行う相関処理手段、６は対象物
体である。

次にこの受動的両眼立体視装置の動作を第７図及び第
８図を用いて説明する。第８図でＬを第１のカメラレン
ズの中心、Ｒは第２のカメラレンズの中心、f1,f2をそ
れぞれ第１及び第２のカメラレンズの焦点距離、Ｏを被
検物体６上の点、Θ及びΦを各々基線LRと主光線OL及び
主光線ORの成す角度とし基線LRの長さをＤと置けば点Ｏ
までの距離ｈは式（１）で表される。

ｈ＝DtanΘtanΦ（tanΘ＋tanΦ） ・・・式（１） ここで、 tanΘ＝f1/d1 ・・・式（２） tanΦ＝f2/d2 ・・・式（３） d1:LとCCD素子３上のビーム検出点P1との距離、d2:R
とCCD素子４上のビーム検出点P2との距離である。

このような受動的両眼立体視装置においては、Ｄ、f1
及びf2は既知なのでd1及びd2を求めれば、被検物体６ま
での距離が得られる。

そこで、CCD素子３及びCCD素子４の出力の相互相関演
算を相関処理手段６を用いて実行し、両者の出力信号の
相関が高いビーム検出点を各々被検物体６上の点Ｏに対
応するCCD素子３上のビーム検出点及びCCD素子４上のビ
ーム検出点すなわち左右の対応点とし、式（１）〜
（３）を用いて被検物体６までの距離ｈを求ることがで
き、これを用いて三次元空間認識を行なうことが可能と
なる。

発明が解決しようとする課題 しかしながら、上記の様な構成では、相互相関処理を
計算機処理で実行されるが、その処理時間が長い、消費
電力が大きい等の課題がありロボット用の視覚装置とし
ては用いるには問題があった。

本発明は、かかる問題点に鑑み、複数の撮像手段上の
対応点を決定するための相互相関演算を光学的に実行
し、高速でかつ低消費電力のロボット用視覚装置を提供
し、さらに撮像素子の撮影画像の表示範囲を変化させる
表示領域可変手段を設けることで、より一層の高速化を
図る事を目的とする。

課題を解決するための手段 本発明は、一定距離離間して配置された複数の撮像手
段と、前記撮像手段からの入力画像を表示する第１の空
間光変調素子と、この第１の空間光変調素子を照射する
コヒーレント光源と、前記第１のレンズの後側の焦点面
に配置した第２の空間光変調素子と、前記第１のレンズ
と後側の焦点をその前側焦点面とする第２のレンズとを
備えると共に、前記第２の空間光変調素子を構成する各
絵素毎の透過率を空間的に変調して計算機ホログラムを
表示することを特徴とする３次元視覚情報処理装置であ
る。

また、一定距離離間して配置された複数の撮像手段
と、この撮像手段の撮影画像の表示領域を変化させる表
示領域可変手段と、前記撮像手段からの入力画像を表示
する第１の空間光変調素子と、この第１の空間光変調素
子を照射する光源と、前記第１のレンズの後側の焦点面
に配置した第２の液晶ディスプレイと、前記第１のレン
ズの後側の焦点をその前側焦点面とする第２のレンズと
を備えると共に、前記第２の空間光変調素子を構成する
各絵素毎の透過率を空間的に変調して計算機ホログラム
を表示することを特徴とする３次元視覚情報処理装置で
ある。

作用 本発明は上記した構成により、複数の撮像手段による
画像を逐次、第１の空間光変調素子に表示し、この表示
画像と計算機ホログラム化した対象物体の特徴パターン
とのパターンマッチングを行うことで、複数の撮像手段
による画像間の対応付けを高速でかつ低消費電力で実行
可能な３次元視覚情報処理装置を提供できる。

また、本発明によれば、第１の空間光変調素子への画
像表示範囲を可変とすることで、複数の撮像手段の各々
の撮像素子上での対応位置まで求めることができるの
で、対象物体の３次元位置座標をより高精度で検出しう
る高速の３次元視覚情報処理装置を提供できる。

実施例 本発明の第１の実施例の構成を第１図を用いて説明す
る。第１図は本発明の第１の実施例の平面図である。６
は対象物体、10は第１の撮像レンズ10a及び第１の撮像
レンズ10aの結像位置に置かれた第１のCCD素子10bから
成る第１の撮像手段、11は第１の撮像レンズ10aと一定
距離Ｌ離間して配置された第２の撮像レンズ11aと第２
の撮像レンズ11aの結像位置に置かれた第２のCCD素子11
bとから成る第２の撮像手段、12は第２の撮像レンズ11a
と一定距離Ｍ離間して配置された第３の撮像レンズ12a
と第３の集光レンズ12aの結像位置に置かれた第３のCCD
素子12bとから成る第３の撮像手段、13は第１の液晶デ
ィスプレイ16に表示する入力画像を選択する表示画像選
択手段であり第１の撮像手段10、第２の撮像手段11、第
３の撮像手段12の出力信号は各々この表示画像選択手段
13に電気的に接続されている、14は半導体レーザ、15は
半導体レーザ14の出射光をコリメートするコリメータレ
ンズ、17はその前側焦点面に第１の液晶ディスクプレイ
16が位置するよう配された第１のレンズ、18は第１のレ
ンズ17の後側焦点面に位置するよう配された第２の液晶
ディスプレイ、21は第２の液晶ディスプレイ18に表示す
る光学的パターンマッチングの際にマッチトフィルタと
して作用する計算機ホログラムのデータを予め書き込ん
だROM（リードオンリメモリ）、19はその前側焦点面に
第２の液晶ディスプレイ18が位置するように配された第
２のレンズ、20は第２のレンズ19の後側焦点面に配置さ
れた光検出器である。

以上のように構成された第１の実施例についてその動
作を、第１図及び第２図に基づいて説明する。第２図
は、第１のCCD素子10b、第２のCCD素子11b及び第３のCC
D素子12bの各絵素の出力信号を各々、縦軸に信号レベル
をとり、横軸に絵素番号とって表示したものである。

さて太陽光、蛍光灯等の外界光により照射された対象
物６からの散乱光を第１の撮像レンズ10a、第２の撮像
レンズ11a及び第３の撮像レンズ12aで集光し、第１のCC
D素子10b、第２のCCD素子11b及び第３のCCD素子12bで受
光すると、第２図に示した様な出力が各々得られる。第
１図の対象物体６の特徴量である突起Ａに対応する信号
は第１のCCD素子10bと第２のCCD素子11bの出力信号に表
れている、すなわち突起Ａの画像は第１の撮像手段10と
第２の撮像手段11でのみ撮像されている。

一方同じく対象物体６の特徴量である突起Ｂに対応す
る信号は第３のCCD素子12bと第２のCCD素子11bの出力信
号に表れており突起Ｂの画像は第３の撮像手段12と第２
の撮像手段11でのみ撮像されている。

まず、表示画像選択手段13によりこの第１の撮像手段
10の出力信号を第１の液晶ディスプレイ16上に表示す
る。これをコリメータレンズ15により平行光化された半
導体レーザ14からの出射光で照射すると、第１のレンズ
17の後側焦点面すなわち第２の液晶ディスプレイ18上に
は突起Ａを含む第１の撮像手段10により撮像された画像
のフーリエ変換像が形成される。この時ROM21に予め書
き込まれている対象物体６の特徴量突起Ａの識別のため
のマッチトフィルタとして作用するフーリエ変換計算機
ホログラムが、第２の液晶ディスプレイ18上に表示され
ていると、本実施例のようなコヒーレント光学系に於い
てはシフトインバリアントが成立するので、第１の液晶
ディスプレイ上のどこに突起Ａの画像が表示されていて
も、第２のレンズの後側焦点面すなわち、光検出器20上
に輝点が発生する。この輝点から第１の液晶ディスプレ
イ16上に表示された画像中に突起Ａの画像との自己相関
が高い、すなわち特徴量突起Ａが存在することが分か
る。同様に、第２の撮像手段11の出力画像中には対象物
体６の特徴量突起Ａ及び突起Ｂが存在することが分か
り、第３の撮像手段12の出力画像中には対象物体６の特
徴量突起Ｂが存在することが分かる。

従って、この動作により対象物体６がその特徴量であ
る突起Ａ及び突起Ｂから如何なる物体であるかが判明す
る。さらに、突起Ａあるいは突起Ｂの３次元的位置座標
は第１の撮像レンズ10aと第２の撮像レンズ11aの離間距
離Ｌ及び、第２の撮像レンズ11aと第３の撮像レンズ12a
の離間距離Ｍが既知でありかつ、各々の撮像レンズの焦
点距離もまた既知であるため、例えば各々のCCD素子の
中心位置で突起Ａあるいは突起Ｂを検出したと仮定すれ
ば、従来例と同様に求めることができる。対象物体６と
の距離が十分に遠ければ、このような仮定は成立するの
で例えば障害物回避といった目的あるいはロボット本体
もしくはロボットアームの移動のための目標物の検出、
その目標物との相対位置を基にした軌道修正といった目
的には充分に実用に供することができる。またこれらの
処理は、光学的に行われるので従来の計算機処理による
受動的立体視と比較して格段のスピードで処理できる。

さらに、高精度で突起Ａあるいは突起Ｂの３次元的位
置座標を求める必要のある用途においては、従来例の計
算機による相関演算を併用すればよい。

上記の実施例では、複数の撮像手段を固定としたが、
いくつかの撮像手段に移動手段を取付け移動可能の構成
とすれば、例えば前方の障害物により遮蔽された対象物
体を認識することが可能となる。

次に本発明の第２の実施例の構成を第３図を用いて説
明する。第３図は、本発明の第２の実施例の平面図であ
る。図中の番号で第１図と同じものは同一のものを示
す。23は第１の撮像手段10及び第２の撮像手段11の出力
画像の第１の液晶ディスプレイ16への表示範囲を変化さ
せる表示範囲可能手段である。

次に、その動作を第３図から第６図を用いて説明す
る。太陽光、蛍光灯等の外界光により照射された対象物
体６からの散乱光を第１の撮像レンズ10a及び第２の撮
像レンズ11aで集光し、第１のCCD素子10b及び第２のCCD
素子11bで受光すると、第４図に示した様な出力が各々
得られる。第４図は第１のCCD素子10b及び第２のCCD素
子11bの構成絵素の出力を縦軸を信号レベルにとり、横
軸に絵素番号（１〜Ｎ）をとって図示したものである。
第１の実施例と同様に、順次第１のCCD素子10b、第２の
CCD素子11bの出力を第１の液晶ディスプレイ16に表示
し、コリメータレンズ15を介して平行化した半導体レー
ザ14からのコヒーレント光を照射することで、ROM21に
予め書き込まれている対象物体６の特徴量である突起Ａ
のフーリエ変換計算機ホログラムがマッチトフィルタと
して作用することでパターンラッチングが実行され、第
１の液晶ディスプレイ16に表示された画像中に対象物体
６があることが認識できる。この時、第１の実施例と同
様に突起Ａの３次元的位置座標は第１の撮像レンズ10a
と第２の撮像レンズ11aの離間距離Ｌ及び各々の撮像レ
ンズの焦点距離が既知であるため、例えば各々のCCD素
子の中心位置で突起Ａを検出したと仮定すれば、従来例
と同様に求めることができる。対象物体６との距離が十
分に遠ければ、このような仮定は成立するので例えば障
害物回避といった目的あるいはロボット本体もしくはロ
ボットアームの移動のための目標物の検出、その目標物
との相対位置を基にした軌道修正といった目的には充分
に実用に供することができる。またこれらの処理は、光
学的に行われるので、従来の計算機処理による受動的立
体視と比較して格段のスピードで処理できることは言う
までもない。

しかしながら、例えば視覚とロボットハンドとが協調
作業を行う、いわいるハンド・アイシステムの様な用途
では、より高い精度で対象物体までの距離を求める必要
がある。すなわち第１のCCD素子10bの出力の特定の波形
（例えば第４図中の突起Ａに相当するピーク）が、第２
のCCD素子11bの出力のどの部分に対応するかを知らなけ
ればならない。そこで、表示範囲可変手段23により第１
のCCD素子10b及び第２のCCD素子11bの出力画像の一部の
みを第１の液晶ディスプレイ16に表示し第２の液晶ディ
スプレイ18上に表示された対象物体６の特徴量である突
起Ａのフーリエ変換計算機ホログラムとの間でのパター
ンマッチングを実行する。

その具体的な処理手順としては、まず第１のCCD素子1
0b及び第２のCCD素子11bの出力画像を各々２等分する。
すなわち各々第４図に示した出力信号を第１番目から第
（N/2）番目の絵素から成る画像と、第（N/2＋１）番目
のから第Ｎ番目までの絵素から成る画像に分割し順次表
示する。この場合も本発明の第１の実施例と同様にコヒ
ーレント光学系におけるフーリエ変換の基本的特性があ
るシフトインバリアントが成立するので、第５図の５−
Ａに示した様に第１のCCD素子10bの出力に関しては、第
１番目から第（N/2）番目の絵素から成る画像中に、第
２のCCD素子11bの出力に関しては第６図の６−Ａに示し
た様に、第（N/2＋１）番目から第Ｎ番目から成る画像
中に、各々対象物体６の特徴量突起Ａを含むことが分か
る。

次に、第１のCCD素子10bの出力に関しては、第１番目
から第（N/4）番目の絵素から成る画像と、第（N/4＋
１）番目から第（N/2）番目の絵素から成る画像に２分
割し、第２のCCD素子11bの出力に関しては、第（N/2＋
１）番目から第（3N/4）番目の絵素から成る画像と、第
（3N/4＋１）番目から第Ｎ番目の絵素から成る画像とに
２分割して第１の液晶ディスプレイ16上に表示し第２の
液晶ディスプレイ18上に表示された対象物体６の特徴量
である突起Ａのマッチトフィルタとして作用するフーリ
エ変換計算機ホログラムとの間でのパターンマッチング
を実行する。その結果、第５図の５−Ｂに示した様に第
１のCCD素子10bの出力に関しては、第１番目から第（N/
4）番目の絵素から成る画像中に、第２のCCD素子11bの
出力に関しては第６図の６−Ａに示した様に、第（3N/4
＋１）番目から第Ｎ番目から成る画像中に、各々対象物
体６の特徴量突起Ａを含むことが分かる。

以下同様に表示画像の２等分を実行すれば必要な精度
での対象物体の３次元位置座標値が光学的処理により実
行されるので、従来の計算機を用いた受動的立体視装置
と比較して極めて高速に対象物体の３次元位置座標を得
ることができる。

上記の実施例においては、空間光変調素子として液晶
ディスプレイを用いたが例えば、BSO結晶等電気光学的
結晶を用いCCD素子の電荷によりその透過率あるいは反
射率を制御してもよい。

発明の効果 以上の様に、本発明においては、複数の撮像手段によ
る画像を逐次、第１の空間光変調素子に表示し、この表
示画像と計算機ホログラム化した対象物体の特徴パター
ンとのパターンマッチングを行うことで、複数の撮像手
段による画像間の対応付けを高速でかつ低消費電力で実
行可能な３次元視覚情報処理装置を提供できる。

また、第１の空間光変調素子への画像表示範囲を可変
とすることで、複数の撮像手段の各々の際像素子の対応
位置まで求めることができるので、対象物体の３次元位
置座標をより高精度で検出しうる高速の３次元視覚情報
処理装置を提供できる。

【図面の簡単な説明】

第１図は本発明の第１の実施例の３次元視覚情報処理装
置の平面図、第２図は同装置の動作説明図、第３図は本
発明の第２の実施例の３次元視覚情報処理装置の平面
図、第４図、第５図及び第６図は本発明の第２の実施例
の動作説明図、第７図は従来例の３次元視覚情報処理装
置の構成図、第８図は従来例の３次元視覚情報処理装置
の動作説明図である。 ６……対象物体、10……第１の撮像手段、11……第２の
撮像手段、12……第３の撮像手段、13……表示画像選択
手段、14……半導体レーザ、15……コリメータレンズ、
16……第１の液晶ディスプレイ、17……第１のレンズ、
18……第２の液晶ディスプレイ、19……第２のレンズ、
20……光検出器、21……ROM、23……表示範囲可変手
段。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭60−182412（ＪＰ，Ａ) 特開 昭53−134457（ＪＰ，Ａ) 特開 昭62−255813（ＪＰ，Ａ)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】一定距離離間して配置された複数の撮像手
   段と、前記撮像手段からの入力画像を切替表示する第１
   の空間光変調素子と、前記第１の空間光変調素子を照射
   するコヒーレント光源と、前記第１の空間光変調素子を
   その前側焦点面に配置した第１のレンズと、前記第１の
   レンズの後側の焦点面に配置した第２の空間光変調素子
   と、前記第１のレンズの後側の焦点をその前側焦点面と
   する第２のレンズとを備え、前記撮像手段により対象物
   体の突起部などの特徴量を撮像した信号波形を用いて作
   成した計算機ホログラムを前記第２の空間光変調素子を
   構成する各絵素毎の透過率を空間的に変調して表示する
   ことを特徴とする３次元視覚情報処理装置。
2. 【請求項２】一定距離離間して配置された複数の撮像手
   段と、前記撮像手段からの入力画像を切替表示する第１
   の空間光変調素子と、前記撮像手段により撮像された画
   像の一部分のみを分割して表示することで前記第１の空
   間光変調素子への入力表示範囲を変化させる表示範囲可
   変手段と、前記第１の空間光変調素子を照射するコヒー
   レント光源と、前記第１の空間光変調素子をその前側焦
   点面に配置した第１のレンズと、前記第１のレンズの後
   側の焦点面に配置した第２の空間光変調素子と、前記第
   １のレンズの後側の焦点をその前側焦点面とする第２の
   レンズとを備え、前記第２の空間光変調素子を構成する
   各絵素毎の透過率を空間的に変調して計算機ホログラム
   を表示することを特徴とする３次元視覚情報処理装置。
3. 【請求項３】請求項１または２記載の第１の空間光変調
   素子もしくは第２の空間光変調素子を液晶ディスプレイ
   により構成したことを特徴とする３次元視覚情報処理装
   置。