JPH02197966A - ３次元視覚情報処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、太陽光、一般照明光等の外界光による三次元
空間認識を行う受動的両眼立体視装置と呼ばれるロボッ
ト用視覚装置に関する。

従来の技術 従来、三次元視覚情報処理装置として、左右の二つの眼
を用いて三次元空間認識を行う両眼立体視と呼ばれるも
のが、２種類提案されている。そのひとつは、左右一方
の眼をレーザ発振器、他方を受光器としたもので被験物
体上の左右両眼の注視点が一点に定まるので、信号処理
が容易であるという利点を有している。しかしながら、
レーザ光の到達距離が実用上数１０ｍ程度に制限される
ため例えば、自走ロボットにおいて周囲環境を認識する
ための視覚装置として利用する場合、その活用範囲が距
離的に制限されるという問題点及び人体に対する安全性
の面からもその使用が制限されるという問題点をを有し
ていた。そこで、太陽光、照明光等の外界光を用いた受
動的両眼立体視と呼ばれる３次元視覚情報処理装置がこ
のような用途に多く用いられている。

従来の３次元視覚情報処理装置の中で、この受動的両眼
立体視装置の構成を第７図に基づいて説明する。１は第
１のカメラレンズ、２は第２のカメラレンズ、３は第１
のカメラレンズ１の結像位置に配置された第１のＣＣＤ
素子、４は第２のカメラレンズ２の結像位置に配置され
た第２のＣＣＤ素子、５は第１及び第２のＣＣＤ素子の
出力信号の相関処理を計算機で行う相関処理手段、６は
対象物体である。

次にこの受動的両眼立体視装置の動作を第７図及び第８
図を用いて説明する。第８図でＬを第１のカメラレンズ
の中心、Ｒを第２のカメラレンズの中心、ｆｌ、ｆ２を
それぞれ第１及び第２のカメラレンズの焦点距離、０を
被検物体６上の点、θ及びΦを各々基線ＬＲと主光線Ｏ
Ｌ及び主光線ＯＲの成す角度とし基線ＬＲの長さをＤと
置けば点Ｏまでの距離りは式（１）で表される。

ｈ　＝　Ｄｔａｎｅｔａｎ・（ｔａｎθ＋ｔａｎ・）・
・・式（１）ｔａｎθ＝ｆｌ／ｄｌ−−−式（２） ｔａｎΦ＝ｆ２／ｄ２−−−式（３） ｄｌ：ＬとＣＣＤ素子３上のビーム検出点Ｐ１との距離
、ｄ２：ＲとＣＣＤ素子４上のビーム検出点Ｐ２との距
離である。

このような受動的両眼立体視装置においては、Ｄ、ｆｌ
及びｆ２は既知なのでｄｌ及びｄ２を求めれば、被検物
体６までの距離が得られる。

そこで、ＣＣＤ素子３及びＣＣＤ素子４の出力の相互相
関演算を相関処理手段６を用いて実行し、両者の出力信
号の相関が高いビーム検出点を各々被検物体６上の点０
に対応するＣＣＤ素子３上のビーム検出点及びＣＣＤ素
子４上のビーム検出点すなわち左右の対応点とし、式（
１）〜（３）を用いて被検物体６までの距離りを求るこ
とかでき、これを用いて三次元空間認識を行なうことが
可能となる。

発明が解決しようとする課題 しかしながら、上記の様な構成では、相互相関処理を計
算機処理で実行されるが、その処理時間が長い、消費電
力が大きい等の課題がありロボット用の視覚装置として
は用いるには問題があった。

本発明は、かかる問題点に鑑み、複数の撮像手段上の対
応点を決定するための相互相関演算を光学的に実行し、
高速でかつ低消費電力のロボット用視覚装置を提供し、
さらに撮像素子の撮影画像の表示範囲を変化させる表示
領域可変手段を設けることで、より一層の高速化を図る
事を目的とする。

課題を解決するための手段 本発明は、一定距離離間して配置された複数の撮像手段
と、前記撮像手段からの入力画像を表示する第１の空間
光変調素子と、この第１の空間光変調素子を照射するコ
ヒーレント光源と、前記第１のレンズの後側の焦点面に
配置した第２の空間光変調素子と、前記第１のレンズの
後側の焦点をその前側焦点面とする第２のレンズとを備
えると共に、前記第２の空間光変調素子を構成する各絵
素毎の透過率を空間的に変調して計算機ホログラムを表
示することを特徴とする３次元視覚情報処理装置である
。

また、一定距離離間して配置された複数の撮像手段と、
この撮像手段の撮影画像の表示領域を変化させる表示領
域可変手段と、前記撮像手段からの入力画像を表示する
第１の空間光変調素子と、この第１の空間光変調素子を
照射する光源と、前記第１のレンズの後側の焦点面に配
置した第２の液晶ディスプレイと、前記第１のレンズの
後側の焦点をその前側焦点面とする第２のレンズとを備
えると共に、前記第２の空間光変調素子を構成する各絵
素毎の透過率を空間的に変調して計算機ホログラムを表
示することを特徴とする３次元視覚情報処理装置である
。

作用 本発明は上記した構成により、複数の撮像手段による画
像を逐次、第１の空間光変調素子に表示し、この表示画
像と計算機ホログラム化した対象物体の特徴パターンと
のパターンマツチングを行うことで、複数の撮像手段に
よる画像間の対応付けを高速でかつ低消費電力で実行可
能な３次元視覚情報処理装置を提供できる。

また、本発明によれば、第１の空間光変調素子への画像
表示範囲を可変とすることで、複数の撮像手段の各々の
撮像素子上での対応位置まで求めることかできるので、
対象物体の３次元位置座標をより高精度で検出しうる高
速の３次元視覚情報処理装置を提供できる。

実施例 本発明の第１の実施例の構成を第１図を用いて説明する
。第１図は本発明の第１の実施例の平面図である。６は
対象物体、１０は第１の撮像レンズ１０ａ及び第１の撮
像レンズ１０ａの結像位置に置かれた第１のＣＣＤ素子
１０ｂから成る第１の撮像手段、１１は第１の撮像レン
ズ１０ａと一定距ＩＬ離間して配置された第２の撮像レ
ンズ１１ａと第２の撮像レンズｌｌａの結像位置に置か
れた第２０ＣＣＤ素子１１ｂとから成る第２の撮像手段
、１２は第２の撮像レンズｌｌａと一定距離Ｍ離間して
配置された第３の撮像レンズ１２ａと第３の集光レンズ
１２ａの結像位置に置かれた第３のＣＣＤ素子１２ｂと
から成る第３の撮像手段、１３は第１の液晶ディスプレ
イ１６に表示する入力画像を選択する表示画像選択手段
であり第１の撮像手段１０、第２の撮像手段１１、第３
の撮像手段１２の出力信号は各々この表示画像選択手段
１３に電気的に接続されている、１４は半導体レーザ、
１５は半導体レーザ１４の出射光をコリメートするコリ
メータレンズ、１７はその前側焦点面に第１の液晶ディ
スプレイ１６が位置するよう配された第１のレンズ、１
８は第１のレンズ１７の後側焦点面に位置するよう配さ
れた第２の液晶ディスプレイ、２１は第２の液晶ディス
プレイ１８に表示する計算機ホログラムのデータを予め
書き込んだＲＯＭ　（リードオンリメモリ〉、１９はそ
の前倒焦点面に第２の液晶ディスプレイ１８が位置する
ように配された第２のレンズ、２０は第２のレンズ１９
の後側焦点面に配置された光検出器である。

以上のように構成された第１の実施例についてその動作
を、第１図及び第２図に基づいて説明する。第２図は、
第１のＣＣＤ素子１０ｂ、第２のＣＣＤ素子１１ｂ及び
第３のＣＣＤ素子１２ｂの各絵素の出力信号を各々、縦
軸に信号レベルをとり、横軸に絵素番号とって表示した
ものである。

さて太陽光、蛍光灯等の外界光により照射された対象物
体６からの散乱光を第１の撮像レンズ１０ａ、第２の撮
像レンズｌｌａ及び第３の撮像レンズ１２ａで集光し、
第１のＣＣＤ素子１０ｂ、第２のＣＣＤ素子１１ｂ及び
第３のＣＣＤ素子１２ｂで受光すると、第２図に示した
様な出力が各々得られる。第１図の対象物体６の特徴量
である突起Ａに対応する信号は第１のＣＣＤ素子１０ｂ
と第２のＣＣＤ素子１１ｂの出力信号に表れている、す
なわち突起Ａの画像は第１の撮像手段１０と第２の撮像
手段１１でのみ撮１象されている。

一方同じく対象物体６の特徴量である突起Ｂに対応する
信号は第３のＣＣＤ素子１２ｂと第２のＣＣＤ素子１１
ｂの出力信号に表れており突起Ｂの画像は第３の撮像手
段１２と第２の撮像手段１１でのみ撮像されている。

まず、表示画像選択手段１３によりこの第１の撮像手段
１０の出力信号を第１の液晶ディスプレイ１６上に表示
する。これをコリメータレンズ１５により平行光化され
た半導体レーザ１４からの出射光で照射すると、第１の
レンズ１７の後側焦点面すなわち第２の液晶ディスプレ
イ１８上には突起Ａを含む第１の撮像手段１０により撮
像された画像のフーリエ変換像が形成される。この時Ｒ
，Ｍ２１に予め書き込まれている対象物体６の特徴量突
起Ａのフーリエ変換計算機ホログラムが、第２の液晶デ
ィスプレイ１８上に表示されていると、本実施例のよう
なコヒーレント光学系に於いてはシフトインバリアント
が成立するので、第１の液晶ディスプレイ上のどこに突
起Ａの画像が表示されていても、第２のレンズの後側焦
点面すなわち、光検出器２０上に輝点が発生し第１の液
晶ディスプレイ１６上に表示された画像中に対象物体６
の特徴量突起Ａが存在することが分かる。同様に、第２
の撮像手段１１の出力画像中には対象物体６の特徴量突
起Ａ及び突起Ｂが存在することが分かり、第３の撮像手
段１２の出力画像中には対象物体６の特徴量突起Ｂが存
在することが分かる。

従って、この動作により対象物体６がその特徴量である
突起Ａ及び突起Ｂから如何なる物体であるかが判明する
。さらに、突起Ａあるいは突起Ｂの３次元的位置座標は
第１の撮像レンズｌｏｇと第２の撮像レンズｌｌａの離
間距離り及び、第２の撮像レンズｌｌａと第３の撮像レ
ンズ１２ａの離間距離Ｍが既知でありかつ、各々の撮像
レンズの焦点距離もまた既知であるため、例えば各々の
ＣＣＤ素子の中心位置で突起Ａあるいは突起Ｂを検出し
たと仮定すれば、従来例と同様に求めることができる。

対象物体６との距離が十分に遠ければ、このような仮定
は成立するので例えば障害物回避といった目的あるいは
ロボット本体もしくはロボットアームの移動のための目
標物の検出、その目標物との相対位置を基にした軌道修
正といった目的には充分に実用に供することができる。

またこれらの処理は、光学的に行われるので従来の計算
機処理による受動的立体視と比較して格段のスピードで
処理できる。

さらに、高精度で突起Ａあるいは突起Ｂの３次元的位置
座標を求める必要のある用途においては、従来例の計算
機による相関演算を併用すればよい。

上記の実施例では、複数の撮像手段を固定としたが、い
くつかの撮像手段に移動手段を取付は移動可能の構成と
すれば、例えば前方の障害物により遮蔽された対象物体
を認識することが可能となる。

次に本発明の第２の実施例の構成を第３図を用いて説明
する。第３図は、本発明の第２の実施例の平面図である
。図中の番号で第１図と同じものは同一のものを示す。

２３は第１の撮像手段１０及び第２の撮像手段１１の出
力画像の第１の液晶ディスプレイ１６への表示範囲を変
化させる表示範囲可変手段である。

次に、その動作を第３図から第６図を用いて説明する。

太陽光、蛍光灯等の外界光により照射された対象物体６
からの散乱光を第１の撮像レンズ１０ａ及び第２の撮像
レンズｌｌａで集光し、第１のＣＣＤ素子１０ｂ及び第
２０ＣＣＤ素子１１ｂで受光すると、第４図に示した様
な出力が各々得られる。第４図は第１のＣＣＤ素子１０
ｂ及び第２のＣＣＤ素子１１ｂの構成絵素の出力を縦軸
を信号レベルにとり、横軸に絵素番号（１〜Ｎ）をとっ
て図示したものである。第１の実施例と同様に、順次節
１のＣＣＤ素子１０ｂ、第２のＣＣＤ素子１１ｂの出力
を第１の液晶ディスプレイ１６に表示し、コリメータレ
ンズ１５を介して平行化した半導体レーザ１４からのコ
ヒーレント光を照射することで、ＲＯＭ２１に予め書き
込まれている対象物体６の特徴量である突起Ａのフーリ
エ変換計算機ホログラムとの間でパターンマツチングが
実行され、対象物体６を認識できる。この時、第１の実
施例と同様に突起Ａの３次元的位置座標は第１の撮像レ
ンズ１０ａと第２の撮像レンズＬｌａの離間距ｔｌＬ及
び各々の撮像レンズの焦点距離が既知であるため、例え
ば各々のＣＣＤ素子の中心位置で突起Ａを検出したと仮
定すれば、従来例と同様に求めることができる。対象物
体６との距離が十分に遠ければ、このような仮定は成立
するので例えば障害物回避といった目的あるいはロボッ
ト本体もしくはロボットアームの移動のための目標物の
検出、その目標物との相対位置を基にした軌道修正とい
った目的には充分に実用に供することができる。またこ
れらの処理は、光学的に行われるので、従来の計算機処
理による受動的立体視と比較して格段のスピードで処理
できることは言うまでもない。

しかしながら、例えば視覚とロボットハンドとが協調作
業を行う、いわいるハンド・アイシステムの様な用途で
は、より高い精度で対象物体までの距離を求める必要が
ある。すなわち第１のＣＣＤ素子１０ｂの出力の特定の
波形（例えば第４図中の突起Ａに相当するピーク）が、
第２のＣＣＤ素子１１ｂの出力のどの部分に対応するか
を知らなければならない。そこで、表示範囲可変手段２
３により第１のＣＣＤ素子１０ｂ及び第２のＣＣＤ素子
１１ｂの出力画像の一部のみを第１の液晶ディスプレイ
１６に表示し第２の液晶ディスプレイ１８上に表示され
た対象物体６の特徴量である突起Ａのフーリエ変換計算
機ホログラムとの間でのパターンマツチングを実行する
。

その具体的な処理手順としては、まず第１のＣＣＤ素子
１０ｂ及び第２のＣＣＤ素子１１ｂの出力画像を各々２
等分する。すなわち各々第４図に示した出力信号を第１
番目から第（Ｎ／２）番目の絵素から成る画像と、第（
Ｎ／２＋　１　）番目のから第Ｎ番目までの絵素から成
る画像に分割し順次表示する。この場合も本発明の第１
の実施例と同様にコヒーレント光学系におけるフーリエ
変換の基本的特性であるシフトインバリアントが成立す
るので、第５図の５−Ａに示した様に第１のＣＣＤ素子
１０ｂの出力に関しては、第１番目から第（Ｎ／２）番
目の絵素から成る画像中に、第２のＣＣＤ素子１１ｂの
出力に関しては第６図の６−八に示した様に、第（Ｎ／
２＋１）番目から第Ｎ番目から成る画像中に、各々対象
物体６の特徴量突起Ａを含むことが分かる。

次に、第１のＣＣＤ素子１０ｂの出力に関しては、第１
番目から第（Ｎ／４）番目の絵素から成る画像と、第（
Ｎ／４＋１）番目から第（Ｎ／２）番目の絵素から成る
画像に２分割し、第２のＣＣＤ素子１１ｂの出力に関し
ては、第（Ｎ／２＋１）番目から第（３Ｎ／４）番目の
絵素から成る画像と、第（３Ｎ／４＋　１　）番目から
第Ｎ番目の絵素から成る画像とに２分割して第１の液晶
ディスプレイ１６上に表示し第２の液晶ディスプレイ１
８上に表示された対象物体６の特徴量である突起Ａのフ
ーリエ変換計算機ホログラムとの間でのパターンマツチ
ングを実行する。その結果、第５図の５−Ｂに示した様
に第１のＣＣＤ素子１ｏｂの出力に関しては、第１番目
から第（Ｎ／４〉番目の絵素から成る画像中に、第２の
ＣＣＤ素子１１ｂの出力に関しては第６図の６−Ａに示
した様に、第（３Ｎ／４＋　１　）番目から第Ｎ番目か
ら成る画像中に、各々対象物体６の特徴量突起Ａを含む
ことが分かる。

以下同様に表示画像の２等分を実行すれば必要な精度で
の対象物体の３次元位置座標値が光学的処理により実行
されるので、従来の計算機を用いた受動的立体視装置と
比較して極めて高速に対象物体の３次元位置座標を得る
ことができる。

上記の実施例においては、空間光変調素子として液晶デ
ィスプレイを用いたが例えば、ＢＳＯ結晶等電気光学的
結晶を用いＣＣＤ素子の電荷によりその透過率あるいは
反射率を制御してもよい。

発明の効果 以上の様に、本発明においては、複数の撮像手段による
画像を逐次、第１の空間光変調素子に表示し、この表示
画像と計算機ホログラム化した対象物体の特徴パターン
とのパターンマツチングを行うことで、複数の撮像手段
による画像間の対応付けを高速でかつ低消費電力で実行
可能な３次元視覚情報処理装置を提供できる。

また、第１の空間光変調素子への画像表示範囲を可変と
することで、複数の撮像手段の各々の撮像素子の対応位
置まで求めることができるので、対象物体の３次元位置
座標をより高精度で検出しうる高速の３次元視覚情報処
理装置を提供できる。

【図面の簡単な説明】

第１図は本発明の第１の実施例の３次元視覚情報処理装
置の平面図、第２図は同装置の動作説明図、第３図は本
発明の第２の実施例の３次元視覚情報処理装置の平面図
、第４図、第５図及び第６図は本発明の第２の実施例の
動作説明図、第７図は従来例の３次元視覚情報処理装置
の構成図、第８図は従来廻の３次元視覚情報処理装置の
動作説明図である。 ６・・・対象物体、１０・・・第１の撮像手段、１１・
・・第２の撮像手段、１２・・・第３の撮像手段、１３
・・・表示画像選択手段、１４・・−半導体レーザ、１
５・・・コリメータレンズ、１６・・−＊ｉの液晶ディ
スプレイ、１７・・・第１のレンズ、１８・・・第２の
液晶ディスプレイ、１９・・・第２のレンズ、２０・・
・光検出器、２１・・・ＲＯＭ、２３・・・表示範囲可
変手段。 代理人の氏名弁理士　粟野重孝　はが１名瀕凄＃５ 第 図 Ｎ／４ 綬累島号 些示虻日ＥＴ！４Ｐ奴２３１をの 第１のＣＣＯ素子ｌＯ６の出力１！ 第 図 木；号νへル ４３をＮ／Ａ°ノν ３Ｎ／４ナノ 〜薇繕号 表示範囲可変手段２３透の １！２ＣＣＤ博き子　Ｉｌｂの８３か藝））富 図 第 図

Claims (3)

【特許請求の範囲】
1. （１）一定距離離間して配置された複数の撮像手段と、
   前記撮像手段からの入力画像を切換表示する第１の空間
   光変調素子と、前記第１の空間光変調素子を照射するコ
   ヒーレント光源と、前記第１の空間光変調素子をその前
   側焦点面に配置した第１のレンズと、前記第１のレンズ
   の後側の焦点面に配置した第２の空間光変調素子と、前
   記第１のレンズの後側の焦点をその前側焦点面とする第
   ２のレンズとを備え、前記第２の空間光変調素子を構成
   する各絵素毎の透過率を空間的に変調して計算機ホログ
   ラムを表示することを特徴とする３次元視覚情報処理装
   置。
2. （２）一定距離離間して配置された複数の撮像手段と、
   前記撮像手段からの入力画像を切換表示する第１の空間
   光変調素子と、前記第１の空間光変調素子への入力画像
   表示範囲を変化させる表示範囲可変手段と、前記第１の
   空間光変調素子を照射するコヒーレント光源と、前記第
   １の空間光変調素子をその前側焦点面に配置した第１の
   レンズと、前記第１のレンズの後側の焦点面に配置した
   第２の空間光変調素子と、前記第１のレンズの後側の焦
   点をその前側焦点面とする第２のレンズとを備え、前記
   第２の空間光変調素子を構成する各絵素毎の透過率を空
   間的に変調して計算機ホログラムを表示することを特徴
   とする３次元視覚情報処理装置。
3. （３）請求項１または２記載の第１の空間光変調素子も
   しくは第２の空間光変調素子を液晶ディスプレイにより
   構成したことを特徴とする３次元視覚情報処理装置。