JPH05223523A - 視覚センサを用いた対象物位置検出装置 - Google Patents

Abstract

(57)【要約】 【目的】この発明は視覚センサ移動用のアクチュエータ
のエネルギーの節約化、長寿命化を図ると共に、オペレ
ータにわずらわしさの少ない監視をなし得る視覚センサ
を用いた対象物位置検出装置を提供する事を目的とす
る。 【構成】この発明では、３台以上の視覚センサをそれぞ
れ異なる位置に配し、かつ各視覚センサを上記各位置で
所定の動作範囲内を３次元移動可能に駆動制御し、これ
ら視覚センサの撮像データに基づき対象物の３次元位置
を測定するとともに、前記対象物が障害物で遮られたと
きは対象物が視認できるまで所定の回避動作を実行する
視覚センサを用いた対象物位置検出装置において、１台
の視覚センサのみが前記対象物を視認でき他の視覚セン
サは対象物が障害物で遮られている状態のときにのみ、
全ての視覚センサが対象物を視認できるよう前記回避動
作を実行させるようにしたことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は３台以上の視覚センサ
をそれぞれ異なる位置に配し、かつ各視覚センサをロボ
ットに取り付けるなどして上記各位置で所定の動作範囲
内を３次元移動可能に構成し、これら各視覚センサの撮
像データに基づき対象物の３次元位置を測定する共に、
前記対象物が障害物で遮られたときは対象物が視認でき
るまで所定の回避動作を実行する視覚センサを用いた対
象物位置検出装置に関する。

【０００２】

【従来の技術】宇宙作業ロボットや深海作業用ロボット
や建設機械の遠隔操作の産業分野においては、対象物の
位置をＣＣＤカメラなどの視覚センサを用いて認識し、
該認識した位置情報に基づき遠隔操作用ロボットや遠隔
操作用マニピュレータのハンドを駆動して対象物に作業
を施すことが考えられている。上記カメラからの映像は
オペレータによる作業の監視用にも用いられる。

【０００３】この種の技術においては、カメラはロボッ
トなどのアクチュエータに取り付けられて３次元移動可
能に構成されているが、１つの対象物の３次元位置
（ｘ，ｙ，ｚ）を検出するためには、最低限２台のカメ
ラを必要とする。しかし、２台のカメラでは１台のカメ
ラがロボットハンドや他の構造物などの障害物に遮られ
て対象物を視認できなくなると、対象物の位置測定が不
可能になるので、通常カメラは３台以上用意されてい
る。このように３台以上のカメラを用いて対象物の３次
元位置を認識するシステムにおいては、従来、１つのカ
メラでも対象物に遮られて対象物を視認できない状態に
なると、即座にそのカメラに対象物が見つかるまで障害
物回避動作を行わせるようにしていた。

【０００４】例えば、３台のカメラＡ，Ｂ，Ｃを具えた
システムにおいて、カメラＡが障害物に遮られたとき
は、直ちにカメラＢ，Ｃによる対象物の位置情報を元
に、対象物が見つかるまでカメラＡに回避動作を行わせ
る。

【０００５】

【発明が解決しようとする課題】このように、従来技術
においては、各カメラが対象物に遮られた状態になる度
に、各カメラに回避動作を行わせるようにしていたの
で、カメラを位置制御するアクチュエータのエネルギー
消費量が多く、またアクチュエータの耐久年数が短くな
るという問題があった。特に、宇宙作業や深海作業の分
野においては、できるだけエネルギー量を節約する必要
があり、バッテリーも小型、軽量なものが要望されてい
る。また、オペレータによる監視を考えた場合、従来技
術においては回避回数が非常に多いので、その度にカメ
ラからの映像が変化する事になり、映像を理解するため
のわずらわしさが頻繁に生じるという問題もある。

【０００６】この発明はこのような実情に鑑みてなされ
たもので、視覚センサ移動用のアクチュエータのエネル
ギーの節約化、長寿命化を図ると共に、オペレータにわ
ずらわしさの少ない監視をなし得る視覚センサを用いた
対象物位置検出装置を提供する事を目的とする。

【０００７】

【課題を解決するための手段】この発明では、３台以上
の視覚センサをそれぞれ異なる位置に配し、かつ各視覚
センサを上記各位置で所定の動作範囲内を３次元移動可
能に駆動制御し、これら視覚センサの撮像データに基づ
き対象物の３次元位置を測定するとともに、前記対象物
が障害物で遮られたときは対象物が視認できるまで所定
の回避動作を実行する視覚センサを用いた対象物位置検
出装置において、１台の視覚センサのみが前記対象物を
視認でき他の視覚センサは対象物が障害物で遮られてい
る状態のときにのみ、全ての視覚センサが対象物を視認
できるよう前記回避動作を実行させるようにしたことを
特徴とする。

【０００８】

【作用】かかる本発明の構成によれば、２台以上の視覚
センサが対象物を視認できる状態のときには回避動作を
行わせず、対象物を視認できる視覚センサが１台になっ
たときに、初めて回避動作を行わせる。

【０００９】

【実施例】以下この発明を添付図面に示す実施例に従っ
て詳細に説明する。

【００１０】図１は、この発明の実施例システムを示す
もので、この場合は３台のＣＣＤカメラＡ，Ｂ，Ｃを視
覚センサとして用いている。各カメラＡ，Ｂ，Ｃはロボ
ット３に取り付けられており、これらロボット３の動き
によってＡ，Ｂ，Ｃは位置姿勢制御される。この場合
は、ロボット３として所定位置に固定された６軸垂直多
関節ロボットを採用している。

【００１１】各カメラＡ，Ｂ，Ｃが搭載された各ロボッ
ト３はコンピュータ４からの指令によって駆動制御され
る。３台のカメラの撮像データは常時コンピュータ４に
入力され、コンピュータ４は３台のカメラの撮像データ
に基づき対象物１の位置を測定する。これら測定された
対象物の位置データコンピュータ４内のメモリ５に常時
保存されている。

【００１２】対象物１の四角には、対象物の認識を容易
にできるように白点Ｗ1〜Ｗ4が記入されている。２は障
害物である。かかるシステム構成による障害物回避動作
を図２のフローチャートを参照して説明する。

【００１３】まず、カメラＡ，Ｂ，ＣのうちカメラＢの
みが障害物に遮られたときの動作について説明する。

【００１４】図２のフローチャートにおいて、ステップ
１００の変数ｋ，ｎはカメラ台数を示しており、この場
合ｋ＝３である。ステップ１１０の変数ｉは制御対称の
カメラに対応しており、カメラＡがｉ＝１に、カメラＢ
がｉ＝２に、カメラＣがｉ＝３に対応するとする。

【００１５】まず、変数ｉが０に初期化され（ステップ
１１０）、次に変数ｉが＋１されることでｉ＝１となる
（ステップ１２０）。

【００１６】ステップ１３０の判定結果はＮＯであるの
で、手順はステップ１４０に移行し、ここでカメラＡ
（ｉ＝１）は対象物の４つの白点Ｗ1〜Ｗ4を全て視認す
る事ができるか否かが判定される。この場合カメラＡは
障害物に遮られていないと仮定したので、手順はステッ
プ１２０に復帰される。

【００１７】変数ｉは更に＋１されてｉ＝２となり（ス
テップ１２０）、次にステップ１４０でカメラＢ（ｉ＝
１）は対象物の４つの白点Ｗ1〜Ｗ4を全て視認する事が
できるか否かが判定される。この場合カメラＢは障害物
に遮られていると仮定したので、手順はステップ１５０
に移行される。

【００１８】ステップ１５０の判定はＮＯであるので
（なぜならば、このときｋ＝３）、次にｋが−１されて
ｋ＝２となり（ステップ１６０）、さらにステップ１７
０でＫ＝１であるか否かが判定される。この時ｋ＝２で
あるので、ステップ１７０の判断はＮＯとなり、手順は
ステップ１２０に移行される。

【００１９】ステップ１２０で変数ｉは更に＋１されて
ｉ＝３となり、次にステップ１４０でカメラＣ（ｉ＝
３）は対象物の４つの白点Ｗ1〜Ｗ4を全て視認する事が
できるか否かが判定される。この場合カメラＣは障害物
に遮られていないと仮定したので、手順はステップ１２
０に復帰される。

【００２０】ステップ１２０で変数ｉは更に＋１されて
ｉ＝４となる。従って、この状態の時にはステップ１３
０の判定条件ｉ＞ｎが成立し、手順はステップ１００に
復帰される。

【００２１】カメラＡ，Ｂ，ＣのうちカメラＢのみが障
害物に遮られているかぎり、前記と同様の動作が繰り返
し実行される。

【００２２】すなわち、障害物に遮られているカメラが
１台の時は障害物回避動作は実行されず、障害物で遮ら
れているカメラは静止状態を維持し、他の２台のカメラ
で対象物の位置を検出し続ける。

【００２３】次に、カメラＡ，Ｂ，ＣのうちカメラＢ及
びＣが障害物に遮られているときの動作について説明す
る。

【００２４】まず、変数ｉが０に初期化され（ステップ
１１０）、次に変数ｉが＋１されることでｉ＝１となる
（ステップ１２０）。

【００２５】ステップ１３０の判定結果はＮＯであるの
で、手順はステップ１４０に移行し、ここでカメラＡ
（ｉ＝１）は対象物の４つの白点Ｗ1〜Ｗ4を全て視認す
る事ができるか否かが判定される。この場合カメラＡは
障害物に遮られていないと仮定したので、手順はステッ
プ１２０に復帰される。

【００２６】変数ｉは更に＋１されてｉ＝２となり（ス
テップ１２０）、次にステップ１４０でカメラＢ（ｉ＝
１）は対象物の４つの白点Ｗ1〜Ｗ4を全て視認する事が
できるか否かが判定される。この場合カメラＢは障害物
に遮られていると仮定したので、手順はステップ１５０
に移行される。

【００２７】ステップ１５０の判定はＮＯであるので
（なぜならば、このときｋ＝３）、次にｋが−１されて
ｋ＝２となり（ステップ１６０）、さらにステップ１７
０でＫ＝１であるか否かが判定される。この時ｋ＝２で
あるので、ステップ１７０の判断はＮＯとなり、手順は
ステップ１２０に移行される。

【００２８】ステップ１２０で変数ｉは更に＋１されて
ｉ＝３となり、次にステップ１４０でカメラＣ（ｉ＝
３）は対象物の４つの白点Ｗ1〜Ｗ4を全て視認する事が
できるか否かが判定される。この場合カメラＣは障害物
に遮られていると仮定したので、手順はステップ１５０
に移行される。

【００２９】ステップ１５０の判定はＮＯであるので
（なぜならば、このときｋ＝２）、次にｋが−１されて
ｋ＝１となり（ステップ１６０）、さらにステップ１７
０でＫ＝１であるか否かが判定される。この時ｋ＝１で
あるので、ステップ１７０の判断はＹＥＳとなり、手順
はステップ１１０に移行される。

【００３０】ステップ１１０で変数ｉが０に初期化さ
れ、次に変数ｉが＋１されることでｉ＝１となる（ステ
ップ１２０）。

【００３１】ステップ１３０の判定結果はＮＯであるの
で、手順はステップ１４０に移行し、ここでカメラＡ
（ｉ＝１）は対象物の４つの白点Ｗ1〜Ｗ4を全て視認す
る事ができるか否かが再び判定される。この場合カメラ
Ａは障害物に遮られていないと仮定したので、手順はス
テップ１２０に復帰される。

【００３２】変数ｉは更に＋１されてｉ＝２となり（ス
テップ１２０）、次にステップ１４０でカメラＢ（ｉ＝
２）は対象物の４つの白点Ｗ1〜Ｗ4を全て視認する事が
できるか否かが再び判定される。この場合カメラＢはま
だ障害物に遮られていると仮定したので、手順はステッ
プ１５０に移行される。

【００３３】今回のステップ１５０の判定では判定結果
はＹＥＳとなり、以下の障害物回避動作が実行される。

【００３４】コンピュータ４はメモリ５に記憶された対
象物１の位置データを用い、消失した白点の消失方向と
反対方向にＹＺ平面上を所定長さだけカメラＢを移動さ
せるべき回避位置を計算する（ステップ１７０、図３
（ａ）、（ｂ）参照）。なお、Ｘ軸がカメラの中心軸方
向、Ｚ軸が上方向となるよう座標定義されている。

【００３５】このようにして、１つの移動位置の（Ｙ，
Ｚ）座標が求められると、カメラＢが図３（ａ）、
（ｂ）にハッチング領域として示したロボットの動作エ
リアに入るようなＸ方向への前後移動位置を演算する
（ステップ１８０、図４（ａ）、（ｂ）参照）。

【００３６】このようにして演算した３次元移動位置
（Ｘ，Ｙ，Ｚ）がロボットの動作エリアには入っている
ときには、カメラＢのロボットに対して移動位置指令を
出力し、カメラＢを実際に移動させる（ステップ２０
０）。この移動によって、対象物１の全ての白点が見え
ない場合は、コンピュータ４は前記同様メモリ５に記憶
された対象物１の位置データを用い、消失した白点の消
失方向と反対方向にＹＺ平面上を更に前記所定長さだけ
カメラＢを移動させるべき回避位置を計算する（ステッ
プ１７０）。以下、同様にして全ての白点が確認できる
までステップ１７０、１８０、１９０、２００、２１０
を繰り返し実行する。

【００３７】このような処理によるカメラＢの移動によ
っても全ての白点が確認できないときには（ステップ２
２０）、図５に示すように、予め設定したＭ個の指定位
置Ｐj（j＝１〜Ｍ）に対して全ての白点が確認できるま
で１つずつカメラＢを移動する（ステップ２４０〜２７
０）。このような処理によっても、対象物１を確認でき
ないときは、追跡不可能としてエラーを表示する（ステ
ップ２８０）。

【００３８】上記何れかの障害物回避動作によって対象
物１を確認することができると（ステップ２１０、２７
０）、手順をステップ１２０に移行させる。

【００３９】ステップ１２０において、変数ｉは更に＋
１されてｉ＝３とな、次にステップ１４０でカメラＣ
（ｉ＝３）は対象物の４つの白点Ｗ1〜Ｗ4を全て視認す
る事ができるか否かが再び判定される。この場合カメラ
Ｃはまだ障害物に遮られていると仮定したので、手順は
ステップ１５０に移行される。

【００４０】ステップ１５０の判定では依然ｋ＝１であ
るので、判定結果はＹＥＳとなり、ステップ１７０以降
の手順を実行する事により、前記同様のカメラＣについ
ての障害物回避動作が実行される。

【００４１】このように、障害物に遮られているカメラ
が２台になった時は、障害物で遮られている全てのカメ
ラについて障害物回避動作を順次実行する。

【００４２】尚、実施例では障害物回避動作を１つのカ
メラずつ順次実行させるようにしたが、勿論これらの回
避動作を同時、一斉に行わせるようにしてもよい。ま
た、実施例ではステップ１７０〜２１０に示した第１の
回避処理で対象物を確認できないときにステップ２００
〜２７０に示す第２の回避処理を実行させるようにした
が、第１の回避処理でロボットの動作エリア内に指令値
が見つからないときにのみ第２の回避処理を行わせるよ
うにしてもよい。このような場合は、第１の回避処理で
対象物を確認できないときは、第２の回避処理を行わ
ず、エラーが表示される。さらに、実施例では、回避位
置を１つずつ計算し、この計算位置に実際にロボットを
移動させて対象物が見えるか否かを１位置ずつ確認する
ようにしたが、記憶した対象物の位置データに基づき対
象物を視認できる適当な移動位置の候補を選択抽出し、
これら抽出した位置に対してのみロボットを実際に移動
させるようにしてもよい。また、カメラを位置決め制御
するアクチュエータとしてロボット以外の適宜のアクチ
ュエータを採用するようにしてもよい。

【００４３】さらに実施例では、対象物の４角に白点Ｗ
1〜Ｗ4を記入するようにして対象物が容易に認識できる
ようにしたが、対象物の種々の特徴パラメータをコンピ
ュータに予め設定し、視覚センサから得た画像データに
基づき上記特徴パラメータを求め、該求めた各特徴パラ
メータを予め設定された特徴パラメータと比較照合する
事により対象物の有無を判定する自動認識技術を用いる
ようにすれば、上記白点を省略することができる。

【００４４】

【発明の効果】以上説明したようにこの発明によれば、
対象物を視認できる視覚センサが１台になったときに初
めて回避動作を行わせるようにしたので、従来に比べて
回避回数が格段に減少し、これにより視覚センサ駆動用
のアクチュエータの駆動エネルギーが節約されると共に
該アクチュエータの耐久年数が延び、更にはオペレータ
にわずらわしさの少ない監視作業を実現することができ
る。

【図面の簡単な説明】

【図１】この発明の実施例を示すブロック図である。

【図２】この発明の実施例の作用を示すフローチャート
である。

【図３】ＹＺ平面へのカメラの移動態様を示す図であ
る。

【図４】Ｘ方向へのカメラの移動態様を示す図である。

【図５】予め指定された位置へのカメラの移動態様を示
す図である。

【符号の説明】

１…対象物 ２…障害物 ３…ロボット ４…コンピュータ ５…メモリ Ａ…ＣＣＤカメラ（視覚センサ） Ｂ…ＣＣＤカメラ（視覚センサ） Ｃ…ＣＣＤカメラ（視覚センサ）

Claims (1)

【特許請求の範囲】
1. 【請求項１】３台以上の視覚センサをそれぞれ異なる位
   置に配し、かつ各視覚センサを上記各位置で所定の動作
   範囲内を３次元移動可能に駆動制御し、これら視覚セン
   サの撮像データに基づき対象物の３次元位置を測定する
   とともに、前記対象物が障害物で遮られたときは対象物
   が視認できるまで所定の回避動作を実行する視覚センサ
   を用いた対象物位置検出装置において、 １台の視覚センサのみが前記対象物を視認でき他の視覚
   センサは対象物が障害物で遮られている状態のときにの
   み、全ての視覚センサが対象物を視認できるよう前記回
   避動作を実行させるようにしたことを特徴とする視覚セ
   ンサを用いた対象物位置検出装置。