JP5725708B2 - センサ位置姿勢計測方法 - Google Patents

Description

本発明は、複数の移動可能なセンサから得られる画像情報を基に作業を遂行するシステムで用いられるセンサ位置姿勢計測方法に関するものである。

高品質の製品を安定して生産を行うため、また危険な作業や疲労を伴う検査等から人間を解放するためといった様々な目的のために、産業用ロボットは生産現場に導入されてきている。そして、自動車産業を始めとする多くの分野では、既に不可欠な存在となっている。

従来からロボットのマニピュレータやそこに取り付けられた作業用工具を、予め定まった道筋に沿って移動、動作させることにより、単純作業を繰り返し行うことがされてきている。更に、マニピュレータに作業用工具の他に、オンハンドカメラを取り付け、オンハンドカメラによって取得された映像を基に、作業対象や環境を把握し、より高度な作業を行わせることも行われている。このように、ロボットに視覚機能を持たせる分野はロボットビジョンとも呼ばれ、多くの研究がなされている。また、コグネックス株式会社からはビジョンシステム「Ｉｎ−Ｓｉｇｈｔシリーズ」が販売されており、産業用ロボットと組み合わせることで、ロボットに視覚機能を持たせることができる。

更にオンハンドカメラの他に、環境内に作業領域全体を俯瞰するグローバルカメラを設置する手法が特許文献１により開示されている。これは、グローバルカメラとオンハンドカメラの両カメラからの映像情報を基に、ロボットの行動を決定する手法である。

グローバルカメラとオンハンドカメラの両方を用いるシステムにおいては、それぞれのカメラによって取得される映像情報を基に、算出される作業空間内にある物体の位置や姿勢を一致させる必要がある。これには両カメラの相対位置及び相対姿勢が正確に分かっていることが必要十分な条件となる。

オンハンドカメラの位置姿勢は、設置時に校正を行うことが可能である。すると、ロボット設置環境である作業環境を基準にした座標系でのオンハンドカメラの位置姿勢は、マニピュレータの位置姿勢から算出することができる。なお、以降のロボット設置環境を基準にした座標系をグローバル座標系と呼び、特に断りのない限り、物体の位置や姿勢はグローバル座標系における値とする。

残る課題はグローバルカメラの位置姿勢を正確に知ることである。これには、作業環境に固定された治具等に、グローバルカメラを確実に固定し、設置時に位置姿勢を計測することで実現できる。

ところで、工場での製品の生産は、製品ユーザの嗜好にきめ細かく対応するために大量生産から多品種少量生産へシフトしてきている。更に、高価な産業用ロボットシステムを有効活用するために、多くの作業を同一のロボットシステムでこなすように対応を迫られている。

ロボットが行う作業内容によって、最適なグローバルカメラの配置は異なるが、作業内容が変更する度にグローバルカメラの位置姿勢を計測することは、生産ラインを停止させることにもつながり、生産性が低下することになる。そこで、グローバルカメラの位置姿勢計測を短時間で行うことが求められており、その１つの解決手法としては、グローバルカメラとその治具にエンコーダを取り付けることが考えられる。

別の手法として、追加ハードウェアを殆ど必要とせずに、グローバルカメラの位置姿勢を計測する手法として、グローバルカメラ自体が環境内の予め校正されたランドマークを撮像する手法がある。これはランドマークがグローバルカメラによる撮像画像と同様に、観測できる位置をグローバルカメラの位置姿勢とする手法である。

特許文献２にはこのような手法が開示されている。また、特許文献３には環境そのものをＣＧデータとして持ち、ＣＧ画像と撮像画像を比較するという、いわば環境全体をランドマークとする手法が開示されている。更に特許文献４には、カメラ同士が互いを見合うことで、相対位置を検出する手法が開示されている。

特開平３−７３２８４号公報 特開２００５−５７５９２号公報 特開平７−２３７１５８号公報 特開２００７−３２７７５０号公報

しかし、グローバルカメラとその治具にエンコーダを取り付ける手法では、治具の工作精度、治具を固定するフレーム等の支持体の剛性が求められ、更にエンコーダやその値を受信するインタフェースが必要となり、コストアップにつながるという課題がある。

また特許文献２の手法は、グローバルカメラからランドマークが観測可能でなければならず、間に障害物があってはならない。そのため、作業対象によってランドマークが隠されてしまう状況や、ランドマークの設置が困難な環境では実施困難であるという課題がある。また、グローバルカメラの位置姿勢算出手法に三角測量の原理を用いている場合に、高精度の位置姿勢計測には複数のランドマーク、又は大きな形状のランドマークが観測できなければならない。この制約は特許文献２の手法の実施を、更に困難にしてしまうという問題がある。

特許文献３の手法は、環境の全てをＣＧデータ化しなければならず、実施困難な場合も多いという問題がある。更に現場環境を変更する度にＣＧデータも変更しなければならず、メンテナンスコストが増大してしまうという課題がある。また、作業空間が不透明な仕切りによって囲まれていない場合に、作業空間の向こう側の映像をマスクするような仕組みを実装しなければならず、システムのコストアップにつながるという課題がある。

特許文献４の手法は、背景差分によりカメラの位置を算出しているが、差分により違いが出るようなカメラ自体の首降りの仕組みを用意しなければならない課題がある。また、特許文献２と同様に、カメラ間に障害物があってはならないという課題がある。

また、グローバルカメラを視覚補助装置と捉えれば、撮像装置である必要はなく、照明でもよいし、ビーム光、スリット光を出すグローバル照明であってもよい。この場合に、視覚補助装置の位置姿勢を計測するためには、別途に視覚補助装置と一体化したカメラが必要となり、システムのコストアップを招いてしまうという課題がある。

本発明の目的は、上述の問題点を解消し、主センサ手段と補助センサ手段を用いて作業対象物の姿勢に対する正確な計測を行い得るセンサ位置姿勢計測方法を提供することにある。

上記目的を達成するための本発明に係るセンサ位置姿勢計測方法は、作業対象物が存在し得る対象領域の画像情報を取得する補助センサ手段と、移動可能であり、かつ前記作業対象物の少なくとも一部を含む領域の画像情報を取得し、該画像情報に基づいて、前記作業対象物の位置姿勢を計測する主センサ手段とを備え、前記補助センサ手段及び前記主センサ手段によって取得した画像情報を基に、前記主センサ手段が移動すべき位置及び姿勢又は作業内容又はその双方を決定し、前記主センサ手段より得られた画像情報を用いて前記作業対象物に対する作業を遂行するシステムにおいて、前記作業対象物に対する作業を行うことに先立ち、前記主センサ手段は、複数の異なる位置から前記補助センサ手段を含んだ画像情報を取得し、該取得された画像情報に基づいて、三角測量の原理により、前記補助センサ手段の三次元位置及び姿勢を計測することを特徴とする。

本発明に係るセンサ位置姿勢計測方法によれば、治具の工作精度、治具が固定されているフレーム等の支持体の剛性が求められたり、エンコーダやその値を受信するインタフェースが必要となるコストアップが抑えられる。

また、主センサは作業空間内を移動するので、作業対象によってランドマークが隠されてしまう状況が少ないという効果がある。また、作業環境内にランドマークを設置する必要がなく、ランドマークの設置が困難であるという状況を回避できる。

実施例１のセンサ位置姿勢計測方法のシステムの構成図である。 コントローラの構成図である。 作業内容・位置姿勢対応表の例である。 アプリケーションコントローラの動作フローチャート図である。 三角測量の原理の説明図である。 実施例２のシステムの構成図である。 コントローラの構成図である。 コントローラの動作フローチャート図である。 実施例３のシステムの構成図である。 システムの構成図である。 コントローラの構成図である。 アプリケーションコントローラの動作フローチャート図である。 実施例４のコントローラの構成図である。 コントローラの動作フローチャート図である。

本発明を図示の実施例に基づいて詳細に説明する。

図１は本実施例のセンサ位置姿勢計測方法を適用した物体追跡撮像システムの構成図である。ロボット１には可動腕であるマニピュレータ２が設けられており、またマニピュレータ２の先端には主センサ手段であるオンハンドカメラ３と、作業内容に適した作業用工具４が取り付けられている。マニピュレータ２、オンハンドカメラ３、作業用工具４の動作は、アプリケーションコントローラ５によって制御可能とされている。なお、外観検査等の作業用工具が不要な作業のみを行う場合に、作業用工具４は省略してもよい。

コントローラ５には補助センサ手段であるグローバルカメラ６、グローバル照明手段７が接続されている。グローバルカメラ６は補助センサ移動手段である例えば直線状のレール８に沿って移動し、グローバル照明手段７は同様の補助センサ移動手段である例えば曲線状のレール９に沿って移動するようにされている。

この場合の作業内容は、例えば山積みされている作業対象物Ｗを作業用工具４によって１つずつ摘み上げ、部品箱の所定の場所に整列するものである。この際に、山積みされている多くの作業対象物Ｗのうち、最も摘み上げ易いものを検出するために、グローバルカメラ６が撮像した画像情報の一部を用い、個々の作業対象物Ｗの精密な位置姿勢情報を得るためにロボット１のオンハンドカメラ３を用いる。

このような構成では、例えばグローバルカメラ６は作業範囲全体が見渡せるように広範囲を撮像し、オンハンドカメラ３は作業対象物Ｗを作業用工具４によって確実に掴めるように、作業用工具４の付近の狭い対象領域を撮像する。

このように、両カメラ６、３は協調して作業を遂行してゆくが、これらの制御はコントローラ５によって行われる。各カメラ６、３が取得した画像から、摘み上げる作業対象物Ｗを特定し、作業対象物Ｗの位置姿勢を計測し、マニピュレータ２を移動し摘み上げる、といった制御の具体的内容は本発明の範囲外であるので詳細な説明は省略する。

ここで重要なことは、作業対象物Ｗの位置姿勢は、グローバルカメラ６によって撮像した画像から算出したものと、オンハンドカメラ３によって撮像した画像から算出されたものとで、等しくなければならないということである。これにはオンハンドカメラ３の位置姿勢と、グローバルカメラ６の位置姿勢とが正確に分かっていることが必要十分条件である。

なお、グローバルカメラ６で山積みとなっている作業対象物Ｗの三次元形状を取得するために、スリット光やパターン光を投光するグローバル照明手段７を必要に応じて設置してもよい。この場合には、更にグローバル照明手段７の位置姿勢を正確に知る必要がある。

作業内容によっては、グローバルカメラ６やグローバル照明手段７の最適な配置が異なる。例えば、摘み上げるべき作業対象物Ｗがばらばらに積み上げられているような状況では、個々の作業対象物Ｗの特徴的な頂点、エッジ等の個所が良く観測できるように、作業対象物Ｗの斜め上方にグローバルカメラ６を設置することが好ましい。また、作業対象物Ｗが整列されて山積みされている状況では、作業対象物Ｗを真横から撮影するような位置にグローバルカメラ６を設置すると、山の高さを認識し易い。このように、作業内容の変更に応じて、グローバルカメラ６やグローバル照明手段７を最適に配置することにより、作業対象物Ｗの認識精度が向上することが期待できる。

グローバルカメラ６やグローバル照明手段７はそれぞれ１個に限られるものではなく、また位置姿勢の算出法も同様であるので、以降では特に断りがない限り、これらをまとめてグローバル機器と呼ぶ。補助センサ手段として機能するグローバル機器は一方又は双方を同時に使用してもよい。

主センサ手段であるオンハンドカメラ３の主センサ移動手段による位置姿勢は、設置時に計測可能である。何故なら、ロボット１が作業環境に対してどのように設置されているかさえ分かれば、ロボット１の基台に対するマニピュレータ２の位置姿勢は、コントローラ５により取得・制御可能である。更に、マニピュレータ２に対するオンハンドカメラ３の位置姿勢もマニピュレータ２にオンハンドカメラ３を固定する際に計測可能である。

グローバル機器の位置姿勢を算出する測定原理は、本計測方法の範囲外であるが、例えば三角測量の原理を用いることができる。この場合に、グローバル機器上の異なる３点の三次元位置が計測できれば、グローバル機器の位置姿勢が算出できる。

図２はコントローラ５の内部構成図である。コントローラ５内のグローバル機器位置姿勢算出部５ａの出力は、マニピュレータ移動指示部５ｂを介してロボット１に接続されていると共に、作業遂行部５ｃに接続されている。また、グローバル機器位置姿勢算出部５ａには外部の作業内容指示手段１０の出力が接続され、またオンハンドカメラ３の出力がオンハンドカメラ画像取得部５ｄを介して接続されている。更に、グローバル機器位置姿勢算出部５ａは図３に示す作業内容・位置姿勢対応表を有している。

図４は実施例１の動作フローチャート図であり、先ずグローバル機器として、グローバルカメラ６が１台だけの場合を考える。作業内容に応じてグローバルカメラ６を移動させた後に、作業内容を押しボタン等の作業内容指示手段１０によって指示する。グローバル機器位置姿勢算出部５ａは作業内容の指示を受信すると（ステップＳ１１）、グローバルカメラ６を撮影するためのオンハンドカメラ３の位置姿勢１及び位置姿勢２を図３の作業内容・位置姿勢対応表を参照して求める（ステップＳ１２）。

作業内容・位置姿勢対応表は作業内容に対応するグローバルカメラ６の位置姿勢１、及びそれを撮影するオンハンドカメラ３の位置姿勢２が記録されており、図３はその例を示している。なお、これらの位置姿勢１、２の決め方については後述する。

位置姿勢１、２を取得した後に、グローバル機器位置姿勢算出部５ａはマニピュレータ移動指示部５ｂに対してオンハンドカメラ３を位置姿勢１に移動するような指示を行う（ステップＳ１３）。マニピュレータ移動指示部５ｂはロボット１に対して指示された位置姿勢にオンハンドカメラ３を移動する。なお、本来はロボット１への移動指示はマニピュレータ２に対するものであるが、オンハンドカメラ３はマニピュレータ２に固定されているため、オンハンドカメラ３への移動指示は、マニピュレータ２への移動指示に１対１に変換できる。なお、以後は特に断りのない限り、オンハンドカメラ３への移動指示として説明する。

オンハンドカメラ３を位置姿勢１に移動させた後に、オンハンドカメラ３でグローバルカメラ６を画像１として撮影する（ステップＳ１４）。同様に、オンハンドカメラ３を位置姿勢２に移動させ（ステップＳ１５）、オンハンドカメラ３でグローバルカメラ６を画像２として撮影する（ステップＳ１６）。画像１、２はオンハンドカメラ画像取得部５ｄを通してグローバル機器位置姿勢算出部５ａに渡される。

グローバル機器位置姿勢算出部５ａでは、三角測量の原理により画像１及び画像２から、グローバルカメラ６の位置姿勢を算出する（ステップＳ１７）。なお、位置姿勢１と位置姿勢２は三角測量の原理における２個所の観測位置姿勢のことであり、計測点が撮像画像に含まれるような位置姿勢である。より具体的には、グローバルカメラ６上の異なる３点の全てが、画像１に含まれるようなオンハンドカメラ３の位置姿勢を位置姿勢１、画像２に含まれるような位置姿勢を位置姿勢２とする。

図５は三角測量による説明図である。位置姿勢１の位置をＰ１、位置姿勢２の位置をＰ２、グローバルカメラ６上の位置計測をしようとしている位置をＰ３とする。また、位置Ｐ１から位置Ｐ３を見る方向が位置姿勢１の姿勢、位置Ｐ２から位置Ｐ３を見る方向が位置姿勢２の姿勢である。図５は位置Ｐ１、Ｐ２、Ｐ３を通る平面における各点の関係を示し、位置Ｐ３を同定することは、距離Ｌ２１及びＬ２２を求めることと同値である。

先ず、位置Ｐ１及びＰ２から距離Ｌ１を算出し、また角度θ１は画像１から取得でき、角度θ２は画像２から取得できる。正弦定理を用いて、次のように距離Ｌ２１及びＬ２２が求められる。
Ｌ２１＝Ｌ１・（ｓｉｎθ１・ｓｉｎθ２）／ｓｉｎ（θ１＋θ２）…（１）
Ｌ２２＝Ｌ１・（ｃｏｓθ１・ｓｉｎθ２）／ｓｉｎ（θ１＋θ２）…（２）

グローバルカメラ６が或る程度離れているという仮定、つまり距離Ｌ２１がＬ１に比べて或る程度大きければ、式（１）及び（２）から、安定して値を算出するには下記の条件１、２を満たすようにすればよい。

（条件１）距離Ｌ１を大きくする。
（条件２）角度θ１とθ２を近い値とする。

これらの２条件をなるべく満たすように、位置姿勢１、２を決定するが、位置姿勢１、２はグローバルカメラ６の概略の位置姿勢が定まれば決定が可能である。そのため、作業内容に応じて予めグローバルカメラ６の位置と対応する位置姿勢１、２を作業内容・位置姿勢対応表にしておくことができ、グローバル機器位置姿勢算出部５ａはこれを参照して位置姿勢１、２を算出する。

作業内容・位置姿勢対応表の作業ＩＤは、コントローラ５で処理を行い易くするために付された作業内容を区別する一意的な番号である。作業内容に応じたグローバルカメラ６の大まかな位置姿勢を予め計測しておき、その値を作業内容・位置姿勢対応表に書き込んである。また、その位置姿勢にあるグローバルカメラ６の位置姿勢を最も安定して計測できるように、条件１、２を満たす位置姿勢１、２を予め算出しておき、作業内容・位置姿勢対応表に書き込んである。なお、位置姿勢１、２は条件１、２を満たすように実行時に算出してもよく、その場合は作業内容・位置姿勢対応表に値を書き込んでおく必要はない。

このようにして、グローバルカメラ６の位置姿勢が算出できるが、グローバル照明手段７を備える場合は、グローバル照明手段７用の作業内容・位置姿勢対応表を予め作成しておく。そして、グローバルカメラ６に対するものと同様の処理を、グローバル照明手段７に対しても行い、グローバル照明手段７の位置姿勢の算出も行う。

このように、全てのグローバル機器に対して作業内容・位置姿勢対応表を作成しておくことにより、全てのグローバル機器について位置姿勢を算出することができる。算出したグローバル機器の位置姿勢は作業遂行部５ｃに渡され、以降はグローバル機器とオンハンドカメラ３が協調しながら指示した作業を遂行してゆく。

また、算出したグローバル機器の位置姿勢の精度は、オンハンドカメラ３の位置姿勢の精度による。しかし、ロボット１から得られるマニピュレータ２の位置姿勢の値の精度が十分に高いと考えられる場合に、各グローバル機器に取り付けるエンコーダ等のハードウェアの追加なしに高精度な計測が可能となる。

なお、グローバル機器はレール８、９のような移動に限られるものではなく、二次元或いは三次元上を動くようにしても支障はない。

図６はグローバルカメラ６をレール８上で移動させたり、姿勢を変えたりするグローバルカメラ移動手段１１、グローバル照明手段７をレール９上で移動させたり、姿勢を変えたりするグローバル照明移動手段１２を備えたシステムの構成図である。また、以後、グローバルカメラ移動手段１１、グローバル照明移動手段１２についてはグローバル機器移動手段と呼ぶ。

図７はコントローラ５の構成図であり、図２の構成図において、グローバル機器位置姿勢算出部５ａの出力は、グローバル機器移動指示部５ｅを介してグローバル機器移動手段１１、１２に接続されている。

図８は実施例２の動作フローチャート図である。作業内容の変更があった際に、作業開始に先立って作業内容指示手段１０により、グローバル機器位置姿勢算出部５ａに作業内容の変更が伝えられると（ステップＳ２１）、全グローバル機器の位置姿勢の算出は完了しているかを判定する（ステップＳ２２）。算出が完了していなければ、作業内容に適したグローバル機器の移動先位置姿勢を算出し（ステップＳ２３）、更にグローバル機器を撮影するオンハンドカメラ３の撮影位置姿勢の位置姿勢１、位置姿勢２を算出する（ステップＳ２４）。ここで、ステップＳ２３やステップＳ２４で算出する位置姿勢は、実施例１と同様に予め用意した作業内容・位置姿勢対応表を参照して導出する。

次いで、グローバル機器移動指示部５ｅに指示を出し、グローバル機器をステップＳ２３で算出された移動先位置姿勢に移動する（ステップＳ２５）。この後に、オンハンドカメラ３を用いてグローバル機器の位置姿勢を計測するが、この処理は図４のステップＳ１３〜Ｓ１７と同様である。以上のステップＳ２３以降の処理を、全グローバル機器に対して行う。

実施例２では、作業内容の変更は作業内容指示手段１０によって指示を出していたが、作業内容識別部５ｆを設けることにより、人手を介さずにグローバル機器の位置姿勢を計測することも可能である。

図９及び図１０は実施例３のシステムの構成図であり、作業対象物Ｗは作業パレット１３内に入れられており、作業パレット１３には作業内容を表す指標Ｉが付されている。図９では作業パレット１３内に山積みに置かれているばらばらの作業対象物Ｗを１個ずつ摘み上げ、図示しない部品箱の所定の場所に整列しておくという作業内容を想定している。この場合に、作業対象物Ｗの頂点、エッジ等の画像特徴が良好に得られるように、グローバルカメラ６を水平よりも僅かに上方の斜め上方の角度からグローバル照明手段７を配置している。

図１０においては、何本かのタワー状に積み上げられている円盤状の作業対象物Ｗを１個ずつ摘み上げ、不図示の部品箱の所定の場所に整列しておくという作業内容を想定している。この場合に、積み上げられた作業対象物Ｗの高さが良く分かるように、グローバルカメラ６は作業対象物Ｗをほぼ真横から観測できる位置に、グローバル照明手段７は稍々上方に配置されている。

なお、ここでは２つの作業内容を例として挙げたが、２つである必要はなく、更に多くの作業内容を想定してもよい。また、作業内容は例示したものでなくとも支障はない。作業内容により最適なグローバル機器の配置が異なる状況があり、本実施例はそれに対処できることを示すために例として挙げたものである。

図１１は本実施例が適用されるコントローラ５の構成図である。オンハンドカメラ画像取得部５ｄからの出力を受け、グローバル機器位置姿勢算出部５ａ、マニピュレータ移動指示部５ｂに出力する作業内容識別部５ｆが設けられている。

図１２は実施例３の動作フローチャート図であり、図８と比べて作業内容変更指示を受信するステップＳ２１の代りに、ステップＳ３１〜Ｓ３３を処理する。これは作業内容識別部５ｆによって行われ、作業内容の識別を行う部分であり、
先ず、オンハンドカメラ３が指標Ｉが良く観察できる位置に移動するように、マニピュレータ移動指示部５ｂに対して指示を出力する（ステップＳ３１）。作業パレット１３や指標Ｉの位置を全作業で共通化しておけば、この位置は既知のものとなる。指標Ｉは作業内容を表し、例えばバーコードを用いることにより、作業内容をコード化することができる。

次に、オンハンドカメラ画像取得部５ｄを通してオンハンドカメラ３が撮像した指標Ｉの画像を取得し（ステップＳ３２）、作業内容識別部５ｆはこの画像を基に作業内容を識別する（ステップＳ３３）。バーコードを撮像した画像からコード内容を認識する処理は一般的な技術であり、本発明の範囲外であるのでその説明は省略する。識別した作業内容は、グローバル機器位置姿勢算出部５ａに送られ、実施例２と同様の処理が行われる。

なお、指標Ｉの識別を行うために、オンハンドカメラ３から得られる画像を用いたが、専用のカメラやバーコードスキャナを用いてもよい。また、指標Ｉはバーコードに限られるものではなく、ＲＦＩＤ等を用いてもよい。更に、指標Ｉは作業パレット１３に標示されているが、作業内容と同期していれば作業パレット１３に標示しなくともよい。例えば、ベルトコンベアによって作業対象物Ｗが流れてくる場合に、指標Ｉの後に対応する作業対象物Ｗを流すようにしてもよい。

図１３は実施例４のコントローラ５の構成図である。外部のグローバル機器６、７の出力はグローバル機器情報取得部５ｇをグローバル機器特徴抽出部５ｈを介してグローバル機器微小移動指示生成部５ｉに接続されている。また、グローバル機器微小移動指示生成部５ｉの出力はグローバル機器移動指示部５ｅに接続され、更に作業内容識別部５ｆの出力が接続されている。

実施例３では、グローバルカメラ６、グローバル照明手段７を移動した後に、その位置姿勢を計測しているが、作業遂行に当っては、より高い品質の情報が得られる位置にグローバル機器を設置した方が好ましい。より高い品質とは、例えば山積みされた作業対象物Ｗを撮像した画像から頂点特徴を抽出し、それを基にして、作業対象物Ｗの位置姿勢等の作業に必要な情報を取得する。例えば、頂点特徴がより確実に取得できるように、「明度のコントラストが高い」や、「作業対象物Ｗ以外の物体や照明が撮像画像内に存在しない」、また「作業対象物Ｗ自体が他の物体によって隠されない」ようにする。

実際に頂点特徴を検出した上で、得られた頂点特徴の個数が多いものほど高品質であるとしてもよい。このような高い品質の情報が得られるグローバル機器の配置は、個々のケースにおいて作業対象物Ｗの配置状況や、システムが動作している環境によって多少変化する。

そこで、先ずグローバル機器を作業内容・位置姿勢対応表を参照して得られる作業内容に適した位置に移動した後に、グローバル機器の位置姿勢を微小量移動させながら、最も高い品質の出力が得られる位置姿勢で停止させる。その後に、グローバル機器の位置姿勢を計測する。

図１４は実施例４の動作フローチャート図である。最初にグローバル機器を移動させると、ステップＳ３１〜Ｓ２５までは図１２と同様であり、その次から説明する。先ず、全てのグローバル機器を作業内容に適した位置姿勢に移動させる。そして、各グローバル機器について以下の処理を行う。

前記グローバル機器の位置姿勢を算出したかを判断する（ステップＳ４１）。算出が完了していなければ、グローバル機器情報取得部５ｇでグローバル機器に対応したグローバル機器から情報を得る（ステップＳ４２）。例えば、設置調整対象のグローバル機器がグローバルカメラ６であれば、グローバルカメラ６から画像を取得する。また投光器の場合には、投光器に対応したグローバルカメラ６から画像を取得する。

得られた情報からグローバル機器特徴抽出部５ｈによって特徴抽出を行う（ステップＳ４３）。この特徴は前述したように作業内容によって異なるが、例えば得られた画像から頂点特徴を抽出しその個数を数える。ここで得られた特徴が高品質のものであると判断できた場合は（ステップＳ４４）、図４のステップＳ１３〜Ｓ１７の処理と同様にグローバル機器の位置姿勢を計測する。

もし高品質のものではない場合は、現在のグローバル機器の位置姿勢を中心として微小移動を行うように、グローバル機器微小移動指示生成部５ｉで微小移動指示を生成し（ステップＳ４５）、グローバル機器を移動させる（ステップＳ４６）。

グローバル機器から得られた特徴が高品質のものかどうかは、抽出された頂点特徴の個数がグローバル機器の位置姿勢を微小移動させた範囲内で、極大（又は最大）となる位置姿勢を最高品質が得られる位置姿勢とすればよい。また、特徴としてグローバルカメラ６から得られた撮像画像の明度コントラストを用いることもできる。この場合は、グローバル機器の位置姿勢を微小移動させた範囲内で明度コントラストが極大（又は最大）となる位置姿勢を最高品質が得られる位置姿勢とすればよい。

更に、これらの特徴を複合的に用いて品質評価を行ってもよい。複合評価の手法は本実施例の範囲外であるが、例えば各特徴からスコアを出し、それらの重み付き平均を求める。重み付き平均の値がグローバル機器の位置姿勢を微小移動させた範囲内で極大（又は最大）となる位置姿勢を、最高品質が得られる位置姿勢とすればよい。

グローバル機器を微小量移動させた場合は、ステップＳ４２からの処理を繰り返す。このような処理により、各グローバル機器を作業内容により適した位置姿勢にした上で、位置姿勢の計測を行うことができる。

本発明は位置姿勢計測手法に関し、特に作業空間内に設置され作業中は固定されている視覚補助装置と、ロボットのマニピュレータに取り付けられたカメラの両者を用いて、作業を遂行してゆくロボットシステムに用いると好適である。また、主センサはカメラ、補助センサはカメラ、照明手段、を用いたが、他の例えば物体検知センサであってもよい。

１ ロボット
２ マニピュレータ
３ オンハンドカメラ
４ 作業用工具
５ アプリケーションコントローラ
５ａ グローバル機器位置姿勢算出部
５ｂ マニピュレータ移動指示部
５ｃ 作業遂行部
５ｄ オンハンドカメラ画像取得部
５ｅ グローバル機器移動指示部
５ｆ 作業内容識別部
５ｇ グローバル機器情報取得部
５ｈ グローバル機器特徴抽出部
５ｉ グローバル機器微小移動指示生成部
６ グローバルカメラ
７ グローバル照明手段
８、９ レール
１０ 作業内容指示手段
１１ グローバルカメラ移動手段
１２ グローバル照明移動手段
Ｗ 作業対象物

Claims (6)

1. 作業対象物が存在し得る対象領域の画像情報を取得する補助センサ手段と、移動可能であり、かつ前記作業対象物の少なくとも一部を含む領域の画像情報を取得し、該画像情報に基づいて、前記作業対象物の位置姿勢を計測する主センサ手段とを備え、前記補助センサ手段及び前記主センサ手段によって取得した画像情報を基に、前記主センサ手段が移動すべき位置及び姿勢又は作業内容又はその双方を決定し、前記主センサ手段より得られた画像情報を用いて前記作業対象物に対する作業を遂行するシステムにおいて、
   前記作業対象物に対する作業を行うことに先立ち、前記主センサ手段は、複数の異なる位置から前記補助センサ手段を含んだ画像情報を取得し、該取得された画像情報に基づいて、三角測量の原理により、前記補助センサ手段の三次元位置及び姿勢を計測することを特徴とするセンサ位置姿勢計測方法。
2. 前記補助センサ手段は少なくとも撮像手段を含み、前記主センサ手段は少なくとも前記撮像手段の位置及び姿勢を計測することを特徴とする請求項１に記載のセンサ位置姿勢計測方法。
3. 前記補助センサ手段は、該補助センサ手段の位置及び姿勢のいずれか一方または双方を変更させる補助センサ位置姿勢変更手段を備え、
   前記補助センサ手段は、前記作業対象物に対する作業を行うのに先立ち、前記補助センサ位置姿勢変更手段により前記作業に適した予め定められた位置及び姿勢に移動した後に、前記補助センサ手段の位置及び姿勢を計測することを特徴とする請求項１又は２に記載のセンサ位置姿勢計測方法。
4. 更に、前記作業内容が変更された際に該変更された作業内容を識別する作業内容識別手段を備え、
   前記作業内容識別手段により識別した作業内容に基づいて、前記補助センサ手段の位置及び姿勢を算出し、前記補助センサ位置姿勢変更手段により前記補助センサ手段で算出した位置及び姿勢に移動した後に、前記補助センサ手段の位置及び姿勢を計測することを特徴とする請求項３に記載のセンサ位置姿勢計測方法。
5. 前記補助センサ手段を前記予め定められた位置及び姿勢に移動した後に、前記補助センサ手段によって取得される前記対象領域の画像情報から抽出される特徴量を評価し、該評価された結果がより高くなる位置及び姿勢まで、前記補助センサ移動手段により前記補助センサ手段を前記予め定められた位置及び姿勢から更に移動させることを特徴とする請求項３又は４に記載のセンサ位置姿勢計測方法。
6. 作業対象物が存在し得る対象領域の画像情報を取得する補助センサ手段と、
   移動可能であり、かつ前記作業対象物の少なくとも一部を含む領域の画像情報を取得し、該画像情報に基づいて、前記作業対象物の位置姿勢を計測する主センサ手段と、
   前記補助センサ手段の位置及び姿勢を計測する計測手段とを備え、
   前記補助センサ手段及び前記主センサ手段によって取得した画像情報を基に、前記主センサ手段が移動すべき位置及び姿勢又は作業内容又はその双方を決定し、前記主センサ手段より得られた画像情報を用いて前記作業対象物に対する作業を遂行するシステムであって、
   前記計測手段は、前記作業対象物に対する作業を行うことに先立ち、前記主センサ手段が複数の異なる位置から前記補助センサ手段を撮像することで得られた画像情報に基づいて、三角測量の原理により、前記補助センサ手段の三次元位置及び姿勢を計測することを特徴とするシステム。

Images