JP5815761B2

JP5815761B2 - 視覚センサのデータ作成システム及び検出シミュレーションシステム

Info

Publication number: JP5815761B2
Application number: JP2014010363A
Authority: JP
Inventors: 寛之後平; 嘉治長塚
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2014-01-23
Filing date: 2014-01-23
Publication date: 2015-11-17
Anticipated expiration: 2034-01-23
Also published as: US9519736B2; JP2015136770A; DE102015000589B4; US20150202776A1; DE102015000589A1; CN104802173A; CN104802173B

Description

本発明は、仮想空間内に配置した視覚センサを用いた検出処理に使用されるデータを作成するデータ作成装置、及び該データ作成装置を有する検出シミュレーションシステムに関する。

従来のオフラインシミュレーションでは、視覚センサを有するロボットシステムでワークの位置姿勢を検出する場合、先ず、ロボットと、視覚センサと、ワーク又は該ワークを保持するジグとのそれぞれの配置位置を定め、次に、ロボットと視覚センサとを関連付けるキャリブレーションを行うことが一般的である。

例えば特許文献１には、カメラにより楕円の基準教示点を持つキャリブレーションワークを撮像し、該基準教示点の位置・方向に基づいて各教示点の画像上の位置を認識し、空間上の位置と自動的に対応付け、各教示点についての画像座標値と空間座標値の組を利用して、カメラパラメータを算出する自動キャリブレーション装置が記載されている。

特許文献２には、ロボットの先端軸に取り付けられたツールの底面にインク等を塗り付けて任意の座標平面上にその形を転写し、転写像をロボットの先端軸に取り付けられた視覚センサで複数の位置から取り込み、その取り込まれたデータから画像処理装置及びホストコンピュータによりロボット先端軸の座標を検出し、その座標位置からロボット先端軸とツールと視覚センサとの関係位置を計算する自動キャリブレーション方法が記載されている。

特許文献３には、ワーク把持用のロボットハンドを装着したロボット本体と、カメラと、画像処理装置とを備えたロボットにおいて、高精度にワーク形状に形成した計測ピースと、ロボットハンドで把持されてカメラ上に位置決めされた計測ピースの画像から計測ピース位置を計測する手段と、ロボット本体側の制御位置と計測ピース位置から、ロボット本体とカメラの座標合わせの計算を行う手段とを備えた自動キャリブレーション機能付きロボットが記載されている。

さらに特許文献４には、四隅に円を有する合せ板をロボットに持たせ、該合せ板をカメラの複数の視野ごとにかつ各視野にまたがってロボット座標軸に沿い移動させ、上記各視野での円中心座標を求めてカメラ座標軸上の円相互の偏差からキャリブレーションとカメラ傾きを求め、上記各視野にまたがった状態で円中心座標を求めてカメラ座標軸上の円相互の偏差から視野オーバラップ量とカメラ軸ずれを求めるようにした自動調整方法が記載されている。

特開平０６−１３７８４０号公報特開平０６−１７５７１２号公報特開平１０−３４０１１２号公報特開平０８−０７１９７２号公報

上述のように、ロボットと視覚センサとの位置関係を特定するためのキャリブレーションを行う従来技術はいくつか開示されているが、キャリブレーションを行うためには視覚センサによる計測作業が必要である。またこのようなキャリブレーションには特殊な知識が必要であり、所要時間も長く、作業者に多くの負担がかかるものであった。

そこで本発明は、ロボットと視覚センサとを関連付けるキャリブレーションを行わずとも、視覚センサを用いたオフラインシミュレーションを可能とするデータ作成装置及び検出シミュレーションシステムを提供することを目的とする。

上記目的を達成するために、本願第１の発明は、仮想空間内に配置された、ロボット、視覚センサ及び対象物の３次元モデルの位置に基づいて、前記視覚センサを用いた検出処理に使用されるデータを作成するデータ作成装置であって、前記仮想空間内に規定された基準座標系に基づいて、前記仮想空間内の前記ロボットの配置位置を指定するロボット配置位置指定部と、前記基準座標系に基づいて、前記仮想空間内の前記視覚センサの配置位置を指定する視覚センサ配置位置指定部と、前記ロボット及び前記視覚センサの指定された配置位置を記憶する配置位置記憶部と、前記ロボット及び前記視覚センサの配置位置に基づいて、前記ロボットについて規定されたロボット座標系と、前記視覚センサについて規定されたセンサ座標系との間の位置関係を算出する位置関係算出部と、前記位置関係を、前記視覚センサの検出処理に使用されるデータとして記憶する位置関係記憶部と、を備えることを特徴とする、データ作成装置を提供する。

第２の発明は、第１の発明において、前記基準座標系に基づいて、前記仮想空間内の前記対象物の位置を指定する対象物位置指定部と、前記視覚センサと前記対象物との間の位置関係に基づいて、前記視覚センサにより前記対象物を撮像した場合に得られる画像に相当する擬似的な画像であるコンピュータグラフィックス画像を生成するＣＧ画像生成部と、をさらに有する、データ作成装置を提供する。

第３の発明は、第１又は第２の発明において、前記視覚センサの３次元モデルは、前記ロボットの３次元モデルの可動部に取り付けられている、データ作成装置を提供する。

第４の発明は、第２の発明に係るデータ作成装置と、前記視覚センサの検出処理に使用されるデータを用いて、前記対象物の位置の検出処理を行う画像処理装置と、を有する、検出シミュレーションシステムを提供する。

第５の発明は、第４の発明において、前記画像処理装置は、前記データを用いて前記コンピュータグラフィックス画像に対して検出処理を行う検出処理部と、前記検出処理部による検出処理結果に基づいて前記対象物の位置を求める対象物位置算出部と、を備える、検出シミュレーションシステムを提供する。

第６の発明は、第４又は第５の発明において、前記視覚センサの３次元モデルは、前記ロボットの３次元モデルの可動部に取り付けられている、データ作成装置を提供する。

本発明に係るデータ作成システムによれば、ロボット及び視覚センサの配置位置に基づき、視覚センサの検出処理に使用されるデータを作成できるので、ロボットと視覚センサを関連付けるキャリブレーション作業を行う必要がなく、知識を必要とせず、作業時間も短縮され、作業者の負担を大きく軽減できる。

本発明に係る検出シミュレーションシステムの一実施形態の機能ブロック図である。本発明に係る検出シミュレーションシステムにおける処理の一例を示すフローチャートである。仮想空間内にロボット、視覚センサ、ワーク及びジグを配置した状態の表示例を示す図である。仮想空間内のロボット及び視覚センサに対し、それぞれロボット座標系及びセンサ座標系を規定した状態を示す図である。視覚センサによりワークを撮像して得られるコンピュータグラフィックス画像の一例を示す図である。ワーク位置の補正の例を説明する図である。視覚センサをロボットの可動部に取り付けた例を示す図である。

図１は、本発明に係る検出シミュレーションシステムの一実施形態の機能ブロック図である。検出シミュレーションシステム１０は、仮想空間内に配置された、ロボット、視覚センサ及び対象物の位置に基づいて、視覚センサを用いた検出処理に必要なデータを作成するデータ作成装置１２と、上記データに基づいて、対象物の位置の検出処理を行う画像処理装置１４とを有する。

データ作成装置１２は、ロボット、視覚センサ及び対象物の３次元モデルを仮想空間内に配置する配置部１６と、仮想空間内に規定された基準座標系に基づいて、仮想空間内のロボットの配置位置を指定するロボット配置位置指定部１８と、基準座標系に基づいて、仮想空間内の視覚センサの配置位置を指定する視覚センサ配置位置指定部２０と、ロボット及び視覚センサの指定された配置位置を記憶する配置位置記憶部２２と、ロボット及び視覚センサの配置位置に基づいて、ロボットについて規定されたロボット座標系と、視覚センサについて規定されたセンサ座標系との間の位置関係を算出する位置関係算出部２４と、上記位置関係を、視覚センサの検出処理に使用されるデータとして記憶する位置関係記憶部２６と、基準座標系に基づいて、仮想空間内の対象物の位置を指定する対象物位置指定部２８と、視覚センサと対象物との間の位置関係に基づいて、視覚センサにより対象物を撮像した場合に得られる画像に相当する擬似的な画像であるコンピュータグラフィックス画像を生成するＣＧ画像生成部３０とを備える。

一方、画像処理装置１４は、上記データを用いて上記コンピュータグラフィックス画像に対して検出処理を行う検出処理部３２と、検出処理部３２による検出処理結果に基づいて対象物の位置を求める対象物位置算出部３４とを備える。以下、検出シミュレーションシステム１０を用いた処理について、図２及び図３を参照しつつ説明する。

図２は、検出シミュレーションシステム１０における処理の一例を示すフローチャートであり、図３は、仮想空間内にロボット、視覚センサ及び対象物の３次元モデルを配置した状態の画面表示例を示す図である。先ず、図３に示すように、仮想空間内に、ロボット３６、ロボット３６を制御するコントローラ３８、カメラ等の視覚センサ４０、ワーク４２、及びワーク４２を保持するジグ４４の３次元モデルを配置する（ステップＳ１）。図示例では、ロボット３６は６軸の多関節ロボットであり、基部４６と、基部４６に対して旋回可能に取り付けられた旋回胴４８と、旋回胴４８に回転可能に取り付けられた上腕５０と、上腕５０に回転可能に取り付けられた前腕５２と、前腕５２に回転可能に取り付けられた手首部５４と、手首部５４に取り付けられた作業ツール５６とを有し、ワーク４２に対して機械加工や溶接等の所定の作業を行うシミュレーションができるようになっている。

なお本願明細書では、視覚センサによって撮像される対象物はワーク及びジグの少なくとも一方を意味するが、本実施形態ではジグ４４に保持されたワーク４２が視覚センサ４０によって撮像されるものとする。また本願発明では、仮想空間内にロボット、視覚センサ及び対象物を配置することは必要であるが、作業者が視認できる表示画面等にロボット、視覚センサ及び対象物の全てを描画する必要はない。

次にステップＳ２において、仮想空間内に規定された基準座標系５８に基づいて、仮想区間内におけるロボット３６の配置位置を指定し、同様にステップＳ３において、基準座標系５８に基づいて、仮想区間内における視覚センサ４０の配置位置を指定する。そして次のステップＳ４では、ステップＳ２及びＳ３においてそれぞれ指定された、ロボット３６及び視覚センサ４０の配置位置を記憶する。

次に、図４に示すように、ロボット３６についてロボット座標系６０を規定し、同様に視覚センサ４０についてセンサ座標系６２を規定した後、ロボット３６及び視覚センサ４０の配置位置に基づいて、ロボット座標系６０とセンサ座標系６２との間の位置関係を算出する（ステップＳ５）。この位置関係は例えば、ロボット座標系６０及びセンサ座標系６２の一方の原点に対する他方の原点の座標（Ｘ，Ｙ，Ｚ）として求めることができる。なお図示例では、基準座標系５８、ロボット座標系６０及びセンサ座標系６２はいずれも直交座標系としているが、これらの座標系の少なくとも１つを極座標系（ｒ，θ，ｚ）とすることも可能である。

次にステップＳ６において、ステップＳ５で求めた位置関係を、視覚センサ４０を用いた検出処理のために必要なデータとして記憶する。このデータは、コートローラ３８内に記憶してもよいし、別途のファイルとして保存してもよい。また視覚センサを用いた検出処理のために必要なデータとして、上記位置関係以外にも、視覚センサの焦点距離、画像サイズ（ピクセル数）、レンズの歪み、画素サイズ、及び画素のアスペクト比等のパラメータを記憶してもよい。

次のステップＳ７では、基準座標系５８に基づいて、仮想区間内における対象物（ワーク４２及びジグ４４の少なくとも一方）の配置位置を指定する。次にステップＳ８において、視覚センサ４０とワーク４２又はジグ４４との間の位置関係に基づいて、視覚センサ４０によりワーク４２又はジグ４４を撮像した場合に得られる画像に相当する擬似的な画像である、コンピュータグラフィックス画像（ＣＧ）を生成する。図５は、視覚センサ４０によりワーク４２を撮像して得られるコンピュータグラフィックス画像の一例を示す図である。

最後にステップＳ９において、視覚センサの検出処理に必要なデータを用いて、ステップＳ８で生成したコンピュータグラフィックス画像に対して検出処理を行い、その検出処理結果に基づいて、ロボット３６に対するワーク４２又はジグ４４の位置を求める。この処理において、必要に応じ、視覚センサの焦点距離、画像サイズ（ピクセル数）、レンズの歪み、画素サイズ、及び画素のアスペクト比等のパラメータを使用することができる。

図６は、ステップＳ９の処理の一具体例を示す図である。破線６４で示す基準ワーク撮像位置に対し、仮想空間内のある条件にて視覚センサ４０にてワーク４２を撮像したときのワーク撮像位置が参照符号６６で示される位置であった場合、撮像位置６６と基準位置６４との差（変位量）６８が、この条件でのワーク４２の位置補正量となり、当該位置補正量を用いて視覚センサ４０に対するワーク４２の位置を求めることができる。このようにして求めた視覚センサ４０とワーク４２との位置関係と、記憶されたロボット３６（ロボット座標系６０）と視覚センサ４０（センサ座標系６２）との位置関係から、ロボット３６に対するワーク４２の位置を求めることができ、ワーク４２に対するロボット３６の作業の正確なオフラインシミュレーションを行うことが可能となる。

本発明では、仮想空間内でロボット（ロボット座標系）と視覚センサ（センサ座標系）との位置関係を算出して記憶しておくことにより、ロボットと視覚センサとを関連付けるキャリブレーションが不要となる。従って作業者は特殊な知識を必要とせず、短時間でシミュレーションを行うことができ、作業者の負担が大幅に軽減される。

上述の実施形態では、ロボット３６と視覚センサ４０とは別個に配置されており、ロボット３６の動作によって視覚センサ４０の位置・姿勢は変化しないが、図７に示す変形例のように、視覚センサ４０をロボット３６前腕や手首部等の可動部、又は可動部のリンクに取り付ける（固定する）こともできる。この場合でも、ロボット３６の各軸の位置や回転角度に基づいて視覚センサ４０の位置・姿勢を求めることができるので、上述の実施形態と同様に、ロボット（ロボット座標系）と視覚センサ（センサ座標系）との位置関係を算出・記憶することができる。

１０検出シミュレーションシステム
１２データ作成装置
１４画像処理装置
１６配置部
１８ロボット配置位置指定部
２０視覚センサ配置位置指定部
２２配置位置記憶部
２４位置関係算出部
２６位置関係記憶部
２８対象物位置指定部
３０ＣＧ画像生成部
３２検出処理部
３４対象物位置算出部
３６ロボット
４０視覚センサ
４２ワーク
４４ジグ
５８基準座標系
６０ロボット座標系
６２センサ座標系

Claims

仮想空間内に配置された、ロボット、視覚センサ及び対象物の３次元モデルの位置に基づいて、前記視覚センサを用いた検出処理に使用されるデータを作成するデータ作成装置であって、
前記仮想空間内に規定された基準座標系に基づいて、前記仮想空間内の前記ロボットの配置位置を指定するロボット配置位置指定部と、
前記基準座標系に基づいて、前記仮想空間内の前記視覚センサの配置位置を指定する視覚センサ配置位置指定部と、
前記ロボット及び前記視覚センサの指定された配置位置を記憶する配置位置記憶部と、
前記ロボットと前記視覚センサとを関連付けるキャリブレーションを行うことなく、前記ロボット及び前記視覚センサの配置位置に基づいて、前記ロボットについて規定されたロボット座標系と、前記視覚センサについて規定されたセンサ座標系との間の位置関係を算出する位置関係算出部と、
前記位置関係を、前記視覚センサの検出処理に使用されるデータとして記憶する位置関係記憶部と、を備えることを特徴とする、データ作成装置。
前記基準座標系に基づいて、前記仮想空間内の前記対象物の位置を指定する対象物位置指定部と、
前記視覚センサと前記対象物との間の位置関係に基づいて、前記視覚センサにより前記対象物を撮像した場合に得られる画像に相当する擬似的な画像であるコンピュータグラフィックス画像を生成するＣＧ画像生成部と、をさらに有する、請求項１に記載のデータ作成装置。
前記視覚センサの３次元モデルは、前記ロボットの３次元モデルの可動部に取り付けられている、請求項１又は２に記載のデータ作成装置。
請求項２に記載のデータ作成装置と、
前記視覚センサの検出処理に使用されるデータを用いて、前記対象物の位置の検出処理を行う画像処理装置と、を有する、検出シミュレーションシステム。
前記画像処理装置は、
前記データを用いて前記コンピュータグラフィックス画像に対して検出処理を行う検出処理部と、
前記検出処理部による検出処理結果に基づいて前記対象物の位置を求める対象物位置算出部と、を備える、請求項４に記載の検出シミュレーションシステム。
前記視覚センサの３次元モデルは、前記ロボットの３次元モデルの可動部に取り付けられている、請求項４又は５に記載の検出シミュレーションシステム。