WO2021019627A1

WO2021019627A1 - コンピュータビジョンシステムのキャリブレーション方法及びこれに用いる基準立体物

Info

Publication number: WO2021019627A1
Application number: PCT/JP2019/029529
Authority: WO
Inventors: 嘉典小西
Original assignee: オムロン株式会社
Priority date: 2019-07-26
Filing date: 2019-07-26
Publication date: 2021-02-04
Also published as: CN114026384A; EP3974767A1; CN114026384B; EP3974767A4; US20220357153A1; JPWO2021019627A1; JP7180783B2

Abstract

コンピュータビジョンシステムにおいて、いかなる方向から見ても対称性を有しない形状であり、かつ、所定の大きさを有する基準立体物を用いて行うキャリブレーション方法であって、基準立体物の３次元形状データと３次元計測によって得られた３次元計測データとに基づいて、３次元計測部に対して定義された計測部座標系に対する基準立体物の位置姿勢を算出するステップと、計測部座標系と基準立体物に定義された基準座標系との間の座標変換を表する基準・計測部変換行列を算出するステップと、を含む。

Description

コンピュータビジョンシステムのキャリブレーション方法及びこれに用いる基準立体物

　本発明は、コンピュータビジョンシステムのキャリブレーション方法及びこれに用いる基準立体物に関する。

　従来、対象物体を３次元計測することにより得られた３次元計測データの位置合わせの精度を向上させるために、対象物体が配置された測定空間に設置された立体物（以下、「基準立体物」ともいう。）を３次元計測することにより得られた３次元計測データを用いる技術が提案されている。

　例えば、特許文献１にはタイヤのトレッド部分の使用による摩耗を調べるために、使用前後のタイヤの３次元計測データについて、タイヤトレッド部の周上の位置及びタイヤの幅方向の位置を正確に位置合わせする技術が開示されている。

　ここでは、タイヤが回転可能に保持する固定支持部からロッドを介して、３つの球体からなる基準立体物が測定空間に固定配置されている。これらの球体の中心位置座標が予め定めた目標座標に移動する座標変換を求め、この座標変換を用いて対象物体であるタイヤの３次元計測データの位置合わせを行っている。

　このような基準立体物に対して十分な認識精度を得るためには一定数以上の計測点が必要となる。そのためにはサイズの大きな球を基準立体物として用いなければならないが、サイズを大きくすると、対象物体が基準立体物に隠れたり、基準立体物の占める領域の割合が大きくなり、撮像サイズが相対的に小さくなったりするなど、対象物体の計測が阻害される。

　また、複数の平面から構成される基準立体物も提案されている（例えば、特許文献２参照）、平面はその接平面において位置が定まらないために、高精度で計測視点の位置姿勢を認識することは難しい。

特許第４９５６９６０号公報特許第４４２３８１１号公報

　本発明は、上記実情に鑑みてなされたものであり、３次元計測時に位置姿勢を高精度で認識し得る基準立体物を提案するとともに、これを用いてコンピュータビジョンシステムにおける３次元計測のキャリブレーションの精度を向上させる技術を提供することを目的とする。

　上記の課題を解決するための本発明は、
　３次元計測を行う３次元計測部と、
　前記３次元計測部を制御する計測制御部と、
を有するコンピュータビジョンシステムにおいて、いかなる方向から見ても対称性を有しない形状であり、かつ、所定の大きさを有し、前記３次元計測による位置姿勢認識の基準となる基準立体物を用いて行うキャリブレーション方法であって、
　前記３次元計測部により前記基準立体物を３次元計測するステップと、
　前記基準立体物の３次元形状に関するデータと、前記基準立体物の３次元計測によって得られた３次元計測データとに基づいて、前記３次元計測部に対して定義された計測部座標系に対する前記基準立体物の位置姿勢を算出するステップと、
　前記計測部座標系に対する前記基準立体物の位置姿勢に基づいて、前記基準立体物に定義された基準座標系と前記計測部座標系との間の座標変換を表す基準・計測部変換行列を算出するステップと、
を含むキャリブレーション方法である。

　このように、いかなる方向から見ても対称性を有しない形状であり、かつ、所定の大きさを有し、前記３次元計測による位置姿勢認識の基準となる基準立体物を用いることにより、３次元計測部に定義された計測部座標系に対する基準立体物の位置姿勢を高精度で算出することができる。また、計測部座標系に対する基準立体物の位置姿勢の算出精度が向上するので、基準座標系と計測部座標系との間の座標変換を表する基準・計測部変換行列を精度よく算出することができる。このため、このような３次元計測部を用いたコンピュータビジョンシステムにおいて精度の高いキャリブレーションが可能となる。

　また、本発明において、
　前記コンピュータビジョンシステムは、
　アームを有するロボットと、
　前記ロボットを制御するロボット制御部と、
をさらに有し、
　前記３次元計測部により前記基準立体物を３次元計測するステップは、前記基準立体物を保持させた前記アームを制御して、前記３次元計測部に対する前記基準立体物の位置姿勢を変更して該基準立体物を３次元計測するステップを含むようにしてもよい。

　このようにすれば、アームを有するロボットに適用されるコンピュータビジョンシステムにおいて、基準立体物をアームに保持させることにより、基準立体物が３次元計測部に対して異なる位置姿勢にある場合の複数の３次元計測データに基づいて、計測部座標系に対する基準立体物の位置姿勢が算出されるので、計測部座標系に対する基準立体物の位置姿勢の算出精度がさらに向上する。従って、このようなコンピュータビジョンシステムにおいて精度の高い３次元計測のキャリブレーションが可能となる。

　また、本発明において、
　前記コンピュータビジョンシステムは、
　アームを有するロボットと、
　前記ロボットを制御するロボット制御部と、
をさらに有し、
　前記３次元計測部により前記基準立体物を３次元計測するステップは、前記３次元計測部を保持させた前記アームを制御して、前記基準立体物に対する前記３次元計測部の位置姿勢を変更して該基準立体物を３次元計測するステップを含むようにしてもよい。

　このようにすれば、アームを有するロボットに適用されるコンピュータビジョンシステムにおいて、３次元計測部をアームに保持させることにより、基準立体物が３次元計測部に対して異なる位置姿勢にある場合の複数の３次元計測データに基づいて、計測部座標系に対する基準立体物の位置姿勢が算出されるので、計測部座標系に対する基準立体物の位置姿勢の算出精度がさらに向上する。従って、このようなコンピュータビジョンシステムにおいて精度の高い３次元計測のキャリブレーションが可能となる。

　また、本発明において、前記基準・計測部変換行列に基づいて、前記ロボットの基端部に対して定義されたロボット座標系と前記アームに対して定義されたツール座標系との間の座標変換を表すロボット・ツール変換行列、前記ツール座標系と前記基準座標系との間の座標変換を表すツール・基準変換行列及び前記ロボット座標系と前記計測部座標系との間の座標変換を表すロボット・計測部変換行列を算出するステップと、
を、さらに含むようにしてもよい。

　このように、計測部座標系に対する基準立体物の位置姿勢の算出精度が向上することにより、基準座標系と計測部座標系との間の座標変換を表する基準・計測部変換行列を精度よく算出することができる。ロボット座標系と計測部座標系の間の座標変換を表すロボット・計測部変換行列は、ロボット・ツール変換行列と、ツール・基準変換行列と、基準・計測部変換行列との積に等しい。この関係式と、先に算出した基準・計測部変換行列と、ロボットにおけるアームの位置姿勢を示すセンサの検出値等の既知の情報とから算出し得る変換行列とに基づいて、未知のロボット・計測部変換行列を算出することができるので、ロボット‐３次元計測部間の精度の高いキャリブレーションができる。

　また、本発明において、
　前記コンピュータビジョンシステムは、
　一つ以上の前記基準立体物を配置した台であって、前記３次元計測部に対する前記基準立体物の位置及び姿勢の少なくともいずれか一方を変更可能な台を有し、
　前記３次元計測部により前記基準立体物を３次元計測するステップは、前記台によって前記３次元計測部に対する前記基準立体物の位置及び姿勢の少なくともいずれか一方を変更して３次元計測するステップを含むようにしてもよい。

　このようにすれば、台を制御することによって３次元計測部に対する基準立体物の位置及び姿勢の少なくともいずれか一方を変更することができるので、基準立体物が３次元計測部に対して異なる位置姿勢にある場合の複数の３次元計測データに基づいて、計測部座標系に対する基準立体物の位置姿勢が算出される。このため、計測部座標系に対する基準立体物の位置姿勢の算出精度がさらに向上する。従って、このようなコンピュータビジョンシステムにおいて精度の高い３次元計測のキャリブレーションが可能となる。

　また、本発明において、
　前記基準立体物は、軸方向の両端部を半球状に形成した３つの円柱の一端を結合した形状を有するようにしてもよい。

　このようにすれば、基準立体物が曲率の大きな曲面を多く含むので、３次元計測部による３次元計測データによる計測部座標系に対する基準立体物の位置姿勢の算出精度がさらに向上する。従って、これに基づいて算出される各変換行列の精度もさらに向上する。すなわち、コンピュータビジョンシステムにおける３次元計測のキャリブレーションの精度がさらに向上する。

　また、本発明は、
　前記キャリブレーション方法に用いる基準立体物である。

　このような基準立体物を用いると３次元計測時に位置姿勢を高精度で認識し得るので、コンピュータビジョンシステムにおける３次元計測のキャリブレーションの精度を向上することができる。

　本発明によれば、３次元計測時に位置姿勢を高精度で認識し得る基準立体物を提案するとともに、これを用いてコンピュータビジョンシステムにおける３次元計測のキャリブレーションの精度を向上させることが可能となる。

図１Ａは基準立体物の全体斜視図であり、図１Ｂは基準立体物の構成要素を示す斜視図である。図２は基準立体物をキャリブレーションボード上に配置した状態を示す図である。図３は基準立体物をターンテーブル上に配置した状態を示す図である。図４は比較対象の立体物を示す図である。図５はロボットビジョンシステムの全体構成を示す図である。図６は情報処理装置の機能ブロック図である。図７はキャリブレーションの手順を示すフローチャートである。図８は他のロボットビジョンシステムの全体構成を示す図である。図９Ａ～Ｅは、基準立体物と対象物体を配置したテーブルの異なる視点から３次元計測データを示す図である。

〔適用例〕
　以下、本発明の適用例について、図面を参照しつつ説明する。
　本発明に係る基準立体物１を図１Ａに示す。基準立体物１は、どのような方向から見ても対称性がなく、姿勢が一意に定まる形状を有する。
　予め大きさが分かっている基準立体物１を準備し、３次元計測を行い、得られた３次元計測データを処理することにより、３Ｄセンサ等の３次元計測手段に対する基準立体物１の位置姿勢を高精度で認識することができる。

　このような３次元計測のおける基準立体物１は以下のような態様での利用が可能である。例えば、図２に示すように、基準立体物１を配置したキャリブレーションボード２５をロボットアーム２１２の手先部分に取り付け、３次元計測可能なセンサユニット２０によって３次元計測を行い、基準立体物１の位置姿勢を高精度で認識することにより、ロボット‐センサ間の未知の変換行列を高精度で算出することができる。また、図８に示すように、ロボットアーム２１２の手先部分に取り付けたセンサユニット２０により、作業空間に配置されたテーブル２８上の基準立体物１を３次元計測するようにしてもよい。このような構成でも、同様に、基準立体物１の位置姿勢を高精度で認識することができるので、ロボット‐センサ間の未知の変換行列を高精度で算出することができる。

　また、図３に示すように、ターンテーブル２７の中央を中心として周方向に９０度間隔で４つの基準立体物１‐１，１－２，１－３，１－４を配置する。そして、基準立体物１‐１～１‐４が配置されたターンテーブルの中央に対象物体を配置し、センサにより３次元計測する。このようにして得られた３次元計測データに基づく基準立体物１‐１～１‐４の位置姿勢認識結果を用いて、対象物体の３次元形状を復元する。基準立体物１‐１～１‐４をターンテーブルに対して上述のように配置することにより、対象物体による隠れを防止することができるとともに、４つの基準立体物１‐１～１‐４の位置姿勢認識結果の平均値を用いることにより、認識精度が向上する。ターンテーブル２７を、中央を回転中心として回転させることにより、センサに対する基準立体物１‐１，１－２，１－３，１－４の位置及び姿勢を変更することができる。ターンテーブル２７には、一つ以上の基準立体物１として４つの基準立体物を配置しているが、基準立体物の数及び配置はこれに限られない。ここでは、ターンテーブル２７が本発明の台に対応する。

　また、図９のように、対象物体３０を様々な相対位置から３次元計測する場合に、対象物体３０を配置したテーブル２９の四隅に４つの基準立体物１‐５～１‐８を配置することにより、対象物体３０の位置姿勢を精度よく認識することができる。これにより、様々な相対位置からの３次元計測データ相互の位置合わせを正確に行うことができる。

　＜実施例１＞
　（基準立体物）
　本実施例の基準立体物１の形状を図１Ａに示す。基準立体物１は、曲率の大きな曲面を多く含み、どのような方向から見ても対称性がなく、姿勢が一意に定まる形状を有する。具体的には、半径１２ｍｍ、長さ３０ｍｍの円柱１０ａの両端部に半径１２ｍｍの半球状の球面部１０ｂ，１０ｃを配置した物体１０（図１Ｂ参照）を、一端の球面部が重なるように３つ結合させた形状である。図１Ａでは、紙面に平行にｘ軸とｙ軸をとり、紙面に垂直に手前側にｚ軸をとっている。基準立体物１の第１枝１１は第２枝１２の延長方向（ｙ軸方向）に対して２３度の角度をなしており、第３枝１３はｚ軸に対して４０度傾いている。第２枝１２はｘ軸回りに７度傾いている。ここに示した大きさ及び角度は、一例であり、各枝の大きさや角度は、３Ｄセンサの計測視野の大きさに応じて適宜変更することができ、これに限られるものではない。

　基準立体物１は、３次元計測しやすくするために、表面を拡散反射面に加工することが好ましい。このような拡散反射面は、材質を選択したり、塗装や粗い表面仕上げを行ったりすることにより実現することができる。
　また、基準立体物１の表面に模様を形成すると、パターン光を投影して３次元計測を行う場合に障害となるので、無地とすることが好ましい。
　また、３次元計測時に可視光を投影する場合を考慮し、基準立体物１の表面は白色であることが好ましい。

　基準立体物１は、上述のように、いかなる視点に対しても、その姿勢が一意に定まる形状を有している。また、その大きさも予め分かっている。従って、基準立体物１を３次元計測して得られた３次元計測データに基づいて基準立体物１の位置姿勢を高精度で認識することができる。図４は、比較例の基準立体物５０を示す。基準立体物５０は、円板の中央部に高さ方向に貫通する中空部を有する形状である。静止させた状態の基準立体物５０と基準立体物１とを、センサで１５回連続して３次元計測し、認識された位置姿勢のそれぞれの方向での標準偏差を下表に示す。ｘ並進はｘ方向の並進、ｘ回転はｘ軸回りの回転を示す（他の方向及び角度も同様）。
［表１］

　上述の表に示すように、基準立体物５０では方向により位置姿勢認識結果の変動が大きいが、基準立体物１によると、方向にかかわらず精度良く位置姿勢を認識することができる。

　（ロボットビジョンシステムの全体構成）
　図５を参照して、本発明の実施例に係るロボットビジョンシステム１００について説明する。

　ロボットビジョンシステム１００は、物品の組み立てや加工などを行う生産ラインに設置され、センサユニット２０から取り込まれたデータに基づいて、トレイ等に積載された物体に対して、ロボット２１のアーム先端に取り付けられる多指ハンドや吸着パッドによる把持位置・姿勢を認識するシステムである。ここでは、ロボットビジョンシステム１００が本発明のコンピュータビジョンシステムに対応する。

　図５は、ロボットビジョンシステム１００において、アーム２１２手先部分にキャリブレーションターゲット２６を保持するキャリブレーションボード２５を取り付けており、ロボット‐センサユニット間キャリブレーションを行う状態を示す。

　ロボットビジョンシステム１００は、概略、センサユニット２０、情報処理装置２２、ＰＬＣ（プログラマブルロジックコントローラ）２４及びロボット２１から構成される。センサユニット２０と情報処理装置２２のあいだは有線又は無線で接続されており、センサユニット２０の出力は情報処理装置２２に取り込まれる。情報処理装置２２は、センサユニット２０から取り込まれたデータを用いて各種の処理を行うデバイスである。情報処理装置２２の処理としては、例えば、距離計測（測距）、３次元形状認識、物体認識、シーン認識などが含まれてもよい。情報処理装置２２の処理結果は、例えばＰＬＣ２４やディスプレイ２３などに出力され、ロボット２１の制御に利用される。

　（センサユニット）
　センサユニット２０は、対象物体の光学像を撮影するためのカメラを少なくとも有する。さらに、センサユニット２０は、対象物体の３次元計測を行うために必要な構成（センサ、照明装置、投光装置など）を含んでもよい。例えば、ステレオマッチング（ステレオビジョン、ステレオカメラ方式などとも呼ばれる。）によって奥行き距離を計測する場合には、センサユニット２０に複数台のカメラが設けられる。アクティブステレオの場合はさらに、対象物体にランダムドットパターンなので構造化光を投射する投光装置がセンサユニット２０に設けられる。空間コード化パターン投影方式により３次元計測を行う場合には、パターン光を投射する投光装置とカメラがセンサユニット２０に設けられる。他にも、照度差ステレオ法、ＴＯＦ（タイムオブフライト）法、位相シフト法など、対象物体の３次元情報を取得可能な方法であればいかなる方式を用いてもよい。ここでは、センサユニット２０は、所定の位置に固定配置される。ここでは、センサユニット２０が、本発明の３次元計測部に対応する。

　（情報処理装置）
　情報処理装置２２は、例えば、ＣＰＵ（プロセッサ）、ＲＡＭ（メモリ）、不揮発性記憶装置（ハードディスク、ＳＳＤなど）、入力装置、出力装置などを備えるコンピュータにより構成される。この場合、ＣＰＵが、不揮発性記憶装置に格納されたプログラムをＲＡＭに展開し、当該プログラムを実行することによって、後述する各種の構成が実現される。ただし、情報処理装置２２の構成はこれに限られず、後述する構成のうちの全部又は一部を、ＦＰＧＡやＡＳＩＣなどの専用回路で実現してもよいし、クラウドコンピューティングや分散コンピューティングにより実現してもよい。

　ロボット２１は、ロボットベース２１１上に複数の関節を介して連結され、所定の自由度を有するアーム２１２を有する。上述のように、対象物体を把持する場合には、アーム２１２の先端には、複数の指を有する多指ハンドや吸着パッドを有する吸着ハンドが装着される。ロボットベース２１１は床面又は所定の設置部位に設置される。ここでは、アーム２１２の手先部分には、キャリブレーションターゲット２６を保持するキャリブレーションボード２５が取り付けられている。ここでは、ロボットベース２１１が、本発明のロボットの基端部に対応する。

　本実施例では、図１Ａに示した形状を有し、大きさが既知である基準立体物１をキャリブレーションターゲット２６として用いる。

　図６は、情報処理装置２２の構成を含む機能ブロック図である。
　情報処理装置２２は、センサユニット制御部２２１、ロボット制御指示部２２２、記憶部２２３、位置姿勢算出部２２４、キャリブレーション実行部２２５、キャリブレーション結果出力部２２６を含む。

　センサユニット制御部２２１は、センサユニット２０を制御し、３次元計測の実施及び３次元計測結果の出力等を指示する。
　ロボット制御指示部２２２は、ＰＬＣ２４等により構成されるロボット制御部３０に対して、制御指示を出力するとともに、ロボット２１のアーム２１２を構成する関節の回転角度等のセンサによる検出値を取得し、記憶部２２３の所定領域に格納する。キャリブレーション実行時には、ロボット制御指示部２２２から、ロボット制御部３０に対して制御情報を出力し、アーム２１２を動かして、センサユニット２０に対する基準立体物１の位置を変更する。
　記憶部２２３は、不揮発性記憶装置の所定領域により構成される記憶手段であり、上述のロボット２１のアーム２１２を構成する関節の回転角度等のセンサによる検出値や、後述するロボットベース２１１からアーム２１２の先端に至るまでのリンク等の各部の寸法データ、基準立体物１の３次元形状データ等が格納される。

　位置姿勢算出部２２４は、センサユニット２０により基準立体物１を３次元計測して得られた３次元計測データと、基準立体物１の３次元形状データに基づき、基準立体物の位置姿勢を算出する。
　キャリブレーション実行部２２５は、後述するキャリブレーション処理を実行する。
　キャリブレーション結果出力部２２６は、実行されたキャリブレーションの結果を外部装置に出力し、又は、記憶部２２３の所定領域に格納する。キャリブレーションの結果は、ロボットビジョンシステムによる対象物体の把持位置認識処理等に利用される。

　（キャリブレーション処理）
　図７のフローチャートを参照して、キャリブレーション方法としてのキャリブレーション処理の一例を説明する。

　ロボット‐センサユニット間キャリブレーションとは、ロボット２１に定義される座標系とセンサユニット２０に定義される座標系の間での座標変換を表す変換行列を算出することである。

　図５に示すセンサユニット２０のカメラに対して定義されるカメラ座標系をΣｃａｍ、キャリブレーションターゲット２６に対して定義されるターゲット座標系をΣｃａｌ、アーム２１２の先端に対して定義されるツール座標系をΣｔｏｏｌ、ロボットベース２１１に対して定義されるロボット座標系をΣｂａｓｅで表す。このとき、ターゲット座標系Σｃａｌからカメラ座標系Σｃａｍへの変換行列を^ｃａｍＨ_ｃａｌとする。ターゲット座標系Σｃａｌからツール座標系Σｔｏｏｌへの変換行列を^ｔｏｏｌＨ_ｃａｌとする。ツール座標系Σｔｏｏｌからロボット座標系Σｂａｓｅへの変換行列を^ｂａｓｅＨ_ｔｏｏｌとする。そして、ロボット座標系Σｂａｓｅからカメラ座標系Σｃａｍへの変換行列を^ｃａｍＨ_ｂａｓｅとする。このとき、それらの変換行列は以下の式（１）で示す関係にある。
［数１］
^ｃａｍＨ_ｃａｌ＝^ｃａｍＨ_ｂａｓｅ・^ｂａｓｅＨ_ｔｏｏｌ・^ｔｏｏｌＨ_ｃａｌ・・・（１）
　ここで、カメラ座標系Σｃａｍが本発明の計測部座標系に、ターゲット座標系Σｃａｌが本発明の基準座標系に、変換行列^ｃａｍＨ_ｃａｌが本発明の基準・計測部変換行列にそれぞれ対応する。また、変換行列^ｂａｓｅＨ_ｔｏｏｌが本発明のロボット・ツール変換行列に、変換行列^ｔｏｏｌＨ_ｃａｌが本発明のツール・基準変換行列に、変換行列^ｃａｍＨ_ｂａｓｅが本発明のロボット・計測部変換行列にそれぞれ対応する。

　図５に示すように、ロボット２１のアーム２１２の手先部分に取り付けられたキャリブレーションボード２５上に配置されたキャリブレーションターゲット２６をセンサユニット２０によって３次元計測する（ステップＳ１）。

　センサユニット２０によってキャリブレーションターゲット２６を３次元計測することによって得られた３次元計測データに対して、キャリブレーションターゲット２６の３ＤＣＡＤデータ等の３次元形状モデルを用いてフィッティングを行う。これにより、カメラ座標系Σｃａｍにおけるキャリブレーションターゲット２６の位置姿勢を算出することができる（ステップＳ２）。３次元計測データは、３次元計測によって取得される、各点が３次元情報をもつ複数の点から構成されるデータである。点群データのように、各点がカメラ座標系における３次元座標値をもつ形式のデータでもよいし、２次元画像の各点（各画素）にデプス値（奥行き距離の情報）が関連づけられた形式のデータでもよい。ここでは、３次元計測データとして点群データを用いる。

　カメラ座標系Σｃａｍにおけるキャリブレーションターゲット２６の位置姿勢を認識することにより、キャリブレーションターゲット２６に対して定義されたターゲット座標系Σｃａｌとカメラ座標系Σｃａｍとの位置関係が特定できるので、ターゲット座標系Σｃａｌからカメラ座標系Σｃａｍへの変換行列^ｃａｍＨ_ｃａｌを算出することができる（ステップＳ３）。

　また、ロボットベース２１１に対するアーム２１２の手先部分の位置及び角度は、ロボットベース２１１からアーム２１２の手先部分に至るまでのリンク等の各部の寸法データと、各関節の回転角度等の各自由度における移動量を検出するセンサの検出値とから算出できる。従って、ツール座標系Σｔｏｏｌからロボット座標系Σｂａｓｅへの変換行列^ｂａｓｅＨ_ｔｏｏｌも算出できる（ステップＳ４）。

　このとき、アーム２１２の手先部分に対するキャリブレーションボード２５の取付位置及び姿勢が予め設定されており、キャリブレーションボード２５に対してキャリブレーションターゲット２６を配置すべき位置及び姿勢が設定されているとする。そうすれば、アーム２１２の手先部分に対するキャリブレーションターゲット２６の位置は、予め分かっているので、ターゲット座標系Σｃａｌからツール座標系Σｔｏｏｌへの変換行列^ｔｏｏｌＨ_ｃａｌも算出できる（ステップＳ４）。

　ここで、ターゲット座標系Σｃａｌからツール座標系Σｔｏｏｌへの変換行列^ｔｏｏｌＨ_ｃａｌ、ツール座標系Σｔｏｏｌからロボット座標系Σｂａｓｅへの変換行列^ｂａｓｅＨ_ｔｏｏｌターゲット座標系Σｃａｌからカメラ座標系Σｃａｍへの変換行列^ｃａｍＨ_ｃａｌ、ロボット座標系からカメラ座標系Σｃａｍへの変換行列^ｃａｍＨ_ｂａｓｅは式（１）に示す関係にある。

　上述のように、キャリブレーションターゲット２６の位置姿勢の認識により、ターゲット座標系Σｃａｌからカメラ座標系の変換行列^ｃａｍＨ_ｃａｌは算出されている。そして、アーム２１２の手先部分に対するキャリブレーションボード２５の取付位置及び姿勢が予め設定されており、キャリブレーションボード２５に対してキャリブレーションターゲット２６を配置すべき位置及び姿勢が設定されていれば、アーム２１２の手先部分に対するキャリブレーションターゲット２６の位置は、予め分かっている。従って、ターゲット座標系Σｃａｌからツール座標系Σｔｏｏｌへの変換行列^ｔｏｏｌＨ_ｃａｌも算出できる。また、ロボットベース２１１に対するアーム２１２の手先部分の位置は、ロボットベース２１１からアーム２１２の手先部分に至るまでのリンクの寸法データと、各関節の回転角度を検出するセンサの検出値とから算出できるので、ツール座標系Σｔｏｏｌからロボット座標系Σｂａｓｅへの変換行列^ｂａｓｅＨ_ｔｏｏｌも算出できる。

　このように式（１）のうち右辺の^ｃａｍＨ_ｂａｓｅ以外の変換行列が算出できることから、式（１）から^ｃａｍＨ_ｂａｓｅを算出することができる。すなわち、カメラ座標系Σｃａｍからロボット座標系Σｂａｓｅへの変換行列を算出することができ、ロボット‐センサユニット間キャリブレーションを行うことができる（ステップＳ５）。
　キャリブレーションの結果は外部装置に出力され、又は、記憶部３０の所定領域に格納される（ステップＳ６）。

　上述の処理では、ツール座標系Σｔｏｏｌに対するキャリブレーションターゲット２６の位置姿勢が分かっており、ターゲット座標系Σｃａｌからツール座標系Σｔｏｏｌへの変換行列^ｔｏｏｌＨ_ｃａｌが算出できる場合について説明した。ここでは、ツール座標系Σｔｏｏｌに対するキャリブレーションターゲット２６の位置姿勢が分かっていない場合について説明する。この場合には、キャリブレーションターゲット２６がセンサユニット２０に対して異なる位置姿勢となるようにロボット２１を制御し、複数の位置姿勢におけるキャリブレーションターゲット２６をセンサユニット２０により３次元計測する。このように、キャリブレーションターゲット２６の位置姿勢を変更しても、ツール座標系Σｔｏｏｌに対するキャリブレーションターゲット２６の相対関係は一定に保たれる。このため、キャリブレーションターゲット２６のそれぞれの位置姿勢に対する複数の式（１）から、ターゲット座標系Σｃａｌからツール座標系Σｔｏｏｌへの変換行列^ｔｏｏｌＨ_ｃａｌを算出することができる。

　＜実施例２＞
　（ロボットビジョンシステムの全体構成）
　図８を参照して、本発明の実施例２に係るロボットビジョンシステム２００について説明する。
　実施例１と共通する構成については同一の符号を用いて詳細な説明を省略する。ここでは、ロボットビジョンシステム２００が本発明のコンピュータビジョンシステムに対応する。

　ロボットビジョンシステム２００では、センサユニット２０が、ロボット２１のアーム２１２の手先部分に取り付けられている。ロボットビジョンシステム２００は、センサユニット２０の取付位置を除いて、ロボットビジョンシステム１００と共通の構成を備える。

　ロボットビジョンシステム２００では、ロボット２１が配置された作業空間に配置されたテーブル２８に基準立体物１が配置される。

　カメラ座標系Σｃａｍ、キャリブレーションターゲットである基準立体物１に対して定義されるターゲット座標系Σｃａｌ、ツール座標系Σｔｏｏｌ、ロボット座標系をΣｂａｓｅは、実施例１と同様である。また、これらの座標系の間の変換行列^ｃａｍＨ_ｃａｌ、^ｔｏｏｌＨ_ｃａｌ、^ｂａｓｅＨ_ｔｏｏｌ及び^ｃａｍＨ_ｂａｓｅについても実施例１と同様である。
　これらの変換行列の間には式（１）が同様に成り立つ。
　ここでも図７に示すフローチャート同様の手順で、ロボット‐センサユニット間キャリブレーションを行う。

　本実施例では、センサユニット２０がアーム２１２の手先部分に取り付けられている。このため、ロボットの動作に関わらず、カメラ座標系Σｃａｍとツール座標系Σｔｏｏｌとの相対的な位置関係は変わらない。キャリブレーションに、ターゲット座標系Σｃａｌとツール座標系Σｔｏｏｌとの間の変換行列に代えて、カメラ座標系からツール座標系への変換行列^ｔｏｏｌＨ_ｃａｍを用いてもよい。

　また、図８に示す例では、テーブル２８に基準立体物１を一つ配置しているが、図３に示すようにキャリブレーションターゲットとして複数（ここでは４つ）の基準立体物１‐１，１‐２，１‐３，１‐４を配置したターンテーブル２７を作業空間に配置してもよい。複数の基準立体物１‐１，１‐２，１‐３，１‐４を用いることにより、より正確にキャリブレーションを行うことができる。

　＜実施例３＞
　（基準立体物を用いた対象物体の３次元計測データの位置合わせ）
　基準立体物１については、上述したようにロボット‐センサユニット間のキャリブレーションの他に、以下に説明するような利用が可能である。
　図９Ａ～Ｅは、中央に対象物体３０を配置し、四隅にそれぞれ基準立体物１‐５，１‐６，１‐７，１‐８を配置した略正方形のテーブル２９を異なる視点から３次元計測して得られた３次元計測データを示す。
　ある視点から対象物体３０の３次元計測を行う場合に、対象物体３０が３次元形状を有するために、全ての面の３次元計測データが得られるわけではない。カメラの視点から見て対象物体３０の影になる部分の３次元計測データは得られない。図９Ａに示すように、テーブル２９に正対する位置からカメラにより３次元計測した場合には、対象物体３０の上面（図９Ａにおいて紙面の手前側の面を前面といい、図３Ａを基準に対象物体３０の上下左右を定める）の３次元計測データは得られるが、対象物体３０の上下左右の側面の３次元データは得られない。

　図９Ｂ，図９Ｃ，図９Ｄ及び図９Ｅは、それぞれ対象物体３０の下面側、上面側、右側面側及び左側面側の視点から、カメラによって３次元計測して得られた３次元計測データである。図９Ａ～Ｅに示すように、カメラの視点に対する対象物体３０の相対位置を変更することにより、対象物体３０の様々な部位の３次元計測データを得ることができる。

　このように、対象物体３０の複数の異なる視点からの３次元計測データを取得することにより、当該対象物体３０の３次元形状をより正確に復元することができる。異なる視点から３次元計測した３次元計測データを統合して、対象物体３０の３次元形状を復元する場合には、３次元計測データ相互の位置合わせを正確に行う必要がある。このためには、対象物体３０を３次元計測する際の、カメラに対する対象物体３０の位置姿勢を正確に認識する必要がある。

　本実施例に係る基準立体物１‐５，１‐６，１‐７，１‐８は、どのような視点から見ても対称性がなく、その姿勢が位置に定まる形状であり、その大きさも分かっているので、基準立体物１‐５，１‐６，１‐７，１‐８を３次元計測に用いることにより、その位置姿勢を正確に認識することができる。このような基準立体物１‐５，１‐６，１‐７，１‐８を対象物体３０が配置されたテーブル２９に配置することにより、３次元計測時の対象物体３０の位置姿勢を正確に認識することができる。また、基準立体物１‐５，１‐６，１‐７，１‐８をテーブル２９の四隅に配置することにより、基準立体物の１‐５，１‐６，１‐７，１‐８の隠れを防止することができる。さらに、４つの基準立体物の１‐５，１‐６，１‐７，１‐８による位置姿勢認識結果を平均化することにより、対象物体３０の位置姿勢をより正確に認識することができる。但し、対象物体３０に対する基準立体物１の配置位置、個数はこれに限られるわけではなく、対象物体３０の形状や、カメラの視野等により適宜設定することができる。

　ロボット２１のアーム先端に多指ハンドや吸着パッドを装着して、ピッキング等の対象物体３０を把持する動作を行わせる場合に、対象物体３０の３ＤＣＡＤデータがない場合や実際の対象物体３０との差異が大きい場合のように、３ＤＣＡＤデータを用いることができない、又は適切でない場合がある。このような場合には、対象物体３０を３次元計測することにより、３次元計測データから対象物体３０の３次元モデルデータを生成する。そして、このようにして生成された対象物体３０の３次元形状モデルデータに基づいて、ピッキング等の対象物体３０の把持位置認識を行い、認識結果に基づいてロボットを制御してピッキング等の動作を行う。このような場合の対象物体３０の３次元計測のためには、図２に示したロボット２１のアーム２１２の手先部分に、キャリブレーションボード２５に替えて、対象物体３０と基準立体物１‐５，１‐６，１‐７，１‐８が配置されたテーブル２９を取り付けて、ロボット２１を制御し、センサユニット２０に対する対象物体３０の位置姿勢を変更して３次元計測するようにしてもよい。また、ロボット２１の作業空間に対象物体３０と基準立体物１‐５，１‐６，１‐７，１‐８が配置されたテーブル２９を配置し、図８に示したロボット２１のアームの手先部分に取り付けたセンサユニット２０の位置姿勢を変更して３次元計測するようにしてもよい。
　センサユニット２０と対象物体３０の位置姿勢を変更して、３次元計測を行う場合に、センサと対象物体３０のいずれの位置姿勢を変更してもよいが、センサユニットを固定して対象物体３０の位置姿勢を変更してもよい。

　（本実施形態の利点）
　以上述べた構成及び処理では、どのような方向から見ても対称性がない形状であり、かつ所定の大きさを有する基準立体物１を用いて３次元計測を行うことにより、センサユニットに対する基準立体物１の位置姿勢を正確に認識することができる。これにより、ロボット‐センサユニット間のキャリブレーションの精度を向上させる技術を提供することが可能となる。

　なお、以下には本発明の構成要件と実施例の構成とを対比可能とするために、本発明の構成要件を図面の符号付きで記載しておく。
＜発明１＞
　３次元計測を行う３次元計測部（２０）と、
　前記３次元計測部（２０）を制御する計測制御部（２２１）と、
を有するコンピュータビジョンシステムにおいて、いかなる方向から見ても対称性を有しない形状であり、かつ、所定の大きさを有し、前記３次元計測による位置姿勢認識の基準となる基準立体物（１）を用いて行うキャリブレーション方法であって、
　前記３次元計測部（２０）により前記基準立体物（１）を３次元計測するステップ（Ｓ１）と、
　前記基準立体物（１）の３次元形状に関するデータと、前記基準立体物（１）の３次元計測によって得られた３次元計測データとに基づいて、前記３次元計測部（２０）に対して定義された計測部座標系に対する前記基準立体物の位置姿勢を算出するステップ（Ｓ２）と、
　前記計測部座標系に対する前記基準立体物（１）の位置姿勢に基づいて、前記基準立体物（１）に定義された基準座標系と前記計測部座標系との間の座標変換を表する基準・計測部変換行列を算出するステップ（Ｓ３）と、
を含むキャリブレーション方法。

１：基準立体物
２０：センサユニット
２１：ロボット
２７：ターンテーブル
３０：ロボット制御部
２１１：基端部
２１２：アーム
２２１：センサユニット制御部
１００，２００：ロボットビジョンシステム

Claims

　３次元計測を行う３次元計測部と、
　前記３次元計測部を制御する計測制御部と、
を有するコンピュータビジョンシステムにおいて、いかなる方向から見ても対称性を有しない形状であり、かつ、所定の大きさを有し、前記３次元計測による位置姿勢認識の基準となる基準立体物を用いて行うキャリブレーション方法であって、
　前記３次元計測部により前記基準立体物を３次元計測するステップと、
　前記基準立体物の３次元形状に関するデータと、前記基準立体物の３次元計測によって得られた３次元計測データとに基づいて、前記３次元計測部に対して定義された計測部座標系に対する前記基準立体物の位置姿勢を算出するステップと、
　前記計測部座標系に対する前記基準立体物の位置姿勢に基づいて、前記基準立体物に定義された基準座標系と前記計測部座標系との間の座標変換を表す基準・計測部変換行列を算出するステップと、
を含むキャリブレーション方法。
　前記コンピュータビジョンシステムは、
　アームを有するロボットと、
　前記ロボットを制御するロボット制御部と、
をさらに有し、
　前記３次元計測部により前記基準立体物を３次元計測するステップは、前記基準立体物を保持させた前記アームを制御して、前記３次元計測部に対する前記基準立体物の位置姿勢を変更して該基準立体物を３次元計測するステップを含む請求項１に記載のキャリブレーション方法。
　前記コンピュータビジョンシステムは、
　アームを有するロボットと、
　前記ロボットを制御するロボット制御部と、
をさらに有し、
　前記３次元計測部により前記基準立体物を３次元計測するステップは、前記３次元計測部を保持させた前記アームを制御して、前記基準立体物に対する前記３次元計測部の位置姿勢を変更して該基準立体物を３次元計測するステップを含む請求項１に記載のキャリブレーション方法。
　前記基準・計測部変換行列に基づいて、前記ロボットの基端部に対して定義されたロボット座標系と前記アームに対して定義されたツール座標系との間の座標変換を表すロボット・ツール変換行列、前記ツール座標系と前記基準座標系との間の座標変換を表すツール・基準変換行列及び前記ロボット座標系と前記計測部座標系との間の座標変換を表すロボット・計測部変換行列を算出するステップと、
を、さらに含む請求項２又は３に記載のキャリブレーション方法。
　前記コンピュータビジョンシステムは、
　一つ以上の前記基準立体物を配置した台であって、前記３次元計測部に対する前記基準立体物の位置及び姿勢の少なくともいずれか一方を変更可能な台を有し、
　前記３次元計測部により前記基準立体物を３次元計測するステップは、前記台によって前記３次元計測部に対する前記基準立体物の位置及び姿勢の少なくともいずれか一方を変更して３次元計測するステップを含むことを特徴とする請求項１に記載のキャリブレーション方法。
　前記基準立体物は、軸方向の両端部を半球状に形成した３つの円柱の一端を結合した形状を有することを特徴とする請求項１乃至５のいずれか１項に記載のキャリブレーション方法。
　請求項１乃至６のいずれか１項に記載のキャリブレーション方法に用いる基準立体物。