JP7365567B2 - 計測システム、計測装置、計測方法及び計測プログラム - Google Patents

Description

本発明は、計測システム、計測装置、計測方法及び計測プログラムに関する。

ファクトリーオートメーションの分野では、例えば、距離センサを用いて、ワークの表面の各点の３次元座標を示す点群（ポイントクラウド）を計測し、計測により得られた点群からワークを識別又は検査するための画像処理を行っている。

この種の画像処理に用いられる距離センサは、ロボットビジョンと呼ばれており、その計測方式には、種々の方式がある。例えば、固定された計測ポイントからワークの点群を計測する方式、計測ポイントを移動させながらワークの点群を計測する方式、一つのワークについて一つの計測ポイントから点群を計測する方式、及び一つのワークについて複数の異なる計測ポイントから複数の点群を計測する方式などがある。

固定された計測ポイントからワークの点群を計測する方式や、一つのワークについて一つの点群を計測する方式では、ワークによっては、その形状が複雑であるために、或いは、鏡面加工されたワークの反射面からの反射の影響により、ワークを十分な精度で識別できないことがある。これに対し、複数の異なる計測ポイントのそれぞれからワークの点群を計測することにより、ワークの見え方が異なる複数の異なる点群の計測が可能となり、固定された計測ポイントからワークの点群を計測する方式や、一つのワークについて一つの点群を計測する方式よりも、より高い精度でワークを識別することができる。

この種の画像処理として、例えば、非特許文献１に記載されているようなモデルベースのアルゴリズムが知られている。このアルゴリズムは、複数点の位置や法線の関係を記述したＰＰＦ(Point Pair Feature)と呼ばれる特徴量を用いており、物体の位置及び姿勢の推定処理や、物体の点群のレジストレーション処理に適用可能である。この特徴量は、物体の点群から２点（点対）を選択する組み合わせにおいて算出される４次元特徴量である。４次元は、それぞれ、２点間の距離、２点を結ぶ線分とその各点の法線方向がなす角度、２点の法線間の角度である。ハッシュテーブルにその特徴量をキーとして２点の点番号を格納する。マッチング処理においては、ハッシュテーブルから対応点を検索した後、点対間の剛体変形パラメータを求めることで、物体を識別する。マッチング処理後に、隣り合う計測ポイント間の距離センサの回転量及び移動量が計算され、その計算結果に基づいて、その隣り合う計測ポイントで計測された二つの点群のレジストレーションが行われる。

非特許文献２には、モデルベースの他のアルゴリズムが記載されている。このアルゴリズムは、距離画像センサを用いて計測した距離画像センサ周辺の距離画像に基づいて距離画像センサの位置及び姿勢を推定する。このアルゴリズムでは、隣り合う計測ポイント間の距離画像センサの回転量及び移動量が計算され、その計算結果に基づいて、その隣り合う計測ポイントで計測された二つの距離画像のレジストレーションが行われる。

非特許文献１，２に記載のアルゴリズムを用いたレジストレーションは、精密なレジストレーション（Fine Registration）の前処理として行われる粗いレジストレーション（Coarse Registration）である。

非特許文献３には、物体の複数の点群間の対応点同士の距離を最小化するためのアルゴリズムとして、ＩＣＰ(Iterative Closest Point)を用いることが記載されている。ＩＣＰは、一方の点群を構成する各点に対し、他方の点群における最近接点を探索し、これを仮の対応点とする。このような対応点間の距離を最小化するような剛体変換を推定し、対応点の探索と剛体変換推定とを繰り返すことで、点群間の対応点同士の距離を最小化する。ＩＣＰは、粗いレジストレーションの後処理として行われる精密なレジストレーションである。

Drost, Bertram, et al. "Model globally, match locally: Efficient and robust 3D object recognition."Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. Ieee, 2010. Newcombe, Richard A., et al. "Kinectfusion: Real-time dense surface mapping and tracking." ISMAR. Vol. 11. No. 2011. 2011. Besl, Paul J., and Neil D. McKay. "Method for registration of 3-D shapes." Sensor Fusion IV: Control Paradigms and Data Structures. Vol. 1611. International Society for Optics and Photonics, 1992.

しかし、非特許文献１，２に記載のアルゴリズムは、画像処理に多くの計算を要することがあり、また、ロバスト性が低いこともある。また、非特許文献３に記載のＩＣＰは、初期状態の点群間のずれが大きい場合には、対応点の探索と剛体変換推定とを何度も繰り返したり、或いはレジストレーションに失敗したりすることがあり得る。何れの技術も、計算時間が長くなることがあり得るため、生産性が要求されるファクトリーオートメーションの分野においては、実用的に十分でない。

そこで、本発明は、対象物の３Ｄデータの計測に要する時間を短縮できる計測システム、計測装置、計測方法、及び計測プログラムを提供することを課題とする。

本開示の一態様に係る計測システムは、ロボットに搭載される３Ｄセンサであって、対象物の表面の各点の３次元座標を示す３Ｄデータを計測する３Ｄセンサと、ロボットの各関節の変位を検出する変位検出装置と、ロボットの各関節を駆動させる駆動装置と、１又は複数の計測ポイントで対象物の３Ｄデータを計測するように３Ｄセンサを制御するセンサ制御部と、対象物に対してロボットによる第１操作が行われる前に計測された対象物の３Ｄデータと、対象物に対してロボットによる第１操作が行われた後に１又は複数の計測ポイントで計測された対象物の３Ｄデータとを３Ｄ合成する合成部と、３Ｄ合成により得られた３Ｄデータにより示される対象物の表面の各点の３次元座標に基づいて、ロボットによる第２操作を制御する駆動指令を駆動装置に出力するロボット制御部と、を備える。

この態様によれば、対象物に対してロボットによる第１操作が行われる前に計測された対象物の３Ｄデータを保持し、対象物に対してロボットによる第１操作が行われた後に１又は複数の計測ポイントで計測された対象物の３Ｄデータと３Ｄ合成することで、対象物に対してロボットによる第１操作が行われた後の状態の対象物の３Ｄデータをより高速に、よりロバストに生成することができる。その結果、３Ｄデータに基づく対象物の認識をより高速且つ確実にし、ロボットによる対象物の第２操作をより高い効率で行うことができる。

上記態様において、合成部は、対象物に対してロボットによる第１操作が行われる前に計測された対象物の３Ｄデータから第１操作が行われた部分を削除して事前３Ｄデータを生成し、事前３Ｄデータと、対象物に対してロボットによる第１操作が行われた後に１又は複数の計測ポイントで計測された対象物の３Ｄデータとを３Ｄ合成してもよい。

この態様によれば、直前の操作において計測した事前３Ｄデータと、当該操作後に新たに計測した１又は複数の３Ｄデータとを３Ｄ合成することで、対象物の３Ｄデータをより高速に、よりロバストに生成することができる。

上記態様において、３Ｄセンサは、対象物に対してロボットにより行われる複数の操作のうち初回の操作が行われる前に、ロボットの停止中に特定の計測ポイントで対象物の初期３Ｄデータを計測し、変位検出装置は、初回の操作が行われる前に、ロボットの停止中に特定の計測ポイントでロボットの各関節の初期変位を検出し、初期３Ｄデータ及び初期変位に基づいて、センサ座標系からロボット座標系への変換を算出し、３Ｄ合成により得られる３Ｄデータにより示される対象物の表面の各点の３次元座標を、センサ座標系からロボット座標系に変換する変換部をさらに備えてもよい。

この態様によれば、３Ｄデータに基づくロボットによる対象物の操作をより正確に行うことができる。

上記態様において、ロボット制御部は、初期３Ｄデータの計測及び初期変位の検出が行われた後、ロボットを停止させずに複数の操作を連続的に行うようにロボットを制御してもよい。

この態様によれば、３Ｄデータの計測のためにロボットを停止させることなく、複数の操作を連続的に実行することができ、作業効率を向上させることができる。

上記態様において、センサ制御部は、ロボットの各関節が駆動している間に１又は複数の計測ポイントで対象物の３Ｄデータを計測するように３Ｄセンサを制御してもよい。

この態様によれば、ロボットの動作を停止させることなく対象物の３Ｄデータを計測することで、ロボットによる対象物の操作をより効率的に行うことができる。

上記態様において、１又は複数の計測ポイントで３Ｄセンサが対象物の３Ｄデータを計測するタイミングと、変位検出装置がロボットの各関節の変位を検出するタイミングとは非同期であってもよい。

この態様によれば、３Ｄセンサが対象物の３Ｄデータを計測するときのロボットの位置及び姿勢と、変位検出装置がロボットの各関節の変位を検出するときのロボットの位置及び姿勢とを一致させるために、ロボットの動作を停止させる必要がないため、対象物の３Ｄデータの計測に要する時間を短縮できる。

本開示の他の態様に係る計測装置は、ロボットの各関節の変位を検出する変位検出装置から出力される変位を示す情報を入力するとともに、ロボットの各関節を駆動する駆動装置に駆動指令を出力する計測装置であって、ロボットに搭載される３Ｄセンサであって、対象物の表面の各点の３次元座標を示す３Ｄデータを計測する３Ｄセンサと、１又は複数の計測ポイントで対象物の３Ｄデータを計測するように３Ｄセンサを制御するセンサ制御部と、対象物に対してロボットによる第１操作が行われる前に計測された対象物の３Ｄデータと、対象物に対してロボットによる第１操作が行われた後に１又は複数の計測ポイントで計測された対象物の３Ｄデータとを３Ｄ合成する合成部と、３Ｄ合成により得られた３Ｄデータにより示される対象物の表面の各点の３次元座標に基づいて、ロボットによる第２操作を制御する駆動指令を出力するロボット制御部と、を備える。

この態様によれば、対象物に対してロボットによる第１操作が行われる前に計測された対象物の３Ｄデータを保持し、対象物に対してロボットによる第１操作が行われた後に１又は複数の計測ポイントで計測された対象物の３Ｄデータと３Ｄ合成することで、対象物に対してロボットによる第１操作が行われた後の状態の対象物の３Ｄデータをより高速に、よりロバストに生成することができる。その結果、３Ｄデータに基づく対象物の認識をより高速且つ確実にし、ロボットによる対象物の第２操作をより高い効率で行うことができる。

本開示の他の態様に係る計測方法は、ロボットに搭載される３Ｄセンサであって、対象物の表面の各点の３次元座標を示す３Ｄデータを計測する３Ｄセンサを備えるとともに、ロボットの各関節の変位を検出する変位検出装置から出力される変位を示す情報を入力し、且つ、ロボットの各関節を駆動する駆動装置に駆動指令を出力する計測装置が、１又は複数の計測ポイントで対象物の３Ｄデータを計測するように３Ｄセンサを制御することと、対象物に対してロボットによる第１操作が行われる前に計測された対象物の３Ｄデータと、対象物に対してロボットによる第１操作が行われた後に１又は複数の計測ポイントで計測された対象物の３Ｄデータとを３Ｄ合成することと、３Ｄ合成により得られた３Ｄデータにより示される対象物の表面の各点の３次元座標に基づいて、ロボットによる第２操作を制御する駆動指令を出力することと、を実行する。

この態様によれば、対象物に対してロボットによる第１操作が行われる前に計測された対象物の３Ｄデータを保持し、対象物に対してロボットによる第１操作が行われた後に１又は複数の計測ポイントで計測された対象物の３Ｄデータと３Ｄ合成することで、対象物に対してロボットによる第１操作が行われた後の状態の対象物の３Ｄデータをより高速に、よりロバストに生成することができる。その結果、３Ｄデータに基づく対象物の認識をより高速且つ確実にし、ロボットによる対象物の第２操作をより高い効率で行うことができる。

本開示の他の態様に係る計測プログラムは、ロボットに搭載される３Ｄセンサであって、対象物の表面の各点の３次元座標を示す３Ｄデータを計測する３Ｄセンサを備えるとともに、ロボットの各関節の変位を検出する変位検出装置から出力される変位を示す情報を入力し、且つ、ロボットの各関節を駆動する駆動装置に駆動指令を出力する計測装置に、１又は複数の計測ポイントで対象物の３Ｄデータを計測するように３Ｄセンサを制御することと、対象物に対してロボットによる第１操作が行われる前に計測された対象物の３Ｄデータと、対象物に対してロボットによる第１操作が行われた後に１又は複数の計測ポイントで計測された対象物の３Ｄデータとを３Ｄ合成することと、３Ｄ合成により得られた３Ｄデータにより示される対象物の表面の各点の３次元座標に基づいて、ロボットによる第２操作を制御する駆動指令を出力することと、を実行させる。

この態様によれば、対象物に対してロボットによる第１操作が行われる前に計測された対象物の３Ｄデータを保持し、対象物に対してロボットによる第１操作が行われた後に１又は複数の計測ポイントで計測された対象物の３Ｄデータと３Ｄ合成することで、対象物に対してロボットによる第１操作が行われた後の状態の対象物の３Ｄデータをより高速に、よりロバストに生成することができる。その結果、３Ｄデータに基づく対象物の認識をより高速且つ確実にし、ロボットによる対象物の第２操作をより高い効率で行うことができる。

なお、本開示において、「部」及び「装置」とは、単に物理的手段を意味するものではなく、その「部」及び「装置」が有する機能をソフトウェアによって実現する構成も含む。また、１つの「部」及び「装置」が有する機能が２つ以上の物理的手段や装置によって実現されてもよく、或いは、２つ以上の「部」及び「装置」の機能が１つの物理的手段や装置によって実現されてもよい。さらに、「部」及び「装置」とは、例えば「手段」及び「システム」と言い換えることも可能な概念である。

本開示によれば、対象物の３Ｄデータの計測に要する時間を短縮できる計測システム、計測装置、計測方法、及び計測プログラムを提供することができる。

本開示の実施形態に係る計測システムの構成の一例を示す図である。 本実施形態に係る計測システムによって行われる対象物に対する操作の一例を示す図である。 本実施形態に係る計測システム及び計測装置のハードウェア構成を模式的に示す図である。 本実施形態に係る計測システムの機能構成の一例を模式的に示す図である。 本実施形態に係る計測システムによって実行される処理を模式的に示す図である。 本実施形態に係る計測システムによって実行される処理のフローチャートである。

以下、本開示の一例に係る実施形態について、図面を参照して説明する。但し、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図ではない。すなわち、本開示の一例は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付しており、図面は模式的なものであって、必ずしも実際の寸法や比率等とは一致しない。さらに、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。また、以下に説明する実施形態は本開示の一部の実施形態であって、全ての実施形態ではないことは言うまでもない。さらに、本開示の実施形態に基づいて、当業者が創造性のある行為を必要とせずに得られる他の実施形態は、いずれも本開示の保護範囲に含まれる。

§１ 適用例
まず、図１及び図２を用いて、本開示の一例が適用される場面の一例について説明する。図１は、本実施形態に係る計測システム１００の構成の一例を示す図であり、図２は、本実施形態に係る計測システム１００によって行われる対象物５に対する操作の一例を示す図である。本実施形態に係る計測システム１００は、例えばビン等の収納容器６内にばら積みされた１又は複数のワーク（対象物）５を、ロボット６０により、収納容器６から取り出して他の収納容器７等へ移載し、整列させて配置する操作（図２の移動経路Ｐ１）、及び／又は、あるワーク５を移載し終えたロボット６０を、次のワーク５を取り出すために、収納容器６側へ復帰させる操作（図２の移動経路Ｐ２）を行うことができる。なお、ワーク５は、収納容器６内ではなく、例えば、テーブルや台等に平積みされていてもよい。また、ワーク５の種類は、特に制限されず、例えば、自動車のパワートレイン系（例えば、エンジン、又はトランスミッション等）の機械部品、又は電装系の電子部品等を挙げることができる。また、計測システム１００は、ロボット６０の他、そのロボット６０に設けられた３Ｄセンサ１と、３Ｄセンサ１及びロボット６０に接続されたコンピュータシステム１０を備える。

３Ｄセンサ１は、ロボット６０に搭載され、ワーク５の表面の各点の３次元座標を示す３Ｄデータを計測する。本実施形態において、３Ｄセンサ１は、ロボット６０のアーム３の先端部に搭載されており、図１及び図２に示すように、ワーク５を所定の視野（角）で且つ所定の計測パラメータで撮像する。３Ｄセンサ１は、例えば、点群を計測する距離センサであったり、距離センサと２次元センサとを組み合わせて距離画像を取得する距離画像センサであったりしてよい。ここで、距離センサは、奥行情報としての距離ｄを計測するセンサである。２次元センサは、２次元の画像を撮影するイメージセンサであり、２次元の画像は、距離ｄを画素値としない点において距離画像とは異なる。距離画像センサは、例えば、２次元センサの撮影位置を変えながらワーク５の複数の２次元の画像を撮影し、ステレオ立体視の画像処理により、距離ｄを画素値とする距離画像を取得するカメラでもよい。または、距離画像センサは、ワーク５を複数の異なる方向から同時に撮影することにより、距離ｄを画素値とする距離画像を取得するステレオカメラでもよい。

また、３Ｄセンサ１は、必要に応じて、適宜の計測光（例えば、アクティブ方式で用いられるパターン光やスキャン光等）を含むいわゆる３Ｄ用照明や、通常の照明であるいわゆる２Ｄ用照明をワーク５へ投射するプロジェクタ（図示せず）を有していてもよい。かかるプロジェクタの構成も特に制限されず、例えば、パターン光を投射するものの場合、レーザ光源、パターンマスク及びレンズを備える構成を例示することができる。レーザ光源から出射された光は、所定のパターンが形成されたパターンマスクによって所定のパターンを有する計測光（パターン光）に変換され、レンズを介してワーク５へ投射される。

「所定のパターン」は、特に制限されず、例えばアクティブワンショット方式で用いられる種々のパターンを例示することができる。より具体的には、例えば、複数のラインが所定の間隔で２次元に配置されたいわゆるラインベースのパターン、互いに区別可能な複数種類の単位画像、単位図形、幾何学形状等が２次元に配置（規則的でもランダムでもよく、規則的な部分とランダムな部分が混合又は重畳されていてもよい。）されたいわゆるエリアベースのパターン、縦横ラインのグリッドにグラフシンボル等が配置されたいわゆるグリッドグラフベースのパターン等が挙げられる。なお、各所定のパターンは、エンコード用に、例えばラインや単位図形を区別するためのＩＤ情報を含んでいてもよい。

また、ワーク５の計測方式としては、特に制限されず、例えば、光の直進性を用いる種々のアクティブ計測方式（例えば、三角測距を基本原理とする空間コード化パターン投影方式、時間コード化パターン投影方式、モアレトポグラフィ方式等）、光の直進性を用いる種々のパッシブ計測方式（例えば、三角測距を基本原理とするステレオカメラ方式、視体積交差方式、因子分解方式等、同軸測距を基本原理とするDepth from focusing方式等）、及び、光の速度を用いる種々のアクティブ計測方式（例えば、同時測距を基本原理とする飛行時間方式（Time of Flight）、レーザースキャン方式等）を適宜選択して用いることができる。

ワーク５の３Ｄデータとしては、それらの種々の計測方式で取得されるデータ（例えば３次元点群データや距離画像等）、また、ワーク５の３次元モデルデータと照合することが可能な適宜のデータ等を例示できる。ここで、ワーク５の３次元モデルデータとしては、例えば、３次元座標データ、その３次元座標データをワーク５の種々の異なる位置姿勢に対応して２次元投影した２次元座標データ、その他適宜のテンプレートやパターンに対応するデータ等が挙げられる。なお、ワーク５の認識において、３次元モデルデータとの照合は必須ではなく、モデルデータを用いない（いわゆるモデルレス）認識も適用可能である。

ロボット６０は、ワーク５を操作（例えば、把持、吸着、移動、組み立て、又は挿入等）するためのハンド２と、そのハンド２が先端部に設けられたアーム３を備える多関節ロボット（例えば、垂直多関節ロボット、水平多関節ロボット）である。ロボット６０には、ワーク５を操作するようにロボット６０の各関節を駆動させるサーボモータ等の駆動装置と、各関節の変位（角度変位）を検出するためのエンコーダ等の変位検出装置が組み込まれている。また、ロボット６０は、自律的に動作するマニピュレータとして動作し、例えば、ワーク５のピッキング、組み立て、搬送、塗装、検査、研磨、又は洗浄等の様々な用途に用いることができる。

ハンド２は、エンドエフェクタの一例であり、個々のワーク５を把持し且つ解放（掴み且つ離す）動作が可能な把持機構を有する。アーム３は、ハンド２を収納容器６内のワーク５の把持位置（ピックアップ位置）へ移動し、且つ、ワーク５を把持したハンド２をその把持位置から他の収納容器７における解放位置（ドロップ位置）へと移動するための駆動機構を有する。

コンピュータシステム１０は、３Ｄセンサ１及びロボット６０のそれぞれに接続されており、３Ｄセンサ１によるワーク５の計測処理、ハンド２によるワーク５の操作処理、ロボット６０（ハンド２及びアーム３等）の駆動処理の他、計測システム１００において必要とされる種々の動作や演算に関する処理を制御する。

本実施形態に係る計測システム１００は、例えば、１又は複数のワーク５を収納容器６から取り出して他の収納容器７へ移載し、整列させて配置するタスク等を、ロボット６０をワーク５の計測のために停止させることなく、複数回連続的に行うことができる。計測システム１００は、ワーク５に対する操作を開始する前に、ロボット６０の停止中に特定の計測ポイントで収納容器６内のワーク５の初期３Ｄデータを計測し、あわせてロボット６０の各関節の初期変位を検出する。これにより、３Ｄデータにより示されるワーク５の表面の各点の３次元座標を、センサ座標系からロボット座標系に変換する変換式が得られる。

その後、計測システム１００は、アーム３を動かし、ハンド２によって収納容器６内のワーク５の把持等の操作を行った後に、３Ｄセンサ１によって１又は複数の計測ポイントで収納容器６内の残りのワーク５の３Ｄデータを計測する。計測システム１００は、例えば、アーム３が移動経路Ｐ１及び移動経路Ｐ２を移動する途中に３Ｄセンサ１によって残りのワーク５の３Ｄデータを計測する。

計測システム１００は、初期３Ｄデータからロボット６０による操作（例えばワーク５のピックアップ）が行われた部分を、例えば後述するレンダリングとマスクを用いた画像処理により削除して事前３Ｄデータを生成する。その後、計測システム１００は、アーム３を動かしながら１又は複数の計測ポイントで計測されたワーク５の３Ｄデータと、事前３Ｄデータとを３Ｄ合成する。３Ｄ合成（3D Integration）は、例えば、ＩＣＰ（Iterative Closest Point）等のアルゴリズムを用いて、一方の３Ｄデータの位置及び姿勢を他方の３Ｄデータの位置及び姿勢に合わせることで行われる。そして、計測システム１００は、３Ｄ合成により得られた３Ｄデータにより示されるワーク５の表面の各点の３次元座標に基づいて、ロボット６０による収納容器６内のワーク５に対する次の操作を制御する。

さらに、計測システム１００は、収納容器６内のワーク５に対する操作を続けて行う場合に、直前に３Ｄ合成により得られた３Ｄデータからロボット６０による操作が行われた部分を削除して事前３Ｄデータを生成（更新）する。その後、計測システム１００は、アーム３を動かしながら１又は複数の計測ポイントで計測されたワーク５の３Ｄデータと、事前３Ｄデータとを３Ｄ合成し、３Ｄ合成により得られた３Ｄデータにより示されるワーク５の表面の各点の３次元座標に基づいて、ロボット６０による収納容器６内のワーク５に対する次の操作を制御する。

このように、計測システム１００は、ワーク５に対してロボット６０による操作が行われる前に計測されたワーク５の３Ｄデータと、ワーク５に対してロボット６０による操作が行われた後に１又は複数の計測ポイントで計測されたワーク５の３Ｄデータとを３Ｄ合成し、３Ｄ合成により得られた３Ｄデータによってワーク５を認識して、ロボット６０による次の操作を制御する。

従来、ワーク５のピックアップ等の操作を行う場合には、新たな操作を行う前にロボット６０を停止させてワーク５の３Ｄデータを計測し、操作対象とするワーク５を認識することがある。このような方法では、操作毎にロボット６０を停止させる必要があるため、作業効率が低下するおそれがある。この点、本実施形態に係る計測システム１００は、初回の操作の際にロボット６０を停止させてセンサ座標系とロボット座標系の対応関係を明らかにし、その後の操作においては、ロボット６０を停止させることなく操作対象とするワーク５を認識することができ、ロボット６０を停止させて３Ｄデータを計測する場合よりもタクトタイムが短くなり、作業効率を向上させることができる。また、本実施形態に係る計測システム１００は、直前の操作の際に生成した３Ｄデータを使いまわすことで、ゼロから３Ｄデータを生成する場合よりも計算量を減らし、３Ｄ合成のロバスト性を向上させることができる。

§２ 構成例
［ハードウェア構成］
次に、図３を参照しながら、本発明の実施形態に係る計測システム１００及び計測装置２００のハードウェア構成の一例について説明する。

計測装置２００は、コンピュータシステム１０と、３Ｄセンサ７０とを備える。計測システム１００は、計測装置２００と、ロボット６０と、ロボットコントローラ５０とを備える。コンピュータシステム１０は、演算装置２０と、記憶装置３０と、入出力インタフェース４０とを備える。演算装置２０は、ＣＰＵ（Central Processing Unit）２１と、ＲＯＭ（Read Only Memory）２２と、ＲＡＭ（Random Access Memory）２３とを備えている。

記憶装置３０は、ディスク媒体（例えば、磁気記録媒体又は光磁気記録媒体）又は半導体メモリ（例えば、揮発性メモリ又は不揮発性メモリ）などのコンピュータ読み取り可能な記録媒体である。このような記録媒体は、例えば、非一過性の記録媒体と呼ぶこともできる。記憶装置３０は、少なくとも事前データ３１及び計測プログラム３２を格納している。事前データ３１は、ワーク５に対してロボット６０により初回の操作が行われる前に、ロボット６０の停止中に特定の計測ポイントで計測されたワーク５の初期３Ｄデータと、ロボット６０の停止中に特定の計測ポイントで検出されたロボット６０の各関節の初期変位と、ワーク１５に対してロボット６０による操作が行われる前に計測されたワーク５の３Ｄデータから操作が行われた部分を削除して得られる事前３Ｄデータとを含む。計測プログラム３２は、記憶装置３０からＲＡＭ２３に読み込まれ、ＣＰＵ２１によって解釈及び実行される。計測プログラム３２は、ロボット６０の動作を制御するメインプログラムとしても機能する。

演算装置２０は、入出力インタフェース４０を通じて、変位検出装置６２から出力されるロボット６０の各関節の変位を示す情報を入力するとともに、ロボット６０の各関節を駆動する駆動装置６１に駆動指令を出力する。

ロボットコントローラ５０は、入出力インタフェース４０を通じて、演算装置２０から出力される駆動指令に応答して、ロボット６０の各関節を駆動する駆動装置６１の駆動（例えば、サーボモータの回転数及び回転トルク）を制御する。

３Ｄセンサ１は、入出力インタフェース４０を通じて、演算装置２０から出力される計測指令に応答して、ワーク５の３Ｄデータを計測する。

演算装置２０は、入出力インタフェース４０を通じて、３Ｄセンサ１によって計測されたワーク５の３Ｄデータと、変位検出装置６２から出力されるロボット６０の各関節の変位を示す情報とを入力し、３Ｄセンサ１によるワーク５の３Ｄデータの計測を指令する計測指令と、駆動装置６１の駆動を制御する駆動指令とを出力する。このとき、ＲＡＭ２３は、３Ｄセンサ１によって計測されたワーク５の３Ｄデータと、変位検出装置６２から出力されるロボット６０の各関節の変位を示す情報とを一時的に記憶し、演算装置２０によるレジストレーション処理３００を行うためのワークエリアとして機能する。

なお、図３では、駆動装置６１及び変位検出装置６２がそれぞれ一つ図示されている例が示されているが、駆動装置６１及び変位検出装置６２のそれぞれの個数は、関節の個数と同数でよい。

［機能構成］
図４は、本実施形態に係る計測システム１００の機能構成の一例を模式的に示す図である。コンピュータシステム１０のハードウェア資源と計測プログラム３２との協働により、ロボット制御部１１、センサ制御部１２、合成部１３及び変換部１４としての機能が実現される。

コンピュータシステム１０におけるロボット制御部１１、センサ制御部１２、合成部１３及び変換部１４は、汎用プロセッサによって実現することができ、本開示においては限定されず、これらの部品の全部又は一部の機能を専用回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等）を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。

センサ制御部１２は、１又は複数の計測ポイントで対象物の３Ｄデータを計測するように３Ｄセンサ１を制御する。複数の計測ポイントは、対象物に対する３Ｄセンサ１の相対的な位置関係がそれぞれ異なる。センサ制御部１２は、ロボット６０の各関節が駆動している間に１又は複数の計測ポイントで対象物の３Ｄデータを計測するように３Ｄセンサ１を制御する。センサ制御部１２は、例えば、ロボット６０のアーム３が駆動している間に１又は複数の計測ポイントで対象物の３Ｄデータを計測するように３Ｄセンサ１を制御する。このように、ロボット６０の動作を停止させることなく対象物の３Ｄデータを計測することで、ロボット６０による対象物の操作をより効率的に行うことができる。

１又は複数の計測ポイントで３Ｄセンサ１が対象物の３Ｄデータを計測するタイミングと、変位検出装置６２がロボット６０の各関節の変位を検出するタイミングとは非同期であってよい。これにより、３Ｄセンサ１が対象物の３Ｄデータを計測するときのロボット６０の位置及び姿勢と、変位検出装置６２がロボット６０の各関節の変位を検出するときのロボット６０の位置及び姿勢とを一致させるために、ロボット６０の動作を停止させる必要がないため、対象物の３Ｄデータの計測に要する時間を短縮できる。

合成部１３は、対象物に対してロボット６０による或る操作が行われる前に計測された対象物の３Ｄデータと、対象物に対してロボット６０による当該操作が行われた後に１又は複数の計測ポイントで計測された対象物の３Ｄデータとを３Ｄ合成する。ここで、合成部１３は、対象物に対してロボット６０による或る操作が行われる前に計測された対象物の３Ｄデータから当該操作が行われた部分を削除して事前３Ｄデータを生成し、事前３Ｄデータと、対象物に対してロボット６０による当該操作が行われた後に１又は複数の計測ポイントで計測された対象物の３Ｄデータとを３Ｄ合成する。このように、直前の操作の前に計測した３Ｄデータに基づく事前３Ｄデータと、新たに計測した１又は複数の３Ｄデータとを３Ｄ合成することで、直前の操作後における対象物の３Ｄデータをより高速に、よりロバストに生成することができる。

３Ｄセンサ１は、対象物に対してロボット６０により行われる複数の操作のうち初回の操作が行われる前に、ロボット６０の停止中に特定の計測ポイントで対象物の初期３Ｄデータを計測する。また、変位検出装置６２は、初回の操作が行われる前に、ロボット６０の停止中に特定の計測ポイントでロボット６０の各関節の初期変位を検出する。そして、変換部１４は、初期３Ｄデータ及び初期変位に基づいて、センサ座標系からロボット座標系への変換を算出し、３Ｄ合成により得られる３Ｄデータにより示される対象物の表面の各点の３次元座標を、センサ座標系からロボット座標系に変換する。これにより、３Ｄデータに基づくロボット６０による対象物の操作をより正確に行うことができる。もっとも、計測システム１００は、ロボット６０の各関節の初期変位を用いずに、画像解析によって、３Ｄ合成により得られる３Ｄデータにより示される対象物の表面の各点の３次元座標を、センサ座標系からロボット座標系に変換してもよい。

ロボット制御部１１は、３Ｄ合成により得られた３Ｄデータにより示される対象物の表面の各点の３次元座標に基づいて、ロボット６０による操作を制御する駆動指令を駆動装置６１に出力する。ロボット制御部１１は、初期３Ｄデータの計測及び初期変位の検出が行われた後、ロボット６０を停止させずに複数の操作を連続的に行うようにロボット６０を制御する。これにより、３Ｄデータの計測のためにロボット６０を停止させることなく、複数の操作を連続的に実行することができ、作業効率を向上させることができる。

§３ 動作例

図５は、本実施形態に係る計測システム１００によって実行される処理を模式的に示す図である。同図では、ロボット６０により対象物Ｏｂｊに対してピックアップ操作を行う場合に生成される３Ｄデータの例を示している。

計測システム１００は、ロボット６０により対象物Ｏｂｊに対してピックアップ操作を行う前に生成されたｎ番目（ｎは正の整数）の３ＤデータＤ１（3D data [n]）について、ピックアップ操作が行われた領域Ｒを削除して、事前３ＤデータＤ２（Updated 3D data）を得る。また、計測システム１００は、対象物Ｏｂｊのピックアップ操作を行った後に１又は複数の計測ポイントで３Ｄデータを計測し、ｎ＋１番目の３ＤデータＤ３（New 3D data [n+1]）を得る。

より具体的には、例えば、まず、ピックアップ操作を行う前の３ＤデータＤ１における対象物Ｏｂｊの位置姿勢情報（３Ｄデータ）と、仮想３Ｄ空間において異なる複数の（多数の）視点に配置された仮想カメラの撮像パラメータに基づいて、当該３ＤデータＤ１を取得したカメラの撮像位置における対象物Ｏｂｊのイメージ（画像）を、適宜のレンダリングシステムやレンダラーを用いて生成する。次に、生成された対象物Ｏｂｊのイメージを二値化（バイナライズ）することによって背景画像から分離し、当該対象物Ｏｂｊが含まれる領域（上記領域Ｒに相当）を覆うマスクを生成する。このマスクとしては、例えば、対象物Ｏｂｊを含む矩形状又は円形状などの枠どり（bounding box）や、対象物Ｏｂｊの輪郭内の領域を塗りつぶしたもの（blob）などが挙げられる。そして、そのマスクを、ピックアップ操作前に生成された３ＤデータＤ１に適用する（例えば重ね合わせる）ことにより、その３ＤデータＤ１から、ピックアップ操作が行われた領域Ｒを削除することができ、これにより事前３ＤデータＤ２が得られる。なお、かかる領域Ｒの削除処理は、センサ座標系における３Ｄデータに対して行ってもよいし、変換後のロボット座標系における３Ｄデータに対して行ってもよく、また、上記の例示に限定されない。

そして、計測システム１００は、事前３ＤデータＤ２とｎ＋１番目の３ＤデータＤ３とを３Ｄ合成することで、新たに合成された３ＤデータＤ４（Newly integrated 3D data）を得る。新たに合成された３ＤデータＤ４は、事前３ＤデータＤ２に含まれる領域Ｒ以外のデータと、ｎ＋１番目の３ＤデータＤ３に含まれる領域Ｒ以外のデータとをマッチングさせ、ｎ＋１番目の３ＤデータＤ３に含まれる領域Ｒのデータを統合することで生成される。計測システム１００は、新たに合成された３ＤデータＤ４を用いて対象物を認識し、ロボット６０によって対象物の操作を行う。また、新たに合成された３ＤデータＤ４は、次に行われる操作において、事前３Ｄデータとして用いられる。

このように、計測システム１００は、ロボット６０により対象物の操作を行う毎に３Ｄデータを生成し直すのではなく、直前の操作において生成した３Ｄデータを再利用することで、３Ｄデータをより高速且つよりロバストに生成することができる。

なお、３ＤデータＤ４の３Ｄ合成の仕方は、上述の手法に限らず、事前３ＤデータＤ２と１又は複数の計測ポイントで計測された対象物の３Ｄデータとを用いた種々の手法を採用することができる。例えば、ＩＣＰに換えて、又は、ＩＣＰに加えて、ロボット６０の各関節の初期変位と、各計測ポイントで３Ｄセンサ１が３Ｄデータを計測した時点におけるロボットの各関節の変位とに基づいて、各計測ポイントで計測された３Ｄデータを、事前３ＤデータＤ２に３Ｄ合成してもよい。

図６は、本実施形態に係る計測システム１００によって実行される処理のフローチャートである。計測システム１００は、はじめに、ロボット６０の停止中に特定の計測ポイントで対象物の初期３Ｄデータを計測する（Ｓ１０）。また、計測システム１００は、ロボット６０の停止中に特定の計測ポイントでロボット６０の各関節の初期変位を検出する（Ｓ１１）。そして、計測システム１００は、初期３Ｄデータ及び初期変位に基づいて、センサ座標系からロボット座標系への変換を算出する（Ｓ１２）。

その後、計測システム１００は、ロボット６０を停止させずに１又は複数の計測ポイントで対象物の３Ｄデータ及びロボット６０の各関節の変位を計測する（Ｓ１３）。３Ｄデータ及びロボット６０の各関節の変位の計測は、例えば、ロボット６０のハンド２によって対象物を移送する間に行われてよい。

計測システム１００は、事前３Ｄデータと、１又は複数の計測ポイントで計測された３Ｄデータとを３Ｄ合成する（Ｓ１４）。ここで、事前３Ｄデータは、初回の操作の場合、初期３Ｄデータである。また、計測システム１００は、３Ｄ合成により得られる３Ｄデータにより示される３次元座標を、センサ座標系からロボット座標系に変換する（Ｓ１５）。この際、先に算出したセンサ座標系からロボット座標系への変換を用いてよい。

計測システム１００は、３次元座標に基づいて、ロボット６０による操作を制御する（Ｓ１６）。計測システム１００は、例えば、ロボット６０のハンド２によって対象物をピックアップし、所定の場所に移送するようにロボット６０を制御する。

計測システム１００は、３Ｄデータからロボット６０による操作が行われた部分を削除して事前３Ｄデータを生成する（Ｓ１７）。例えば、ロボット６０により対象物のピックアップが行われた場合、ピックアップされた対象物を含む領域を３Ｄデータから削除する。こうして生成された事前３Ｄデータは、続いて行われる３Ｄ合成において用いられる。

対象物に対する操作が終了していない場合（Ｓ１８：ＮＯ）、計測システム１００は、処理Ｓ１３～Ｓ１７を再び実行する。ここで、処理Ｓ１４にて用いられる事前３Ｄデータは、操作が行われる度に更新される。

以上説明した実施形態及び変形例は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態及び変形例が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態及び変形例で示した構成同士を部分的に置換し又は組み合わせることも可能である。

すなわち、上述した対象物の検査を行うときの照明条件を設定する装置、システム又はその一部をソフトウェア機能ユニットの形態で実現して単独の製品として販売したり使用したりする場合、コンピュータが読み取り可能な記憶媒体に記憶することができる。これにより、本発明の技術案の本質又は既存技術に貢献のある部分あるいは該技術案の全部又は一部をソフトウェア製品の形態で実現して、コンピュータ機器（パーソナルコンピュータ、サーバ又は、ネットワーク機器等であることができる）に本発明の各実施例に記載の方法のステップの中の全部又は一部を実現させる命令を含むそのコンピューターソフトウェア製品を、記憶媒体に記憶することができる。上述した記憶媒体は、ＵＳＢ、読み出し専用メモリ（ＲＯＭ：Read-Only Memory）、ランダムアクセスメモリ（ＲＡＭ：Random Access Memory）、モバイルハードディスク、フロッピーディスク又は光ディスク等のプログラムコードを記憶できるさまざまな媒体である。

１…３Ｄセンサ、２…ハンド、３…アーム、５…ワーク（対象物）、６，７…収納容器、１０…コンピュータシステム、１１…ロボット制御部、１２…センサ制御部、１３…合成部、１４…変換部、２０…演算装置、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、３０…記憶装置、３１…事前データ、３２…計測プログラム、４０…入出力インタフェース、５０…ロボットコントローラ、６０…ロボット、６１…駆動装置、６２…変位検出装置、７０…３Ｄセンサ、８０…対象物、１００…計測システム、２００…計測装置

Claims (9)

1. ロボットに搭載される３Ｄセンサであって、対象物の表面の各点の３次元座標を示す３Ｄデータを計測する３Ｄセンサと、
   前記ロボットの各関節の変位を検出する変位検出装置と、
   前記ロボットの各関節を駆動させる駆動装置と、
   １又は複数の計測ポイントで前記対象物の３Ｄデータを計測するように前記３Ｄセンサを制御するセンサ制御部と、
   前記対象物に対して前記ロボットによる第１操作が行われる前に計測された前記対象物の３Ｄデータと、前記対象物に対して前記ロボットによる前記第１操作が行われた後に前記センサ制御部によって前記１又は複数の計測ポイントで計測された前記対象物の３Ｄデータとを３Ｄ合成する合成部と、
   前記３Ｄ合成により得られた３Ｄデータにより示される前記対象物の表面の各点の３次元座標に基づいて、前記ロボットによる第２操作を制御する駆動指令を前記駆動装置に出力するロボット制御部と、
   を備える計測システム。
2. 前記合成部は、前記対象物に対して前記ロボットによる前記第１操作が行われる前に計測された前記対象物の３Ｄデータから前記第１操作が行われた部分を削除して事前３Ｄデータを生成し、前記事前３Ｄデータと、前記対象物に対して前記ロボットによる前記第１操作が行われた後に前記センサ制御部によって前記１又は複数の計測ポイントで計測された前記対象物の３Ｄデータとを３Ｄ合成する、
   請求項１に記載の計測システム。
3. 前記３Ｄセンサは、前記対象物に対して前記ロボットにより行われる複数の操作のうち初回の操作が行われる前に、前記ロボットの停止中に特定の計測ポイントで前記対象物の初期３Ｄデータを計測し、
   前記変位検出装置は、前記初回の操作が行われる前に、前記ロボットの停止中に前記特定の計測ポイントで前記ロボットの各関節の初期変位を検出し、
   前記初期３Ｄデータ及び前記初期変位に基づいて、センサ座標系からロボット座標系への変換を算出し、前記３Ｄ合成により得られる３Ｄデータにより示される前記対象物の表面の各点の３次元座標を、前記センサ座標系から前記ロボット座標系に変換する変換部をさらに備える、
   請求項１又は２に記載の計測システム。
4. 前記ロボット制御部は、前記初期３Ｄデータの計測及び前記初期変位の検出が行われた後、前記ロボットを停止させずに前記複数の操作を連続的に行うように前記ロボットを制御する、
   請求項３に記載の計測システム。
5. 前記センサ制御部は、前記ロボットの各関節が駆動している間に前記１又は複数の計測ポイントで前記対象物の３Ｄデータを計測するように前記３Ｄセンサを制御する、
   請求項１から４のいずれか一項に記載の計測システム。
6. 前記１又は複数の計測ポイントで前記３Ｄセンサが前記対象物の３Ｄデータを計測するタイミングと、前記変位検出装置が前記ロボットの各関節の変位を検出するタイミングとは非同期である、
   請求項５に記載の計測システム。
7. ロボットの各関節の変位を検出する変位検出装置から出力される前記変位を示す情報を入力するとともに、前記ロボットの各関節を駆動する駆動装置に駆動指令を出力する計測装置であって、
   前記ロボットに搭載される３Ｄセンサであって、対象物の表面の各点の３次元座標を示す３Ｄデータを計測する３Ｄセンサと、
   １又は複数の計測ポイントで前記対象物の３Ｄデータを計測するように前記３Ｄセンサを制御するセンサ制御部と、
   前記対象物に対して前記ロボットによる第１操作が行われる前に計測された前記対象物の３Ｄデータと、前記対象物に対して前記ロボットによる前記第１操作が行われた後に前記センサ制御部によって前記１又は複数の計測ポイントで計測された前記対象物の３Ｄデータとを３Ｄ合成する合成部と、
   前記３Ｄ合成により得られた３Ｄデータにより示される前記対象物の表面の各点の３次元座標に基づいて、前記ロボットによる第２操作を制御する前記駆動指令を出力するロボット制御部と、
   を備える計測装置。
8. ロボットに搭載される３Ｄセンサであって、対象物の表面の各点の３次元座標を示す３Ｄデータを計測する３Ｄセンサを備えるとともに、前記ロボットの各関節の変位を検出する変位検出装置から出力される前記変位を示す情報を入力し、且つ、前記ロボットの各関節を駆動する駆動装置に駆動指令を出力する計測装置が、
   １又は複数の計測ポイントで前記対象物の３Ｄデータを計測するように前記３Ｄセンサを制御することと、
   前記対象物に対して前記ロボットによる第１操作が行われる前に計測された前記対象物の３Ｄデータと、前記対象物に対して前記ロボットによる前記第１操作が行われた後に前記１又は複数の計測ポイントで計測された前記対象物の３Ｄデータとを３Ｄ合成することと、
   前記３Ｄ合成により得られた３Ｄデータにより示される前記対象物の表面の各点の３次元座標に基づいて、前記ロボットによる第２操作を制御する前記駆動指令を出力することと、
   を実行する計測方法。
9. ロボットに搭載される３Ｄセンサであって、対象物の表面の各点の３次元座標を示す３Ｄデータを計測する３Ｄセンサを備えるとともに、前記ロボットの各関節の変位を検出する変位検出装置から出力される前記変位を示す情報を入力し、且つ、前記ロボットの各関節を駆動する駆動装置に駆動指令を出力する計測装置に、
   １又は複数の計測ポイントで前記対象物の３Ｄデータを計測するように前記３Ｄセンサを制御することと、
   前記対象物に対して前記ロボットによる第１操作が行われる前に計測された前記対象物の３Ｄデータと、前記対象物に対して前記ロボットによる前記第１操作が行われた後に前記１又は複数の計測ポイントで計測された前記対象物の３Ｄデータとを３Ｄ合成することと、
   前記３Ｄ合成により得られた３Ｄデータにより示される前記対象物の表面の各点の３次元座標に基づいて、前記ロボットによる第２操作を制御する前記駆動指令を出力することと、
   を実行させる計測プログラム。