JP6923574B2

JP6923574B2 - ３次元形状計測システムおよび３次元形状計測方法

Info

Publication number: JP6923574B2
Application number: JP2019017173A
Authority: JP
Inventors: 潤和田
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2019-02-01
Filing date: 2019-02-01
Publication date: 2021-08-18
Anticipated expiration: 2039-02-01
Also published as: US11389967B2; US20200246979A1; JP2020125921A; DE102020101715A1; CN111515943A

Description

本発明は、被写体の３次元形状を計測する３次元形状計測システムおよび３次元形状計測方法に関する。

下記特許文献１には、カメラから取得した撮像画像を用いてワークの位置および姿勢を求める画像処理を行い、求めた位置および姿勢に基づいて、ロボットアームの先端に取り付けられたエンドエフェクタを有するロボットの動作を制御する方法が開示されている。

特開２０１１−１１３３０号公報

しかしながら、例えば、複数のワークが収容されているコンテナなどを計測対象とする場合、当該計測対象がカメラの撮像範囲に収まらない場合がある。この場合、上記の特許文献１では、ワークの位置および姿勢を求めるための情報の一部が欠落してしまうことになる。

そこで、本発明は、相対的に大型の被写体であってもその被写体の３次元情報を生成し得る３次元形状計測システムおよび３次元形状計測方法を提供することを目的とする。

本発明の第１の態様は、３次元形状計測システムであって、複数の軸を有する多関節ロボットと、前記多関節ロボットに少なくとも１つ設けられ、被写体の３次元形状を計測する３次元ビジョンセンサと、オーバーラップ領域を有する複数の計測範囲の各々で計測された前記３次元形状を示す距離画像が記憶される記憶部と、前記記憶部に記憶された複数の前記距離画像を、前記オーバーラップ領域に対応する部分が重なるように統合して統合距離画像を生成する統合部と、を備える。

本発明の第２の態様は、複数の軸を有する多関節ロボットと、前記多関節ロボットに少なくとも１つ設けられ、被写体の３次元形状を計測する３次元ビジョンセンサと、を有する３次元形状計測システムの３次元形状計測方法であって、オーバーラップ領域を有する複数の計測範囲の各々で計測された前記３次元形状を示す距離画像を記憶部に記憶する記憶ステップと、前記記憶部に記憶された複数の前記距離画像を、前記オーバーラップ領域に対応する部分が重なるように統合して統合距離画像を生成する統合ステップと、を含む。

本発明によれば、１つの計測範囲に収まらない被写体であっても、その被写体の３次元形状を示す情報（統合距離画像）を生成することができ、この結果、相対的に大型の被写体の３次元情報を生成することができる。

本実施の形態の３次元形状計測システムの構成を示す模式図である。情報処理装置の構成を示す模式図である。計測処理の流れを示すフローチャートである。距離画像および統合距離画像を示す概念図である。統合範囲が指定された場合の統合距離画像を示す概念図である。設定支援処理の流れを示すフローチャートである。図７Ａはオーバーラップ領域の表示例（１）を示す概念図であり、図７Ｂはオーバーラップ領域の表示例（２）を示す概念図であり、図７Ｃはオーバーラップ領域の表示例（３）を示す概念図である。図１の３次元形状計測システムに第２の３次元ビジョンセンサをさらに設けた場合を示す模式図である。

本発明について、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。

〔実施の形態〕
図１は、本実施の形態の３次元形状計測システム１０の構成を示す模式図である。３次元形状計測システム１０は、多関節ロボット２０、複数の３次元ビジョンセンサ３０、制御装置４０および情報処理装置５０を有する。

多関節ロボット２０は、複数の軸ＡＸを有する産業用ロボットである。多関節ロボット２０として、具体的には、垂直多関節ロボット、水平多関節ロボットまたはパラレルリンクロボットなどが挙げられる。

本実施の形態では、多関節ロボット２０は、垂直多関節ロボットとし、複数の軸ＡＸは、旋回軸ＡＸ１、第１関節軸ＡＸ２、第２関節軸ＡＸ３、第３関節軸ＡＸ４およびハンド回転軸ＡＸ５の５つとする。

旋回軸ＡＸ１は、基台２２に対して旋回部２４を旋回可能に連結しており、旋回部２４は、旋回軸ＡＸ１を駆動するモータの回転に応じて旋回する。第１関節軸ＡＸ２は、旋回部２４に対して第１リンク２６Ａを回転可能に連結しており、第１リンク２６Ａは、第１関節軸ＡＸ２を駆動するモータの回転に応じて回転する。

第２関節軸ＡＸ３は、第１リンク２６Ａに対して第２リンク２６Ｂを回転可能に連結しており、第２リンク２６Ｂは、第２関節軸ＡＸ３を駆動するモータの回転に応じて回転する。第３関節軸ＡＸ４は、第２リンク２６Ｂに対して第３リンク２６Ｃを回転可能に連結しており、第３リンク２６Ｃは、第３関節軸ＡＸ４を駆動するモータの回転に応じて回転する。

ハンド回転軸ＡＸ５は、第３リンク２６Ｃに対してハンド部２８を回転可能に連結しており、ハンド部２８は、ハンド回転軸ＡＸ５を駆動するモータの回転に応じて回転する。このハンド部２８は、搬送対象物Ｗを把持し、把持した搬送対象物Ｗを解放すものである。ハンド部２８は、搬送対象物Ｗを挟むことで搬送対象物Ｗを把持してもよく、搬送対象物Ｗを吸引することで搬送対象物Ｗを把持してもよい。

なお、ハンド部２８を把持または解放する動作は、制御装置４０に制御される。また、上記の旋回軸ＡＸ１、第１関節軸ＡＸ２、第２関節軸ＡＸ３、第３関節軸ＡＸ４およびハンド回転軸ＡＸ５を駆動する各々のモータは、制御装置４０により制御される。

複数の３次元ビジョンセンサ３０の各々は、被写体の３次元形状を計測するものであり、多関節ロボット２０に設けられる。各々の３次元ビジョンセンサ３０は、複数の画素を計測点とするセンサ素子を有し、当該センサ素子を用いて計測範囲ＡＲ内にある被写体の３次元形状を計測する。３次元ビジョンセンサ３０における計測方式は、ＴｏＦ（Time Of Flight）方式であってもよく、三角測量方式であってもよい。

本実施の形態では、２つの３次元ビジョンセンサ３０が多関節ロボット２０に設けられているものとし、２つの３次元ビジョンセンサ３０の一方を３次元ビジョンセンサ３０Ａとし、２つの３次元ビジョンセンサ３０の他方を３次元ビジョンセンサ３０Ｂとする。また、３次元ビジョンセンサ３０Ａの計測範囲ＡＲを計測範囲ＡＲ１とし、３次元ビジョンセンサ３０Ｂの計測範囲ＡＲを計測範囲ＡＲ２とする。

３次元ビジョンセンサ３０Ａの計測範囲ＡＲ１と、３次元ビジョンセンサ３０Ｂの計測範囲ＡＲ２とはオーバーラップ領域ＯＬＲを有する。このオーバーラップ領域ＯＬＲを通じて各々の計測範囲ＡＲ１、ＡＲ２を合わせた範囲で３次元形状の計測が可能であり、実測範囲が広がる。したがって、より大きな３次元形状の計測が可能である。

本実施の形態では、２つの３次元ビジョンセンサ３０Ａ、３０Ｂの被写体は、複数の搬送対象物Ｗを収容可能なコンテナＣＴとする。このコンテナＣＴは、重力の働く下方向とは反対の上方向が開放され、予め定められた所定の計測位置に配置された２つの３次元ビジョンセンサ３０Ａ、３０Ｂの計測範囲ＡＲ１、ＡＲ２を合わせた範囲よりも小さいものであり、当該範囲内に設置されるものとする。

制御装置４０は、多関節ロボット２０を制御するものである。制御装置４０は、具体的には、旋回軸ＡＸ１、第１関節軸ＡＸ２、第２関節軸ＡＸ３、第３関節軸ＡＸ４およびハンド回転軸ＡＸ５を駆動する各々のモータと、ハンド部２８の把持および解放の動作とを制御する。

制御装置４０は、本実施の形態では、搬送対象物Ｗを計測する計測モードと、搬送対象物Ｗを搬送する搬送モードとを有する。

制御装置４０は、計測モードでは、所定の計測位置に２つの３次元ビジョンセンサ３０Ａ、３０Ｂを配置するように、旋回軸ＡＸ１、第１関節軸ＡＸ２、第２関節軸ＡＸ３、第３関節軸ＡＸ４およびハンド回転軸ＡＸ５を駆動する各々のモータを個別に制御する。

制御装置４０は、搬送モードでは、所定の設置場所に設置されるコンテナＣＴから指定場所に搬送対象物Ｗを搬送するように、旋回軸ＡＸ１、第１関節軸ＡＸ２、第２関節軸ＡＸ３、第３関節軸ＡＸ４およびハンド回転軸ＡＸ５を駆動する各々のモータと、ハンド部２８の動作とを制御する。

情報処理装置５０は、制御装置４０に対して多関節ロボット２０の制御を指示するとともに、２つの３次元ビジョンセンサ３０Ａ、３０Ｂの各々の計測結果を用いて所定の処理を実行するものである。この情報処理装置５０は、汎用のパーソナルコンピュータであってもよい。

図２は、情報処理装置５０の構成を示す模式図である。情報処理装置５０は、ハードディスクなどの記憶部５２と、マウスやキーボードなどの操作入力部５４と、各種の情報を表示する表示部５６と、信号処理部５８とを有する。

信号処理部５８は、記憶部５２、操作入力部５４および表示部５６と接続される。この信号処理部５８は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などのプロセッサと、ＲＯＭ（Read Only Memory）やＲＡＭ（Random access memory）などのメモリとを有する。メモリに記憶されたプログラムをプロセッサが実行することで、信号処理部５８が取得部６０、統合部６２、表示制御部６４および姿勢演算部６６として機能し、操作入力部５４の操作に応じて各種の処理を実行する。

ここで、計測操作に応じて実行される信号処理部５８の計測処理について説明する。図３は、計測処理の流れを示すフローチャートである。

ステップＳ１において、取得部６０は、計測モードの実行指令を制御装置４０に与えて制御装置４０に対して計測モードを実行させることで、２つの３次元ビジョンセンサ３０Ａ、３０Ｂを所定の計測位置に配置させる。

これにより、図４に示すように、３次元ビジョンセンサ３０Ａの計測範囲ＡＲ１（図１参照）内にあるコンテナＣＴの一部を含む被写体の３次元形状を示す距離画像ＭＧ１が、計測結果として、３次元ビジョンセンサ３０Ａから出力される。また、３次元ビジョンセンサ３０Ｂの計測範囲ＡＲ２（図１参照）内にあるコンテナＣＴの一部を含む３次元形状を示す距離画像ＭＧ２が、計測結果として、３次元ビジョンセンサ３０Ｂから出力される。

なお、複数の距離画像ＭＧ（ＭＧ１、ＭＧ２）の各々は、計測された３次元形状を示す３次元情報であり、複数の画素（計測点）の各々の座標情報と、各々の画素から被写体までの距離を示す距離情報とを含む。

取得部６０は、所定の計測位置に配置させた３次元ビジョンセンサ３０Ａの計測範囲ＡＲ１の距離画像ＭＧ１と、当該計測位置に配置させた３次元ビジョンセンサ３０Ｂの計測範囲ＡＲ２の距離画像ＭＧ２とを取得すると、ステップＳ２に進む。

ステップＳ２において、取得部６０は、ステップＳ１で取得した距離画像ＭＧ１、ＭＧ２を記憶部５２に記憶し、ステップＳ３に進む。

ステップＳ３において、統合部６２は、図４に示すように、記憶部５２に記憶された２つの距離画像ＭＧ１、ＭＧ２を統合する。統合部６２は、具体的には、２つの距離画像ＭＧ１、ＭＧ２を、オーバーラップ領域ＯＬＲ（図１参照）に対応する部分ＰＴが重なるように統合して統合距離画像ＩＭＧを生成する。この統合距離画像ＩＭＧは、複数の距離画像ＭＧ１、ＭＧ２の各々の一部を重ねて統合したものであるため、各々の距離画像ＭＧ１、ＭＧ２よりも大きい３次元形状を示す情報となる。

なお、図５に示すように、オペレータによる操作入力部５４の操作に応じて統合範囲ＩＳが指定されている場合、統合部６２は、記憶部５２に記憶された２つの距離画像ＭＧ１、ＭＧ２のうち、指定された統合範囲ＩＳの距離画像部分を統合対象として用いる。これにより、２つの距離画像ＭＧ１、ＭＧ２の各々の全体を統合対象として用いる場合（図５の破線および一点鎖線を合わせた範囲）に比べて、統合処理の負荷を低減することができる。

本実施の形態では、コンテナＣＴの外枠が統合範囲ＩＳとして指定される。したがって、搬送対象物Ｗの誤検出を回避することができ、また搬送対象物Ｗの姿勢などの演算に不要な範囲の情報の処理を削減することができる。

統合部６２は、統合距離画像ＩＭＧを生成すると、ステップＳ４に進む。ステップＳ４において、統合部６２は、ステップＳ３で生成した統合距離画像ＩＭＧを記憶部５２に記憶する。これにより計測処理は終了する。

このように信号処理部５８は、オーバーラップ領域ＯＬＲを有する複数の計測範囲ＡＲ１、ＡＲ２に対応する距離画像ＭＧ１、ＭＧ２を統合することで、相対的に大型の被写体であってもその被写体の３次元情報を生成することができる。

次に、オーバーラップ領域ＯＬＲの設定を支援する設定支援操作に応じて実行される信号処理部５８の設定支援処理について説明する。この設定支援処理は、少なくとも１回の上記の計測処理が実行されて記憶部５２に距離画像ＭＧ１、ＭＧ２および統合距離画像ＩＭＧが記憶された状態の後に、実行される。図６は、設定支援処理の流れを示すフローチャートである。

ステップＳ１０において、表示制御部６４は、記憶部５２に記憶された距離画像ＭＧ１、ＭＧ２および統合距離画像ＩＭＧに基づいて、例えば図７Ａに示すように、計測範囲ＡＲ１、ＡＲ２（図１参照）が識別可能な状態で統合距離画像ＩＭＧを表示部５６に表示させる。

なお、計測範囲ＡＲ１、ＡＲ２が識別可能な状態で表示させる具体的な態様として、次のような態様が挙げられる。すなわち、図７Ａの例示のように、表示制御部６４は、計測範囲ＡＲ１の距離画像ＭＧ１と、計測範囲ＡＲ２の距離画像ＭＧ２との一方をハッチングすることで、計測範囲ＡＲ１、ＡＲ２が識別可能な状態としてもよい。また例えば、表示制御部６４は、計測範囲ＡＲ１の距離画像ＭＧ１と、計測範囲ＡＲ２の距離画像ＭＧ２とを色分けすることで、計測範囲ＡＲ１、ＡＲ２が識別可能な状態としてもよい。

このように、計測範囲ＡＲ１、ＡＲ２が識別可能な状態で統合距離画像ＩＭＧが表示されることで、オペレータは、計測範囲ＡＲ１、ＡＲ２の各々のオーバーラップ領域ＯＬＲ（図１参照）に対応する部分ＰＴを確認することができる。また、オペレータは、その部分ＰＴの大きさに応じて、３次元ビジョンセンサ３０の計測位置を調整するか否か判断することができる。

ステップＳ１１において、取得部６０は、操作入力部５４から再統合する旨の指令または再統合しない旨の指令を受けるまで待機する。なお、これら指令を入力するためのボタンを、ステップＳ１０において表示制御部６４が統合距離画像ＩＭＧとともに表示部５６に表示させてもよい。

ここで、再統合する旨の指令を受けた場合、オペレータによって３次元ビジョンセンサ３０の計測位置が調整され、その調整後のオーバーラップ領域ＯＬＲ（図１参照）に対応する部分ＰＴを確認する意思があることを意味する。この場合、取得部６０は、計測処理ルーチンＲＴに進む。この計測処理ルーチンＲＴでは、取得部６０および統合部６２が上記の計測処理（図３参照）を実行した後にステップＳ１０に戻る。

これにより、図７Ｂまたは図７Ｃに示すように、計測処理ルーチンＲＴを実行することで新たに生成された統合距離画像ＩＭＧが表示される。したがって、オペレータは、調整後のオーバーラップ領域ＯＬＲ（図１参照）に対応する部分ＰＴを確認することができる。つまり、オペレータは、オーバーラップ領域ＯＬＲ（図１参照）を確認しながら、３次元ビジョンセンサ３０の計測位置を調整することができる。

なお、計測処理ルーチンＲＴの実行前に記憶部５２に記憶された統合距離画像ＩＭＧは、当該計測処理ルーチンＲＴを実行することで新たに生成された統合距離画像ＩＭＧに更新される。また、計測処理ルーチンＲＴの実行前に記憶部５２に記憶された距離画像ＭＧ１、ＭＧ２は、当該計測処理ルーチンＲＴを実行することで新たに取得された距離画像ＭＧ１、ＭＧ２に更新される。

一方、再統合しない旨の指令を受けた場合、３次元ビジョンセンサ３０の計測位置の調整が不要であり、その調整後のオーバーラップ領域ＯＬＲ（図１参照）に対応する部分ＰＴを再確認する必要がない意思があることを意味する。この場合、取得部６０は計測処理ルーチンＲＴに進むことなく、設定支援処理は終了する。なお、設定支援処理は終了時に、表示制御部６４は、表示部５６に表示させた統合距離画像ＩＭＧを非表示としてもよい。

次に、搬送対象物Ｗの姿勢を演算するための姿勢演算操作に応じて実行される姿勢演算部６６の姿勢演算処理について説明する。姿勢演算部６６は、記憶部５２に記憶された統合距離画像ＩＭＧに基づいて姿勢演算処理を実行する。姿勢演算部６６は、具体的には、統合距離画像ＩＭＧに対して画像処理を施すことで統合距離画像ＩＭＧに含まれる搬送対象物Ｗを検出し、検出した搬送対象物Ｗの姿勢を既知の演算手法を用いて演算する。

姿勢演算部６６は、搬送対象物Ｗの姿勢を演算すると、演算した搬送対象物Ｗの姿勢を示す姿勢情報を生成し、生成した姿勢情報を制御装置４０に出力する。制御装置４０は、この姿勢情報に基づいて、搬送モード時に、旋回軸ＡＸ１、第１関節軸ＡＸ２、第２関節軸ＡＸ３、第３関節軸ＡＸ４およびハンド回転軸ＡＸ５を駆動する各々のモータと、ハンド部２８の動作とを制御する。これにより、所定の設置位置に設置されるコンテナＣＴから指定場所に搬送対象物Ｗが搬送される。

〔変形例〕
以上、本発明の一例として上記の実施の形態が説明されたが、本発明の技術的範囲は上記の実施の形態に記載の範囲には限定されない。上記の実施の形態に、多様な変更または改良を加えることが可能であることはもちろんである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

なお、変更または改良を加えた形態の一部は変形例として以下に説明する。ただし、上記の実施の形態において説明した構成と同等の構成については同一の符号を付し、重複する説明は省略する。

＜変形例１＞
上記の実施の形態では、複数の３次元ビジョンセンサ３０（２つの３次元ビジョンセンサ３０Ａ、３０Ｂ）が多関節ロボット２０に設けられた。しかし、多関節ロボット２０に設けられる３次元ビジョンセンサ３０の数は１つであってもよい。

１つの３次元ビジョンセンサ３０が多関節ロボット２０に設けられる場合、制御装置４０は、計測モードでは、複数の計測範囲ＡＲ１、ＡＲ２の各々を計測可能な位置に３次元ビジョンセンサ３０が移動するように、多関節ロボット２０を制御する。

この場合、ステップＳ１において（図３参照）、取得部６０は、計測モードの実行指令を制御装置４０に与えて制御装置４０に計測モードを実行させる。これにより、取得部６０は、複数の計測範囲ＡＲ１、ＡＲ２の各々を計測可能な位置に１つの３次元ビジョンセンサ３０が配置されたときの計測結果として、距離画像ＭＧ１、ＭＧ２を取得することができる。

このように、多関節ロボット２０に設けられる３次元ビジョンセンサ３０の数が１つであっても、上記の実施の形態と同様に、複数の計測範囲ＡＲ１、ＡＲ２の各々の距離画像ＭＧ１、ＭＧ２が取得可能である。したがって、変形例１では、３次元ビジョンセンサ３０の数を削減することができる。

＜変形例２＞
上記の実施の形態では、複数の３次元ビジョンセンサ３０が多関節ロボット２０に設けられた。しかし、図８に示すように、多関節ロボット２０に３次元ビジョンセンサ３０が設けられ、多関節ロボット２０とは異なる位置に不動の状態で第２の３次元ビジョンセンサ３０Ｘが設けられてもよい。なお、３次元ビジョンセンサ３０および第２の３次元ビジョンセンサ３０Ｘの数は、１つであってもよく、２以上であってもよい。つまり、少なくとも１つの３次元ビジョンセンサ３０と、少なくとも１つの第２の３次元ビジョンセンサ３０Ｘとを用いて複数の計測範囲ＡＲが計測される。

本変形例２では、３次元ビジョンセンサ３０および第２の３次元ビジョンセンサ３０Ｘの数はともに２つとする。また、複数の計測範囲ＡＲは、３次元ビジョンセンサ３０を用いて計測する２つの第１計測範囲ＡＲＸと、第２の３次元ビジョンセンサ３０Ｘを用いて計測する２つの第２計測範囲ＡＲＹとの４つとする。

本変形例２の制御装置４０は、計測モードでは、複数の計測範囲ＡＲのうち、２つの第１計測範囲ＡＲＸの各々を計測可能な位置に２つの３次元ビジョンセンサ３０が移動するように、多関節ロボット２０を制御する。

一方、取得部６０は、ステップＳ１において（図３参照）、計測モードの実行指令を制御装置４０に与えて制御装置４０に計測モードを実行させることで、２つの第１計測範囲ＡＲＸの各々の距離画像ＭＧを取得する。また、取得部６０は、固定された状態にある第２の３次元ビジョンセンサ３０Ｘの各々から第２計測範囲ＡＲＹの距離画像ＭＧを取得する。

このように、複数の計測範囲ＡＲの一部（第１計測範囲ＡＲＸ）の距離画像ＭＧを、多関節ロボット２０の３次元ビジョンセンサ３０から取得し、複数の計測範囲ＡＲの他の一部（第２計測範囲ＡＲＹ）の距離画像ＭＧを、不動の第２の３次元ビジョンセンサ３０Ｘから取得することが可能である。

したがって、変形例２では、互いに離間する複数の設置場所の各々に対して複数の計測範囲ＡＲが定められる場合に、各々の設置場所における複数の計測範囲ＡＲの一部（第１計測範囲ＡＲＸ）の距離画像ＭＧを、１台の多関節ロボット２０に設けられる３次元ビジョンセンサ３０を用いて取得することができる。

＜変形例３＞
上記実施の形態では、記憶部５２、操作入力部５４、表示部５６、取得部６０、統合部６２、表示制御部６４および姿勢演算部６６を情報処理装置５０が有していた。しかし、記憶部５２、操作入力部５４、表示部５６、取得部６０、統合部６２、表示制御部６４および姿勢演算部６６の一部および全部を制御装置４０が有していてもよい。

＜変形例４＞
上記の実施の形態および変形例は、矛盾の生じない範囲で任意に組み合わされてもよい。

〔上記から把握し得る発明〕
上記の実施の形態および変形例から把握し得る発明について、以下に記載する。

＜第１の発明＞
第１の発明は、３次元形状計測システム（１０）であって、複数の軸（ＡＸ）を有する多関節ロボット（２０）と、多関節ロボット（２０）に少なくとも１つ設けられ、被写体の３次元形状を計測する３次元ビジョンセンサ（３０）と、オーバーラップ領域（ＯＬＲ）を有する複数の計測範囲（ＡＲ）の各々で計測された３次元形状を示す距離画像（ＭＧ）が記憶される記憶部（５２）と、記憶部（５２）に記憶された複数の距離画像（ＭＧ）を、オーバーラップ領域（ＯＬＲ）に対応する部分（ＰＴ）が重なるように統合して統合距離画像（ＩＭＧ）を生成する統合部（６２）と、を備える。

これにより、１つの計測範囲（ＡＲ）に収まらない被写体であっても、その被写体の３次元形状を示す情報（統合距離画像ＩＭＧ）を生成することができ、この結果、相対的に大型の被写体の３次元情報を生成することができる。

３次元形状計測システム（１０）は、複数の計測範囲（ＡＲ）が識別可能な状態で統合距離画像（ＩＭＧ）を表示させる表示制御部（６４）を備えてもよい。これにより、オペレータに対して計測範囲（ＡＲ）のオーバーラップ領域（ＯＬＲ）を確認させながら、３次元ビジョンセンサ（３０）の計測位置を調整させることができる。

統合部（６２）は、記憶部（５２）に記憶された複数の距離画像（ＭＧ）のうち、指定された統合範囲（ＩＳ）の距離画像部分を、統合対象として用いてもよい。これにより、複数の距離画像（ＭＧ）の各々の全体を統合対象として用いる場合に比べて、統合処理の負荷を低減することができる。

被写体は、複数の計測範囲（ＡＲ）を合わせた範囲よりも小さく、複数の搬送対象物（Ｗ）を収容可能なコンテナ（ＣＴ）であり、統合範囲（ＩＳ）は、コンテナ（ＣＴ）の外枠とされてもよい。これにより、搬送対象物（Ｗ）の誤検出を回避することができ、また搬送対象物（Ｗ）の姿勢などの演算に不要な範囲の情報の処理を削減することができる。

３次元形状計測システム（１０）は、複数の計測範囲（ＡＲ）の各々を計測可能な位置に３次元ビジョンセンサ（３０）が移動するように、多関節ロボット（２０）を制御する制御装置（４０）を備えてもよい。これにより、３次元ビジョンセンサ（３０）の数を削減することができる。

３次元形状計測システム（１０）は、多関節ロボット（２０）とは異なる位置に不動の状態で設けられ、複数の計測範囲（ＡＲ）の少なくとも１つを計測する第２の３次元ビジョンセンサ（３０Ｘ）を備え、制御装置（４０）は、複数の計測範囲（ＡＲ）のうち、第２の３次元ビジョンセンサ（３０Ｘ）が計測する計測範囲（ＡＲ）以外の計測範囲（ＡＲ）を計測可能な位置に３次元ビジョンセンサ（３０）が移動するように、多関節ロボット（２０）を制御してもよい。これにより、互いに離間する複数の計測場所の各々に対して複数の計測範囲（ＡＲ）が定められる場合に、各々の設置場所の複数の計測範囲（ＡＲ）の一部の距離画像（ＭＧ）を、１台の多関節ロボット（２０）に設けられる３次元ビジョンセンサ（３０）を用いて取得することができる。

＜第２の発明＞
第２の発明は、複数の軸（ＡＸ）を有する多関節ロボット（２０）と、多関節ロボット（２０）に少なくとも１つ設けられ、被写体の３次元形状を計測する３次元ビジョンセンサ（３０）と、を有する３次元形状計測システム（１０）の３次元形状計測方法である。この３次元形状計測方法は、オーバーラップ領域（ＯＬＲ）を有する複数の計測範囲（ＡＲ）の各々で計測された３次元形状を示す距離画像（ＭＧ）を記憶部（５２）に記憶する記憶ステップ（Ｓ２）と、記憶部（５２）に記憶された複数の距離画像（ＭＧ）を、オーバーラップ領域（ＯＬＲ）に対応する部分（ＰＴ）が重なるように統合して統合距離画像（ＩＭＧ）を生成する統合ステップ（Ｓ３）と、を含む。

３次元形状計測方法は、複数の計測範囲（ＡＲ）が識別可能な状態で統合距離画像（ＩＭＧ）を表示させる表示制御ステップ（Ｓ１０）を含んでもよい。これにより、オペレータに対して計測範囲（ＡＲ）のオーバーラップ領域（ＯＬＲ）を確認させながら、３次元ビジョンセンサ（３０）の計測位置を調整させることができる。

統合ステップ（Ｓ３）は、記憶部（５２）に記憶された複数の距離画像（ＭＧ）のうち、指定された統合範囲（ＩＳ）の距離画像部分を、統合対象として用いてもよい。これにより、複数の距離画像（ＭＧ）の各々の全体を統合対象として用いる場合に比べて、統合処理の負荷を低減することができる。

３次元形状計測方法は、複数の計測範囲（ＡＲ）の各々を計測可能な位置に３次元ビジョンセンサ（３０）が移動するように、多関節ロボット（２０）を制御する制御ステップ（Ｓ１）を含んでもよい。これにより、３次元ビジョンセンサ（３０）の数を削減することができる。

３次元形状計測システム（１０）は、多関節ロボット（２０）とは異なる位置に不動の状態で設けられ、複数の計測範囲（ＡＲ）の少なくとも１つを計測する第２の３次元ビジョンセンサ（３０Ｘ）を備え、制御ステップ（Ｓ１）は、複数の計測範囲（ＡＲ）のうち、第２の３次元ビジョンセンサ（３０Ｘ）が計測する計測範囲（ＡＲ）以外の計測範囲（ＡＲ）を計測可能な位置に３次元ビジョンセンサ（３０）が移動するように、多関節ロボット（２０）を制御してもよい。これにより、互いに離間する複数の計測場所の各々に対して複数の計測範囲（ＡＲ）が定められる場合に、各々の設置場所の複数の計測範囲（ＡＲ）の一部の距離画像（ＭＧ）を、１台の多関節ロボット（２０）に設けられる３次元ビジョンセンサ（３０）を用いて取得することができる。

１０…３次元形状計測システム２０…多関節ロボット
３０（３０Ａ、３０Ｂ）…３次元ビジョンセンサ４０…制御装置
５０…情報処理装置５２…記憶部
５４…操作入力部５６…表示部
６０…取得部６２…統合部
６４…表示制御部６６…姿勢演算部

Claims

複数の軸を有する多関節ロボットと、
前記多関節ロボットに少なくとも１つ設けられ、被写体の３次元形状を計測する３次元ビジョンセンサと、
オーバーラップ領域を有する複数の計測範囲の各々で計測された前記３次元形状を示す距離画像が記憶される記憶部と、
前記記憶部に記憶された複数の前記距離画像を、前記オーバーラップ領域に対応する部分が重なるように統合して統合距離画像を生成する統合部と、
複数の前記計測範囲が識別可能な状態で前記統合距離画像を表示させる表示制御部と、
を備える３次元形状計測システム。
請求項１に記載の３次元形状計測システムであって、
前記統合部は、前記記憶部に記憶された複数の前記距離画像のうち、指定された統合範囲の距離画像部分を、統合対象として用いる、３次元形状計測システム。
請求項２に記載の３次元形状計測システムであって、
前記被写体は、複数の前記計測範囲を合わせた範囲よりも小さく、複数の搬送対象物を収容可能なコンテナであり、
前記統合範囲は、前記コンテナの外枠とされる、３次元形状計測システム。
請求項１〜３のいずれか１項に記載の３次元形状計測システムであって、
複数の前記計測範囲の各々を計測可能な位置に前記３次元ビジョンセンサが移動するように、前記多関節ロボットを制御する制御装置を備える、３次元形状計測システム。
請求項４に記載の３次元形状計測システムであって、
前記多関節ロボットとは異なる位置に不動の状態で設けられ、複数の前記計測範囲の少なくとも１つを計測する第２の３次元ビジョンセンサを備え、
前記制御装置は、複数の前記計測範囲のうち、前記第２の３次元ビジョンセンサが計測する前記計測範囲以外の前記計測範囲を計測可能な位置に前記３次元ビジョンセンサが移動するように、前記多関節ロボットを制御する、３次元形状計測システム。
複数の軸を有する多関節ロボットと、前記多関節ロボットに少なくとも１つ設けられ、被写体の３次元形状を計測する３次元ビジョンセンサと、を有する３次元形状計測システムの３次元形状計測方法であって、
オーバーラップ領域を有する複数の計測範囲の各々で計測された前記３次元形状を示す距離画像を記憶部に記憶する記憶ステップと、
前記記憶部に記憶された複数の前記距離画像を、前記オーバーラップ領域に対応する部分が重なるように統合して統合距離画像を生成する統合ステップと、
複数の前記計測範囲が識別可能な状態で前記統合距離画像を表示させる表示制御ステップと、
を含む３次元形状計測方法。
請求項６に記載の３次元形状計測方法であって、
前記統合ステップは、前記記憶部に記憶された複数の前記距離画像のうち、指定された統合範囲の距離画像部分を、統合対象として用いる、３次元形状計測方法。
請求項７に記載の３次元形状計測方法であって、
前記被写体は、複数の前記計測範囲を合わせた範囲よりも小さく、複数の搬送対象物を収容可能なコンテナであり、
前記統合範囲は、前記コンテナの外枠とされる、３次元形状計測方法。
請求項６〜８のいずれか１項に記載の３次元形状計測方法であって、
複数の前記計測範囲の各々を計測可能な位置に前記３次元ビジョンセンサが移動するように、前記多関節ロボットを制御する制御ステップを含む、３次元形状計測方法。
請求項９に記載の３次元形状計測方法であって、
前記多関節ロボットとは異なる位置に不動の状態で設けられ、複数の前記計測範囲の少なくとも１つを計測する第２の３次元ビジョンセンサを備え、
前記制御ステップは、複数の前記計測範囲のうち、前記第２の３次元ビジョンセンサが計測する前記計測範囲以外の前記計測範囲を計測可能な位置に前記３次元ビジョンセンサが移動するように、前記多関節ロボットを制御する、３次元形状計測方法。