JP7376268B2 - 三次元データ生成装置及びロボット制御システム - Google Patents

Description

本発明は、三次元データ生成装置及びロボット制御システムに関し、特にロボットビジョンにおけるワーク検出用マスタデータとしてワークの部分三次元データをオフラインで生成する三次元データ生成装置及びロボット制御システムに関する。

産業用ロボットの制御に活用されているロボットビジョンでは、視覚センサで取得したデータの中からワークを検出することにより、予め教示したロボットの位置及び姿勢の少なくとも一方を補正したり、ロボットの位置及び姿勢の少なくとも一方を直接教示したりすることが行われている。ワーク検出方法としてはパターンマッチングが広く採用されており、パターンマッチングではワーク検出用マスタデータとして二次元パターン又は三次元パターンが利用されている。三次元パターンは、ワークの回転、スケール変化だけでなく、輝度値の変化に対してもロバストにワークを検出できる点で、二次元パターンより優れている。

三次元パターンとしては、ワークの全体形状を表す全体三次元データの他、ワークの部分形状を表す部分三次元データが利用されている。部分三次元データは、高速なマッチング処理を可能にするだけでなく、近年行われてきたバラ積みピッキングのようなワーク同士が重なり合う場面でも、高精度なマッチング処理を実現している。本願に関連する技術としては、後述の文献が公知である。

特許文献１には、教示したモデルパターンに幾何学的変換を施した変換モデルパターンを使ってパターンマッチングを行うことにより、平行移動、回転移動、拡大縮小に加え、三次元的に異なる相対姿勢の対象物も認識できることが記載されている。

特許文献２には、バラ積みされた複数のワークの中から１つずつワークをロボットで取出す場合に、ワークの代表的な部分形状と、この部分形状に適した把持位置の優先順位を記憶しておくことにより、バラ積みされたワークの把持位置を短時間で決定して迅速にワークの取出しを行うことが記載されている。また、優先順位の高い把持位置を選択することにより、取出しを行うワークと他のワークとの引っ掛かりを防止することも記載されている。

特許文献３には、ワーク全体を形状モデルとして登録せずに、ワークの一部を形状モデルとしてワークを検出することにより、検出の画像処理時間を高速化し、ワークの位置姿勢を決定することが記載されている。

特許文献４には、ステレオカメラ等の三次元視覚センサの設定内容が適切であるか否かを容易に確認するため、撮像手段で取得した認識対象物の少なくとも一部分のエッジの三次元情報と、認識対象物の全体を表す三次元モデルとを、撮像手段の座標系に透視変換し、透視変換した認識対象物のエッジの投影像と三次元モデルの投影像を照合可能な態様で表示することが記載されている。

特許文献５には、山積みされた複数の物体に対する距離情報を取得し、距離情報と物体の部分的な形状を表す部分モデルとに基づいて計測対象物体の位置姿勢を導出し、物体の全体形状を表す全体モデルに基づいて計測対象物体と計測対象物体を格納する容器との間に干渉が生じるかを判定することが記載されている。

特許文献６には、ロボットビジョンを用いたバラ積みピッキングにおいて、複数のサーチモデルを用いた三次元サーチを行って入力画像中から各ワークの位置姿勢を特定し、三次元サーチに成功したサーチモデルに対応するワーク表面の位置姿勢に加えて、三次元サーチに失敗したサーチモデル又はサーチの信頼性が低いサーチモデルに対応するワーク表面の位置姿勢も特定し、把持候補位置として利用可能にすることが記載されている。

特開２００４－２９５２２３号公報 特開２０１０－８９２３８号公報 特開２０１０－１８４３０８号公報 特開２０１０－２１１７４６号公報 特開２０１６－１７９５３４号公報 特開２０１８－１４４１６７号公報

ワーク検出用マスタデータとして登録するワークの三次元データは、オンライン又はオフラインでロボットに教示されている。オンライン教示の場合には、実機である実ロボット、実視覚センサ、実ワーク等を用意し、ワークの三次元データを生成するものの、ワークの光沢、照明、外光等の影響に起因してワークの三次元データを精度良く生成できないことがある。従って、教示者の試行錯誤を要し、工数が掛かるという問題がある。

他方、オフライン教示の場合には、一般にワークのＣＡＤ（computer-aided design）データを用意し、ソフトウェア上でＣＡＤデータからワーク検出用マスタデータを生成するため、教示者の手間を軽減する。ところが、ワークの全体形状を表す全体三次元データでは、マッチング処理が遅くなるだけでなく、バラ積みピッキングのような一部のアプリケーションには適用できないことがある。また、ワークの部分形状を表す部分三次元データであっても、部分三次元データの大きさに対して視覚センサの撮像範囲が広い場合には、マッチング処理に時間を要することになる。

そこで、ワーク検出用マスタデータの作成工数を低減すると共に、高速なマッチング処理を実現するワーク検出用マスタデータを提供する技術が求められている。

本開示の一態様は、仮想ワークの一部が仮想視覚センサの撮像範囲に収まるように仮想ワーク及び仮想視覚センサを仮想空間上に配置する仮想空間配置部と、配置した仮想ワークと仮想視覚センサと間の配置関係を計算する配置関係計算部と、計算した配置関係に基づき、撮像範囲に含まれるワークの部分形状を表す部分三次元データを生成する部分三次元データ生成部と、を備える、三次元データ生成装置を提供する。部分三次元データ生成部は、撮像範囲の三次元モデルの各面と仮想ワークの三次元モデルの各面との交差線を夫々求め、求めた交差線に基づき仮想ワークの部分三次元モデルを切出し、仮想視覚センサの画素から延びる視線と部分三次元モデルの各面との交点を求め、求めた交点の三次元点群データをワークの部分三次元データとして生成する。

本開示の一態様によれば、オンライン教示の場合と比べ、ワーク検出用マスタデータを概ね自動で生成できるため、教示者の試行錯誤を必要とせず、ワーク検出用マスタデータの作成工数を低減できる。また、仮想視覚センサの撮像範囲に収まるワークの部分三次元データを生成することにより、ワークと視覚センサとの間の配置関係へロボットを移動さえすれば、制限された撮像範囲の中からワークを迅速に検出できることとなる。従って、高速なマッチング処理を実現可能なワーク検出用マスタデータを提供できる。

一実施形態における三次元データ生成装置の構成図である。 仮想ワーク、仮想視覚センサ、及び仮想ロボットの配置例を示す斜視図である。 仮想ワーク、仮想視覚センサ、及び仮想ロボットの配置例を示す斜視図である。 部分三次元データの生成例を示す斜視図である。 部分三次元データの生成例を示す斜視図である。 一実施形態における三次元データ生成装置のフローチャートである。 予め設定した撮像範囲の一例を示す斜視図である。 視覚センサの仕様に応じて変更した撮像範囲の一例を示す斜視図である。 視覚センサの仕様に応じて変更した撮像範囲の一例を示す斜視図である。 ワーク検出位置への移動前及び移動後のロボットの一例を示す斜視図である。 ワーク検出位置への移動前及び移動後のロボットの一例を示す斜視図である。

以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。本書において、「ワーク」、「視覚センサ」、及び「ロボット」と単に表記する場合には、「仮想ワーク」と「実ワーク」、「仮想視覚センサ」と「実視覚センサ」、並びに「仮想ロボット」と「仮想ワーク」を夫々含むことに留意されたい。また、本書において、「三次元モデル」とは、物体の面情報を少なくとも含む三次元データを意味し、「三次元エッジ」とは、物体の面情報を含まず、物体の辺情報を少なくとも含む三次元データを意味し、「三次元点群データ」とは、物体の面情報及び辺情報を含まず、物体の点情報を少なくとも含むデータを意味することに留意されたい。

図１は、本実施形態における三次元データ生成装置１の構成を示している。三次元データ生成装置１は、ＣＰＵ（central processing unit）、ＦＰＧＡ（field-programmable gate array）等のプロセッサを備えた公知のコンピュータ装置で構成される。三次元データ生成装置１は、ロボット制御装置（図示せず。）とは別個のオフライン教示装置であるが、ロボット制御装置と一体化して構成してもよい。また、三次元データ生成装置１は、生成したデータをロボット制御装置に渡すため、有線又は無線を介してロボット制御装置と通信可能に構成されるが、外部メモリを介してロボット制御装置へデータを渡してもよい。図１に示す三次元データ生成装置１の構成要素「～部」は、機能ブロック又は機能セクションを表すことに留意されたい。

三次元データ生成装置１は、仮想空間配置部１０、配置関係計算部１１、及び部分三次元データ生成部１２を備えている。仮想空間配置部１０は、仮想ワーク、仮想視覚センサ、仮想ロボット等の全体形状を表す全体三次元データをメモリから夫々読出し、仮想空間上に配置する。全体三次元データとしては、三次元モデル、三次元エッジ、又は三次元点群データでもよい。三次元モデルは、例えばＣＡＤデータ、ポリゴンデータ等でよく、三次元エッジは、例えばワイヤフレームデータ等でよく、三次元点群データは、例えばＴＯＦ（time of flight）カメラ、レーザスキャナ等で生成した点群データ等でよい。

図２Ａ－図２Ｂは、仮想ワーク２１、仮想視覚センサ２２、及び仮想ロボット２３の配置例を示している。仮想空間配置部１０は、仮想ワーク２１の一部が仮想視覚センサ２２の撮像範囲に収まるように仮想ワーク２１及び仮想視覚センサ２２を仮想空間２０上に配置する。図２Ａに示す例では、仮想視覚センサ２２が仮想ロボット２３のエンドエフェクタ、例えばハンド２４の近傍に配置されているのに対し、図２Ｂに示す例では、仮想視覚センサ２２が仮想ロボット２３とは別個の位置、例えば固定構造体２５に固定されている点に留意されたい。仮想視覚センサ２２は二次元センサでもよいし又は三次元センサでよい。二次元センサは、例えばＣＣＤ（charge-coupled device）カメラ、ＣＭＯＳ（complementary metal-oxide-semiconductor）カメラ等でよく、三次元センサは、例えばステレオカメラ、ＴＯＦカメラ、レーザスキャナ等でよい。仮想空間２０上に、仮想空間２０の原点Ｏ１、仮想ワーク２１の原点Ｏ２、仮想視覚センサ２２の原点Ｏ３、及び仮想ロボット２３の原点Ｏ４を夫々設定し、原点Ｏ１－Ｏ４を中心とした各直交座標系の間で三次元データを座標変換できるように構成する。

図１を再び参照すると、配置関係計算部１１は、配置した仮想ワーク２１と仮想視覚センサ２２との間の配置関係を計算する。配置関係は、例えば仮想視覚センサ２２の位置及び姿勢の少なくとも一方に対する仮想ワーク２１の位置及び姿勢の少なくとも一方でもよいし、又は仮想ワーク２１の位置及び姿勢の少なくとも一方に対する仮想視覚センサ２２の位置及び姿勢の少なくとも一方でもよい。

部分三次元データ生成部１２は、計算した配置関係に基づき、仮想視覚センサ２２の撮像範囲に収まるワークの部分三次元データを生成する。図３－図４は、部分三次元データ２８の生成例を示している。撮像範囲２６は、予め用意した三次元モデルでよく、図３に示す例では、撮像範囲２６が四角錐の形状を呈している。仮想ワーク２１が例えば三次元モデルである場合には、撮像範囲２６の三次元モデルの各面と仮想ワーク２１の三次元モデルの各面との交差線を夫々求め、求めた交差線に基づき仮想ワーク２１の部分三次元モデル２７を切出し、仮想視覚センサ２２の各画素から延びる視線（図示せず。）と部分三次元モデル２７の各面との交点を求め、求めた交点の三次元点群データをワークの部分三次元データ２８として生成することができる。又は、切出した部分三次元モデル２７自体をワークの部分三次元データとして生成してもよい。

また部分三次元データの生成手法の変形例として、仮想ワーク２１が例えば三次元エッジである場合には、撮像範囲２６の三次元モデルの各面と仮想ワーク２１の三次元エッジの各辺との交差点を夫々求め、求めた交差点に基づき仮想ワーク２１の部分三次元エッジを切出し、切出した部分三次元エッジ自体を部分三次元データとして生成してもよい。

部分三次元データの生成手法の他の変形例として、ワークの部分三次元モデル又は部分三次元エッジを切出さずに、仮想視覚センサ２２の各画素から延びる視線（図示せず。）と仮想ワーク２１の全体三次元モデルの各面との交点を求め、求めた交点の三次元点群データをワークの部分三次元データ２８として直接生成することも可能である。

部分三次元データの生成手法の別の変形例として、仮想ワーク２１が例えば三次元点群データである場合には、撮像範囲２６の三次元モデルに収まる三次元点群データをワークの部分三次元データ２８として直接生成してもよい。仮想ワーク２１の三次元点群データの点間ピッチが仮想視覚センサ２２の各画素から延びる視線間ピッチに一致しない場合には、仮想ワーク２１の点間ピッチを仮想視覚センサ２２の視線間ピッチに一致させる処理を行うことが望ましい。

図５は三次元データ生成装置１のフローチャートを示している。このフローチャートに従って記述されるプログラムは三次元データ生成装置１のプロセッサで実行されることに留意されたい。ステップＳ１０では、仮想ワーク２１、仮想視覚センサ２２、及び仮想ロボット２３等の全体形状を表す三次元データをメモリに読出し、仮想ワーク２１の一部が仮想視覚センサ２２の撮像範囲２６に収まるように仮想ワーク２１及び仮想視覚センサ２２を仮想空間２０上に配置する。ステップＳ１１では、配置した仮想ワーク２１と仮想視覚センサ２２との間の配置関係を計算する。ステップＳ１２では、計算した配置関係に基づき、撮像範囲２６に収まるワークの部分三次元データ２８を生成する。部分三次元データの生成手法は前述の通りである。

図１を再び参照すると、三次元データ生成装置１は、撮像範囲設定部１３及び撮像範囲表示部１４をさらに備えていてもよい。撮像範囲設定部１３は、仮想視覚センサ２２の撮像範囲２６の設定画面をモニタ上に表示させ、撮像範囲２６を教示者に設定させる。図６は、設定した撮像範囲２６の一例を示している。撮像範囲２６の形状は、仮想視覚センサ２２の種類によって様々であるため、視覚センサの仕様に応じて変更可能にしてもよい。視覚センサの仕様は、例えば視覚センサの画素数、焦点距離（又は画角）、視覚センサからワークまでの推奨距離のうちの少なくとも１つを含む。図７Ａ－図７Ｂは、視覚センサの仕様に応じて変更した撮像範囲２６の一例を示している。図７Ａに示す例では、視覚センサの焦点距離に応じて画角が狭くなっていてワークまでの推奨距離が遠くなっているのに対し、図７Ｂに示す例では、視覚センサの焦点距離に応じて画角が広くなっていてワークまでの推奨距離が近くなっている。撮像範囲表示部１４は、設定又は変更した撮像範囲２６をモニタ上に表示させ、教示者に撮像範囲２６を確認させる。

図１を再び参照すると、三次元データ生成装置１は、移動プログラム生成部１５をさらに備えていてもよい。移動プログラム生成部１５は、計算した配置関係に基づき、視覚センサによるワーク検出位置へロボットを移動させる移動プログラムを生成する。図８Ａ－図８Ｂは、ワーク検出位置への移動前（破線で示す。）及び移動後（実線で示す。）のロボットの一例を示している。図８Ａに示す例では、視覚センサ２２がロボット２３のエンドエフェクタ、例えばハンド２４の近傍に配置されていて、ロボット２３が移動プログラムに従って移動することにより、ハンド２４の近傍に配置した視覚センサ２２をワーク２１との配置関係へ移動させていることに留意されたい。また図８Ｂに示すでは、視覚センサ２２がロボット２３とは別個の位置、例えば固定構造体２５に固定されていて、ロボット２３が移動プログラムに従って移動することにより、ハンド２４で把持したワーク２１を視覚センサ２２との配置関係へ移動させていることに留意されたい。移動プログラムにより、仮想空間でのワーク検出シミュレーションと、実機によるワーク検出処理との双方を実施することが可能になる。また、移動プログラムによってワーク２１と視覚センサ２２のとの間の配置関係へロボット２３を移動さえすれば、制限された撮像範囲２６の中からワークを迅速に検出できることとなる。

図１を再び参照すると、三次元データ生成装置１は、データ送信部１６をさらに備えていてもよい。データ送信部１６は、生成したデータ、例えば前述の配置関係、部分三次元データ、及び移動プログラムのうちの少なくとも１つをロボット制御装置（図示せず。）へ送信する。受信したワークの部分三次元データは、ロボット制御装置でワーク検出用マスタデータとして登録される。ロボット制御装置は、受信した移動プログラムに従って実視覚センサによる実ワークの検出位置へ実ロボットを移動させ、受信した部分三次元データに基づき実視覚センサで取得したデータの中から実ワークを検出すると共に、検出した実ワークの位置及び姿勢の少なくとも一方に基づき実ロボットの位置及び姿勢の少なくとも一方を制御する。また、データ生成装置１がロボット制御装置と一体化して構成される場合には、ロボット制御装置自体が、前述の配置関係、部分三次元データ、及び移動プログラムのうちの少なくとも１つをソフトウェア上で、即ちオフラインで生成してもよい。

前述した実施形態によれば、オンライン教示の場合と比べ、ワーク検出用マスタデータを概ね自動で生成できるため、教示者の試行錯誤を必要とせず、ワーク検出用マスタデータの作成工数を低減できる。また、仮想視覚センサの撮像範囲に収まるワークの部分三次元データを生成することにより、ワークと視覚センサとの間の配置関係へロボットを移動さえすれば、制限された撮像範囲の中からワークを迅速に検出できることとなる。従って、高速なマッチング処理を実現可能なワーク検出用マスタデータを提供できる。

前述のプロセッサによって実行されるプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ－ＲＯＭ等に記録して提供してもよい。

本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。

１ 三次元データ生成装置
１０ 仮想空間配置部
１１ 配置関係計算部
１２ 部分三次元データ生成部
１３ 撮像範囲設定部
１４ 撮像範囲表示部
１５ 移動プログラム生成部
１６ データ送信部
２０ 仮想空間
２１ 仮想ワーク又はワーク
２２ 仮想視覚センサ又は視覚センサ
２３ 仮想ロボット又はロボット
２４ ハンド
２５ 固定構造体
２６ 撮像範囲
２７ 部分三次元モデル
２８ 部分三次元データ
Ｏ１ 仮想空間の原点
Ｏ２ 仮想ワークの原点
Ｏ３ 仮想視覚センサの原点
Ｏ４ 仮想ロボットの原点

Claims (14)

1. 仮想ワークの一部が仮想視覚センサの撮像範囲に収まるように前記仮想ワーク及び前記仮想視覚センサを仮想空間上に配置する仮想空間配置部と、
   配置した前記仮想ワークと前記仮想視覚センサとの間の配置関係を計算する配置関係計算部と、
   計算した前記配置関係に基づき、前記撮像範囲に含まれるワークの部分形状を表す部分三次元データを生成する部分三次元データ生成部と、を備え、
   前記部分三次元データ生成部は、前記撮像範囲の三次元モデルの各面と前記仮想ワークの三次元モデルの各面との交差線を夫々求め、求めた前記交差線に基づき前記仮想ワークの部分三次元モデルを切出し、前記仮想視覚センサの画素から延びる視線と前記部分三次元モデルの各面との交点を求め、求めた前記交点の三次元点群データを前記ワークの前記部分三次元データとして生成する、三次元データ生成装置。
2. 前記部分三次元データ生成部は、前記撮像範囲に収まる前記ワークの部分形状を表す部分三次元モデルを切出し、前記部分三次元モデルから前記部分三次元データを生成する、請求項１に記載の三次元データ生成装置。
3. 前記撮像範囲を設定する撮像範囲設定部をさらに備える、請求項１又は２に記載の三次元データ生成装置。
4. 前記撮像範囲は実視覚センサの仕様に応じて変更可能である、請求項３に記載の三次元データ生成装置。
5. 前記実視覚センサの仕様は、前記実視覚センサの画素数、焦点距離、及び前記実視覚センサからワークまでの推奨距離のうちの少なくとも１つを含む、請求項４に記載の三次元データ生成装置。
6. 前記撮像範囲を表示する撮像範囲表示部をさらに備える、請求項１から５のいずれか一項に記載の三次元データ生成装置。
7. 前記配置関係に基づき、前記仮想視覚センサによるワーク検出位置へロボットを移動させる移動プログラムを生成する移動プログラム生成部をさらに備える、請求項１から６のいずれか一項に記載の三次元データ生成装置。
8. 前記配置関係、前記部分三次元データ、及び前記移動プログラムのうちの少なくとも一つをロボット制御装置へ送信するデータ送信部をさらに備える、請求項７に記載の三次元データ生成装置。
9. 前記仮想視覚センサは、仮想ロボットのエンドエフェクタの近傍に設置されるか、又は前記仮想ロボットとは別個の位置に固定される、請求項１から８のいずれか一項に記載の三次元データ生成装置。
10. 前記仮想視覚センサは二次元センサ又は三次元センサを含む、請求項１から９のいずれか一項に記載の三次元データ生成装置。
11. 前記仮想ワーク及び前記撮像範囲は、三次元モデルで構成され、前記仮想視覚センサは、三次元モデル、三次元エッジ、又は三次元点群で構成され、前記部分三次元データは、三次元点群で構成される、請求項１から１０のいずれか一項に記載の三次元データ生成装置。
12. 実ワーク、実視覚センサ、実ロボット、ロボット制御装置、及び請求項７又は８に記載の三次元データ生成装置を備え、
    前記ロボット制御装置は、前記移動プログラムに従って前記実視覚センサによる前記実ワークの検出位置へ前記実ロボットを移動させる、ロボット制御システム。
13. 実ワーク、実視覚センサ、実ロボット、ロボット制御装置、及び請求項１から１１のいずれか一項に記載の三次元データ生成装置を備え、
    前記ロボット制御装置は、前記部分三次元データに基づき前記実視覚センサで取得したデータの中から前記実ワークを検出し、検出した前記実ワークの位置及び姿勢の少なくとも一方に基づき前記実ロボットの位置及び姿勢の少なくとも一方を制御する、ロボット制御システム。
14. 前記三次元データ生成装置は前記ロボット制御装置と一体化して構成されており、前記ロボット制御装置が、前記配置関係、前記部分三次元データ、及び前記移動プログラムのうちの少なくとも１つをオフラインで生成する、請求項１２に記載のロボット制御システム。

Images