JP7344699B2 - ロボットピッキングシミュレーション装置及びロボットピッキングシミュレーション方法 - Google Patents

ロボットピッキングシミュレーション装置及びロボットピッキングシミュレーション方法 Download PDF

Info

Publication number
JP7344699B2
JP7344699B2 JP2019139110A JP2019139110A JP7344699B2 JP 7344699 B2 JP7344699 B2 JP 7344699B2 JP 2019139110 A JP2019139110 A JP 2019139110A JP 2019139110 A JP2019139110 A JP 2019139110A JP 7344699 B2 JP7344699 B2 JP 7344699B2
Authority
JP
Japan
Prior art keywords
model
simulation
work
robot
workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019139110A
Other languages
English (en)
Other versions
JP2021020284A (ja
Inventor
政史 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2019139110A priority Critical patent/JP7344699B2/ja
Publication of JP2021020284A publication Critical patent/JP2021020284A/ja
Application granted granted Critical
Publication of JP7344699B2 publication Critical patent/JP7344699B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ロボットピッキングシミュレーション装置及びロボットピッキングシミュレーション方法に関する。
例えば各種製品の組み立て現場では、通い箱等に収容されている複数の部品（ワーク）を産業用ロボットのアームに取り付けられたハンド部等のエンドエフェクタで把持して順次取り出し、所定場所まで搬送することが行われている。
産業用ロボットには視覚センサとなるロボットビジョンが組み合わされて使用される場合が増えてきている。ロボットビジョンを備えたロボットシステムは、まずロボットビジョンによって把持対象となるワークを撮像してワークの高さ情報を取得した上で、予め登録されているワークの適切な位置を把持（ピック）し、ワークを所定場所まで搬送して載置（プレース）する動作を繰り返し行うように構成されている。
また、搬送前のワークは整列した状態で積み重ねられている場合もあるが、整列されておらず、無作為に積み重ねられた非整列状態、即ちばら積みされている場合がある。ワークがばら積みされている場合には、通い箱毎にワークの位置及び姿勢が異なっていて一つとして同じ位置及び姿勢のワークが無いのが通常である。このようなばら積みされたワークを順次取り出して所定場所まで搬送して載置する作業は、ばら積みピッキングと呼ばれている。ばら積みピッキングは、整列されているワークをピッキングする場合に比べて難易度がはるかに高いので、ロボットの運用前に、ロボットピッキングシミュレーション装置によってロボットのピックやプレース動作のシミュレーションを三次元的に行うことがある（例えば、特許文献１参照）。
特許文献１のシミュレーション装置は、ワークを三次元で表現した複数のワークモデルを生成し、各々のワークモデルが容器モデル内に落下するように、ワークモデルを容器モデルの上方の初期位置に配置し、ワークモデルが重力の作用を受けて初期位置から容器モデル内に落下する動作をシミュレーション可能に構成されている。ワークモデルを初期位置に配置する際には、各ワークモデルが収まる仮想的な球体が設定される。この球体は、ワークモデルの重心を中心とし、ワークモデルの重心から最も遠位に位置する頂点までの距離を半径とするものである。各々の球体が互いに重なり合わないように、ワークモデルを初期位置に配置することで、初期位置におけるワークモデル同士の干渉を回避するようにしている。
特許第５８７７８５７号公報
特許文献１のように、仮想的な球体内にワークモデルを収めておくことにより、初期位置におけるワークモデル同士の干渉を回避することができるので、例えば、あるワークモデルが別のワークモデルに重なって部分的に一体化したり、一部がめり込むなどの現実ではありえない状態が起こり難くなると考えられる。
しかしながら、実際には、ワークモデルの形状は球体からかけ離れた形状である場合が殆どであり、初期位置において各々の球体が互いに重なり合わないように配置するということは、実際に複数のワークモデルを初期位置に配置した状態を再現したものとはいえず、不自然な初期位置になってしまう。そのため、シミュレーション結果の正確性が低下するおそれがある。
また、ワークモデルを収めることが可能な球体を設定するので、球体の体積はワークモデルの体積よりもかなり大きくなる。したがって、複数の球体を初期位置に配置するのに要する空間は、同じ数のワークモデルを初期位置に配置するのに要する空間に比べて広くなるとともに、容器のかなり上方まで領域を確保しておく必要がある。その結果、シミュレーションに要する時間が長くなってしまう。
ここで、特許文献１のシミュレーション方法とは別の方法でワークモデル同士の干渉を回避する方法として、ワークモデルを１つずつ落下させる方法が考えられるが、ワークモデルの個数が数十～数百個程度になるとシミュレーション時間が長くなってしまうという問題がある。また、実際は、複数のワークが一度に落下するケースが多く、ワークモデルを１つずつ落下させたのとは異なる状況であり、シミュレーション結果の正確性が低下するおそれがある。
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、ロボットによるばら積みピッキングで使用されるワークのばら積みをシミュレーションする場合に、シミュレーション時間が長引くのを抑制しながら、シミュレーション結果の正確性を高めることにある。
上記目的を達成するために、本発明では、シミュレーション環境として設定された個数よりも少ない個数のワークモデルを投入する物理シミュレーションを実行して少ない個数のばら積み状態を生成する物理シミュレーションを実行し、そのばら積み状態となっている複数のワークモデルをコピーして容器モデル内に投入する物理シミュレーションを実行可能にした。
第１の発明は、作業空間に積み上げられた複数のワークをロボットによって順次取り出すばら積みピッキング動作をシミュレーションするためのロボットピッキングシミュレーション装置であって、ワークの三次元形状をモデル化したワークモデルの形状及び個数と、当該ワークモデルを収容する容器モデルに関するシミュレーション環境を設定する設定部と、前記設定部により設定された個数よりも少ない個数のワークモデルを前記容器モデル内に投入する第１物理シミュレーションを実行するとともに、当該第１物理シミュレーションにより生成されたばら積み状態となっている複数のワークモデルをコピーして前記容器モデルの上方から前記容器モデル内に投入する第２物理シミュレーションを実行することにより、ピッキングシミュレーション用のばら積み状態を生成する物理シミュレーション部とを備えることを特徴とする。
この構成によれば、ばら積みピッキング動作のシミュレーションに使用されるワークモデルの形状及び個数と、容器モデルに関するシミュレーション環境が設定部で設定される。物理シミュレーション部は、設定部により設定された個数よりも少ない個数のワークモデルを容器モデル内に投入する第１物理シミュレーションを実行する。第１物理シミュレーションにより、容器モデル内では、複数のワークモデルがばら積み状態で存在することになる。物理シミュレーション部は、このばら積み状態となっている複数のワークモデルをコピーして容器モデルの上方から該容器モデル内に投入する第２物理シミュレーションを実行する。設定部により設定された個数のワークモデルが容器モデル内にばら積みされるまで、コピーした複数のワークモデルを投入することで、ワークモデルのばら積みシミュレーションが完了する。
コピーしたワークモデルを投入する際には、複数のワークモデルを一度に投入することになるので、ワークモデルを１つずつ投入する場合に比べて、ばら積みシミュレーションの結果の正確性が高まるだけでなく、物理シミュレーションに要する時間が短縮される。
また、初期位置に配置するワークモデルの個数が設定部により設定された個数よりも少ないので、初期位置においてワークモデル同士の干渉が起こり難くなり、特許文献１のようにワークモデルが収まる球体を想定する必要が無くなる。よって、初期位置におけるワークモデルの配置が自然な配置になり、このことによってもばら積みシミュレーションの結果の正確性が高まる。
さらに、球体を想定しなくて済む分、複数のワークモデルを初期位置に配置するのに要する空間を小さくすることが可能になり、このことによっても物理シミュレーションに要する時間が短縮される。
また、ばら積みシミュレーションの後、各ワークモデルの位置及び姿勢を検出するサーチ処理を実行し、サーチに成功したワークモデルに対して、ロボットによりピッキング動作のシミュレーションを実行するピッキング動作シミュレーションを実行するように、ロボットピッキングシミュレーション装置を構成することもできる。この場合、ロボットピッキングシミュレーション装置は、サーチ処理部とピッキング動作シミュレーション部とを更に備えたものになる。
第２の発明は、前記物理シミュレーション部は、前記第２物理シミュレーション時にコピーした複数のワークモデルを前記容器モデル内に投入する第１投入処理と、当該第１投入処理の後、再度、前記複数のワークモデルを前記容器モデル内に投入する第２投入処理とを行うように構成されていることを特徴とする。
この構成によれば、コピーした複数のワークモデルを容器モデル内に複数回投入することが可能になる。これにより、物理シミュレーションに要する時間を短縮しながら、設定された個数のワークモデルを容器モデル内にばら積みすることができる。第２投入処理の後、第３投入処理、第４投入処理、…を実行するように、物理シミュレーション部を構成することもできる。
第３の発明は、前記物理シミュレーション部は、前記第１投入処理の後、前記容器モデル内でばら積み状態となっている複数のワークモデルをコピーして前記容器モデルの上方から前記複数のワークモデルを前記容器モデル内に投入するように構成されていることを特徴とする。
すなわち、第１投入処理を行うことで、容器モデル内には、第１物理シミュレーションでばら積みされたワークモデルの個数よりも多くのワークモデルがばら積みされることになる。この数の多いワークモデルをコピーして容器モデル内に投入することで、一度に多くのワークモデルをばら積みすることができ、物理シミュレーションに要する時間がより一層短縮される。
また、物理シミュレーション部は、第１投入処理及び第２投入処理の後、容器モデル内でばら積み状態となっている複数のワークモデルをコピーして容器モデルの上方から複数のワークモデルを前記容器モデル内に投入するように構成されていてもよい。
第４の発明は、前記物理シミュレーション部は、前記第２物理シミュレーションでコピーした複数のワークモデルからなるワークモデル群を回転させた後、前記容器モデル内に投入するように構成されていることを特徴とする。
この構成によれば、容器モデル内にばら積みされるワークモデルのばら積み状態がより自然になる。ワークモデル群の回転中心線は、水平線や鉛直線であってもよいし、傾斜した線であってもよい。ワークモデル群は、例えば水平線、鉛直線及び傾斜した線のうち任意の一つの線周りに回転させた後、他の線周りに回転させてもよい。また、ワークモデル群の回転角度は、１回転、即ち３６０°とならないようにすればよく、例えば４５°、９０°、１８０°等にすることができる。
第５の発明は、前記物理シミュレーション部は、前記第１物理シミュレーションの後、前記第２物理シミュレーションの前に、前記容器モデル内にばら積みされている前記ワークモデルに対して所定の力を与える物理シミュレーションを実行するように構成されていることを特徴とする。
この構成によれば、容器モデル内にばら積みされているワークモデルが振り動かされるようになり、より一層自然なばら積み状態になる。ワークモデルに与える力の大きさは、ワークモデルが少なくとも重力に抗して動く大きさに設定することができる。力の方向は上方向であってもよいし、水平方向であってもよい。力を与える時間は、容器モデル内にばら積みされているほぼ全てのワークモデルが当初の位置からずれる程度の時間に設定することができ、例えば瞬間的なものであってもよい。力は異なる方向に複数回与えてもよいし、同方向に複数回与えてもよい。
第６の発明は、前記物理シミュレーション部は、前記第１物理シミュレーションの後、前記第２物理シミュレーションの前に、前記ワークモデルが内部にばら積みされている前記容器モデルに対して所定の力を与える物理シミュレーションを実行するように構成されていることを特徴とする。
この構成によれば、ワークモデルがばら積みされている容器モデルに対して力が与えられることで、内部のワークモデルを振り動かすことができ、これにより、より一層自然なばら積み状態になる。容器モデルに対する力の大きさは、内部のワークモデルが少なくとも重力に抗して動く大きさに設定することができる。力の方向は上方向であってもよいし、水平方向であってもよい。力を与える時間は、容器モデル内にばら積みされているほぼ全てのワークモデルが当初の位置からずれる程度の時間に設定することができ、例えば瞬間的なものであってもよい。
第７の発明は、前記物理シミュレーション部は、前記第２物理シミュレーションの実行の際、前記ワークモデルに対して投入方向に初速を与えるように構成されていることを特徴とする。
この構成によれば、ワークモデルが投入されるまでの時間が短縮されるので、物理シミュレーションに要する時間が短縮される。
第８の発明は、前記物理シミュレーション部は、前記第２物理シミュレーションの実行の際、前記容器モデルの側壁を上方へ延長した仮想壁を設定するように構成されていることを特徴とする。
この構成によれば、ワークモデルを投入する際に、容器モデルの外へ出てしまうのを抑制することができる。仮想壁は、容器モデルの全ての側壁を延長するように設けてもよいし、一部の側壁のみ延長するように設けてもよい。仮想壁は、ロボットピッキングシミュレーション装置の使用者に見えるように、例えば表示部に表示させてもよいし、表示させなくてもよい。
第９の発明は、前記物理シミュレーション部は、前記第２物理シミュレーションの実行の際、コピーした複数のワークモデルからなるワークモデル群を、前記容器モデル内でばら積み状態となっている複数のワークモデルの最上部よりも所定距離以上上方に離れた所から前記容器モデル内に投入するように構成されていることを特徴とする。
この構成によれば、第２物理シミュレーションの実行の際に投入するワークモデル群が、投入前の段階で容器モデル内のワークモデルと干渉することが無くなるので、より一層自然なばら積み状態になる。
第１０の発明は、作業空間に積み上げられた複数のワークをロボットによって順次取り出すばら積みピッキング動作をシミュレーションするためのロボットピッキングシミュレーション方法であって、ワークの三次元形状をモデル化したワークモデルの形状及び個数と、当該ワークモデルを収容する容器モデルに関するシミュレーション環境を設定する設定ステップと、前記設定ステップにより設定された個数よりも少ない個数のワークモデルを前記容器モデル内に投入する第１物理シミュレーションを実行するとともに、当該第１物理シミュレーションにより生成されたばら積み状態となっている複数のワークモデルをコピーして前記容器モデルの上方から前記容器モデル内に投入する第２物理シミュレーションを実行することにより、ピッキングシミュレーション用のばら積み状態を生成する物理シミュレーション工程とを備えることを特徴とする。
本発明によれば、シミュレーション環境として設定された個数よりも少ない個数のワークモデルを投入する物理シミュレーションを実行して少ない個数のばら積み状態を生成し、そのばら積み状態となっている複数のワークモデルをコピーして容器モデル内に投入する物理シミュレーションを実行するようにしたので、シミュレーション時間が長引くのを抑制しながら、シミュレーション結果の正確性を高めることができる。
ロボットシステムを用いてばら積みピッキング動作を行う様子を示す模式図である。 ロボットシステムの概略構成を示すブロック図である。 ロボットシステムの詳細構成を示すブロック図である。 センサ部の一例を示す斜視図である。 エンドエフェクタでワークを把持する例を示す模式図である。 空洞を有するワークを内面から把持する例を示す模式図である。 板状のワークを吸引して把持する例を示す模式図である。 ロボットピッキングシミュレーションの手順を示すフローチャートである。 サーチモデル及び容器モデルの設定の手順を示すフローチャートである。 ハンドモデル及び把持位置の設定の手順を示すフローチャートである。 容器モデル設定用画面を示す図である。 物理シミュレーションの設定手順を示すフローチャートである。 ピッキングシミュレータの起動後画面を示す図である。 ワークモデルの設定画面を示す図である。 読み込んだワークモデルの確認画面を示す図である。 物理シミュレーションの実行手順を示すフローチャートである。 容器モデルを三次元表示した画面を示す図である。 ワークモデルを１つずつ投入する場合を説明する図である。 容器モデル内に投入した複数のワークモデルをコピーしてそのまま上方に配置した状態を説明する模式図である。 容器モデル内に投入した複数のワークモデルをコピーして上下反転させてから上方に配置した状態を説明する模式図である。 設定した個数のワークモデルを容器モデル内に投入した状態を説明する図である。 容器モデル内に投入した複数のワークモデルをコピーして上方に配置した状態を表示する画面を示す図である。 コピーした複数のワークモデルを上下方向に並べて配置した状態を表示する画面を示す図である。 容器モデルの側壁に上方へ延びる仮想壁を設定した場合を表示する画面を示す図である。 仮想壁を除去した場合を説明する図２０相当図である。 許容数以上のワークモデルを投入した場合を容器モデルの上方から見た図である。 許容数未満のワークモデルを投入した場合を容器モデルの上方から見た図である。 物理シミュレーションの別の例に係る実行手順を示すフローチャートである。 ワークモデルが容器モデル内でばら積みされた状態の高さ画像を表示する画面を示す図である。 把持可能なワークモデルが検出された場合に表示される画面を示す図である。 ピッキングシミュレーションの実行時に表示される画面を示す図である。
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
図１は、本発明の実施形態に係るロボットシステム１０００の構成例を示す模式図である。この図１は、各種製品の製造工場等にある作業空間に積み上げられた複数のワークＷＫを、ロボットＲＢＴを用いて順次取り出し、所定の場所に設置されているステージＳＴＧまで搬送して該ステージＳＴＧ上に載置するばら積みピッキングを行う例について示している。
ロボットシステム１０００はロボットＲＢＴとロボットＲＢＴを制御するロボットコントローラ６とを備えている。ロボットＲＢＴは、産業用の汎用ロボットであり、ベース部が工場等の床面に対して固定されている。ロボットＲＢＴは、例えばマニピュレータ等とも呼ばれており、６軸制御が可能に構成されている。このロボットＲＢＴは、ベース部から延びるアーム部ＡＲＭと、アーム部ＡＲＭの先端部に設けられたエンドエフェクタＥＥＴとを備えている。アーム部ＡＲＭは、可動部としての関節部を複数備えた多関節型に構成することができる。アーム部ＡＲＭの各関節部の動作及びアーム部ＡＲＭ自体の回転動作によってエンドエフェクタＥＥＴを可動範囲内の所望の位置まで移動させることができる。
エンドエフェクタＥＥＴは、ワークＷＫを把持するハンド部等で構成することができる。エンドエフェクタＥＥＴは、図５Ａに示すようにワークＷＫの外側を挟み込んで把持する構造のエンドエフェクタＥＥＴ１、図５Ｂに示すように空洞部を有するワークＷＫ２の内部に爪部を挿入して拡開させることによって保持する構造のエンドエフェクタＥＥＴ２、図５Ｃに示すように板状のワークＷＫ３を吸引して保持するエンドエフェクタＥＥＴ３等があり、いずれのエンドエフェクタも使用することができる。また、本明細書で「把持」とは、図５Ａに示すワークＷＫの外側を挟み込む方法、空洞部に爪部を挿入して拡開させる方法、吸引する方法等の全ての例を含む意味で使用する。
ロボットＲＢＴは、ロボットコントローラ６によって制御される。ロボットコントローラ６はアーム部ＡＲＭの動作やエンドエフェクタＥＥＴの開閉動作等を制御する。またロボットコントローラ６は図２に示すロボット設定装置１００から、ロボットＲＢＴの制御に必要な情報を取得する。例えば、図１に示す容器ＢＸに無作為に投入された多数の部品であるワークＷＫの三次元形状を、三次元カメラや照明等のセンサ部２を使用して取得し、ロボット設定装置１００でワークＷＫの位置や姿勢を検出して、その情報をロボットコントローラ６が取得する。
ロボットシステム１０００の機能ブロック図を図２に示す。この図に示すロボットシステム１０００は、ロボットＲＢＴ及びロボットコントローラ６の他に、ロボット設定装置１００と、センサ部２と、表示部３と、操作部４と、ロボット操作具７とを備える。
操作部４では、後述する物理シミュレーション、ピッキング動作シミュレーション、画像処理に関する各種設定を行う。またセンサ部２で、ワークＷＫを撮像してワークＷＫの三次元形状を取得する。さらに表示部３で、各種設定や、ロボットＲＢＴの動作状態の確認、ロボット設定装置１００の動作状態の確認、物理シミュレーションの確認、ピッキング動作シミュレーションの確認等を行う。さらに、ロボット設定装置１００の内部に設けられているロボットピッキングシミュレーション装置２００や画像処理装置３００が各種シミュレーション、三次元サーチ、干渉判定、把持解の算出等を行う。
一方、ロボットコントローラ６はロボット設定装置１００から出力される信号に従い、ロボットＲＢＴの制御を行うように構成された周知の部材である。またロボット操作具７は、ロボットＲＢＴの動作設定を行う。なお、図２の例では操作部４とロボット操作具７を別個の部材としているが、これらを共通の部材としてもよい。
センサ部２は、ロボットビジョンなどと呼ばれる、作業空間やワークＷＫを撮像する部材であり、この実施形態では、ワークＷＫが少なくとも撮像対象物となり、撮像対象物には容器ＢＸが含まれていてもよい。センサ部２で撮像された画像から、ばら積みされたワークＷＫの三次元形状を示す三次元形状データを取得することが可能になる。容器ＢＸの三次元形状を示す三次元形状データも、センサ部２で撮像された画像から取得することができる。
尚、ワークＷＫや容器ＢＸの三次元形状を取得する方法は、例えば、パターン投影法、ステレオ法、レンズ焦点法、光切断法、光レーダ法、干渉法（白色干渉法）、ＴＯＦ方式などがあり、これらの方法のうち、どの方法を用いてもよい。各方法は、従来から周知であるため、詳細な説明は省略する。本実施形態においては、パターン投影法のうち、周期的な照度分布を有するパターン光を撮像対象物に照射し、撮像対象物の表面で反射した光を受光する位相シフト法を用いている。
センサ部２は、測定対象物であるワークＷＫの形状を測定する形状測定装置４００の一構成要素でもある。形状測定装置４００によって容器ＢＸの形状を測定することもできる。形状測定装置４００は、ロボット設定装置１００の一部とすることができるが、別部材として構成することもできる。センサ部２の具体的な構成は、三次元形状の計測技術に応じて決定される。この例では、センサ部２は、カメラ、照明又はプロジェクタ等を備える。例えば位相シフト法でワークＷＫの三次元形状を計測する場合は、センサ部２として図４に示すように、プロジェクタ（投光部）ＰＲＪと、複数のカメラ（受光部）ＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４とを備える。プロジェクタＰＲＪは、ワークＷＫに光を照射する部材である。カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４は、プロジェクタＰＲＪにより投光されてワークＷＫの表面で反射した光を受光する撮像素子を有する部材である。投光部の光源は、例えば複数の発光ダイオード、液晶パネル、有機ＥＬパネル、デジタルマイクロミラーデバイス（ＤＭＤ）等で構成することができる。
センサ部２は、カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４やプロジェクタＰＲＪといった複数の部材で構成する他、これらを一体的に構成してもよい。例えばカメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４やプロジェクタＰＲＪを統合してヘッド状とした３Ｄ撮像ヘッドを、センサ部２とすることができる。
また三次元形状データの生成自体を、センサ部２で行うこともできる。この場合、センサ部２に三次元形状データの生成機能を実現する画像処理ＩＣ等を設ける。あるいは、三次元形状データの生成を、画像処理装置３００側で行わず、センサ部２で撮像した生画像を、画像処理装置３００側で画像処理して三次元画像等の三次元形状データを生成する構成としてもよい。
さらに、センサ部２で撮像された画像に基づいて、キャリブレーションを実行することにより、実際のワークＷＫの位置座標（エンドエフェクタＥＥＴの移動位置の座標）と、表示部３上に表示された画像上の位置座標とをリンクさせることができる。
ロボット設定装置１００は、センサ部２で得られたワークＷＫの三次元形状データに基づいて、三次元サーチ、干渉判定、把持解算出等を行う。このロボット設定装置１００は、専用の画像処理プログラムをインストールした汎用のコンピュータや、専用に設計された画像処理コントローラ、専用のハードウェアで構成することができる。また、グラフィックボードなどのハードウェアを画像検査処理に特化させた専用のコンピュータに、画像処理プログラムをインストールした構成とすることもできる。
なお図２の例では、センサ部２やロボットコントローラ６等をロボット設定装置１００とは別個の部材で構成する例を示しているが、本発明はこの構成に限られず、例えばセンサ部２と画像処理装置１００とを一体化したり、あるいはロボットコントローラ６をロボット設定装置１００に組み込むこともできる。このように、図２に示す部材の区分けは一例であって、複数の部材を統合させることもできる。例えばロボット設定装置１００を操作する操作部４と、ロボットコントローラ６を操作するロボット操作具７とを、共通の部材としてもよい。
センサ部２はロボットＲＢＴと別体としている。すなわち、センサ部２をロボット本体５のアーム部ＡＲＭに設けない、オフハンド形式と呼ばれる形態となっている。尚、センサ部２をアーム部ＡＲＭに設けてもよい。
表示部３は、ロボット設定装置１００で取得されたワークＷＫの三次元形状を表示させたり、各種シミュレーション画像を表示させたり、各種設定や動作状態の確認を行うための部材であり、例えば、液晶モニタや有機ＥＬディスプレイ、ＣＲＴ等を利用できる。操作部４は、各種シミュレーションや画像処理等の各種設定を行うための部材であり、キーボードやマウス等の入力デバイスが利用できる。また表示部３をタッチパネルとすることで、操作部４と表示部３を一体化することもできる。
例えばロボット設定装置１００を、画像処理プログラムをインストールしたコンピュータで構成した場合、表示部３上には画像処理プログラムのグラフィカルユーザインターフェース（ＧＵＩ）画面が表示される。表示部３上に表示されたＧＵＩ上から各種の設定を行うことができ、またシミュレーション結果等の処理結果を表示させることができる。この場合、表示部３を各種の設定を行うための設定部としても利用でき、設定部には操作部４が含まれていてもよい。
ロボットコントローラ６は、センサ部２で撮像した情報に基づいてロボットの動作を制御する。またロボット操作具７は、ロボットＲＢＴの動作設定を行うための部材であり、ペンダントなどが利用できる。
ワークＷＫは、図１に示すように複数個が容器ＢＸに無作為に収容されている。このような作業空間の上方には、センサ部２が配置されている。ロボットコントローラ６は、センサ部２で得られたワークＷＫの三次元形状に基づいて、複数のワークＷＫの内から、把持対象のワークＷＫを特定して、このワークＷＫを把持するよう、ロボットＲＢＴを制御する。そして、ワークＷＫを把持したまま、アーム部ＡＲＭを動作させて予め定められた載置位置、例えばステージＳＴＧ上まで移動させ、所定の姿勢でワークＷＫを載置する。いいかえると、ロボットコントローラ６は、センサ部２及びロボット設定装置１００で特定されたピッキング対象のワークＷＫをエンドエフェクタＥＥＴで把持して、把持したワークＷＫを所定の基準姿勢にて、載置場所（ステージＳＴＧ）に載置してエンドエフェクタＥＥＴを開放するようにロボットＲＢＴの動作を制御する。ステージＳＴＧは、例えばコンベアベルト上やパレット等を挙げることができる。
ここで本明細書において、ばら積みピッキングとは、容器ＢＸに入れられて無作為に積み上げられたワークＷＫを、ロボットＲＢＴで把持して、所定の位置に載置する他、容器を用いずに所定の領域に積み上げられたワークＷＫに対して把持、載置を行う例、あるいは所定の姿勢で並べられて積み上げられたワークＷＫを順次把持、載置する例も含む意味で使用する。また、必ずしもワークＷＫ同士が積み重ねられている状態であることは要さず、ワークＷＫ同士の重なりがない状態で平面上にランダムに置かれたワークＷＫについても、本明細書においてはばら積みと呼ぶ（順次ピッキングされていき、ピッキングの終盤でワークＷＫ同士の重なりがない状態となった場合でも依然としてばら積みピッキングと呼ばれるのと同じ理由である）。なお、本発明はばら積みピッキングに必ずしも限定されるものでなく、ばら積みされていないワークＷＫをピックアップする用途にも適用できる。
また、図１の例ではセンサ部２を作業空間の上方に固定しているが、センサ部２の固定位置は、作業空間を撮像できる位置であればよく、例えば作業空間の斜め上方や側方、下方、斜め下方など、任意の位置に配置することができる。ただし、アーム部ＡＲＭ上のような、可動する不定位置にセンサ部２を配置する態様は除かれる。さらにセンサ部２が有するカメラや照明の数も、１個に限らず複数個としてもよい。さらにまたセンサ部２やロボットＲＢＴ、ロボットコントローラ６との接続は、有線接続に限られず、周知の無線接続としてもよい。
ロボットシステム１０００でばら積みピッキング動作を行うにあたり、予めばら積みピッキング動作を行わせるための設定を含めたティーチングを行うこともできる。具体的には、ワークＷＫのどの部位を、エンドエフェクタＥＥＴがどのような姿勢で把持するのか、把持位置及び姿勢などの登録を行う。このような設定は、ペンダント等のロボット操作具７で行うことができる。また、後述するように、実際のロボットを操作せずに、ビジョン空間上で設定を行うこともできる。
表示部３は、ワークＷＫの三次元形状を仮想的に表現するワークモデルや、エンドエフェクタＥＥＴの三次元形状を仮想的に表現する、三次元ＣＡＤデータで構成されたエンドエフェクタモデルを、仮想的な三次元空間上でそれぞれ三次元状に表示させる。さらにこの表示部３は、ワークモデルの基本方向画像を六面図として表示させることもできる。これにより、ワークモデルの各姿勢を六面図で表示させて把持位置の設定作業を行えるようになり、従来面倒であった把持位置の設定作業を容易に行えるようになる。
（ロボットピッキングシミュレーション）
ロボットシステム１０００は、作業空間に積み上げられた複数のワークＷＫをロボットＲＢＴによって順次取り出すばら積みピッキング動作をシミュレーションするためのロボットピッキングシミュレーション装置２００を備えている。ロボットピッキングシミュレーション装置２００は、画像処理装置３００と一体化することができ、画像処理装置３００と共にロボット設定装置１００の内部に設けることができる。画像処理装置３００は、作業空間に積み上げられた複数のワークＷＫを把持して順次取り出すピッキング動作を行うロボットＲＢＴの制御に用いられる装置である。
図３に示すように、ロボット設定装置１００は、設定部２０、データ容量圧縮部２１、物理シミュレーション部２２、ばら積みデータ生成部２３、サーチ処理部２４、ピッキング動作シミュレーション部２５、表示制御部２６、サーチモデル登録部２７、把持位置設定部２８、三次元計測部３０、干渉判定部３１、把持位置決定部３２、高さ画像生成部３３、画素判定部３４、ハンド部形状入力部３５、露光制御部４０及び露光時間設定部４１を備えている。これら各部は、ロボットピッキングシミュレーション装置２００または画像処理装置３００を構成する部分であり、ハードウェアで構成することもできるし、ソフトウェアで構成することもできる。また、これら各部を全て一体化して１つの装置にすることもできるし、任意の一部分を他の部分と別にして複数の装置でロボット設定装置１００を構成することもできる。また、これら各部を例えばマイクロプロセッサ（ＭＰＵ）やＣＰＵ、ＬＳＩ、ＦＰＧＡやＡＳＩＣ等のゲートアレイ、ＤＳＰ等のハードウェアやソフトウェア、あるいはこれらの混在により実現できる。また必ずしも各構成要素が図３等に示した構成と同一でなくてもよく、その機能が実質的に同一であるもの、及び一つの要素が図３に示す構成における複数の要素の機能を備えるものは、本発明に含まれる。
例えば、露光制御部４０及び露光時間設定部４１は、センサ部２に設けることができる。また、表示制御部２６は表示部３に設けることができる。また、ロボット設定装置１００には各種情報を記憶するための記憶部４２も設けられている。記憶部４２は、半導体メモリやハードディスク等で構成することができる。また、記憶部４２には、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の各種記憶媒体に記憶されている情報を読み取り可能な読み取り装置を設けることもできる。
ロボットシステム１０００の運用前、即ち、実際の作業現場でワークＷＫの把持及び載置作業を行う前に、ロボットピッキングシミュレーション装置２００によってロボットＲＢＴの把持動作や載置動作のシミュレーションを三次元的に行うことができるように構成されている。また、ロボットＲＢＴやワークＷＫを用意しなくても、ロボットＲＢＴによりワークＷＫのピッキング動作を確認することができるように構成されている。
ロボットピッキングシミュレーションでは、複数のワークモデルＷＫＭ（図１７Ａや図２３等にその一例を示す）を無作為に積み上げたばら積み状態を生成する物理シミュレーションと、物理シミュレーションで生成されたばら積み状態のデータを利用してワークモデルＷＫＭの位置及び姿勢を検出し、ロボットＲＢＴによるピッキング動作のシミュレーションを実行するピッキング動作シミュレーションとが行われる。
以下、ロボットピッキングシミュレーション装置２００の構成及びロボットピッキングシミュレーション装置２００によって実現されるロボットシミュレーション方法について図６に示すロボットシミュレーションフローチャートに基づいて具体的に説明する。
ロボットシミュレーションを開始する際には、図６に示すロボットシミュレーションフローチャートの開始後、ステップＳＡ１においてシミュレーションを実行する環境（シミュレーション環境）を設定する。シミュレーション環境の設定項目としては、ばら積みをさせるワークの数、容器ＢＸの情報、床の情報、センサ部２を構成するカメラＣＭＥやプロジェクタＰＲＪの設計情報等が挙げられる。また、ピッキング動作シミュレーション時には、容器ＢＸに対して、実運用上発生し得る、ランダムな位置ずれを発生させることもでき、この際の位置ずれの範囲等をシミュレーション環境の設定に含めることもできる。また、ワークの質量、重心、反発係数、摩擦係数、容器ＢＸの底面や側壁の反発係数、摩擦係数等もシミュレーション環境に含めることができる。
シミュレーション環境の主要な設定手順は、図７に示すサーチモデル及び容器モデルの設定の手順を示すフローチャートと、図８に示すハンドモデル及び把持位置の設定の手順を示すフローチャートに示す通りである。サーチモデル及び容器モデルの設定と、ハンドモデル及び把持位置の設定とは、どちらを先に行ってもよい。サーチモデル及び容器モデルの設定と、ハンドモデル及び把持位置の設定とは、図３に示す設定部２０で行うことができる。
図７に示すサーチモデル及び容器モデルの設定の手順を示すフローチャートの開始後のステップＳＢ１では、ワークＷＫのサーチモデルを登録する。ワークＷＫのサーチモデルとは、後述するサーチ処理を実行する際に使用されるワークＷＫの形状を表したモデルである。ステップＳＢ１でワークＷＫのサーチモデルを登録する際には、ワークＷＫの三次元ＣＡＤデータ（ＣＡＤモデル）を読み込んで、ロボットピッキングシミュレーション装置２００が有する記憶部４２に一旦記憶させておく。ＣＡＤデータは、ワークモデルのデータであり、従来から一般的に用いられているフォーマットのデータを使用することができる。
この実施形態では、ＣＡＤデータのフォーマットとして最もシンプルなＳＴＬ形式を用いている。ＳＴＬ形式は、三角形のポリゴン情報（３点の座標とその面の法線ベクトル）の羅列のみで構成されるデータである。あるいはワークモデルとして、三次元情報を有する点群データで構成してもよい。あるいはまた、ワークモデルを、高さ情報を有する画像データ、例えば高さ画像や距離画像で構成してもよい。
ステップＳＢ１は、ワークの三次元形状をモデル化したワークモデルを設定するワークモデル設定ステップでもあり、図３に示すロボット設定装置１００が有する設定部２０で行われる。このステップＳＢ１で読み込んだＣＡＤデータのポリゴン数は、数千個から数万個ある場合がある。
ステップＳＢ１でサーチモデルのＣＡＤデータを読み込んだ後、ステップＳＢ２に進み、サーチモデルの確認及び登録を行う。例えば、読み込んだサーチモデルのＣＡＤデータを表示部３に表示させることにより、ロボットピッキングシミュレーション装置２００の使用者が、所望のサーチモデルであるか否かを確認することができる。その結果、所望のサーチモデルである場合には、そのサーチモデルをロボットピッキングシミュレーション装置２００に登録する。確認の結果、所望のサーチモデルでない場合には、別のＣＡＤデータを読み込み、再び確認する。
ステップＳＢ２では、サーチモデルの登録の際、ＣＡＤモデルの外接直方体を規定し、この外接直方体の中心をＣＡＤの原点に補正する原点補正処理を行う。ワークモデルの原点は、三次元ＣＡＤデータが有する座標情報から、ロボット設定装置１００が自動的に決定する。例えばワークモデルの三次元ＣＡＤデータに対して、ワークモデルに外接する仮想直方体を規定し、この仮想直方体の重心をワークモデルの原点として設定することができる。
また、ステップＳＢ１で読み込んだＣＡＤモデルの六面、即ち、ＣＡＤモデルを「上」、「下」、「左」、「右」、「前」、「後」の各方向から見た高さ画像データをステップＳＢ２で生成する。まず、ＣＡＤモデルの平面図、底面図、左側面図、右側面図、正面図、背面図となるように、６つの高さ画像データを生成する。この高さ画像データから高さ画像が得られる。「上」はＺ軸の正方向（プラス側）から見た高さ画像、「下」はＺ軸の負方向（マイナス側）から見た高さ画像、「左」はＸ軸の負方向から見た高さ画像、「右」はＸ軸の正方向から見た高さ画像、「前」はＹ軸の負方向から見た高さ画像、「後」はＹ軸の正方向から見た高さ画像に対応する。ただ、これらは一例であって、異なる座標系を用いてもよいし、Ｘ－Ｙ平面におけるＸ＝Ｙの直線を軸として、この軸と互いに直交する座標系に基づいて、各軸の正負方向から見た高さ画像を用いてもよい。また、三次元ＣＡＤデータから、高さ画像を生成する際、必ずしもＣＡＤデータの軸に直交した方向（「上」、「下」、「左」、「右」、「前」、「後」）から見た高さ画像である必要はなく、例えばワークモデルの姿勢（視点）を任意に変えて、変えた状態の視点から高さ画像を生成するようにしてもよい。
また、ＣＡＤモデルが三次元ＣＡＤデータからなるものであるので、三次元ＣＡＤデータをＣＡＤモデルのＸ、Ｙ、Ｚ座標のそれぞれについてプラス方向及びマイナス方向の各方向から見たときの高さ画像に変換することで、ＣＡＤモデルの六面について高さ画像を得ることができる。
上述のようにして生成した６つの高さ画像の中で同じ見え方になる高さ画像を削除することもできる。見え方の一致／不一致は、ワークの上下（Ｚ軸の正負方向）、前後（Ｙ軸の正負方向）、左右（Ｘ軸の正負方向）から見た、計六面の高さ画像を高さ画像データに基づいて生成し、高さ画像が一致しているか否かを確認する。ここでは９０°の刻み角度で回転させて一致しているか否かを確認し、他の面と一致する見え方となる面は、サーチモデルの登録対象から除外する。このような除外は、ロボットピッキングシミュレーション装置２００の使用者が手動で行うこともできるし、ロボットピッキングシミュレーション装置２００または画像処理装置３００側で自動で行わせてもよいし、あるいはこれらを組み合わせて行うようにしてもよい。
具体例について説明すると、例えば、ワークＷＫが直方体であった場合には、ＣＡＤモデルを上から見た高さ画像と下から見た高さ画像とが同じになり、この場合には、いずれか一方を削除する。ＣＡＤモデルを左から見た高さ画像と右から見た高さ画像も同じになるので一方を削除する。また、ＣＡＤモデルを前から見た高さ画像と後から見た高さ画像も同じになるので一方を削除する。これにより、サーチモデルの数を減らすことができるので、後述する各処理の速度を向上させることができる。ワークＷＫが複雑な形状であっても、一方向から見た高さ画像と他方向から見た高さ画像が同じになることがあり、この場合も一方の高さ画像を削除することができる。ワークＷＫが立方体の場合は６面のうち、５面を削除することができる。
同じになる画像の一方を削除した結果、残った高さ画像データを保存する。保存する高さ画像データがＣＡＤモデルの上下左右前後のいずれの方向から見た画像であるかを示す情報、即ち方向に関する情報を当該高さ画像データに付与し、この方向に関する情報と高さ画像データとを関連付けてロボットピッキングシミュレーション装置２００の記憶部４２に保存しておく。これにより、上下左右前後の各面の関係性情報を持った状態で各高さ画像データを保存しておくことができるので、１つのワークモデルを異なる方向から見た複数の高さ画像データを相互に関連付けてロボットピッキングシミュレーション装置２００または画像処理装置３００に登録しておくことが可能になる。
したがって、高さ画像データを記憶部４２から読み出したときに、例えば、ＣＡＤモデルの６方向から見た高さ画像を関連付けて得ることができる。以上のように、ワークモデルを異なる方向から見た複数の高さ画像データをサーチモデルとして登録することが可能になる。サーチモデルは、作業空間に積み上げられたワークＷＫの位置及び姿勢を検出するサーチ処理に用いられるモデルであり、複数種登録しておくこともできる。尚、面の関係性情報を保存することなく、高さ画像データのみ保存するようにしてもよい。
以上の方法は、ワークＷＫのＣＡＤデータが存在している場合の方法であるが、仮にワークＷＫのＣＡＤデータが無い場合には、ワークモデルを異なる方向から見た複数の高さ画像データをサーチモデルとして登録するようにしてもよい。すなわち、登録したい面を上向きにしたワークＷＫを平面上に置き、三次元計測を行う。この三次元計測は、ロボットシステム１０００のセンサ部２及び三次元計測部３０を利用して行うことができる。三次元計測により得られた計測データは三次元計測部３０から出力され、計測データに基づいて、ワークＷＫの登録したい面の高さ画像データを得ることができる。
このようにして得られた高さ画像データに基づいて高さ画像を得た後、その高さ画像をサーチモデルとして登録する。登録後、サーチに必要な分、登録し終えたか否かを判定する。この判定は使用者が行うことができるが、ロボットピッキングシミュレーション装置２００または画像処理装置３００に行わせるようにしてもよい。すなわち、ワークＷＫを上下左右前後の各方向から見た形状が全て異なれば、六面の全てについて高さ画像を取得するのが好ましいが、上述した長方形の場合のように、同じ形状の面がある場合には六面の全てについて行わなくてもよい。サーチに必要な分、登録し終えたら、終了する。
以上のようにしてワークモデルを異なる方向から見た複数の高さ画像データをサーチモデルとして登録するサーチモデル登録ステップを行うことができる。サーチモデル登録ステップは、図３に示すロボット設定装置１００が有するサーチモデル登録部２７で行われる。
その後のステップＳＢ３では、容器モデルを指定する。常に固定されている箱が容器である場合には、容器モデルを固定箱とする。ステップＳＢ３に続くステップＳＢ４では、容器モデルのサイズ、位置、姿勢を指定する。このステップＳＢ４では、図９に示すようなユーザーインターフェース画面５０を設定部２０が生成し、表示部３に表示させる。ユーザーインターフェース画面５０には、ばら積み状態のワークモデルの高さ画像や、ピッキング動作のシミュレーション画像を表示する画像表示領域５０ａが設けられている。容器モデルのサイズ、位置、姿勢を指定する際には、容器モデル設定用ウインドウ６０が、ユーザーインターフェース画面５０に重畳表示される。容器モデル設定用ウインドウ６０には、容器モデルのサイズとして、横寸法、縦寸法、深さ寸法をそれぞれ入力可能な寸法入力領域６０ａが設けられている。操作部４を操作して寸法入力領域６０ａに各寸法を入力することができる。容器モデル設定用ウインドウ６０には、容器モデルの位置を入力可能な位置入力領域６０ｂが設けられている。位置入力領域６０ｂには、システム上の原点に対する容器モデルの相対的な位置として、原点からのＸ方向の距離、Ｙ方向の距離、Ｚ方向の距離をそれぞれ入力することができる。Ｘ方向は横方向とし、Ｙ方向は縦方向とし、Ｚ方向は高さ方向とすることができる。容器モデル設定用ウインドウ６０には、容器モデルの姿勢を入力可能な姿勢入力領域６０ｃが設けられている。姿勢入力領域６０ｃには、Ｘ軸周りの角度Ｒｘ、Ｙ軸周りの角度Ｒｙ、Ｚ軸周りの角度Ｒｚをそれぞれ入力することができる。容器モデル設定用ウインドウ６０に設けられているＯＫボタン６０ｄを押せば、入力された値が確定されて反映される。一方、容器モデル設定用ウインドウ６０に設けられているキャンセルボタン６０ｅを押せば、入力した内容が反映されないようにキャンセルされる。
容器モデルのサイズ、位置を使用者が入力する以外にも、例えば、容器ＢＸをセンサ部２で撮像し、取得された容器ＢＸの画像に基づいて容器モデルのサイズ、位置を指定することもできる。例えば、平面視で四角形の容器ＢＸの場合、容器ＢＸの画像上で、内側の４つの角部を操作部４によって指定すると、その指定された位置の座標に基づいて容器ＢＸの４辺の長さを設定部２０で演算することができる。これにより、容器モデルのサイズ、位置を自動で入力することができる。また、通い箱など、ワークＷＫを収容する容器ＢＸをモデル化した容器モデルを設定できるようにしてもよい。
図７に示すフローチャートのステップＳＢ４に続くステップＳＢ５では、サーチ条件を設定する。サーチ条件には、例えば、サーチ時に検出可能なワークの数、サーチモデルとワークとの相関値の下限、特徴抽出条件（エッジ抽出の閾値等）等が含まれている。サーチ条件は使用者が設定することで、設定部２０により受け付けられる。
次に、図８に示すハンドモデル及び把持位置の設定の手順を示すフローチャートについて説明する。開始後のステップＳＣ１では、ロボットＲＢＴのハンドモデルを登録する。ロボットＲＢＴのハンドモデルとは、ハンド部（エンドエフェクタＥＥＴ）の形状を表したモデルである。ロボットＲＢＴのハンドモデルを登録する際には、ハンド部のポリゴンデータ（ＣＡＤデータ）を読み込む。このステップＳＣ１では、ハンド部のポリゴンデータを読み込むことから、ハンド部の形状を入力することができるステップであり、このハンド部形状入力ステップは、図３に示すロボット設定装置１００が有するハンド部形状入力部３５で行われる。また、ハンドモデルを登録する際、ＣＡＤデータ以外にも、直方体や円柱などのパーツを組み合わせてハンドモデルを作成し、この作成したハンドモデルを登録するようにしてもよい。また、ＣＡＤデータには無いケーブルなどを作成することもできる。
その後、ステップＳＣ２に進み、ステップＳＣ１で登録したハンドモデルと、そのハンドモデルが装着されるロボットのフランジ面との相対的な位置及び姿勢を定義する。具体的には、ハンドモデルにおける取付面と、ロボットのフランジ面とが一致するように、両者の位置関係を定義しておく。
ステップＳＣ２に続くステップＳＣ３では、ロボットのフランジ面に装着された状態にあるハンドモデルの先端座標を指定する。この先端座標は、ロボットコントローラ６から取得することも可能であるが、使用者が設定することも可能である。その後、ステップＳＣ４では、ハンドモデルの登録完了確認を行う。
以上のようにしてロボットＲＢＴのハンドモデルを登録した後、ステップＳＣ５に進む。ステップＳＣ５では、ロボットＲＢＴのハンド部で把持するワークモデルの面を選択する。ワークモデルの面は、図７に示すフローチャートで登録した高さ画像で表すことができ、登録されている複数の高さ画像の中から、ロボットＲＢＴのハンド部で把持することが可能な面に対応した高さ画像をユーザが選択する。高さ画像の選択にあたっては、高さ画像を表示部３に表示させておき、これら高さ画像の中から使用者が操作部４の操作によって選択することができる。
ステップＳＣ５で高さ画像を選択した後、ステップＳＣ６に進み、ステップＳＣ５で選択した面を把持する時のハンド部の位置及び姿勢を登録する。例えば、Ｘ軸座標、Ｙ軸座標、Ｚ軸座標、Ｘ軸周りの回転角度、Ｙ軸周りの回転角度、Ｚ軸周りの回転角度を個別に入力し、入力された値に対応するように、ハンドモデルを移動させ、高さ画像中の所望位置に配置することができる。これにより、ハンドモデルの位置を調整しながら、ハンドモデルでサーチモデルのどの部位をどのような姿勢で把持するか、即ち把持位置及び姿勢を設定することが可能になる。把持位置及び姿勢の設定は、数値を入力する以外にも、例えばハンドモデルを操作部４のマウスで直接的に操作することによっても可能である。
ここで設定する把持位置は、ロボットＲＢＴにより把持される把持候補位置である。ロボットＲＢＴにより把持される把持候補位置は、サーチモデル登録部２７で登録されている各サーチモデルに対応付けて複数設定することができる。例えば、あるサーチモデルには、２つの把持候補位置を対応付けて設定し、別のサーチモデルには、４つの把持候補位置を対応付けて設定することができる。設定された把持候補位置は、サーチモデルと対応付けられた状態でロボット設定装置１００が有する把持位置設定部２８の記憶部４２に登録することができる。
一般に、一のワークに対して把持候補位置を複数登録することが多い。これは、把持候補位置を複数登録しておけば、複数の把持解の中から最適な解を選ぶことができるため、仮に得られた把持解候補が、例えばハンド部の他の物体との干渉によって最終的な解となり得ない場合、他の把持解候補があれば、把持可能と判定される可能性が高まるからである。このような把持候補位置を複数登録する際、その都度登録を一から行うと、同様の把持候補位置を登録する際に手数が多くなり作業が面倒となる。そこで、既に登録済みの把持候補位置情報をコピーして、この把持候補位置で設定された位置パラメータの一部を変更して、新たな把持候補位置として保存可能とすることで、手間を省いて複数の把持候補位置を容易に登録できるようになる。また、同様に既存の把持候補位置を読み出して、位置パラメータを適宜修正して上書き保存することも可能である。
把持候補位置を登録する際、サーチモデルの原点に対して、ワークモデルを把持する際のエンドエフェクタモデルの相対的な位置及び姿勢を登録する。一方、実際のエンドエフェクタＥＥＴでワークＷＫをピッキングする際には、センサ部２でワークＷＫを撮像した三次元空間（ビジョン空間）の座標であるビジョン座標から、ロボットコントローラ６がロボットＲＢＴを実際に動作させる際に用いるロボット座標に変換する必要がある。
具体的には、ワークモデルの位置及び姿勢は、ビジョン空間における、位置（Ｘ、Ｙ、Ｚ）と姿勢（ＲX、ＲY、ＲZ）で求められる（なお姿勢（ＲX、ＲY、ＲZ）はＺ－Ｙ－Ｘ系オイラー角で表現された姿勢を示している）。また、これを把持するエンドエフェクタモデルの姿勢についても、同様にロボット設定装置１００の仮想三次元空間における位置（Ｘ、Ｙ、Ｚ）と姿勢（ＲX、ＲY、ＲZ）として求められる。このようなビジョン空間における位置及び姿勢に基づいて、ロボットコントローラ６がロボットＲＢＴを動作させるには、これらをロボット空間における位置（Ｘ’、Ｙ’、Ｚ’）と姿勢（ＲX’、ＲY’、ＲZ’）に変換する必要がある。この表示される座標系で算出された位置及び姿勢を、ロボットコントローラ６がエンドエフェクタＥＥＴを動作させる座標系の位置及び姿勢に座標変換するための変換式を算出する処理は、キャリブレーションと呼ばれる。このキャリブレーションは従来から周知の手法で行うことができる。
図８に示すフローチャートのステップＳＣ７では、必要数の把持候補位置を登録できたか否かを判定する。ハンド部で把持することが可能な部位が多数あれば、登録すべき把持候補位置の数が多くなるが、これは使用者が判断する事項であるため、ステップＳＣ７の判定は使用者が判定することになる。ステップＳＣ７でＮＯと判定して必要数の把持候補位置を登録できておらず、登録すべき把持候補位置が他にも残っている場合には、ステップＳＣ５を経てステップＳＣ６に進み、他の把持候補位置を設定し、登録する。一方、ステップＳＣ７でＹＥＳと判定して必要数の把持候補位置を登録できている場合には、このフローを終了する。
図６に示すステップＳＡ１のシミュレーション環境設定ステップでは、上述のようにサーチモデルの設定及び登録、ハンドモデルの設定及び登録を行うことができるが、これら以外にもシミュレーションを行う上で必要な各種情報の入力や設定を行うことが可能である。
（物理シミュレーション）
ステップＳＡ１に続くステップＳＡ２は、物理シミュレーションの実行ステップである。物理シミュレーションの手順の詳細については、図１０及び図１４に示すフローチャートに示している。まず、物理シミュレーションを実行する前に、図１０のフローチャートに示す物理シミュレーションの設定を行う。ステップＳＤ１では、ピッキングシミュレータを起動する。例えば表示部３にピッキングシミュレータの起動用アイコンを表示させておき、この起動用アイコンがクリックされた時にピッキングシミュレータを起動する等の方法によってステップＳＤ１を実現できる。
シミュレータが起動されると、図１１に示すピッキングシミュレータの起動後に表示されるピッキングシミュレーション画面５０を表示制御部２６が表示部３に表示させる。ピッキングシミュレーション画面５０には、第１画像表示領域５０ａが設けられている。第１画像表示領域５０ａには、物理シミュレーションで生成されたばら積み状態のワークモデル及び容器モデルの高さ画像、サーチ結果、ワークモデルをハンドモデルで把持する様子等が表示される。ピッキングシミュレーション画面５０には、シミュレータの設定用ウインドウ５２も表示可能になっている。設定用ウインドウ５２には、画像生成方法の設定ボタン５２ａ、閉じるボタン５２ｂ、画像生成ボタン５２ｃ等が設けられている。
また、ピッキングシミュレータの起動後には、物理シミュレーションの様子を表示する物理シミュレーション表示画面５１を表示制御部２６が表示部３に表示させる。物理シミュレーション表示画面５１は、ピッキングシミュレーション画面５０と同時に表示させることができるが、どちらか一方の画面のみを使用者に選択させて表示するように構成することもできる。
ピッキングシミュレータの起動後、図１０に示すステップＳＤ２に進む。ステップＳＤ２では、図１２に示すような積み方設定ウインドウ５３を表示制御部２６が表示部３に表示させる。積み方設定ウインドウ５３には、ワークの積み方の選択を行うための積み方選択領域５３ａと、ワークモデルの読み込みを行うファイル選択ボタン５３ｂと、ワークの配置設定を行うワーク配置設定領域５３ｃとが設けられている。積み方選択領域５３ａでは、ばら積みのシミュレーションを行うか、段積みのシミュレーションを行うかの選択が行えるようになっている。ファイル選択ボタン５３ｂは、ワークモデルＷＫＭの読み込みを開始する場合に操作するボタンである。ワークモデルＷＫＭの読み込みは、図７に示すフローチャートのステップＳＢ１と同様に、ワークＷＫの三次元ＣＡＤデータ（ＣＡＤモデル）を読み込んで、ロボットピッキングシミュレーション装置２００が有する記憶部４２に一旦記憶させておくことで可能になる。これにより、ワークの三次元形状をモデル化したワークモデルの形状を設定することができる。この設定は、シミュレーション環境の一つであり、設定部２０で行われる。この設定を行うステップは設定ステップである。
積み方設定ウインドウ５３には、読み込んだワークモデルを表示させるワークモデル表示ボタン５３ｅが設けられている。ワークモデル表示ボタン５３ｅが押されると、表示制御部２６は図１３に示すように、ワークモデル表示ウインドウ５４を生成して表示部３に表示させる。ワークモデル表示ウインドウ５４には、ワークモデルＷＫＭが表示される領域５４ａと、閉じるボタン５４ｂとが設けられている。領域５４ａに表示されているワークモデルＷＫＭを使用者が見て、所望のワークモデルが読み込まれているか否かを確認することができる。閉じるボタン５４ｂを押すことで、ワークモデル表示ウインドウ５４が閉じる。
ワークモデルの読み込みが完了すると、図１０に示すフローチャートのステップＳＤ３に進む。ステップＳＤ３では、ばら積みシミュレーションで使用するワークモデルの個数Ｎを設定する。具体的には、図１２に示す積み方設定ウインドウ５３のワーク配置設定領域５３ｃを使用する。ワーク配置設定領域５３ｃには、ワークモデルの個数入力部５３ｄが設けられている。個数入力部５３ｄには、使用者がマウスやキーボード等を利用して任意の数を入力することができるようになっている。入力された数が、ばら積みシミュレーションで使用するワークモデルの個数Ｎになる。よって、個数入力部５３ｄに数を入力するステップは、ワークモデルの個数Ｎを設定する設定ステップであり、設定部２０で行われる。また、ワークモデルの個数Ｎは、シミュレーション環境の一つである。図１２に示す積み方設定ウインドウ５３のＯＫボタン５３ｆを押すと、設定が反映されて積み方設定ウインドウ５３が閉じる一方、キャンセルボタン５３ｇを押すと、設定が反映されずに積み方設定ウインドウ５３が閉じる。
ワークモデルの個数Ｎの設定が完了すると、図１０に示すフローチャートのステップＳＤ４に進み、容器モデルを読み込む。ここでは、図７に示すフローチャートのステップＳＢ３で指定した容器モデルを読み込むことで容器モデルに関するシミュレーション環境の設定が可能になる。また、図７に示すフローチャートのステップＳＢ４で指定された容器モデルのサイズ、位置、姿勢も容器モデルに関するシミュレーション環境であり、図１０に示すフローチャートのステップＳＤ４で同様に読み込む。このステップは、容器モデルに関するシミュレーション環境を設定する設定ステップであり、設定部２０で行われる。
次いで、図１４に示すフローチャートのステップＳＥ１に進む。ステップＳＥ１の物理シミュレーション開始操作は、例えば、図１１に示すシミュレータの設定用ウインドウ５２に設けられている画像生成ボタン５２ｃを押す操作である。これにより、上述したように設定されたシミュレーション環境に基づいて物理シミュレーションが開始される。画像生成ボタン５２ｃが押されると、図１５に示すように、容器モデルＢＸＭが表示された物理シミュレーション表示画面５１を表示制御部２６が表示部３に表示させる。
物理シミュレーション部２２は、設定部２０により設定された個数Ｎよりも少ない個数ＳのワークモデルＷＫＭを容器モデルＢＭＸ内に投入する第１物理シミュレーションを実行するとともに、当該第１物理シミュレーションにより生成されたばら積み状態となっている複数のワークモデルＷＫＭをコピーして容器モデルＢＸＭの上方から容器モデルＢＸＭ内に投入する第２物理シミュレーションを実行することにより、ピッキングシミュレーション用のばら積み状態を生成するように構成されている。尚、この実施形態では、ワークモデルＷＫＭの投入をワークモデルＷＫＭの落下として説明するが、投入は落下に限定されるものではない。
以下、物理シミュレーション部２２による具体的なシミュレーション手順について説明する。図１４に示すフローチャートのステップＳＥ２では、落下個数Ｓ、コピー数Ｍ及び余分個数Ｒを以下の式により求める。落下個数Ｓは、第１物理シミュレーションで容器モデルＢＸＭ内に落下させるワークモデルＷＫＭの数である。落下個数Ｓは、ステップＳＥ１の後に使用者が設定できる他、物理シミュレーション部２２が、設定部２０により設定された個数Ｎに基づいて当該個数Ｎよりも小さな数に自動的に設定することもできる。第１物理シミュレーションで容器モデルＢＸＭ内に落下させるワークモデルＷＫＭの全てに連番（１、２、３、…）を付与しておく。
Ｍ＝ｃｅｉｌ（Ｎ／Ｘ）
Ｒ＝Ｍ×Ｎ－Ｘ
ただし、Ｘ＞Ｎが前提。また、ＮがＸ以下であれば上記計算は不要であるので、省略できる。
図１４に示すフローチャートのステップＳＥ３～ＳＥ５はＸ回ループする。現在のワークモデルＷＫＭの番号をｉ（ｉ＝１、２、３、…）とし、ステップＳＥ３では、ｉ番目に容器モデルＢＸＭ内に落下させるワークモデルＷＫＭの落下姿勢及び位置をランダムに決める。落下させる前の位置は、容器モデルＢＸＭの底面から上方に離れたところであればよく、平面視における容器モデルＢＸＭの中心であってもよいし、中心から水平方向にオフセットしていてもよい。
ステップＳＥ４では、ステップＳＥ３で決定した落下姿勢及び位置からワークモデルＷＫＭを１つだけ容器モデルＢＸＭ内に落下させる。このときに物理シミュレーション部２２が物理シミュレーションを実行する。物理シミュレーションは、従来から周知の物理シミュレーションエンジンを用いて実行することができる。ステップＳＥ５では、ｉ番目に容器モデルＢＸＭ内に落下させたワークモデルＷＫＭが静止するまで待つ。全てのワークモデルＷＫＭの高さが所定の高さ以下になったらワークモデルＷＫＭが落下完了したと判定してもよいし、一定時間が経過したらワークモデルＷＫＭが落下完了したと判定してもよいし、ワークモデルＷＫＭの速度が所定以下になったらワークモデルＷＫＭが落下完了したと判定してもよいし、他のワークとのコリジョン判定を利用してもよい。
ステップＳＥ３～ＳＥ５を繰り返すことで、ワークモデルＷＫＭを１つずつ容器モデルＢＸＭ内に落下させて物理シミュレーションを行うことができる。ワークモデルＷＫＭを落下させる際、ワークモデルＷＫＭに対して落下方向に初速を与えるように、物理シミュレーション部２２が構成されていてもよい。
物理シミュレーションでは、ワークモデルＷＫＭ同士の衝突による作用、容器モデルＢＸＭ等の障害物の情報に基づいてワークモデルＷＫＭを仮想的に配置していく。また、物理シミュレーションでは、例えばワークモデルＷＫＭ同士が衝突した場合に、予め設定された反発係数や摩擦係数を考慮して、その後、ワークモデルＷＫＭがどのような動きになるかが示される。また、例えば、容器モデルＢＸＭに複数のワークモデルＷＫＭを上方から投下または投入して容器モデルＢＸＭの内部にばら積み状態を生成する場合を挙げることができる。「投入」や「投下」とは、物理的に高所から落下させる動作に限られず、例えば転がりを検証するため、所定の高さから水平方向に押し出しながら落下させたり、放物線状に投げ上げて落下させたり、あるいは容器モデルＢＸＭや床面にワークモデルＷＫＭを載置、あるいは静置する動作も含む意味で使用する。さらに、物理シミュレーションは、ワークモデルＷＫＭを１つずつ作業空間内に順次投入する他、複数のワークモデルＷＫＭを同時に投入、例えば落下させたり静置させる動作をシミュレーションすることもできる。
図１６に示すように、Ｓ個のワークモデルＷＫＭを容器モデルＢＸＭ内に落下させることにより、第１物理シミュレーションが終了する。これにより、Ｓ個のワークモデルＷＫＭが容器モデルＢＸＭ内で干渉状態になる。ワークモデルＷＫＭが干渉した部分、即ちワークモデルＷＫＭ同士が接触している部分や、ワークモデルＷＫＭと容器モデルＢＸＭとが干渉している部分を丸印で示す。第１物理シミュレーション後、図１４に示すフローチャートのステップＳＥ６に進み、容器モデルＢＸＭ内のＳ個のワークモデルＷＫＭのそれぞれの位置及び姿勢を取得し、保存する。容器モデルＢＸＭ内のＳ個のワークモデルＷＫＭの全体をワークモデル群５００（図１６参照）とする。尚、第１物理シミュレーションの結果を三次元画像として表示部３に表示させてもよいし、表示させなくてもよい。表示させない場合、第１物理シミュレーションは、使用者がその実行動作を知らない状況において実行されることになるので、あくまでも内部的な処理として完結する。これにより、第１物理シミュレーションの実行に要する時間を使用者が感じないようにすることができる。
その後、図１４に示すフローチャートのステップＳＥ７に進み、ワークモデル群５００の厚みＺｔ（図１６に示す）を取得し、保存する。厚みＺｔは、容器モデルＢＸＭの底面からワークモデル群５００の上端までの寸法で定義することができる。ステップＳＥ６及びＳＥ７を経ることで、第１物理シミュレーションにより生成されたばら積み状態となっている複数のワークモデルＷＫＭ（ワークモデル群５００）をコピーすることができる。コピーしたワークモデル群５００は、記憶部４２に一旦記憶させておくことができる。
その後、ステップＳＥ８に進む。ステップＳＥ８～ＳＥ１０はＭ－１回ループする。現在の落下層をｊ（ｊ＝１、２、３、…）とする。落下層は、１つのワークモデル群５００で形成されるものである。ステップＳＥ８では以下の処理を行う。
Ｓ’＝Ｓ （ｊ＜（Ｍ－Ｒ）の場合。ただし、Ｒ＝０を除く。）
Ｘ’＝Ｘ－１ （上記以外）
続くステップＳＥ９では、コピーしたワークモデル群５００の位置補正及び姿勢補正を行う。ステップＳＥ９では、まず、ｊが奇数であるか否かを判定する。ｊが奇数である場合の位置補正は、（Ｘｊ（ｉ），Ｙｊ（ｉ），Ｚｊ（ｉ））＝（－Ｘｏｒｇ（ｉ），－Ｙｏｒｇ（ｉ），Ｚｏｒｇ（ｉ）＋ｊ×Ｚｔ）である。また、ｊが奇数である場合の姿勢補正は、（Ｒｘｊ（ｉ），Ｒｙｊ（ｉ），Ｒｚｊ（ｉ））＝（Ｒｘｏｒｇ（ｉ），Ｒｙｏｒｇ（ｉ），Ｒｚｏｒｇ（ｉ）＋１８０度）である。
ｊが偶数である場合の位置補正は、（Ｘｊ（ｉ），Ｙｊ（ｉ），Ｚｊ（ｉ））＝（Ｘｏｒｇ（ｉ），Ｙｏｒｇ（ｉ），Ｚｏｒｇ（ｉ）＋ｊ×Ｚｔ）である。また、ｊが偶数である場合の姿勢補正は、（Ｒｘｊ（ｉ），Ｒｙｊ（ｉ），Ｒｚｊ（ｉ））＝（Ｒｘｏｒｇ（ｉ），Ｒｙｏｒｇ（ｉ），Ｒｚｏｒｇ（ｉ））である。
Ｘｏｒｇ、Ｙｏｒｇ及びＺｏｒｇは、最初に落下したＳ個のワークモデルＷＫＭの位置を示す。Ｒｘｏｒｇ、Ｒｙｏｒｇ及びＲｚｏｒｇは、最初に落下したＳ個のワークモデルＷＫＭの姿勢を示す。Ｘｊ、Ｙｊ、Ｚｊ、Ｒｘｊ、Ｒｙｊ及びＲｚｊは、落下層ｊの位置を示す。上記位置補正及び姿勢補正の式では、落下層ごとにＺ軸に対して回転させている。
また、物理シミュレーション部２２は、落下層ｊを落下させる第２物理シミュレーションの実行の際、落下層ｊの最下部を、その前に落下しているワークモデルＷＫＭの最上部よりも所定距離以上上方に離れた所から容器モデルＢＸＭ内に落下させるように構成されている。所定距離とは、落下前の落下層ｊの最下部と、既に落下しているワークモデルＷＫＭの最上部とが接触しない距離とすることができる。
また、落下層同士が干渉しないように、落下層同士を少なくともＺｔだけ離して順次落下させるようにする。上記位置補正及び姿勢補正の式は、その前提として、容器モデルＢＸＭの中心がＸ＝０、Ｙ＝０となっている。姿勢補正はＲｚ回転のみだが、上下反転や９０度回転（ＲｘまたはＲｙ方向）してもよい。図１７Ａは、コピーしたワークモデル群５００を姿勢補正せずに、上方へ位置補正しただけで落下させる場合を模式的に示している。図１７Ｂは、コピーしたワークモデル群５００を上下反転させ、かつ、上方へ位置補正して落下させる場合を模式的に示している。コピーしたワークモデル群５００を落下させる際には、ワークモデルＷＫＭに対して落下方向に初速を与えるように、物理シミュレーション部２２が構成されていてもよい。上記初速は、使用者が任意に調整することができるようになっている。また、初速を付与する、付与しないの選択も使用者が任意に行えるようになっている。
図１４に示すフローチャートのステップＳＥ１０では、コピーしたワークモデル群５００を、ステップＳＥ９で算出した位置姿勢となるように補正し、ワークモデルＷＫＭをＮ’個落下させる。これが第２物理シミュレーションである。その後、ステップＳＥ１１に進み、容器モデルＢＸＭ内に落下させたワークモデルＷＫＭが静止するまで待つ。このステップＳＥ１１は、ステップＳＥ５と同じである。図１８は、Ｎ個のワークモデルＷＫＭを容器モデルＢＸＭに落下させた場合のばら積みシミュレーション結果を模式的に示している。以上が、ピッキングシミュレーション用のばら積み状態を生成する物理シミュレーション工程である。
物理シミュレーションを行うことで、明らかに不自然な姿勢のワークモデルを除外するなど、使用者の実運用環境に合わせたばら積みデータを生成して後述するピッキング動作シミュレーションを行うことができるため、実物のワークを用意することなく、実運用時に近い形で事前に適切な設定調整や、検証を行うことができるようになる。物理シミュレーション部２２は、物理的に発生確率が低いワークモデルを排除したバラ積みデータを生成するよう構成してもよい。
物理シミュレーション部２２は、第２物理シミュレーション時にコピーした複数のワークモデルＷＫＭを容器モデルＢＸＭ内に落下させる第１落下処理（ｊ＝１のときの落下処理）と、当該第１落下処理の後、再度、複数のワークモデルＷＫＭを容器モデルＢＸＭ内に落下させる第２落下処理（ｊ＝２のときの落下処理）とを行うように構成されている。また、第２落下処理の後、複数のワークモデルＷＫＭを容器モデルＢＸＭ内に落下させる第３落下処理（ｊ＝３のときの落下処理）、第３落下処理の後、複数のワークモデルＷＫＭを容器モデルＢＸＭ内に落下させる第４落下処理（ｊ＝４のときの落下処理）を行うように構成されていてもよい。同様に、ｊ＝５のときの第５落下処理、ｊ＝６のときの第６落下処理、…を行うように構成されていてもよい。
また、物理シミュレーション部２２は、設定された個数よりも少ない個数のワークモデルＷＫＭを容器モデルＢＸＭ内に落下させる第１物理シミュレーションの後、ワークモデルＷＫＭをコピーして落下させる第２物理シミュレーションを実行する前に、容器モデルＢＸＭ内にばら積みされているワークモデルＷＫＭに対して所定の力を与える物理シミュレーションを実行するように構成されていてもよい。すなわち、第１物理シミュレーションを実行すると、ワークモデルＷＫＭが容器モデルＢＸＭ内にばら積みされた状態になっており、このワークモデルＷＫＭに対して水平方向や鉛直方向、斜め方向、水平軸周りの回転方向、鉛直軸周りに回転方向に力を与える。ワークモデルＷＫＭに与える力の大きさは、ワークモデルが少なくとも重力に抗して動く大きさに設定することができる。力を与える時間は、容器モデル内にばら積みされているほぼ全てのワークモデルが当初の位置からずれる程度の時間に設定することができ、例えば瞬間的なものであってもよい。このような力を容器モデルＢＸＭ内のワークモデルＷＫＭに与えると、ワークモデルＷＫＭが容器モデルＢＸＭ内で振り動かされるようになり、より一層自然なばら積み状態になる。ワークモデルＷＫＭに対して力を複数回与えるようにしてもよい。全てのワークモデルＷＫＭに対して力を付与してもよいし、任意の１または２以上のワークモデルＷＫＭに対して力を付与してもよい。
また、物理シミュレーション部２２は、設定された個数よりも少ない個数のワークモデルＷＫＭを容器モデルＢＸＭ内に落下させる第１物理シミュレーションの後、ワークモデルＷＫＭをコピーして落下させる第２物理シミュレーションを実行する前に、ワークモデルＷＫＭがばら積みされている容器モデルＢＸＭに対して所定の力を与える物理シミュレーションを実行するように構成されていてもよい。ワークモデルＷＫＭがばら積みされている容器モデルＢＸＭに対して力が与えられることで、内部のワークモデルＷＫＭを振り動かすことができ、これにより、より一層自然なばら積み状態になる。容器モデルＢＸＭに対する力の大きさは、内部のワークモデルＷＫＭが少なくとも重力に抗して動く大きさに設定することができる。力の方向は上方向であってもよいし、水平方向であってもよい。力を与える時間は、容器モデルＢＸＭ内にばら積みされているほぼ全てのワークモデルＷＫＭが当初の位置からずれる程度の時間に設定することができ、例えば瞬間的なものであってもよい。
図１９は、実際のワークモデルＷＫＭを使用して物理シミュレーションを行った場合を示しており、容器モデルＢＸＭの上方に、コピーしたワークモデル群５００を１つだけ配置した状態である。図２０に示すように、複数のワークモデル群５００を容器モデルＢＸＭの上方に配置してもよい。この場合、複数のワークモデル群５００が干渉しないように、上下方向に並ぶワークモデル群５００の間に隙間を設けておくのが好ましい。図１９や図２０に示すようなワークモデル群５００を配置した状態の画像を使用者に提示してもよいし、そのような画像を使用者に提示しないようにしてもよい。
図２１は、仮想壁６０が設けられた容器モデルＢＸＭを使用して物理シミュレーションを行った場合を示している。すなわち、物理シミュレーション部２２は、ワークモデルＷＫＭをコピーして落下させる第２物理シミュレーションの実行の際、容器モデルＢＸＭの側壁を上方へ延長した仮想壁６０を設定するように構成することができる。仮想壁６０は、容器モデルＢＸＭの全ての側壁に設定してもよいし、一部の側壁にのみ設定してもよい。仮想壁６０は表示部３に表示されていてもよいし、表示されていなくてもよい。仮想壁６０を表示する場合には、容器モデルＢＸＭの側壁とは異なる形態で表示するのが好ましい。仮想壁６０の高さは任意に設定することができる。
仮想壁６０を設定することで、図２１に示すように、ワークモデルＷＫＭが容器モデルＢＸＭの側壁よりも高く積み上がることになる。そして、全個数のワークモデルＷＫＭを落下させた後、図２２に示すように仮想壁６０を消去することで、容器モデルＢＸＭの側壁よりも上に積まれていたワークモデルＷＫＭは転がり落ちる。これも物理シミュレーション部２２でシミュレーションすることができる。物理シミュレーション結果を図２３に示す。この図に示すように、全てのワークモデルＷＫＭが静止すると、各ワークモデルＷＫＭの位置及び姿勢を検出するサーチ処理を実行する際に使用される角度に近い角度で容器モデルＢＸＭを俯瞰した画像を表示制御部２６が生成し、物理シミュレーション表示画面５１に表示させる。尚、ワークモデルＷＫＭが容器モデルＢＸＭの外に出たか否かを判定するステップを設けることもでき、このステップにおいてワークモデルＷＫＭが容器モデルＢＸＭの外に出たと判定される場合には、無駄なシミュレーションを省くため、当該容器モデルＢＸＭの外に出たワークモデルＷＫＭを消す処理を行うことができる。
図２３では、ワークモデルＷＫＭの数が容器モデルＢＸＭの大きさに対して多く、一部のワークモデルＷＫＭが容器モデルＢＸＭからあふれている。これは実際の運用時には想定されない状況であるため、図２４に示すように、ワークモデルＷＫＭの全数が容器モデルＢＸＭ内に入るように、ワークモデルＷＫＭの個数Ｎを設定すればよい。
使用者は、物理シミュレーション表示画面５１を見て、物理シミュレーションの結果が、後述するピッキング動作シミュレーションに不適な結果であると思われる場合には、その物理シミュレーションの結果を破棄して改めて物理シミュレーションを実行することができる。
図２５は、物理シミュレーション部２２による物理シミュレーションの別の例に係る実行手順を示すフローチャートである。この例では、最初にＮ個のワークモデルＷＫＭを干渉状態とし、それらをコピーして落下させて既に落下しているワークモデルＷＫＭと干渉状態とし、次に、容器モデルＢＸＭ内で干渉しているワークモデルＷＫＭをコピーして落下させることを繰り返し行う。つまり、この例の物理シミュレーション部２２は、設定された個数よりも少ない個数のワークモデルＷＫＭを落下させる第１落下処理を実行した後、容器モデルＢＸＭ内でばら積み状態となっている複数のワークモデルＷＫＭをコピーして容器モデルＢＸＭの上方から当該複数のワークモデルを容器モデルＢＸＭ内に落下させるように構成されている。
図２５に示すフローチャートのステップＳＦ１は、図１０に示すフローチャートのステップＳＤ４の後に行われるステップである。ステップＳＦ１は、図１４に示すフローチャートのステップＳＥ１と同様に、物理シミュレーション開始操作のステップである。その後、ステップＳＦ２に進む。ステップＳＦ２では、Ｎ個落下したらそれらをコピーするとし、Ｎ×２＾(Ｍ－１)＜Ｘ＜＝Ｎ×２＾Ｍとなるコピー回数Ｍを求める。落下個数Ｎは、第１物理シミュレーションで容器モデルＢＸＭ内に落下させるワークモデルＷＫＭの数である。
ステップＳＦ３～ＳＦ６はＸ回ループする。現在のワークモデルＷＫＭの番号をｉ（ｉ＝１、２、３、…）とする。ステップＳＦ３～ＳＦ５は、図１４に示すフローチャートのステップＳＥ３～ＳＥ５と同様な処理である。ステップＳＦ６では、落下済みワークモデルＷＫＭの総数をＹとする（Ｙ＝Ｘ）。全てのワークモデルＷＫＭを容器モデルＢＸＭ内に落下させることにより、第１物理シミュレーションが終了する。これにより、全てのワークモデルＷＫＭが容器モデルＢＸＭ内で干渉状態になる。
第１物理シミュレーション後、ステップＳＦ７に進む。ステップＳＦ７～ＳＦ１３はＭ－１回ループする。現在の落下層をｊ（ｊ＝１、２、３、…）とする。ステップＳＦ７では、容器モデルＢＸＭ内のＹ個のワークモデルＷＫＭのそれぞれの位置及び姿勢を取得し、保存する。その後、ステップＳＦ８に進み、Ｙ個のワークモデルＷＫＭからなるワークモデル群５００の厚みＺｔを取得し、保存する。
ステップＳＦ８に続くステップＳＦ９では、以下の処理を行う。
Ｙ’＝Ｙ （Ｘ＜＝２Ｙ）の場合。）
Ｙ’＝Ｎ－Ｙ （上記以外）
続くステップＳＦ１０では、コピーしたワークモデル群５００の位置補正を行う。具体的には、コピーしたワークモデル群５００をＺｔ分だけ上方へ移動させる。この位置補正は、（Ｘｊ（ｉ），Ｙｊ（ｉ），Ｚｊ（ｉ））＝（Ｘｏｒｇ（ｉ），Ｙｏｒｇ（ｉ），Ｚｏｒｇ（ｉ）＋ｊ×Ｚｔ）である。ただし、ｉ＝１～Ｙ’とする。このとき、コピーしたワークモデル群５００の姿勢補正を実行してもよい。
続くステップＳＦ１１では、コピーしたワークモデル群５００を、ステップＳＦ１０で算出した位置姿勢となるように補正し、ワークモデルＷＫＭをＹ’個落下させる。これが第２物理シミュレーションである。その後、ステップＳＦ１２に進み、容器モデルＢＸＭ内に落下させたワークモデルＷＫＭが静止するまで待つ。ステップＳＦ１２の後、ステップＳＦ１３に進み、Ｙ＝２ＹとしてステップＳＦ１４に進む。ステップＳＦ１４は、図１４に示すフローチャートのステップＳＥ１１と同じである。
以上のようにして、図６に示すフローチャートのステップＳＡ２の物理シミュレーション実行ステップが完了する。物理シミュレーションの実行前、ワークモデルＷＫＭのデータを圧縮するデータ容量圧縮ステップを実行してもよい。データ容量圧縮ステップは、図３に示すデータ容量圧縮部２１で行うことができ、例えばＣＡＤデータで表されるワークモデルＷＫＭの形状を極力保ちながら、ポリゴン数を削減したワークモデルを作成して、物理シミュレーション部２２による物理シミュレーション時の演算負荷の軽減するために行うステップである。ＣＡＤデータのポリゴン数を削減するということは、ワークモデルのデータ容量が圧縮されて小さくなるということである。また、ワークモデルのデータを間引くことによってデータ容量を圧縮することも可能である。
三次元ＣＡＤデータは、一般に、三角形の面情報の集合体として表されるポリゴンデータで表され、ワークモデルの形状を極力保ちながらポリゴン数を削減する方法としては、例えば、Ｈｏｐｐｅらが提案するプログレッシブメッシュ法や、Ｇａｒｌａｎｄらが提唱するＱＥＭ（Ｑｕａｄｒａｔｉｃ Ｅｒｒｏｒ Ｍｅｔｉｒｃ）法という手法があり、これら従来から周知の手法のうち、いずれの手法を用いてポリゴン数の削減処理を行ってもよい。
例えば、ＱＥＭ法では、隣接するポリゴンのエッジを消去し、２つの頂点を結合して新たな頂点を生成し、この操作を繰り返すことで、ＣＡＤデータ全体を構成するポリゴン数を大幅に削減し、データ容量を圧縮することができる。また、ＣＡＤデータのデータ容量を圧縮することができればよいので、ポリゴン数を削減する方法以外にも、各種方法によってデータ容量を圧縮するようにしてもよい。
衝突判定を軽量化するため、例えば、凸包分解（Convex-Hull Decomposition）法を利用することができる。すなわち、凸包形状の衝突判定は高速化アルゴリズム（ＧＪＫアルゴリズム等）が存在するものの、実ワークは必ずしも凸包形状ではなく、高速化アルゴリズムを採用できないケースがある。ワーク全体を凸包形状に変換して衝突判定を実施する手法もあるが、ワークによっては形状に大きな差が発生し自然な物理シミュレーションができないことがある。そこで、ワーク全体を複数の凸包形状に分解する凸包分解法を採用し、衝突判定時は複数の凸包形状の相対的な結合として扱うことで、自然かつ高速なシミュレーションが可能になる。尚、正確な凸包分解の方法の代わりに、疑似凸包分解の方法を採用してもよい。
（高さ画像生成）
図６に示すフローチャートのステップＳＡ２の物理シミュレーション実行ステップを経て、ステップＳＡ３に進む。ステップＳＡ３では、物理シミュレーションで得られたばら積み状態のワークモデルＷＫＭの各部の高さを表す高さ画像データを生成する。高さ画像データから得られる高さ画像の一例を図２６に示す。高さ画像は、高さ情報を有する画像であって、距離画像、三次元画像等とも呼ばれる。サーチ処理用データにはワークモデルＷＫＭの高さに関する情報が含まれているので、これに基づいて周知の手法によって高さ画像データを得ることができる。高さ画像データに基づいて得ることができる高さ画像は、物理シミュレーションの結果を示す画像と共に表示部３に表示することができる。
図２４に示す物理シミュレーション表示画面５１に表示する物理シミュレーション結果画像と、図２６に示すピッキング動作のシミュレーション画像を表示する画像表示領域５０ａに表示する高さ画像とは、視点、即ち見る角度を互いに変えた画像にすることができる。図２４の物理シミュレーション結果画像と、図２６の高さ画像とは、１つの表示画面上の任意の位置にそれぞれ配置することができる。また、物理シミュレーション結果画像は、例えば物理シミュレーションの実行開始から終了までを動画として表示可能にしてもよい。この場合、容器モデルＢＸＭの上方から複数のワークモデルＷＫＭを容器モデルＢＸＭに投下する様子、ワークモデルＷＫＭ同士が衝突する様子、ワークモデルＷＫＭが容器モデルＢＸＭの側壁や底面に衝突する様子も見ることができ、最終的にどのようしてばら積み状態が生成されたのかを使用者が把握できる。
物理シミュレーション前にワークモデルＷＫＭのデータ容量を削減している場合、ワークモデルＷＫＭのばら積み状態データを生成した後、ワークモデルＷＫＭのばら積み状態データの中のワークモデルＷＫＭをポリゴン数削減前のＣＡＤデータと置換する。すなわち、物理シミュレーション部２２で生成されたばら積み状態のデータの中の各ワークモデルＷＫＭの位置及び姿勢にしたがって、物理シミュレーション部２２で用いたワークモデルＷＫＭよりもデータ容量が大きくかつ実際のワークの三次元形状に近いワークモデルＷＫＭを配置する。このようにして、各ワークモデルＷＫＭの位置及び姿勢を検出するサーチ処理を実行するためのサーチ処理用データが生成される。物理シミュレーション部２２で用いたワークモデルよりもデータ容量が大きくかつワークＷＫの三次元形状に近いワークモデルというのは、データの圧縮量が低く、物理シミュレーションステップで用いたワークモデルよりも精緻な形状を持ったワークモデルである。このワークモデルに置き換えることで、後述するピッキング動作シミュレーションの結果の再現性を高めることができる。このサーチ処理用データの生成は、図３に示すロボット設定装置１００が有するばら積みデータ生成部２３で行われる。尚、物理シミュレーション前にワークモデルＷＫＭのデータ容量を削減していない場合には、この処理は不要である。
ばら積みデータ生成部２３は、物理シミュレーション部２２で生成されたばら積み状態のデータの中の各ワークモデルＷＫＭの位置及び姿勢にしたがって、データ容量圧縮部２１による圧縮処理を行う前のワークモデルＷＫＭを配置することによってサーチ処理用データを生成することもできる。こうすれば後述するピッキング動作シミュレーションの結果がより一層再現性の高い結果になる。
（サーチ処理）
図６に示すステップＳＡ３で高さ画像を生成した後、ステップＳＡ４に進み、ばら積みデータ生成部２３により生成されたサーチ処理用データに対し、各ワークモデルＷＫＭの位置及び姿勢を検出するサーチ処理を実行する。これはサーチ処理ステップであり、図３に示すロボット設定装置１００が有するサーチ処理部２４が行う。
サーチ処理は高さ情報を含むサーチ処理用データに対してサーチをかけるので、三次元サーチと呼ぶことができる。具体的には、サーチモデル登録部２７で登録されたサーチモデルを用いて、各ワークモデルＷＫＭの姿勢と位置を特定する三次元サーチを行う。まずサーチモデルの各特徴点が、最も一致する状態の位置及び姿勢（Ｘ、Ｙ、Ｚ、ＲX、ＲY、ＲZ）を、高さ画像の中から探索する。ここでＲX、ＲY、ＲZは、それぞれＸ軸に対する回転角、Ｙ軸に対する回転角、Ｚ軸に対する回転角を表す。このような回転角度の表現方法は種々提案されているところ、ここではＺ－Ｙ－Ｘ系オイラー角を用いることができる。また一致する位置及び姿勢は、各サーチモデルに対して、１つである必要はなく、一定以上一致する位置及び姿勢を、複数検出してもよい。
たとえば、図２７に示すように、高さ画像の中で特徴点の一致に基づいてワークモデルＷＫＭを検出した場合には、その検出位置にサーチモデルの特徴点を、周囲よりも明るい色で重畳表示させることができる。このように三次元サーチに用いるサーチモデルとして、ワークを六面図のように、面ごとに見た画像を用いることで、斜視図などを用いる場合と比べ、三次元サーチの演算処理を簡素化でき、処理を軽負荷、高速化できる利点が得られる。また、サーチモデルの登録作業に際しても表示された状態が見易くなり、使用者にも視覚的に判り易くできる。また、三次元サーチの結果の位置に、サーチモデルの各特徴点を重畳表示させた結果を二次元表示することや、三次元表示することもできる。対応する特徴点が、高さ画像中に対してどの程度存在したか（例えば、高さ画像に対し、一定の距離以下の誤差で対応した特徴点の点数割合など）によって、サーチ結果をスコア付けすることができる。
サーチ処理部２４が高さ画像中にサーチモデル登録部２７で登録されたサーチモデルが存在するか否かをサーチした結果、高さ画像中に、サーチモデルが存在しない場合、即ちワークモデルを検出できない場合には、図６に示すステップＳＡ５においてＮＯと判定されてステップＳＡ６に進み、残ったワークモデルＷＫＭの情報を抽出し、このフローを終了する。
（ピッキング動作シミュレーション）
ステップＳＡ４の三次元サーチの結果、高さ画像の中にワークモデルＷＫＭを検出できた場合には、ステップＳＡ５でＹＥＳと判定されてステップＳＡ７に進み、干渉判定及び把持解を算出する。このステップＳＡ７～ＳＡ１０は、サーチ処理部２４によりサーチに成功したワークモデルＷＫＭに対して、ロボットＲＢＴによりピッキング動作のシミュレーションを実行するピッキング動作シミュレーション部２５が行うピッキング動作シミュレーションステップである。三次元サーチの結果、高さ画像の中に複数のワークモデルＷＫＭを検出できる場合もある。尚、ピッキング動作シミュレーション部２５に物理シミュレーションの機能や高さ画像生成機能を持たせてもよい。
このように、ピッキング動作シミュレーション部２５は、生成されたばら積みデータに対して、仮想作業空間内のワークモデルＷＫＭのばら積みピッキング動作を検証するための部分である。ピッキング動作シミュレーションを行うことにより、実際のワークの三次元位置及び姿勢の検出可否など、手間のかかる確認作業や設定調整を、ワークを用意することなく、実運用に近い形で事前に行うことができる。
特に物理シミュレーション部２２は、ピッキング動作シミュレーション部２５による一のワークモデルＷＫＭをハンドモデルで把持し少なくとも取り出し動作を開始した後、このワークモデルＷＫＭが取り出された後の状態のばら積みデータに対して物理シミュレーションを再度実行するように構成することができる。物理シミュレーションを再度実行するタイミングは、ワークモデルＷＫＭをハンドモデルで把持し、載置位置にプレースされた後とする他、ワークモデルＷＫＭの取り出し作業の途中であってもよい。すなわち、ハンドモデルでワークモデルＷＫＭを把持して、このワークモデルＷＫＭが持ち上げられた状態では、一のワークモデルＷＫＭが除去されたことで、このワークモデルＷＫＭの周辺にあった他のワークモデルＷＫＭが移動可能となるため、把持されたワークモデルＷＫＭが載置されるまで待つ必要はない。よって、物理シミュレーションの再実行のタイミングは、一のワークモデルＷＫＭがハンドモデルで把持されて持ち上げられたタイミング、あるいはその後、他のワークモデルＷＫＭの状態が重力の作用で移動して安定するまで待った後のタイミングとすることができる。例えば、ワークモデルＷＫＭが把持されて持ち上げられた時点から所定の時間の経過後（例えば１０秒後）としてもよい。物理シミュレーションを再度実行した後、ばら積みデータを更新する。
したがって、ピッキング動作シミュレーション中にばら積みデータからワークモデルＷＫＭが一つ取り出されると、これに応じてバラ積みされたワークモデル群が崩れるといった動作も物理シミュレーション部２２により演算され、この演算後のばら積みデータを利用してピッキング動作シミュレーション部２５がその後のピッキング動作シミュレーションを実行するので、より正確なばら積みピッキングのシミュレーションが実現される。
ステップＳＡ７の干渉判定ステップでは、高さ画像の各１点１点のｐｉｘｅｌデータが示す三次元点群と、ハンド部形状入力部３５で予め入力されているハンドモデルとが干渉するか否かを判定する。干渉判定の前に、三次元サーチで検出された一のワークモデルＷＫＭに対して、このワークモデルＷＫＭの位置と、登録してあるワークモデルＷＫＭの把持姿勢とに基づいて、エンドエフェクタＥＥＴを配置すべき位置と姿勢を計算する。計算された位置において、エンドエフェクタＥＥＴが周囲の物体と干渉しないかどうかを、ハンドモデルを利用して判定する。この干渉判定では、ハンドモデルの断面モデルを利用して三次元点群が断面モデルと干渉しているか否かを判定することができる。例えば、断面モデルから全ての三次元点が離れている場合には、三次元点群、すなわち高さ画像とハンドモデルとが干渉していないと判定し、一方、断面モデルの内側に三次元点が１つでも入っている、または断面モデルの縁部に三次元点が１つでも接している場合には、三次元点群、すなわち高さ画像とハンドモデルとが干渉していると判定する。干渉していない場合は、このワークモデルＷＫＭに対して把持解を算出することができたということであり、ステップＳＡ８においてＹＥＳと判定されてステップＳＡ９に進む。一方、三次元点群とハンドモデルとが干渉している場合は、このワークモデルＷＫＭに対して把持解を算出することができないということであり、ステップＳＡ８においてＮＯと判定されてステップＳＡ６に進み、このフローを終了する。
一方、把持解を算出することができてステップＳＡ９に進むと、ワークモデルＷＫＭの数を１つ減らす。このステップＳＡ９で減らすワークモデルＷＫＭは把持解を算出することができたワークモデルＷＫＭである。ワークモデルＷＫＭを１つ減らした後、ステップＳＡ１０に進み、三次元サーチで得られた他のワークモデルＷＫＭがあればステップＳＡ７に進む。他のワークモデルＷＫＭが無ければステップＳＡ１０でＮＯと判定されてステップＳＡ６に進み、このフローを終了する。
このようにして、ワークモデルＷＫＭを把持可能な把持解の有無を検出されたワークモデルＷＫＭ毎に判定する。そして、ワークモデルＷＫＭに把持解が得られた場合は、そのワークモデルＷＫＭの把持候補位置をハンド部でもってピックし、容器モデルＢＸＭの外部へ搬送するシミュレーションを行う。
ピッキング動作シミュレーションの実行結果は、必要に応じて表示部３に表示させることができる。使用者は表示部３に表示されたピッキング動作シミュレーションの実行結果に基づいて、現在の設定の適否を判断できる。また必要に応じて、各種の設定を変更することができる。例えばロボットＲＢＴの設置位置や容器ＢＸを置く位置、センサ部２の姿勢などを調整する。変更した設定を、シミュレーション環境として入力し直して、再度ピッキング動作シミュレーションを実行し、その適否を確認するという作業を繰り返して、使用者の環境に応じた適切な設定条件を決定できる。
また、物理シミュレーション部２２は、物理シミュレーションを繰り返して行うことができるが、毎回、ワークモデルＷＫＭが同じ配置にならないようにランダムにばら積みすることができるように構成されている。従って、物理シミュレーション部２２は、以前行った物理シミュレーションで得られたばら積み状態と同じ状態を作ることができない。すなわち、物理シミュレーションの度毎にランダムなばら積みデータが生成されるため、物理シミュレーションの結果に再現性がない。
一方、使用者がピッキング動作の環境設定の見直しなどを行い、その効果を確認しようとする場合、以前のピッキング動作シミュレーションでうまくいかなかった状態を再現して、このばら積みデータに対して確認するのが最も効率的である。例えば、あるワークモデルＷＫＭに対するエンドエフェクタＥＥＴのモデルの把持解が見つからずに全てのワークモデルＷＫＭを取り出せなかった場合に、その対策として使用者が把持候補位置や把持姿勢を増やした場合を考える。この場合、使用者が変更した設定が、前回発生した問題に対して有効な解決策であったか否かを判断するためには、前回うまく行かなかった状態、又はこれと近い状態を再現して確認することが最も有効である。
加えて、問題が発生した状態だけでなく、その問題が発生するに至った途中の状態からピッキング動作シミュレーションを開始できるようにしてもよい。例えば問題が発生したばら積みデータを、ワークモデルＷＫＭを順次追加して構成している場合は、問題が発生した段階の数回前の、ワークモデルＷＫＭの数が数回分少ない状態で、対応できるかどうかを確認することが考えられる。
これらを実現するために、本実施形態においては、ばら積みデータの初期状態や終了状態、あるいは中間状態等、使用者が再利用したいと考える状態のばら積みデータを保存しておき、環境設定をし直した後に、このような保存済みのばら積みデータを呼び出して、検証することを可能としている。ばら積みデータは、記憶部４２に保存しておくことができ、使用者の指定によって呼び出すことができる。
以上の手順では、いずれかのワークモデルＷＫＭで把持解が得られると、その時点で把持候補位置を検討する処理を終了して、得られた把持解に該当する把持候補位置でワークモデルＷＫＭを把持するように処理している。ただ、この方法に限らず、例えば把持可能なすべての把持候補位置を１つのワークモデルＷＫＭについて求めた上で、いずれの把持候補位置を選択するかを使用者が決定するように構成してもよい。また、ワークモデルＷＫＭの置かれた高さ情報に注目し、ワークモデルＷＫＭが置かれた高さが高いもの、いいかえると、ばら積みされたワークモデルＷＫＭ群の内で、より上方に位置するものを把持候補位置として選択することもできる。
以上のようにしてピッキング動作シミュレーションを行うことができ、このピッキング動作シミュレーションは複数回行うのが好ましい。つまり、サーチ処理部２４によりサーチに成功したワークモデルＷＫＭに対応付けられた把持候補位置のそれぞれについて、ロボットＲＢＴによる把持が可能か否かを判定し、把持が可能と判定された把持候補位置をロボットＲＢＴにより把持するピッキング動作シミュレーションを繰り返し実行するように、ピッキング動作シミュレーション部２５が構成されている。ピッキング動作シミュレーションが終了すると、物理シミュレーション部２２は自動的に新たな物理シミュレーションを実行し、この新たな物理シミュレーション結果を利用してピッキング動作シミュレーションが行われる。
また、ピッキング動作シミュレーション部２２は、サーチ処理部２４によりサーチに成功したワークモデルＷＫＭをハンド部形状入力部３５で入力されたハンド部により把持するピッキング動作シミュレーションを、各ハンド部を用いて繰り返し実行するように構成されている。ハンド部の形状を複数入力した場合には、それらのうち、一のハンド部のハンドモデルを用いてピッキング動作シミュレーションを行った後、他のハンド部のハンドモデルを用いてピッキング動作シミュレーションを行う。全てのハンド部についてピッキング動作シミュレーションが終了した後、再び全てのハンド部のハンドモデルを用いてピッキング動作シミュレーションを行う。これを繰り返して行うことができる。また、一のハンド部のハンドモデルを用いてピッキング動作シミュレーションを複数回行った後、他のハンド部のハンドモデルを用いてピッキング動作シミュレーションを複数回行うこともできる。ピッキング動作シミュレーションは、ハンド部毎に数百回～１０００回程度行うことができる。ピッキング動作シミュレーションを複数回行ってその結果を蓄積することができる。
（露光時間の設定）
形状測定装置４００は、図３に示すように、カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４の露光時間（シャッタースピード）を段階的に変化させるための露光制御部４０を備えている。露光制御部４０は、露光時間を等比で増加させるように構成されているが、これに限られるものではない。この実施形態では、露光時間を１．５倍ずつ伸ばすように構成されているが、この倍率は任意に設定することができる。
形状測定装置４００は高さ画像データ生成部３３を備えている。高さ画像データ生成部３３は、露光制御部４０が段階的に変化させた各露光時間においてカメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４から出力された受光量を得て、得られた受光量に基づいて、各画素値が測定対象物表面（ワークＷＫの表面）の各部位の高さを示す高さ画像データを生成するように構成されている。これは例えば位相シフト法等の手法によって生成することができる。
（画素判定部の構成）
形状測定装置４００は図３に示す画素判定部３４を備えている。画素判定部３４は、露光制御部４０が段階的に変化させた各露光時間において受光部が受光した受光量を得て、得られた受光量に基づいて、高さ画像データ生成部３３により生成される各高さ画像の各画素が有効か無効かを判定するように構成されている。プロジェクタＰＲＪが周期的な照度分布を有するパターン光を照射するように構成されている場合、画素判定部３４は、カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４の撮像によって得られた各画素の光量のコントラストが閾値以上の画素を有効と判定するように構成されている。また、三次元形状を取得する方法として、光切断法を用いる場合には、各画素の光量が小さすぎるか、飽和している場合には、当該画素が無効であると判定し、その他の画素を有効と判定する。つまり、高さ画像を生成した際に高さを表示することができない画素（画面上で黒く潰れたようになってしまう画素や白く飛んでしまう画素）が無効であると判定し、一方、高さを表示することができる画素を有効と判定する。画素判定部３４は、カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４による撮像範囲内に設定される注目領域内の各画素が有効か無効かを判定するように構成することができる。
（露光時間設定部の構成）
形状測定装置４００は図３に示す露光時間設定部４１を備えている。露光時間設定部４１は、画素判定部３４により有効と判定された画素の数が所定条件を満たしている高さ画像に対応する露光時間を設定値として設定する。設定値とは、ロボットシステム１０００の実運用を行う際に用いる露光時間のことである。露光時間は手動操作によって調整することもできるが、手動操作の場合、使用者は自分で設定した露光時間で得られた高さ画像を見ながら、最適な露光時間の範囲を探索していくプロセスが必要になる。また、最適な露光時間を絞り込むための探索を手作業で行う場合、属人性があるとともに再現性が悪く、様々なケースで適切な露光時間を得ることは難しい。さらに、高さ画像を構成する画素の場合は、見た目で有効画素であるか否かを判定するのは難しく、特に手作業で決定した露光時間が妥当な時間であるか否かを短時間で検証して判断することは困難である。よって、この実施形態では、適切な露光時間を自動で設定することができるようになっている。
例えば、ある固定されたワークを、カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４の露光時間を段階的に変えながら撮像して高さ画像を得て、その高さ画像に含まれる有効画素数を露光時間毎に得る。ある露光時間の範囲内では、露光時間が変化しても有効画素数は殆ど変化せず、その範囲外では、有効画素数が急激に少なくなる場合がある。例えば、有効画素が最大値の９５％となる露光時間を設定値として設定することで、有効と判定された画素の数が最も多くなる露光時間以下の所定時間を設定値として設定することができる。
高さ画像生成部３３での高さ画像の生成方法の一例について説明する。高さ画像とは、画像を構成する各画素値に、高さの値が格納されている画像である。典型的には、高さを輝度値で表現した画像である。高さ画像の生成方法については、Ｚバッファ法が好適に利用できる。
すなわち、ワークのＣＡＤデータであるワークモデルで構成された三次元のバラ積みデータに基づいて、陰影を消去するレンダリングによって二次元の高さ画像を描画する。レンダリング方法には、Ｚバッファ法、Ｚソート法、スキャンライン法、レイトレーシング法等が利用できる。ここではＺバッファ法を用いて、複数のワークモデルを高さ画像に描画していく。Ｚバッファ法では、Ｚバッファ＝高さ画像として実現される。また、Ｚバッファの初期化を、無限遠で行うのではなく、床面や箱の情報で最小に初期化する形を取る。Ｚバッファ法の過程で、画素毎にワークモデルの面の法線情報を保持した、法線画像も同時に作成する。ここではＺバッファを上書きした画素について、法線データも更新する。なお、本明細書中では、高さ画像への変換方法としてＺバッファ法を例示するが、本発明はＺバッファ法に限定するものでなく、上述の通り、他の方法も適宜利用できる。このようにして三次元のばら積みデータから高さ画像に描画し直す。
（三次元計測部）
三次元計測部３０は、画像処理装置３００に設けることができる。三次元計測部３０は、実運用時に複数のワークが積み上げられた作業空間を三次元計測し、その計測データを出力するように構成されている。センサ部２は三次元計測部３０の一構成要素とすることができる。計測手法は上述したとおりであり、特に限定されるものではない。三次元計測部３０をセンサ部２に設けて一体化することもできる。
（サーチ処理部）
サーチ処理部２４は、上述したピッキング動作シミュレーションで使用されているが、実運用時でも使用することができる。サーチ処理部２４をピッキング動作シミュレーションで使用したものとは別に構成することもできる。
すなわち、サーチ処理部２４は、サーチモデル登録部２７に登録された複数のサーチモデルを用いて、三次元計測部３０から出力された計測データの中に含まれる複数のワークの位置及び姿勢を検出するサーチ処理を行う。サーチ処理を行う際には、三次元計測部３０から出力された計測データに基づいて高さ画像生成部３３によって高さ画像を生成し、この高さ画像中にサーチモデル登録部２７で登録されたサーチモデルが存在するか否かをサーチする。この手法はピッキング動作シミュレーションで行った手法と同じにすることができる。
また、サーチ処理部２４は、サーチモデルの形状を表す複数の特徴点を用いて、三次元計測部３０から出力された計測データの中に含まれる複数のワークの位置及び姿勢を検出することができる。すなわち、三次元計測部３０から出力された計測データに基づいて高さ画像を生成し、この高さ画像の中で、サーチモデルの形状を表す複数の特徴点と一致する形状をサーチする。
また、サーチ処理部２４は、サーチモデル登録部２７に登録されている関連付けられた高さ画像データを用いて、三次元計測部３０から出力された計測データの中に含まれる複数のワークの位置及び姿勢を検出するように構成することができる。
（干渉判定部）
干渉判定部３１は、画像処理装置３００に設けることができる。干渉判定部３１は、サーチ処理部２４でサーチ処理に成功したサーチモデルに対応付けられたワーク表面に設定された把持候補位置をロボットＲＢＴが周囲の物体と干渉することなく把持が可能か判定する。この干渉判定部３１による判定手法は、ピッキング動作シミュレーションで行った手法と同じにすることができる。
（把持位置決定部）
把持位置決定部３２は、画像処理装置３００に設けることができる。把持位置決定部３２は、干渉判定部３１により周囲の物体と干渉することなく把持が可能と判定された把持候補位置を実際の把持位置として決定するように構成されている。
（実運用時の手順）
次に、実運用時には、まず、図１に示すようにセンサ部２を用いて容器ＢＸにばら積みされているワークＷＫを三次元計測する。そして、三次元計測部３０から出力された計測データに基づいて高さ画像生成部３３で高さ画像を生成しておく。
その後、高さ画像に対して上述した三次元サーチを実施し、ワークの位置及び姿勢を検出した後、ワークモデルの位置と、登録してあるワークモデルの把持姿勢とに基づいて、ハンド部を配置すべき位置と姿勢を計算する。
計算された位置において、ハンド部が周囲の物体と干渉しないかどうかを、ハンドモデルの断面モデルを利用して判定する。具体的には、高さ画像の各１点１点のｐｉｘｅｌデータが示す三次元点群と、ハンド部形状入力部３５で予め入力されているハンドモデルとが干渉するか否かを、ハンドの断面モデルを用いて判定する。ハンド部が周囲の物体と干渉していない場合には、把持解有りとする。この把持解がロボットコントローラ６に送信され、ロボットコントローラ６がアーム部ＡＲＭ及びハンド部を制御してワークＷＫをピックして搬送する。
一方、ハンド部が周囲の物体と干渉している場合には、登録されている別の把持候補位置があるか否かを判定する。別の把持候補位置がある場合には、干渉判定を行う。別の把持候補位置がない場合には、ワークが他にもあるか否かを判定する。別のワークがある場合には、把持可能か否かを判定する。別のワークがない場合には把持解無しとして終了する。このように三次元サーチで複数のワークが検出された場合、検出されたワークを１つずつ把持可能か否かを判定していく。
（実施形態の作用効果）
以上説明したように、この実施形態によれば、ばら積みピッキング動作のシミュレーションに使用されるワークモデルＷＫＭの形状及び個数と、容器モデルＢＸＭに関するシミュレーション環境を使用者が設定部２２で設定することができる。物理シミュレーション部２２は、設定部２０により設定された個数よりも少ない個数のワークモデルＷＫＭを容器モデルＢＸＭ内に落下させる第１物理シミュレーションを実行する。第１物理シミュレーションにより、容器モデルＢＸＭ内では、複数のワークモデルＷＫＭがばら積み状態で存在することになる。物理シミュレーション部２２は、このばら積み状態となっている複数のワークモデルＷＫＭをコピーして容器モデルＢＸＭの上方から該容器モデルＢＸＭ内に落下させる第２物理シミュレーションを実行する。設定部２０により設定された個数のワークモデルＷＫＭが容器モデルＢＸＭ内にばら積みされるまで、コピーした複数のワークモデルＷＫＭを落下させることで、ワークモデルＷＫＭのばら積みシミュレーションが完了する。
コピーしたワークモデルＷＫＭを落下させる際には、複数のワークモデルＷＫＭを一度に落下させることになるので、ワークモデルＷＫＭを１つずつ落下させる場合に比べて、ばら積みシミュレーションの結果の正確性が高まるだけでなく、物理シミュレーションに要する時間が短縮される。
また、落下開始位置（初期位置）に配置するワークモデルＷＫＭの個数が設定部２０により設定された個数よりも少ないので、初期位置においてワークモデルＷＫＭ同士の干渉が起こり難くなり、従来例のようにワークモデルが収まる球体を想定する必要が無くなる。よって、初期位置におけるワークモデルＷＫＭの配置が自然な配置になり、このことによってもばら積みシミュレーションの結果の正確性が高まる。
さらに、従来例の球体を想定しなくて済む分、複数のワークモデルＷＫＭを初期位置に配置するのに要する空間を小さくすることが可能になり、このことによっても物理シミュレーションに要する時間が短縮される。
したがって、シミュレーション時間が長引くのを抑制しながら、シミュレーション結果の正確性を高めることができる。
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
以上説明したように、本発明に係るロボットピッキングシミュレーション装置及びロボットピッキングシミュレーション方法は、例えば、ばら積みされているワークをピックするロボットシステムに適用することができる。
２ センサ部
３ 表示部
４ 操作部
６ ロボットコントローラ
７ ロボット操作具
２０ 設定部
２２ 物理シミュレーション部
２３ ばら積みデータ生成部
２４ サーチ処理部
２５ ピッキング動作シミュレーション部
２６ 表示制御部
１００ ロボット設定装置
２００ ロボットピッキングシミュレーション装置
３００ 画像処理装置
４００ 形状測定装置
１０００ ロボットシステム
ＢＸ 容器
ＢＸＭ 容器モデル
ＣＭＥ１～４ カメラ（受光部）
ＰＲＪ プロジェクタ（投光部）
ＲＢＴ ロボット
ＷＫ ワーク
ＷＫＭ ワークモデル

Claims (10)

  1. 作業空間に積み上げられた複数のワークをロボットによって順次取り出すばら積みピッキング動作をシミュレーションするためのロボットピッキングシミュレーション装置であって、
    ワークの三次元形状をモデル化したワークモデルの形状及び個数と、当該ワークモデルを収容する容器モデルに関するシミュレーション環境を設定する設定部と、
    前記設定部により設定された個数よりも少ない個数のワークモデルを前記容器モデル内に投入する第１物理シミュレーションを実行するとともに、当該第１物理シミュレーションにより生成されたばら積み状態となっている複数のワークモデルをコピーして前記容器モデルの上方から前記容器モデル内に一度に投入する第２物理シミュレーションを実行することにより、ピッキングシミュレーション用のばら積み状態を生成する物理シミュレーション部とを備えることを特徴とするロボットピッキングシミュレーション装置。
  2. 請求項１に記載のロボットピッキングシミュレーション装置において、
    前記物理シミュレーション部は、前記第２物理シミュレーション時にコピーした複数のワークモデルを前記容器モデル内に投入する第１投入処理と、当該第１投入処理の後、再度、前記複数のワークモデルを前記容器モデル内に投入する第２投入処理とを行うように構成されていることを特徴とするロボットピッキングシミュレーション装置。
  3. 請求項２に記載のロボットピッキングシミュレーション装置において、
    前記物理シミュレーション部は、前記第１投入処理の後、前記容器モデル内でばら積み状態となっている複数のワークモデルをコピーして前記容器モデルの上方から前記複数のワークモデルを前記容器モデル内に投入するように構成されていることを特徴とするロボットピッキングシミュレーション装置。
  4. 請求項１から３のいずれか１つに記載のロボットピッキングシミュレーション装置において、
    前記物理シミュレーション部は、前記第２物理シミュレーションでコピーした複数のワークモデルからなるワークモデル群を回転させた後、前記容器モデル内に投入するように構成されていることを特徴とするロボットピッキングシミュレーション装置。
  5. 請求項１から４のいずれか１つに記載のロボットピッキングシミュレーション装置において、
    前記物理シミュレーション部は、前記第１物理シミュレーションの後、前記第２物理シミュレーションの前に、前記容器モデル内にばら積みされている前記ワークモデルに対して所定の力を与える物理シミュレーションを実行するように構成されていることを特徴とするロボットピッキングシミュレーション装置。
  6. 請求項１から５のいずれか１つに記載のロボットピッキングシミュレーション装置において、
    前記物理シミュレーション部は、前記第１物理シミュレーションの後、前記第２物理シミュレーションの前に、前記ワークモデルが内部にばら積みされている前記容器モデルに対して所定の力を与える物理シミュレーションを実行するように構成されていることを特徴とするロボットピッキングシミュレーション装置。
  7. 請求項１から６のいずれか１つに記載のロボットピッキングシミュレーション装置において、
    前記物理シミュレーション部は、前記第２物理シミュレーションの実行の際、前記ワークモデルに対して投入方向に初速を与えるように構成されていることを特徴とするロボットピッキングシミュレーション装置。
  8. 請求項１から７のいずれか１つに記載のロボットピッキングシミュレーション装置において、
    前記物理シミュレーション部は、前記第２物理シミュレーションの実行の際、前記容器モデルの側壁を上方へ延長した仮想壁を設定するように構成されていることを特徴とするロボットピッキングシミュレーション装置。
  9. 請求項１から８のいずれか１つに記載のロボットピッキングシミュレーション装置において、
    前記物理シミュレーション部は、前記第２物理シミュレーションの実行の際、コピーした複数のワークモデルからなるワークモデル群を、前記容器モデル内でばら積み状態となっている複数のワークモデルの最上部よりも所定距離以上上方に離れた所から前記容器モデル内に投入するように構成されていることを特徴とするロボットピッキングシミュレーション装置。
  10. 作業空間に積み上げられた複数のワークをロボットによって順次取り出すばら積みピッキング動作をシミュレーションするためのロボットピッキングシミュレーション方法であって、
    ワークの三次元形状をモデル化したワークモデルの形状及び個数と、当該ワークモデルを収容する容器モデルに関するシミュレーション環境を設定する設定ステップと、
    前記設定ステップにより設定された個数よりも少ない個数のワークモデルを前記容器モデル内に投入する第１物理シミュレーションを実行するとともに、当該第１物理シミュレーションにより生成されたばら積み状態となっている複数のワークモデルをコピーして前記容器モデルの上方から前記容器モデル内に一度に投入する第２物理シミュレーションを実行することにより、ピッキングシミュレーション用のばら積み状態を生成する物理シミュレーション工程とを備えることを特徴とするロボットピッキングシミュレーション方法。
JP2019139110A 2019-07-29 2019-07-29 ロボットピッキングシミュレーション装置及びロボットピッキングシミュレーション方法 Active JP7344699B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019139110A JP7344699B2 (ja) 2019-07-29 2019-07-29 ロボットピッキングシミュレーション装置及びロボットピッキングシミュレーション方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019139110A JP7344699B2 (ja) 2019-07-29 2019-07-29 ロボットピッキングシミュレーション装置及びロボットピッキングシミュレーション方法

Publications (2)

Publication Number Publication Date
JP2021020284A JP2021020284A (ja) 2021-02-18
JP7344699B2 true JP7344699B2 (ja) 2023-09-14

Family

ID=74573550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019139110A Active JP7344699B2 (ja) 2019-07-29 2019-07-29 ロボットピッキングシミュレーション装置及びロボットピッキングシミュレーション方法

Country Status (1)

Country Link
JP (1) JP7344699B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015168043A (ja) 2014-03-10 2015-09-28 ファナック株式会社 ワークの取出工程をシミュレーションするロボットシミュレーション装置
JP2018144154A (ja) 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015168043A (ja) 2014-03-10 2015-09-28 ファナック株式会社 ワークの取出工程をシミュレーションするロボットシミュレーション装置
JP5877857B2 (ja) 2014-03-10 2016-03-08 ファナック株式会社 ワークの取出工程をシミュレーションするロボットシミュレーション装置
JP2018144154A (ja) 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Also Published As

Publication number Publication date
JP2021020284A (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
JP6970551B2 (ja) 形状測定装置及び形状測定方法
JP7346133B2 (ja) ロボット設定装置及びロボット設定方法
JP7083189B2 (ja) 学習データセット作製方法及び装置
EP1864764B1 (en) Robot simulation apparatus
JP6323993B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
KR101850410B1 (ko) 가상 현실 기반 로봇 교시를 위한 시뮬레이션 장치 및 방법
US11511415B2 (en) System and method for robotic bin picking
JP2018144152A (ja) ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
EP3650181A1 (en) Route output method, route output system and route output program
JP2018144155A (ja) ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN108283021A (zh) 使用来自机器人的相机的相机图像的检测边缘和从环境的三维模型取得的检测边缘来定位环境中的机器人
JP2018144154A (ja) ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2018144158A (ja) ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6857101B2 (ja) ロボットシミュレーション装置及びロボットシミュレーション方法
JP6919987B2 (ja) 画像処理装置
EP1026637A2 (en) Hardware simulation systems and methods for vision inspection systems
JPWO2020008538A1 (ja) 材質推定装置及びロボット
JP7344699B2 (ja) ロボットピッキングシミュレーション装置及びロボットピッキングシミュレーション方法
JP7202966B2 (ja) 三次元測定装置及び三次元測定方法
JP2019028773A (ja) ロボットシミュレーション装置及びロボットシミュレーション方法
JP7233508B2 (ja) 形状測定装置及び形状測定方法
JP2021091056A (ja) 測定装置
JP2022017738A (ja) 画像処理装置
JP2021091055A (ja) 測定装置
JP2020122664A (ja) 三次元計測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R150 Certificate of patent or registration of utility model

Ref document number: 7344699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150