JP7346133B2 - ロボット設定装置及びロボット設定方法 - Google Patents

ロボット設定装置及びロボット設定方法 Download PDF

Info

Publication number
JP7346133B2
JP7346133B2 JP2019139111A JP2019139111A JP7346133B2 JP 7346133 B2 JP7346133 B2 JP 7346133B2 JP 2019139111 A JP2019139111 A JP 2019139111A JP 2019139111 A JP2019139111 A JP 2019139111A JP 7346133 B2 JP7346133 B2 JP 7346133B2
Authority
JP
Japan
Prior art keywords
model
robot
simulation
workpiece
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019139111A
Other languages
English (en)
Other versions
JP2021020285A (ja
Inventor
直輝 ▲高▼山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2019139111A priority Critical patent/JP7346133B2/ja
Publication of JP2021020285A publication Critical patent/JP2021020285A/ja
Application granted granted Critical
Publication of JP7346133B2 publication Critical patent/JP7346133B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Numerical Control (AREA)

Description

本発明は、ロボット設定装置及びロボット設定方法に関する。
例えば各種製品の組み立て現場では、通い箱等に収容されている複数の部品（ワーク）を産業用ロボットのアームに取り付けられたハンド部等のエンドエフェクタで把持して順次取り出し、所定場所まで搬送することが行われている。
産業用ロボットには視覚センサとなるロボットビジョンが組み合わされて使用される場合が増えてきている。ロボットビジョンを備えたロボットシステムは、まずロボットビジョンによって把持対象となるワークを撮像してワークの高さ情報を取得した上で、予め登録されているワークの適切な位置を把持（ピック）し、ワークを所定場所まで搬送して載置（プレース）する動作を繰り返し行うように構成されている。
また、搬送前のワークは整列した状態で積み重ねられている場合もあるが、整列されておらず、無作為に積み重ねられた非整列状態、即ちばら積みされている場合がある。ワークがばら積みされている場合には、通い箱毎にワークの位置及び姿勢が異なっていて一つとして同じ位置及び姿勢のワークが無いのが通常である。このようなばら積みされたワークを順次取り出して所定場所まで搬送して載置する作業は、ばら積みピッキングと呼ばれている。ばら積みピッキングは、整列されているワークをピッキングする場合に比べて難易度がはるかに高いので、ロボットの運用前に、ロボットピッキングシミュレーション装置によってロボットのピックやプレース動作のシミュレーションを三次元的に行うことがある（例えば、特許文献１～４参照）。
特許第４１５３５２８号公報 特開２０１５－２１５２５９号公報 特開２００２－３３１４８０号公報 特開２０１５－１７１７４５号公報
ところで、ばら積みピッキングを行う際には、ロボットのハンド部が容器内のワークを把持し、載置位置まで搬送する搬送経路をロボットの設定装置が自動的に生成する。このロボットの経路生成アルゴリズムの一つとして、ＲＲＴ（Ｒａｐｉｄｌｙ－Ｅｘｐｌｏｒｉｎｇ Ｒａｎｄｏｍ Ｔｒｅｅｓ）がある。ＲＲＴアルゴリズムでは、ワークの把持位置と載置位置とのそれぞれから探索木を成長させていき、両探索木のつながったところで経路成立となる。
ＲＲＴアルゴリズムを利用して経路生成を行う際、ワークの把持位置から載置位置までの間に障害物が存在しない場合は経路生成に要する処理時間が短くなる一方、ワークの把持位置と載置位置との間に障害物が存在する場合はその障害物との干渉を避けるために様々な方向への探索が発生してしまい、その結果、処理時間が長くなったり、経路が毎回異なってしまうという問題がある。
そこで、例えば、ワークの把持位置と載置位置との間にハンド部が経由する経由点を設定し、経路探索の問題を、把持位置から経由点までと、経由点から載置位置までの２つに分解することで、各問題を単純化して解の安定性を高めることが考えられる。
しかし、経由点を設定すると、ハンド部が必ず経由点に立ち寄ることになるため、経由点の位置によってはロボットの動作経路が無用に長くなってしまうおそれがある。つまり、経由点の設定によって経路生成の時間を短縮できたとしても、ロボットの動作経路が長くなることで動作時間が長引き、結果としてばら積みピッキングに要する時間を短縮することができない場合があり得る。
このことに対しては、ロボットの動作経路が無用に長くならないように経由点の位置を設定すればよいのであるが、ロボットの自由度が多い場合には、どこを経由点とすればロボットの動作軌跡を短くすることができるのか、そのことを使用者が直感的に判断するのは困難であり、使用者による試行錯誤が必要になる。
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、把持位置から載置位置までの間に、ロボットの動作経路が無用に長くならないよう適切な経由点を設定可能にしてばら積みピッキングに要する時間を短縮することにある。
上記目的を達成するために、第１の発明は、作業空間に積み上げられた複数のワークを順次取り出すばら積みピッキング動作を行うロボットを設定するためのロボット設定装置において、ワークの三次元形状をモデル化したワークモデル、当該ワークモデルを収容する容器モデル、ロボットに関する情報を規定するロボットモデル、当該ロボットモデルのハンド部により前記ワークモデルが載置される載置位置、及び前記ロボットモデルのハンド部が前記ワークモデルを把持した後、前記載置位置に載置するまでの間に当該ハンド部または前記ワークモデルが経由する経由点を含むシミュレーション環境を設定する設定部と、前記容器モデル内に前記設定部により設定された複数のワークモデルを落下させる物理シミュレーションを実行することにより前記容器モデル内に前記ワークモデルのばら積み状態を生成し、前記ロボットモデルのハンド部により前記容器モデル内の前記ワークモデルを把持してから前記経由点を経由し、前記載置位置に載置するシミュレーションを繰り返し実行するシミュレーション部と、前記シミュレーション部によるシミュレーションの結果に基づいて、前記ロボットモデルのハンド部または前記ワークモデルが通過した経路、当該経路の生成に要する経路生成時間、及び前記ロボットモデルのハンド部により前記容器モデル内の前記ワークモデルを把持してから前記経由点を経由し、前記載置位置に載置するまでのロボット動作時間の少なくともいずれか１つを表示部に表示する表示制御部とを備えていることを特徴とする。
この構成によれば、容器モデル内にばら積み状態とされているワークモデルをロボットモデルのハンド部が把持して経由点を経由し、載置位置まで搬送する動作がシミュレーションされる。このとき、経由点がワークモデルの把持位置と載置位置との間に設定されているので、例えば把持位置と載置位置との間に障害物が存在する場合のように、ロボットの自由度が多く想定される場合に、経路生成の問題が複数に分割されることにより解の安定性が高まるとともに、経路生成時間が短くなる。尚、経由点は２以上設定されていてもよい。
このシミュレーションの結果に基づいて、ロボットモデルのハンド部またはワークモデルが通過した経路、上記経路生成時間及びロボットモデルのハンド部により容器モデル内のワークモデルを把持してから経由点を経由し、載置位置に載置するまでのロボット動作時間の少なくともいずれか１つが表示部に表示される。経路が表示部に表示される場合には、使用者は、ロボットモデルのハンド部またはワークモデルがどのような経路により把持位置から載置位置まで搬送されるのかを経由点を含めて確認可能になる。これにより、経路が無用に長くなっていないか、適切な長さであるか否かを表示部の表示内容に基づいて検討することが可能になる。
また、経路の生成に要する経路生成時間が表示部に表示される場合には、使用者は、経路生成時間が妥当な時間となっているか否かを表示部の表示内容に基づいて検討することが可能になる。
また、ロボット動作時間が表示部に表示される場合には、使用者は、ロボット動作時間が妥当な時間であるか否かを表示部の表示内容に基づいて検討することが可能になる。
第２の発明は、前記シミュレーション部が繰り返し実行したシミュレーション結果を記憶する記憶部を備え、前記表示制御部は、前記記憶部に記憶された複数の前記経路を読み込み、当該複数の経路を互いに区別可能な表示形態で前記表示部に重畳表示させるように構成されていることを特徴とする。
この構成によれば、シミュレーション部がシミュレーションを繰り返し実行しているので、経路が複数得られ、これらが記憶部に記憶される。表示制御部は、記憶部に記憶された複数の経路を読み込んでから、複数の経路を互いに区別可能な表示形態で表示部に表示させるので、使用者は表示部を見ることにより、経路のばらつきを把握できるとともに、経由点の妥当性を検討することができる。
区別可能な表示形態とは、例えば、経路毎に表示色を変えた形態を挙げることができる。また、経路を図形の集合で示している場合には、図形の色を変えること、図形の形状を変えることによっても、複数の経路を区別することができる。また、経路を線で示している場合には、線の色を変えること、線種を変えることによっても、複数の経路を区別することができる。
第３の発明は、前記表示制御部は、前記経由点を前記表示部に前記経路と重畳表示させるように構成されていることを特徴とする。
この構成によれば、使用者が表示部を見るだけで、複数の経路と経由点との関係を把握できる。例えば、複数の経路の互いに接近した部分またはその近傍に経由点が存在している場合には、ロボット動作時間を短縮する上で妥当な位置に経由点があると判断することができる一方、複数の経路の互いに接近した部分またはその近傍から離れた所に経由点が存在している場合には、ロボット動作時間を短縮する上で不適な位置に経由点があると判断することができる。
第４の発明は、前記表示制御部は、複数の前記経路生成時間の平均を算出して表示部に表示させるように構成されていることを特徴とする。
すなわち、生成する経路によって生成に要する時間は様々であることが考えられるが、本発明では、経路生成時間の平均値を算出して表示部に表示させるようにしたので、表示部に表示される経路生成時間の信頼性を高めることができる。
第５の発明は、前記表示制御部は、複数の前記ロボット動作時間の平均を算出して表示部に表示させるように構成されていることを特徴とする。
すなわち、ロボットの動作経路によってロボット動作時間は様々であることが考えられるが、本発明では、ロボット動作時間の平均値を算出して表示部に表示させるようにしたので、表示部に表示されるロボット動作時間の信頼性を高めることができる。
第６の発明は、前記表示制御部は、複数の前記経路生成時間のばらつきを算出して表示部に表示させるように構成されていることを特徴とする。
この構成によれば、経路生成時間のばらつきが表示部に表示されるので、使用者は経路生成時間のばらつきを考慮して経路生成時間の妥当性を検討することができる。
第７の発明は、前記表示制御部は、複数の前記ロボット動作時間のばらつきを算出して表示部に表示させるように構成されていることを特徴とする。
この構成によれば、ロボット動作時間のばらつきが表示部に表示されるので、使用者はロボット動作時間のばらつきを考慮してロボット動作時間の妥当性を検討することができる。
第８の発明は、前記設定部は、前記ロボットモデルのハンド部の待機位置から前記ロボットモデルのハンド部が前記容器モデル内の前記ワークモデルを把持するまでの間に当該ハンド部が経由する往き経路上の経由点を含むシミュレーション環境を設定可能に構成され、
前記シミュレーション部は、前記ロボットモデルのハンド部が前記待機位置から前記往き経路上の経由点を経由し、前記容器モデル内の前記ワークモデルを把持するシミュレーションを繰り返し実行可能に構成されていることを特徴とする。
この構成によれば、上述した経由点とは別に、待機位置にあるハンド部が容器モデル内のワークモデルを把持するまでの経路上に設定された往き経路上の経由点の妥当性を容易に検討することができる。
第９の発明は、作業空間に積み上げられた複数のワークを順次取り出すばら積みピッキング動作を行うロボットを設定するためのロボット設定装置において、ワークの三次元形状をモデル化したワークモデル、当該ワークモデルを収容する容器モデル、ロボットに関する情報を規定するロボットモデル及び当該ロボットモデルのハンド部により前記ワークモデルが載置される載置位置を含むシミュレーション環境を設定する設定部と、前記容器モデル内に前記設定部により設定された複数のワークモデルを落下させる物理シミュレーションを実行することにより前記容器モデル内に前記ワークモデルのばら積み状態を生成し、前記ロボットモデルのハンド部により前記容器モデル内の前記ワークモデルを把持してから前記載置位置に載置するシミュレーションを繰り返し実行するシミュレーション部と、前記シミュレーション部によるシミュレーションの結果を解析し、前記ロボットモデルのハンド部が前記ワークモデルを把持した後、前記載置位置に載置するまでの間に前記ハンド部または前記ワークモデルが経由する経由点を自動的に算出する経由点算出部とを備えていることを特徴とする。
この構成によれば、容器モデル内にばら積み状態とされているワークモデルをロボットモデルのハンド部が把持して載置位置まで搬送する動作が繰り返しシミュレーションされる。このシミュレーションの結果を経由点算出部が解析し、ロボットモデルのハンド部がワークモデルを把持した後、載置位置に載置するまでの間にハンド部またはワークモデルが経由する経由点を自動的に算出する。経由点算出部が解析するシミュレーションの結果には複数回のシミュレーション結果が含まれているので、それらに共通するような経由点を算出することで、経由点が適切なものになる。この経由点の設定により、経路生成の問題が複数に分割されて解の安定性が高まるとともに、経路生成時間が短くなる。尚、経由点は２以上設定されていてもよい。
第１０の発明は、前記経由点算出部は、前記シミュレーション部によるシミュレーションの結果得られた複数の経路の近接度が所定以上となる点を算出し、当該点を前記経由点とするように構成されていることを特徴とする。
この構成によれば、シミュレーションが繰り返し実行されるので、その結果によりロボットモデルのハンド部またはワークモデルが通る経路が複数得られる。これら複数の経路が互いに接近すればするほど近接度が高くなり、この近接度が所定以上となる点は複数の経路に近いところに位置することになる。この点を経由点とすることで、全ての経路に対してロボットの動作軌跡が無用に長くならないような経由点を設定することができる。
第１１の発明は、前記シミュレーション部によるシミュレーションの結果に基づいて、前記ロボットモデルのハンド部または前記ワークモデルが通過した経路、当該経路の生成に要する経路生成時間、及び前記ロボットモデルのハンド部により前記容器モデル内の前記ワークモデルを把持してから前記経由点を経由し、前記載置位置に載置するまでのロボット動作時間の少なくともいずれか１つを表示部に表示する表示制御部を備えていることを特徴とする。
この構成によれば、自動的に算出された経由点が適切なものであるか否かを、使用者が、表示部に表示された経路、経路生成時間、またはロボット動作時間の少なくともいずれか１つに基づいて判断することができる。
第１２の発明は、前記シミュレーション部は、待機位置にある前記ロボットモデルのハンド部が前記容器モデル内の前記ワークモデルを把持するシミュレーションを繰り返し実行可能に構成され、前記経由点算出部は、前記シミュレーション部によるシミュレーションの結果を解析し、待機位置にある前記ロボットモデルのハンド部が前記容器モデル内の前記ワークモデルを把持するまでの間に前記ハンド部が経由する往き経路上の経由点を自動的に算出するように構成されていることを特徴とする。
この構成によれば、待機位置にあるハンド部が容器モデル内のワークモデルを把持するまでの往き経路上に、経由点を自動的に設定することができる。
第１３の発明は、作業空間に積み上げられた複数のワークを順次取り出すばら積みピッキング動作を行うロボットを設定するためのロボット設定方法において、ワークの三次元形状をモデル化したワークモデル、当該ワークモデルを収容する容器モデル、ロボットに関する情報を規定するロボットモデル及び当該ロボットモデルのハンド部により前記ワークモデルが載置される載置位置を含むシミュレーション環境を設定する設定ステップと、前記容器モデル内に前記設定ステップにより設定された複数のワークモデルを落下させる物理シミュレーションを実行することにより前記容器モデル内に前記ワークモデルのばら積み状態を生成し、前記ロボットモデルのハンド部により前記容器モデル内の前記ワークモデルを把持してから経由点を経由し、前記載置位置に載置するシミュレーションを繰り返し実行するシミュレーションステップと、前記シミュレーションステップによるシミュレーションの結果に基づいて、前記ロボットモデルのハンド部または前記ワークモデルが通過した経路、当該経路の生成に要する経路生成時間、及び前記ロボットモデルのハンド部により前記容器モデル内の前記ワークモデルを把持してから前記経由点を経由し、前記載置位置に載置するまでのロボット動作時間の少なくともいずれか１つを表示部に表示する表示ステップとを備えていることを特徴とする。
第１４の発明は、作業空間に積み上げられた複数のワークを順次取り出すばら積みピッキング動作を行うロボットを設定するためのロボット設定方法において、ワークの三次元形状をモデル化したワークモデル、当該ワークモデルを収容する容器モデル、ロボットに関する情報を規定するロボットモデル、当該ロボットモデルのハンド部により前記ワークモデルが載置される載置位置、及び前記ロボットモデルのハンド部が前記ワークモデルを把持した後、前記載置位置に載置するまでの間に当該ハンド部または前記ワークモデルが経由する経由点を含むシミュレーション環境を設定する設定ステップと、前記容器モデル内に前記設定ステップにより設定された複数のワークモデルを落下させる物理シミュレーションを実行することにより前記容器モデル内に前記ワークモデルのばら積み状態を生成し、前記ロボットモデルのハンド部により前記容器モデル内の前記ワークモデルを把持してから前記載置位置に載置するシミュレーションを繰り返し実行するシミュレーションステップと、前記シミュレーションステップによるシミュレーションの結果を解析し、前記ロボットモデルのハンド部が前記ワークモデルを把持した後、前記載置位置に載置するまでの間に前記ハンド部または前記ワークモデルが経由する経由点を自動的に算出する経由点算出ステップとを備えていることを特徴とする。
本発明によれば、ロボットモデルのハンド部がワークモデルを把持した後、載置位置に載置するまでの間にハンド部またはワークモデルが経由する経由点を設定することで、経路生成の安定性を高めることができるとともに、経路生成時間を短くすることができる。この場合に、容器モデル内のばら積み状態のワークモデルをロボットモデルのハンド部により把持してから経由点を経由して載置位置に載置するシミュレーションを繰り返し実行し、シミュレーションの結果に基づいて、経路、経路生成時間、及びロボット動作時間の少なくともいずれか１つを表示部に表示させることができるので、把持位置から載置位置までの間に、ロボットの動作軌跡が無用に長くならないよう適切な経由点を設定することができ、ばら積みピッキングに要する時間を短縮できる。
また、シミュレーションの結果を解析し、ロボットのハンド部がワークモデルを把持した後、載置位置に載置するまでの間にハンド部またはワークモデルが経由する経由点を自動的に算出することで、ロボットの動作軌跡が無用に長くならないよう適切な経由点を設定することができ、ばら積みピッキングに要する時間を短縮できる。
ロボットシステムを用いてばら積みピッキング動作を行う様子を示す模式図である。 ロボットシステムの概略構成を示すブロック図である。 ロボットシステムの詳細構成を示すブロック図である。 センサ部の一例を示す斜視図である。 エンドエフェクタでワークを把持する例を示す模式図である。 空洞を有するワークを内面から把持する例を示す模式図である。 板状のワークを吸引して把持する例を示す模式図である。 ロボットピッキングシミュレーションの手順を示すフローチャートである。 ロボットモデル、サーチモデル及び容器モデルの設定の手順を示すフローチャートである。 ハンドモデル及び把持位置の設定の手順を示すフローチャートである。 容器モデル設定用画面を示す図である。 把持姿勢にあるロボットモデル、容器モデル及び障害物を示す図である。 把持姿勢にあるロボットモデル、容器モデル及び障害物を上方から見た図である。 載置姿勢にあるロボットモデル、容器モデル及び障害物を示す図である。 載置姿勢にあるロボットモデル、容器モデル及び障害物を上方から見た図である。 ハンド部が経由点にあるロボットモデル、容器モデル及び障害物を示す図である。 ハンド部が経由点にあるロボットモデル、容器モデル及び障害物を上方から見た図である。 物理シミュレーションの設定手順を示すフローチャートである。 ピッキングシミュレーション画面を示す図である。 ワークモデルの設定画面を示す図である。 ワークモデルを容器モデル内にばら積みした状態を上方から見た図である。 ワークモデルが容器モデル内でばら積みされた状態の高さ画像を表示する画面を示す図である。 把持可能なワークモデルが検出された場合に表示される画面を示す図である。 ＲＲＴアルゴリズムを利用して経路生成を行う場合の初期状態を示す図である。 ＲＲＴアルゴリズムを利用して経路生成を行う場合の最も近いノードを探索した状態を示す図である。 ＲＲＴアルゴリズムを利用して経路生成を行う場合の新しいノードを決定した状態を示す図である。 ピッキングシミュレーションの実行時に表示される画面を示す図である。 経由点なしと経由点ありの場合の処理時間及びロボット動作時間を比較可能にした画面を示す図である。 経由点を自動的に算出する手順を示すフローチャートである。 経由点を自動的に算出する手順の詳細を示すフローチャートである。 選択した２つの経路（第１経路及び第２経路）を示す図である。 第２経路上の一点に対して対応点を算出した場合を示す図である。 第２経路上の各点に対して対応点を算出した場合を示す図である。 経由点候補を算出した場合を示す図である。 算出された経由点を示すグラフである。 経由点を設定しない場合のワークモデルの軌跡を複数重畳表示した例を示す図である。 経由点を設定した場合のワークモデルの軌跡を複数重畳表示した例を示す図である。
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
図１は、本発明の実施形態に係るロボットシステム１０００の構成例を示す模式図である。この図１は、各種製品の製造工場等にある作業空間に積み上げられた複数のワークＷＫを、ロボットＲＢＴを用いて順次取り出し、所定の場所に設置されているステージＳＴＧまで搬送して該ステージＳＴＧ上に載置するばら積みピッキングを行う例について示している。
ロボットシステム１０００はロボットＲＢＴとロボットＲＢＴを制御するロボットコントローラ６とを備えている。ロボットＲＢＴは、産業用の汎用ロボットであり、ベース部が工場等の床面に対して固定されている。ロボットＲＢＴは、例えばマニピュレータ等とも呼ばれており、６軸制御が可能に構成されている。このロボットＲＢＴは、ベース部から延びるアーム部ＡＲＭと、アーム部ＡＲＭの先端部に設けられたエンドエフェクタＥＥＴとを備えている。アーム部ＡＲＭは、可動部としての関節部を複数備えた多関節型に構成することができる。アーム部ＡＲＭの各関節部の動作及びアーム部ＡＲＭ自体の回転動作によってエンドエフェクタＥＥＴを可動範囲内の所望の位置まで移動させることができる。
エンドエフェクタＥＥＴは、ワークＷＫを把持するハンド部等で構成することができる。エンドエフェクタＥＥＴは、図５Ａに示すようにワークＷＫの外側を挟み込んで把持する構造のエンドエフェクタＥＥＴ１、図５Ｂに示すように空洞部を有するワークＷＫ２の内部に爪部を挿入して拡開させることによって保持する構造のエンドエフェクタＥＥＴ２、図５Ｃに示すように板状のワークＷＫ３を吸引して保持するエンドエフェクタＥＥＴ３等があり、いずれのエンドエフェクタも使用することができる。また、本明細書で「把持」とは、図５Ａに示すワークＷＫの外側を挟み込む方法、空洞部に爪部を挿入して拡開させる方法、吸引する方法等の全ての例を含む意味で使用する。
ロボットＲＢＴは、ロボットコントローラ６によって制御される。ロボットコントローラ６はアーム部ＡＲＭの動作やエンドエフェクタＥＥＴの開閉動作等を制御する。またロボットコントローラ６は図２に示すロボット設定装置１００から、ロボットＲＢＴの制御に必要な情報を取得する。例えば、図１に示す容器ＢＸに無作為に投入された多数の部品であるワークＷＫの三次元形状を、三次元カメラや照明等のセンサ部２を使用して取得し、ロボット設定装置１００でワークＷＫの位置や姿勢を検出して、その情報をロボットコントローラ６が取得する。
ロボットシステム１０００の機能ブロック図を図２に示す。この図に示すロボットシステム１０００は、ロボットＲＢＴ及びロボットコントローラ６の他に、ロボット設定装置１００と、センサ部２と、表示部３と、操作部４と、ロボット操作具７とを備える。
操作部４では、後述する物理シミュレーション、ピッキング動作シミュレーション、画像処理に関する各種設定を行う。またセンサ部２で、ワークＷＫを撮像してワークＷＫの三次元形状を取得する。さらに表示部３で、各種設定や、ロボットＲＢＴの動作状態の確認、ロボット設定装置１００の動作状態の確認、物理シミュレーションの確認、ピッキング動作シミュレーションの確認等を行う。さらに、ロボット設定装置１００の内部に設けられているロボットピッキングシミュレーション装置２００や画像処理装置３００が各種シミュレーション、三次元サーチ、干渉判定、把持解の算出等を行う。
一方、ロボットコントローラ６はロボット設定装置１００から出力される信号に従い、ロボットＲＢＴの制御を行うように構成された周知の部材である。またロボット操作具７は、ロボットＲＢＴの動作設定を行う。なお、図２の例では操作部４とロボット操作具７を別個の部材としているが、これらを共通の部材としてもよい。
センサ部２は、ロボットビジョンなどと呼ばれる、作業空間やワークＷＫを撮像する部材であり、この実施形態では、ワークＷＫが少なくとも撮像対象物となり、撮像対象物には容器ＢＸが含まれていてもよい。センサ部２で撮像された画像から、ばら積みされたワークＷＫの三次元形状を示す三次元形状データを取得することが可能になる。容器ＢＸの三次元形状を示す三次元形状データも、センサ部２で撮像された画像から取得することができる。
尚、ワークＷＫや容器ＢＸの三次元形状を取得する方法は、例えば、パターン投影法、ステレオ法、レンズ焦点法、光切断法、光レーダ法、干渉法（白色干渉法）、ＴＯＦ方式などがあり、これらの方法のうち、どの方法を用いてもよい。各方法は、従来から周知であるため、詳細な説明は省略する。本実施形態においては、パターン投影法のうち、周期的な照度分布を有するパターン光を撮像対象物に照射し、撮像対象物の表面で反射した光を受光する位相シフト法を用いている。
センサ部２は、測定対象物であるワークＷＫの形状を測定する形状測定装置４００の一構成要素でもある。形状測定装置４００によって容器ＢＸの形状を測定することもできる。形状測定装置４００は、ロボット設定装置１００の一部とすることができるが、別部材として構成することもできる。センサ部２の具体的な構成は、三次元形状の計測技術に応じて決定される。この例では、センサ部２は、カメラ、照明又はプロジェクタ等を備える。例えば位相シフト法でワークＷＫの三次元形状を計測する場合は、センサ部２として図４に示すように、プロジェクタ（投光部）ＰＲＪと、複数のカメラ（受光部）ＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４とを備える。プロジェクタＰＲＪは、ワークＷＫに光を照射する部材である。カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４は、プロジェクタＰＲＪにより投光されてワークＷＫの表面で反射した光を受光する撮像素子を有する部材である。投光部の光源は、例えば複数の発光ダイオード、液晶パネル、有機ＥＬパネル、デジタルマイクロミラーデバイス（ＤＭＤ）等で構成することができる。
センサ部２は、カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４やプロジェクタＰＲＪといった複数の部材で構成する他、これらを一体的に構成してもよい。例えばカメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４やプロジェクタＰＲＪを統合してヘッド状とした３Ｄ撮像ヘッドを、センサ部２とすることができる。
また三次元形状データの生成自体を、センサ部２で行うこともできる。この場合、センサ部２に三次元形状データの生成機能を実現する画像処理ＩＣ等を設ける。あるいは、三次元形状データの生成を、画像処理装置３００側で行わず、センサ部２で撮像した生画像を、画像処理装置３００側で画像処理して三次元画像等の三次元形状データを生成する構成としてもよい。
さらに、センサ部２で撮像された画像に基づいて、キャリブレーションを実行することにより、実際のワークＷＫの位置座標（エンドエフェクタＥＥＴの移動位置の座標）と、表示部３上に表示された画像上の位置座標とをリンクさせることができる。
ロボット設定装置１００は、センサ部２で得られたワークＷＫの三次元形状データに基づいて、三次元サーチ、干渉判定、把持解算出等を行う。このロボット設定装置１００は、専用の画像処理プログラムをインストールした汎用のコンピュータや、専用に設計された画像処理コントローラ、専用のハードウェアで構成することができる。また、グラフィックボードなどのハードウェアを画像検査処理に特化させた専用のコンピュータに、画像処理プログラムをインストールした構成とすることもできる。
なお図２の例では、センサ部２やロボットコントローラ６等をロボット設定装置１００とは別個の部材で構成する例を示しているが、本発明はこの構成に限られず、例えばセンサ部２と画像処理装置１００とを一体化したり、あるいはロボットコントローラ６をロボット設定装置１００に組み込むこともできる。このように、図２に示す部材の区分けは一例であって、複数の部材を統合させることもできる。例えばロボット設定装置１００を操作する操作部４と、ロボットコントローラ６を操作するロボット操作具７とを、共通の部材としてもよい。
センサ部２はロボットＲＢＴと別体としている。すなわち、センサ部２をロボット本体５のアーム部ＡＲＭに設けない、オフハンド形式と呼ばれる形態となっている。尚、センサ部２をアーム部ＡＲＭに設けてもよい。
表示部３は、ロボット設定装置１００で取得されたワークＷＫの三次元形状を表示させたり、各種シミュレーション画像を表示させたり、各種設定や動作状態の確認を行うための部材であり、例えば、液晶モニタや有機ＥＬディスプレイ、ＣＲＴ等を利用できる。操作部４は、各種シミュレーションや画像処理等の各種設定を行うための部材であり、キーボードやマウス等の入力デバイスが利用できる。また表示部３をタッチパネルとすることで、操作部４と表示部３を一体化することもできる。
例えばロボット設定装置１００を、画像処理プログラムをインストールしたコンピュータで構成した場合、表示部３上には画像処理プログラムのグラフィカルユーザインターフェース（ＧＵＩ）画面が表示される。表示部３上に表示されたＧＵＩ上から各種の設定を行うことができ、またシミュレーション結果等の処理結果を表示させることができる。この場合、表示部３を各種の設定を行うための設定部としても利用でき、設定部には操作部４が含まれていてもよい。
ロボットコントローラ６は、センサ部２で撮像した情報に基づいてロボットの動作を制御する。またロボット操作具７は、ロボットＲＢＴの動作設定を行うための部材であり、ペンダントなどが利用できる。
ワークＷＫは、図１に示すように複数個が容器ＢＸに無作為に収容されている。このような作業空間の上方には、センサ部２が配置されている。ロボットコントローラ６は、センサ部２で得られたワークＷＫの三次元形状に基づいて、複数のワークＷＫの内から、把持対象のワークＷＫを特定して、このワークＷＫを把持するよう、ロボットＲＢＴを制御する。そして、ワークＷＫを把持位置で把持したまま、アーム部ＡＲＭを動作させて予め定められた載置位置、例えばステージＳＴＧ上まで移動させ、所定の姿勢でワークＷＫを載置する。いいかえると、ロボットコントローラ６は、センサ部２及びロボット設定装置１００で特定されたピッキング対象（把持対象）のワークＷＫをエンドエフェクタＥＥＴで把持して、把持したワークＷＫを所定の基準姿勢にて、載置場所（ステージＳＴＧ）に載置してエンドエフェクタＥＥＴを開放するようにロボットＲＢＴの動作を制御する。ステージＳＴＧは、例えばコンベアベルト上やパレット等を挙げることができる。また、把持動作のことをピッキングということもでき、把持位置はピッキング位置ということもできる。また、載置動作のことをプレースということもでき、載置位置はプレース位置ということもできる。
ここで本明細書において、ばら積みピッキングとは、容器ＢＸに入れられて無作為に積み上げられたワークＷＫを、ロボットＲＢＴで把持して、所定の位置に載置する他、容器を用いずに所定の領域に積み上げられたワークＷＫに対して把持、載置を行う例、あるいは所定の姿勢で並べられて積み上げられたワークＷＫを順次把持、載置する例も含む意味で使用する。また、必ずしもワークＷＫ同士が積み重ねられている状態であることは要さず、ワークＷＫ同士の重なりがない状態で平面上にランダムに置かれたワークＷＫについても、本明細書においてはばら積みと呼ぶ（順次ピッキングされていき、ピッキングの終盤でワークＷＫ同士の重なりがない状態となった場合でも依然としてばら積みピッキングと呼ばれるのと同じ理由である）。なお、本発明はばら積みピッキングに必ずしも限定されるものでなく、ばら積みされていないワークＷＫをピックアップする用途にも適用できる。
また、図１の例ではセンサ部２を作業空間の上方に固定しているが、センサ部２の固定位置は、作業空間を撮像できる位置であればよく、例えば作業空間の斜め上方や側方、下方、斜め下方など、任意の位置に配置することができる。ただし、アーム部ＡＲＭ上のような、可動する不定位置にセンサ部２を配置する態様は除かれる。さらにセンサ部２が有するカメラや照明の数も、１個に限らず複数個としてもよい。さらにまたセンサ部２やロボットＲＢＴ、ロボットコントローラ６との接続は、有線接続に限られず、周知の無線接続としてもよい。
ロボットシステム１０００でばら積みピッキング動作を行うにあたり、予めばら積みピッキング動作を行わせるための設定を含めたティーチングを行うこともできる。具体的には、ワークＷＫのどの部位を、エンドエフェクタＥＥＴがどのような姿勢で把持するのか、把持位置及び把持時の姿勢などの登録や、載置位置及び載置時の姿勢などの登録を行うことができる。このような設定は、ペンダント等のロボット操作具７で行うことができる。また、後述するように、実際のロボットを操作せずに、ビジョン空間上で設定を行うこともできる。
表示部３は、ワークＷＫの三次元形状を仮想的に表現するワークモデルや、エンドエフェクタＥＥＴの三次元形状を仮想的に表現する、三次元ＣＡＤデータで構成されたエンドエフェクタモデルを、仮想的な三次元空間上でそれぞれ三次元状に表示させる。さらにこの表示部３は、ワークモデルの基本方向画像を六面図として表示させることもできる。これにより、ワークモデルの各姿勢を六面図で表示させて把持位置の設定作業を行えるようになり、従来面倒であった把持位置の設定作業を容易に行えるようになる。
（ロボットピッキングシミュレーション）
ロボットシステム１０００は、作業空間に積み上げられた複数のワークＷＫをロボットＲＢＴによって順次取り出すばら積みピッキング動作をシミュレーションするためのロボットピッキングシミュレーション装置２００を備えている。ロボットピッキングシミュレーション装置２００は、画像処理装置３００と一体化することができ、画像処理装置３００と共にロボット設定装置１００の内部に設けることができる。画像処理装置３００は、作業空間に積み上げられた複数のワークＷＫを把持して順次取り出すピッキング動作を行うロボットＲＢＴの制御に用いられる装置である。ロボット設定装置１００は、作業空間に積み上げられた複数のワークＷＫを順次取り出すばら積みピッキング動作を行うロボットＲＢＴを設定するため装置である。
図３に示すように、ロボット設定装置１００は、設定部２０、データ容量圧縮部２１、物理シミュレーション部２２、ばら積みデータ生成部２３、サーチ処理部２４、ピッキング動作シミュレーション部２５、表示制御部２６、サーチモデル登録部２７、把持位置設定部２８、三次元計測部３０、干渉判定部３１、把持位置決定部３２、高さ画像生成部３３、画素判定部３４、ハンド部形状入力部３５、露光制御部４０及び露光時間設定部４１を備えている。これら各部は、ロボットピッキングシミュレーション装置２００や画像処理装置３００を構成する部分であり、ハードウェアで構成することもできるし、ソフトウェアで構成することもできる。また、これら各部を全て一体化して１つの装置にすることもできるし、任意の一部分を他の部分と別にして複数の装置でロボット設定装置１００を構成することもできる。また、これら各部を例えばマイクロプロセッサ（ＭＰＵ）やＣＰＵ、ＬＳＩ、ＦＰＧＡやＡＳＩＣ等のゲートアレイ、ＤＳＰ等のハードウェアやソフトウェア、あるいはこれらの混在により実現できる。また必ずしも各構成要素が図３等に示した構成と同一でなくてもよく、その機能が実質的に同一であるもの、及び一つの要素が図３に示す構成における複数の要素の機能を備えるものは、本発明に含まれる。また、１つの部分は複数の装置で共有されていてもよい。
例えば、露光制御部４０及び露光時間設定部４１は、センサ部２に設けることができる。また、表示制御部２６は表示部３に設けることができる。また、ロボット設定装置１００には、例えば各種情報等を記憶するための記憶部４２も設けられている。記憶部４２は、半導体メモリやハードディスク等で構成することができる。また、記憶部４２には、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の各種記憶媒体に記憶されている情報を読み取り可能な読み取り装置を設けることもできる。
ロボットシステム１０００の運用前、即ち、実際の作業現場でワークＷＫの把持及び載置作業を行う前に、ロボットピッキングシミュレーション装置２００によってロボットＲＢＴの把持動作や載置動作のシミュレーションを三次元的に行うことができるように構成されている。また、ロボットＲＢＴやワークＷＫを用意しなくても、ロボットＲＢＴによりワークＷＫのピッキング動作を確認することができるように構成されている。
ロボットピッキングシミュレーションでは、複数のワークモデルＷＫＭ（図１６等にその一例を示す）を無作為に積み上げたばら積み状態を生成する物理シミュレーションと、物理シミュレーションで生成されたばら積み状態のデータを利用してワークモデルＷＫＭの位置及び姿勢を検出し、ロボットＲＢＴによるピッキング動作のシミュレーションを実行するピッキング動作シミュレーションとが行われる。
以下、ロボット設定装置１００の構成及びロボット設定装置１００によって実現されるロボット設定方法について図６に示すロボットシミュレーションフローチャートに基づいて具体的に説明する。
ロボットの設定を開始する際には、図６に示すロボットシミュレーションフローチャートの各ステップを実行することになる。この実施形態では、ロボットの設定ステップの一部に、物理シミュレーションやロボットピッキングシミュレーション等が含まれており、物理シミュレーション及びロボットピッキングシミュレーションを合わせてロボットシミュレーションと呼ぶこともできる。また、物理シミュレーション部２２及びピッキング動作シミュレーション部２５を合わせてシミュレーション部と呼ぶこともできる。
図６に示すロボットシミュレーションフローチャートの開始後、ステップＳＡ１においてシミュレーションを実行する環境（シミュレーション環境）を設定する。シミュレーション環境の設定項目としては、ロボットモデルＲＢＴＭ、ばら積みをさせるワークモデルＷＫＭ、ワークモデルＷＫＭの数、容器モデルＢＸＭの情報、載置位置、経由点、床の情報、センサ部２を構成するカメラＣＭＥやプロジェクタＰＲＪの設計情報等が挙げられる。また、ピッキング動作シミュレーション時には、容器ＢＸに対して、実運用上発生し得る、ランダムな位置ずれを発生させることもでき、この際の位置ずれの範囲等をシミュレーション環境の設定に含めることもできる。また、ワークの質量、反発係数、摩擦係数、容器ＢＸの底面や側壁の反発係数、摩擦係数等もシミュレーション環境に含めることができる。
シミュレーション環境の主要な設定手順は、図７に示すサーチモデル及び容器モデルの設定の手順を示すフローチャートと、図８に示すロボットモデル、ハンドモデル及び把持位置の設定の手順を示すフローチャートの通りである。サーチモデル及び容器モデルの設定と、ロボットモデル、ハンドモデル及び把持位置の設定とは、どちらを先に行ってもよい。サーチモデル及び容器モデルの設定と、ロボットモデル、ハンドモデル及び把持位置の設定とは、図３に示す設定部２０で行うことができる。
図７に示すサーチモデル及び容器モデルの設定の手順を示すフローチャートの開始後のステップＳＢ１では、ワークＷＫのサーチモデルを登録する。ワークＷＫのサーチモデルとは、後述するサーチ処理を実行する際に使用されるワークＷＫの形状を表したモデルである。ステップＳＢ１でワークＷＫのサーチモデルを登録する際には、ワークＷＫの三次元ＣＡＤデータ（ＣＡＤモデル）を読み込んで、ロボットピッキングシミュレーション装置２００が有する記憶部４２に一旦記憶させておく。ＣＡＤデータは、ワークモデルのデータであり、従来から一般的に用いられているフォーマットのデータを使用することができる。
この実施形態では、ＣＡＤデータのフォーマットとして最もシンプルなＳＴＬ形式を用いている。ＳＴＬ形式は、三角形のポリゴン情報（３点の座標とその面の法線ベクトル）の羅列のみで構成されるデータである。あるいはワークモデルとして、三次元情報を有する点群データで構成してもよい。あるいはまた、ワークモデルを、高さ情報を有する画像データ、例えば高さ画像や距離画像で構成してもよい。
ステップＳＢ１は、ワークの三次元形状をモデル化したワークモデルを設定するワークモデル設定ステップでもあり、図３に示すロボット設定装置１００が有する設定部２０で行われる。このステップＳＢ１で読み込んだＣＡＤデータのポリゴン数は、数千個から数万個ある場合がある。
ステップＳＢ１でサーチモデルのＣＡＤデータを読み込んだ後、ステップＳＢ２に進み、サーチモデルの確認及び登録を行う。例えば、読み込んだサーチモデルのＣＡＤデータを表示部３に表示させることにより、ロボットピッキングシミュレーション装置２００の使用者が、所望のサーチモデルであるか否かを確認することができる。その結果、所望のサーチモデルである場合には、そのサーチモデルをロボットピッキングシミュレーション装置２００に登録する。確認の結果、所望のサーチモデルでない場合には、別のＣＡＤデータを読み込み、再び確認する。
ステップＳＢ２では、サーチモデルの登録の際、ＣＡＤモデルの外接直方体を規定し、この外接直方体の中心をＣＡＤの原点に補正する原点補正処理を行う。ワークモデルの原点は、三次元ＣＡＤデータが有する座標情報から、ロボット設定装置１００が自動的に決定する。例えばワークモデルの三次元ＣＡＤデータに対して、ワークモデルに外接する仮想直方体を規定し、この仮想直方体の重心をワークモデルの原点として設定することができる。
また、ステップＳＢ１で読み込んだＣＡＤモデルの六面、即ち、ＣＡＤモデルを「上」、「下」、「左」、「右」、「前」、「後」の各方向から見た高さ画像データをステップＳＢ２で生成する。まず、ＣＡＤモデルの平面図、底面図、左側面図、右側面図、正面図、背面図となるように、６つの高さ画像データを生成する。この高さ画像データから高さ画像が得られる。「上」はＺ軸の正方向（プラス側）から見た高さ画像、「下」はＺ軸の負方向（マイナス側）から見た高さ画像、「左」はＸ軸の負方向から見た高さ画像、「右」はＸ軸の正方向から見た高さ画像、「前」はＹ軸の負方向から見た高さ画像、「後」はＹ軸の正方向から見た高さ画像に対応する。ただ、これらは一例であって、異なる座標系を用いてもよいし、Ｘ－Ｙ平面におけるＸ＝Ｙの直線を軸として、この軸と互いに直交する座標系に基づいて、各軸の正負方向から見た高さ画像を用いてもよい。また、三次元ＣＡＤデータから、高さ画像を生成する際、必ずしもＣＡＤデータの軸に直交した方向（「上」、「下」、「左」、「右」、「前」、「後」）から見た高さ画像である必要はなく、例えばワークモデルの姿勢（視点）を任意に変えて、変えた状態の視点から高さ画像を生成するようにしてもよい。
また、ＣＡＤモデルが三次元ＣＡＤデータからなるものであるので、三次元ＣＡＤデータをＣＡＤモデルのＸ、Ｙ、Ｚ座標のそれぞれについてプラス方向及びマイナス方向の各方向から見たときの高さ画像に変換することで、ＣＡＤモデルの六面について高さ画像を得ることができる。
上述のようにして生成した６つの高さ画像の中で同じ見え方になる高さ画像を削除することもできる。見え方の一致／不一致は、ワークの上下（Ｚ軸の正負方向）、前後（Ｙ軸の正負方向）、左右（Ｘ軸の正負方向）から見た、計六面の高さ画像を高さ画像データに基づいて生成し、高さ画像が一致しているか否かを確認する。ここでは９０°の刻み角度で回転させて一致しているか否かを確認し、他の面と一致する見え方となる面は、サーチモデルの登録対象から除外する。このような除外は、ロボットピッキングシミュレーション装置２００の使用者が手動で行うこともできるし、ロボットピッキングシミュレーション装置２００または画像処理装置３００側で自動で行わせてもよいし、あるいはこれらを組み合わせて行うようにしてもよい。
具体例について説明すると、例えば、ワークＷＫが直方体であった場合には、ＣＡＤモデルを上から見た高さ画像と下から見た高さ画像とが同じになり、この場合には、いずれか一方を削除する。ＣＡＤモデルを左から見た高さ画像と右から見た高さ画像も同じになるので一方を削除する。また、ＣＡＤモデルを前から見た高さ画像と後から見た高さ画像も同じになるので一方を削除する。これにより、サーチモデルの数を減らすことができるので、後述する各処理の速度を向上させることができる。ワークＷＫが複雑な形状であっても、一方向から見た高さ画像と他方向から見た高さ画像が同じになることがあり、この場合も一方の高さ画像を削除することができる。ワークＷＫが立方体の場合は６面のうち、５面を削除することができる。
同じになる画像の一方を削除した結果、残った高さ画像データを保存する。保存する高さ画像データがＣＡＤモデルの上下左右前後のいずれの方向から見た画像であるかを示す情報、即ち方向に関する情報を当該高さ画像データに付与し、この方向に関する情報と高さ画像データとを関連付けてロボットピッキングシミュレーション装置２００の記憶部４２に保存しておく。これにより、上下左右前後の各面の関係性情報を持った状態で各高さ画像データを保存しておくことができるので、１つのワークモデルを異なる方向から見た複数の高さ画像データを相互に関連付けてロボットピッキングシミュレーション装置２００または画像処理装置３００に登録しておくことが可能になる。
したがって、高さ画像データを記憶部４２から読み出したときに、例えば、ＣＡＤモデルの６方向から見た高さ画像を関連付けて得ることができる。以上のように、ワークモデルを異なる方向から見た複数の高さ画像データをサーチモデルとして登録することが可能になる。サーチモデルは、作業空間に積み上げられたワークＷＫの位置及び姿勢を検出するサーチ処理に用いられるモデルであり、複数種登録しておくこともできる。尚、面の関係性情報を保存することなく、高さ画像データのみ保存するようにしてもよい。
以上の方法は、ワークＷＫのＣＡＤデータが存在している場合の方法であるが、仮にワークＷＫのＣＡＤデータが無い場合には、ワークモデルを異なる方向から見た複数の高さ画像データをサーチモデルとして登録するようにしてもよい。すなわち、登録したい面を上向きにしたワークＷＫを平面上に置き、三次元計測を行う。この三次元計測は、ロボットシステム１０００のセンサ部２及び三次元計測部３０を利用して行うことができる。三次元計測により得られた計測データは三次元計測部３０から出力され、計測データに基づいて、ワークＷＫの登録したい面の高さ画像データを得ることができる。
このようにして得られた高さ画像データに基づいて高さ画像を得た後、その高さ画像をサーチモデルとして登録する。登録後、サーチに必要な分、登録し終えたか否かを判定する。この判定は使用者が行うことができるが、ロボットピッキングシミュレーション装置２００または画像処理装置３００に行わせるようにしてもよい。すなわち、ワークＷＫを上下左右前後の各方向から見た形状が全て異なれば、六面の全てについて高さ画像を取得するのが好ましいが、上述した長方形の場合のように、同じ形状の面がある場合には六面の全てについて行わなくてもよい。サーチに必要な分、登録し終えたら、終了する。
以上のようにしてワークモデルを異なる方向から見た複数の高さ画像データをサーチモデルとして登録するサーチモデル登録ステップを行うことができる。サーチモデル登録ステップは、図３に示すロボット設定装置１００が有するサーチモデル登録部２７で行われる。
その後のステップＳＢ３では、容器モデルを指定する。常に固定されている箱が容器である場合には、容器モデルを固定箱とする。ステップＳＢ３に続くステップＳＢ４では、容器モデルのサイズ、位置、姿勢を指定する。このステップＳＢ４では、図９に示すようなユーザーインターフェース画面５０を設定部２０が生成し、表示部３に表示させる。ユーザーインターフェース画面５０には、ばら積み状態のワークモデルの高さ画像や、ピッキング動作のシミュレーション画像を表示する画像表示領域５０ａが設けられている。容器モデルのサイズ、位置、姿勢を指定する際には、容器モデル設定用ウインドウ６０が、ユーザーインターフェース画面５０に重畳表示される。容器モデル設定用ウインドウ６０には、容器モデルのサイズとして、横寸法、縦寸法、深さ寸法をそれぞれ入力可能な寸法入力領域６０ａが設けられている。操作部４を操作して寸法入力領域６０ａに各寸法を入力することができる。容器モデル設定用ウインドウ６０には、容器モデルの位置を入力可能な位置入力領域６０ｂが設けられている。位置入力領域６０ｂには、システム上の原点に対する容器モデルの相対的な位置として、原点からのＸ方向の距離、Ｙ方向の距離、Ｚ方向の距離をそれぞれ入力することができる。Ｘ方向は横方向とし、Ｙ方向は縦方向とし、Ｚ方向は高さ方向とすることができる。容器モデル設定用ウインドウ６０には、容器モデルの姿勢を入力可能な姿勢入力領域６０ｃが設けられている。姿勢入力領域６０ｃには、Ｘ軸周りの角度Ｒｘ、Ｙ軸周りの角度Ｒｙ、Ｚ軸周りの角度Ｒｚをそれぞれ入力することができる。容器モデル設定用ウインドウ６０に設けられているＯＫボタン６０ｄを押せば、入力された値が確定されて反映される。一方、容器モデル設定用ウインドウ６０に設けられているキャンセルボタン６０ｅを押せば、入力した内容が反映されないようにキャンセルされる。
容器モデルのサイズ、位置を使用者が入力する以外にも、例えば、容器ＢＸをセンサ部２で撮像し、取得された容器ＢＸの画像に基づいて容器モデルのサイズ、位置を指定することもできる。例えば、平面視で四角形の容器ＢＸの場合、容器ＢＸの画像上で、内側の４つの角部を操作部４によって指定すると、その指定された位置の座標に基づいて容器ＢＸの４辺の長さを設定部２０で演算することができる。これにより、容器モデルのサイズ、位置を自動で入力することができる。また、通い箱など、ワークＷＫを収容する容器ＢＸをモデル化した容器モデルを設定できるようにしてもよい。
図７に示すフローチャートのステップＳＢ４に続くステップＳＢ５では、サーチ条件を設定する。サーチ条件には、例えば、サーチ時に検出可能なワークの数、サーチモデルとワークとの相関値の下限、特徴抽出条件（エッジ抽出の閾値等）等が含まれている。サーチ条件は使用者が設定することで、設定部２０により受け付けられる。
次に、図８に示すハンドモデル及び把持位置の設定の手順を示すフローチャートについて説明する。開始後のステップＳＣ１では、図１０に一例を示すようなロボットモデルＲＢＴＭを登録する。ロボットモデルＲＢＴＭは、現場で使用されるロボットＲＢＴに関する各種情報を規定するものである。ロボットＲＢＴに関する各種情報には、例えばアームＡＲＭの長さ、アームＡＲＭの可動域、ロボットＲＢＴの位置、アームＡＲＭの可動部の揺動速度や回転速度等が含まれる。ロボットＲＢＴに関する各種情報には、ロボットＲＢＴの形状を表したモデルを含むことができ、この場合、ロボットＲＢＴのポリゴンデータ（ＣＡＤデータ）を読み込む。このステップがロボットモデルＲＢＴＭの登録ステップである。
ステップＳＣ１でロボットモデルＲＢＴＭを登録した後、ステップＳＣ２に進み、ロボットＲＢＴのハンドモデルを登録する。ロボットＲＢＴのハンドモデルとは、ハンド部（エンドエフェクタＥＥＴ）の形状を表したモデルである。ロボットＲＢＴのハンドモデルを登録する際には、ハンド部のポリゴンデータ（ＣＡＤデータ）を読み込む。このステップＳＣ２では、ハンド部のポリゴンデータを読み込むことから、ハンド部の形状を入力することができるステップであり、このハンド部形状入力ステップは、図３に示すロボット設定装置１００が有するハンド部形状入力部３５で行われる。また、ハンドモデルを登録する際、ＣＡＤデータ以外にも、直方体や円柱などのパーツを組み合わせてハンドモデルを作成し、この作成したハンドモデルを登録するようにしてもよい。また、ＣＡＤデータには無いケーブルなどを作成することもできる。
その後、ステップＳＣ３に進み、ステップＳＣ２で登録したハンドモデルと、そのハンドモデルが装着されるロボットモデルＲＢＴＭ（ステップＳＣ１で登録済み）のフランジ面との相対的な位置及び姿勢を定義する。具体的には、ハンドモデルにおける取付面と、ロボットモデルＲＢＴＭのフランジ面とが一致するように、両者の位置関係を定義しておく。
ステップＳＣ３に続くステップＳＣ４では、ロボットモデルＲＢＴＭのフランジ面に装着された状態にあるハンドモデルの先端座標を指定する。この先端座標は、ロボットコントローラ６から取得することも可能であるが、使用者が設定することも可能である。その後、ステップＳＣ５では、ハンドモデルの登録完了確認を行う。
以上のようにしてロボットモデルＲＢＴＭのハンドモデルを登録した後、ステップＳＣ６に進む。ステップＳＣ６では、ロボットモデルＲＢＴＭのハンドモデルで把持するワークモデルの面を選択する。ワークモデルの面は、図７に示すフローチャートで登録した高さ画像で表すことができ、登録されている複数の高さ画像の中から、ロボットモデルＲＢＴＭのハンド部で把持することが可能な面に対応した高さ画像をユーザが選択する。高さ画像の選択にあたっては、高さ画像を表示部３に表示させておき、これら高さ画像の中から使用者が操作部４の操作によって選択することができる。
ステップＳＣ６で高さ画像を選択した後、ステップＳＣ７に進み、ステップＳＣ６で選択した面を把持する時のハンド部の位置及び姿勢を登録する。例えば、Ｘ軸座標、Ｙ軸座標、Ｚ軸座標、Ｘ軸周りの回転角度、Ｙ軸周りの回転角度、Ｚ軸周りの回転角度を個別に入力し、入力された値に対応するように、ハンドモデルを移動させ、高さ画像中の所望位置に配置することができる。これにより、ハンドモデルの位置を調整しながら、ハンドモデルでサーチモデルのどの部位をどのような姿勢で把持するか、即ち把持位置及び姿勢を設定することが可能になる。把持位置及び姿勢の設定は、数値を入力する以外にも、例えばハンドモデルを操作部４のマウスで直接的に操作することによっても可能である。
ここで設定する把持位置は、ロボットモデルＲＢＴＭにより把持される把持候補位置である。ロボットモデルＲＢＴＭにより把持される把持候補位置は、サーチモデル登録部２７で登録されている各サーチモデルに対応付けて複数設定することができる。例えば、あるサーチモデルには、２つの把持候補位置を対応付けて設定し、別のサーチモデルには、４つの把持候補位置を対応付けて設定することができる。設定された把持候補位置は、サーチモデルと対応付けられた状態でロボット設定装置１００が有する把持位置設定部２８の記憶部４２に登録することができる。
一般に、一のワークに対して把持候補位置を複数登録することが多い。これは、把持候補位置を複数登録しておけば、複数の把持解の中から最適な解を選ぶことができるため、仮に得られた把持解候補が、例えばハンド部の他の物体との干渉によって最終的な解となり得ない場合、他の把持解候補があれば、把持可能と判定される可能性が高まるからである。このような把持候補位置を複数登録する際、その都度登録を一から行うと、同様の把持候補位置を登録する際に手数が多くなり作業が面倒となる。そこで、既に登録済みの把持候補位置情報をコピーして、この把持候補位置で設定された位置パラメータの一部を変更して、新たな把持候補位置として保存可能とすることで、手間を省いて複数の把持候補位置を容易に登録できるようになる。また、同様に既存の把持候補位置を読み出して、位置パラメータを適宜修正して上書き保存することも可能である。
把持候補位置を登録する際、サーチモデルの原点に対して、ワークモデルを把持する際のエンドエフェクタモデルの相対的な位置及び姿勢を登録する。一方、実際のエンドエフェクタＥＥＴでワークＷＫをピッキングする際には、センサ部２でワークＷＫを撮像した三次元空間（ビジョン空間）の座標であるビジョン座標から、ロボットコントローラ６がロボットＲＢＴを実際に動作させる際に用いるロボット座標に変換する必要がある。
具体的には、ワークモデルの位置及び姿勢は、ビジョン空間における、位置（Ｘ、Ｙ、Ｚ）と姿勢（ＲX、ＲY、ＲZ）で求められる（なお姿勢（ＲX、ＲY、ＲZ）はＺ－Ｙ－Ｘ系オイラー角で表現された姿勢を示している）。また、これを把持するエンドエフェクタモデルの姿勢についても、同様にロボット設定装置１００の仮想三次元空間における位置（Ｘ、Ｙ、Ｚ）と姿勢（ＲX、ＲY、ＲZ）として求められる。このようなビジョン空間における位置及び姿勢に基づいて、ロボットコントローラ６がロボットＲＢＴを動作させるには、これらをロボット空間における位置（Ｘ’、Ｙ’、Ｚ’）と姿勢（ＲX’、ＲY’、ＲZ’）に変換する必要がある。この表示される座標系で算出された位置及び姿勢を、ロボットコントローラ６がエンドエフェクタＥＥＴを動作させる座標系の位置及び姿勢に座標変換するための変換式を算出する処理は、キャリブレーションと呼ばれる。このキャリブレーションは従来から周知の手法で行うことができる。
図８に示すフローチャートのステップＳＣ８では、必要数の把持候補位置を登録できたか否かを判定する。ハンド部で把持することが可能な部位が多数あれば、登録すべき把持候補位置の数が多くなるが、これは使用者が判断する事項であるため、ステップＳＣ８の判定は使用者が判定することになる。ステップＳＣ８でＮＯと判定して必要数の把持候補位置を登録できておらず、登録すべき把持候補位置が他にも残っている場合には、ステップＳＣ６を経てステップＳＣ７に進み、他の把持候補位置を設定し、登録する。一方、ステップＳＣ８でＹＥＳと判定して必要数の把持候補位置を登録できている場合には、ステップＳＣ９に進む。
ステップＳＣ９では、開始位置と、把持したワークモデルを載置する載置位置とを登録する。開始位置は、ハンド部によってワークモデルの把持を行う位置であり、搬送開始位置に相当する。開始位置は、容器モデルＢＸＭ内にばら積みされているワークモデルＷＫＭの把持候補位置とすることができる。図１０及び図１１は、ハンド部が開始位置にある状態を示しており、ロボットモデルＲＢＴＭは、これら図に示すような姿勢になる。開始位置は、ワークモデルＷＫＭが容器モデルＢＸＭ内のどこに存在しているかによって異なることになるが、これは三次元サーチによって取得することができる。
一方、載置位置は、ロボットモデルＲＢＴＭのハンド部によりワークモデルＷＫＭが載置される位置であり、例えば図１に示すステージＳＴＧ上に設定することができる。図１２及び図１３は、ハンド部が載置位置にある状態を示しており、ロボットモデルＲＢＴＭは、これら図に示すような姿勢になる。上記開始位置及び載置位置の設定は、座標等を数値で入力する方法によっても可能であるが、それ以外にも、例えばハンドモデルを操作部４のマウスで直接的に操作することによっても可能である。
ステップＳＣ９が完了すると、ステップＳＣ１０に進む。ステップＳＣ１０では、把持位置から載置位置へ移動する間に経由する経由点を登録する。経由点は、２以上登録することもできる。経由点は、複数箇所に登録することができ、この場合、経由点１、経由点２、…というように名称を付して記憶させておくことができる。この例では、経由点を使用者が登録する場合について説明するが、これに限らず、後述するように、ロボット設定装置１００が経由点を算出して使用者に提示するように構成することもでき、この場合はステップＳＣ１０が省略されることになる。
ステップＳＣ１０で登録する経由点は、ロボットモデルＲＢＴＭのハンド部がワークモデルＷＫＭを把持した後、載置位置に載置するまでの間に当該ハンド部またはワークモデルＷＫＭが経由する点である。経由点の設定は、座標等を数値で入力する方法によっても可能であるが、それ以外にも、例えばハンドモデルやワークモデルＷＫＭを操作部４のマウスで直接的に操作することによっても可能である。経由点が設定された場合、ロボットモデルＲＢＴＭのハンド部がワークモデルＷＫＭを把持して開始位置から載置位置へ搬送される途中で、ハンド部の一部またはワークモデルＷＫＭの一部が経由点を通過するように、ロボットモデルＲＢＴＭの動作がシミュレーションされる。図１４及び図１５は、ハンド部の一部またはワークモデルＷＫＭの一部が経由点にある状態を示しており、ロボットモデルＲＢＴＭは、経由点の位置によって異なるが、これら図に示すような姿勢になる。図８に示すフローチャートのステップＳＣ１０が完了すると、ステップＳＣ１１に進む。
ステップＳＣ１１では、ワークモデルＷＫＭの搬送時に障害となり得る障害物Ａ（図１０～図１５に示す）を登録する。障害物Ａの登録ステップは、設定部２０により行うことができる。障害物Ａは、ワークモデルＷＫＭを把持位置から載置位置まで搬送する際に、ハンド部やワークモデルＷＫＭと接触するおそれがある物であり、例えば周辺機器、装置、部材、容器の一部、フェンス等を挙げることができる。障害物Ａを登録する際には、障害物Ａとなり得る物のＣＡＤデータを読み込んで作業空間に配置し、登録すること、作業空間に障害物Ａを描画することによって登録すること、座標を指定することによって登録することができる。ステップＳＣ１１の後、本フローを終了する。
図６に示すステップＳＡ１のシミュレーション環境設定ステップでは、上述のようにサーチモデルの設定及び登録、ハンドモデルの設定及び登録、容器モデルの設定及び登録、ロボットモデルの設定及び登録、開始位置の設定及び登録、載置位置の設定及び登録、経由点の設定及び登録等を行うことができるが、これら以外にもシミュレーションを行う上で必要な各種情報の入力や設定を行うことが可能である。
また、設定部２０では、ロボットモデルのハンド部の待機位置を設定することができるとともに、待機位置にあるロボットモデルのハンド部が容器モデル内のワークモデルを把持するまでの間に当該ハンド部が経由する往き経路上の経由点を設定することも可能である。ハンド部の待機位置及び往き経路上の経由点は、シミュレーション環境に含まれる。ハンド部の待機位置及び往き経路上の経由点の設定は、座標等を数値で入力する方法によっても可能であるが、それ以外にも、例えばハンドモデルやワークモデルＷＫＭを操作部４のマウスで直接的に操作することによっても可能である。
（物理シミュレーション）
以上が図６に示すフローチャートのステップＳＡ１で実行されるステップである。ステップＳＡ１に続くステップＳＡ２は、物理シミュレーションの実行ステップである。物理シミュレーションを実行する前に、図１６のフローチャートに示す物理シミュレーションの設定を行う。ステップＳＤ１では、ピッキングシミュレータを起動する。例えば表示部３にピッキングシミュレータの起動用アイコンを表示させておき、この起動用アイコンがクリックされた時にピッキングシミュレータを起動する等の方法によってステップＳＤ１を実現できる。
シミュレータが起動されると、図１７に示すピッキングシミュレータの起動後に表示されるピッキングシミュレーション画面５０を表示制御部２６が表示部３にさせる。ピッキングシミュレーション画面５０には、第１画像表示領域５０ａが設けられている。第１画像表示領域５０ａには、物理シミュレーションで生成されたばら積み状態のワークモデル及び容器モデルの高さ画像、サーチ結果、ワークモデルをハンドモデルで把持する様子、ハンド部やワークモデルの経路、経路生成時間、ロボット動作時間等が表示される。ピッキングシミュレーション画面５０には、シミュレータの設定用ウインドウ５２も表示可能になっている。設定用ウインドウ５２には、画像生成方法の設定ボタン５２ａ、閉じるボタン５２ｂ、画像生成ボタン５２ｃ等が設けられている。
また、ピッキングシミュレータの起動後には、物理シミュレーションの様子を表示する物理シミュレーション表示画面５１を表示制御部２６が表示部３にさせる。物理シミュレーション表示画面５１は、ピッキングシミュレーション画面５０と同時に表示させることができるが、どちらか一方の画面のみを使用者に選択させて表示するように構成することもできる。
ピッキングシミュレータの起動後、図１６に示すステップＳＤ２に進む。ステップＳＤ２では、図１８に示すような積み方設定ウインドウ５３を表示制御部２６が表示部３にさせる。積み方設定ウインドウ５３には、ワークの積み方の選択を行うための積み方選択領域５３ａと、ワークモデルの読み込みを行うファイル選択ボタン５３ｂと、ワークの配置設定を行うワーク配置設定領域５３ｃとが設けられている。積み方選択領域５３ａでは、ばら積みシミュレーションを行うか、段積みのシミュレーションを行うかの選択が行えるようになっている。ファイル選択ボタン５３ｂは、ワークモデルＷＫＭの読み込みを開始する場合に操作するボタンである。ワークモデルＷＫＭの読み込みは、図７に示すフローチャートのステップＳＢ１と同様に、ワークＷＫの三次元ＣＡＤデータ（ＣＡＤモデル）を読み込んで、ロボットピッキングシミュレーション装置２００が有する記憶部４２に一旦記憶させておくことで可能になる。これにより、ワークの三次元形状をモデル化したワークモデルの形状を設定することができる。この設定は、シミュレーション環境の一つであり、設定部２０で行われる。この設定を行うステップは設定ステップである。
図１８に示す積み方設定ウインドウ５３には、読み込んだワークモデルを表示させるワークモデル表示ボタン５３ｅが設けられている。ワークモデル表示ボタン５３ｅが押されると、表示制御部２６はワークモデルＷＫＭを表示部３に表示させる。表示部３に表示されたワークモデルＷＫＭを使用者が見て、所望のワークモデルが読み込まれているか否かを確認することができる。
ワークモデルの読み込みが完了すると、図１６に示すフローチャートのステップＳＤ３に進む。ステップＳＤ３では、ばら積みシミュレーションで使用するワークモデルの個数Ｎを設定する。具体的には、図１８に示す積み方設定ウインドウ５３のワーク配置設定領域５３ｃを使用する。ワーク配置設定領域５３ｃには、ワークモデルの個数入力部５３ｄが設けられている。個数入力部５３ｄには、使用者がマウスやキーボード等を利用して任意の数を入力することができるようになっている。入力された数が、ばら積みシミュレーションで使用するワークモデルの個数Ｎになる。よって、個数入力部５３ｄに数を入力するステップは、ワークモデルの個数Ｎを設定する設定ステップであり、設定部２０で行われる。また、ワークモデルの個数Ｎは、シミュレーション環境の一つである。図１８に示す積み方設定ウインドウ５３のＯＫボタン５３ｆを押すと、設定が反映されて積み方設定ウインドウ５３が閉じる一方、キャンセルボタン５３ｇを押すと、設定が反映されずに積み方設定ウインドウ５３が閉じる。
ワークモデルの個数Ｎの設定が完了すると、図１６に示すフローチャートのステップＳＤ４に進み、容器モデルを読み込む。ここでは、図７に示すフローチャートのステップＳＢ３で指定した容器モデルを読み込むことで容器モデルに関するシミュレーション環境の設定が可能になる。また、図７に示すフローチャートのステップＳＢ４で指定された容器モデルのサイズ、位置、姿勢も容器モデルに関するシミュレーション環境であり、図１６に示すフローチャートのステップＳＤ４で同様に読み込む。このステップは、容器モデルに関するシミュレーション環境を設定する設定ステップであり、設定部２０で行われる。
次いで、使用者が物理シミュレーション開始操作を行う。例えば、図１７に示すシミュレータの設定用ウインドウ５２に設けられている画像生成ボタン５２ｃを押す操作が物理シミュレーション開始操作の一例である。これにより、上述したように設定されたシミュレーション環境に基づいて物理シミュレーションが開始される。画像生成ボタン５２ｃが押されると、図１７に示す物理シミュレーション表示画面５１に容器モデルＢＸＭを表示させる。
物理シミュレーション部２２は、設定部２０により設定された個数ＮのワークモデルＷＫＭを容器モデルＢＭＸ内に落下させることにより、ピッキングシミュレーション用のばら積み状態を生成するように構成されている。
具体的には、まず、容器モデルＢＸＭ内に落下させるワークモデルＷＫＭの落下姿勢及び位置をランダムに決める。落下させる前の位置は、容器モデルＢＸＭの底面から上方に離れたところであればよく、平面視における容器モデルＢＸＭの中心であってもよいし、中心から水平方向にオフセットしていてもよい。
決定した落下姿勢及び位置からワークモデルＷＫＭを１つまた複数容器モデルＢＸＭ内に落下させる。このときに物理シミュレーション部２２が物理シミュレーションを実行する。物理シミュレーションは、従来から周知の物理シミュレーションエンジンを用いて実行することができる。落下後、容器モデルＢＸＭ内に落下させたワークモデルＷＫＭが静止するまで待つ。Ｎ個のワークモデルＷＫＭが落下して静止すると、物理シミュレーションが完了する。ワークモデルＷＫＭを落下させる際、ワークモデルＷＫＭに対して落下方向に初速を与えるように、物理シミュレーション部２２が構成されていてもよい。
物理シミュレーションでは、ワークモデルＷＫＭ同士の衝突による作用、容器モデルＢＸＭ等の障害物の情報に基づいてワークモデルＷＫＭを仮想的に配置していく。また、物理シミュレーションでは、例えばワークモデルＷＫＭ同士が衝突した場合に、予め設定された反発係数や摩擦係数を考慮して、その後、ワークモデルＷＫＭがどのような動きになるかが示される。また、例えば、容器モデルＢＸＭに複数のワークモデルＷＫＭを上方から投下または投入して容器モデルＢＸＭの内部にばら積み状態を生成する場合を挙げることができる。「投入」や「投下」とは、物理的に高所から落下させる動作に限られず、例えば転がりを検証するため、所定の高さから水平方向に押し出しながら落下させたり、放物線状に投げ上げて落下させたり、あるいは容器モデルＢＸＭや床面にワークモデルＷＫＭを載置、あるいは静置する動作も含む意味で使用する。さらに、物理シミュレーションは、ワークモデルＷＫＭを１つずつ作業空間内に順次投入する他、複数のワークモデルＷＫＭを同時に投入、例えば落下させたり静置させる動作をシミュレーションすることもできる。
また、設定部２０により設定された個数Ｎよりも少ない個数のＸ個のワークモデルＷＫＭを容器モデルＢＭＸ内に落下させる第１物理シミュレーションを実行するとともに、当該第１物理シミュレーションにより生成されたばら積み状態となっている複数のワークモデルＷＫＭをコピーして容器モデルＢＸＭの上方から容器モデルＢＸＭ内に落下させる第２物理シミュレーションを実行することにより、ピッキングシミュレーション用のばら積み状態を生成するように構成されていてもよい。この場合、Ｘ個のワークモデルＷＫＭを容器モデルＢＸＭ内に落下させることにより、第１物理シミュレーションが終了する。これにより、Ｘ個のワークモデルＷＫＭが容器モデルＢＸＭ内で干渉状態になる。第１物理シミュレーション後、容器モデルＢＸＭ内のＸ個のワークモデルＷＫＭをコピーする。コピーしたワークモデル群の位置補正及び姿勢補正を行った後、容器モデルＢＸＭ内に落下させる。
いずれの方法であっても、図１９に示すように、Ｎ個のワークモデルＷＫＭを容器モデルＢＸＭに落下させた場合のばら積みシミュレーション結果が得られ、物理シミュレーション表示画面５１に表示される。以上が、ピッキングシミュレーション用のばら積み状態を生成する物理シミュレーション工程である。
物理シミュレーションを行うことで、明らかに不自然な姿勢のワークモデルを除外するなど、使用者の実運用環境に合わせたばら積みデータを生成して後述するピッキング動作シミュレーションを行うことができるため、実物のワークを用意することなく、実運用時に近い形で事前に適切な設定調整や、検証を行うことができるようになる。物理シミュレーション部２２は、物理的に発生確率が低いワークモデルを排除したバラ積みデータを生成するよう構成してもよい。
使用者は、物理シミュレーション表示画面５１を見て、物理シミュレーションの結果が、後述するピッキング動作シミュレーションに不適な結果であると思われる場合には、その物理シミュレーションの結果を破棄して改めて物理シミュレーションを実行することができる。
以上のようにして、図６に示すフローチャートのステップＳＡ２の物理シミュレーション実行ステップが完了する。物理シミュレーションの実行前、ワークモデルＷＫＭのデータを圧縮するデータ容量圧縮ステップを実行してもよい。データ容量圧縮ステップは、図３に示すデータ容量圧縮部２１で行うことができ、例えばＣＡＤデータで表されるワークモデルＷＫＭの形状を極力保ちながら、ポリゴン数を削減したワークモデルを作成して、物理シミュレーション部２２による物理シミュレーション時の演算負荷の軽減するために行うステップである。ＣＡＤデータのポリゴン数を削減するということは、ワークモデルのデータ容量が圧縮されて小さくなるということである。また、ワークモデルのデータを間引くことによってデータ容量を圧縮することも可能である。
三次元ＣＡＤデータは、一般に、三角形の面情報の集合体として表されるポリゴンデータで表され、ワークモデルの形状を極力保ちながらポリゴン数を削減する方法としては、例えば、Ｈｏｐｐｅらが提案するプログレッシブメッシュ法や、Ｇａｒｌａｎｄらが提唱するＱＥＭ（Ｑｕａｄｒａｔｉｃ Ｅｒｒｏｒ Ｍｅｔｉｒｃ）法という手法があり、これら従来から周知の手法のうち、いずれの手法を用いてポリゴン数の削減処理を行ってもよい。
例えば、ＱＥＭ法では、隣接するポリゴンのエッジを消去し、２つの頂点を結合して新たな頂点を生成し、この操作を繰り返すことで、ＣＡＤデータ全体を構成するポリゴン数を大幅に削減し、データ容量を圧縮することができる。また、ＣＡＤデータのデータ容量を圧縮することができればよいので、ポリゴン数を削減する方法以外にも、各種方法によってデータ容量を圧縮するようにしてもよい。
（高さ画像生成）
図６に示すフローチャートのステップＳＡ２の物理シミュレーション実行ステップを経て、ステップＳＡ３に進む。ステップＳＡ３では、物理シミュレーションで得られたばら積み状態のワークモデルＷＫＭの各部の高さを表す高さ画像データを生成する。高さ画像データから得られる高さ画像の一例を図２０に示す。高さ画像は、高さ情報を有する画像であって、距離画像、三次元画像等とも呼ばれる。サーチ処理用データにはワークモデルＷＫＭの高さに関する情報が含まれているので、これに基づいて周知の手法によって高さ画像データを得ることができる。高さ画像データに基づいて得ることができる高さ画像は、物理シミュレーションの結果を示す画像と共に表示部３に表示することができる。
図１９に示す物理シミュレーション表示画面５１に表示する物理シミュレーション結果画像と、図２０に示すピッキング動作のシミュレーション画像を表示する画像表示領域５０ａに表示する高さ画像とは、視点、即ち見る角度を互いに変えた画像にすることができる。図１９の物理シミュレーション結果画像と、図２０の高さ画像とは、１つの表示画面上の任意の位置にそれぞれ配置することができる。また、物理シミュレーション結果画像は、例えば物理シミュレーションの実行開始から終了までを動画として表示可能にしてもよい。この場合、容器モデルＢＸＭの上方から複数のワークモデルＷＫＭを容器モデルＢＸＭに投下する様子、ワークモデルＷＫＭ同士が衝突する様子、ワークモデルＷＫＭが容器モデルＢＸＭの側壁や底面に衝突する様子も見ることができ、最終的にどのようしてばら積み状態が生成されたのかを使用者が把握できる。
物理シミュレーション前にワークモデルＷＫＭのデータ容量を削減している場合、ワークモデルＷＫＭのばら積み状態データを生成した後、ワークモデルＷＫＭのばら積み状態データの中のワークモデルＷＫＭをポリゴン数削減前のＣＡＤデータと置換する。すなわち、物理シミュレーション部２２で生成されたばら積み状態のデータの中の各ワークモデルＷＫＭの位置及び姿勢にしたがって、物理シミュレーション部２２で用いたワークモデルＷＫＭよりもデータ容量が大きくかつ実際のワークの三次元形状に近いワークモデルＷＫＭを配置する。このようにして、各ワークモデルＷＫＭの位置及び姿勢を検出するサーチ処理を実行するためのサーチ処理用データが生成される。物理シミュレーション部２２で用いたワークモデルよりもデータ容量が大きくかつワークＷＫの三次元形状に近いワークモデルというのは、データの圧縮量が低く、物理シミュレーションステップで用いたワークモデルよりも精緻な形状を持ったワークモデルである。このワークモデルに置き換えることで、後述するピッキング動作シミュレーションの結果の再現性を高めることができる。このサーチ処理用データの生成は、図３に示すロボット設定装置１００が有するばら積みデータ生成部２３で行われる。尚、物理シミュレーション前にワークモデルＷＫＭのデータ容量を削減していない場合には、この処理は不要である。
ばら積みデータ生成部２３は、物理シミュレーション部２２で生成されたばら積み状態のデータの中の各ワークモデルＷＫＭの位置及び姿勢にしたがって、データ容量圧縮部２１による圧縮処理を行う前のワークモデルＷＫＭを配置することによってサーチ処理用データを生成することもできる。こうすれば後述するピッキング動作シミュレーションの結果がより一層再現性の高い結果になる。
（サーチ処理）
図６に示すステップＳＡ３で高さ画像を生成した後、ステップＳＡ４に進み、ばら積みデータ生成部２３により生成されたサーチ処理用データに対し、各ワークモデルＷＫＭの位置及び姿勢を検出するサーチ処理を実行する。これはサーチ処理ステップであり、図３に示すロボット設定装置１００が有するサーチ処理部２４が行う。
サーチ処理は高さ情報を含むサーチ処理用データに対してサーチをかけるので、三次元サーチと呼ぶことができる。具体的には、サーチモデル登録部２７で登録されたサーチモデルを用いて、各ワークモデルＷＫＭの姿勢と位置を特定する三次元サーチを行う。まずサーチモデルの各特徴点が、最も一致する状態の位置及び姿勢（Ｘ、Ｙ、Ｚ、ＲX、ＲY、ＲZ）を、高さ画像の中から探索する。ここでＲX、ＲY、ＲZは、それぞれＸ軸に対する回転角、Ｙ軸に対する回転角、Ｚ軸に対する回転角を表す。このような回転角度の表現方法は種々提案されているところ、ここではＺ－Ｙ－Ｘ系オイラー角を用いることができる。また一致する位置及び姿勢は、各サーチモデルに対して、１つである必要はなく、一定以上一致する位置及び姿勢を、複数検出してもよい。
たとえば、図２１に示すように、高さ画像の中で特徴点の一致に基づいてワークモデルＷＫＭを検出した場合には、その検出位置にサーチモデルの特徴点を、周囲よりも明るい色で重畳表示させることができる。このように三次元サーチに用いるサーチモデルとして、ワークを六面図のように、面ごとに見た画像を用いることで、斜視図などを用いる場合と比べ、三次元サーチの演算処理を簡素化でき、処理を軽負荷、高速化できる利点が得られる。また、サーチモデルの登録作業に際しても表示された状態が見易くなり、使用者にも視覚的に判り易くできる。また、三次元サーチの結果の位置に、サーチモデルの各特徴点を重畳表示させた結果を二次元表示することや、三次元表示することもできる。対応する特徴点が、高さ画像中に対してどの程度存在したか（例えば、高さ画像に対し、一定の距離以下の誤差で対応した特徴点の点数割合など）によって、サーチ結果をスコア付けすることができる。
サーチ処理部２４が高さ画像中にサーチモデル登録部２７で登録されたサーチモデルが存在するか否かをサーチした結果、高さ画像中に、サーチモデルが存在しない場合、即ちワークモデルを検出できない場合には、図６に示すステップＳＡ５においてＮＯと判定されて残ったワークモデルＷＫＭの情報を抽出し、このフローを終了する。
（ピッキング動作シミュレーション）
ステップＳＡ４の三次元サーチの結果、高さ画像の中にワークモデルＷＫＭを検出できた場合には、ステップＳＡ５でＹＥＳと判定されてステップＳＡ６に進み、干渉判定及び把持解、即ち干渉等しないでワークモデルＷＫＭを把持可能な把持位置を算出する。このステップＳＡ６～ＳＡ１１は、サーチ処理部２４によりサーチに成功したワークモデルＷＫＭに対して、ロボットＲＢＴによりピッキング動作のシミュレーションを実行するピッキング動作シミュレーション部２５が行うピッキング動作シミュレーションステップである。三次元サーチの結果、高さ画像の中に複数のワークモデルＷＫＭを検出できる場合もある。尚、ピッキング動作シミュレーション部２５に物理シミュレーションの機能や高さ画像生成機能を持たせてもよい。
このように、ピッキング動作シミュレーション部２５は、生成されたばら積みデータに対して、仮想作業空間内のワークモデルＷＫＭのばら積みピッキング動作を検証するための部分である。ピッキング動作シミュレーションを行うことにより、実際のワークの三次元位置及び姿勢の検出可否など、手間のかかる確認作業や設定調整を、ワークを用意することなく、実運用に近い形で事前に行うことができる。
特に物理シミュレーション部２２は、ピッキング動作シミュレーション部２５による一のワークモデルＷＫＭをハンドモデルで把持し少なくとも取り出し動作を開始した後、このワークモデルＷＫＭが取り出された後の状態のばら積みデータに対して物理シミュレーションを再度実行するように構成することができる。物理シミュレーションを再度実行するタイミングは、ワークモデルＷＫＭをハンドモデルで把持し、載置位置にプレースされた後とする他、ワークモデルＷＫＭの取り出し作業の途中であってもよい。すなわち、ハンドモデルでワークモデルＷＫＭを把持して、このワークモデルＷＫＭが持ち上げられた状態では、一のワークモデルＷＫＭが除去されたことで、このワークモデルＷＫＭの周辺にあった他のワークモデルＷＫＭが移動可能となるため、把持されたワークモデルＷＫＭが載置されるまで待つ必要はない。よって、物理シミュレーションの再実行のタイミングは、一のワークモデルＷＫＭがハンドモデルで把持されて持ち上げられたタイミング、あるいはその後、他のワークモデルＷＫＭの状態が重力の作用で移動して安定するまで待った後のタイミングとすることができる。例えば、ワークモデルＷＫＭが把持されて持ち上げられた時点から所定の時間の経過後（例えば１０秒後）としてもよい。物理シミュレーションを再度実行した後、ばら積みデータを更新する。
したがって、ピッキング動作シミュレーション中にばら積みデータからワークモデルＷＫＭが一つ取り出されると、これに応じてバラ積みされたワークモデル群が崩れるといった動作も物理シミュレーション部２２により演算され、この演算後のばら積みデータを利用してピッキング動作シミュレーション部２５がその後のピッキング動作シミュレーションを実行するので、より正確なばら積みピッキングのシミュレーションが実現される。
図６に示すフローチャートのステップＳＡ６では、高さ画像の各１点１点のｐｉｘｅｌデータが示す三次元点群と、ハンド部形状入力部３５で予め入力されているハンドモデルとが干渉するか否かを判定する。干渉判定の前に、三次元サーチで検出された一のワークモデルＷＫＭに対して、このワークモデルＷＫＭの位置と、登録してあるワークモデルＷＫＭの把持姿勢とに基づいて、エンドエフェクタＥＥＴを配置すべき位置と姿勢を計算する。計算された位置において、エンドエフェクタＥＥＴが周囲の物体と干渉しないかどうかを、ハンドモデルを利用して判定する。この干渉判定では、ハンドモデルの断面モデルを利用して三次元点群が断面モデルと干渉しているか否かを判定することができる。例えば、断面モデルから全ての三次元点が離れている場合には、三次元点群、すなわち高さ画像とハンドモデルとが干渉していないと判定し、一方、断面モデルの内側に三次元点が１つでも入っている、または断面モデルの縁部に三次元点が１つでも接している場合には、三次元点群、すなわち高さ画像とハンドモデルとが干渉していると判定する。干渉していない場合は、このワークモデルＷＫＭに対して把持解を算出することができた、即ち把持位置を算出できたということであり、ステップＳＡ７においてＹＥＳと判定されてステップＳＡ８に進む。一方、三次元点群とハンドモデルとが干渉している場合は、このワークモデルＷＫＭに対して把持解を算出することができないということであり、ステップＳＡ７においてＮＯと判定されて残ったワークモデルＷＫＭの情報を抽出し、このフローを終了する。
一方、把持解を算出することができてステップＳＡ８に進むと、ロボットモデルＲＢＴＭのハンド部の現在位置からステップＳＡ６で算出した把持位置までのハンド部の経路を生成する。その後、ステップＳＡ９に進む。ステップＳＡ９では、図８に示すフローチャートのステップＳＣ９で登録した開始位置（把持位置）から載置位置までのハンド部の経路を生成する。このステップＳＡ９で生成する経路は、図８のステップＳＣ１０で登録した経由点を経由する経路である。また、ステップＳＡ９で生成する経路には、経由点を経由しない経路を含むことができる。
経由点が登録されている場合、把持位置から載置位置までの経路は、把持位置から経由点までの第１経路と、載置位置から経由点までの第２経路とに分割して生成し、その後、第１経路と第２経路とを繋ぐことで、把持位置から載置位置までの連続した経路を得ることができる。経由点が１つだけ設定されている場合には、把持位置から載置位置までの経路が２つに分割されることになる。経由点の登録数は複数あってもよいので、例えば経由点が２つ設定されている場合には、把持位置から載置位置までの経路が３つに分割されることになる。尚、経由点を経由しない場合の経路は、把持位置から載置位置まで１つの経路として生成すればよい。
また、経由点が複数通り登録されている場合には、経由点ごとに把持位置から載置位置までの経路を生成する。すなわち、経由点１と経由点２とが登録されている場合には、把持位置から経由点１までの第１経路と、載置位置から経由点１までの第２経路とに分割して生成し、その後、第１経路と第２経路とを繋ぐことで、把持位置から載置位置までの一の経路を得ることができ、また、把持位置から経由点２までの第１経路と、載置位置から経由点２までの第２経路とに分割して生成し、その後、第１経路と第２経路とを繋ぐことで、把持位置から載置位置までの他の経路を得ることができる。同様に、経由点３が設定されている場合の経路、経由点４が設定されている場合の経路、…を得ることができる。
このように、把持位置から載置位置までの経路を複数に分割することで、図１０～図１５に示すように、把持位置と載置位置との間に障害物Ａが存在する場合のように、ロボットの自由度が多く想定される場合に、経路生成の問題が複数に分割されることにより解の安定性が高まるとともに、経路生成時間が短くなる。
本例において使用されるロボットの経路生成のアルゴリズムは特に限定されるものではないが、その一例として、ＲＲＴ（Ｒａｐｉｄｌｙ－Ｅｘｐｌｏｒｉｎｇ Ｒａｎｄｏｍ Ｔｒｅｅｓ）アルゴリズムを挙げることができる。ＲＲＴアルゴリズムは、高次元の空間でも高速にパスプランニングできる点で有利である。ＲＲＴアルゴリズムでは、把持位置と載置位置とのそれぞれから探索木を成長させていき、両探索木のつながったところで経路成立となる。
具体的には、図２２Ａに示すように、空間上に始点ＰＳと終点ＰＧとがある場合、まず、ランダムな点ＰＲを置く。始点ＰＳから成長させた探索木の末端の点Ｐ１、Ｐ２、Ｐ３の中から、点ＰＲに最も近い点を見つける。図２２Ｂでは、点ＰＲに最も近い点を点Ｐ２としている。
点ＰＲに最も近い点を決定した後、図２２Ｃに示すように、点ＰＲに最も近い点を点Ｐ２から点ＰＲに向かって一定距離Ｄ１だけ移動した点を、点ＰＲに最も近い新たな点Ｐ４とする。このとき、もし、点Ｐ２から点Ｐ４のパスで干渉が発生する場合は、点Ｐ４を削除して図２２Ａに戻る。点Ｐ４と終点ＰＧとの距離が一定以内になれば、それが経路となるが、超えていれば上記手順を繰り返す。
図６に示すフローチャートのステップＳＡ９で把持位置から載置位置までの経路を生成した後、その経路生成に要した時間を記憶部４２に記憶させておく。また、経路生成後はステップＳＡ１０に進み、ロボット動作時間を算出する。ロボット動作時間は、図８に示すフローチャートのステップＳＣ１で登録されたロボットに関する各種情報と、図６に示すフローチャートのステップＳＡ９で生成された経路とに基づいて算出することができる。ロボットに関する各種情報には、アームＡＲＭの可動部の揺動速度や回転速度等が含まれているので、これら速度と経路とが分かれば、ハンド部またはワークモデルＷＫＭが把持位置から載置位置まで移動するのに要する時間が得られ、この時間がロボット動作時間となる。
ステップＳＡ１１では、図２３に示すようにハンド部（エンドエフェクタＥＥＴ）で把持されたワークモデルＷＫＭを容器モデルＢＸＭ内から除去する。つまり、容器モデルＢＸＭ内のワークモデルＷＫＭの数を１つ減らす。このステップＳＡ１１で減らすワークモデルＷＫＭは把持解を算出することができたワークモデルＷＫＭである。ワークモデルＷＫＭを１つ減らした後、ステップＳＡ１２に進み、ワークモデルＷＫＭの除去をＮ回行ったか否かを判定する。ステップＳＡ１２でＮＯと判定された場合には、ステップＳＡ２に進み、ワークモデルＷＫＭが１つ除去されたときの物理シミュレーションを実行し、ステップＳＡ３に進む。一方、ステップＳＡ１２でＹＥＳと判定された場合には、ステップＳＡ１３に進む。また、三次元サーチで得られた他のワークモデルＷＫＭがあればステップＳＡ２に進み、他のワークモデルＷＫＭが無ければステップＳＡ１３に進むようにしてもよい。
このようにして、ピッキング動作シミュレーションが実行されるとともに、その実行時に把持可能であると判定されたワークモデルＷＫＭ毎に経路（経由点を経由する経路と経由しない経路）及びロボット動作時間を算出して記憶部４２に記憶させておくことができる。ロボット動作時間は、経由点を経由する経路の動作時間と、経由点を経由しない経路の動作時間とがある。
ステップＳＡ１３では、経路生成時間、ロボット動作時間のそれぞれについて平均値と、ばらつき（分散）を計算する。経由点が複数通り設定されている場合には、経由点１を経由した場合の経路生成時間、ロボット動作時間の平均値とばらつきを計算し、経由点２を経由した場合の経路生成時間、ロボット動作時間の平均値とばらつきを計算する。経由点３、４、…についても同様である。
次に、ステップＳＡ１４に進み、ステップＳＡ１３で計算した結果を表示部３に表示する。このとき、図２４に示すような表示画面７０を表示制御部２６が生成し、これを表示部３に表示させるように構成することができる。表示画面７０には、経由点を経由しない場合を表示する第１表示領域７１と、経由点１を経由する場合を表示する第２表示領域７２と、経由点２を経由する場合を表示する第３表示領域７３とが設けられている。第１～第３表示領域７１～７３には、経由点情報表示部７１ａ、７２ａ、７３ａがそれぞれ設けられている。第１表示領域７１の経由点情報表示部７１ａには、「経由点なし」と表示される。また、第２表示領域７２の経由点情報表示部７２ａには、「経由点１」が表示されるとともに、ハンド部またはワークモデルＷＫＭが通過した複数の経路がロボットモデルＲＢＴＭ及び屈曲点１と共に重畳表示される。また、第３表示領域７３の経由点情報表示部７３ａには、「経由点２」及びハンド部またはワークモデルＷＫＭが通過した複数の経路がロボットモデルＲＢＴＭ及び屈曲点２と共に重畳表示される。
第１～第３表示領域７１～７３には、時間情報表示部７１ｂ、７２ｂ、７３ｂがそれぞれ設けられている。第１表示領域７１の時間情報表示部７１ｂには、経由点がない経路を生成するのに要する時間の平均値と分散とが表示されるとともに、経由点がない経路で動作するロボット動作時間の平均値と分散とが表示される。また、第２表示領域７２の時間情報表示部７２ｂには、経由点１を経由する経路を生成するのに要する時間の平均値と分散とが表示されるとともに、経由点１を経由する経路で動作するロボット動作時間の平均値と分散とが表示される。また、第３表示領域７３の時間情報表示部７３ｂには、経由点２を経由する経路を生成するのに要する時間の平均値と分散とが表示されるとともに、経由点２を経由する経路で動作するロボット動作時間の平均値と分散とが表示される。
経路を生成するのに要する時間の最大値や最小値、中央値を表示させたり、ロボット動作時間の最大値や最小値、中央値を表示させることもできる。また、経路を生成するのに要する時間とロボット動作時間との一方のみを表示させてもよい。平均値、分散、最大値、最小値及び中央値のいずれか１つのみ、または任意の複数を表示させてもよい。また、「経由点なし」、「経由点１」及び「経由点２」のそれぞれについて、Ｎ個のワークモデルＷＫＭのピッキングを開始してから終了するまでに要するトータルの時間を表示画面７０に表示させるようにしてもよい。さらに、時間に関する情報を表示することなく、経路及び経由点を表示させるようにしてもよい。
図６のフローチャートにおけるステップＳＡ１５は、図２４に示すように複数の経路を重畳表示させるステップである。このステップＳＡ１５はステップＳＡ１４の前に行ってもよいし、ステップＳＡ１４と同時に行ってもよい。表示する経路は、ハンド部の特定の部位の軌跡であってもよいし、ワークモデルＷＫＭの特定の部位の軌跡であってもよい。複数の経路は、記憶部４２から読み込んで互いに区別可能な表示形態で表示部３に重畳表示させることができる。区別可能な表示形態とは、例えば、経路毎に表示色を変えた形態を挙げることができる。また、経路を図形の集合で示している場合には、図形の色を変えること、図形の形状を変えることによっても、複数の経路を区別することができる。また、経路を線で示している場合には、線の色を変えること、線種を変えることによっても、複数の経路を区別することができる。以上のステップが表示ステップである。
図２４に示す表示画面７０に第１表示領域７１と第２表示領域７２と第３表示領域７３とを設けているので、「経由点なし」と「経由点１」と「経由点２」を比較可能な表示形態で表示部３に表示させることができる。これにより、使用者は、経由点を設定するかしないかを判定することができるとともに、経由点を設定する場合にはどこに設定するのが効率良く作業できるかを判定することができる。
ピッキング動作シミュレーションの実行結果を表示部３に表示させることで、使用者は表示部３に表示されたピッキング動作シミュレーションの実行結果に基づいて、現在の設定の適否を判断できる。また必要に応じて、各種の設定を変更することができる。例えばロボットＲＢＴの設置位置や容器ＢＸを置く位置、センサ部２の姿勢などを調整する。変更した設定を、シミュレーション環境として入力し直して、再度ピッキング動作シミュレーションを実行し、その適否を確認するという作業を繰り返して、使用者の環境に応じた適切な設定条件を決定できる。
また、物理シミュレーション部２２は、物理シミュレーションを繰り返して行うことができるが、毎回、ワークモデルＷＫＭが同じ配置にならないようにランダムにばら積みすることができるように構成されている。従って、物理シミュレーション部２２は、以前行った物理シミュレーションで得られたばら積み状態と同じ状態を作ることができない。すなわち、物理シミュレーションの度毎にランダムなばら積みデータが生成されるため、物理シミュレーションの結果に再現性がない。
一方、使用者がピッキング動作の環境設定の見直しなどを行い、その効果を確認しようとする場合、以前のピッキング動作シミュレーションでうまくいかなかった状態を再現して、このばら積みデータに対して確認するのが最も効率的である。例えば、あるワークモデルＷＫＭに対するエンドエフェクタＥＥＴのモデルの把持解が見つからずに全てのワークモデルＷＫＭを取り出せなかった場合に、その対策として使用者が把持候補位置や把持姿勢を増やした場合を考える。この場合、使用者が変更した設定が、前回発生した問題に対して有効な解決策であったか否かを判断するためには、前回うまく行かなかった状態、又はこれと近い状態を再現して確認することが最も有効である。
加えて、問題が発生した状態だけでなく、その問題が発生するに至った途中の状態からピッキング動作シミュレーションを開始できるようにしてもよい。例えば問題が発生したばら積みデータを、ワークモデルＷＫＭを順次追加して構成している場合は、問題が発生した段階の数回前の、ワークモデルＷＫＭの数が数回分少ない状態で、対応できるかどうかを確認することが考えられる。
これらを実現するために、本実施形態においては、ばら積みデータの初期状態や終了状態、あるいは中間状態等、使用者が再利用したいと考える状態のばら積みデータを保存しておき、環境設定をし直した後に、このような保存済みのばら積みデータを呼び出して、検証することを可能としている。ばら積みデータは、記憶部４２に保存しておくことができ、使用者の指定によって呼び出すことができる。
以上の手順では、いずれかのワークモデルＷＫＭで把持解が得られると、その時点で把持候補位置を検討する処理を終了して、得られた把持解に該当する把持候補位置でワークモデルＷＫＭを把持するように処理している。ただ、この方法に限らず、例えば把持可能なすべての把持候補位置を１つのワークモデルＷＫＭについて求めた上で、いずれの把持候補位置を選択するかを使用者が決定するように構成してもよい。また、ワークモデルＷＫＭの置かれた高さ情報に注目し、ワークモデルＷＫＭが置かれた高さが高いもの、いいかえると、ばら積みされたワークモデルＷＫＭ群の内で、より上方に位置するものを把持候補位置として選択することもできる。
以上のようにしてピッキング動作シミュレーションを行うことができ、このピッキング動作シミュレーションは複数回行うのが好ましい。つまり、サーチ処理部２４によりサーチに成功したワークモデルＷＫＭに対応付けられた把持候補位置のそれぞれについて、ロボットＲＢＴによる把持が可能か否かを判定し、把持が可能と判定された把持候補位置をロボットＲＢＴにより把持するピッキング動作シミュレーションを繰り返し実行するように、ピッキング動作シミュレーション部２５が構成されている。ピッキング動作シミュレーションが終了すると、物理シミュレーション部２２は自動的に新たな物理シミュレーションを実行し、この新たな物理シミュレーション結果を利用してピッキング動作シミュレーションが行われる。
また、ピッキング動作シミュレーション部２２は、サーチ処理部２４によりサーチに成功したワークモデルＷＫＭをハンド部形状入力部３５で入力されたハンド部により把持するピッキング動作シミュレーションを、各ハンド部を用いて繰り返し実行するように構成されている。ハンド部の形状を複数入力した場合には、それらのうち、一のハンド部のハンドモデルを用いてピッキング動作シミュレーションを行った後、他のハンド部のハンドモデルを用いてピッキング動作シミュレーションを行う。全てのハンド部についてピッキング動作シミュレーションが終了した後、再び全てのハンド部のハンドモデルを用いてピッキング動作シミュレーションを行う。これを繰り返して行うことができる。また、一のハンド部のハンドモデルを用いてピッキング動作シミュレーションを複数回行った後、他のハンド部のハンドモデルを用いてピッキング動作シミュレーションを複数回行うこともできる。ピッキング動作シミュレーションは、ハンド部毎に数百回～１０００回程度行うことができる。ピッキング動作シミュレーションを複数回行ってその結果を蓄積することができる。
また、ピッキング動作シミュレーション部２５は、ロボットモデルのハンド部が待機位置から往き経路上の経由点を経由し、容器モデル内のワークモデルを把持するシミュレーションを繰り返し実行可能に構成されている。このシミュレーションは、上述した経由点を経由するシミュレーションを実行する場合と同様に行うことができる。また、このシミュレーションの結果、経路生成時間、ロボット動作時間を表示部３に表示することができる。
また、往き経路上の経由点が設定されていない場合、ピッキング動作シミュレーション部２５は、待機位置にあるロボットモデルのハンド部が容器モデル内のワークモデルを把持するシミュレーションを繰り返し実行可能に構成することができる。この場合、経由点算出部２５ａは、ピッキング動作シミュレーション部２５によるシミュレーションの結果を解析し、待機位置にあるロボットモデルのハンド部が容器モデル内のワークモデルを把持するまでの間にハンド部が経由する往き経路上の経由点を自動的に算出するように構成することができる。往き経路上の経由点の算出手順は、上述した経由点の算出手順と同様にすることができる。
（露光時間の設定）
形状測定装置４００は、図３に示すように、カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４の露光時間（シャッタースピード）を段階的に変化させるための露光制御部４０を備えている。露光制御部４０は、露光時間を等比で増加させるように構成されているが、これに限られるものではない。この実施形態では、露光時間を１．５倍ずつ伸ばすように構成されているが、この倍率は任意に設定することができる。
形状測定装置４００は高さ画像データ生成部３３を備えている。高さ画像データ生成部３３は、露光制御部４０が段階的に変化させた各露光時間においてカメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４から出力された受光量を得て、得られた受光量に基づいて、各画素値が測定対象物表面（ワークＷＫの表面）の各部位の高さを示す高さ画像データを生成するように構成されている。これは例えば位相シフト法等の手法によって生成することができる。
（画素判定部の構成）
形状測定装置４００は図３に示す画素判定部３４を備えている。画素判定部３４は、露光制御部４０が段階的に変化させた各露光時間において受光部が受光した受光量を得て、得られた受光量に基づいて、高さ画像データ生成部３３により生成される各高さ画像の各画素が有効か無効かを判定するように構成されている。プロジェクタＰＲＪが周期的な照度分布を有するパターン光を照射するように構成されている場合、画素判定部３４は、カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４の撮像によって得られた各画素の光量のコントラストが閾値以上の画素を有効と判定するように構成されている。また、三次元形状を取得する方法として、光切断法を用いる場合には、各画素の光量が小さすぎるか、飽和している場合には、当該画素が無効であると判定し、その他の画素を有効と判定する。つまり、高さ画像を生成した際に高さを表示することができない画素（画面上で黒く潰れたようになってしまう画素や白く飛んでしまう画素）が無効であると判定し、一方、高さを表示することができる画素を有効と判定する。画素判定部３４は、カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４による撮像範囲内に設定される注目領域内の各画素が有効か無効かを判定するように構成することができる。
（露光時間設定部の構成）
形状測定装置４００は図３に示す露光時間設定部４１を備えている。露光時間設定部４１は、画素判定部３４により有効と判定された画素の数が所定条件を満たしている高さ画像に対応する露光時間を設定値として設定する。設定値とは、ロボットシステム１０００の実運用を行う際に用いる露光時間のことである。露光時間は手動操作によって調整することもできるが、手動操作の場合、使用者は自分で設定した露光時間で得られた高さ画像を見ながら、最適な露光時間の範囲を探索していくプロセスが必要になる。また、最適な露光時間を絞り込むための探索を手作業で行う場合、属人性があるとともに再現性が悪く、様々なケースで適切な露光時間を得ることは難しい。さらに、高さ画像を構成する画素の場合は、見た目で有効画素であるか否かを判定するのは難しく、特に手作業で決定した露光時間が妥当な時間であるか否かを短時間で検証して判断することは困難である。よって、この実施形態では、適切な露光時間を自動で設定することができるようになっている。
例えば、ある固定されたワークを、カメラＣＭＥ１、ＣＭＥ２、ＣＭＥ３、ＣＭＥ４の露光時間を段階的に変えながら撮像して高さ画像を得て、その高さ画像に含まれる有効画素数を露光時間毎に得る。ある露光時間の範囲内では、露光時間が変化しても有効画素数は殆ど変化せず、その範囲外では、有効画素数が急激に少なくなる場合がある。例えば、有効画素が最大値の９５％となる露光時間を設定値として設定することで、有効と判定された画素の数が最も多くなる露光時間以下の所定時間を設定値として設定することができる。
高さ画像生成部３３での高さ画像の生成方法の一例について説明する。高さ画像とは、画像を構成する各画素値に、高さの値が格納されている画像である。典型的には、高さを輝度値で表現した画像である。高さ画像の生成方法については、Ｚバッファ法が好適に利用できる。
すなわち、ワークのＣＡＤデータであるワークモデルで構成された三次元のバラ積みデータに基づいて、陰影を消去するレンダリングによって二次元の高さ画像を描画する。レンダリング方法には、Ｚバッファ法、Ｚソート法、スキャンライン法、レイトレーシング法等が利用できる。ここではＺバッファ法を用いて、複数のワークモデルを高さ画像に描画していく。Ｚバッファ法では、Ｚバッファ＝高さ画像として実現される。また、Ｚバッファの初期化を、無限遠で行うのではなく、床面や箱の情報で最小に初期化する形を取る。Ｚバッファ法の過程で、画素毎にワークモデルの面の法線情報を保持した、法線画像も同時に作成する。ここではＺバッファを上書きした画素について、法線データも更新する。なお、本明細書中では、高さ画像への変換方法としてＺバッファ法を例示するが、本発明はＺバッファ法に限定するものでなく、上述の通り、他の方法も適宜利用できる。このようにして三次元のばら積みデータから高さ画像に描画し直す。
（三次元計測部）
三次元計測部３０は、画像処理装置３００に設けることができる。三次元計測部３０は、実運用時に複数のワークが積み上げられた作業空間を三次元計測し、その計測データを出力するように構成されている。センサ部２は三次元計測部３０の一構成要素とすることができる。計測手法は上述したとおりであり、特に限定されるものではない。三次元計測部３０をセンサ部２に設けて一体化することもできる。
（サーチ処理部）
サーチ処理部２４は、上述したピッキング動作シミュレーションで使用されているが、実運用時でも使用することができる。サーチ処理部２４をピッキング動作シミュレーションで使用したものとは別に構成することもできる。
すなわち、サーチ処理部２４は、サーチモデル登録部２７に登録された複数のサーチモデルを用いて、三次元計測部３０から出力された計測データの中に含まれる複数のワークの位置及び姿勢を検出するサーチ処理を行う。サーチ処理を行う際には、三次元計測部３０から出力された計測データに基づいて高さ画像生成部３３によって高さ画像を生成し、この高さ画像中にサーチモデル登録部２７で登録されたサーチモデルが存在するか否かをサーチする。この手法はピッキング動作シミュレーションで行った手法と同じにすることができる。
また、サーチ処理部２４は、サーチモデルの形状を表す複数の特徴点を用いて、三次元計測部３０から出力された計測データの中に含まれる複数のワークの位置及び姿勢を検出することができる。すなわち、三次元計測部３０から出力された計測データに基づいて高さ画像を生成し、この高さ画像の中で、サーチモデルの形状を表す複数の特徴点と一致する形状をサーチする。
また、サーチ処理部２４は、サーチモデル登録部２７に登録されている関連付けられた高さ画像データを用いて、三次元計測部３０から出力された計測データの中に含まれる複数のワークの位置及び姿勢を検出するように構成することができる。
（干渉判定部）
干渉判定部３１は、画像処理装置３００に設けることができる。干渉判定部３１は、サーチ処理部２４でサーチ処理に成功したサーチモデルに対応付けられたワーク表面に設定された把持候補位置をロボットＲＢＴが周囲の物体と干渉することなく把持が可能か判定する。この干渉判定部３１による判定手法は、ピッキング動作シミュレーションで行った手法と同じにすることができる。
（把持位置決定部）
把持位置決定部３２は、画像処理装置３００に設けることができる。把持位置決定部３２は、干渉判定部３１により周囲の物体と干渉することなく把持が可能と判定された把持候補位置を実際の把持位置として決定するように構成されている。
（実運用時の手順）
次に、実運用時には、まず、図１に示すようにセンサ部２を用いて容器ＢＸにばら積みされているワークＷＫを三次元計測する。そして、三次元計測部３０から出力された計測データに基づいて高さ画像生成部３３で高さ画像を生成しておく。
その後、高さ画像に対して上述した三次元サーチを実施し、ワークの位置及び姿勢を検出した後、ワークモデルの位置と、登録してあるワークモデルの把持姿勢とに基づいて、ハンド部を配置すべき位置と姿勢を計算する。
計算された位置において、ハンド部が周囲の物体と干渉しないかどうかを、ハンドモデルの断面モデルを利用して判定する。具体的には、高さ画像の各１点１点のｐｉｘｅｌデータが示す三次元点群と、ハンド部形状入力部３５で予め入力されているハンドモデルとが干渉するか否かを、ハンドの断面モデルを用いて判定する。ハンド部が周囲の物体と干渉していない場合には、把持解有りとする。この把持解がロボットコントローラ６に送信され、ロボットコントローラ６がアーム部ＡＲＭ及びハンド部を制御してワークＷＫをピックして搬送する。
一方、ハンド部が周囲の物体と干渉している場合には、登録されている別の把持候補位置があるか否かを判定する。別の把持候補位置がある場合には、干渉判定を行う。別の把持候補位置がない場合には、ワークが他にもあるか否かを判定する。別のワークがある場合には、把持可能か否かを判定する。別のワークがない場合には把持解無しとして終了する。このように三次元サーチで複数のワークが検出された場合、検出されたワークを１つずつ把持可能か否かを判定していく。
（経由点の自動算出）
次に、ロボットモデルＲＢＴＭのハンド部またはワークモデルＷＫＭが把持位置から載置位置へ移動する間に経由する経由点を自動的に算出する手順について、図２５に示すフローチャートに基づいて説明する。この例は、最適な経由点をロボット設定装置１００が自動的に算出して使用者に提示する機能を有している例であり、使用者は経由点を登録していない場合に実行される。
尚、使用者が経由点を登録しているか否かを判定する判定ステップを設け、使用者が経由点を登録していない場合には、経由点の自動算出を実行し、使用者が経由点を登録している場合には、経由点の自動算出を実行しないように構成することもできる。また、使用者が経由点を登録していても、ロボット設定装置１００が最適であると推定される経由点を自動的に算出して使用者に提示するようにしてもよい。
図２５に示すフローチャートのステップＳＥ１～ＳＥ１３は、図６に示すフローチャートのステップＳＡ１～ＳＡ１３と同じである。これにより、経由点がない場合の複数の経路、当該経路の生成に要する時間、ロボット動作時間が得られるとともに、それらの平均値や分散等も得られる。
ステップＳＥ１４では、経由点を算出し、設定する。このステップは、経由点算出ステップであり、図３に示す経由点算出部２５ａで実行される。経由点算出部２５ａは、ピッキング動作シミュレーション部２５によるシミュレーションの結果を解析し、ロボットモデルＲＢＴＭのハンド部がワークモデルＷＫＭを把持した後、載置位置に載置するまでの間にハンド部またはワークモデルＷＫＭが経由する経由点を自動的に算出するように構成されている。例えば、経由点算出部２５ａは、ピッキング動作シミュレーション部２５によるシミュレーションの結果得られた複数の経路の近接度が所定以上となる点を算出し、当該点を前記経由点とするように構成することができる。すなわち、ピッキング動作シミュレーションを繰り返し実行することで、その結果によりロボットモデルＲＢＴＭのハンド部またはワークモデルＷＫＭが通る経路を複数得ることができる。これら複数の経路が互いに接近すればするほど近接度が高くなり、この近接度が所定以上となる点は複数の経路に近いところに位置することになる。この点を経由点とすることで、全ての経路に対してロボットの動作軌跡が無用に長くならないような経由点を設定することができる。
経由点の自動算出手順について、図２６に示すフローチャートに基づいて説明する。ステップＳＦ１では、記憶部４２に記憶されているＮ回分の経路生成結果を読み込む。尚、Ｎ回分の経路生成結果が無い場合には、Ｎ回よりも少ない数の経路生成結果を読み込めばよい。
ステップＳＦ２では、ステップＳＦ１で読み込んだ複数の経路生成結果の中から、任意の１つのマスター経路（経路１）を選択する。図２７に経路１を符号Ｌ１で示しており、この経路１は、把持位置ＰＡからステージＳＴＧ上の載置位置ＰＣまでの経路である。
ステップＳＦ２の後、ステップＳＦ３では、ステップＳＦ２で選択したマスター経路とは異なる経路（経路２）を選択する。図２７では、把持位置ＰＢからステージＳＴＧ上の載置位置ＰＣまでの経路２を符号Ｌ２で示している。
ステップＳＦ３の後、ステップＳＦ４では、図２８に示すように、動的時間伸縮法（ＤＴＷ：Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）を実施して経路２上の各点において経路１上の対応点を算出する。つまり、２つの時系列（経路１と経路２）の各点の距離を総当りで比較した後、系列同士の距離が最短となるパスを探索する。図２８の矢印は経路の探索の様子を示しており、探索の結果、太字で示されている矢印が最短経路として算出され、最短経路を結ぶ位置同士が対応点となる。図２９の矢印は経路Ｌ１とＬ２の対応点を示している。ステップＳＦ４の後、ステップＳＦ５に進み、図２９に示すように対応点同士の距離を算出する。
ステップＳＦ５の後、ステップＳＦ６では、図３０に示すように、対応点同士の距離が所定の閾値以内、かつ、載置位置から最も遠い点ＰＤを経由点の候補とする。この経由点の算出は、ＸＹＺ空間で行うことができるが、コンフィギュレーション空間（各軸空間）で行うようにしてもよい。
ステップＳＦ７では、ステップＳＦ３～ＳＦ６がＮ－１回実行されたか否かを判定する。尚、ステップＳＦ１でＮよりも少ない数の経路生成結果を読み込んでいる場合には、ステップＳＦ７において、その数から１を差し引いた回数実行されたか否かを判定すればよい。ステップＳＦ７でＮＯと判定された場合には、ステップＳＦ３に進む。ステップＳＦ７でＹＥＳと判定された場合には、ステップＳＦ８に進む。ステップＳＦ８では、全経由点候補の平均値を算出をし、その平均値を新しい経由点として追加するか、全経由点候補の中央値を新しい経由点として追加する。
ステップＳＦ８が終了すると、図２５に示すフローチャートのステップＳＥ１５に進む。ステップＳＥ１５では、把持位置から載置位置までの経路において、ステップＳＦ８で設定された経由点を通過する経路を生成し、ピッキングシミュレーションを実行する。経路の生成、ピッキングシミュレーションは、それぞれ上述した方法で実行できる。
ステップＳＥ１５の後、ステップＳＥ１６では、図６に示すフローチャートのステップＳＡ１３と同様に、ステップＳＥ１５で生成した経路の生成に要した時間、ロボット動作時間の平均及びバラつきを計算する。
ステップＳＥ１７では、経由点を設定する前と、経由点を設定した後とで、経路の違い、経路の生成に要する時間の違い、ロボット動作時間の違いの少なくとも１つを表示部３に表示させることができる。表示形態としては、例えば、図２４に示すような表示画面７０を挙げることができる。この表示形態によれば、経由点を設定した場合と、経由点がない場合とを時間や経路について比較可能な形態で表示することができる。
図３１は、ロボットモデルＲＢＴＭのアーム部ＡＲＭのある軸の動きを把持位置から載置位置まで示しており、ピッキングシミュレーションを４回行った場合である。この図に示すように、把持位置が４回とも異なっていても、載置位置までの途中区間では、４回の経路が互いに接近している部分が存在することがある。この場合、４回の経路が互いに接近している部分を経由点とすれば、ロボットの動作時間は殆ど増加しない。このように、毎回の経路の対応点を算出し、対応点同士の乖離が少ない区間に経由点を設定すれば、ロボットの動作時間を増加させずに、経路の生成に要する時間を短縮できる。このような点は上述したＤＴＷを用いることで見つけることができる。
図３２は、経由点を設定しない場合の複数の経路を模式的に示した図である。黒い立方体の集合、白い立方体の集合、灰色の立方体の集合がそれぞれ経路を示しており、複数の経路が重畳表示されている。この図に示すように、把持位置と載置位置との間に障害物Ａが存在し、ロボットの自由度が多く想定される場合に経由点がないと、毎回の経路が大きくバラついてしまう。一方、図３３は、経由点を設定した場合の複数の経路を模式的に示しており、複数の経路が重畳表示されている。この図に示すように、経由点を設定することで、ロボットの自由度が多く想定される場合であっても、毎回の経路が途中から載置位置までの範囲でバラつき難くなる。
図３２や図３３に示す複数の経路を重畳表示した画像を、図２４に示すような表示画面７０に組み込むことができる。これにより、使用者は、経路と、経路の生成に要する時間と、ロボット動作時間とを把握することができ、経由点の妥当性を判断できる。また、図３３に示すように、経由点ＰＤを重畳表示させることもできる。
（実施形態の作用効果）
以上説明したように、この実施形態によれば、容器モデルＢＸＭ内にばら積み状態とされているワークモデルＷＫＭをロボットモデルＲＢＴＭのハンド部が把持して経由点を経由し、載置位置まで搬送する動作をシミュレーションすることができる。このとき、経由点がワークモデルＷＫＭの把持位置と載置位置との間に設定されているので、例えば把持位置と載置位置との間に障害物Ａが存在する場合のように、ロボットモデルＲＢＴＭの自由度が多く想定される場合に、経路生成の問題が複数に分割されることにより解の安定性が高まるとともに、経路生成時間が短くなる。
このシミュレーションの結果に基づいて、ロボットモデルＲＢＴＭのハンド部またはワークモデルＷＫＭが通過した経路、経路生成時間及びロボットモデルＲＢＴＭのハンド部により容器モデルＢＸＭ内のワークモデルＷＫＭを把持してから経由点を経由し、載置位置に載置するまでのロボット動作時間の少なくともいずれか１つを表示部３に表示することができる。
経路を表示部３に表示する場合には、使用者は、ロボットモデルＲＢＴＭのハンド部またはワークモデルＷＫＭがどのような経路により把持位置から載置位置まで搬送されるのかを経由点を含めて確認できる。これにより、経路が無用に長くなっていないか、適切な長さであるか否かを表示部３の表示内容に基づいて検討することが可能になる。
また、経路の生成に要する経路生成時間を表示部３に表示する場合には、使用者は、経路生成時間が妥当な時間となっているか否かを表示部３の表示内容に基づいて検討することが可能になる。
また、ロボット動作時間を表示部３に表示する場合には、使用者は、ロボット動作時間が妥当な時間であるか否かを表示部３の表示内容に基づいて検討することが可能になる。
また、シミュレーションの結果を経由点算出部２５ａが解析し、ロボットモデルＲＢＴＭのハンド部がワークモデルＷＫＭを把持した後、載置位置に載置するまでの間にハンド部またはワークモデルＷＫＭが経由する経由点を自動的に算出することができる。経由点算出部２５ａが解析するシミュレーションの結果には複数回のシミュレーション結果が含まれているので、それらに共通するような経由点を算出することで、経由点が適切なものになる。この経由点の設定により、経路生成の問題が複数に分割されて解の安定性が高まるとともに、経路生成時間が短くなる。
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
以上説明したように、本発明に係るロボット設定装置及びロボット設定方法は、例えば、ばら積みされているワークをピックするロボットシステムに適用することができる。
２ センサ部
３ 表示部
４ 操作部
６ ロボットコントローラ
７ ロボット操作具
２０ 設定部
２２ 物理シミュレーション部
２３ ばら積みデータ生成部
２４ サーチ処理部
２５ ピッキング動作シミュレーション部
２５ａ 経由点算出部
２６ 表示制御部
１００ ロボット設定装置
２００ ロボットピッキングシミュレーション装置
３００ 画像処理装置
４００ 形状測定装置
１０００ ロボットシステム
ＢＸ 容器
ＢＸＭ 容器モデル
ＣＭＥ１～４ カメラ（受光部）
ＰＲＪ プロジェクタ（投光部）
ＲＢＴ ロボット
ＷＫ ワーク
ＷＫＭ ワークモデル

Claims (11)

  1. 作業空間に積み上げられた複数のワークを順次取り出すばら積みピッキング動作を行うロボットを設定するためのロボット設定装置において、
    ワークの三次元形状をモデル化したワークモデル、当該ワークモデルを収容する容器モデル、ロボットに関する情報を規定するロボットモデル、当該ロボットモデルのハンド部により前記ワークモデルが載置される載置位置、及び前記ロボットモデルのハンド部が前記ワークモデルを把持した後、前記載置位置に載置するまでの間に当該ハンド部または前記ワークモデルが経由する経由点を含むシミュレーション環境を設定する設定部と、
    前記容器モデル内に前記設定部により設定された複数のワークモデルを落下させる物理シミュレーションを実行することにより前記容器モデル内に前記ワークモデルのばら積み状態を生成し、前記ロボットモデルのハンド部により前記容器モデル内の前記ワークモデルを把持してから前記経由点を経由し、前記載置位置に載置するシミュレーションを繰り返し実行するシミュレーション部と、
    前記シミュレーション部によるシミュレーションの結果に基づいて、前記ロボットモデルのハンド部または前記ワークモデルが通過した経路、当該経路の生成に要する経路生成時間、及び前記ロボットモデルのハンド部により前記容器モデル内の前記ワークモデルを把持してから前記経由点を経由し、前記載置位置に載置するまでのロボット動作時間の少なくともいずれか１つを表示部に表示する表示制御部とを備えていることを特徴とするロボット設定装置。
  2. 請求項１に記載のロボット設定装置において、
    前記シミュレーション部が繰り返し実行したシミュレーション結果を記憶する記憶部を備え、
    前記表示制御部は、前記記憶部に記憶された複数の前記経路を読み込み、当該複数の経路を互いに区別可能な表示形態で前記表示部に重畳表示させるように構成されていることを特徴とするロボット設定装置。
  3. 請求項２に記載のロボット設定装置において、
    前記表示制御部は、前記経由点を前記表示部に前記経路と重畳表示させるように構成されていることを特徴とするロボット設定装置。
  4. 請求項１から３のいずれか１つに記載のロボット設定装置において、
    前記表示制御部は、複数の前記経路生成時間の平均を算出して表示部に表示させるように構成されていることを特徴とするロボット設定装置。
  5. 請求項１から４のいずれか１つに記載のロボット設定装置において、
    前記表示制御部は、複数の前記ロボット動作時間の平均を算出して表示部に表示させるように構成されていることを特徴とするロボット設定装置。
  6. 請求項１から５のいずれか１つに記載のロボット設定装置において、
    前記表示制御部は、複数の前記経路生成時間のばらつきを算出して表示部に表示させるように構成されていることを特徴とするロボット設定装置。
  7. 請求項１から６のいずれか１つに記載のロボット設定装置において、
    前記表示制御部は、複数の前記ロボット動作時間のばらつきを算出して表示部に表示させるように構成されていることを特徴とするロボット設定装置。
  8. 請求項１から７のいずれか１つに記載のロボット設定装置において、
    前記設定部は、前記ロボットモデルのハンド部の待機位置から前記ロボットモデルのハンド部が前記容器モデル内の前記ワークモデルを把持するまでの間に当該ハンド部が経由する往き経路上の経由点を含むシミュレーション環境を設定可能に構成され、
    前記シミュレーション部は、前記ロボットモデルのハンド部が前記待機位置から前記往き経路上の経由点を経由し、前記容器モデル内の前記ワークモデルを把持するシミュレーションを繰り返し実行可能に構成されていることを特徴とするロボット設定装置。
  9. 作業空間に積み上げられた複数のワークを順次取り出すばら積みピッキング動作を行うロボットを設定するためのロボット設定装置において、
    ワークの三次元形状をモデル化したワークモデル、当該ワークモデルを収容する容器モデル、ロボットに関する情報を規定するロボットモデル及び当該ロボットモデルのハンド部により前記ワークモデルが載置される載置位置を含むシミュレーション環境を設定する設定部と、
    前記容器モデル内に前記設定部により設定された複数のワークモデルを落下させる物理シミュレーションを実行することにより前記容器モデル内に前記ワークモデルのばら積み状態を生成し、前記ロボットモデルのハンド部により前記容器モデル内の前記ワークモデルを把持してから前記載置位置に載置するシミュレーションを繰り返し実行するシミュレーション部と、
    前記シミュレーション部によるシミュレーションの結果を解析し、前記ロボットモデルのハンド部が前記ワークモデルを把持した後、前記載置位置に載置するまでの間に前記ハンド部または前記ワークモデルが経由する経由点を自動的に算出する経由点算出部とを備えていることを特徴とするロボット設定装置。
  10. 作業空間に積み上げられた複数のワークを順次取り出すばら積みピッキング動作を行うロボットを設定するためのロボット設定方法において、
    ワークの三次元形状をモデル化したワークモデル、当該ワークモデルを収容する容器モデル、ロボットに関する情報を規定するロボットモデル及び当該ロボットモデルのハンド部により前記ワークモデルが載置される載置位置を含むシミュレーション環境を設定する設定ステップと、
    前記容器モデル内に前記設定ステップにより設定された複数のワークモデルを落下させる物理シミュレーションを実行することにより前記容器モデル内に前記ワークモデルのばら積み状態を生成し、前記ロボットモデルのハンド部により前記容器モデル内の前記ワークモデルを把持してから経由点を経由し、前記載置位置に載置するシミュレーションを繰り返し実行するシミュレーションステップと、
    前記シミュレーションステップによるシミュレーションの結果に基づいて、前記ロボットモデルのハンド部または前記ワークモデルが通過した経路、当該経路の生成に要する経路生成時間、及び前記ロボットモデルのハンド部により前記容器モデル内の前記ワークモデルを把持してから前記経由点を経由し、前記載置位置に載置するまでのロボット動作時間の少なくともいずれか１つを表示部に表示する表示ステップとを備えていることを特徴とするロボット設定方法。
  11. 作業空間に積み上げられた複数のワークを順次取り出すばら積みピッキング動作を行うロボットを設定するためのロボット設定方法において、
    ワークの三次元形状をモデル化したワークモデル、当該ワークモデルを収容する容器モデル、ロボットに関する情報を規定するロボットモデル、当該ロボットモデルのハンド部により前記ワークモデルが載置される載置位置、及び前記ロボットモデルのハンド部が前記ワークモデルを把持した後、前記載置位置に載置するまでの間に当該ハンド部または前記ワークモデルが経由する経由点を含むシミュレーション環境を設定する設定ステップと、
    前記容器モデル内に前記設定ステップにより設定された複数のワークモデルを落下させる物理シミュレーションを実行することにより前記容器モデル内に前記ワークモデルのばら積み状態を生成し、前記ロボットモデルのハンド部により前記容器モデル内の前記ワークモデルを把持してから前記載置位置に載置するシミュレーションを繰り返し実行するシミュレーションステップと、
    前記シミュレーションステップによるシミュレーションの結果を解析し、前記ロボットモデルのハンド部が前記ワークモデルを把持した後、前記載置位置に載置するまでの間に前記ハンド部または前記ワークモデルが経由する経由点を自動的に算出する経由点算出ステップとを備えていることを特徴とするロボット設定方法。
JP2019139111A 2019-07-29 2019-07-29 ロボット設定装置及びロボット設定方法 Active JP7346133B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019139111A JP7346133B2 (ja) 2019-07-29 2019-07-29 ロボット設定装置及びロボット設定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019139111A JP7346133B2 (ja) 2019-07-29 2019-07-29 ロボット設定装置及びロボット設定方法

Publications (2)

Publication Number Publication Date
JP2021020285A JP2021020285A (ja) 2021-02-18
JP7346133B2 true JP7346133B2 (ja) 2023-09-19

Family

ID=74574625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019139111A Active JP7346133B2 (ja) 2019-07-29 2019-07-29 ロボット設定装置及びロボット設定方法

Country Status (1)

Country Link
JP (1) JP7346133B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240139952A1 (en) * 2021-05-31 2024-05-02 Fanuc Corporation Robot simulation device
CN114489328B (zh) * 2021-12-30 2024-04-05 重庆特斯联智慧科技股份有限公司 一种基于手势分布模板动作识别的机器人控制方法和系统
WO2023188407A1 (ja) * 2022-03-31 2023-10-05 ファナック株式会社 ロボットシステム
WO2024018516A1 (ja) * 2022-07-19 2024-01-25 ファナック株式会社 シミュレーション装置及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002331480A (ja) 2001-05-09 2002-11-19 Fanuc Ltd 干渉回避装置
JP4153528B2 (ja) 2006-03-10 2008-09-24 ファナック株式会社 ロボットシミュレーションのための装置、プログラム、記録媒体及び方法
JP2013132742A (ja) 2011-12-27 2013-07-08 Canon Inc 物体把持装置、物体把持装置の制御方法、およびプログラム
JP2014180705A (ja) 2013-03-18 2014-09-29 Yaskawa Electric Corp ロボットピッキングシステム及び被加工物の製造方法
JP2015171745A (ja) 2014-03-12 2015-10-01 ファナック株式会社 ワークの取出工程をシミュレーションするロボットシミュレーション装置
JP2015215259A (ja) 2014-05-12 2015-12-03 ファナック株式会社 レンジセンサの配置位置評価装置
JP2018134703A (ja) 2017-02-21 2018-08-30 株式会社安川電機 ロボットシミュレータ、ロボットシステム及びシミュレーション方法
JP2019028770A (ja) 2017-07-31 2019-02-21 株式会社キーエンス ロボットシミュレーション装置及びロボットシミュレーション方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002331480A (ja) 2001-05-09 2002-11-19 Fanuc Ltd 干渉回避装置
JP4153528B2 (ja) 2006-03-10 2008-09-24 ファナック株式会社 ロボットシミュレーションのための装置、プログラム、記録媒体及び方法
JP2013132742A (ja) 2011-12-27 2013-07-08 Canon Inc 物体把持装置、物体把持装置の制御方法、およびプログラム
JP2014180705A (ja) 2013-03-18 2014-09-29 Yaskawa Electric Corp ロボットピッキングシステム及び被加工物の製造方法
JP2015171745A (ja) 2014-03-12 2015-10-01 ファナック株式会社 ワークの取出工程をシミュレーションするロボットシミュレーション装置
JP2015215259A (ja) 2014-05-12 2015-12-03 ファナック株式会社 レンジセンサの配置位置評価装置
JP2018134703A (ja) 2017-02-21 2018-08-30 株式会社安川電機 ロボットシミュレータ、ロボットシステム及びシミュレーション方法
JP2019028770A (ja) 2017-07-31 2019-02-21 株式会社キーエンス ロボットシミュレーション装置及びロボットシミュレーション方法

Also Published As

Publication number Publication date
JP2021020285A (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
JP6970551B2 (ja) 形状測定装置及び形状測定方法
JP7346133B2 (ja) ロボット設定装置及びロボット設定方法
US11511415B2 (en) System and method for robotic bin picking
EP1864764B1 (en) Robot simulation apparatus
US10279473B2 (en) Image processing device, image processing method, and computer program
JPWO2019189661A1 (ja) 学習データセット作製方法及び装置
US20070293986A1 (en) Robot simulation apparatus
JP2018144155A (ja) ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2014205209A (ja) ロボットシステム、及びロボットシステムの制御方法
JP2018144154A (ja) ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2018144158A (ja) ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6857101B2 (ja) ロボットシミュレーション装置及びロボットシミュレーション方法
JP6919987B2 (ja) 画像処理装置
JP7233508B2 (ja) 形状測定装置及び形状測定方法
JP2019028773A (ja) ロボットシミュレーション装置及びロボットシミュレーション方法
JP7202966B2 (ja) 三次元測定装置及び三次元測定方法
JP7344699B2 (ja) ロボットピッキングシミュレーション装置及びロボットピッキングシミュレーション方法
JP2022017738A (ja) 画像処理装置
US11590652B2 (en) Measuring device
JP2021091056A (ja) 測定装置
JP7164451B2 (ja) 三次元計測装置
JP2022122648A (ja) 制御装置
JP2022017739A (ja) 画像処理装置
WO2023188407A1 (ja) ロボットシステム
JP2013158845A (ja) ロボット装置、画像生成装置、画像生成方法、および画像生成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230906

R150 Certificate of patent or registration of utility model

Ref document number: 7346133

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150