JP7074386B1 - ロボットシステム、把持制御方法、把持制御プログラム、及び、記録媒体 - Google Patents
ロボットシステム、把持制御方法、把持制御プログラム、及び、記録媒体 Download PDFInfo
- Publication number
- JP7074386B1 JP7074386B1 JP2021521321A JP2021521321A JP7074386B1 JP 7074386 B1 JP7074386 B1 JP 7074386B1 JP 2021521321 A JP2021521321 A JP 2021521321A JP 2021521321 A JP2021521321 A JP 2021521321A JP 7074386 B1 JP7074386 B1 JP 7074386B1
- Authority
- JP
- Japan
- Prior art keywords
- situation
- gripping
- work
- robot arm
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003384 imaging method Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 description 9
- 230000000877 morphologic effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000005489 elastic deformation Effects 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- RTZKZFJDLAIYFH-UHFFFAOYSA-N Diethyl ether Chemical compound CCOCC RTZKZFJDLAIYFH-UHFFFAOYSA-N 0.000 description 2
- 229920000459 Nitrile rubber Polymers 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229920001084 poly(chloroprene) Polymers 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 229920006311 Urethane elastomer Polymers 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 150000001336 alkenes Chemical class 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 150000002148 esters Chemical class 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- JRZJOMJEPLMPRA-UHFFFAOYSA-N olefin Natural products CCCCCCCC=C JRZJOMJEPLMPRA-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000005060 rubber Substances 0.000 description 1
- 229920002803 thermoplastic polyurethane Polymers 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
ロボットアームの把持システム１０、把持制御方法、把持制御プログラム、及び、記録媒体は、アーム手段１１の先端部に取付けられた把持手段１２により、対象物１３～２１の把持作業を行うロボットアーム２２を有し、制御手段により、把持作業の開始時の状況Ａと終了時の状況Ｂ、及び、ロボットアーム２２の周辺環境を撮像可能なセンサからの情報に基づいて、開始時の状況Ａから終了時の状況Ｂまでのロボットアーム２２の動作経路計画を自動的に作成し、この作成したロボットアーム２２の動作経路計画に従って、ロボットアーム２２を動作させる。
Description
本発明は、対象物の把持作業を行うロボットアームを有するロボットシステム、その把持制御方法、その把持制御プログラム、及び、プログラムの記録媒体に関する。
従来、産業用ロボットや協働ロボットに作業内容を登録する手法として、ロボットの各関節の動きをプログラミングする手法（ティーチング）や、ロボットの手先を直接手で持って動かして登録する手法（ダイレクトティーチング）、また、コンピュータで再現された仮想環境で動作計画を実施する手法（オフラインティーチング）等が利用されている（例えば、特許文献１参照）。更に、作業者の作業をカメラなどで撮影し、その動作を模倣させる手法（実演教示）等も提案されている。
しかしながら、上記したいずれの手法も、作業内容のすべての動作を明示的に示す必要があり、その作業内容の提示自体が、ロボットの教示作業を実施する作業者の負担になっていた。なお、最近では、組み立て説明書や作業指示書からロボットの作業手順を自動的に立案する研究も実施されているが、これらの研究でも、ロボットシステムに提示する作業指示書などを詳細に記載する必要があった。
本発明はかかる事情に鑑みてなされたもので、作業指示の内容を従来よりも大幅に低減可能なロボットシステム、把持制御方法、把持制御プログラム、及び、記録媒体を提供することを目的とする。
前記目的に沿う本発明に係るロボットシステムは、アーム手段の先端部に取付けられた把持手段により、対象物の把持作業を行うロボットアームと、
前記ロボットアームの周辺環境を撮像可能なセンサと、
前記把持作業の開始時の状況Ａと終了時の状況Ｂ、及び、前記センサからの情報に基づいて、前記開始時の状況Ａから前記終了時の状況Ｂまでの前記ロボットアームの動作経路計画を、前記ロボットアームによるティーチングと人の動作による実演教示を用いることなく自動的に作成し（但し、前記開始時の状況Ａを前記把持作業の進行に伴って更新する場合を除く）、該動作経路計画に従って前記ロボットアームを制御する制御手段とを有し、
前記制御手段は、前記動作経路計画の作成に、前記開始時の状況Ａと前記終了時の状況Ｂから抽出された差分データを用い、変化のない重複部分と変化のある異なる部分とを判別する。
ここで、ロボットアームの周辺環境とは、ロボットアームの動作可能な領域（ロボットアームの作業領域（動作環境））を含む環境（空間）であり、例えば、複数のワーク（対象物）を空の状態のコンテナに収容する場合は、把持前のワークが収容されたケースと、このケースからコンテナ（搬送先）までのワークの搬送領域と、コンテナとを含む環境を意味する。なお、この場合、ワークの搬送先であるコンテナ、又は、このコンテナを含む空間が、後述する作業対象となる（以下、同じ）。
前記ロボットアームの周辺環境を撮像可能なセンサと、
前記把持作業の開始時の状況Ａと終了時の状況Ｂ、及び、前記センサからの情報に基づいて、前記開始時の状況Ａから前記終了時の状況Ｂまでの前記ロボットアームの動作経路計画を、前記ロボットアームによるティーチングと人の動作による実演教示を用いることなく自動的に作成し（但し、前記開始時の状況Ａを前記把持作業の進行に伴って更新する場合を除く）、該動作経路計画に従って前記ロボットアームを制御する制御手段とを有し、
前記制御手段は、前記動作経路計画の作成に、前記開始時の状況Ａと前記終了時の状況Ｂから抽出された差分データを用い、変化のない重複部分と変化のある異なる部分とを判別する。
ここで、ロボットアームの周辺環境とは、ロボットアームの動作可能な領域（ロボットアームの作業領域（動作環境））を含む環境（空間）であり、例えば、複数のワーク（対象物）を空の状態のコンテナに収容する場合は、把持前のワークが収容されたケースと、このケースからコンテナ（搬送先）までのワークの搬送領域と、コンテナとを含む環境を意味する。なお、この場合、ワークの搬送先であるコンテナ、又は、このコンテナを含む空間が、後述する作業対象となる（以下、同じ）。
本発明に係るロボットシステムにおいて、
前記開始時の状況Ａは、前記把持作業の開始直後に前記センサにより撮像された作業対象の画像Ａ１、又は、予め前記把持作業の開始前の作業対象を撮像し前記制御手段に入力された画像Ａ２若しくは写真Ａ３であり、
前記終了時の状況Ｂは、予め設定した前記把持作業の終了後の作業対象を撮像し前記制御手段に入力された画像Ｂ１又は写真Ｂ２であることが好ましい。
前記開始時の状況Ａは、前記把持作業の開始直後に前記センサにより撮像された作業対象の画像Ａ１、又は、予め前記把持作業の開始前の作業対象を撮像し前記制御手段に入力された画像Ａ２若しくは写真Ａ３であり、
前記終了時の状況Ｂは、予め設定した前記把持作業の終了後の作業対象を撮像し前記制御手段に入力された画像Ｂ１又は写真Ｂ２であることが好ましい。
前記目的に沿う本発明に係るロボットシステムの把持制御方法は、アーム手段の先端部に取付けられた把持手段により、対象物の把持作業を行うロボットアームを有するロボットシステムの把持制御方法において、
制御手段により、前記把持作業の開始時の状況Ａと終了時の状況Ｂ、及び、前記ロボットアームの周辺環境を撮像可能なセンサからの情報に基づいて、前記開始時の状況Ａから前記終了時の状況Ｂまでの前記ロボットアームの動作経路計画を、前記ロボットアームによるティーチングと人の動作による実演教示を用いることなく、前記開始時の状況Ａと前記終了時の状況Ｂから抽出された差分データを用い、変化のない重複部分と変化のある異なる部分とを判別して自動的に作成し（但し、前記開始時の状況Ａを前記把持作業の進行に伴って更新する場合を除く）、作成した該動作経路計画に従って、前記ロボットアームを動作させる。
制御手段により、前記把持作業の開始時の状況Ａと終了時の状況Ｂ、及び、前記ロボットアームの周辺環境を撮像可能なセンサからの情報に基づいて、前記開始時の状況Ａから前記終了時の状況Ｂまでの前記ロボットアームの動作経路計画を、前記ロボットアームによるティーチングと人の動作による実演教示を用いることなく、前記開始時の状況Ａと前記終了時の状況Ｂから抽出された差分データを用い、変化のない重複部分と変化のある異なる部分とを判別して自動的に作成し（但し、前記開始時の状況Ａを前記把持作業の進行に伴って更新する場合を除く）、作成した該動作経路計画に従って、前記ロボットアームを動作させる。
本発明に係るロボットシステムの把持制御方法において、
前記開始時の状況Ａは、前記把持作業の開始直後に前記センサにより撮像された作業対象の画像Ａ１、又は、予め前記把持作業の開始前の作業対象を撮像し前記制御手段に入力された画像Ａ２若しくは写真Ａ３であり、
前記終了時の状況Ｂは、予め設定した前記把持作業の終了後の作業対象を撮像し前記制御手段に入力された画像Ｂ１又は写真Ｂ２であることが好ましい。
前記開始時の状況Ａは、前記把持作業の開始直後に前記センサにより撮像された作業対象の画像Ａ１、又は、予め前記把持作業の開始前の作業対象を撮像し前記制御手段に入力された画像Ａ２若しくは写真Ａ３であり、
前記終了時の状況Ｂは、予め設定した前記把持作業の終了後の作業対象を撮像し前記制御手段に入力された画像Ｂ１又は写真Ｂ２であることが好ましい。
前記目的に沿う本発明に係るロボットシステムの把持制御プラグラムは、アーム手段の先端部に取付けられた把持手段により、対象物の把持作業を行うロボットアームを有するロボットシステムの把持制御を行うため、コンピュータに、
前記把持作業の開始時の状況Ａと終了時の状況Ｂ、及び、前記ロボットアームの周辺環境を撮像可能なセンサからの情報に基づいて、前記開始時の状況Ａから前記終了時の状況Ｂまでの前記ロボットアームの動作経路計画を、前記ロボットアームによるティーチングと人の動作による実演教示を用いることなく、前記開始時の状況Ａと前記終了時の状況Ｂから抽出された差分データを用い、変化のない重複部分と変化のある異なる部分とを判別して自動的に作成する（但し、前記開始時の状況Ａを前記把持作業の進行に伴って更新する場合を除く）パスプラン作成手順と、
前記パスプラン作成手順で作成した前記動作経路計画に従って、前記ロボットアームを動作させる把持作業手順とを、
実行させる。
前記把持作業の開始時の状況Ａと終了時の状況Ｂ、及び、前記ロボットアームの周辺環境を撮像可能なセンサからの情報に基づいて、前記開始時の状況Ａから前記終了時の状況Ｂまでの前記ロボットアームの動作経路計画を、前記ロボットアームによるティーチングと人の動作による実演教示を用いることなく、前記開始時の状況Ａと前記終了時の状況Ｂから抽出された差分データを用い、変化のない重複部分と変化のある異なる部分とを判別して自動的に作成する（但し、前記開始時の状況Ａを前記把持作業の進行に伴って更新する場合を除く）パスプラン作成手順と、
前記パスプラン作成手順で作成した前記動作経路計画に従って、前記ロボットアームを動作させる把持作業手順とを、
実行させる。
前記目的に沿う本発明に係る記録媒体は、本発明に係るロボットシステムの把持制御プラグラムが記録され、コンピュータで読み取り可能なものである。
本発明に係るロボットシステム、把持制御方法、把持制御プログラム、及び、記録媒体は、把持作業の開始時の状況Ａと終了時の状況Ｂ、及び、ロボットアームの周辺環境を撮像可能なセンサからの情報に基づいて、把持作業の開始時の状況Ａから終了時の状況Ｂまでのロボットアームの動作経路計画を自動的に作成し、この動作経路計画に従ってロボットアームを制御するので、従来のように、作業内容のすべての動作を明示的に示す必要がなく、また、作業指示書などを詳細に記載する必要もない。
従って、作業指示の内容を従来よりも大幅に低減できる。
従って、作業指示の内容を従来よりも大幅に低減できる。
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図１～図３に示すように、本発明の一実施例に係るロボットシステム１０は、アーム手段（多関節アーム）１１の先端部に取付けられた把持手段１２により、ワーク（対象物の一例）１３～２１の把持作業（搬送作業）を行うロボットアーム２２を有するものであり、ロボットアーム２２に対する作業指示の内容を従来よりも大幅に低減可能なものである。
以下、詳しく説明する。
図１～図３に示すように、本発明の一実施例に係るロボットシステム１０は、アーム手段（多関節アーム）１１の先端部に取付けられた把持手段１２により、ワーク（対象物の一例）１３～２１の把持作業（搬送作業）を行うロボットアーム２２を有するものであり、ロボットアーム２２に対する作業指示の内容を従来よりも大幅に低減可能なものである。
以下、詳しく説明する。
ロボットアーム２２は、例えば、従来公知の（市販の）産業用ロボットや協働ロボットであり、アーム手段１１と、その先端部に着脱可能（取付け取外し可能）に取付けられた把持手段１２とを有している。
図１に示すロボットアーム２２は、６軸の垂直多関節型ロボット（産業用ロボット）であるが、関節数は特に制限されるものではなく、各種把持作業に応じて、例えば、６軸の垂直多関節型協働ロボット、３軸以上のスカラ型ロボット、３軸以上のパラレルリンク型ロボット、７軸以上のロボット、双腕ロボット等でもよい。
図１に示すロボットアーム２２は、６軸の垂直多関節型ロボット（産業用ロボット）であるが、関節数は特に制限されるものではなく、各種把持作業に応じて、例えば、６軸の垂直多関節型協働ロボット、３軸以上のスカラ型ロボット、３軸以上のパラレルリンク型ロボット、７軸以上のロボット、双腕ロボット等でもよい。
把持手段（エンドエフェクタ）１２は、図１、図２に示すように、ワーク１３（ワーク１４～２１も同様）をその両側から把持する（対向配置された）ハンド部２３、２４を有し、ワーク１３を適切に把持できるものである。具体的には、把持手段１２は更に、アーム手段１１の先端部に着脱可能（取付け取外し可能）なベース部２５と、このベース部２５に設けられ、ハンド部２３、２４の挟持間隔を調整する位置調整手段２６とを有し、ハンド部２３、２４は、位置調整手段２６のリニアガイド（直動案内：図示しない）に移動可能に支持されたスライダ２７、２８に、着脱可能（取付け取外し可能）になっている。
ハンド部２３、２４はそれぞれ、把持するワーク１３との接触による摩耗の進行を遅くできる耐摩耗材で構成された把持本体（ワーク１３に接触する部分）２９を有している。なお、耐摩耗材としては、例えば、ショア硬さ（ショア硬度（ＨＳ硬度）：ＪＩＳ Ｋ ６２５３等）が６０～９０（好ましくは、下限が６５、更には７０、上限が８５、更には８０）程度のウレタンゴム（エーテル系やエステル系等）を使用することが好ましいが、他の耐摩耗性を備えたゴム（例えば、ニトリルゴム（ＮＢＲ）、クロロプレンゴム（ＣＲ）等）や樹脂（オレフィン系樹脂、ウレタン系樹脂等）を使用することもできる。
把持本体２９のワーク１３との接触面側（ハンド部２３、２４の対向面側）には、弾性変形の度合い（程度）が異なる（剛性が異なる）形態拘束領域と力拘束領域とが設けられている。この形態拘束領域は、弾性変形の度合いが、力拘束領域と比較して大きい領域（柔らかい部分）である。
なお、形態拘束領域と力拘束領域は、把持本体のワークとの接触面側から背面側（接触面とは反対側）にかけて、順次設けることもできる（即ち、把持本体を厚み方向（ワークの沈み込み方向）から視て、形態拘束領域と力拘束領域を、異なる位置に設けるのではなく、重なるように設けることもできる）。
なお、形態拘束領域と力拘束領域は、把持本体のワークとの接触面側から背面側（接触面とは反対側）にかけて、順次設けることもできる（即ち、把持本体を厚み方向（ワークの沈み込み方向）から視て、形態拘束領域と力拘束領域を、異なる位置に設けるのではなく、重なるように設けることもできる）。
形態拘束領域と力拘束領域とは、前記した同一材質の耐摩耗材で構成され、連接されて一体となっているが（一体的に製造されているが）、耐摩耗材の密度、厚み、及び、内部構造のいずれか１又は２以上を変更することにより、区分できる。例えば、形態拘束領域を、内部に空洞部が形成された構造（ラティス状等）とし、そのワークとの接触面側の厚み（耐摩耗材の厚み）を１～５ｍｍ程度とすることで、力拘束領域と同じ硬質の耐摩耗材で構成されていても、形態拘束領域の弾性変形の度合いを大きくできる。
上記した把持手段１２により、ワーク１３～２１の材質や形状等ごとに、把持する領域、即ち、形態拘束領域と力拘束領域を選択することで、また、把持する力を調整することで、把持手段の交換が不要になる。
上記した把持手段１２により、ワーク１３～２１の材質や形状等ごとに、把持する領域、即ち、形態拘束領域と力拘束領域を選択することで、また、把持する力を調整することで、把持手段の交換が不要になる。
ロボットシステム１０は、ロボットアーム２２の周辺環境を撮像可能なセンサ（図示しない）を有している。
センサには、通常のＣＣＤカメラを使用できるが、ＲＧＢ－Ｄカメラ（距離センサを搭載し、カラー画像（情報）に加えて奥行き画像（情報）も取得可能なカメラ）を使用することが好ましい。また、他のカメラ、例えば、ハイパースペクトルカメラも使用できる。
このセンサは、ロボットアーム２２の周辺環境を撮像できれば、例えば、１台又は２台以上の複数台を使用でき、また、ロボットアーム２２に設置、又は、ロボットアーム２２を除くその周囲（ロボットシステム）に設置することができ、更には、ロボットアーム２２とその周囲の双方に設置することもできる。
センサには、通常のＣＣＤカメラを使用できるが、ＲＧＢ－Ｄカメラ（距離センサを搭載し、カラー画像（情報）に加えて奥行き画像（情報）も取得可能なカメラ）を使用することが好ましい。また、他のカメラ、例えば、ハイパースペクトルカメラも使用できる。
このセンサは、ロボットアーム２２の周辺環境を撮像できれば、例えば、１台又は２台以上の複数台を使用でき、また、ロボットアーム２２に設置、又は、ロボットアーム２２を除くその周囲（ロボットシステム）に設置することができ、更には、ロボットアーム２２とその周囲の双方に設置することもできる。
ロボットシステム１０は、ロボットアーム２２を制御する図示しないコンピュータ（制御手段の一例）を有している。
コンピュータは、ＲＡＭ、ＣＰＵ、ＲＯＭ、Ｉ／Ｏ、及び、これらの要素を接続するバスを備えた従来公知のものであるが、これに限定されるものではない。
このコンピュータは少なくとも、以下の機能を備えている。
・ロボットアーム２２の把持作業の自動立案機能
・センサから得られる画像の処理機能
・センサから得られるワーク１３～２１の３Ｄ（３次元）位置の認識機能
・ロボットアーム２２の把持作業を実現するための自動的な動作プログラミング機能
・ロボットアーム２２への動作指令機能
コンピュータは、ＲＡＭ、ＣＰＵ、ＲＯＭ、Ｉ／Ｏ、及び、これらの要素を接続するバスを備えた従来公知のものであるが、これに限定されるものではない。
このコンピュータは少なくとも、以下の機能を備えている。
・ロボットアーム２２の把持作業の自動立案機能
・センサから得られる画像の処理機能
・センサから得られるワーク１３～２１の３Ｄ（３次元）位置の認識機能
・ロボットアーム２２の把持作業を実現するための自動的な動作プログラミング機能
・ロボットアーム２２への動作指令機能
上記したコンピュータを使用することで、図３に示すロボットアーム２２による把持作業の開始時の状況Ａと終了時の状況Ｂ、及び、センサからの情報に基づいて、把持作業の開始時の状況Ａから把持作業の終了時の状況Ｂまでのロボットアーム２２の動作経路計画を自動的に作成し、この動作経路計画に従ってロボットアーム２２を制御することができる。なお、動作経路計画の作成には、開始時の状況Ａと終了時の状況Ｂから抽出された差分データを用いる。
ここで、把持作業の開始時の状況Ａには、図３に示す、把持作業の開始前に予め撮像し、コンピュータに入力した空の状態のコンテナ３０を含む環境（空間：作業対象の一例）の写真Ａ３を使用できるが、その画像Ａ２を使用することも、また、把持作業の開始直後にセンサにより撮像された空の状態のコンテナ３０を含む環境（空間）の画像Ａ１を使用することもできる。
また、把持作業の終了時の状況Ｂには、図３に示す、予め設定した把持作業の終了後の複数のワーク１３～２１が配置されたコンテナ３０を含む環境（空間）を撮像し、コンピュータに入力した写真Ｂ２を使用できるが、その画像Ｂ１を使用することもできる。この把持作業の終了時の状況Ｂは、例えば、作業者等が、予め把持作業の終了後の状況（作業者が目的とする最終状況）を創り出して撮像した画像Ｂ１又は写真Ｂ２である。
ここで、把持作業の開始時の状況Ａには、図３に示す、把持作業の開始前に予め撮像し、コンピュータに入力した空の状態のコンテナ３０を含む環境（空間：作業対象の一例）の写真Ａ３を使用できるが、その画像Ａ２を使用することも、また、把持作業の開始直後にセンサにより撮像された空の状態のコンテナ３０を含む環境（空間）の画像Ａ１を使用することもできる。
また、把持作業の終了時の状況Ｂには、図３に示す、予め設定した把持作業の終了後の複数のワーク１３～２１が配置されたコンテナ３０を含む環境（空間）を撮像し、コンピュータに入力した写真Ｂ２を使用できるが、その画像Ｂ１を使用することもできる。この把持作業の終了時の状況Ｂは、例えば、作業者等が、予め把持作業の終了後の状況（作業者が目的とする最終状況）を創り出して撮像した画像Ｂ１又は写真Ｂ２である。
続いて、ロボットシステム１０の把持制御方法について、図１～図４を参照しながら説明する。
なお、コンピュータに登録（検出や入力）する情報（データ）については、自動登録とユーザ登録があり、自動登録とは、作業者が事前に登録（入力）を行うことなく自動で登録（検出）が行われることを、また、ユーザ登録とは、作業者が事前に登録（入力）を行うことを、それぞれ意味する。この自動登録ができる場合、ユーザ登録をスキップできる（ユーザ登録が不要となる）が、例えば、操作過程において、作業者が確認し登録することもできる。また、作業者が登録しない場合は、操作過程において、コンピュータから、自動登録された内容でよいか否かを問う場合があるため、ユーザ登録を実施しておけば、コンピュータからの確認作業を簡略化できる。
なお、作業者の要望に応じて、自動登録とユーザ登録の選択が可能な場合もあるが、ユーザ登録する情報が多いほど、コンピュータからの確認作業を減らすことができる。
なお、コンピュータに登録（検出や入力）する情報（データ）については、自動登録とユーザ登録があり、自動登録とは、作業者が事前に登録（入力）を行うことなく自動で登録（検出）が行われることを、また、ユーザ登録とは、作業者が事前に登録（入力）を行うことを、それぞれ意味する。この自動登録ができる場合、ユーザ登録をスキップできる（ユーザ登録が不要となる）が、例えば、操作過程において、作業者が確認し登録することもできる。また、作業者が登録しない場合は、操作過程において、コンピュータから、自動登録された内容でよいか否かを問う場合があるため、ユーザ登録を実施しておけば、コンピュータからの確認作業を簡略化できる。
なお、作業者の要望に応じて、自動登録とユーザ登録の選択が可能な場合もあるが、ユーザ登録する情報が多いほど、コンピュータからの確認作業を減らすことができる。
コンピュータには、以下の情報が入力されている。
・把持手段の各種パラメータ（例えば、対向するハンド部の間隔とハンド部の太さ等）
このデータは、例えば、把持手段のアーム手段への取付け時に、把持手段に組み込まれた情報（把持手段の仕様）を、コンピュータが信号により自動的に得ることができれば、自動登録が可能であるが、ユーザ登録することもできる。
・ワークの形状や名称
このデータは、自動登録が可能であるが、ユーザ登録することもできる。
・ワークの把持箇所
このデータは、把持手段によるワークの把持の際に、例えば、把持してはいけない部位等を含む情報であり、自動登録が可能であるが、ユーザ登録することもできる。
上記した情報は、ワークの把持作業ごとに更新して使用できるが、更新することなくそのまま使用することもできる。
・把持手段の各種パラメータ（例えば、対向するハンド部の間隔とハンド部の太さ等）
このデータは、例えば、把持手段のアーム手段への取付け時に、把持手段に組み込まれた情報（把持手段の仕様）を、コンピュータが信号により自動的に得ることができれば、自動登録が可能であるが、ユーザ登録することもできる。
・ワークの形状や名称
このデータは、自動登録が可能であるが、ユーザ登録することもできる。
・ワークの把持箇所
このデータは、把持手段によるワークの把持の際に、例えば、把持してはいけない部位等を含む情報であり、自動登録が可能であるが、ユーザ登録することもできる。
上記した情報は、ワークの把持作業ごとに更新して使用できるが、更新することなくそのまま使用することもできる。
また、把持作業の開始前に、作業者は以下の作業内容をコンピュータに入力する。
・把持作業の開始時の状況Ａ
この状況Ａに、把持作業の開始直後にセンサにより撮像されたロボットアームの作業対象の画像Ａ１を使用する場合、作業者による入力は不要であるが、この画像Ａ１を使用しない場合は、作業者が把持作業の開始前に予め撮像したロボットアームの作業対象の画像Ａ２又は写真Ａ３を、コンピュータに入力する。
・把持作業の終了時の状況Ｂ
この状況Ｂには、作業者等が、予め把持作業の終了後の状況を創り出し撮像したロボットアームの作業対象の画像Ｂ１又は写真Ｂ２を使用し、これをコンピュータに入力する。
なお、上記した状況Ａと状況Ｂとは、作業対象を同一方向から撮像した画像や写真を使用することが好ましいが、異なる方向から撮像した画像や写真を使用することもできる。この場合、必要に応じて各種画像処理を行うのがよい。
・把持作業の開始時の状況Ａ
この状況Ａに、把持作業の開始直後にセンサにより撮像されたロボットアームの作業対象の画像Ａ１を使用する場合、作業者による入力は不要であるが、この画像Ａ１を使用しない場合は、作業者が把持作業の開始前に予め撮像したロボットアームの作業対象の画像Ａ２又は写真Ａ３を、コンピュータに入力する。
・把持作業の終了時の状況Ｂ
この状況Ｂには、作業者等が、予め把持作業の終了後の状況を創り出し撮像したロボットアームの作業対象の画像Ｂ１又は写真Ｂ２を使用し、これをコンピュータに入力する。
なお、上記した状況Ａと状況Ｂとは、作業対象を同一方向から撮像した画像や写真を使用することが好ましいが、異なる方向から撮像した画像や写真を使用することもできる。この場合、必要に応じて各種画像処理を行うのがよい。
・ロボットアームによるワークの搬送領域
ロボットアームの周辺環境、例えば、図１に示すワークの配置位置（収納ケースの位置）や、ロボットアームの動きを妨げる障害物の有無等を、作業者がコンピュータに入力することができるが、ロボットアームの周辺環境を前記したセンサで撮像して、コンピュータに自動登録することもできる。
・ロボットアームによるワークの扱い方
例えば、把持作業の終了時の状況Ｂを創り出すため、複数のワークを把持する順番（搬送の順番）やワークの把持姿勢を、作業者がコンピュータに入力することができるが、例えば、ロボットアームの周辺環境を前記したセンサで撮像し、これをコンピュータに自動登録することもできる。
ロボットアームの周辺環境、例えば、図１に示すワークの配置位置（収納ケースの位置）や、ロボットアームの動きを妨げる障害物の有無等を、作業者がコンピュータに入力することができるが、ロボットアームの周辺環境を前記したセンサで撮像して、コンピュータに自動登録することもできる。
・ロボットアームによるワークの扱い方
例えば、把持作業の終了時の状況Ｂを創り出すため、複数のワークを把持する順番（搬送の順番）やワークの把持姿勢を、作業者がコンピュータに入力することができるが、例えば、ロボットアームの周辺環境を前記したセンサで撮像し、これをコンピュータに自動登録することもできる。
上記した設定が行われた状態で、図４に示すコンピュータによる自動処理を行い、把持作業時のロボットアームの動作経路計画を作成する。
まず、ステップ１（ＳＴ１）で、図３に示す把持作業の開始時の状況Ａと終了時の状況Ｂから、差分データを抽出する。
この図３に示す把持作業の開始時の状況Ａは、複数のワーク１３～２１をそれぞれ配置する空の状態のコンテナ３０を含む環境（空間）の写真Ａ３を、把持作業の終了時の状況Ｂは、複数のワーク１３～２１をそれぞれ配置したコンテナ３０を含む環境（空間）の写真Ｂ２を、それぞれ示している。
差分データを抽出するに際しては、写真Ａ３と写真Ｂ２を三次元情報に紐づけて処理する必要がある。一般的な手法としては、ロボットに設置（搭載）、又は、ロボットを除くその周囲（環境）に設置された、前記したＲＧＢ－Ｄカメラ（センサ）で計測した三次元データ、又は、作業者によって事前登録された作業領域の三次元データ、に対する、写真Ａ３及び写真Ｂ２の撮影視点との位置関係を算出する。具体的には、三次元データと写真Ａ３及び写真Ｂ２の双方に共通する特徴点を複数検出し、それらの関係を、例えば、エピポーラ幾何によって算出する。
差分データの抽出により、写真Ａ３と写真Ｂ２の変化のない重複部分（例えば、背景等）と変化のある異なる部分（ワーク）とを判別できる。
まず、ステップ１（ＳＴ１）で、図３に示す把持作業の開始時の状況Ａと終了時の状況Ｂから、差分データを抽出する。
この図３に示す把持作業の開始時の状況Ａは、複数のワーク１３～２１をそれぞれ配置する空の状態のコンテナ３０を含む環境（空間）の写真Ａ３を、把持作業の終了時の状況Ｂは、複数のワーク１３～２１をそれぞれ配置したコンテナ３０を含む環境（空間）の写真Ｂ２を、それぞれ示している。
差分データを抽出するに際しては、写真Ａ３と写真Ｂ２を三次元情報に紐づけて処理する必要がある。一般的な手法としては、ロボットに設置（搭載）、又は、ロボットを除くその周囲（環境）に設置された、前記したＲＧＢ－Ｄカメラ（センサ）で計測した三次元データ、又は、作業者によって事前登録された作業領域の三次元データ、に対する、写真Ａ３及び写真Ｂ２の撮影視点との位置関係を算出する。具体的には、三次元データと写真Ａ３及び写真Ｂ２の双方に共通する特徴点を複数検出し、それらの関係を、例えば、エピポーラ幾何によって算出する。
差分データの抽出により、写真Ａ３と写真Ｂ２の変化のない重複部分（例えば、背景等）と変化のある異なる部分（ワーク）とを判別できる。
ステップ２（ＳＴ２）で、ワークを登録する。
ここでは、ステップ１で得られた差分データに、セグメンテーション処理を実施し、ブロブ（セグメンテーション処理を行った結果から抽出された３Ｄデータの塊）を検出する。
次に、検出したブロブからワークの数と位置を検出し、この検出結果と、既に登録されている前記したワークの形状データや名称データとを照合する。
照合を行った結果、検出結果のワークのデータが登録されていない場合、そのブロブに新規番号をつけ、このブロブ（ワーク）をコンピュータに新たに登録する。一方、検出結果のワークのデータが、登録されている前記したワークの形状データや名称データから検出されれば、登録作業を縮約できる。
ここでは、ステップ１で得られた差分データに、セグメンテーション処理を実施し、ブロブ（セグメンテーション処理を行った結果から抽出された３Ｄデータの塊）を検出する。
次に、検出したブロブからワークの数と位置を検出し、この検出結果と、既に登録されている前記したワークの形状データや名称データとを照合する。
照合を行った結果、検出結果のワークのデータが登録されていない場合、そのブロブに新規番号をつけ、このブロブ（ワーク）をコンピュータに新たに登録する。一方、検出結果のワークのデータが、登録されている前記したワークの形状データや名称データから検出されれば、登録作業を縮約できる。
ステップ３（ＳＴ３）で、ワークの最終姿勢を登録する。
ここでは、空の状態のコンテナ３０（図３の写真Ａ３）に対するワーク１３～２１の相対姿勢（即ち、図３の写真Ｂ２）を、コンピュータに登録する。
ここでは、空の状態のコンテナ３０（図３の写真Ａ３）に対するワーク１３～２１の相対姿勢（即ち、図３の写真Ｂ２）を、コンピュータに登録する。
ステップ４（ＳＴ４）で、ワークの把持部位の抽出を行う。
ワーク１３～２１をコンテナ３０に配置するに際し、それぞれの把持可能な箇所を、前記した把持手段１２の各種パラメータを参照しながら抽出する。
ワーク１３～２１をコンテナ３０に配置するに際し、それぞれの把持可能な箇所を、前記した把持手段１２の各種パラメータを参照しながら抽出する。
ステップ５（ＳＴ５）で、ワークを探索する。
複数のワーク１３～２１は、状況Ａでは、図１に示す収納ケース３３～４１にそれぞれ収容されている。
ここで、コンピュータに、ロボットアーム２２の作業領域の登録がない場合は、ロボットシステム１０が作業領域、即ち、図３に示すワーク１３～２１の置いてある場所とコンテナ３０の場所を探索する。具体的には、ロボットアーム２２の作業領域を、前記したステップ２に記載のワークの登録情報、ワーク１３～２１が収容された収納ケース３３～４１の位置情報、空の状態のコンテナの位置情報等から、前記したロボットアーム２２の周辺環境を撮像するセンサを利用して探索する。
次に、ロボットアーム２２が実際に作業領域にアクセス可能かどうかを確認する。
複数のワーク１３～２１は、状況Ａでは、図１に示す収納ケース３３～４１にそれぞれ収容されている。
ここで、コンピュータに、ロボットアーム２２の作業領域の登録がない場合は、ロボットシステム１０が作業領域、即ち、図３に示すワーク１３～２１の置いてある場所とコンテナ３０の場所を探索する。具体的には、ロボットアーム２２の作業領域を、前記したステップ２に記載のワークの登録情報、ワーク１３～２１が収容された収納ケース３３～４１の位置情報、空の状態のコンテナの位置情報等から、前記したロボットアーム２２の周辺環境を撮像するセンサを利用して探索する。
次に、ロボットアーム２２が実際に作業領域にアクセス可能かどうかを確認する。
ステップ６（ＳＴ６）で、発見したワークの把持部分を、自動的に抽出する。
ここで、発見したワーク１３～２１はそれぞれ、各収納ケース３３～４１に収容された状態であるため、この状態において、把持手段１２で把持可能な各ワーク１３～２１の把持部分を抽出する。
ここで、発見したワーク１３～２１はそれぞれ、各収納ケース３３～４１に収容された状態であるため、この状態において、把持手段１２で把持可能な各ワーク１３～２１の把持部分を抽出する。
ステップ７（ＳＴ７）で、パスプラン（ロボットアームの動作経路計画）を作成する。
ここでは、作業手順を実行するロボットアーム２２（アーム手段１１）の各関節の動作を自動で算出する。このパスプランの作成には、例えば、以下の手法を利用できる。
（１）L.E.Kavraki;P.Svestka;J.-C.Latombe;M.H.Overmars, ”Probabilistic roadmaps for path planning in high-dimensional configuration spaces,” Robotics and Automation, IEEE Transactions on, vol.12, no.4, pp.566-580, 1996.
（２）J.J.Kuffner and S.M.LaValle, ”RRT-connect: An efficient approach to single-query path planning,” Robotics and Automation, 2000.Proceedings. ICRA ’00. IEEE International Conference on, San Francisco, vol.2, pp.995-1001, 2000.
そして、上記した各条件に基づいて作成され提案されたパスプランを、作業者が承認し登録する。この登録は、作成したパスプランを再利用するためである。
ここでは、作業手順を実行するロボットアーム２２（アーム手段１１）の各関節の動作を自動で算出する。このパスプランの作成には、例えば、以下の手法を利用できる。
（１）L.E.Kavraki;P.Svestka;J.-C.Latombe;M.H.Overmars, ”Probabilistic roadmaps for path planning in high-dimensional configuration spaces,” Robotics and Automation, IEEE Transactions on, vol.12, no.4, pp.566-580, 1996.
（２）J.J.Kuffner and S.M.LaValle, ”RRT-connect: An efficient approach to single-query path planning,” Robotics and Automation, 2000.Proceedings. ICRA ’00. IEEE International Conference on, San Francisco, vol.2, pp.995-1001, 2000.
そして、上記した各条件に基づいて作成され提案されたパスプランを、作業者が承認し登録する。この登録は、作成したパスプランを再利用するためである。
ステップ８（ＳＴ８）で、作成したパスプランを実行する。
ここでは、コンピュータの自動処理の結果を作業者に提示（ディスプレイで表示）し、作業者からの実行の承諾を得る。
そして、承諾が得られれば作成したパスプランを実行する。なお、異常等があれば終了し、前記した条件の修正等を行い、再度パスプランの作成を行う。
ここでは、コンピュータの自動処理の結果を作業者に提示（ディスプレイで表示）し、作業者からの実行の承諾を得る。
そして、承諾が得られれば作成したパスプランを実行する。なお、異常等があれば終了し、前記した条件の修正等を行い、再度パスプランの作成を行う。
ステップ９（ＳＴ９）で、作成したパスプランに従って行われる把持作業を確認する。
把持作業が終了した後（即ち、状況Ｂとなった後）、作業者に把持作業の完了を通知する。
そして、ロボットシステム１０は、作業者からの完了承認を待ち、承認が得られれば把持作業を終了する。
以上の方法により、ロボットシステム１０によるワーク１３～２１の把持作業が行われる。
把持作業が終了した後（即ち、状況Ｂとなった後）、作業者に把持作業の完了を通知する。
そして、ロボットシステム１０は、作業者からの完了承認を待ち、承認が得られれば把持作業を終了する。
以上の方法により、ロボットシステム１０によるワーク１３～２１の把持作業が行われる。
なお、本発明は、以下の手順をコンピュータに実行させるロボットシステムの把持制御プログラム（ソフトウェア）によっても実現される。
即ち、プログラムを、ネットワーク又は各種記憶媒体を介してロボットシステム１０に供給し（インストールし）、そのロボットシステム１０のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出し、把持作業の開始時の状況Ａと終了時の状況Ｂ、及び、前記したセンサからの情報に基づいて、開始時の状況Ａから終了時の状況Ｂまでのロボットアーム２２の動作経路計画（パスプラン）を作成するパスプラン作成手順と、この動作経路計画に従ってロボットアーム２２を制御する把持作業手順を実行する（ロボットアーム２２とコンピュータを動作させる）。
このプログラムは、コンピュータが読み取り可能な記録媒体（情報記録媒体）に記録される場合やクラウドサービスに記録される場合もある。なお、記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
即ち、プログラムを、ネットワーク又は各種記憶媒体を介してロボットシステム１０に供給し（インストールし）、そのロボットシステム１０のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出し、把持作業の開始時の状況Ａと終了時の状況Ｂ、及び、前記したセンサからの情報に基づいて、開始時の状況Ａから終了時の状況Ｂまでのロボットアーム２２の動作経路計画（パスプラン）を作成するパスプラン作成手順と、この動作経路計画に従ってロボットアーム２２を制御する把持作業手順を実行する（ロボットアーム２２とコンピュータを動作させる）。
このプログラムは、コンピュータが読み取り可能な記録媒体（情報記録媒体）に記録される場合やクラウドサービスに記録される場合もある。なお、記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
以上、本発明を、一実施例を参照して説明してきたが、本発明は何ら上記した実施例の形態に記載の構成に限定されるものではなく、請求の範囲に記載されている事項の範囲内で考えられるその他の実施例や変形例も含むものである。例えば、前記したそれぞれの実施例や変形例の一部又は全部を組合せて本発明のロボットアームの把持システム、把持制御方法、把持制御プログラム、及び、記録媒体を構成する場合も本発明の権利範囲に含まれる。
前記実施例においては、本発明を各種ワークの搬送作業に適用するに際し、空のコンテナ（状況Ａ）に各種ワークを配置（状況Ｂ）する作業に適用して説明したが、各種ワークが配置されたコンテナ（状況Ａ）を空の状態（状況Ｂ）にする作業に適用することもできる。この場合、各種ワークが配置されたコンテナ（ワークの搬送元）、又は、このコンテナを含む空間が作業対象となる。
なお、本発明は、上記した各種ワークの搬送作業に適用することに限定されるものではなく、ロボットアームの把持手段で把持できれば、例えば、機械の扉（把持する対象物かつ作業対象となる）の開閉作業、具体的には、扉を開状態（状況Ａ）から閉状態（状況Ｂ）にする作業や、閉状態（状況Ａ）から開状態（状況Ｂ）にする作業にも適用でき、また、装置（作業対象）の組立て作業やその分解作業（この場合、装置を構成する複数の部品が把持する対象物となる）等にも適用できる。
前記実施例においては、本発明を各種ワークの搬送作業に適用するに際し、空のコンテナ（状況Ａ）に各種ワークを配置（状況Ｂ）する作業に適用して説明したが、各種ワークが配置されたコンテナ（状況Ａ）を空の状態（状況Ｂ）にする作業に適用することもできる。この場合、各種ワークが配置されたコンテナ（ワークの搬送元）、又は、このコンテナを含む空間が作業対象となる。
なお、本発明は、上記した各種ワークの搬送作業に適用することに限定されるものではなく、ロボットアームの把持手段で把持できれば、例えば、機械の扉（把持する対象物かつ作業対象となる）の開閉作業、具体的には、扉を開状態（状況Ａ）から閉状態（状況Ｂ）にする作業や、閉状態（状況Ａ）から開状態（状況Ｂ）にする作業にも適用でき、また、装置（作業対象）の組立て作業やその分解作業（この場合、装置を構成する複数の部品が把持する対象物となる）等にも適用できる。
また、前記実施例においては、把持手段として、対象物をその両側から把持するハンド部を備えたものについて説明したが、アーム手段の先端部に取付けられ（例えば、着脱可能となって）、対象物を把持可能な構成であれば、特に限定されるものではなく（従来公知の構成でもよく）、例えば、複数の指部を有する構成等でもよい。
そして、前記実施例においては、制御手段によるロボットアームの動作経路計画の作成に、把持作業の開始時の状況Ａと終了時の状況Ｂから抽出された差分データを用いた場合について説明したが、把持作業の開始時の状況Ａと終了時の状況Ｂの違いを認識できれば、他のデータを用いることもできる。
更に、前記実施例においては、把持作業の開始時と終了時の状況Ａ、Ｂに、作業対象の画像又は写真を使用した場合について説明したが、この画像又は写真は、基本的には状況Ａ、Ｂごとに１枚あればよい。しかし、例えば、複数の対象物が重なり合って各対象物の全体像が把握できない場合には、状況Ａ及び／又は状況Ｂについて、複数の対象物の全体像が分かるように異なる方向から撮像した２枚以上の画像又は写真を使用することもできる。なお、状況Ａ、Ｂには、画像又は写真の代わりに作業対象の３Ｄ ＣＡＤデータを用いることもできる。
そして、前記実施例においては、制御手段によるロボットアームの動作経路計画の作成に、把持作業の開始時の状況Ａと終了時の状況Ｂから抽出された差分データを用いた場合について説明したが、把持作業の開始時の状況Ａと終了時の状況Ｂの違いを認識できれば、他のデータを用いることもできる。
更に、前記実施例においては、把持作業の開始時と終了時の状況Ａ、Ｂに、作業対象の画像又は写真を使用した場合について説明したが、この画像又は写真は、基本的には状況Ａ、Ｂごとに１枚あればよい。しかし、例えば、複数の対象物が重なり合って各対象物の全体像が把握できない場合には、状況Ａ及び／又は状況Ｂについて、複数の対象物の全体像が分かるように異なる方向から撮像した２枚以上の画像又は写真を使用することもできる。なお、状況Ａ、Ｂには、画像又は写真の代わりに作業対象の３Ｄ ＣＡＤデータを用いることもできる。
本発明に係るロボットシステム、把持制御方法、把持制御プログラム、及び、記録媒体は、産業用ロボットや協働ロボットであるロボットアームを動作させて把持作業を行うに際し、作業指示の内容を従来よりも大幅に低減できる。これによって、ロボットアームの利用者は、多くの情報を登録することなく、ロボットアームを動作させることができるので、作業性がよく、対象物の把持作業に有効に利用できる。
１０：ロボットシステム、１１：アーム手段、１２：把持手段、１３～２１：ワーク（対象物）、２２：ロボットアーム、２３、２４：ハンド部、２５：ベース部、２６：位置調整手段、２７、２８：スライダ、２９：把持本体、３０：コンテナ、３３～４１：収納ケース
Claims (6)
- アーム手段の先端部に取付けられた把持手段により、対象物の把持作業を行うロボットアームと、
前記ロボットアームの周辺環境を撮像可能なセンサと、
前記把持作業の開始時の状況Ａと終了時の状況Ｂ、及び、前記センサからの情報に基づいて、前記開始時の状況Ａから前記終了時の状況Ｂまでの前記ロボットアームの動作経路計画を、前記ロボットアームによるティーチングと人の動作による実演教示を用いることなく自動的に作成し（但し、前記開始時の状況Ａを前記把持作業の進行に伴って更新する場合を除く）、該動作経路計画に従って前記ロボットアームを制御する制御手段とを有し、
前記制御手段は、前記動作経路計画の作成に、前記開始時の状況Ａと前記終了時の状況Ｂから抽出された差分データを用い、変化のない重複部分と変化のある異なる部分とを判別することを特徴とするロボットシステム。 - 請求項１記載のロボットシステムにおいて、
前記開始時の状況Ａは、前記把持作業の開始直後に前記センサにより撮像された作業対象の画像Ａ１、又は、予め前記把持作業の開始前の作業対象を撮像し前記制御手段に入力された画像Ａ２若しくは写真Ａ３であり、
前記終了時の状況Ｂは、予め設定した前記把持作業の終了後の作業対象を撮像し前記制御手段に入力された画像Ｂ１又は写真Ｂ２であることを特徴とするロボットシステム。 - アーム手段の先端部に取付けられた把持手段により、対象物の把持作業を行うロボットアームを有するロボットシステムの把持制御方法において、
制御手段により、前記把持作業の開始時の状況Ａと終了時の状況Ｂ、及び、前記ロボットアームの周辺環境を撮像可能なセンサからの情報に基づいて、前記開始時の状況Ａから前記終了時の状況Ｂまでの前記ロボットアームの動作経路計画を、前記ロボットアームによるティーチングと人の動作による実演教示を用いることなく、前記開始時の状況Ａと前記終了時の状況Ｂから抽出された差分データを用い、変化のない重複部分と変化のある異なる部分とを判別して自動的に作成し（但し、前記開始時の状況Ａを前記把持作業の進行に伴って更新する場合を除く）、作成した該動作経路計画に従って、前記ロボットアームを動作させることを特徴とするロボットシステムの把持制御方法。 - 請求項３記載のロボットシステムの把持制御方法において、
前記開始時の状況Ａは、前記把持作業の開始直後に前記センサにより撮像された作業対象の画像Ａ１、又は、予め前記把持作業の開始前の作業対象を撮像し前記制御手段に入力された画像Ａ２若しくは写真Ａ３であり、
前記終了時の状況Ｂは、予め設定した前記把持作業の終了後の作業対象を撮像し前記制御手段に入力された画像Ｂ１又は写真Ｂ２であることを特徴とするロボットシステムの把持制御方法。 - アーム手段の先端部に取付けられた把持手段により、対象物の把持作業を行うロボットアームを有するロボットシステムの把持制御を行うため、コンピュータに、
前記把持作業の開始時の状況Ａと終了時の状況Ｂ、及び、前記ロボットアームの周辺環境を撮像可能なセンサからの情報に基づいて、前記開始時の状況Ａから前記終了時の状況Ｂまでの前記ロボットアームの動作経路計画を、前記ロボットアームによるティーチングと人の動作による実演教示を用いることなく、前記開始時の状況Ａと前記終了時の状況Ｂから抽出された差分データを用い、変化のない重複部分と変化のある異なる部分とを判別して自動的に作成する（但し、前記開始時の状況Ａを前記把持作業の進行に伴って更新する場合を除く）パスプラン作成手順と、
前記パスプラン作成手順で作成した前記動作経路計画に従って、前記ロボットアームを動作させる把持作業手順とを、
実行させることを特徴とするロボットシステムの把持制御プログラム。 - 請求項５記載のロボットシステムの把持制御プログラムを記録したコンピュータで読み取り可能な記録媒体。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/003046 WO2022162836A1 (ja) | 2021-01-28 | 2021-01-28 | ロボットシステム、把持制御方法、把持制御プログラム、及び、記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7074386B1 true JP7074386B1 (ja) | 2022-05-24 |
| JPWO2022162836A1 JPWO2022162836A1 (ja) | 2022-08-04 |
Family
ID=81731741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021521321A Active JP7074386B1 (ja) | 2021-01-28 | 2021-01-28 | ロボットシステム、把持制御方法、把持制御プログラム、及び、記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7074386B1 (ja) |
| WO (1) | WO2022162836A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014100780A (ja) * | 2012-11-22 | 2014-06-05 | Dainippon Screen Mfg Co Ltd | 把持機構の軌道生成装置、把持機構の軌道生成方法、把持機構の軌道生成プログラム、記録媒体、ロボットプログラム作成装置 |
| JP2015112655A (ja) * | 2013-12-10 | 2015-06-22 | セイコーエプソン株式会社 | 制御装置、ロボット、教示データ生成方法及びロボットシステム |
| JP2020175467A (ja) * | 2019-04-17 | 2020-10-29 | アズビル株式会社 | 教示装置及び教示方法 |
-
2021
- 2021-01-28 JP JP2021521321A patent/JP7074386B1/ja active Active
- 2021-01-28 WO PCT/JP2021/003046 patent/WO2022162836A1/ja active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014100780A (ja) * | 2012-11-22 | 2014-06-05 | Dainippon Screen Mfg Co Ltd | 把持機構の軌道生成装置、把持機構の軌道生成方法、把持機構の軌道生成プログラム、記録媒体、ロボットプログラム作成装置 |
| JP2015112655A (ja) * | 2013-12-10 | 2015-06-22 | セイコーエプソン株式会社 | 制御装置、ロボット、教示データ生成方法及びロボットシステム |
| JP2020175467A (ja) * | 2019-04-17 | 2020-10-29 | アズビル株式会社 | 教示装置及び教示方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2022162836A1 (ja) | 2022-08-04 |
| WO2022162836A1 (ja) | 2022-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1537959B1 (en) | A method and a system for programming an industrial robot | |
| JP5578791B2 (ja) | 溶接線選定方法 | |
| JP2013193202A (ja) | 人間援助型タスクデモンストレーションを使用してロボットを訓練するための方法およびシステム | |
| JP2022542241A (ja) | ロボット装置からの視覚的出力を補強するシステム及び方法 | |
| JP2009107043A (ja) | 把持装置および把持装置制御方法 | |
| Pfanne et al. | Fusing joint measurements and visual features for in-hand object pose estimation | |
| JP2013049102A (ja) | ロボットの制御装置及びロボットの姿勢決定方法 | |
| Zhang et al. | Human-robot shared control for surgical robot based on context-aware sim-to-real adaptation | |
| Huang et al. | A vision-guided multi-robot cooperation framework for learning-by-demonstration and task reproduction | |
| Hueser et al. | Learning of demonstrated grasping skills by stereoscopic tracking of human head configuration | |
| WO2004108365A1 (ja) | 多関節ロボットのティーチングデータ作成方法 | |
| JP7074386B1 (ja) | ロボットシステム、把持制御方法、把持制御プログラム、及び、記録媒体 | |
| CN112805127A (zh) | 用于创建机器人控制程序的方法和设备 | |
| Penco et al. | Mixed Reality Teleoperation Assistance for Direct Control of Humanoids | |
| Wang et al. | Robot programming by demonstration with a monocular RGB camera | |
| US20220203517A1 (en) | Non-transitory storage medium and method and system of creating control program for robot | |
| JP2012228757A (ja) | ロボット教示方法、ロボット教示装置およびプログラム | |
| CN115635482A (zh) | 基于视觉的机器人到人物体传递方法、装置、介质及终端 | |
| Li et al. | Estimating an articulated tool's kinematics via visuo-tactile based robotic interactive manipulation | |
| Pedrosa et al. | A skill-based architecture for pick and place manipulation tasks | |
| JP7376318B2 (ja) | アノテーション装置 | |
| JP2022060003A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
| Lin | Embedding Intelligence into Robotic Systems-Programming, Learning, and Planning | |
| Infantino et al. | Visual control of a robotic hand | |
| Nelson et al. | Virtual tools: A framework for simplifying sensory-motor control in complex robotic systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210421 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210802 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220125 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220127 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220217 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220502 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7074386 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |