JP7560411B2

JP7560411B2 - ロボットシステム及びロボットシステムの制御方法

Info

Publication number: JP7560411B2
Application number: JP2021104082A
Authority: JP
Inventors: 遼小山; 宣隆木村; 宰誠梁
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2021-06-23
Filing date: 2021-06-23
Publication date: 2024-10-02
Anticipated expiration: 2041-06-23
Also published as: JP2023003109A

Description

本発明は、ロボットシステム及びロボットシステムの制御方法に関する。

近年、物流倉庫等における物品のピッキング作業の人材不足を補うために、ピッキング作業を行うロボットシステムが導入されるようになってきている。このようなロボットシステムは、対象物を把持部にて適切に把持するために、例えば「第１指部を物体に接触させ、力検出部から出力される出力値が所定の第１閾値以上となるまで第１指部を物体に付勢させる第１動作を行わせ、第１動作の後、力検出部から出力される出力値が第１閾値以上である状態を維持し、第１指部とアームとを移動させ、物体に第１指部と第２指部とを接触させる第２動作を行わせ、第２動作において、力検出部から出力される出力値が第１閾値よりも小さい所定の第２閾値よりも小さくなったとき、第１位置検出部から出力される出力値に応じた値と、予め決められた第１値と、の差異が所定の範囲内である場合、物体が所定の状態で第１指部と第２指部とによって把持されていると判定する」（特許文献１参照）ように構成される。

また多様な物品を高い成功率で自律的にピッキングするために、ロボットシステムは、対象物及び対象物の周辺物品を高精度に認識するためのカメラ等を含む高価な認識装置を含んで構成されることが一般的である。これによりロボットシステムは、周辺物品と干渉しないように対象物を適切な把持位置で把持部で把持し、より高いピッキング成功率を達成できる。

特開２０１９－２０２３６０号公報

しかしながら上述の従来技術では、対象物及び周辺物品を高精度に認識するためのカメラ等を含む認識装置が高価であることから、ロボットシステムの導入コストを高め、導入を阻害する要因の一つとなっている。

一方、ロボットシステムの導入コストの抑制のために安価な認識装置を用いてロボットシステムを構成すると、対象物及び周辺物品の位置及び姿勢の計測誤差が大きくなる。このため、対象物を把持部で把持しようとする際に、周辺物品に把持部が干渉したり、対象物の適切な把持部位を把持できなかったりして、ピッキング成功率が低下するという問題がある。

本発明は、上記の問題に鑑みてなされたものであり、ピッキング成功率がより高いロボットシステムを低コストで導入可能にすることを１つの目的とする。

上述した課題を解決するため、本発明の一態様では、把持部の複数の指で対象物を把持して移載する移載機構を有するロボットシステムであって、移載前の前記対象物の周囲において、前記把持部の少なくとも一部を挿入可能な空間、並びに、前記対象物の位置及び姿勢を認識する認識部と、前記認識部によって認識された前記空間のうちの第１の空間へ前記把持部の少なくとも一部を挿入しつつ前記第１の空間以外の空間へは前記把持部を挿入しない状態で、前記把持部を前記対象物の方向へ移動させて前記把持部を前記対象物に接触させることで、前記対象物の位置を前記認識部よりも高精度に把握する位置姿勢把握部と、前記対象物の形状に関する情報、並びに、前記位置姿勢把握部によって把握された前記対象物の位置に基づいて、前記対象物を把持可能な位置を特定し、該位置において前記対象物を前記把持部で把持する把持制御部とを有することを特徴とする。

本発明によれば、例えば、ピッキング成功率がより高いロボットシステムを低コストで導入できる。

実施形態１のロボットシステムの構成例を示す図。実施形態１のロボットシステムの動作例の説明図。実施形態１のロボットシステムの把持処理例を示すフローチャート。実施形態２のロボットシステムの動作例の説明図。実施形態３のロボットシステムの動作例の説明図。実施形態３のロボットシステムの把持処理例を示すフローチャート。実施形態４のロボットシステムの動作例の説明図。実施形態５のロボットシステムの動作例の説明図。実施形態５のロボットシステムの把持処理例を示すフローチャート。実施形態６のロボットシステムの動作例の説明図。実施形態６のロボットシステムの把持処理例を示すフローチャート。実施形態６の変形例のロボットシステムの把持処理例を示すフローチャート。実施形態７のロボットシステムの動作例の説明図。実施形態７のロボットシステムの把持処理例を示すフローチャート。ロボットシステムの制御装置を実現するコンピュータの構成例を示す図。

以下、図面を参照して本発明の実施形態を説明する。実施形態は、本発明を説明するための例示に過ぎず、本発明を限定するものではなく、説明の明確化のため、適宜、省略及び簡略化がなされている。本発明は、他の種々の形態や各形態の一部又は全部を組合せた形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でもよい。

同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

後出の実施形態の説明では、既出の実施形態との差分を中心に説明し、重複部分の説明は適宜省略する。

［実施形態１］
（実施形態１のロボットシステムＳの構成）
図１は、実施形態１のロボットシステムＳの構成例を示す図である。ロボットシステムＳは、物流倉庫等の作業現場において、載置スペースに載置された対象物を把持して移載するピッキング作業を行うシステムである。ロボットシステムＳは、システム全体の制御を実行する制御装置１、認識部２０、及びアーム３０を含んで構成される。

認識部２０は、壁６０ａ、６０ｂで仕切られた載置スペース６をカメラ等の画像センサで撮影した画像を処理することで、載置スペース６に載置されている把持及び移載の対象物５０の位置Ｐ１、姿勢Ａ１、高さＨ１、及び対象物５０の周辺の空間Ｓ１を検出する。

位置Ｐ１、姿勢Ａ１、及び高さＨ１は、載置スペース６内に仮想的に定めた例えば正系の三次元座標系（以下ＸＹＺ座標系という）の座標で表される。姿勢Ａ１は、載置スペース６内において上方から平面視した場合の対象物５０の向きであり、対象物５０を平面視した場合の長手方向である。

対象物５０の周辺の空間Ｓ１は、対象物５０の一方の側面に接する空間であって後述のエンドエフェクタ４０の第１指４０ａの少なくとも一部を挿入可能な空間である。空間がエンドエフェクタ４０の第１指４０ａの少なくとも一部を挿入可能である空間Ｓ１であるか否かは、予め与えられた空間Ｓ１の条件に基づいて判断される。認識部２０は、検出した対象物５０の位置Ｐ１、姿勢Ａ１、高さＨ１、及び空間Ｓ１の情報を制御装置１へ入力する。

アーム３０は、載置スペース６に載置されている対象物５０を把持して移載する移載機構の一例である。アーム３０は、基台３１に備え付けられ、基台３１を中心に回転し、曲伸又は伸縮するマニピュレータである。アーム３０は、基台３１から延びたその先端に、エンドエフェクタ４０を備える。エンドエフェクタは、ハンドともいう。なお載置スペース６に載置された対象物５０を把持して移載する機能を有するならば、アーム３０に限らず、どのような移載機構でもよい。

エンドエフェクタ４０は、対象物５０を把持するための複数の指（或いは爪）を備える。本実施形態では、エンドエフェクタ４０は、対象物５０を把持可能に向い合う第１指４０ａ及び第２指４０ｂの少なくとも２本の指を備える。エンドエフェクタ４０は、アーム３０への取り付け軸又は鉛直軸を中心に回転すると共に、第１指４０ａ及び第２指４０ｂで対象物５０をチャック又はクランプする。本実施形態での把持とは、チャック及びクランプを含む。エンドエフェクタ４０は、第１指４０ａと第２指４０ｂとで対象物５０を把持するものであってもよいし、第１指４０ａと第２指４０ｂを含む複数の指とで対象物５０を把持するものであってもよい。

制御装置１は、記憶部２及び制御部３を含んで構成される。記憶部２は、揮発性又は不揮発性の記憶デバイスであり、対象物形状情報２ａ及び誤差情報２ｂを記憶する。対象物形状情報２ａは、対象物５０の形状を表す情報であり、頂点及び面の定義座標を含む情報である。例えば対象物５０が直方体状である場合には、対象物形状情報２ａは、直方体の８個の頂点の三次元座標、及び６つの各面をなすそれぞれ４個の頂点の三次元座標の定義情報を含む。対象物形状情報２ａにおける座標は、各対象物５０に沿って仮想的に定められた例えば正系の三次元座標系の座標で表される。

誤差情報２ｂは、認識部２０が認識した対象物５０の位置Ｐ１の認識誤差の最大値（以下認識誤差Ｅという）である。認識誤差Ｅは、シミュレーション又は実測結果の統計処理によって求められる。認識誤差Ｅは、ＸＹＺ座標系のＸ軸方向の認識誤差である。なお誤差情報２ｂは、後述の実施形態２のように、認識誤差Ｅが、エンドエフェクタ４０の一部を空間Ｓ１へ挿入する際の挿入位置のマージン確保、及び、エンドエフェクタ４０を対象物５０の方向へ移動させる際の移動距離として用いられる。本実施形態では、誤差情報２ｂは省略可能である。

制御部３は、マイクロプロセッサ等のＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、あるいはＦＰＧＡ（Field Programmable Gate Array）といったＰＬＤ（Programmable Logic Device）等の処理装置である。制御部３は、プログラム実行によって実現される位置姿勢把握部３ａ及び把持制御部３ｂを含んで構成される。

位置姿勢把握部３ａは、認識部２０によって検出された対象物５０の位置Ｐ１と比較してより高精度な対象物５０の位置Ｐ２を把握する。位置姿勢把握部３ａは、空間Ｓ１へエンドエフェクタ４０の第１指４０ａの一部を挿入し空間Ｓ１を除く対象物５０の周囲の空間Ｓ０へエンドエフェクタ４０の他の部分を挿入していない状態で、エンドエフェクタ４０を対象物５０の方向へ移動させる。例えば対象物５０の姿勢Ａ１に対する垂直方向へエンドエフェクタ４０を移動させる。そして位置姿勢把握部３ａは、第１指４０ａを対象物５０の側面に接触させる。位置姿勢把握部３ａは、このようにアーム３０に行わせる動作を計算し、動作指令を出力し、アーム３０は、動作指令に従って動作する。

位置姿勢把握部３ａは、エンドエフェクタ４０と対象物５０が接触した（または接触したと見なし得る）際のエンドエフェクタ４０の対象物５０の側面との接触部分の位置を対象物５０の位置Ｐ２とする。エンドエフェクタ４０の対象物５０の側面との接触部分は、例えば第１指４０ａの先端部分である。位置Ｐ２は、ＸＹＺ座標系の座標で表される。

把持制御部３ｂは、対象物形状情報２ａと、位置姿勢把握部３ａによって把握された対象物５０の位置Ｐ２及び認識部２０によって検出された姿勢Ａ１とに基づいて、対象物５０の把持可能な部位を決定する。把持可能な部位は、対象物５０の形状を考慮して予め定義されている把持可能な部位の候補から、対象物５０の位置Ｐ２及び姿勢Ａ１を考慮して最適な部位が選択される。把持制御部３ｂは、対象物５０の把持可能な部位をエンドエフェクタ４０で把持するためのアーム３０及びエンドエフェクタ４０の動作を計算し、動作指令を出力する。アーム３０及びエンドエフェクタ４０は、動作指令に従って動作し、第１指４０ａと第２指４０ｂとで対象物５０を把持する。

（実施形態１のロボットシステムＳの動作）
図２は、実施形態１のロボットシステムＳの動作例の説明図である。図２では、ＸＹＺ座標系のＸ軸正方向を壁６０ａから壁６０ｂへ向かう方向とし、Ｚ軸正方向を壁６０ａ及び６０ｂが立ち上がる方向とする。以下、図４、図５、図７、図８、図１０、及び図１３においても、座標軸の取り方は同様である。

先ず図２の１－（１）に示すように、認識部２０は、対象物５０の位置Ｐ１及び姿勢Ａ１と共に、第１指４０ａの少なくとも一部を挿入可能な対象物５０の周囲の空間Ｓ１を検出する。第１指４０ａの少なくとも一部は、第１指４０ａの先端を含む。

次に図２の１－（２）に示すように、位置姿勢把握部３ａは、空間Ｓ１へ第１指４０ａを挿入し、第２指４０ｂを含むエンドエフェクタ４０の他の部分を対象物５０よりもＺ軸正方向の高い位置を維持した（空間Ｓ１を除く対象物５０の周囲の空間Ｓ０にエンドエフェクタ４０の他の部分を挿入していない）状態で、第１指４０ａを対象物５０の方向へ移動させる。第１指４０ａを対象物５０の方向へ移動させると、第１指４０ａが対象物５０に接触するが、この接触により、対象物５０の高精度な位置Ｐ２が把握される。

次に図２の１－（３）に示すように、把持制御部３ｂは、位置姿勢把握部３ａによって把握された対象物５０の位置Ｐ２及び認識部２０によって検出された姿勢Ａ１と、対象物形状情報２ａとに基づいて、第１指４０ａと第２指４０ｂとで対象物５０を把持する。

（実施形態１のロボットシステムＳの把持処理）
図３は、実施形態１のロボットシステムＳの把持処理例を示すフローチャートである。

先ずステップＳ１１では、認識部２０は、対象物５０の位置Ｐ１及び姿勢Ａ１を検出する。次にステップＳ１２では、認識部２０は、空間Ｓ１を検出する。次にステップＳ１３では、位置姿勢把握部３ａは、空間Ｓ１へエンドエフェクタ４０の第１指４０ａの少なくとも一部を挿入する。

次にステップＳ１４では、位置姿勢把握部３ａは、エンドエフェクタ４０を対象物５０へ向けて移動させる。次にステップＳ１５では、位置姿勢把握部３ａは、エンドエフェクタ４０の移動を停止させる。次にステップＳ１６では、位置姿勢把握部３ａは、エンドエフェクタ４０の現在位置を位置Ｐ２として、位置Ｐ１よりも高精度に対象物５０の位置を把握する。次にステップＳ１７では、把持制御部３ｂは、対象物形状情報２ａと、位置姿勢把握部３ａによって把握された位置Ｐ２と、認識部２０によって検出された姿勢Ａ１とに基づいて、対象物５０の把持可能な部位を決定する。そして、把持制御部３ｂは、決定した部位を、エンドエフェクタ４０の第１指４０ａ及び第２指４０ｂで把持する。

本実施形態では、エンドエフェクタ４０を対象物５０に接近させて接触させることで、対象物５０の位置、姿勢、及び高さの認識が低精度の安価な認識部２０を採用しても高精度で対象物５０の位置を把握でき、ピッキング成功率を高めることができる。このため、高額な３Ｄロボットビジョンを採用する必要がなく、自動ピッキングシステムの構築費用が下がり、倉庫や工場を運営する顧客が、低額の初期導入費用で、自動ピッキングシステムや物流自動化ソリューションを導入できる。

［実施形態２］
（実施形態２のロボットシステムＳの動作）
図４は、実施形態２のロボットシステムＳの動作例の説明図である。本実施形態では、図４の２－（２）－１に示すように、位置姿勢把握部３ａは、空間Ｓ１に第１指４０ａを含むエンドエフェクタ４０の一部を挿入する際（図３のステップＳ１３）、対象物５０の側面から認識誤差Ｅ相当の距離だけ離れた位置へ挿入する。対象物５０から認識誤差Ｅ相当の距離を確保してエンドエフェクタ４０の一部を空間Ｓ１へ挿入することで、エンドエフェクタ４０の挿入の際の認識部２０の認識誤差に起因するエンドエフェクタ４０と対象物５０の干渉を回避できる。

さらに図４の２－（２）－２に示すように、位置姿勢把握部３ａは、エンドエフェクタ４０を対象物５０へ向けて移動させる際（図３のステップＳ１４）、認識誤差Ｅ相当の距離だけ移動させる。認識誤差Ｅ相当の距離だけ移動させることで、エンドエフェクタ４０の対象物５０の方向への移動の際に、第１指４０ａの先端を対象物５０の側面に確実に接触させることができる。

なお空間Ｓ１に対する対象物５０の反対側には、認識誤差Ｅ以上の大きさの空間が存在することが望ましい。これは、エンドエフェクタ４０を対象物５０へ向けて認識誤差Ｅ相当の距離だけ移動させる際に、対象物５０を押し動かして第１指４０ａと壁６０ｂで挟んで押し潰してしまうことを防止するためである。

［実施形態３］
実施形態２では、エンドエフェクタ４０を対象物５０へ向けて認識誤差Ｅ相当の距離だけ移動させるが、実際の認識誤差は、認識誤差Ｅよりも小さい値の場合がある。このため、エンドエフェクタ４０を対象物５０へ向けて認識誤差Ｅ相当の距離だけ移動させると、移動量が過大になり、エンドエフェクタ４０で対象物５０を押し潰してしまうおそれがある。本実施形態では、この不都合を解消する。

（実施形態３のロボットシステムＳの動作）
図５は、実施形態３のロボットシステムＳの動作例の説明図である。先ず図５の３－（１）に示すように、認識部２０は、空間Ｓ１と共に、対象物５０ａに関して、第１指４０ａを挿入可能な対象物５０ａの周囲の空間Ｓ１のＸ軸正方向の反対側の壁６０ｂまでの間に、認識誤差Ｅ相当の距離だけ対象物５０ａを移動可能な空間Ｓ２が存在するか否かを判定する。空間が対象物５０ａを移動可能な空間Ｓ２であるか否かは、予め与えられた空間Ｓ２の条件に基づいて判断される。

位置姿勢把握部３ａは、空間Ｓ２が存在した場合には、図５の３－（２）に示すように、エンドエフェクタ４０を制御して、認識誤差Ｅ相当の距離だけ対象物５０ａを第１指４０ａで押し動かすことで対象物５０ａを把持する際の位置決めをする。そして図５の３－（３）に示すように、実施形態１～２と同様に、把持制御部３ｂは、エンドエフェクタ４０を制御して対象物５０ａを把持する。

一方、位置姿勢把握部３ａは、空間Ｓ２が存在しない場合には、エンドエフェクタ４０の移動を行わず対象物５０ａの把持処理を中止する。

なお図５では、対象物５０ａと空間Ｓ２との間に対象物５０ｂが存在する場合を示すが、１又は複数の対象物５０ｂの有無に関わらず、空間Ｓ２の存在の有無に応じて、エンドエフェクタ４０を移動するか、又は把持処理中止とする。これは、本実施形態では、エンドエフェクタ４０の移動によって、エンドエフェクタ４０と壁６０ｂとの間の全ての対象物５０の押し潰しを防止することが目的であるからである。

（実施形態３のロボットシステムＳの把持処理）
図６は、実施形態３のロボットシステムＳの把持処理例を示すフローチャートである。図３に示す実施形態１の把持処理と比較して、実施形態３の把持処理は、ステップＳ１２の次にステップＳ１２Ｃ１が挿入され、ステップＳ１２Ｃ１の判定がＮｏの場合に実行されるステップＳ１２Ｃ２が追加され、ステップＳ１４に代えてステップＳ１４Ｃが実行される点が異なる。その他は実施形態１の把持処理と同様である。

ステップＳ１２に続くステップＳ１２Ｃ１では、認識部２０は、空間Ｓ２を検出したか否かを判定する。認識部２０は、空間Ｓ２を検出した場合（ステップＳ１２Ｃ１Ｙｅｓ）にステップＳ１３へ処理を移す。一方認識部２０は、空間Ｓ２を検出しなかった場合（ステップＳ１２Ｃ１Ｎｏ）にステップＳ１２Ｃ２へ処理を移し、把持処理を中止する（ステップＳ１２Ｃ２）。

またステップＳ１４Ｃでは、位置姿勢把握部３ａは、エンドエフェクタ４０を対象物５０へ向けて認識誤差Ｅ相当の距離だけ移動させる。

本実施形態では、空間Ｓ２が存在する場合にのみエンドエフェクタ４０を移動させることで、エンドエフェクタ４０が力センサを備えなくても移動した際に対象物５０を押し潰すことを防止できる。

［実施形態４］
上述の実施形態１～３では、エンドエフェクタ４０が対象物５０を第１指４０ａ及び第２指４０ｂで把持する動作の詳細については言及していない。実施形態４では、エンドエフェクタ４０が第１指４０ａと第２指４０ｂを用いて対象物５０を拘束する順序について説明する。

（実施形態４のロボットシステムＳの動作）
図７は、実施形態４のロボットシステムＳの動作例の説明図である。図７の４－（２）に示すように、位置姿勢把握部３ａは、実施形態１～３と同様に、エンドエフェクタ４０の第１指４０ａを空間Ｓ１へ挿入し移動させて対象物５０ａと接触させる。そして図７の４－（３）－１に示すように、把持制御部３ｂは、エンドエフェクタ４０の第１指４０ａが対象物５０の空間Ｓ１側の面と接触した後、第１指４０ａの対象物５０への接触を一旦解除し、空間Ｓ１とＸ軸正方向の反対側の対象物５０の面に第２指４０ｂを接触させる。その後把持制御部３ｂは、図７の４－（３）－２に示すように、第１指４０ａを動かして第２指４０ｂと共に空間Ｓ１の対象物５０を拘束する。

このように、位置姿勢把握部３ａによる位置決めの後、認識誤差の許容範囲が小さい空間から先に指を挿入し、その後認識誤差の許容範囲が大きい空間Ｓ１に指を挿入して把持することで、把持の失敗を防止することができる。

［実施形態５］
実施形態５では、空間Ｓ１に挿入されたエンドエフェクタ４０の第１指４０ａが、対象物５０の空間Ｓ１側の面に接触したことを検知する力センサ９を備える。

（実施形態５のロボットシステムＳの動作）
図８は、実施形態５のロボットシステムＳの動作例の説明図である。先ず図８の５－（１）に示すように、認識部２０は、実施形態１～４と同様に、対象物５０と空間Ｓ１を検出する。次に図８の５－（２）に示すように、位置姿勢把握部３ａは、認識誤差Ｅ相当の距離を対象物５０から確保して空間Ｓ１へ第１指４０ａを挿入し、エンドエフェクタ４０を対象物５０の方向へ移動させる。位置姿勢把握部３ａは、力センサ９によって第１指４０ａが対象物５０から受ける反力を検出すると、エンドエフェクタ４０の移動を停止する。そして把持制御部３ｂは、実施形態１～４と同様に、エンドエフェクタ４０に対して、第２指４０ｂを対象物５０の空間Ｓ１とはＸ軸正方向の反対側の面に接触させて、第１指４０ａと共に対象物５０を把持するよう指示する。

（実施形態５のロボットシステムＳの把持処理）
図９は、実施形態５のロボットシステムＳの把持処理例を示すフローチャートである。図３のフローチャートで示す実施形態１の把持処理と比較して、実施形態５の把持処理では、ステップＳ１４の次にステップＳ１４Ｅが挿入され、ステップＳ１４Ｅの判定がＹｅｓとなるまでステップＳ１４Ｅが繰り返される。その他は実施形態１の把持処理と同様である。

ステップＳ１４Ｅでは、位置姿勢把握部３ａは、力センサ９の出力値が所定閾値以上か、つまり対象物５０の面との接触に相当する対象物５０の面からの反力を検知したか否かを判定する。位置姿勢把握部３ａは、反力を検知していない場合（ステップＳ１４ＥＮｏ）にステップＳ１４Ｅを繰り返し、反力を検知した場合（ステップＳ１４ＥＹｅｓ）にステップＳ１５へ処理を移す。

本実施形態によれば、力センサ９によって、第１指４０ａが必要以上に大きな力を対象物５０へ付加することを防止できる。

［実施形態６］
実施形態６では、エンドエフェクタ４０は、複数の第１指４０ａ（第１指４０ａ１及び４０ａ２の２つ）を備える。複数の第１指４０ａのそれぞれは、対象物５０の空間Ｓ１側の面に接触したことを検知する力センサ９を備える。なお複数の第１指４０ａは、２つに限らず、３つ以上であってもよい。

（実施形態６のロボットシステムＳの動作）
図１０は、実施形態６のロボットシステムＳの動作例の説明図である。図１０の６－（３）－１に示すように、位置姿勢把握部３ａは、第１指４０ａ１及び４０ａ２を空間Ｓ１へ挿入した後、エンドエフェクタ４０を対象物５０の方向へ移動させる。すると何れかの第１指４０ａ（図１０の６－（３）－１では第１指４０ａ１）の力センサ９が先に対象物５０の空間Ｓ１側の面との接触を検出すると、図１０の６－（３）－２に示すように、接触が検出されていないもう一方の第１指４０ａ２を、第１指４０ａ１を回転中心として回転させることで、第１指４０ａ２も対象物５０へ接触させる。例えばエンドエフェクタ４０の回転方向は式（１）の外積ｒが表す方向で与えられる。式（１）では、ベクトルｄはエンドエフェクタ４０の対象物５０の方向へ向けた移動方向、ベクトルｐは先に対象物５０と接触した第１指４０ａ１から第１指４０ａ２へ向かうベクトルである。
ｒ＝ｐ×ｄ・・・（１）

式（１）に基づくエンドエフェクタ４０の回転量は、対象物５０の姿勢Ａ１の認識誤差の最大値であり、誤差情報２ｂに含まれる情報である。なお姿勢Ａ１の認識誤差の最大値を回転量としてエンドエフェクタ４０を回転させるのではなく、第１指４０ａ２の力センサ９が対象物５０の反力を検出するまで回転させてもよい。

または、エンドエフェクタ４０を鉛直軸周りに旋回することでも、先に対象物５０の空間Ｓ１側の面との接触が検出された一方の第１指４０ａ１と共に、接触が検出されていないもう他方の第１指４０ａ２を対象物５０の空間Ｓ１側の面と接触させることができる。

（実施形態６のロボットシステムＳの把持処理）
図１１は、実施形態６のロボットシステムＳの把持処理例を示すフローチャートである。図３のフローチャートで示す実施形態１の把持処理と比較して、実施形態６の把持処理では、ステップＳ１３の代わりにステップＳ１３Ｆが実行され、ステップＳ１４の代わりにステップＳ１４Ｆ１が実行され、ステップＳ１４Ｆ１の次にステップＳ１４Ｆ２の判定処理が追加される。またステップＳ１５の次にステップＳ１５Ｆが追加される。その他は実施形態１の把持処理と同様である。

ステップＳ１３Ｆでは、位置姿勢把握部３ａは、空間Ｓ１へ複数の第１指４０ａを挿入する。次にステップＳ１４Ｆ１では、位置姿勢把握部３ａは、複数の第１指４０ａを対象物５０へ向けて移動させる。次にステップＳ１４Ｆ２では、位置姿勢把握部３ａは、少なくとも１つの第１指４０ａが対象物５０の空間Ｓ１側の面に接触したことを示す反力を検出したか否かを判定する。位置姿勢把握部３ａは、少なくとも１つの第１指４０ａが対象物５０の空間Ｓ１側の面に接触したことを示す反力を検出した（ステップＳ１４Ｆ２Ｙｅｓ）場合にステップＳ１５へ処理を移し、反力を検出しない場合に（ステップＳ１４Ｆ２Ｎｏ）場合にステップＳ１４Ｆ２を繰り返す。

ステップＳ１５Ｆでは、位置姿勢把握部３ａは、全ての第１指４０ａが対象物５０の空間Ｓ１側の面と接触するまでエンドエフェクタ４０を回転させる。

（実施形態６の変形例）
なお本実施形態では、総ての第１指４０ａが力センサ９を備えるとしたが、第１指４０ａは総て力センサ９を備えない構成でもよい。この場合、図１０の６－（３）－１に示すエンドエフェクタ４０の対象物５０の方向への移動量ｍは、認識部２０の認識誤差Ｅ相当の距離とすればよい。

（実施形態６の変形例のロボットシステムＳの把持処理）
図１２は、実施形態６の変形例のロボットシステムＳの把持処理例を示すフローチャートである。図１１のフローチャートで示す実施形態６の把持処理と比較して、実施形態６の変形例の把持処理では、ステップＳ１４Ｆ１の代わりにステップＳ１４Ｆ１１が実行され、ステップＳ１４Ｆ２が省略される。その他は、実施形態６の把持処理と同様である。ステップＳ１４Ｆ１１では、位置姿勢把握部３ａは、複数の第１指を対象物５０に向けて認識誤差Ｅ相当の距離だけ移動させる。

本実施形態及びその変形例によれば、姿勢Ａ１の認識誤差をエンドエフェクタ４０の旋回により補正することで、把持成功率を高めることができる。

［実施形態７］
実施形態７では、エンドエフェクタ４０は、少なくとも第１指４０ａが力センサ９を備え、第１指４０ａを垂直降下させた際の力センサ９による反力の検知によって、対象物５０が配置されている面の高さを認識する。

（実施形態７のロボットシステムＳの動作）
図１３は、実施形態７のロボットシステムＳの動作例の説明図である。先ず図１３の７－（１）に示すように、認識部２０は、対象物５０ｂの位置Ｐ１、姿勢Ａ１、及び少なくとも第１指４０ａを挿入可能な対象物５０の周囲の空間Ｓ１を検出する。次に図１３の７－（２）－１に示すように、位置姿勢把握部３ａは、認識誤差Ｅ相当の距離を対象物５０から確保して空間Ｓ１へ第１指４０ａを挿入し、第１指４０ａが反力を検出するまでエンドエフェクタ４０を下へ（Ｚ軸負方向へ）移動させる。第１指４０ａが反力を検出するとは、対象物５０が配置されている高さの面を検出したということである。

その後図１３の７－（２）－２に示すように、位置姿勢把握部３ａは、エンドエフェクタ４０を、対象物形状情報２ａから定められる対象物５０の適切な把持位置の高さまでＺ軸正方向へ上昇させ、この高さを維持しながら、対象物５０の方向へ認識誤差Ｅ相当の距離だけ移動させて第２指４０ｂを対象物５０に接触させる。これにより対象物５０の位置Ｐ２が把握される。そして図１３の７－（２）－３に示すように、対象物形状情報２ａと、位置姿勢把握部３ａで把握した対象物の位置Ｐ２と、認識部２０で把握した姿勢Ａ１とに基づいて対象物５０の把持可能な部位をエンドエフェクタ４０で把持する。

（実施形態７のロボットシステムＳの把持処理）
図１４は、実施形態７のロボットシステムＳの把持処理例を示すフローチャートである。図９のフローチャートで示す実施形態５の把持処理と比較して、実施形態７の把持処理では、ステップＳ１３の代わりにステップＳ１３Ｇが実行され、ステップＳ１４Ｅの代わりにステップＳ１４Ｇ１、Ｓ１４Ｇ２、及びＳ１４Ｇ３が実行される。その他は、実施形態７の把持処理と同様である。

ステップＳ１３Ｇでは、位置姿勢把握部３ａは、空間Ｓ１に少なくとも第１指４０ａを対象物５０から認識誤差Ｅを確保して挿入し、下方へ移動させる。次にステップＳ１４Ｇ１では、位置姿勢把握部３ａは、力センサ９の出力値が所定閾値以上か、つまり載置スペース６における対象物５０の配置面との接触に相当する配置面からの反力を検知したか否かを判定する。位置姿勢把握部３ａは、反力を検知していない場合（ステップＳ１４Ｇ２Ｎｏ）にステップＳ１４Ｇ２を繰り返し、反力を検知した場合（ステップＳ１４Ｇ２Ｙｅｓ）にステップＳ１４Ｇ３へ処理を移す。

ステップＳ１４Ｇ３では、位置姿勢把握部３ａは、エンドエフェクタ４０を所定高さで対象物５０に向けて認識誤差Ｅだけ移動させる。

なお本実施形態において、エンドエフェクタ４０を対象物５０の方向へ認識誤差Ｅ相当の距離だけ移動させる際に、エンドエフェクタ４０が配置面の高さを維持した状態で移動させてもよい。

本実施形態では、乱雑に何層にも積み上げられた対象物５０を最上層からピッキングする際、または高さ方向の形状が高さ位置で異なる対象物５０をピッキングする際、高精度に検出した配置面を基準に対象物５０の適切な把持位置の高さを割り出し、この高さで対象物５０を把持する。よって、低精度の高さ認識に基づく不適切な位置を把持することによる把持失敗を防止し、ピッキング成功率を高めることができる。

（ロボットシステムＳの制御装置１を実現するコンピュータ５００の構成）
図１５は、ロボットシステムＳの制御装置１を実現するコンピュータ５００の構成例を示す図である。コンピュータ５００では、プロセッサ５１０、ＲＡＭ（Random Access Memory）などのメモリ５２０、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）などのストレージ５３０、及びネットワークＩ／Ｆ（Inter/Face）５４０が、バスを介して接続されている。

コンピュータ５００において、制御装置１を実現するためのプログラムがストレージ５３０から読み出されプロセッサ５１０及びメモリ５２０の協働により実行されることで制御装置１が実現される。あるいは、制御装置１を実現するためのプログラムによって、ＦＰＧＡといったＰＬＤであるプロセッサ５１０がコンフィギュレーションされることで制御装置１が実現される。または、制御装置１を実現するためのプログラムは、ネットワークＩ／Ｆ５４０を介した通信により非一時的な記憶装置を備えた外部のコンピュータから取得されてもよい。あるいは制御装置１は、非一時的記録媒体に記録され、媒体読み取り装置によって読み出されることで取得されてもよい。

本発明は上述の実施形態に限定されるものではなく、様々な変形例を含む。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、矛盾しない限りにおいて、ある実施形態の構成の一部を他の実施形態の構成で置き換え、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、構成の追加、削除、置換、統合、又は分散をすることが可能である。また、実施形態で示した構成及び処理は、処理効率又は実装効率に基づいて適宜分散、統合、または入れ替えることが可能である。

Ｓ：ロボットシステム、１：制御装置、２：記憶部、２ａ：対象物形状情報、２ｂ：誤差情報、３：制御部、３ａ：位置姿勢把握部、３ｂ：把持制御部、９：力センサ、２０：認識部、３０：アーム、４０：エンドエフェクタ（把持部）、５０，５０ａ，５０ｂ：対象物、５００：コンピュータ、５１０：プロセッサ

Claims

把持部の複数の指で対象物を把持して移載する移載機構を有するロボットシステムであって、
移載前の前記対象物の周囲において、前記把持部の少なくとも一部を挿入可能な空間、並びに、前記対象物の位置及び姿勢を認識する認識部と、
前記認識部によって認識された前記空間のうちの第１の空間へ前記把持部の少なくとも一部を挿入しつつ前記第１の空間以外の空間へは前記把持部を挿入しない状態で、前記把持部を前記対象物の方向へ移動させて前記把持部を前記対象物に接触させることで、前記対象物の位置を前記認識部よりも高精度に把握する位置姿勢把握部と、
前記対象物の形状に関する情報、並びに、前記位置姿勢把握部によって把握された前記対象物の位置に基づいて、前記対象物を把持可能な位置を特定し、該位置において前記対象物を前記把持部で把持する把持制御部と
を有することを特徴とするロボットシステム。
請求項１に記載のロボットシステムであって、
前記位置姿勢把握部は、
前記第１の空間へ前記複数の指のうちの第１の指を挿入しつつ前記第１の指以外の指を前記対象物よりも高い位置を維持した状態で、前記把持部を前記対象物の方向へ移動させる
ことを特徴とするロボットシステム。
請求項１に記載のロボットシステムであって、
前記位置姿勢把握部は、
前記対象物に対して前記認識部が前記対象物の位置を認識する際の認識誤差相当の距離を確保して前記第１の空間へ前記把持部の少なくとも一部を挿入し、前記認識誤差相当の距離だけ前記把持部を前記対象物の方向へ移動させる
ことを特徴とするロボットシステム。
請求項３に記載のロボットシステムであって、
前記第１の空間に対する前記対象物の反対側には、前記認識誤差相当の距離以上の大きさの空間が存在する
ことを特徴とするロボットシステム。
請求項１に記載のロボットシステムであって、
前記認識部は、
前記第１の空間に対する前記対象物の反対側に、前記認識部が前記対象物の位置を認識する際の認識誤差相当の距離だけ前記対象物を移動可能な大きさの第２の空間が存在するか否かを判定し、
前記位置姿勢把握部は、
前記認識部によって前記第２の空間が存在すると判定された場合に、前記第１の空間へ前記把持部の少なくとも一部を挿入しつつ前記第１の空間以外の空間へは前記把持部を挿入しない状態で、前記認識誤差相当の距離だけ前記把持部を前記対象物の方向へ移動させる
ことを特徴とするロボットシステム。
請求項１に記載のロボットシステムであって、
前記把持部は、第１の指及び前記第１の指と向かい合う第２の指を有し、
前記把持制御部は、
前記位置姿勢把握部によって、前記第１の空間へ前記第１の指を挿入しつつ前記第１の空間以外の空間へは何れの指も挿入しない状態で、前記把持部を前記対象物の方向へ移動させて前記第１の指が前記対象物に接触させ、
前記把持制御部は、
前記把持制御部によって前記第１の指が前記対象物に接触すると、前記第１の指と前記対象物との接触を一旦解除し、前記第１の空間に対する前記対象物の反対側の第３の空間へ前記第２の指を挿入し、前記第３の空間へ前記第２の指を挿入した状態で、前記第１の指と前記第２の指とで前記対象物を把持する
ことを特徴とするロボットシステム。
請求項６に記載のロボットシステムであって、
前記第１の指は、前記対象物との接触の際に前記対象物から受ける反力を検出するセンサを有し、
前記位置姿勢把握部は、
前記第１の空間へ前記把持部の少なくとも一部を挿入しつつ前記第１の空間以外の空間へは前記把持部を挿入しない状態で、前記センサによって前記反力が検出されるまで、前記把持部を前記対象物の方向へ移動させる
ことを特徴とするロボットシステム。
請求項１に記載のロボットシステムであって、
前記把持部は、複数の第１の指、及び、前記複数の第１の指と向かい合う第２の指を有し、
前記位置姿勢把握部は、
前記第１の空間へ前記複数の第１の指の少なくとも何れかの一部を挿入しつつ前記第１の空間以外の空間へは前記第２の指を挿入しない状態で、前記把持部を前記対象物の方向へ移動させ、
前記把持制御部は、
前記位置姿勢把握部によって前記複数の第１の指のうちの何れかが前記対象物と接触した後、前記複数の第１の指のうちの前記対象物と接触した指を始点とし前記対象物と接触していない指を終点とする第１ベクトルと、前記把持部の前記対象物の方向への移動を表す第２ベクトルとの外積が示す方向へ、前記把持部を所定軸を中心に回転させて、前記複数の第１の指を前記対象物と接触させる
ことを特徴とするロボットシステム。
請求項８に記載のロボットシステムであって、
前記把持制御部は、
前記認識部が前記対象物の姿勢を認識する際の認識誤差相当の角度だけ、前記把持部を前記所定軸を中心に回転させる
ことを特徴とするロボットシステム。
請求項８に記載のロボットシステムであって、
前記複数の第１の指は、前記対象物との接触の際に前記対象物から受ける反力を検出するセンサを有し、
前記位置姿勢把握部は、
前記第１の空間へ前記複数の第１の指の少なくとも一部を挿入しつつ前記第１の空間以外の空間へは前記第２の指を挿入しない状態で、何れかの前記第１の指の前記センサによって前記反力が検出されるまで、前記把持部を前記対象物の方向へ移動させる
ことを特徴とするロボットシステム。
請求項８に記載のロボットシステムであって、
前記位置姿勢把握部は、
前記第１の空間へ前記複数の第１の指の少なくとも一部を挿入しつつ前記第１の空間以外の空間へは前記第２の指を挿入しない状態で、前記認識部が前記対象物の位置を認識する際の認識誤差相当の距離だけ、前記把持部を前記対象物の方向へ移動させる
ことを特徴とするロボットシステム。
請求項１に記載のロボットシステムであって、
前記複数の指のうちの第１の指は、鉛直下方向へ移動させた際に鉛直方向へ受ける反力を検出するセンサを有し、
前記位置姿勢把握部は、
前記第１の空間へ前記第１の指を挿入し、前記反力を受けるまで鉛直下方向へ移動させ、前記反力を受けた際の鉛直方向の第１の高さ位置又は該第１の高さ位置から所定の高さだけ鉛直上方向へ移動させた第２の高さ位置を維持した状態で、前記第１の指を前記対象物の方向へ移動させて前記第１の指を前記対象物に接触させることで、前記対象物の位置及び姿勢を前記認識部よりも高い精度で把握する
ことを特徴とするロボットシステム。
把持部の複数の指で対象物を把持して移載する移載機構を有するロボットシステムの制御方法であって、
前記ロボットシステムの認識部が、移載前の前記対象物の周囲において、前記把持部の少なくとも一部を挿入可能な空間、並びに、前記対象物の位置及び姿勢を認識し、
前記ロボットシステムの位置姿勢把握部が、前記認識部によって認識された前記空間のうちの第１の空間へ前記把持部の少なくとも一部を挿入しつつ前記第１の空間以外の空間へは前記把持部を挿入しない状態で、前記把持部を前記対象物の方向へ移動させて前記把持部を前記対象物に接触させることで、前記対象物の位置を前記認識部よりも高精度に把握し、
前記ロボットシステムの把持制御部が、前記対象物の形状に関する情報、並びに、前記位置姿勢把握部によって把握された前記対象物の位置に基づいて、前記対象物を把持可能な位置を特定し、該位置において前記対象物を前記把持部で把持する
各処理を有することを特徴とするロボットシステムの制御方法。