JP7395451B2 - ハンドリング装置、処理装置、コントローラ及びプログラム - Google Patents

Description

本発明の実施形態はハンドリング装置及びプログラムに関する。

物流倉庫でバラ積みされた荷物などを扱うピッキング自動化システムなど、物体ハンドリング作業を自動化するロボットシステムが従来から知られている。このようなロボットシステムは、画像情報等のセンサデータを基に、物体の把持位置や姿勢、投入先の箱詰め位置や姿勢を自動的に算出し、吸着パッドを備えた把持機構を持つロボットが実際に把持や箱詰めを実行する。近年では、機械学習技術の発展により、学習によって、ロボットの適切な動作を実現する技術が利用されている。

特開２０１９－１６２６８５号公報 特許第６０３６６６２号公報

Ｚｅｎｇ，Ａ．ｅｔ ａｌ．（２０１９）‘Ｒｏｂｏｔｉｃ ｐｉｃｋ－ａｎｄ－ｐｌａｃｅ ｏｆ ｎｏｖｅｌ ｏｂｊｅｃｔｓ ｉｎ ｃｌｕｔｔｅｒ ｗｉｔｈ ｍｕｌｔｉ－ａｆｆｏｒｄａｎｃｅ ｇｒａｓｐｉｎｇ ａｎｄ ｃｒｏｓｓ－ｄｏｍａｉｎ ｉｍａｇｅ ｍａｔｃｈｉｎｇ’，Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ Ｒｅｓｅａｒｃｈ Ｍａｔｓｕｍｕｒａ，Ｒ．ｅｔ ａｌ．（２０１９）．Ｌｅａｒｎｉｎｇ Ｂａｓｅｄ Ｒｏｂｏｔｉｃ Ｂｉｎ－ｐｉｃｋｉｎｇ ｆｏｒ Ｐｏｔｅｎｔｉａｌｌｙ Ｔａｎｇｌｅｄ Ｏｂｊｅｃｔｓ．ＩＲＯＳ ２０１９

しかしながら従来の技術では、吸着パッドの個数又は位置が変更された場合には、把持容易さを学習するための教師データを改めて用いた再学習をしなければ、適切なハンドリング動作を決定できなかった。

実施形態のハンドリング装置は、マニピュレータと法線グリッド生成部とハンドカーネル生成部と計算部と制御部とを備える。マニピュレータは、複数の吸着パッドを備えるハンドリングツールと、アームとを備える。法線グリッド生成部は、１以上の把持対象物を含むＤｅｐｔｈ画像を点群に変換し、前記点群から、複数のグリッドに分割された前記把持対象物を含む空間データを生成し、前記グリッドに含まれる前記点群の法線ベクトルを、球面座標を用いて算出する。ハンドカーネル生成部は、それぞれの前記吸着パッドのハンドカーネルを、それぞれの前記吸着パッドの前記ハンドリングツールにおける位置、及び、前記ハンドリングツールの姿勢に基づいて生成する。計算部は、前記空間データを含むグリッドと前記ハンドカーネルとを用いた３Ｄコンボリューション計算に基づいて、前記複数の吸着パッドによる前記把持対象物の把持容易さを算出する。制御部は、前記複数の吸着パッドによる前記把持対象物の把持容易さに基づいて、前記マニピュレータの把持動作を制御する。前記ハンドカーネル生成部は、それぞれの前記吸着パッドの前記ハンドリングツールにおける位置、及び、前記ハンドリングツールの姿勢に基づいて、それぞれの前記吸着パッドのハンドカーネルを生成する。前記計算部は、前記空間データを含むグリッドと、それぞれの前記吸着パッドのハンドカーネルとを用いた３Ｄコンボリューション計算の値との差に基づいて、前記複数の吸着パッドによる前記把持対象物の把持容易さを算出する。

実施形態のハンドリング装置の構成の例を示す概略図。 実施形態のハンドリングツールについて説明するための図。 実施形態の吸着パッドについて説明するための図。 実施形態のコントローラの機能構成の例を示す図。 実施形態の計画部の機能構成の例を示す図。 実施形態の評価部の処理の例を説明するための図。 実施形態の法線グリッド生成部の機能構成の例を示す図。 実施形態の法線の定義について説明するための図。 実施形態のハンドリングツールの姿勢の例１を示す図。 実施形態のハンドリングツールの姿勢の例２を示す図。 実施形態のハンドリングツールの姿勢の例３を示す図。 実施形態のＴＣＰの位置及びハンドカーネルの例を示す図。 実施形態の３Ｄコンボリューションについて説明するための図。 実施形態のコンボリューションの計算例について説明するための図。 実施形態のハンドリング方法の例を示すフローチャート。 実施形態のコントローラのハードウェア構成の例を示す図。

以下に添付図面を参照して、ハンドリング装置及びプログラムの実施形態を詳細に説明する。

［装置構成の例］
図１は実施形態のハンドリング装置１００の構成の例を示す概略図である。実施形態のハンドリング装置１００は、アーム１、ハンドリングツール２、コントローラ３、カメラ４及びセンサ５を備える。アーム１は、複数のサーボモータで駆動される多関節ロボットである。ハンドリングツール２は、１個または複数個の吸着パッドを備える。吸着パッドは、把持対象の把持対象物１０２を吸着把持する。吸着パッドについては、図２Ａ及び２Ｂを参照して後述する。

アーム１及びハンドリングツール２は、マニピュレータ（ロボットアーム）として動作する。カメラ４は、ハンドリングツール２につけられ、物品コンテナ１０１にある把持対象物１０２のＤｅｐｔｈ画像を撮影する。なお、物品コンテナ１０１にある把持対象物１０２の個数及び形状は任意でよい。センサ５は、アーム１の関節の角度及び関節力などの情報を計測する。

［ハンドリングツールの例］
図２Ａは実施形態のハンドリングツール２について説明するための図である。図２Ａに示すように、ハンドリングツール２は、ツール回転軸１０３による回転の自由度を有する。また、実施形態のハンドリングツール２は、吸着パッド６ａ及び６ｂを備える。なお、ハンドリングツール２が備える吸着パッドの数は、２個に限られず任意でよい。

図２Ｂは実施形態の吸着パッド６ａ及び６ｂについて説明するための図である。吸着パッド６ａ及び６ｂの直径はＤである。吸着パッド６ａの中心と、吸着パッド６ｂの中心との距離はｄである。実施形態の吸着パッド６ａ及び６ｂの大きさ及び形状は同じなので、以下、吸着パッド６ａ及び６ｂを区別しない場合は、単に吸着パッド６という。

［コントローラの機能構成の例］
図３は実施形態のコントローラ３の機能構成の例を示す図である。実施形態のコントローラ３は、処理部３１、計画部３２及び制御部３３を備える。

処理部３１は、カメラ４及びセンサ５により取得されたデータの処理を行う。例えば、処理部３１は、カメラ４で撮像されたＤｅｐｔｈ画像のノイズ除去処理を行う。また例えば、処理部３１は、Ｄｅｐｔｈ画像から把持対象物１０２以外（例えば物品コンテナ１０１及び地面など）のＤｅｐｔｈ情報を除外する背景除外処理を行う。また例えば、処理部３１は、Ｄｅｐｔｈ画像のサイズを、計画部３２に入力されるＤｅｐｔｈ画像のサイズにリサイズする画像リサイズ処理を行う。

計画部３２は、深層学習により、画像のピクセル座標ごとに１個の吸着パッド６による把持の容易さを示すヒートマップを算出する。なお、計画部３２は、吸着パッド６ａ及び６ｂが同じ種類でない場合（大きさ及び形状等が同じでない場合）は、吸着パッド６ａによる把持の容易さを示すヒートマップと、吸着パッド６ｂによる把持の容易さを示すヒートマップとを算出する。

次に、計画部３２は、１個の吸着パッド６による把持の容易さを示すヒートマップに基づいて、３Ｄコンボリューションにより、複数の吸着パッド６による把持の容易さを示すヒートマップを算出する。実施形態の例では、吸着パッド６ａ及び６ｂの両方を用いた把持の容易さを示すヒートマップを算出する。更に、計画部３２は、把持の容易さをランキングし、把持対象物１０２を一番把持しやすい最適把持姿勢を制御部３３に入力する。

制御部３３は、計画部３２で生成されたハンドリングツール２の最適把持姿勢に従って、把持対象物１０２を把持するマニピュレータ（アーム１及びハンドリングツール２）の行動を制御する。

［計画部の機能構成の例］
図４は実施形態の計画部の機能構成の例を示す図である。実施形態の計画部３２は、評価部３２１、法線グリッド生成部３２２、ハンドカーネル生成部３２３、計算部３２４及び調整部３２５を備える。

評価部３２１は、Ｄｅｐｔｈ画像に基づいて、１つの吸着パッド６による把持対象物１０２の把持容易さを示す評価値を算出する。例えば、評価部３２１は、Ｄｅｐｔｈ画像に基づいて、把持対象物１０２の各点の評価値をヒートマップによって算出する。

法線グリッド生成部３２２は、Ｄｅｐｔｈ画像、及び、１個の吸着パッド６での把持容易さを示すヒートマップとＤｅｐｔｈ画像から変換された点群情報に基づいて、法線グリッドを生成する。法線グリッドの生成方法の詳細は、図６及び図７を参照して後述する。

ハンドカーネル生成部３２３は、各吸着パッド６のハンドカーネルを生成する。ハンドカーネルの詳細は、図９を参照して後述する。

計算部３２４は、法線グリッドと、各吸着パッド６のハンドカーネルとの３Ｄコンボリューション計算を行い、吸着可能なハンド姿勢とそれに対する吸着パッド６の位置を求める。そして、前記１個の吸着パッド６での把持容易さを示すヒートマップにより、複数の吸着パッド６での把持容易さを示すヒートマップ（第１のヒートマップ）を算出する。

調整部３２５は、第１のヒートマップに基づいて、ハンドリングツール２の姿勢と、ハンドリングツール２によって把持対象物１０２が把持される位置とを調整する。調整部３２５は、把持容易さをランキングし、一番把持しやすい点の位置と、法線を用いて表されるマニュピレータ（アーム１及びハンドリングツール２）の把持姿勢を算出する。

［評価部の処理の例］
図５は実施形態の評価部３２１の処理の例を説明するための図である。評価部３２１は、１以上の把持対象物１０２を含むＤｅｐｔｈ画像に基づいて、１個の吸着パッドによる把持対象物１０２の把持容易さを示す評価値を算出する。評価値は、吸着可能な領域の中心までの距離と、吸着可能な領域の平面度と、吸着可能な領域の傾きとが複合的考慮された値である。具体的には、評価部３２１は、Ｄｅｐｔｈ画像の入力を受け付ける入力層と、中間層と、ヒートマップ（第２のヒートマップ）を出力する出力層とを有するニューラルネットワークを用いて、評価値を算出する。実施形態では、ヒートマップの各ピクセルが、ピクセル位置の世界座標系に対する位置で把持する際の姿勢と、評価値（把持容易性を示すスコア）とを示す。

［法線グリッド生成部の機能構成の例］
図６は実施形態の法線グリッド生成部３２２の機能構成の例を示す図である。実施形態の法線グリッド生成部３２２は、変換部３３１、フィルター部３３２及び生成部３３３を備える。

変換部３３１は、処理部３１からＤｅｐｔｈ画像を受け付ける。変換部３３１は、カメラ行列を利用して、カメラ４で撮影された２．５次元のＤｅｐｔｈ画像を点群（３次元点群データ）に変換する。

フィルター部３３２は、評価部３２１から出力されたヒートマップを用いて、評価値が閾値より低い（すなわち把持し難い）ピクセルに対する点を点群から除外することによって、把持対象点群データを生成する。

生成部３３３は、フィルター部３３２から入力された把持対象点群データから法線グリッドを生成する。具体的には、生成部３３３は、カメラ４が撮影可能な空間を、ｌ×ｌ×ｌ［ｍ］の立方体（グリッド）で分割する。生成部３３３は、グリッドにある点の球面座標で表現される法線の方向を示す法線ベクトルの平均値を各グリッドに格納して、法線グリッドを生成する。把持対象物１０２を含む空間データを含む各グリッドが、把持対象物１０２の把持容易さを算出するための３Ｄコンボリューション計算に用いられる。

［法線の定義例］
図７は実施形態の法線の定義について説明するための図である。実施形態の法線は、球面座標で定義される。一般的には、法線ベクトルｎは［ｎ_ｘ，ｎ_ｙ，ｎ_ｚ］と定義されている。法線ベクトルｎのノルムρは、（ｎ_ｘ ^２＋ｎ_ｙ ^２＋ｎ_ｚ ^２）^１／２である。ｎは単位ベクトルであるため、ρ＝１である。法線ベクトルｎを、図７に示す球面座標（φ，θ）に変換することにより、法線ベクトルｎを２次元ベクトルで表す。これにより法線ベクトルｎが用いられる計算の計算量を減らすことができる。

球面座標（φ，θ）を用いると、［ｎ_ｘ，ｎ_ｙ，ｎ_ｚ］は、下記式（１）により表される。

［ハンドリングツールの姿勢の表現例］
実施形態のハンドリングツール２の姿勢は、上述の法線の定義と同様に球面座標の角度を用いて、Ｈ_φ及びＨ_θにより表現される。

図８Ａは実施形態のハンドリングツール２の姿勢の例１を示す図である。図８Ａは、Ｈ_φ＝９０、Ｈ_θ＝０である場合を示す。ＴＣＰは、ツールセンターポイントを示す。図８Ａは、ハンドリングツール２に傾きが生じていない場合を示す。

図８Ｂは実施形態のハンドリングツール２の姿勢の例２を示す図である。図８Ｂは、Ｈ_φ＝９０、Ｈ_θ＝４５である場合を示す。図８Ｂは、ハンドリングツール２に、ｘｙ平面内の角度θ（図７参照）で４５度の傾きが生じている場合を示す。

図８Ｃは実施形態のハンドリングツール２の姿勢の例３を示す図である。図８Ｃは、Ｈ_φ＝４５、Ｈ_θ＝０である場合を示す。図８Ｃは、ハンドリングツール２に、ｙｚ平面内の角度φ（図７参照）で４５度の傾きが生じている場合を示す。

Ｈ_φ及びＨ_θの任意の組み合わせによって、吸着パッド６ａ及び６ｂを備えるハンドリングツール２の任意の姿勢を表現できる。

［ハンドカーネルの例］
図９は実施形態のＴＣＰの位置及びハンドカーネルの例を示す図である。ハンドカーネル生成部３２３は、吸着パッド６ａ及び６ｂのハンドカーネルを生成する。ハンドカーネル生成部３２３は、ハンドリングツール２の姿勢を、球面座標を用いたＨ_φ及びＨ_θにより表現し、それぞれの吸着パッド６について、Ｈ_φ及びＨ_θに応じたハンドカーネルを生成する。

具体的には、まずハンドカーネル生成部３２３は、中心間の距離がｄであるため、ハンドリングツール２の姿勢を表す空間を前記法線グリッド生成時と同じく、ｌ×ｌ×ｌのグリッドに分割して、ハンドカーネルを作る。図９に示しているように、ハンドカーネルの中心はＴＣＰの位置である。

次に、ハンドカーネル生成部３２３は、ハンドリングツール２の姿勢（Ｈ_φ及びＨ_θ）が決まったら、吸着パッド６の位置及び姿勢を表現するハンドカーネル内のＩｎｄｅｘ（Ｘ，Ｙ，Ｚ）を、ハンドリングツール２の姿勢に対する相対位置及び相対姿勢により算出する。例えば、実施形態のように、ハンドリングツール２が２個の吸着パッド６ａ及び６ｂを備える場合、右の吸着パッド６ｂのＩｎｄｅｘ_Ｒ（Ｘ_Ｒ，Ｙ_Ｒ，Ｚ_Ｒ）は下記式（２）により、右のハンドカーネルとして算出され、左の吸着パッド６ａのＩｎｄｅｘ_Ｌ（Ｘ_Ｌ，Ｙ_Ｌ，Ｚ_Ｌ）は下記式（３）により、左のハンドカーネルとして算出される。

ここで、ｉｎｔ（）は、（）内の値を整数値で近似する関数を示す。

図９は、ハンドリングツール２の姿勢が、Ｈ_φ＝９０、Ｈ_θ＝０である場合（図８Ａ参照）の左及び右のハンドカーネルの例を示す。左のハンドカーネルの位置２０１は、Ｉｎｄｅｘ_Ｌ（Ｘ_Ｌ，Ｙ_Ｌ，Ｚ_Ｌ）によって表される。左のハンドカーネルの値は、Ｉｎｄｅｘ_Ｌ（Ｘ_Ｌ，Ｙ_Ｌ，Ｚ_Ｌ）の位置が１．０であり、それ以外の位置は、空（ｎａｎ）である。同様に、右のハンドカーネルの位置２０２は、Ｉｎｄｅｘ_Ｒ（Ｘ_Ｒ，Ｙ_Ｒ，Ｚ_Ｒ）によって表される。右のハンドカーネルの値は、Ｉｎｄｅｘ_Ｒ（Ｘ_Ｒ，Ｙ_Ｒ，Ｚ_Ｒ）の位置が１．０であり、それ以外の位置は、空（ｎａｎ）である。

また、Ｉｎｄｅｘ_Ｌ（Ｘ_Ｌ，Ｙ_Ｌ，Ｚ_Ｌ）とＩｎｄｅｘ_Ｒ（Ｘ_Ｒ，Ｙ_Ｒ，Ｚ_Ｒ）との距離は、｜｜Ｉｎｄｅｘ_Ｌ（Ｘ_Ｌ，Ｙ_Ｌ，Ｚ_Ｌ）－Ｉｎｄｅｘ_Ｒ（Ｘ_Ｒ，Ｙ_Ｒ，Ｚ_Ｒ）｜｜≒ｄである。

［計算部の処理の例］
図１０は実施形態の３Ｄコンボリューションについて説明するための図である。実施形態の計算部３２４は、左のハンドカーネルと、法線グリッドとの３Ｄコンボリューション計算、及び、右のハンドカーネルと、法線グリッドとの３Ｄコンボリューション計算とを行う。

把持対象物１０２を複数の吸着パッド６で吸着できる把持姿勢を算出する問題は、１個の吸着パッド６で吸着できる把持点のうち、２点（当該把持点と、もう一方の吸着パッド６の把持点）の距離がｄであり、当該２点の法線が平行するという２条件を満たす点を算出することと考えられる。この２点を、一般的なユークリッド距離の計算式と、ベクトル平行判別式とで求めると計算量が膨大となる。

そのため、計算部３２４は、各ハンドカーネルの３Ｄコンボリューション計算結果の差分によって、高速に上記２条件を満たす点の近似解を求める。ハンドカーネルと法線グリッドとの３Ｄコンボリューション計算結果は、法線グリッドと同じサイズのグリッドにおいて、その吸着パッド６で吸着可能な位置と当該位置の法線とを含む。

計算部３２４は、左の吸着パッド６ａの３Ｄコンボリューション計算結果Ｓ_Ｌ（Ｘ，Ｙ，Ｚ）と、右の吸着パッド６ｂの３Ｄコンボリューション計算結果Ｓ_Ｒ（Ｘ，Ｙ，Ｚ）との差分を下記式（４）に基づいて判定する。

ここで、εは、法線の差分を判定する閾値を示す。計算部３２４は、上記式（４）に基づいて、１個で吸着把持できる場合、２個で吸着把持できる場合、または、吸着把持が不可能である場合を判定する。

［コンボリューションの計算例］
図１１は実施形態のコンボリューションの計算例について説明するための図である。理解しやすくするために、図１１の例では、把持対象物１０２が平置きの箱である場合のコンボリューション計算の例を示す。この場合は、３Ｄコンボリューションの特殊例であり、２Ｄコンボリューションの結果と同じである。

箱を平置きしているため、箱の把持面の法線は全部上向きで、法線は（φ，θ）＝（１，０）で表現される。

左のハンドカーネルと法線グリッドとのコンボリューション計算結果２１１ａから、左の吸着パッド６ａで吸着可能なハンドリングツール２のＴＣＰの位置が特定される。具体的には、図１１の例では、当該ＴＣＰの位置は、法線が（φ，θ）＝（１，０）である位置により特定される。

同様に、右のハンドカーネルと法線グリッドとのコンボリューション計算結果２１１ｂから、右の吸着パッド６ｂで吸着可能なハンドリングツール２のＴＣＰの位置が特定される。具体的には、図１１の例では、当該ＴＣＰの位置は、法線が（φ，θ）＝（１，０）である位置により特定される。

計算部３２４は、コンボリューション計算結果２１１ａ及び２１１ｂの差を取ることにより、左の吸着パッド６ａで吸着可能なハンドリングツール２のＴＣＰの位置の法線と、右の吸着パッド６ｂで吸着可能なハンドリングツール２のＴＣＰの位置の法線と、が平行であるか否かを判定する。

図１１の例では、差分を取った結果が（０，０）の位置は、２個の吸着パッド６ａ及び６ｂで吸着可能な位置である。差分を取った結果が（１，０）の位置は、左の吸着パッド６ａで吸着可能な位置である。差分を取った結果が（－１，０）の位置は、右の吸着パッド６ｂで吸着可能な位置である。差分を取った結果が空（ｎａｎ）の位置は、把持不可能な位置である。

左の吸着パッド６ａと右の吸着パッド６ｂの吸着可能な位置が分かれば、前記評価部３２１によって出力される前記１個の吸着パッド６での把持容易さを示すヒートマップにより、左の吸着パッド６ａと右の吸着パッド６の吸着可能な位置の把持容易さの評価値を求められる。それの平均値を計算し、２個パッドの把持容易さの評価値を算出できる。そして、その評価値を基の画像へ投影し、前記複数の吸着パッド６でのヒートマップを生成できる。

［ハンドリング方法の例］
図１２は実施形態のハンドリング方法の例を示すフローチャートである。はじめに、法線グリッド生成部３２２が、１以上の把持対象物１０２を含むＤｅｐｔｈ画像を点群に変換し、当該点群から、複数のグリッドに分割された把持対象物１０２を含む空間データを生成し、グリッドに含まれる当該点群の法線ベクトルを、球面座標を用いて算出する（ステップＳ１）。

次に、ハンドカーネル生成部３２３が、それぞれの吸着パッド６のハンドカーネルを、それぞれの吸着パッド６のハンドリングツール２における位置、及び、ハンドリングツール２の姿勢に基づいて生成する（ステップＳ２）。

次に、計算部３２４が、ステップＳ１の処理により算出された空間データを含むグリッドと、ステップＳ２の処理により生成されたハンドカーネルとを用いた３Ｄコンボリューション計算に基づいて、複数の吸着パッド６による把持対象物１０２の把持容易さを算出する（ステップＳ３）。

次に、制御部３３が、複数の吸着パッド６による把持対象物１０２の把持容易さに基づいて、マニピュレータ（アーム１及びハンドリングツール２）の把持動作を制御する（ステップＳ４）。

以上、説明したように、実施形態のハンドリング装置１００では、上述の３Ｄコンボリューション計算に基づいて、複数の吸着パッド６による把持対象物１０２の把持容易さを算出する。これにより実施形態のハンドリング装置１００によれば、吸着パッド６の個数又は位置が変更されても、把持容易さを学習するための教師データを改めて用いた再学習をせずに、適切なハンドリング動作を決定することができる。

例えば、物流現場では、大きな把持対象物１０２は、複数の吸着パッド６で吸着し、複数の小さな把持対象物１０２は、複数の吸着パッド６で同時に吸着すると、ピンキング自動作業の効率を向上させることができる。実施形態のハンドリング装置１００は、このような物流現場等で利用することができる。

最後に、実施形態のコントローラ３のハードウェア構成の例を示す図の例について説明する。

［ハードウェア構成の例］
図１３は実施形態のコントローラ３のハードウェア構成の例を示す図のハードウェア構成の例を示す図である。コントローラ３は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して接続されている。

なお、表示装置３０４、入力装置３０５及び通信装置３０６は備えていなくてもよい。例えば、コントローラ３が他の装置と接続される場合、当該他の装置の表示機能、入力機能及び通信機能を利用してもよい。

制御装置３０１は補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。制御装置３０１は、例えばＣＰＵ等の１以上のプロセッサである。主記憶装置３０２はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ等のメモリである。補助記憶装置３０３はメモリカード、及び、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。

表示装置３０４は情報を表示する。表示装置３０４は、例えば液晶ディスプレイである。入力装置３０５は、情報の入力を受け付ける。入力装置３０５は、例えばハードウェアキー等である。なお表示装置３０４及び入力装置３０５は、表示機能と入力機能とを兼ねる液晶タッチパネル等でもよい。通信装置３０６は他の装置と通信する。

コントローラ３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ、及び、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。

またコントローラ３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。またコントローラ３が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

またコントローラ３で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

コントローラ３で実行されるプログラムは、コントローラ３の機能のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。

プログラムにより実現される機能は、制御装置３０１が補助記憶装置３０３等の記憶媒体からプログラムを読み出して実行することにより、主記憶装置３０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置３０２上に生成される。

なおコントローラ３の機能の一部を、ＩＣ等のハードウェアにより実現してもよい。ＩＣは、例えば専用の処理を実行するプロセッサである。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ アーム
２ ハンドリングツール
３ コントローラ
４ カメラ
５ センサ
６ 吸着パッド
３１ 処理部
３２ 計画部
３３ 制御部
１００ ハンドリング装置
１０１ 物品コンテナ
１０２ 把持対象物
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 表示装置
３０５ 入力装置
３０６ 通信装置
３１０ バス
３２１ 評価部
３２２ 法線グリッド生成部
３２３ ハンドカーネル生成部
３２４ 計算部
３２５ 調整部
３３１ 変換部
３３２ フィルター部
３３３ 生成部

Claims (10)

1. 複数の吸着パッドを備えるハンドリングツールと、アームとを備えるマニピュレータと、
   １以上の把持対象物を含むＤｅｐｔｈ画像を点群に変換し、前記点群から、複数のグリッドに分割された前記把持対象物を含む空間データを生成し、前記グリッドに含まれる前記点群の法線ベクトルを、球面座標を用いて算出する法線グリッド生成部と、
   それぞれの前記吸着パッドのハンドカーネルを、それぞれの前記吸着パッドの前記ハンドリングツールにおける位置、及び、前記ハンドリングツールの姿勢に基づいて生成するハンドカーネル生成部と、
   前記空間データを含むグリッドと前記ハンドカーネルとを用いた３Ｄコンボリューション計算に基づいて、前記複数の吸着パッドによる前記把持対象物の把持容易さを算出する計算部と、
   前記複数の吸着パッドによる前記把持対象物の把持容易さに基づいて、前記マニピュレータの把持動作を制御する制御部と、を備え、
   前記ハンドカーネル生成部は、それぞれの前記吸着パッドの前記ハンドリングツールにおける位置、及び、前記ハンドリングツールの姿勢に基づいて、それぞれの前記吸着パッドのハンドカーネルを生成し、
   前記計算部は、前記空間データを含むグリッドと、それぞれの前記吸着パッドのハンドカーネルとを用いた３Ｄコンボリューション計算の値との差に基づいて、前記複数の吸着パッドによる前記把持対象物の把持容易さを算出する、
   ハンドリング装置。
2. 複数の吸着パッドを備えるハンドリングツールと、アームとを備えるマニピュレータと、
   １以上の把持対象物を含むＤｅｐｔｈ画像に基づいて、１つの吸着パッドによる前記把持対象物の把持容易さを示す評価値を算出する評価部と、
   前記Ｄｅｐｔｈ画像を点群に変換し、前記点群から、複数のグリッドに分割された前記把持対象物を含む空間データを生成し、前記グリッドに含まれる前記点群の法線ベクトルを、球面座標を用いて算出する法線グリッド生成部と、
   それぞれの前記吸着パッドのハンドカーネルを、それぞれの前記吸着パッドの前記ハンドリングツールにおける位置、及び、前記ハンドリングツールの姿勢に基づいて生成するハンドカーネル生成部と、
   前記空間データを含むグリッドと前記ハンドカーネルとを用いた３Ｄコンボリューション計算に基づいて、前記複数の吸着パッドによる前記把持対象物の把持容易さを算出する計算部と、
   前記複数の吸着パッドによる前記把持対象物の把持容易さに基づいて、前記マニピュレータの把持動作を制御する制御部と、を備え、
   前記法線グリッド生成部は、
   前記Ｄｅｐｔｈ画像を３次元点群データに変換する変換部と、
   前記３次元点群データから、前記評価値が閾値より小さい点を削除して、把持対象点群データを生成するフィルター部と、
   前記把持対象点群データから前記空間データを生成する生成部と、
   を備えるハンドリング装置。
3. 前記ハンドカーネル生成部は、前記ハンドリングツールの姿勢を球面座標の第１の角度と第２の角度とにより表現し、それぞれの前記吸着パッドについて、前記第１及び第２の角度に応じた前記ハンドカーネルを生成する、
   請求項１又は２に記載のハンドリング装置。
4. 前記計算部は、前記複数の吸着パッドによる前記把持対象物の把持容易さを、第１のヒートマップによって表現し、
   前記第１のヒートマップに基づいて、前記ハンドリングツールの姿勢と、前記ハンドリングツールによって前記把持対象物が把持される位置とを調整する調整部、
   を更に備える請求項１乃至３のいずれか１項に記載のハンドリング装置。
5. 前記評価部は、前記Ｄｅｐｔｈ画像の入力を受け付けると入力層と、前記評価値を示す第２のヒートマップを出力層とを有するニューラルネットワークを用いて、前記評価値を算出し、
   前記フィルター部は、前記第２のヒートマップから前記閾値より小さい点を特定し、前記３次元点群データから前記閾値より小さい点を削除して、前記把持対象点群データを生成する、
   請求項２に記載のハンドリング装置。
6. 複数の吸着パッドを備えるハンドリングツールと、アームとを備えるマニピュレータの制御に用いるものであって、
   １以上の把持対象物を含むＤｅｐｔｈ画像を点群に変換し、前記点群から、複数のグリッドに分割された前記把持対象物を含む空間データを生成し、前記グリッドに含まれる前記点群の法線ベクトルを、球面座標を用いて算出する法線グリッド生成部と、
   それぞれの前記吸着パッドのハンドカーネルを、それぞれの前記吸着パッドの前記ハンドリングツールにおける位置、及び、前記ハンドリングツールの姿勢に基づいて生成するハンドカーネル生成部と、
   前記空間データを含むグリッドと前記ハンドカーネルとを用いた３Ｄコンボリューション計算に基づいて、前記複数の吸着パッドによる前記把持対象物の把持容易さを算出する計算部と、を備え、
   前記ハンドカーネル生成部は、それぞれの前記吸着パッドの前記ハンドリングツールにおける位置、及び、前記ハンドリングツールの姿勢に基づいて、それぞれの前記吸着パッドのハンドカーネルを生成し、
   前記計算部は、前記空間データを含むグリッドと、それぞれの前記吸着パッドのハンドカーネルとを用いた３Ｄコンボリューション計算の値との差に基づいて、前記複数の吸着パッドによる前記把持対象物の把持容易さを算出する、
   処理装置。
7. 複数の吸着パッドを備えるハンドリングツールと、アームとを備えるマニピュレータの制御に用いるものであって、
   １以上の把持対象物を含むＤｅｐｔｈ画像に基づいて、１つの吸着パッドによる前記把持対象物の把持容易さを示す評価値を算出する評価部と、
   前記Ｄｅｐｔｈ画像を点群に変換し、前記点群から、複数のグリッドに分割された前記把持対象物を含む空間データを生成し、前記グリッドに含まれる前記点群の法線ベクトルを、球面座標を用いて算出する法線グリッド生成部と、
   それぞれの前記吸着パッドのハンドカーネルを、それぞれの前記吸着パッドの前記ハンドリングツールにおける位置、及び、前記ハンドリングツールの姿勢に基づいて生成するハンドカーネル生成部と、
   前記空間データを含むグリッドと前記ハンドカーネルとを用いた３Ｄコンボリューション計算に基づいて、前記複数の吸着パッドによる前記把持対象物の把持容易さを算出する計算部と、を備え、
   前記法線グリッド生成部は、
   前記Ｄｅｐｔｈ画像を３次元点群データに変換する変換部と、
   前記３次元点群データから、前記評価値が閾値より小さい点を削除して、把持対象点群データを生成するフィルター部と、
   前記把持対象点群データから前記空間データを生成する生成部、
   を備える処理装置。
8. 請求項６または７に記載の処理装置を用いて、前記複数の吸着パッドを備えるハンドリングツールと、前記アームとを備えるマニピュレータを制御するコントローラ。
9. 複数の吸着パッドを備えるハンドリングツールと、アームとを備えるマニピュレータを制御するコンピュータを、
   １以上の把持対象物を含むＤｅｐｔｈ画像を点群に変換し、前記点群から、複数のグリッドに分割された前記把持対象物を含む空間データを生成し、前記グリッドに含まれる前記点群の法線ベクトルを、球面座標を用いて算出する法線グリッド生成部と、
   それぞれの前記吸着パッドのハンドカーネルを、それぞれの前記吸着パッドの前記ハンドリングツールにおける位置、及び、前記ハンドリングツールの姿勢に基づいて生成するハンドカーネル生成部と、
   前記空間データを含むグリッドと前記ハンドカーネルとを用いた３Ｄコンボリューション計算に基づいて、前記複数の吸着パッドによる前記把持対象物の把持容易さを算出する計算部と、
   前記複数の吸着パッドによる前記把持対象物の把持容易さに基づいて、前記マニピュレータの把持動作を制御する制御部、として機能させ、
   前記ハンドカーネル生成部は、それぞれの前記吸着パッドの前記ハンドリングツールにおける位置、及び、前記ハンドリングツールの姿勢に基づいて、それぞれの前記吸着パッドのハンドカーネルを生成し、
   前記計算部は、前記空間データを含むグリッドと、それぞれの前記吸着パッドのハンドカーネルとを用いた３Ｄコンボリューション計算の値との差に基づいて、前記複数の吸着パッドによる前記把持対象物の把持容易さを算出する、
   プログラム。
10. 複数の吸着パッドを備えるハンドリングツールと、アームとを備えるマニピュレータを制御するコンピュータを、
    １以上の把持対象物を含むＤｅｐｔｈ画像に基づいて、１つの吸着パッドによる前記把持対象物の把持容易さを示す評価値を算出する評価部と、
    前記Ｄｅｐｔｈ画像を点群に変換し、前記点群から、複数のグリッドに分割された前記把持対象物を含む空間データを生成し、前記グリッドに含まれる前記点群の法線ベクトルを、球面座標を用いて算出する法線グリッド生成部と、
    それぞれの前記吸着パッドのハンドカーネルを、それぞれの前記吸着パッドの前記ハンドリングツールにおける位置、及び、前記ハンドリングツールの姿勢に基づいて生成するハンドカーネル生成部と、
    前記空間データを含むグリッドと前記ハンドカーネルとを用いた３Ｄコンボリューション計算に基づいて、前記複数の吸着パッドによる前記把持対象物の把持容易さを算出する計算部と、
    前記複数の吸着パッドによる前記把持対象物の把持容易さに基づいて、前記マニピュレータの把持動作を制御する制御部、として機能させ、
    前記法線グリッド生成部は、
    前記Ｄｅｐｔｈ画像を３次元点群データに変換する変換部と、
    前記３次元点群データから、前記評価値が閾値より小さい点を削除して、把持対象点群データを生成するフィルター部と、
    前記把持対象点群データから前記空間データを生成する生成部、
    として機能させるプログラム。

Images