JP2024019852A - ハンドリング装置、ハンドリング方法及びプログラム - Google Patents

Abstract

【課題】ニューラルネットワークにより得られる中間特徴をより有効に活用し、より少ない計算量でハンドリング装置の動作をより適切に制御できるようにする。【解決手段】実施形態のハンドリング装置は、特徴算出部と領域算出部とＧＣ算出部とを備える。特徴算出部は、把持対象物を含む画像センサ情報に基づき、画像の特徴を示す特徴マップを算出する。領域算出部は、前記特徴マップに基づき、前記把持対象物を把持可能なハンドリングツールの位置及び姿勢を、前記画像内の円形アンカー上の第１パラメータで算出する。ＧＣ算出部は、前記第１パラメータにより表された位置及び姿勢を、前記画像上の前記ハンドリングツールの位置及び姿勢を示す第２パラメータに変換することによって、前記ハンドリングツールのＧＣ（Ｇｒａｓｐ ｃｏｎｆｉｇｕｒａｔｉｏｎ）を算出する。【選択図】図５

Description

本発明の実施形態はハンドリング装置、ハンドリング方法及びプログラムに関する。

物流倉庫でバラ積みされた荷物などを扱うピッキング自動化システムなど、物体ハンドリング作業を自動化するロボットシステムが従来から知られている。このようなロボットシステムは、画像情報等のセンサデータを基に、物体の把持位置や姿勢、投入先の箱詰め位置や姿勢を自動的に算出し、把持機構を持つロボットが実際に把持や箱詰めを実行する。近年では、機械学習技術の発展により、学習によって、ロボットの適切な動作を実現する技術が利用されている。

特開２０１７－３０１３５号公報 特開２０１８－２０２５５０号公報 特開２０２１－６１０１４号公報 特開２０２０－７７２３１号公報 特許第７０２１１６０号公報

Ｗａｎｇ，Ｃ．ｅｔ ａｌ．（２０１９） "Ｄｅｎｓｅｆｕｓｉｏｎ： ６ｄ ｏｂｊｅｃｔ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｂｙ ｉｔｅｒａｔｉｖｅ ｄｅｎｓｅ ｆｕｓｉｏｎ" Ｒｅｎ，Ｚ．ｅｔ ａｌ．（２０２０） "Ｊｏｉｎｔ ｌｅａｒｎｉｎｇ ｏｆ ｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ＲＧＢ－Ｄ－ｂａｓｅｄ ｈｕｍａｎ ａｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ" Ｚｈｏｕ，Ｘ．ｅｔ ａｌ．（２０１８） "Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｇｒａｓｐ Ｄｅｔｅｃｔｉｏｎ Ｎｅｔｗｏｒｋ ｗｉｔｈ Ｏｒｉｅｎｔｅｄ Ａｎｃｈｏｒ Ｂｏｘ" Ｈｕ，Ｃ．ｅｔ ａｌ．（２０２１） "Ｇｒａｓｐ Ｐｏｓｅ Ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ ａ Ｓｉｎｇｌｅ ＲＧＢ Ｉｍａｇｅ" ＭｏｖｅＩｔ、［ｏｎｌｉｎｅ］、［令和４年６月２９日検索］、インターネット〈ＵＲＬ：ｈｔｔｐｓ：／／ｍｏｖｅｉｔ．ｒｏｓ．ｏｒｇ／〉

しかしながら、従来の技術では、ニューラルネットワークにより得られる中間特徴をより有効に活用し、より少ない計算量でハンドリング装置の動作をより適切に制御することができなかった。

実施形態のハンドリング装置は、特徴算出部と領域算出部とＧＣ算出部とを備える。特徴算出部は、把持対象物を含む画像センサ情報に基づき、画像の特徴を示す特徴マップを算出する。領域算出部は、前記特徴マップに基づき、前記把持対象物を把持可能なハンドリングツールの位置及び姿勢を、前記画像内の円形アンカー上の第１パラメータで算出する。ＧＣ算出部は、前記第１パラメータにより表された位置及び姿勢を、前記画像上の前記ハンドリングツールの位置及び姿勢を示す第２パラメータに変換することによって、前記ハンドリングツールのＧＣ（Ｇｒａｓｐ ｃｏｎｆｉｇｕｒａｔｉｏｎ）を算出する。

実施形態のハンドリングシステム１００の構成の例を示す概略図。 実施形態のコントローラの機能構成の例を示す図。 実施形態の計画部の機能構成の例を示す図。 実施形態のＧＣの例を示す図。 実施形態のＧＣ候補算出部の機能構成の例を示す図。 実施形態の特徴算出部の処理の例を示す図。 実施形態のＧＣ領域算出部の処理の例を示す図。 実施形態のハンドリング方法の例を示すフローチャート。 実施形態のコントローラのハードウェア構成の例を示す図。

以下に添付図面を参照して、ハンドリング装置、ハンドリング方法及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
はじめに、物体ハンドリングロボットの一例であるハンドリング装置（ピッキングロボット）とロボット統合管理システムとを備えるハンドリングシステムの概要について説明する。

［全体概要］
図１は、実施形態のハンドリングシステム１００の構成の例を示す概略図である。実施形態のハンドリングシステム１００は、ハンドリング装置（マニピュレータ１、筐体２及びコントローラ３）、センサ支持部４、物品コンテナ用センサ５、把持物品計測用センサ６、集荷コンテナ用センサ７、一時置場用センサ８、物品コンテナ引き込み部９、物品コンテナ用重量計１０、集荷コンテナ引き込み部１１及び集荷用重量計１２を備える。

センサ支持部４は、センサ類（物品コンテナ用センサ５、把持物品計測用センサ６、集荷コンテナ用センサ７及び一時置場用センサ８）を支持する。

物品コンテナ用センサ５は、物品コンテナ１０１の内部の状態を計測する。物品コンテナ用センサ５は、例えば物品コンテナ引き込み部９の上部に設置された画像センサである。

把持物品計測用センサ６は、物品コンテナ用センサ５の付近に設置され、マニピュレータ１が把持した物体を計測する。

集荷コンテナ用センサ７は、集荷用コンテナの内部の状態を計測する。集荷コンテナ用センサ７は、例えば集荷コンテナ引き込み部１１の上部に設置された画像センサである。

一時置場用センサ８は、一時置場１０３に置かれた物品を計測する。

物品コンテナ引き込み部９は、ハンドリング対象の物品が保管された物品コンテナ１０１を引き込む。

物品コンテナ用重量計１０は、物品コンテナ１０１の重量を計測する。

集荷コンテナ引き込み部１１は、マニピュレータ１により取り出された物品を収める集荷コンテナ１０２を引き込む。

集荷コンテナ用重量計１２は、集荷コンテナ１０２の重量を計測する。

なお、物品コンテナ用センサ５、把持物品計測用センサ６、集荷コンテナ用センサ７及び一時置場用センサ８は、任意のセンサでよい。例えば、ＲＧＢ画像カメラ、距離画像カメラ、レーザーレンジファインダ、及び、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）など、画像情報及び３次元情報等が取得可能なセンサが用いられる。

なお、図１の概略図では、図示されていないが、上記以外にも、実施形態のハンドリングシステム１００は、各種センサ、各種駆動部を動作させるための電源部、圧縮空気をためるボンベ、コンプレッサー、真空ポンプ、コントローラ及びＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等の外部インターフェース、並びに、ライトカーテンや衝突検知器などの安全機構を備える。

マニピュレータ１は、アーム部とハンドリング（ピッキング）ツール部１４とで構成される。

アーム部は、複数のサーボモータで駆動される多関節ロボットである。これは、図１に示すような６軸（軸１３ａ～１３ｆ）の垂直多関節ロボットを代表例として、多軸の垂直多関節ロボット、スカラロボット及び直動ロボット等の組み合わせで構成される。

ハンドリングツール部１４は、力センサ及び挟持機構を備え、把持対象物を把持する。

ロボット統合管理システム１５は、ハンドリングシステム１００を管理するシステムである。ハンドリングツール部１４は、ハンドリングツールチェンジャーを用いることで、把持対象物を把持するアーム部が着脱可能となる。ハンドリングツール部１４は、ロボット統合管理システム１５からの指示に従って、任意のハンドリングツール部１４に交換することが可能である。

図２は実施形態のコントローラ３の機能構成の例を示す図である。実施形態のコントローラ３は、処理部３１、計画部３２及び制御部３３を備える。

処理部３１は、カメラで撮像された画像センサ情報のノイズ除去処理と、物体以外の情報（例えば物品コンテナと地面など）の背景除外処理と、計画部３２に入力される画像を生成するための画像リサイズと、正規化処理とを行う。例えば、処理部３１は、処理された画像センサ情報として、ＲＧＢ－Ｄ画像を計画部３２に入力する。

計画部３２は、深層学習により、画像座標系におけるハンドリングツール部１４の把持対象物を把持する可能性が高いｇｒａｓｐ ｃｏｎｆｉｇｕｒａｔｉｏｎ（ＧＣ）の候補群を算出する。そして、計画部３２は、各候補を６Ｄの把持姿勢に変換する。６Ｄの把持姿勢は、位置を示す３次元座標と、姿勢を示す３次元座標とを含む。計画部３２は、各６Ｄの把持候補姿勢の把持容易さを評価し、容易さのスコアの上位の候補群または一番高い候補を算出する。さらに、計画部３２は、マニピュレータ１の初期姿勢から、上位の候補群または最適な把持姿勢までの軌道を生成し、制御部３３へ送信する。

制御部３３は、計画部３２から受信された軌道に基づき、マニピュレータ１の各関節の位置、速度及び加速度の時系列を生成し、マニピュレータ１に把持対象物体を把持させる行動を制御する。また、制御部３３は、把持動作の成功または動作実行回数の上限までコントローラ３を繰り返して機能させる。

図３は実施形態の計画部３２の機能構成の例を示す図である。実施形態の計画部３２は、ＧＣ候補算出部３２１、姿勢算出部３２２、評価部３２３及び生成部３２４を備える。

ＧＣ候補算出部３２１は、深層学習によるＧＣの候補群を算出する。

図４は実施形態のＧＣの例を示す図である。図４の例は、真上から把持対象物１０４を把持する際に、ハンドリングツール部１４の把持姿勢を画像へ投影した場合のＧＣを示す。例えば、ＧＣは画像上でｒｏｔａｔｅｄ ｂｏｕｎｄｉｎｇ ｂｏｘ［ｘ，ｙ，ｗ，ｈ，θ］により表現される。Ｘ及びｙはハンドリングツール部１４の中心、ｗはハンドリングツール部１４の開き幅、ｈはハンドリングツール部１４の指の幅、θはＧＣの開き幅ｗが画像水平軸とのなす角度である。

図１に戻り、姿勢算出部３２２は、ＧＣ候補算出部３２１で算出されたＧＣ（［ｘ，ｙ，ｗ，ｈ，θ］）をハンドリングツール部１４の６Ｄのワールド姿勢（［Ｘ，Ｙ，Ｚ，ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ］）に変換する。ＧＣ及び６Ｄ姿勢の関係は、Ｄｅｐｔｈ画像（Ｉ_{Ｄｅｐｔｈ}）と、カメラ行列（ＩＣ）と、カメラのワールド座標系における位置姿勢（Ｔ_ｃａｍ ^{ｗｏｒｌｄ}）の情報とに基づき、下記式（１）乃至（４）で表現される。なお、行列Ｔ_ｃａｍ ^{ｗｏｒｌｄ}に含まれる行列Ｒｏｔ_ｃａｍ ^{ｗｏｒｌｄ}は、３×３サイズのカメラの回転行列であり、Ｔｒａｎｓ_ｃａｍ ^{ｗｏｒｌｄ}は、カメラの位置を示す３行１列のベクトルである。

上記式（１）乃至（４）によって、ＧＣと６Ｄ姿勢とのお互いの変換が可能となる。Ｄ_挿入量はハンドリングツール部１４で把持する際の挿入量であり、固定値または把持対象物１０４の形状及び大きさなどによって決められる。

また、姿勢に加え、ハンドリングツール部１４のワールド座標系における開き幅Ｗも、開き幅Ｗの画像上の投影ｗの線分の端点を式（３）によるワールド座標に変換し、端点間の距離を計算すれば簡単に求められる。

評価部３２３はハンドリングツール部１４の姿勢で把持対象物１０４を把持する際の容易さを評価する。把持しやすさのスコアは、例えば把持の可能性、安定性及び安全性を複合的に考慮したヒューリスティック的な評価式によって算出される。また、把持しやすさのスコアは直接に深層学習用いても求められる（例えば特許文献５参照）。評価部３２３は、容易さのスコアを高さ順でソーティングし、上位の候補群または一番高い候補を算出する。

生成部３２４は、経路計画のプランナー、例えば、ＭｏｖｅＩｔ（非特許文献５）を用い、マニピュレータ１が初期姿勢から、上述の上位または最適なハンドリングツール部１４の姿勢までの軌道を生成し、軌道と容易さのスコアとを制御部３３へ送信する。

図５は実施形態のＧＣ候補算出部３２１の機能構成の例を示す図である。実施形態のＧＣ候補算出部３２１は、特徴算出部３２１１、位置ヒートマップ算出部３２１２、領域算出部３２１３、ＧＣ領域算出部３２１４及びＧＣ算出部３２１５を備える。

特徴算出部３２１１は、処理部３１からＲＧＢ－Ｄ画像の入力を受け付けると、当該画像の特徴マップを算出する。具体的には、特徴算出部３２１１は、ラストの特徴だけでなく中間特徴も融合（フュージョン）するニューラルネットワークを用いることによって、特徴学習の精度を向上させる。なお、従来の技術では、ニューラルネットワークで算出された画像（例えば、複数のセンサ情報のラスト特徴マップ）を直接にフュージョンすることによって特徴が算出されるので、学習結果の精度への中間特徴の役割が考慮されていなかった。

特徴算出部３２１１は、複数の画像センサ情報の入力を受け付け、複数の画像センサ情報から複数の特徴抽出器により抽出された複数の中間特徴を統合し、畳み込み計算によって、複数の中間特徴を含む複数の画像センサ情報の特徴を融合させることによって、特徴マップを算出する。例えば、複数の画像センサ情報は、画像の色彩を示すカラー画像と、画像に含まれる被写体の距離を示す距離画像とを含む。例えば、複数の特徴抽出器は、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒモデル構造を持つニューラルネットワークにより実現される。

図６は実施形態の特徴算出部３２１１の処理の例を示す図である。図６の例は、特徴算出部３２１１がＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒモデル構造を持つニューラルネットワークを用いる場合を示す。具体的には、図６上部にある三角形のネットワークは、左半分が、カラー画像Ｉ_ＲＧＢの特徴を抽出するエンコーダの処理を示す構造を持ち、右半分が、カラー画像Ｉ_ＲＧＢを復元するデコーダの処理を示す構造を持っている。同様に、図６下部にある三角形のネットワークは、左半分が距離画像Ｉ_{Ｄｅｐｔｈ}の特徴を抽出するエンコーダの処理を示す構造を持ち、右半分が、距離画像Ｉ_{Ｄｅｐｔｈ}を復元するデコーダの処理を示す構造を持っている。

実施形態では、下記式（５）によって、エンコーダで得られた中間特徴（Ｘ_ＲＧＢ ^ｉ，ｊ及びＸ_ｄ ^ｉ，ｊ；ｉ，ｊ＝｛（０，０），（０，１），（０，２），（１，０），（１，１），（２，０），（２，１），（３，０），（４，０）｝）をフュージョンし、畳み込み計算（Ｃｏｎｖ）による特徴マップを算出する。

図５に戻り、領域算出部３２１３は上記特徴マップに基づき、ＧＣの円形アンカー（ａｎｃｈｏｒ）上の表現をニューラルネットワークで算出する。なお、従来の技術では、ボックス形状のアンカーが、画像全体に対して所定の間隔で生成され、当該アンカーに対する相対位置と相対回転角度とが学習される。この場合、画像全体に対するアンカーが生成されるので計算量が多くなる。また、複数の大きさかつ複数の回転角度のボックスを生成する必要があり、パラメータの数も多くなる。

そこで、本実施形態のＧＣ候補算出部３２１では、位置ヒートマップ算出部３２１２が、画像全体のかわりに、把持対象物１０４の位置を示す位置ヒートマップを算出する。実施形態の領域算出部３２１３は、位置ヒートマップに基づき、特徴マップ上の円形アンカーを検出し、検出された円形アンカー上で第１パラメータを算出するニューラルネットワークにより実現される。領域算出部３２１３が、位置ヒートマップのスコアが高い領域（閾値より大きい領域）に円形アンカーを生成することにより、円形アンカーが生成される領域を絞られ、計算量を減らせる。また、図５に示すように、大きさの異なる複数のアンカーが用いられることによって、大きさの異なる把持対象物１０４に対応することができる。

位置ヒートマップ算出部３２１２は、画像を入力とするニューラルネットワーク（例えば、Ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ（ＦＣＮ）、及び、Ｕ－Ｎｅｔ）によって、位置ヒートマップを算出する。位置ヒートマップのグラウンドトルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）はＧＣのｘ及びｙから求められる。例えば、位置ヒートマップ内各点の値は、各点の位置からｘ及びｙまでのｇａｕｓｓｉａｎ距離で評価される。

また、本実施形態では円形形状のアンカーを用いる。円形形状の場合は、ボックス形状の場合とは異なり、角度は考慮しなくてよく、複数の大きさの円だけ生成すれば良いので、パラメータの数を減らすことができる。これにより、学習の効率を向上させることができる。

一方で、本実施形態では、回転角度の単位はピクセルではなく、境界のところは不連続による不正確な損失関数の値が生じる可能性があるため、角度の学習は難しくなる。そこで、領域算出部３２１３は角度のかわりに、ＧＣの外接円の中心（Ｃｘ，Ｃｙ）及び半径（Ｒ）と、ＧＣの短辺の中点（例えばｈの中心）の当該円中心に対する座標（ｄＲｘ，ｄＲｙ）を学習することによって、学習の性能を向上させる。

図７は実施形態のＧＣ領域算出部３２１４の処理の例を示す図である。領域算出部３２１３は、学習で求められた上述のＧＣの円形アンカー上の表現を、下記式（６）でＧＣの大まかな領域（［ｘ’，ｙ’，ｗ’，ｈ’，θ’］）に変換する。

図５に戻り、ＧＣ算出部３２１５は、ＧＣ領域算出部３２１４によってＧＣの大まかな領域が算出されると、特徴マップからＧＣの大まかな領域内の特徴を抽出し、Ｒｏｔａｔｅｄ ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ） ａｌｉｇｎによる特徴のプーリング（ｐｏｏｌｉｎｇ）及びアライン（ａｌｉｇｎ）を行う。そして、ＧＣ算出部３２１５は、プーリング及びアラインが行われた特徴を、ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ（図５の例では、ｆｃ１及びｆｃ２）に入力し、ＧＣの値（［ｘ，ｙ，ｗ，ｈ，θ］）と、把持可能の確率ｐ_ｏと、把持不可能の確率ｐ_１とを算出する。

図８は実施形態のハンドリング方法の例を示すフローチャートである。はじめに、特徴算出部３２１１が、把持対象物１０４を含む画像センサ情報に基づき、画像の特徴を示す特徴マップを算出する（ステップＳ１）。

次に、領域算出部３２１３が、ステップＳ１で算出された特徴マップに基づき、把持対象物１０４を把持可能なハンドリングツール部１４の位置及び姿勢を、画像内の円形アンカー上の第１パラメータで算出する（ステップＳ２）。上述の図７の例では、第１パラメータは、円形アンカーの中心を示すパラメータＣ_ｘ及びＣ_ｙと、円形アンカーの半径を示すパラメータＲとを含む。

次に、ＧＣ算出部３２１５が、ステップＳ２で算出された第１パラメータで表された位置及び姿勢を、画像上のハンドリングツール部１４の位置及び姿勢を示す第２パラメータに変換することによって、ハンドリングツール部１４のＧＣを算出する（ステップＳ３）。具体的には、ＧＣ算出部３２１５は、円形アンカーを外接円とするＧＣの辺の中点を示すパラメータ（図７の例では、ｄＲ_ｘ及びｄＲ_ｙ）と、円形アンカーの中心を示すパラメータ（図７の例では、Ｃ_ｘ及びＣ_ｙ）と、円形アンカーの半径を示すパラメータ（図７の例では、Ｒ）とから、第２パラメータ（上述の式（６）の［ｘ，ｙ，ｗ，ｈ，θ］）を算出する。

なお、上述の実施形態のハンドリング方法は、挟持型ハンドリングツールだけではなく、画像上で回転のｂｏｕｎｄｉｎｇ ｂｏｘ［ｘ，ｙ，ｗ，ｈ，θ］で表現できる任意のハンドリングツールに適用できる。

以上、説明したように、実施形態のハンドリング装置（マニピュレータ１、筐体２及びコントローラ３）によれば、ニューラルネットワークにより得られる中間特徴（例えば図６参照）をより有効に活用し、より少ない計算量でハンドリング装置の動作をより適切に制御することができる。

従来の技術では、ハンドリングツールの姿勢の画像上の表現となるｂｏｘの回転角度を学習する必要があった。回転角度を学習するために、多数の回転されている候補ｂｏｘを生成したり、または回転角度をクラス化（角度から高次元のｏｎｅ－ｈｏｔベクトルに変換する）したりする必要があるので、計算量が膨大である。一方、回転角度を学習する際に、ｂｏｘの対称性により、同じ回転ｂｏｘに対して二つの回転角度（例えば、回転角度０度のｂｏｘは回転角度１８０度のｂｏｘと画像上の表現が同じとなる）が存在しているため、学習が難しかった。

最後に、実施形態のコントローラ３のハードウェア構成の例を示す図の例について説明する。

［ハードウェア構成の例］
図９は実施形態のコントローラ３のハードウェア構成の例を示す図のハードウェア構成の例を示す図である。実施形態のコントローラ３は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して接続されている。

なお、表示装置３０４、入力装置３０５及び通信装置３０６は備えていなくてもよい。例えば、コントローラ３が他の装置と接続される場合、当該他の装置の表示機能、入力機能及び通信機能を利用してもよい。

制御装置３０１は補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。制御装置３０１は、例えばＣＰＵ等の１以上のプロセッサである。主記憶装置３０２はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ等のメモリである。補助記憶装置３０３はメモリカード、及び、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。

表示装置３０４は情報を表示する。表示装置３０４は、例えば液晶ディスプレイである。入力装置３０５は、情報の入力を受け付ける。入力装置３０５は、例えばハードウェアキー等である。なお表示装置３０４及び入力装置３０５は、表示機能と入力機能とを兼ねる液晶タッチパネル等でもよい。通信装置３０６は他の装置と通信する。

コントローラ３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ、及び、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。

またコントローラ３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。またコントローラ３が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

またコントローラ３で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

コントローラ３で実行されるプログラムは、コントローラ３の機能のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。

プログラムにより実現される機能は、制御装置３０１が補助記憶装置３０３等の記憶媒体からプログラムを読み出して実行することにより、主記憶装置３０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置３０２上に生成される。

なおコントローラ３の機能の一部を、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。ＩＣは、例えば専用の処理を実行するプロセッサである。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ マニピュレータ
２ 筐体
３ コントローラ
４ センサ支持部
５ 物品コンテナ用センサ
６ 把持物品計測用センサ
７ 集荷コンテナ用センサ
８ 一時置場用センサ
９ 物品コンテナ引き込み部
１０ 物品コンテナ用重量計
１１ 集荷コンテナ引き込み部
１２ 集荷用重量計
１３ 軸
１４ ハンドリングツール部
１５ ロボット統合管理システム
３１ 処理部
３２ 計画部
３３ 制御部
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 表示装置
３０５ 入力装置
３０６ 通信装置
３１０ バス
３２１ ＧＣ候補算出部
３２２ 姿勢算出部
３２３ 評価部
３２４ 生成部
３２１１ 特徴算出部
３２１２ 位置ヒートマップ算出部
３２１３ 領域算出部
３２１４ ＧＣ領域算出部
３２１５ ＧＣ算出部

Claims (7)

1. 把持対象物を含む画像センサ情報に基づき、画像の特徴を示す特徴マップを算出する特徴算出部と、
   前記特徴マップに基づき、前記把持対象物を把持可能なハンドリングツールの位置及び姿勢を、前記画像内の円形アンカー上の第１パラメータで算出する領域算出部と、
   前記第１パラメータにより表された位置及び姿勢を、前記画像上の前記ハンドリングツールの位置及び姿勢を示す第２パラメータに変換することによって、前記ハンドリングツールのＧＣ（Ｇｒａｓｐ ｃｏｎｆｉｇｕｒａｔｉｏｎ）を算出するＧＣ算出部と、
   を備えるハンドリング装置。
2. 前記特徴算出部は、複数の画像センサ情報の入力を受け付け、前記複数の画像センサ情報から複数の特徴抽出器により抽出された複数の中間特徴を統合し、畳み込み計算によって、前記複数の中間特徴を含む前記複数の画像センサ情報の特徴を融合させることによって、前記特徴マップを算出する、
   請求項１に記載のハンドリング装置。
3. 前記複数の画像センサ情報は、前記画像の色彩を示すカラー画像と、前記画像に含まれる被写体の距離を示す距離画像とを含み、
   前記複数の特徴抽出器は、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒモデル構造を持つニューラルネットワークにより実現される、
   請求項２に記載のハンドリング装置。
4. 前記持対象物の位置を示す位置ヒートマップを算出する位置ヒートマップ算出部を更に備え、
   前記領域算出部は、前記位置ヒートマップに基づき、前記特徴マップ上の前記円形アンカーを検出し、前記検出された円形アンカー上で第１パラメータを算出するニューラルネットワークにより実現される、
   請求項１乃至３のいずれか１項に記載のハンドリング装置。
5. 前記第１パラメータは、前記円形アンカーの中心を示すパラメータと、前記円形アンカーの半径を示すパラメータとを含み、
   前記ＧＣ算出部は、前記円形アンカーを外接円とする前記ＧＣの辺の中点を示すパラメータと、前記円形アンカーの中心を示すパラメータと、前記円形アンカーの半径を示すパラメータとから、前記第２パラメータを算出する、
   請求項１乃至３のいずれか１項に記載のハンドリング装置。
6. ハンドリング装置が、把持対象物を含む画像センサ情報に基づき、画像の特徴を示す特徴マップを算出するステップと、
   前記ハンドリング装置が、前記特徴マップに基づき、前記把持対象物を把持可能なハンドリングツールの位置及び姿勢を、前記画像内の円形アンカー上の第１パラメータで算出するステップと、
   前記ハンドリング装置が、前記第１パラメータにより表された位置及び姿勢を、前記画像上の前記ハンドリングツールの位置及び姿勢を示す第２パラメータに変換することによって、前記ハンドリングツールのＧＣ（Ｇｒａｓｐ ｃｏｎｆｉｇｕｒａｔｉｏｎ）を算出するステップと、
   を含むハンドリング方法。
7. コンピュータを、
   把持対象物を含む画像センサ情報に基づき、画像の特徴を示す特徴マップを算出する特徴算出部と、
   前記特徴マップに基づき、前記把持対象物を把持可能なハンドリングツールの位置及び姿勢を、前記画像内の円形アンカー上の第１パラメータで算出する領域算出部と、
   前記第１パラメータにより表された位置及び姿勢を、前記画像上の前記ハンドリングツールの位置及び姿勢を示す第２パラメータに変換することによって、前記ハンドリングツールのＧＣ（Ｇｒａｓｐ ｃｏｎｆｉｇｕｒａｔｉｏｎ）を算出するＧＣ算出部、
   として機能させるためのプログラム。

Images