WO2021001882A1

WO2021001882A1 - 情報処理装置及び情報処理方法

Info

Publication number: WO2021001882A1
Application number: PCT/JP2019/026091
Authority: WO
Inventors: 昂宏長谷川; 有貴仁科; 丸山　裕
Original assignee: オムロン株式会社
Priority date: 2019-07-01
Filing date: 2019-07-01
Publication date: 2021-01-07
Also published as: JPWO2021001882A1; JP7264247B2

Abstract

吸着パッドの大きさに基づいて、評価指標を評価するためのパラメータを設定するパラメータ設定部と、対象物体の３次元計測データに基づき、平面領域を抽出する平面領域抽出部と、平面領域に対する評価指標の評価結果に基づき、吸着把持尤度を算出する吸着把持尤度算出部と、吸着ハンドの位置姿勢を算出する吸着把持位置姿勢算出部と、吸着把持位置の優先順位を設定する把持優先順位設定部とを備える情報処理装置。

Description

情報処理装置及び情報処理方法

　本発明は、情報処理装置及び情報処理方法に関する。

　従来、ＦＡ（Factory Automation）における検査やピッキングにおいて、画像から物体を認識（検出）する方法として、３ＤＣＡＤデータによる物体のモデルを用いて、物体の位置姿勢を認識してから、ロボットハンドによる把持位置の推定を行う技術が提案されている。物体がボルトやナットのような剛体である場合には物体の形状が定まっているため、３ＤＣＡＤデータによる物体のモデルによって、コンテナにばら積みされた物体の位置姿勢を認識した上で、ロボットハンドによる把持位置の推定を行う。

　一方で、このような物体のモデルを用いることなく、物体の３次元計測データとロボットハンドの形状から物体の把持可能な位置を認識する技術も提案されている。このような技術は、物体がボルトやナットのような剛体である場合にも有効であるが、可撓性を有するケーブルのような非剛体物体や、液体洗剤のパッケージのように不定形状の物体の場合のように、３ＤＣＡＤデータによる物体のモデルを用いることができない物体に対しても有効である。

　物体の３次元計測データから物体の把持可能な位置を認識する技術としては、例えば、特許文献１に記載された技術がある。ここでは、３次元点群から、隣接する点からなる３次元点集合を作成し、各集合で、所定の大きさの基準、所定の面積の基準及び所定の長さの基準に基づいて、把持可能な３次元点集合を抽出している。

　また、物体の３次元計測データとロボットハンドの形状から、物体の把持可能な位置を認識する技術として、例えば、特許文献２に記載された技術がある。ここでは、ロボットハンドの形状に応じて、物体の３次元計測データから、把持可能な特徴を抽出している。そして、この特徴とロボットハンドの形状モデルとのマッチングをとり、一致度に応じたマッチングスコアを付与し、マッチングスコアに基づいて、ロボットンハンドによって物体を把持する際の把持位置勢候補としての優先順位を決定している。吸着タイプのロボットハンドに対しては、一定領域以上の面を特徴として抽出している。

　しかし、上述のように、吸着タイプのロボットハンドに対して、所定の面積等の基準は、吸着把持の可否又は優劣を決定する基準であるが、物体のモデルを用いることなく、３元次元計測データとロボットハンドの形状から物体の把持可能な位置を認識する場合には、所定の基準を満たしているか否かを判断するための閾値パラメータをユーザが調整する必要がある。また、このようなパラメータ調整には、ばら積み物体の把持における知識や経験が必要であり、把持対象の物体が変わるごとにパラメータを調整する必要があり、これらもユーザの負担となる。

特開２０１７－０９０３１７号公報特開２００６－２７５６０８号公報

　本発明は、上記実情に鑑みてなされたものであり、対象物体の吸着把持可能な位置を認識する際のユーザの負担を軽減することが可能な技術を提供することを目的とする。

　上記の課題を解決するための本発明は、
　対象物体を吸着把持する吸着ハンドに設けられた吸着パッドの大きさに基づいて、前記対象物体に対する吸着把持位置を評価する指標である評価指標を評価するためのパラメータを設定するパラメータ設定部と、
　前記対象物体を３次元計測して得られた３次元計測データに基づき、平面領域を抽出する平面領域抽出部と、
　抽出された前記平面領域に対する前記評価指標の評価結果に基づき、吸着把持のしやすさを示す吸着把持尤度を算出する吸着把持尤度算出部と、
　前記対象物体における前記吸着把持位置に対する前記吸着ハンドの位置姿勢を算出する吸着把持位置姿勢算出部と、
　前記吸着把持尤度と前記吸着ハンドの把持位置姿勢に基づいて、前記吸着把持位置の優先順位を設定する把持優先順位設定部と
を備えたことを特徴とする情報処理装置である。

　評価指標を評価するためのパラメータは対象物体の平面領域の面積に依存することが多い。このため、このような平面領域の面積は吸着パッドの大きさと類似する関係にあると仮定し、本発明では、吸着把持尤度の算出に用いられる評価指標を評価するためのパラメータを、対象物体を吸着把持する吸着ハンドに設けられた吸着パッドの大きさに基づいて設定する。吸着パッドの大きさは、吸着把持に用いられる吸着パッドの大きさをユーザが実測したり、仕様書の記載を参照等したりすることにより、把持位置認識に関する知識や経験に乏しいユーザでも適切に設定することができる。対象物体の３次元計測データから抽出される平面領域に対して、設定されたパラメータを用いて評価指標を評価することにより、吸着把持尤度を算出する。従って、本発明によれば、対象物体の吸着把持可能な位置を認識する際のユーザの負担を軽減することができる。

　また、本発明においては、
　前記吸着パッドの大きさに基づくパラメータは、前記吸着パッドの直径に基づいて定められた値であるようにしてもよい。

　これによれば、吸着パッドが円形である場合に、吸着パッドの直径によって吸着パッドの大きさを適切に反映するパラメータを設定することができる。

　また、本発明においては、前記吸着パッドの大きさに基づくパラメータは、前記吸着パッドに外接する矩形の短辺の長さに基づいて定められる値であるようにしてもよい。

　これによれば、吸着パッドが円形以外の長円等の形状を有する場合や、複数の吸着パッドを有する場合に、吸着パッドに外接する矩形の短辺の長さによって吸着パッドの大きさを適切に反映するパラメータを設定することができる。

　また、本発明においては、前記評価指標は、前記平面領域の重心からの距離を含むようにしてもよい。

　吸着把持位置が平面領域の重心に近いほど、対象物体の重量による偏りが少なく吸着把持しやすいので、このように、評価指標が平面領域の重心からの距離を含むようにすれば、吸着把持のしやすさを適切に評価することができる。

　また、本発明においては、前記評価指標は、前記平面領域ではない非平面領域からの距離を含むようにしてもよい。

　対象物体が穴の開いたリング状である場合のように、平面領域の重心からの距離によって吸着把持のしやすさを適切に評価しづらい場合についても、評価指標が非平面領域からの距離を含むようにすれば、吸着把持のしやすさを適切に評価することができる。

　また、本発明においては、前記評価指標は、前記平面領域の面積を含むようにしてもよい。

　対象物体の平面領域の面積が大きいほど形状が単純である可能性が高いため、吸着把持がしやすい。また、複数の対象物体がばら積みされている場合には、平面領域の面積が大きいと他の対象物体物体が上に重なっている可能性が低いため、吸着把持がしやすい。従って、評価指標が平面領域の面積を含むようにすれば、吸着把持のしやすさを適切に評価することができる。

　また、本発明は、
　対象物体を吸着把持する吸着ハンドに設けられた吸着パッドの大きさに基づいて、前記対象物体に対する吸着把持位置を評価する指標である評価指標を評価するためのパラメータを設定するステップと、
　複数の対象物体を含むシーンを３次元計測して得られた３次元計測データに基づき、平面領域を抽出するステップと、
　抽出された前記平面領域に対する前記評価指標の評価結果に基づき、吸着把持のしやすさを示す吸着把持尤度を算出するステップと、
　前記対象物体における前記吸着把持位置に対する前記吸着ハンドの位置姿勢を算出するステップと、
　前記吸着把持尤度と前記吸着ハンドの把持位置姿勢に基づいて、前記吸着把持位置の優先順位を設定するステップと、
を含む情報処理方法である。

　本発明によれば、対象物体の吸着把持可能な位置を認識する際のユーザの負担を軽減することが可能となる。

図１は把持位置認識装置の全体構成の一例を示す図である。図２は情報処理装置の機能ブロック図である。図３は把持認識処理の一例を示すフローチャートである。図４は吸着パッドの概形図である。図５は対象物体がばら積みされたトレイを示す図である。図６はセグメントの抽出例を示す図である。図７は吸着尤度算出処理の一例を示すフローチャートである。図８Ａ及びＢは吸着把持位置のセグメントの重心との距離を示す図であり、図８Ｃは吸着把持位置の例を示す図である。図９Ａは画素とセグメントの関係を示す模式図であり、図９Ｂはセグメントの重心の距離による吸着把持位置の分類例を示す模式図である。図１０Ａ及びＢは吸着把持位置の非平面領域との距離を示す図であり、図１０Ｃは吸着把持位置の例を示す図である。図１１Ａ，Ｂ及びＣは、吸着把持位置の非平面領域からの距離による分類の利点の説明図である。図１２は非平面領域までの距離による吸着把持位置の分類例を示す図である。図１３Ａ及びＢはセグメントの面積を示す模式図であり、図１３Ｃは吸着把持位置の例を示す図である。図Ａ，Ｂ及びＣは、セグメントの面積による吸着把持位置の分類例を示す図である。図１５は吸着把持尤度の算出例を示す図でる。図１６は吸着ハンドの把持位置姿勢算出を模式的に示す図である。図１７Ａ及びＢは吸着ハンドの把持位置候補の優先順位の算出例を示す図である。図１８は吸着ハンドの把持位置候補の優先順位の例を示す図である。図１９Ａ，Ｂ及びＣは他の形態の吸着パッドを示す図である。図２０Ａ及びＢは他の形態の吸着パッドに対するパラメータを示す図である。

〔適用例〕
　以下、本発明の適用例について、図面を参照しつつ説明する。
　本発明は、図１に全体構成を示す把持位置認識装置２に含まれる情報処理装置２１に適用される。把持位置認識装置２では、センサユニット２０によってトレイ２８にばら積みされた複数の対象物体２９を３次元計測し、情報処理装置２１が複数の対象物体２９の３次元計測データに基づき、対象物体２９の吸着把持のしやすさを示す吸着把持尤度に従って、吸着把持位置を優先順位づけしてＰＬＣ２５に出力する。ＰＬＣ２５は、この優先順位に基づいてロボットハンド２７を制御し、吸着パッド２６によって対象物体２９を吸着把持する。
　情報処理装置２１では、上述のように吸着パッド２６を装着したロボットハンド２７によって対象物体２９を吸着把持する際の吸着把持尤度を複数の吸着把持指標から総合的に算出している。ここで、吸着把持尤度とは、対象物体の吸着把持のしやすさを示す指標であり、一般的には、吸着把持可能性ともいわれる。対象物体の吸着把持のしやすさとは、吸着パッドを備えた吸着ハンドによって対象物体を吸着する際に、吸着パッドによって対象物体を適切に把持できる可能性の高さを意味する。すなわち、他の場所に搬送する等の所望の吸着ハンドの動作に必要な態様で、吸着パッドが対象物体を確実に吸着把持できる可能性の高さである。逆に言えば、対象物体の吸着把持のしやすさとは、対象物体の吸着把持に失敗する可能性の低さを意味する。例えば、吸着パッドが対象物体を適切に吸着していないために対象物体を持ち上げることができなかったり、吸着パッドによって対象物体を一旦吸着したものの、他の対象物体や障害物と干渉して脱落させたり、対象物体のバランスをくずして脱落させたりして、吸着把持に失敗する可能性の低さである。

　本発明では、吸着把持指標によって評価するためのパラメータの調整が、対象物体の平面領域の面積に依存することが多いことに着目し、対象物体の平面領域の面積は、吸着パッド２６の大きさと類似する関係にあると仮定した。このような仮定に基づき、吸着パッド２６大きさの一例である直径を、ユーザの指定等によって設定させることにより、最適なパラメータを自動的に設定する。そして、このように設定されたパラメータを用いて複数の吸着把持指標について評価を行う。さらに、複数の吸着把持指標に基づいて吸着把持尤度を算出する。これにより、ユーザのパラメータ調整による負担を軽減し、対象物体のサイズに適した吸着把持尤度を算出し、吸着に最適な吸着把持位置を決定することができる。

　吸着パッド２６の大きさとしては、蛇腹タイプの吸着パッド２６１（図４参照）やスタンダードタイプの吸着パッド２６２（図１９Ａ参照）ように円形である場合には、図４に示すように、直径を採用することができる。しかし、直径に限らず、吸着パッド２６の形状に応じて、その大きさを反映するとともに、ユーザが実測等により容易に取得・設定できる値を、パラメータ設定のために適宜採用することができる。例えば、長円形の吸着パッド２６３である場合（図１９Ｂ参照）には、吸着パッド２６３の外形である長円に外接する矩形の短辺の長さを採用することができ（図２０Ａ参照）、吸着パッド２６４が複数の吸着パッドを有する場合（図１９Ｃ参照）には、複数の吸着パッドを囲むように外接する矩形の短辺の長さを採用することができる（図２０Ｂ参照）。また、これらの場合に、外接矩形の短辺以外の長さを、吸着パッド２６の大きさを反映する値として、長辺や対角線等の他の長さを採用してもよい。

　＜実施形態＞
　（把持位置認識装置の全体構成）
　図１を参照して、本発明の実施形態に係る把持位置認識装置について説明する。

　把持位置認識装置２は、物品の組み立てや加工などを行う生産ラインに設置され、センサユニット２０から取り込まれたデータと、吸着パッド２６の大きさに関するデータからトレイ２８に積載された物体２９に対してロボットハンド２７による吸着把持位置・姿勢を認識するシステムである。トレイ２８上には、認識対象の物体（以下、「対象物体」ともいう。）２９がバラ積みされている。以下では、吸着パッド２６を装着したロボットハンド２７を「吸着ハンド」という。

　把持位置認識装置２は、概略、センサユニット２０と情報処理装置２１から構成される。センサユニット２０と情報処理装置２１のあいだは有線又は無線で接続されており、センサユニット２０の出力は情報処理装置２１に取り込まれる。情報処理装置２１は、センサユニット２０から取り込まれたデータを用いて各種の処理を行うデバイスである。情報処理装置２１の処理としては、例えば、距離計測（測距）、３次元形状認識、物体認識、シーン認識などが含まれてもよい。把持位置認識装置２の認識結果は、例えばＰＬＣ（プログラマブルロジックコントローラ）２５やディスプレイ２２などに出力される。認識結果は、例えば、ロボットハンド２７の制御に利用される。

　（センサユニット）
　センサユニット２０は、対象物体２９の光学像を撮影するためのカメラを少なくとも有する。さらに、センサユニット２０は、対象物体２９の３次元計測を行うために必要な構成（センサ、照明装置、投光装置など）を含んでもよい。例えば、ステレオマッチング（ステレオビジョン、ステレオカメラ方式などとも呼ばれる。）によって奥行き距離を計測する場合には、センサユニット２０に複数台のカメラが設けられる。アクティブステレオの場合はさらに、対象物体２９にランダムドットパターンなので構造化光を投射する投光装置がセンサユニット２０に設けられる。空間コード化パターン投影方式により３次元計測を行う場合には、パターン光を投射する投光装置とカメラがセンサユニット２０に設けられる。他にも、照度差ステレオ法、ＴＯＦ（タイムオブフライト）法、位相シフト法など、対象物体２９の３次元情報を取得可能な方法であればいかなる方式を用いてもよい。

　（情報処理装置）
　情報処理装置２１は、例えば、ＣＰＵ（プロセッサ）、ＲＡＭ（メモリ）、不揮発性記憶装置（ハードディスク、ＳＳＤなど）、入力装置、出力装置などを備えるコンピュータにより構成される。この場合、ＣＰＵが、不揮発性記憶装置に格納されたプログラムをＲＡＭに展開し、当該プログラムを実行することによって、後述する各種の構成が実現される。ただし、情報処理装置２１の構成はこれに限られず、後述する構成のうちの全部又は一部を、ＦＰＧＡやＡＳＩＣなどの専用回路で実現してもよいし、クラウドコンピューティングや分散コンピューティングにより実現してもよい。

　図２は、情報処理装置２１の構成を示す機能ブロック図である。情報処理装置２１は、センサユニット２０による対象物体の３次元計測データと、吸着パッド２６の大きさに関するデータ等から、対象物体の吸着把持のしやすさを表す吸着把持尤度を算出し、この吸着把持尤度に基づいて対象物体の把持位置の優先順位を設定する。情報処理装置２１は、パラメータ設定部２１１、セグメント抽出部２１２、吸着把持尤度算出部２１３、把持位置姿勢算出部２１４、把持優先順位設定部２１５を有する。ここでは、セグメント抽出部２１２は、本発明の「平面領域抽出部」に対応する。

　（把持位置認識処理）
　図３のフローチャートを参照して、情報処理装置２１による情報処理方法である把持位置認識処理の一例を説明する。

　ステップＳ１０１において、センサユニット２０によって３次元計測された画像に基づく対象物体の３次元計測データを取得する（ステップＳ１０１）。３次元計測データは、各点が３次元情報をもつ複数の点から構成されるデータである。３次元データの形式はどのようなものでもよく、例えば、各点がカメラ座標系における３次元座標値をもつ形式のデータでもよいし、２次元画像の各点（各画素）にデプス値（奥行き距離の情報）が関連付けられた形式のデータ（距離画像）でもよい。

　ステップＳ１０２において、パラメータ設定部２１１が、吸着把持指標のパラメータを計算する。ここでは、吸着把持指標は、本発明における「評価指標」に対応する。図４は、吸着ハンド２７が備える蛇腹タイプの吸着パッド２６１の概形を示す。吸着パッド２６１の直径、すなわち吸着パッド２６１先端の略円形の吸着部２６１１の直径はφ［ｍｍ］である。ここでは、吸着パッド２６１の大きさを、直径によって反映させる。このような吸着部２６１１の直径は、吸着に用いる吸着パッド２６１の実測値をユーザに入力させるようにしてもよいし、不揮発性記憶装置の所定領域２１５に格納された、吸着パッド２６の３ＤＣＡＤデータ等のモデルのデータを使用してもよい。また、吸着部２６１１の直径は、センサユニット２０によって吸着ハンド２７に装着された吸着バッド２６１を撮像して得られた３次元計測データから取得するようにしてもよい。そして、パラメータ設定部２１１は、この吸着部２６１１の直径φ［ｍｍ］を、カメラパラメータを用いて画像上のサイズＤ［ｐｉｘｅｌ］に変換する。φ［ｍｍ］からＤ［ｐｉｘｅｌ］への変換は、以下の式によって行う。
［数１］

ここで、ｆは焦点距離（カメラパラメータ）であり、Ｚはカメラ（光学中心）からの距離である。Ｚは画像の各画素により値が変化するが、全てのセグメントに対して同じ閾値パラメータを使用するために、Ｚを画像内の最小距離値に設定する。

　ステップＳ１０３において、セグメント抽出部２１２、対象物体の３次元計測データから、物体平面領域（セグメント）を算出する。ここでは、対象物体の距離画像から、カメラ座標系におけるＸ軸及びＹ軸（紙面に平行）に対して、Ｘ軸回りおよびＹ軸回りの法線マップを算出する。そして、法線マップのばらつきを計算し、ばらつきが小さい領域を平面領域（セグメント）として抽出する。図５に示すように、不定形の対象物体である菓子のパッケージ２９１等がトレイ３０にばら積みされた場合を例に説明する。このようにトレイ３０にばら積みされた複数の対象物体をセンサユニット２０により３次元計測する。そして、３次元計測データとして、距離画像を取得する。距離画像から法線マップを作成し、紙面に平行なＸ軸及びＹ軸に対して、法線のＸ軸回り及びＹ軸回りのばらつきを算出する。図５に示すような態様で対象物体がばら積みされている場合には、例えば、Ｘ軸及びＹ軸にほぼ平行にパッケージの表面が上（紙面手前）向きに配置されている対象物体２９１の表面に対応する領域Ａｒ１は、法線マップでは、法線のＸ軸回り及びＹ軸回りのばらつきが小さい領域として算出される。また、Ｘ軸及びＹ軸に直交に近い角度で交差して、パッケージの側部が上（紙面手前）向きに配置されてている二つの対象物体２９２，２９３の側面に対応する領域Ａｒ２は、法線マップでは、法線のＸ軸回り及びＹ軸回りのばらつきが大きい領域として算出される。図６は、このように抽出された、法線マップのばらつきが小さい領域である平面領域（セグメント）を模式的に示す（参考のために、可視のパッケージの外形も併せて示している）。図６においてハッチングを付した領域Ｒ１～Ｒ８が平面領域である。
　なお、平面領域の抽出方法は、上述のような法線マップを用いた方法に限定されない。例えば、３次元点群の隣接点群をグルーピングする方法や、距離値を閾値としてＸ軸及びＹ軸に直交する方向のエッジを検出する方法を採用することもできる。

　次に、各セグメントに対して、ステップＳ１０５～ステップＳ１１２までの処理を繰り返す（ステップＳ１０４、ステップＳ１１３）。

　（吸着把持尤度算出処理）
　ステップＳ１０５において、吸着把持尤度算出部２１３が、複数の吸着把持指標から、セグメント内の各画素について吸着把持尤度を算出する。図７を参照して、吸着把持尤度算出の処理の一例を説明する。

　ステップＳ２０１において、吸着把持尤度算出部２１３は、セグメントの重心までの距離により、吸着把持指標を把持のしやすさ順にＡ，Ｂ，Ｃに分類する。図８Ａ及び図８Ｂは、セグメントの重心からの距離を模式的に示した図である。図８Ａでは、吸着把持位置Ｓｐ１１がセグメントＳｇ１１の重心Ｃ１１に近い。これに対して、図８Ｂでは、吸着把持位置Ｓｐ１２がセグメントＳｇ１１の重心Ｃ１１から遠い。吸着把持位置がセグメントの重心に近いほど、対象物体の重量による偏りが少ないために把持がしやすい。例えば、図８Ｃに示すように、トレイにばら積みされた菓子のパッケージ２９１の点線の円で囲った領域Ａｒ３はセグメントの重心に近いので吸着把持にふさわしい位置であり、点線の円で囲った領域Ａｒ４はセグメントの重心から遠いので吸着把持にふさわしくない位置である。

　セグメントの重心までの距離により吸着把持指標を把持のしやすさ順にＡ，Ｂ，Ｃに分類する方法を具体的に説明する。
　セグメント重心までの距離をｄｉｓｔ_ｃ、セグメント重心までの距離による指標の閾値パラメータをｔｈ_ｃ ^（Ａ）、ｔｈ_ｃ ^（Ｂ）とする。
　このとき、以下の式に従って、セグメント重心までの距離により、吸着把持指標をＡ，Ｂ，Ｃに分類する。
［数２］

　なお、Ｋ_ｃ ^（Ａ），Ｋ_ｃ ^（Ｂ）は定数であり、ユーザではなく、開発者又は評価者が予め実験的に決定する。この例では、Ｋ_ｃ ^（Ａ）＝Ｋ_ｃ ^（Ｂ）＝１．０とする。

　上述の方法に従った分類例を、図９Ａ及び図９Ｂに示す。図９Ａ及び図９Ｂは、画素とセグメントの関係を模式的に示した図であり、一つのマス目が１画素に対応する。図９Ａでは、網掛けで示した画素がセグメントＳｇ２１として抽出された領域であり、セグメントＳｇ２１の重心Ｃ２１の位置を十字で示している。また、非平面領域Ｎｐ２１を白色の画素で示している。図９Ｂでは、図９Ａに示したセグメントＳｇ２１に対して、Ｄ＝３［ｐｉｘｅｌ］とした場合の分類結果を示す。、セグメントＳｇ２１の重心Ｃ２１を中心として、内側の円Ｃｒ１２Ａが閾値パラメータＫ_ｃ ^（Ａ）に対応し、外側の円Ｃｒ２１Ｂが閾値パラメータＫ_ｃ ^（Ｂ）に対応する。セグメントの領域Ｓｇ２１Ａに含まれる画素は重心Ｃ２１からの距離が閾値パラメータＫ_ｃ ^（Ａ）より小さいので、Ａに分類される。セグメントの領域Ｓｇ２１Ｂに含まれる画素は重心Ｃ２１からの距離が閾値パラメータＫ_ｃ ^（Ａ）以上であり、Ｋ_ｃ ^（Ｂ）より小さいので、Ｂに分類される。セグメントの領域Ｓｇ２１Ｃに含まれる画素は重心Ｃ２１からの距離が閾値パラメータＫ_ｃ ^（Ｂ）以上であるため、Ｃに分類される。このように、閾値パラメータを用いて、セグメントの重心までの距離により吸着把持指標を把持のしやすさ順にＡ，Ｂ，Ｃに分類することができる。

　ステップＳ２０２において、吸着把持尤度算出部２１３は、非平面領域からの距離により、吸着把持指標を把持のしやすさ順にＡ，Ｂ，Ｃに分類する。図１０Ａ及び図１０Ｂは、非平面領域からの距離を模式的に示した図である。図１０Ａでは、セグメントＳｇ１２内の吸着把持位置Ｓｐ１３が非平面領域Ｎｐ１２からの距離が遠い。これに対して、図１０Ｂでは、吸着把持位置Ｓｐ１４が非平面領域Ｎｐ１２からの距離が近い。吸着把持位置が非平面領域から遠いほど、物体の境界付近を把持するリスクが少なくなる。例えば、図１０Ｃに示すように、トレイにばら積みされた菓子のパッケージ２９１の点線の円で囲った領域Ａｒ５は非平面領域からの距離が近いので吸着把持にふさわしい位置であり、菓子のパッケージ２９２の点線の円で囲った領域Ａｒ６は非平面領域からの距離が近いので吸着把持にふさわしくない位置である。非平面領域からの距離による吸着把持指標と、セグメントの重心から距離による吸着把持指標との違いを、図１１Ａのように中央に穴が開いたリング形状の対象物体２９３について説明する。このような対象物体２９３については、セグメントの重心Ｃ１２が孔の中央に位置することになる。このため、セグメントの重心からの距離による吸着把持指標であれば、図１１Ｂのように、中央に開いた穴の領域Ａｒ５に対して吸着把持指標が高くなる。これに対して、非平面領域からの距離による吸着把持指標であれば、穴の領域は吸着把持指標が低くなり、径方向の厚みの中央であり、対象物体上のリング状の領域Ａｒ６の吸着把持指標が高くなる。このように、穴の開いたリング状の対象物体については、非平面領域からの距離による吸着把持指標が有効である。

　非平面領域からの距離により吸着把持指標を把持のしやすさ順にＡ，Ｂ，Ｃに分類する方法を具体的に説明する。
　非平面領域からの距離をｄｉｓｔ_ｐ、非平面領域からの距離による指標の閾値パラメータをｔｈ_ｐ ^（Ａ）、ｔｈ_ｐ ^（Ｂ）とする。
　このとき、以下の式に従って、非平面領域からの距離により、吸着把持指標をＡ，Ｂ，Ｃに分類する。
［数３］

　なお、Ｋ_ｐ ^（Ａ），Ｋ_ｐ ^（Ｂ）は定数であり、ユーザではなく、開発者又は評価者が予め実験的に決定する。この例では、Ｋ_ｐ ^（Ａ）＝１．５、Ｋ_ｐ ^（Ｂ）＝１．０とする。

　上述の方法に従った分類例を、図１２に示す。セグメントの形状は、図９Ａと同様である。図１２も、画素とセグメントの関係を模式的に示した図であり、一つのマス目が１画素に対応する。ここでも、Ｄ＝３［ｐｉｘｅｌ］とした場合の分類結果を示す。セグメントＳｇ２２Ａに含まれる画素の非平面領域Ｎｐ２１からの距離は閾値パラメータＫ_ｐ ^（Ａ）よりも大きいのでＡに分類される。セグメントＳｇ２２Ｂに含まれる画素の非平面領域Ｎｐ２１からの距離は閾値パラメータＫ_ｐ ^（Ｂ）より大きく、Ｋ_ｐ ^（Ａ）以下であるため、Ｂに分類される。そして、セグメントＳｇ２２Ｃに含まれる画素の非平面領域Ｎｐ２１からの距離は閾値パラメータＫ_ｐ ^（Ｂ）以下であるため、Ｃに分類される。このように、閾値パラメータを用いて、非平面領域からの距離により吸着把持指標を把持のしやすさ順にＡ，Ｂ，Ｃに分類することができる。

　ステップＳ２０３において、吸着把持尤度算出部２１３は、セグメント面積により、吸着把持指標を把持のしやすさ順にＡ，Ｂ，Ｃに分類する。図１３Ａ及び図１３Ｂは、セグメントの面積を模式的に示した図である。図１３Ａは、セグメントＳｇ１３の面積が大きく、図１３Ｂは、セグメントＳｇ１４の面積が小さい。セグメントの面積が大きいほど対象物体の形状が単純である可能性が高く把持がしやすい。また、ばら積みの対象物体においてセグメントの面積が大きいと他の対象物体が上に重なっている可能性が低い。一方で、セグメントの面積が小さいと対象物体の形状が複雑である可能性が高く把持がしにくい。また、ばら積みの対象物体においてセグメントの面積が小さいと他の物体が上に重なっている可能性が高い。例えば、図１３Ｃに示すように、トレイにばら積みされた菓子のパッケージ２９１の点線で囲った領域Ａｒ５はセグメントの面積が大きいので吸着把持にふさわしい位置である。一方で、図１３Ｃにおいて、複数のパッケージが上に重なっており、裏面の端部のみが露出している菓子のパッケージ２９４の点線で囲った領域Ａｒ６はセグメントの面積が小さいので吸着把持にふさわしくない位置である。

　セグメントの面積により吸着把持指標を把持のしやすさ順にＡ，Ｂ，Ｃに分類する方法を具体的に説明する。
　セグメントの面積をｓｉｚｅ、セグメントの面積による指標の閾値パラメータをｔｈ_ｓ ^（Ａ）、ｔｈ_ｓ ^（Ｂ）とする。
　このとき、以下の式に従って、セグメントの面積により、吸着把持指標をＡ，Ｂ，Ｃに分類する。
［数４］

　なお、Ｋ_ｓ ^（Ａ），Ｋ_ｓ ^（Ｂ）は定数であり、ユーザではなく、開発者又は評価者が予め実験的に決定する。この例では、Ｋ_ｓ ^（Ａ）＝６．０、Ｋ_ｓ ^（Ｂ）＝３．０とする。

　上述の方法に従った分類例を、図１４Ａ、図１４Ｂ、図１４Ｃに示す。図１４Ａに示すセグメントＳｇ２３Ａは、セグメントの面積が閾値パラメータｔｈ_ｓ ^（Ａ）より大きいので、Ａに分類される。図１４Ｂに示すセグメントＳｇ２３はセグメントの面積が閾値パラメータｔｈ_ｓ ^（Ｂ）より大きく、ｔｈ_ｓ ^（Ａ）以下であるため、Ｂに分類される。図１４Ｃに示すセグメントＳｇ２３Ｃは、セグメントの面積が閾値パラメータｔｈ_ｓ ^（Ｂ）以下であるため、Ｃに分類される。このように、閾値パラメータを用いて、セグメントの面積により吸着把持指標を把持のしやすさ順にＡ，Ｂ，Ｃに分類することができる。

　ステップＳ２０４では、ステップＳ２０１～Ｓ２０３で説明した複数の吸着把持指標を総合することにより吸着把持尤度を算出する。ここでは、３つの吸着把持指標を総合することにより吸着把持尤度を算出しているが、吸着把持指標の数はこれに限られない。また、上述した吸着把持指標の計算方法は上述の方法に限られるものではない。
　図１５に、吸着把持尤度の算出例を示す。ここでは、吸着把持指標の分類結果に応じて、吸着把持尤度を把持しやすい方から把持しにくい方へと順に、Ａ、Ｂ１～Ｂ３、Ｃ１～Ｃ３の７段階に分類している。

　すなわち、吸着把持指標のＡの数が３（Ｂ及びＣの数は０）という条件を満たす場合には、吸着把持尤度をＡに分類する。例えば、セグメント重心までの距離、非平面領域からの距離、セグメント面積のいずれもがＡに分類される場合に吸着把持尤度がＡと分類される。

　吸着把持指標のＡの数が２、Ｂの数が１（Ｃの数は０）という条件を満たす場合には、吸着把持尤度をＢ１に分類する。例えば、セグメント重心までの距離及び非平面領域からの距離がともにＡに分類され、セグメント面積がＢに分類される場合に、吸着把持尤度がＢ１に分類される。吸着把持指標のＡの数が１、Ｂの数が２（Ｃの数は０）という条件を満たす場合には、吸着把持尤度をＢ２に分類する。例えば、セグメント重心までの距離がＡ、非平面領域までの距離及びセグメント面積がＢの場合に、吸着把持尤度がＢ２に分類される。吸着把持指標のＢの数が３（Ａ及びＣの数は０）という条件を満たす場合には、吸着把持尤度をＢ３に分類する。例えば、セグメント重心までの距離、非平面領域からの距離、セグメント面積のいずれもがＢに分類される場合に吸着把持尤度がＢ３に分類される。

　吸着把持指標のＣの数が１（Ａ又はＢの数が２）という条件を満たす場合には、吸着把持尤度をＣ１に分類する。例えば、セグメント重心までの距離がＢ、非平面領域までの距離がＡ、セグメント面積がＣの場合に、吸着把持尤度がＣ１に分類される。吸着把持指標のＣの数が２（Ａ又はＢの数が１）の条件を満たす場合には、吸着把持尤度をＣ２に分類する。例えば、セグメント重心までの距離がＡ、非平面領域までの距離及びセグメント面積がともにＣの場合に、吸着把持尤度がＣ２に分類される。吸着把持指標のＣの数が３（Ａ及びＢの数は０）という条件を満たす場合には、吸着把持尤度をＣ３に分類する。例えば、セグメント重心までの距離、非平面領域からの距離、セグメント面積のいずれもがＣに分類される場合に吸着把持尤度がＣ３に分類される。

　図３のフローチャートに戻って、把持位置認識処理の説明を続ける。
　ステップＳ１０６において、吸着把持尤度算出部２１３は、ステップＳ１０５で算出された吸着把持尤度に基づいて、セグメント内の各画素を吸着把持尤度により並べ替える。セグメント内の各画素の吸着把持尤度による並べ替えは、吸着把持尤度算出部２１３において算出された吸着把持尤度に基づいて、把持位置姿勢算出部２１４が行ってもよい。

　次に、セグメント内の各画素に対して、吸着把持尤度の高い画素から順に、ステップＳ１０８及びＳ１０９の処理を繰り返す（ステップＳ１０７、ステップＳ１１２）。

　ステップＳ１０８において、把持位置姿勢算出部２１４が、各画素に対する吸着ハンド２７の把持位置姿勢を算出する。図１６に模式的に示すように、吸着パッド２６１の把持位置座標（ｘ，ｙ）と対象物体２９とカメラ〈センサユニット〉２０の距離ｚから、並進ベクトルを得ることができ、把持位置座標（ｘ，ｙ）における法線ベクトルＮｖのｘ方向及びｙ方向の角度から回転行列を算出することができる。これらの並進ベクトルと回転行列によって、吸着把持位置における吸着ハンド２７の位置姿勢を算出する。そして、対象物体２９の吸着把持位置における法線ベクトルＮｖの角度を用いることによって、対象物体２９の面に対して垂直な方向に沿った吸着ハンド２７のアプローチ角度を算出する。

　ステップＳ１０９において、ステップＳ１０８で算出した吸着ハンド２７の把持位置姿勢が、障害物や３次元点群と干渉しないかを判定する。干渉判定は公知の方法を採用することができるので詳細な説明を省略する。

　ステップＳ１０９において、干渉がないと判定された場合には、ステップＳ１１１に進み、不揮発性記憶装置の所定領域にセグメント内の代表把持位置として把持位置姿勢が登録される。
　ステップＳ１０９において、干渉があると判定された場合には、次に吸着把持尤度の高い画素について、ステップＳ１０８及びステップＳ１０９の処理を行う（ステップＳ１０７、ステップＳ１１０）。

　ステップＳ１１１において、処理対象となっているセグメント内の画素について、ステップＳ１０８及びステップＳ１０９の処理が完了し、代表把持位置が登録される。

　ステップＳ１０３において抽出されたセグメントに対して、ステップＳ１０４～ステップＳ１１２までの処理が完了したら、ステップＳ１１３に進む。

　ステップＳ１１３において、把持優先順位設定部２１５が登録された把持位置の把持優先順位を算出する。すなわち、各セグメントから把持位置候補を検出し、それらの把持位置候補の中で優先順位を算出する。ここでは、例えば、図１７Ａ及び図１７Ｂに模式的に示すように、センサユニットから対象物体２９のセグメントまでの距離値Ｚなどの指標を用いて、センサユニットからセグメントまでの距離値が小さいもの（図１７Ａ）ほど優先順位を高く、センサユニットからセグメントまでの距離値が大きいもの（図１７Ｂ）ほど優先順位を低くする。図１８に示すように、図５に示す菓子のパッケージ２９がトレイにばら積みされた例については、把持位置候補Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８の順で優先順位が低くなるとして、各把持位置候補の優先順位が算出される。
　把持位置の優先順位づけの方法は、これに限られない。例えば、非平面領域からの距離、セグメント重心からの距離、吸着把持位置の法線のばらつき、セグメントの面積、吸着ハンドの対象物体に対するアプローチ角度等によって優先順位づけをしてもよい。

　把持優先順位設定部２１５において算出された把持位置の把持優先順位に関する情報は、把持位置姿勢の情報ともにＰＬＣ２５に出力され、これに従ってロボットハンド２７及び吸着パッド２６が制御され、対象物体２９の吸着把持が行われる。

　（本実施形態の利点）
　以上述べた構成及び処理では、使用する吸着パッドの直径をユーザが指定することにより、吸着パッドの直径から吸着把持のしやすさを示す吸着把持尤度算出における閾値パラメータを自動的に計算する。これにより、ユーザによるパラメータ調整の負担が軽減することができる。

　（変形例）
　上述の実施形態では、吸着把持指標が把持のしやすさを離散的にＡ，Ｂ，Ｃの３段階に分類していたが、吸着把持指標の算出方法はこれに限られず、連続的に変化する関数によって定義してもよい。例えば、各吸着把持指標を以下のような連続関数で定義することもできる。ここでも、パッド直径をＤ［ｐｉｘｅｌ］、パッド半径をＲ［ｐｉｘｅｌ］とする。
　セグメント重心までの距離をｄｉｓｔ_ｃ、設計者又は評価者が予め実験的に決定する定数をＫ_ｃ（今回の例では、Ｋ_ｃ＝３．０とする）とする。
　このとき、セグメントの重心までの距離による吸着把持指標ｆ_ｃ（ｄｉｓｔ_ｃ）は、以下の式により算出する。
［数５］

　非平面領域からの距離をｄｉｓｔ_ｐ、設計者又は評価者が予め実験的に決定する定数をＫ_ｐ（今回の例では、Ｋ_ｐ＝６．０とする）。
　このとき、非平面領域からの距離による吸着把持指標ｆ_ｐ（ｄｉｓｔ_ｐ）は、以下の式により算出する。
［数６］

　セグメントの面積をｓｉｚｅとし、設計者又は評価者が予め実験的に決定する定数をＫ_ｓ ^（α）、Ｋ_ｓ ^（β）（今回の例では、Ｋ_ｓ ^（α）＝１．０５、Ｋ_ｓ ^（β）＝３．０とする）。
　このとき、セグメント面積による吸着把持指標ｆｓ（ｓｉｚｅ）は、以下の式により算出する。
［数７］

　上述した各吸着把持指標の関数はシグモイド関数をベースにしており、０．０～１．０の範囲の数値が出力されるため、吸着把持尤度ｇを以下の式により算出する。
［数８］

　吸着把持指標の関数は、上述のものに限られず、任意の関数で出力することができ、関数の出力値が０．０～１．０の範囲でない場合は、後処理で出力値の正規化等を適用して０．０～１．０の範囲に補正すればよい。
　さらに、（ｎ_ｃ，ｎ_ｐ，ｎ_ｓ）によるｎ乗根で各吸着把持指標の影響度の抑制を行ってもよい。例えば、吸着把持尤度ｇを以下の式により算出するようにしてもよい。
［数９］

　ここで、各ｎ乗根の数値は、ｎ_ｃ＞０、ｎ_ｐ＞０、ｎ_ｓ＞０で設定し、影響度を抑制したい指標にはｎを大きな値に設定する。

　また、上述の実施形態では、吸着パッドは、蛇腹タイプの円形の吸着パッド２６１について説明したが、吸着パッド２６１の種類や数はこれに限定されない。図１９Ａに示すように、スタンダードタイプの吸着パッド２６２でもよい。また、図１９Ｂに示すように長円タイプの吸着パッド２６３でもよいし、図１９Ｃに示すように複数パッドタイプの吸着パッド２６４でもよく、複数パッドタイプの吸着パッドの数も４つに限定されない。このよう長円タイプの吸着パッド２６３では、図２０Ａに示すように、吸着部２６３１の外接矩形Ｒｔ１の短辺の長さを吸着パッド２６３の直径φとみて、吸着把持尤度のパラメータを自動算出することができる。図２０Ｂに示すように、複数パッドタイプの吸着部２６４１，２６４１，２６４１，２６４１を囲むように外接する外接矩形Ｒｔ２の短辺の長さを吸着パッド２６４の直径とみて、同様に吸着把持尤度のパラメータを自動算出することができる。

　上述の実施形態では、対象物体２９の３ＤＣＡＤデータ等のモデルを用いない、いわゆるモデルレス把持位置認識について説明したが、対象物体２９の３ＤＣＡＤデータ等のモデルの把持位置認識の場合にも、上述のパラメータ設定は適用することができる。

　なお、以下には本発明の構成要件と実施例の構成とを対比可能とするために、本発明の構成要件を図面の符号付きで記載しておく。
＜発明１＞
　対象物体（２９）を吸着把持する吸着ハンド（２７）に設けられた吸着パッド（２６）の大きさに基づいて、前記対象物体（２９）に対する吸着把持位置を評価する指標である評価指標を評価するためのパラメータを設定するパラメータ設定部（２１１）と、
　前記対象物体（２９）を３次元計測して得られた３次元計測データに基づき、平面領域を抽出する平面領域抽出部（２１２）と、
　抽出された前記平面領域に対する前記評価指標の評価結果に基づき、吸着把持のしやすさを示す吸着把持尤度を算出する吸着把持尤度算出部（２１３）と、
　前記対象物体における前記吸着把持位置に対する前記吸着ハンドの位置姿勢を算出する吸着把持位置姿勢算出部（２１４）と、
　前記吸着把持尤度と前記吸着ハンド（２７）の把持位置姿勢に基づいて、前記吸着把持位置の優先順位を設定する把持優先順位設定部（２１５）と
を備えたことを特徴とする情報処理装置（２１）。

２１：情報処理装置
２６：吸着パッド
２７：吸着ハンド
２１１：パラメータ設定部
２１２：セグメント抽出部
２１３：吸着把持尤度算出部
２１４：吸着把持位置姿勢算出部
２１５：把持優先順位設定部
２６１，２６２，２６３，２６４：吸着パッド

Claims

　対象物体を吸着把持する吸着ハンドに設けられた吸着パッドの大きさに基づいて、前記対象物体に対する吸着把持位置を評価する指標である評価指標を評価するためのパラメータを設定するパラメータ設定部と、
　前記対象物体を３次元計測して得られた３次元計測データに基づき、平面領域を抽出する平面領域抽出部と、
　抽出された前記平面領域に対する前記評価指標の評価結果に基づき、吸着把持のしやすさを示す吸着把持尤度を算出する吸着把持尤度算出部と、
　前記対象物体における前記吸着把持位置に対する前記吸着ハンドの位置姿勢を算出する吸着把持位置姿勢算出部と、
　前記吸着把持尤度と前記吸着ハンドの把持位置姿勢に基づいて、前記吸着把持位置の優先順位を設定する把持優先順位設定部と
を備えたことを特徴とする情報処理装置。
　前記吸着パッドの大きさに基づくパラメータは、前記吸着パッドの直径に基づいて定められた値であることを特徴とする請求項１に記載の情報処理装置。
　前記吸着パッドの大きさに基づくパラメータは、前記吸着パッドに外接する矩形の短辺の長さに基づいて定められる値であることを特徴とする請求項１に記載の情報処理装置。
　前記評価指標は、前記平面領域の重心からの距離を含むことを特徴とする請求項１ないし３のいずれか１項に記載の情報処理装置。
　前記評価指標は、前記平面領域ではない非平面領域からの距離を含むことを特徴とする請求項１ないし４のいずれか１項に記載の情報処理装置。
　前記評価指標は、前記平面領域の面積を含むことを特徴とする請求項１ないし５のいずれか１項に記載の情報処理装置。
　対象物体を吸着把持する吸着ハンドに設けられた吸着パッドの大きさに基づいて、前記対象物体に対する吸着把持位置を評価する指標である評価指標を評価するためのパラメータを設定するステップと、
　複数の対象物体を含むシーンを３次元計測して得られた３次元計測データに基づき、平面領域を抽出するステップと、
　抽出された前記平面領域に対する前記評価指標の評価結果に基づき、吸着把持のしやすさを示す吸着把持尤度を算出するステップと、
　前記対象物体における前記吸着把持位置に対する前記吸着ハンドの位置姿勢を算出するステップと、
　前記吸着把持尤度と前記吸着ハンドの把持位置姿勢に基づいて、前記吸着把持位置の優先順位を設定するステップと、
を含む情報処理方法。