JP6843914B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

ロボットにより物体を吸着する技術に関する。

産業用ロボットを用いて物体のピックアンドプレースを行う場合、ロボットアームの先端に吸着パッドを取り付け、物体を吸着することによって搬送することがしばしば行われる。吸着を行う際には、物体の表面上で吸着しやすい領域に、吸着パッドを当てる必要がある。物体が包装材で袋詰めされているときには、袋に入った状態の物体を吸着する必要がある。

特許文献１には、袋詰めにされた物体全体を、吸着面が覆うようにして吸引することによって、吸着させる技術が開示されている。

特開２０１４−２１３３９５号公報

包装材の表面状態によって、吸着しやすい領域は多種多様であり、闇雲に吸着パッドを包装物の何処かに押し当てても、吸着を適切に行うことは困難である。特許文献１では、包装材である袋の表面にしわや穴が多くある場合は、包装材と吸着面の間に空気が侵入する為、安定して吸着を行えない。

本発明は上記問題に鑑みてなされたものであり、物体を包装材で包装した包装物を安定して吸着することを目的とする。

上記課題を解決する本発明にかかる情報処理装置は、物体を包装材で包装した包装物を吸着部で吸着させる領域を決定する情報処理装置であって、前記包装物を撮像した画像を入力する入力手段と、前記画像に基づいて特定された前記包装材の表面の領域ごとの吸着の成否に関わる情報に基づいて、前記包装材の表面にしわ又は穴がある可能性が低い領域を優先して前記吸着部によって吸着させる領域を決定する決定手段とを有することを特徴とする。

本発明によれば、物体を包装材で包装した包装物を安定して吸着することができる。

情報処理システムの構成例を示す図 情報処理装置の機能構成例を示す図 情報処理装置のハードウェア構成例を示す図 情報処理システムが実施する処理手順を示すフローチャート 情報処理装置の機器構成例を示す図 情報処理システムが実施する処理手順を示すフローチャート 学習モードを選択した場合における情報処理装置の機能構成例を示す図 情報処理システムが学習モードにおいて実施する処理手順を示すフローチャート 実行モードを選択した場合における情報処理装置の機器構成例を示す図 情報処理システムが実行モードにおいて実施する処理手順を示すフローチャート 情報処理システムが実施する処理手順を示すフローチャート しわ対策用の吸着の例を示した図 決定部１０１が実施する処理手順を示すフローチャート 包装材マップ、吸着尤度マップ、吸着可能マップの例を示した図

本発明にかかる実施形態を説明するのに先立ち、用語の定義について説明する。

包装材とは、ビニールやナイロン、紙、布などを指す。包装物とは、物体を包装材によって包装したものである。例えば、ビニールに入ったケーブル、袋入りポテトチップス、ラッピングされたスーツケースなどである。

包装材情報とは、包装材に関する情報のことであり、材質的特徴と構造的特徴を含む特徴からなる。包装材情報から、包装材の表面の状態がわかる。包装材の材質名や厚さ、柔らかさ、透明度などを材質的特徴、包装材のしわや穴、表面の凹凸などを構造的特徴と呼ぶ。材質的特徴がわかることによって、例えば包装材の材料はナイロンである場合、表面のしわは白い線状であることが画像特徴に表れる。２つの特徴（包装材情報）を数値化して、画像の各領域に対応させて２次元配列にしたものを包装材マップと呼ぶ。包装材マップについては図１４をつかって説明する。

包装材マップとは、撮像したシーンと包装材情報とを紐付けるために、包装材の種類ごとに区別できるようシーンを撮像した画像上に反映したマップである。すなわち、包装材マップは、撮影した画像の包装材領域に対して包装材の表面の状態についての情報を付加した画像である。

包装材マップは包装材情報データベースを用いて求められる。包装材情報データベースは、領域ごとの画像特徴と前記表面の状態との関係を示すデータ（第１情報）である。包装材情報データベースには、包装材の材質的な特徴と構造的な特徴ごとにパッチ（包装材の表面の状態を示す部分画像）が複数登録されており、さらに、同じ分類の中では吸着のしやすさが同程度になるように分類されている。このパッチを認識対象の画像に照合する。すなわち、画像から画像の領域ごとに包装材の部分画像の特徴を検出することによって包装物の表面の状態についての情報を得る。包装材がある領域と、ない領域に分類され、さらに包装材がある領域は包装材の表面の状態（しわや穴がある、つるつるしている等）の情報を付与する。例えば、図１４において、画像１４０は容器の中にばら積みされた包装物を撮像した画像である。画像内の太線は容器の枠であるとする。この包装物を含むシーンを撮像した画像１４０に対して、枠１４００のようなスライディングウィンドウ１４００で走査して得られる各領域について、包装材情報データベースのパッチとマッチング処理をする。スライディングウィンドウの大きさは任意でよい。例えば、吸着パッドの大きさ、または、包装材情報データベースのパッチの大きさに合わせてウィンドウのサイズを設定しても良い。包装材情報とマッチングした画像の領域は、包装材情報と紐づけられた包装材マップ１４１のようになる。ここで、領域１４１１はしわや重なりが少ないパッチとマッチングした領域である。１４１２は物体の重なりが多いパッチとマッチングした領域である。１４１３は穴またはしわを含むパッチとマッチングした領域を示す。それ以外の領域は、包装材情報データベースのパッチとは不一致だった領域である。ここでは、３種類のパッチとマッチング処理を行う例を示したが、それ以外の方法でも良い。

吸着特性情報とは、包装材の表面の状態に対する吸着に関する情報を表すデータ（第２情報）である。ここで吸着に関する情報とは、吸着のしやすさである。包装材の構造的特徴と材質的特徴に対する吸着のしやすさ（吸着尤度）を数値化して対応付けた情報である。包装材マップの各領域（画素または画素の並び）に対して吸着尤度が高い・低い、という数値を返すテーブル情報である。包装材以外の物体表面の特徴に対する吸着のしやすさを対応付けた情報を含んでいてもよい。

吸着尤度マップとは、包装材マップに吸着特性情報を紐付けて、シーンを撮像した画像上に反映したマップである。その領域の数値が高いほど包装材情報の観点に基づいて吸着しやすいことを表す。すなわち、吸着尤度マップは、包装材の構造的特徴と材質的特徴に対する吸着のしやすさ（吸着尤度）を画像の各領域に対応させて２次元配列にしたものである。吸着尤度マップは、例えば、包装材マップで抽出された各領域について吸着しやすいほど大きい数値を付与する。ここでは、吸着尤度マップ１４２において、吸着しやすい領域は濃い色、吸着しにくい領域は薄い色で表現される。例えば、図１４の吸着尤度マップ１４２では、領域１４２２や領域１４２３は重なりや穴やしわを含むため吸着しにくいことを示す吸着特性情報（例えば０に近い数値）と対応する。なお、領域１４２１、１４２２、１４２３は、それぞれ包装材マップ１４１の領域１４１１、１４１２、１４１３と対応している。領域１４２１はしわや穴が少ない領域であるため吸着しやすいことを示す吸着特性情報（例えば１に近い数値）と対応する。

吸着候補領域とは、被搬送物（包装物）の幾何的な配置に基づいて定める、吸着する候補となる領域である。例えば、複数の被搬送物が山積みされている場合には、取り出しやすい上部の被搬送物表面の領域で、かつ、被搬送物を吸着して搬送しやすい重心付近の領域である。本実施形態では、画像認識を用いて包装物の位置と姿勢を求める。具体的な方法は後述する。例えば、図１４の画像１４３は、画像１４０を撮像したシーンの距離画像を示している。距離画像からは、包装材の３次元的な位置姿勢情報が得られる。複数の包装物のうち撮像部１０からの奥行を示す値が最小である包装物を吸着対象として決定する。色のついた領域１４３０はカメラから見て手前にある物体で吸着に適した領域である。なお、ここでは、吸着候補領域１４３０としての領域は包装材マップまたは吸着尤度マップよりと異なる解像度で取得しても良いし、同じ解像度で取得しても良い。

吸着可能マップとは、被搬送物（包装物）を吸着するために、吸着尤度マップと吸着候補領域の両方に基づいて吸着に適した領域をマップ化したものであり、その領域の数値が高いほど吸着に適していることを表す。すなわち、吸着可能マップは、吸着可能であれば１、吸着不可能であれば０の２値情報を画像の各領域に対応させて２次元配列にしたものである。２値情報の代わりに、吸着できる可能性の０から１までの値を保持しても良い。図１４の吸着可能マップ１４４は、吸着尤度マップ１４２と距離画像１４３とに基づいて生成される。吸着尤度マップ１４２において吸着のしやすさが大きい領域でかつ、距離画像１４３で吸着可能な領域は吸着可能領域であるとする。領域１４４０は吸着可能領域を示す。したがって、領域１４４０には吸着可能であることを示す１の数値を与え、それ以外の領域には吸着不可であることを示す０を付与する。もしくは、領域１４４０を１、何も色の無い領域を０として、中間色の色を持つ領域は０から１までの数値を有していても良い。例えば、二つのマップを組み合わせることによって、吸着のしやすさを各領域についてスコアリングし、最も高いスコアを有する領域を吸着領域にする。

（第１の実施形態）
第１の実施形態の情報処理装置は、容器に入った山積み状態の包装物を容器から吸着して取り出し、所定の位置まで搬送して置くタスクを行う。包装物を吸着するには、包装材と吸着パッドとの間に真空状態をつくる必要がある。そのためには空気が両者の隙間から侵入すること（真空漏れ）が起こらないように、吸着パッドを搬送対象に密着させて吸引する必要がある。例えば、包装物の包装材であるビニールがしわになっている領域に吸着パッドを押し当てて吸引しても、ビニールのしわがある領域から真空漏れが起こり、吸着することはできない。そのため、本実施形態では、包装物を撮影した画像から、包装材の情報に基づいて吸着に適した領域を検出することによって、安定して吸着を行う。本実施形態では、実行モードと学習モードに分けて説明する。まず、吸着位置を決定し、ピックアンドプレースを行う実行モードの処理について説明する。ピックアンドプレースとは、容器に入った山積み状態の包装物を容器から吸着して取り出し、所定の位置まで搬送して置くタスクを指す。図１は本実施形態における情報処理システム１００００の構成を示した図である。情報処理システム１００００は情報処理装置１、撮像部１０、アクチュエータ部１１、吸着部１２からなる。アクチュエータ部１１に取り付けられた撮像部１０で撮影した画像情報に基づいて、ロボットアームであるアクチュエータ部１１を制御する。そして、容器１４に入った包装物１３をアクチュエータ部１１の先端に取り付けた吸着部１２で吸着して搬送先１５まで運ぶタスクを行う。

＜情報処理装置の構成（実行モード）＞
図２は本実施形態における情報処理装置１の機能構成例を示す図である。情報処理装置１は、画像入力部１００、決定部１０１、アクチュエータ制御部１０２、吸着制御部１０３、吸着判定部１０４、保持部１０５を備えている。画像入力部１００は撮像部１０と接続され、アクチュエータ制御部１０２はアクチュエータ部１１と接続され、吸着制御部１０３は吸着部１２と接続されている。ただし、図２は、機器構成の一例であり、本発明の適用範囲を限定するものではない。保持部１０５は、情報処理装置１の外部に備えても良い。

撮像部１０では、シーンのカラー画像と距離画像を撮像する。撮像部１０には、例えばステレオカメラ、ＲＧＢ−Ｄカメラ、ＤＡＦ（Ｄｕａｌ ｐｉｘｅｌ ＡｕｔｏＦｏｃｕｓ）カメラ等を用いる。本実施形態では、例えば、包装物１３および容器１４を含むシーンを撮像して、カラー画像および距離画像を出力する。

画像入力部１００は、撮像部１０が撮像するシーンのカラー画像と距離画像を入力し、決定部１０１に出力する。

保持部１０５は、包装材情報データベースを保持し、包装材情報取得部１０１１に入力する。また、吸着特性情報を保持し、吸着特性情報取得部１０１２に入力する。

決定部１０１は、画像入力部１００が入力した画像から吸着部１２を吸着させる位置を決定する。決定部１０１は、包装材情報取得部１０１１、吸着特性情報取得部１０１２、位置姿勢抽出部１０１３、吸着位置決定部１０１４から構成される。決定部１０１は、吸着させる位置をアクチュエータ制御部１０２に出力する。

包装材情報取得部１０１１は、保持部１０５が保持する包装材情報データベースと、画像入力部１００が入力したカラー画像または距離画像に基づいて、包装物１３の包装材に関する情報（包装材マップ）を取得する。つまり、画像から領域ごとに包装材の表面の状態を取得する。具体的な方法は後述する。

吸着特性情報取得部１０１２は、保持部１０５が保持する吸着特性情報を取得する。そして、画像入力部１００が入力したカラー画像または距離画像と、包装材マップと吸着特性情報とに基づいて吸着尤度マップ（吸着に適した領域）を求める。ここでは、吸着特性情報を参照することによって、包装材情報取得部１０１１で得た包装材の表面の状態に対する吸着のしやすさを求める。具体的な方法は後述する。

位置姿勢抽出部１０１３は、画像または距離画像に基づいて包装物１３の位置と姿勢を抽出する。ここでは、山積みにされている包装物１３のうち他の包装物に遮蔽されていない包装物の位置を抽出する。具体的な方法は後述する。

吸着位置決定部１０１４は、吸着尤度マップと、位置姿勢抽出部１０１３が求めた包装物の位置と姿勢に基づいて吸着可能マップを求める。そして、吸着可能マップの中で最も吸着尤度の高い位置を吸着位置（吸着させる位置）として定め、吸着位置をアクチュエータ制御部１０２に出力する。さらに、後述する吸着判定部１０４が入力した吸着判定結果に基づいて吸着可能マップを更新する。

アクチュエータ制御部１０２は、吸着位置決定部１０１４が入力した吸着位置に基づいて、包装物１３を吸着して搬送制御するためにアクチュエータ部１１を制御する。また、吸着する際には、吸着のタイミングなどを吸着制御部１０３と連携して制御を行う。

吸着制御部１０３は、アクチュエータ制御部１０２と連携して、包装物１３を吸着するために吸着部１２の吸引の制御を行う。また、吸着するために吸引を行っている時の真空圧を取得して、吸着判定部１０４に出力する。

吸着判定部１０４は、吸着制御部１０３が入力した真空圧に基づいて、吸着部１２が包装物１３を吸着できているか否かを判定する。吸着判定結果を吸着位置決定部１０１４に出力する。

図３は、情報処理装置１のハードウェア構成を示す図である。Ｈ１１はＣＰＵであり、システムバスＨ２０に接続された各種デバイスの制御を行う。Ｈ１２はＲＯＭであり、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）のプログラムやブートプログラムを記憶する。Ｈ１３はＲＡＭであり、ＣＰＵであるＨ１１の主記憶装置として使用される。Ｈ１４は外部メモリであり、情報処理装置１が処理するプログラムを格納する。入力部Ｈ１５はタッチパネルやキーボード、マウス、ロボットコントローラーであり、情報等の入力に係る処理を行う。表示部Ｈ１６はＨ１１からの指示に従って情報処理装置１の演算結果を表示装置に出力する。なお、表示装置は液晶表示装置やプロジェクタ、ＬＥＤインジケータなど、種類は問わない。Ｈ１７は通信インターフェイスであり、ネットワークを介して情報通信を行うものであり、通信インターフェイスはイーサネット（登録商標）でもよく、ＵＳＢやシリアル通信、無線通信等種類は問わない。Ｈ１８は入出力部（Ｉ／Ｏ）であり、カメラＨ１９と接続されている。なお、カメラＨ１９は撮像部１０に相当する。

第１の実施形態において、撮像部１０はアクチュエータ部１１に取り付けられている。撮像部１０で撮像した画像上で吸着可能な位置と姿勢を決定したとき、その位置にアクチュエータ部１１を移動させるために、アクチュエータ部１１の座標系と撮像部１０の座標系との関係を事前に校正し、６自由度のパラメータが得られているものとする。同様に、吸着部１２はアクチュエータ部１１の先端に取り付けられている。吸着部１２を所望の位置に移動させるために、アクチュエータ部１１と吸着部１２の座標系との関係を事前に校正し、６自由度のパラメータが得られているものとする。

＜処理（実行モード）＞
次に、本実施形態における処理手順について説明する。図４は、本実施形態における情報処理装置１を含む情報処理システム１００００が実施する処理手順を示すフローチャートである。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記する。

Ｓ１０００では、システムの初期化を行う。すなわち、外部メモリＨ１４からプログラムを読み込み、情報処理装置１を動作可能な状態にする。撮像部１０やアクチュエータ部１１の起動およびパラメータの読み込み、撮像部１０、アクチュエータ部１１、吸着部１２の校正情報の読み込み、撮像部１０の内部パラメータ（焦点距離、画像中心位置、レンズ歪み等）は、事前に校正したものを用いる。また、保持部１０５が保持する包装材情報データベースと吸着特性情報を読み込む。また、容器１４や搬送先１５の位置を読み込む。

Ｓ１０１０では、アクチュエータ制御部１０２が、アクチュエータ部１１を制御する。撮像部１０が容器１４に入った包装物１３を撮像できる位置に移動して、シーンのカラー画像および距離画像を撮像する。

Ｓ１０２０では、画像入力部１００が、Ｓ１０１０で撮像したカラー画像および距離画像を取得し、決定部１０１へ入力する。包装材の表面を観測できるものであれば、グレースケール画像、赤外線画像を取得しても良い。

Ｓ１０３０では、決定部１０１が、包装物の吸着位置を決定する。ここから、決定部１０１の処理を図１３のフローチャートを使って説明する。

Ｓ１０３１では、包装材情報取得部１０１１が、カラー画像および距離画像と包装材情報データベースに基づいて、画像と包装材情報を対応させた包装材マップを取得する。包装材マップは、図１４における包装材マップ１４１のように、Ｓ１０２０で入力された画像の各領域に包装材情報（しわの有無や包装材の材質）が含まれるものである。包装材がある領域に対しては包装材情報を取得し、包装材がない領域に対しては包装材がないという情報を取得する。具体的には、図示しない包装材情報データベースを参照して、カラー画像の一部をパッチとして切り出して、包装材情報データベースの中でパッチ内の画像特徴と類似した画像特徴を持つバッチ（部分画像）を探すことによって、包装材情報を取得する。こうした処理をカラー画像上でスライディングウィンドウ１４００によって走査して行い、各領域で包装材情報を取得して包装材マップを求める。また、カラー画像だけでなく、モノクロ画像や距離画像を用いて包装材情報を取得してもよい。

Ｓ１０３２では、吸着特性情報取得部１０１２が、保持部１０５から包装材情報と吸着のしやすさ（吸着尤度）を示す数値との対応テーブルである吸着特性情報を取得する。例えば、図１４における、領域１４１１、１４１２、１４１３にはそれぞれ吸着尤度が予めテーブルで対応付けられている。

Ｓ１０３３では、吸着特性情報取得部１０１２が、Ｓ１０３１で求めた包装材マップと、Ｓ１０３２で取得した吸着特性情報に基づいて包装材マップの各領域を吸着尤度に変換することで吸着尤度マップ（吸着しやすい部分）を取得する。例えば、包装材マップにおいて、ビニールでつるつるした平面の画素が並んでいる領域（例えば領域１４１１）は吸着尤度が高い値という事例情報になる。またビニールでざらざらして穴が空いている領域（例えば領域１４１３）は吸着尤度が低い値という事例情報になる。これらの事例情報がテーブル（変換のための辞書）に大量に保持されている。得られた包装材マップと類似したものを吸着特性情報のテーブルから探して、それに対応する吸着尤度の値を各領域で求めることで吸着尤度マップを求める。

Ｓ１０３４では、位置姿勢抽出部１０１３が、包装物の特徴を示すテンプレート（画像特徴）と画像入力部１００から入力された画像をマッチングすることによって包装物を検出し、さらに包装物の位置を抽出する。具体的には、カラー画像から容器１４の中で山積みになっている包装物１３を検出するための画像特徴を抽出して、包装物１３の特徴を示すテンプレートとマッチングすることによって、包装物１３の位置を特定する。ここで、テンプレートとは、包装物１３を様々な姿勢で観測して、画像における特徴とその画像に含まれる包装物１３の姿勢とを紐付けたものであり、その特徴が似ていれば類似の姿勢状態であることを示すものである。テンプレートは予め保持部１０５で保持しているか、外部の記憶部に保持しているものを取得する。テンプレートは２次元の画像でもよいし、包装物の３次元モデルでもよい。ここでは複数の包装物の２次元における位置を取得する。

Ｓ１０３５では、位置姿勢抽出部１０１３が、距離画像（３次元情報）において、他の包装物と干渉していない包装物の位置を特定し、距離画像から３次元的に包装物の姿勢を抽出する。そして、吸着可能な面が存在する包装物の吸着候補領域（抽出結果）を取得する。図１４における距離画像１４３に含まれる領域１４３０は吸着候補領域の一例である。すなわち、包装物が存在する領域を包装物の画像特徴と照合することで包装物の２次元の位置を抽出し、さらに距離画像の奥行情報を用いて吸着部が吸着可能な複数の包装物の３次元位置を抽出した結果が吸着候補領域である。包装物の３次元位置を用いることによって精度よく吸着させる位置を決定できる。距離画像において、山積み状態の包装物１３の中で、手前の方に存在しており、他の包装物と干渉していない包装物１３の位置を特定し、距離画像から３次元的に姿勢を求める。つまり、複数の包装物のうち撮像部１０からの奥行を示す値が最小である包装物を吸着対象として決定する。山積みの包装物を上から吸着していくことで山が崩れることを防げるため、安定的に吸着できる。さらに、包装物１３の姿勢に基づいて吸着可能な面が存在するものに限定することで、吸着候補領域を求める。なお、包装物１３がひとつの場合や整列されている場合は、Ｓ１０３５では包装物１３の姿勢を推定すれば良い。

Ｓ１０３６では、吸着位置決定部１０１４が、Ｓ１０３３で得た吸着尤度マップに対してＳ１０３５で得た吸着候補領域のマスク処理を行うことで、吸着可能マップ（包装物を吸着する候補の位置）を生成する。そして、吸着可能マップの中で最も吸着尤度の高い位置を吸着位置（吸着させる位置）としてアクチュエータ制御部１０２に出力する。すなわち、求めた吸着候補領域を１、それ以外の領域を０とするような２次元画像をマスクとして、マスクと吸着尤度マップとの画素同士の積を取ることで吸着可能マップを取得する。さらに、後述する失敗リストを参照して、吸着可能マップ上で吸着困難な領域は吸着可能マップの数値を下げて、吸着しにくい状態として吸着可能マップを更新する。これによって、失敗した領域を回避して、吸着の成功率を上げることができる。複数の包装物の位置を候補として取得することによって、吸着のタスクを効率的に行うことが出来る。

なお、Ｓ１０３１からＳ１０３３、Ｓ１０３４とＳ１０３５は、順序を入れ替えて処理しても、他の処理と並列的に処理しても良い。Ｓ１０３１からＳ１０３３を、Ｓ１０３４とＳ１０３５より先に処理する場合は、整列された包装物を順番にピックアンドプレースするタスクに向いている。この場合、包装材マップや吸着尤度マップを１度作成すれば良い為、処理負荷が軽減できる。また、Ｓ１０３４とＳ１０３５をＳ１０３１からＳ１０３３より先に処理する場合は、抽出した包装物の存在する領域の中に対してＳ１０３１からＳ１０３３の処理を行う。最も取りやすい位置にある包装物の特徴のみを処理すると処理範囲が限定されるため、処理負荷を軽減できる。

Ｓ１０４０では、アクチュエータ制御部１０２が、Ｓ１０３０で求めた吸着位置に基づいて、アクチュエータ１１を制御して吸着部１２を包装物１３表面に密着させる。そして、アクチュエータ制御部１０２は吸着制御部１０３に吸着を開始するように信号を送る。

Ｓ１０５０では、吸着制御部１０３が、吸着部１２が吸引を開始するよう制御して包装物１３を吸着させる。

Ｓ１０６０では、吸着判定部１０４が、真空圧を確認することで、吸着が成功しているか否かを判定する。真空圧力計で大気圧に対して吸着部内の圧力が十分に低くなっていれば吸着成功である。吸着が成功している場合には、Ｓ１０７０に進む。吸着が失敗している場合には、Ｓ１０６１にすすむ。Ｓ１０６１において、吸着判定部１０４が、失敗回数が所定の値Ｔａより小さいと判定した場合、Ｓ１０４０に戻る。そして、元の吸着位置から微小に移動した位置を新たな吸着位置として吸着を制御する。吸着が失敗した場合でも、素早く復帰できる。つまり、効率的にタスクが行える。また、吸着が失敗する度に元の吸着位置から微小に移動する際の位置は異なるようにする。このとき、吸着可能マップの中で吸着できる確率が高い方向にずらす方が吸着に成功する可能性が大きくなる。さらに、Ｓ１０６１において、吸着判定部１０４が、吸着が失敗してＳ１０４０に戻る回数が所定の失敗回数Ｔａを超えたと判定した場合には、吸着の失敗を繰り返した領域は失敗リストに登録して、Ｓ１０３０に戻る。失敗回数Ｔａはユーザが予め回数を指定する。ここで失敗リストとは、画像上での吸着位置を表す［（ｘ１，ｙ１），（ｘ２，ｙ２），…］または、３次元座標系において吸着位置を表す［（ｘ１，ｙ１，ｚ１），（ｘ２，ｙ２，ｚ２），…］などのリストである。失敗リストは保持部１０５、または、決定部１０１がアクセスできる記憶部で保持される。吸着位置決定部１０１４が次の吸着位置を決める際に、失敗リストに含まれる位置は除外して吸着位置を決定する。Ｓ１０３０に戻った場合には、失敗リストを参照して、吸着可能マップの更新を行うことで、元の吸着位置ではなく、第２の吸着位置を吸着位置として吸着を行うことになる。また、一度失敗リストに登録された情報については、吸着して搬送を行う一連のタスクを所定の回数繰り返した場合や、失敗した領域に隣接する周囲の状態（包装物同士の干渉など）が変化したことを検知した場合に、失敗リストから除外してもよい。

Ｓ１０７０では、アクチュエータ制御部１０２がアクチュエータ部１１を制御して包装物１３を搬送先１５まで搬送させる。また、Ｓ１０８０はＳ１０７０の実行中、すなわち包装物１３を容器１４から搬送先１５まで搬送している間に、同時並行で行う処理である。

Ｓ１０８０では、搬送中において、吸着判定部１０４が真空圧を確認することで、包装物１３を吸着できているか（落下させていないか）を確認する。吸着できているままで搬送先１５までたどり着いた場合には、Ｓ１０９０に進む。搬送先１５にたどり着く前に吸着できなくなり包装物１３に落下等を生じさせてしまった場合には、Ｓ１０１０に戻り、新たな包装物を吸着搬送するために、容器１４内の包装物の画像を撮像するところからやり直す。

Ｓ１０９０では、吸着制御部１０３が、吸着部１２による真空破壊を行うことで、搬送先１５に包装物１３を配置する。また、タスクによって、容器１４内に山積みされている包装物１３複数個を搬送先１５にピックアンドプレースしなければならない場合には、Ｓ１０９０から再びＳ１０１０に戻って処理を続けてもよい。

以上の処理により、包装物１３を容器１４から搬送先１５にピックアンドプレースすることができる。

以上に述べたように、第１の実施形態では、シーン中の包装材情報に基づいて吸着尤度を算出することで、包装材情報の観点から吸着しやすい吸着尤度マップを生成する。また、カラー画像や距離画像における包装物１３の検出によって山積みの配置の中から吸着候補領域を求め、吸着尤度マップと統合することで、吸着可能マップを生成して、吸着に最適な位置を求めて吸着を行う。これによって、安定した吸着によるピックアンドプレースを実現している。そのため、包装材に包装された物体を安定して吸着を行うことができる。

（学習モード）
実行モードでは、容器に入った山積み状態の包装物を容器から吸着して取り出し、所定の位置まで搬送して置くタスクを行うのに必要な情報やデータベースが前もって保持されている場合について述べた。これに対して、学習モードでは、保持部が保持する吸着特性情報を学習によって獲得する場合について説明する。学習モードにおける情報処理システムは、図示しないモード切替部を有しており、タスクを行う実行モードと、学習を行う学習モードとを切り替えることができる。ここでは、学習モードについて説明する。学習モードにおける情報処理システムの構成は実行モードに示した図１と同様であるため省略する。

＜情報処理装置の構成（学習モード）＞
図５は、学習モードにおける情報処理装置２の機器構成例を示す図である。学習モードにおける情報処理装置２は実行モードに示した図２と略同様である。同様の機能については説明を省略する。違いのある包装材情報取得部２０１、吸着特性情報保持部２０２、吸着位置決定部２０３、吸着判定部２０６、データ収集部２０７、学習部２０８について説明を行う。

包装材情報取得部２０１は、包装材マップを求め、吸着位置決定部２０３に出力する。また、後述する学習部２０８から包装材情報の再分類結果と分類に必要なデータベースが入力された場合は、それらの更新を行う。

吸着特性情報保持部２０２は、学習部２０８が入力した吸着特性情報を保持、更新する。

吸着位置決定部２０３は、画像入力部２００が入力したカラー画像または距離画像および包装材情報取得部２０１が入力した包装材マップと、後述するデータ収集部２０７が入力したリクエストとに基づいて吸着するべき位置と姿勢を決定する。吸着位置としてアクチュエータ制御部２０４とデータ収集部２０７に出力する。

吸着判定部２０６は、実行モードにおける吸着判定部１０４と同様に吸着の成否の判定を行い、吸着判定結果をデータ収集部２０７に出力する。

データ収集部２０７は、吸着位置決定部２０３が入力した吸着位置と、吸着判定部２０６が入力した吸着判定結果に基づいて、学習するための教師データを収集する。収集した教師データ群は学習部２０８に出力する。具体的には、吸着位置を中心とするカラー画像および距離画像のパッチと対応する包装材マップのパッチ、その吸着位置における吸着判定結果とをセットとして教師データとする。 また、データ収集部２０７は、収集しているデータに基づいて、データに偏りや足りないデータがある場合には、吸着のしやすさに関するデータが少ない包装材の特徴がある部分を優先して吸着するように要求する。すなわち、吸着位置決定部２０３に必要な包装材情報の領域を吸着位置とする割合が高くなるようにリクエストを送る。これによって、包装材マップの各領域の吸着尤度を求めようとした時に、吸着尤度を決めるためのデータが無い又はデータが少ない故に信頼度が低くなってしまう状況を改善できる。

学習部２０８は、データ収集部２０７が入力した教師データ群に基づいて、学習を行う。ここで学習するのは包装材情報に対する吸着尤度、すなわち吸着特性情報である。入力とするカラー画像および距離画像のパッチから包装材情報を求め、包装材情報と吸着判定結果のセットを教師データとして学習を行うことで、包装材情報が与えられたときに、吸着尤度を出力できるようにする。学習方法については、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いるが、これに限るものではない。例えば、ランダムフォレストを用いてもよいし、その他の学習手法を用いてもよい。このようにして求めた吸着特性情報を、吸着特性情報保持部２０２に出力する。また、包装材情報ごとに吸着尤度が０または１のどちらかに推定されやすくなるように、包装材情報の分類基準を変更してもよい。例えば、予め吸着判定結果で吸着を成功したデータ群と吸着を失敗したデータ群に分けておき、それぞれのデータ群の中で素材、厚さ、引張強度などの材質的特徴としわや穴などの構造的特徴で分類を行ったものを包装材情報として再定義してもよい。こうして得られた包装材情報の再分類結果と分類に必要なデータベースを包装材情報取得部２０１に出力する。

＜処理（学習モード）＞
次に、学習モードにおける処理手順について説明する。図６は、本実施形態における情報処理装置２を含む情報処理システムが実施する処理手順を示すフローチャートである。本実施形態におけるフローチャートは、実行モードにおける図４のフローチャートと略同様である。実行モードと同様の処理は説明を省略する。違いのあるＳ２０３０、Ｓ２０４０、Ｓ２０７０、Ｓ２０８０、Ｓ２０９０、Ｓ２１００、Ｓ２１１０について説明を行う。

Ｓ２０３０では、包装材情報取得部２０１が、カラー画像および距離画像と包装材情報データベースに基づいて、画像と包装材情報を対応させた包装材マップを取得する。

Ｓ２０４０では、吸着位置決定部２０３が、Ｓ２０３０で求めた包装材マップとカラー画像または距離画像、データ収集部２０７が入力したリクエストに基づいて、吸着位置を決定する。具体的には、実行モードにおけるＳ１０３４またはＳ１０３５と同様にして吸着候補領域を求める。さらに、リクエストとして包装材情報Ａのデータを求められている場合には、包装材マップの中で、包装材情報Ａの領域でかつ吸着候補領域を抽出し、その中からランダムに吸着位置を決定する。

Ｓ２０７０では、アクチュエータ制御部２０４が、アクチュエータ部２１を制御し、吸着部２２を少し上方向に移動させた後で、吸着判定部２０６が、真空圧を確認することで、吸着が成功しているか否かを判定する。そして吸着判定結果をデータ収集部２０７に出力する。また、吸着成功していた場合、吸着した包装物１３は搬送先１５に搬送する。または、容器１４内の元の位置に戻す。または容器１４内の別の位置に搬送して置いてもよい。

Ｓ２０８０では、データ収集部２０７が、Ｓ２０４０で吸着位置決定部２０３が入力した吸着位置と、Ｓ２０７０で吸着判定部２０６が判定した吸着判定結果に基づいて、教師データを収集する。ここで、教師データとは吸着位置に対して吸着が成功したか失敗したかについての情報を含む画像である。

Ｓ２０９０では、データ収集部２０７において、収集されている教師データが十分であるかを確認する。十分な数と種類が揃っている場合にはＳ２１００に進む。まだ足りていない場合には、Ｓ２０１０に戻ってデータを収集するための処理を繰り返す。この時、収集しているデータ群において、データに偏りや足りないデータがある場合には、吸着位置決定部２０３に必要な包装材情報の領域を吸着位置とする割合が高くなるようにリクエストを送る。これによって、データが不足している領域を優先して吸着するため効率的に教師データを収集することができる。

Ｓ２１００では、学習部２０８が、Ｓ２０９０でデータ収集部２０７が出力した教師データ群に基づいて学習を行って吸着特性情報を求める。求めた吸着特性情報は吸着特性情報保持部２０２に出力する。また、包装材情報の分類基準を変更した場合には、包装材情報の再分類結果と分類に必要なデータベースを包装材情報取得部２０１に出力する。

Ｓ２１１０では、吸着特性情報保持部２０２が、Ｓ２１００で求めた吸着特性情報に更新を行う。または、包装材情報取得部２０１が、図示しない包装材情報データベースにおける再分類結果とデータベースを更新する。

以上の処理により、情報処理システムは学習モードにおいて吸着特性情報を学習することができる。

以上に述べたように、学習モードでは、情報処理システムの学習モードにおいて、吸着特性情報を学習によって求める。これよって、新しい包装材の対象物に対しても吸着に最適な位置を求めて吸着する情報処理システムを提供することができる。

＜変形例＞
第１の実施形態では、アクチュエータ部１１や容器１４はシーンに固定されているものとして説明したが、これに限るものではない。例えば、ＡＧＶ（Ａｕｔｏｍａｔｉｃ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ）などの移動装置の上にアクチュエータ部１１または容器１４を載せてピックアンドプレースを行ってもよい。これによって、アクチュエータ部１１を移動装置に載せれば、搬送先１５が遠い場所であっても搬送することができる。また、容器１４を移動装置に載せれば、倉庫などに保管されている様々な容器内に入っている様々な種類の包装物を取り出して集めることができる。

第１の実施形態では、撮像部１０はアクチュエータ部１１に取り付けたカメラ構成の例について説明したが、これに限るものではない。例えば、撮像部１０は容器１４とその中の包装物１３が計測できる位置に取り付けた固定したカメラ構成でもよい。その場合、撮像部１０とアクチュエータ部１１の土台は事前に校正されているものとする。固定したカメラを使うことにより安定して包装物の位置を求めることができる。

さらにディスプレイなどの表示部を備えていてもよい。例えば、撮像画像、包装材情報、包装材マップ、吸着特性情報、吸着尤度マップ、吸着候補領域、吸着可能マップなどを表示してもよい。またロボットの次の動作工程を表示してもよい。これによって、ユーザは処理の過程やシステムの内部状態について知ることができる。

図４におけるＳ１０００では、容器１４や搬送先１５の位置と姿勢は初期化時に読み込むものとして説明したが、これに限るものではない。例えば、アクチュエータ部１１を動かして、取り付けてある撮像部１０で容器１４や搬送先１５を含むシーンを撮像し、撮像した画像から容器１４および搬送先１５を検出することによって容器１４および搬送先１５の位置と姿勢を求めてもよい。包装物を入れた容器等がずれてしまった場合、決め打ちの座標に移動しても容器等をカメラで観測できなることや、搬送先に思った通りに配置できない可能性がある。容器等がずれたとき、容器を観測した画像から位置と姿勢を求め直すことで、ずれを考慮したデータに修正できる。

図１３におけるＳ１０３１では、包装材情報取得部１０１１が包装材情報データベースとの照合によって包装材情報を取得する例について述べたが、これに限るものではない。例えば、カラー画像と距離画像に基づいて画像処理や特徴抽出を行って、包装材の厚さや透明度などの材質的特徴を推定し、さらに、包装材のしわや穴などの構造的特徴を推定する。これらの情報をそれぞれ数値化し、並べることで、包装材情報ベクトルを生成してもよい。例えば、画像から包装材がナイロンであることが取得できた場合、包装材のしわはナイロンの特性から白い線状の特徴が多い部分である、という情報を包装材情報ベクトルは保持する。２つの特徴を組み合わせることによって包装材の状態についての情報が増え、より精度良く吸着に適した領域を得られる。または、カラー画像や距離画像を入力として、包装材マップを出力するようなネットワークモデルを用いてもよい。すなわち、画像を入力することで包装材の表面の状態を出力する学習済みモデルを用いることで包装材マップ（包装材の表面の状態）を得る。このようなネットワークモデルはＣＮＮなどの画像を入出力とするモデルにする。カラー画像や距離画像とそのシーンに対応する包装材情報または包装材マップのデータを大量に準備しておき、予め学習しておいてもよい。学習を用いることによって吸着に適した位置を精度良く取得できる。または、包装材情報取得部１０１１は包装材に関する材質的特徴として、ユーザから直接データを取得してもよい。包装材マップを推定する時点で誤りが発生する可能性があるが、包装材の種類が予めわかっているならば、ユーザが入力しておくことで誤りを防ぐことができる。例えば、ポリエチレン、厚さ０．０１ｍｍ、柔らかさとして引張強度７．０ｋｇ／ｍｍ２等のデータである。この時、構造的特徴はカラー画像または距離画像における、エッジや段差などの分布によって、有限次数のベクトル特徴として求めてもよい。

図１３におけるＳ１０３３では、吸着特性情報取得部１０１２が吸着特性情報のテーブルを用いて吸着尤度マップを生成する例について述べたが、これに限るものではない。例えば、保持部１０５が保持する吸着特性情報は、包装材情報ベクトルから吸着のしやすさを求める式やテーブルであってもよい。または、包装材情報を入力として吸着尤度を出力するようなＣＮＮモデルとし、包装材情報と吸着尤度の対応データセットを大量に準備して、予め学習しておいてもよい。

図１３におけるＳ１０３０では、決定部１０１が包装材情報を取得して、包装材マップを生成し、さらに吸着尤度のテーブルを用いて吸着尤度マップを生成するという二段階の処理について述べたが、これに限るものではない。例えば、包装材マップを経由することなく、包装材情報に対して吸着尤度を直接当てはめるようにして、吸着尤度マップを生成してもよい。この場合、Ｓ１０３１からＳ１０３３は統合される。色情報と吸着のしやすさに相関がある素材を包装材に使っている場合は、このような処理が適している。また、包装材情報データベースに吸着特性情報を前もって対応させたデータベースを使ってもよい。このデータベースは、様々なバリエーションの包装材情報のデータに吸着尤度を対応させて作成する。例えば、包装材の材質がビニールでしわが多い場合の吸着尤度といった情報をデータベースに持たせる。また、画像を入力することで画像に含まれる包装物の吸着しやすさを出力する学習済みモデルを用いることで吸着尤度を取得してもよい。

図１３におけるＳ１０３４およびＳ１０３５では、撮像したシーン全体の中から包装材の認識や吸着位置の決定を行っていたが、これに限るものではない。例えば、容器１４の位置姿勢は既知であり、包装物１３は容器１４の中に入っていることを利用して、認識や検出を行う範囲を容器の内部に限定してもよい。これによって、認識や検出を行う時間を短くし、使用するメモリ量を抑えることができる。

図１３におけるＳ１０３５では、位置姿勢抽出部１０１３が包装物１３の中で、手前かつ他の包装物と干渉していない領域から吸着候補領域を求めるとして説明したが、これに限るものではない。例えば、距離画像から各画素における法線を求め、法線が吸着しやすい面（容器１４の口が開いている方向）を向いているほど、吸着候補として適しているとしてもよい。または、容器１４との干渉や摩擦が生じないように、容器１４の側面から離れているほど吸着候補として適しているとしてもよい。また、容器１４の位置や大きさの情報を使って、取り出しやすい包装物１３の候補を検出しても良い。容器１４の内側の端に近い位置にある包装物は、容器の端に吸着部がぶつかる可能性がある。具体的には、容器の端と包装物との距離が、吸着部（又は吸着パッド）の大きさまたは包装物の大きさよりも大きい場合に、吸着可能であることを吸着候補領域に反映する。容器１４の位置も考慮することで安定して吸着を行うことが出来る。また、手前で干渉していない、法線の面が適切、容器１４から離れている等の要素を数値化して、その数値が高いほど吸着候補領域として適切であるとし、それらの重み付け線形和によって吸着候補領域を求めてもよい。さらに、Ｓ１０３６では、吸着尤度マップも一緒に重み付き線形和で表現して吸着可能マップを求めてもよい。

また、図１３におけるＳ１０３６では、吸着候補領域のマスク処理を行うことで吸着可能マップを生成する例について述べたが、これに限るものではない。例えば、Ｓ１０３４において、テンプレートマッチングの検出尤度や距離画像における吸着のしやすさを数値化して、吸着候補領域を各領域において吸着しやすさを示す数値からなるマップとして求めてもよい。その場合、吸着候補領域と吸着尤度マップにおいて、対応する領域で積をとる等の計算によって吸着可能マップを生成してもよい。

図１３におけるＳ１０３５では、位置姿勢抽出部１０１３が吸着候補領域を求めた後で、吸着尤度マップと統合して吸着可能マップを生成する例について述べたが、これに限るものではない。例えば、吸着尤度マップにおいて、閾値以上の領域だけを抽出し、その中で包装物１３の検出を行って吸着可能マップを生成してもよい。処理負荷が軽減できる。

図１３におけるＳ１０３４では、位置姿勢抽出部１０１３がテンプレートマッチングによって包装物１３を検出する例について述べたが、これに限るものではない。例えば、カラー画像または距離画像を入力として、包装物１３の位置や姿勢を出力するようなＣＮＮモデルを用いてもよい。その場合、カラー画像または距離画像と包装物１３の位置と姿勢の対応データセットを大量に準備して、予め学習しておいてもよい。

図４におけるＳ１０４０およびＳ１０５０では、吸着部１２が包装物１３に密着してから吸引を開始するように制御する例について述べたが、これに限るものではない。例えば、吸着部１２が包装物１３に密着する前から吸引を開始し、吸引しながら近づいて密着するようにしてもよい。これにより、包装物１３の包装材によっては吸着成功率が上がる場合がある。

図４におけるＳ１０８０では、搬送中に吸着できていない場合には、包装物を落としてしまったとして、画像撮像からやり直す例について述べたが、これに限るものではない。逐次吸着判定を行うことで、落下地点を予測することができるため、予測した落下地点付近で画像撮像を行い、検出した包装物１３を同じような処理によって吸着して搬送してもよい。吸着判定を短いサイクルで行っていれば、だいたいどのタイミングで吸着部から対象物体が離れたかがわかる。すると、吸着部から対象物体が離れたタイミングにおける対象物の位置および、その時の対象物の速度（＝ロボットアーム先端の吸着部の速度）がわかる。それらを使って初速度をもった落下運動として計算すれば、落下地点を予測できる。これによって、搬送中に包装物１３を落下させたとしても、包装物１３を紛失することなく搬送先１５に搬送することができる。または、落下によって包装物１３が損傷し、搬送先１５に搬送する意味が無くなった場合には、落下物集積所に搬送してもよい。または、包装物１３を落下させた場合には、Ｓ１０３０に戻って吸着可能マップの中から第２の候補を吸着位置として再設定して後の処理を続けてもよい。これによって、効率的にタスクを行うことができる。

図４におけるＳ１０６０およびＳ１０８０では、吸着判定部１０４は真空圧を確認することで吸着の成功と失敗を判定するとして説明したが、これに限るものではない。例えば、カメラ等の撮像装置を用いて吸着部１２を撮像し、包装物１３が吸着部１２に接触したまま搬送されているかどうかを確認することによって、吸着判定を行ってもよい。撮像装置は撮像部１０が兼ねてもよい。真空圧計が故障した場合でも吸着判定が可能になり、安定的に搬送できる。または、吸着部１２は図示しない重量計を備えており、包装物１３を吸着した際には、吸着部１２が吸着している物の重量を計測することによって、吸着判定を行ってもよい。また、ロボットアームには、「Ａの位置に移動せよ」と命令してから、移動中に別の動作（「ＡではなくＢの位置に移動せよ」）を割り込み命令可能なものと、不可能なものがある。割り込み命令可能な場合、一刻も早くＳ１０１０に戻りたい場合には、ｔミリ秒おき（または移動距離でも可）に確認などとすればよい。割り込み命令不可能な場合には、ｔミリ秒おき（または移動距離ごと）に確認していても結局Ａに到達するまで次の命令はできない為、Ａに到達した時点で確認するという方法（搬送中の経由点ごとに確認）がよい。ユーザが予め任意のタイミングで行うように設定してもよい。

図６におけるＳ２０４０では、吸着位置決定部２０３が包装材マップとリクエストに基づいて吸着位置を決定する方法について述べたが、これに限るものではない。例えば、実行モードと同様に処理を進め、現時点における吸着特性情報に基づいて吸着特性情報保持部２０２が吸着尤度マップを求め、吸着尤度マップを参照しながら吸着位置を決定してもよい。さらに吸着候補位置を求めて、吸着位置決定部２０３が吸着可能マップを求め、吸着可能マップを参照しながら吸着位置を決定してもよい。これによって、吸着可能性が高い領域や低い領域を選択しながら効率良くデータ収集を行うことができる。または容器１４内でランダムに吸着位置を決定してもよい。または、ユーザが直接吸着位置を指定することによって吸着位置を決定してもよい。この場合、表示部Ｈ１６が、撮像した画像や包装材マップの情報などを表示し、ユーザはタッチパネル等によって吸着位置を指定してもよい。

データ収集部２０７が十分なデータを収集したタイミングで学習を行う例について述べたが、これに限るものではない。例えば、強化学習の枠組みで報酬を設定して学習を行ってもよい。具体的には、学習部２０８は吸着特性情報保持部２０２が保持する吸着特性情報を編集できるものとし、編集した上で実行モードと同様のピックアンドプレースタスクを行い、成功率が上がれば正の報酬を与え、成功率が下がれば負の報酬を与えるようにする。そのようにして編集とタスクを繰り返すことで、成功率が高くなる吸着特性情報を学習することができる。ただし、これに限るものではなく、学習部２０８は包装材情報の分類をさらに編集できるようにしてもよい。十分な教師データを集められたか判断する方法としては、収集したデータを学習用のデータとテスト用のデータに分け方法がある。学習用のデータを用いて学習を行い、テスト用のデータに対して適用し、正解率が閾値以上であれば収集されたデータは十分であると判断する。

（第２の実施形態）
第１の実施形態では、ある特定の吸着部を用いた情報処理システムによってピックアンドプレースのタスク、または学習を行う例について述べた。これに対して、第２の実施形態では、吸着切替部を有し、吸着部の切り替えを行いながらピックアンドプレースを行う場合について、実行モードと学習モードそれぞれの例を述べる。本実施形態では、大きさや材質が異なる複数の吸着部を有する。複数の吸着パッドが一体となった吸着部があって、吸着させる領域を切り替える場合も適用可能である。例えば、小さい対象物や吸着できる平面が少ない対象物を扱う場合には、吸着部の接触面が小さい吸着パッドでなければ、空気がリークして吸着することができない。そのため径の小さな吸着部に切り替える。また、大きくて重いものを吸着する場合には、吸引する空気の流量が大きい吸着部を用いたり、複数の吸着パッドが一体となっている吸着部で支点を増やしたりすることで、安定して搬送することができる。すなわち、吸着する対象である包装物に合わせて、適切な吸着部を選択することによって、よりロバストにピックアンドプレースを行うことができる。本実施形態における情報処理システムの構成は第１の実施形態に示した図１と同様であるため省略する。

＜情報処理装置の構成（学習モード）＞
図７は、本実施形態において、図示しないモード切替部によって学習モードと実行モードのうち、学習モードを選択した場合における情報処理装置３の機器構成例を示す図である。本実施形態の学習モードにおける情報処理装置３は第１の実施形態（学習モード）に示した図５と略同様である。同様の機能については説明を省略し、違いのある吸着部情報取得部３１０、データ収集部３０７、吸着切替部３０９、学習部３０８について説明を行う。なお、情報処理装置３は３２−１、３２−２、３２−ｎといったように吸着パッドの大きさが異なるｎ個の吸着部を備えているものとする。

吸着部情報取得部３１０は、吸着部３２から吸着部に関する情報（吸着特徴）を取得して、データ収集部３０７に出力する。ここで、吸着部に関する情報とは、吸着パッドの大きさや径、襞の有無などの形状情報と、吸着パッドの素材に関する情報である。

データ収集部３０７は、吸着位置決定部３０３が入力した吸着位置と、吸着判定部３０６が入力した吸着判定結果と吸着部情報取得部３１０が入力した吸着部情報に基づいて、学習するための教師データを収集する。収集した教師データ群は学習部３０８に出力する。また、データ収集部３０７は、収集しているデータに基づいて、データに偏りや足りないデータがある場合には、そのデータが存在する部分を優先して吸着するように要求する。吸着位置決定部３０３に必要な包装材情報の領域を吸着位置とする割合が高くなるようにリクエストを送る。また、吸着切替部３０９に必要な吸着部情報に合わせて吸着部３２を切り替えるようにリクエストを送る。これによって、吸着部に関する吸着尤度を求めようとした時に、特定の吸着部のデータが無いあるいは少ない為に信頼度が低くなってしまう状況を改善できる。

吸着切替部３０９は、データ収集部３０７から吸着部３２を切り替えるリクエストを受け取ると、吸着部３２の切り替えを行う。切り替え候補が複数存在する場合には、データ収集部３０７が送るリクエストに切り替えるべき候補が記されている。吸着部３２を切り替える方法としては、ハンドチェンジャーによって吸着部３２とアクチュエータ部３１の先端とを接合する構成になっている。アクチュエータ制御部３０４がアクチュエータ部を制御して現在の吸着部を取り外し、新たな吸着部を取り付ける動作を行う。ただし、切り替え方法はこれに限るものではなく、アクチュエータ部３１の内部に吸着部３２が複数内蔵されており、それらを切り替えてもよいし、ユーザに切り替えを行うように図示しない表示部に表示を出して切り替えてもよい。

学習部３０８は、データ収集部３０７が入力した教師データ群に基づいて、学習を行う。学習するのは包装材情報と吸着部情報に対する吸着特性情報である。複数の吸着部情報によらず１つの学習済みモデルで学習を行う。本実施形態における学習済みモデルは、入力された画像から吸着しやすい物体の位置を出力する。学習した吸着特性情報は吸着特性情報保持部３０２に出力する。

＜処理（学習モード）＞
次に、本実施形態の学習モードにおける処理手順について説明する。図８は、本実施形態における情報処理装置３を含む情報処理システムが学習モードにおいて実施する処理手順を示すフローチャートである。本実施形態におけるフローチャートは、第１の実施形態における図６のフローチャートと略同様である。同様の処理は説明を省略し、違いのあるＳ３０００、Ｓ３０８０、Ｓ３０９０、Ｓ３０９１、Ｓ３０９２、Ｓ３０９３について説明を行う。

Ｓ３０００では、第１の実施形態におけるＳ２０００と同様にシステムの初期化を行う。Ｓ２０００の処理に追加して、吸着部情報取得部３１０が現在の吸着部３２の吸着部情報を取得しておく。

Ｓ３０９０では、データ収集部３０７において、収集されている教師データが十分であるかを確認する。十分な数と種類が揃っている場合にはＳ３１００に進む。まだ足りていない場合には、Ｓ３０９１に進む。

Ｓ３０９１では、データ収集部３０７において、収集されている教師データに基づいて、吸着部３２を切り替えるかどうかを判定する。吸着部３２を切り替えると判定する条件としては、現在の吸着部３２に対しては十分なデータが収集されており、他の吸着部に対してはデータが不足している場合である。切り替えを行う場合にはＳ３０９２に進む。この時、吸着切替部３０９に切り替えを行うためのリクエストを送る。切り替えを行わない場合には、Ｓ３０１０に戻ってデータを収集するための処理を繰り返す。この時、収集しているデータ群において、データに偏りや足りないデータがある場合には、吸着位置決定部３０３に必要な包装材情報の領域を吸着位置とする割合が高くなるようにリクエスト（要求）を送る。

Ｓ３０９２では、吸着切替部３０９が吸着部３２の切り替えを行い、Ｓ３０９３に進む。

Ｓ３０９３では、吸着部情報取得部３１０が、切り替えられた吸着部３２に関する情報を取得して、Ｓ３０１０に戻ってデータを収集するための処理を繰り返す。

以上の処理により、情報処理システムは、学習モードにおいて吸着部３２を切り替えながら教師データを収集して吸着特性情報を学習することができる。

＜情報処理装置の構成（実行モード）＞
図９は、本実施形態において、図示しないモード切替部によって学習モードとタスク実行モードのうち、実行モードを選択した場合における情報処理装置３の機器構成例を示す図である。本実施形態の実行モードにおける情報処理装置３は第１の実施形態に示した図２と略同様である。同様の機能については説明を省略し、違いのある包装材情報取得部３０１、吸着特性情報保持部３０２、吸着位置決定部３０３、吸着部情報取得部３１０、吸着切替部３０９について説明を行う。

包装材情報取得部３０１は、画像入力部３００が入力したカラー画像または距離画像に基づいて、包装物１３の包装材に関する情報を取得する。取得した包装材情報は包装材マップとして吸着特性情報保持部３０２に出力する。

吸着特性情報保持部３０２は、包装材情報取得部３０１が入力した包装材マップと吸着部情報取得部３１０が入力した吸着部情報に基づいて、吸着特性情報保持部３０２が保持する吸着特性情報を参照して、吸着尤度マップを求める。さらに、求めた吸着尤度マップにおいて、現在の吸着部３２に対する吸着尤度が低いと判断された場合には、吸着尤度が高くなる吸着部に切り替えるように吸着切替部３０９にリクエストを送り、切り替え後の吸着部３２に基づいた吸着尤度マップを生成する。求めた吸着尤度マップは吸着位置決定部３０３に出力する。

吸着位置決定部３０３は、画像入力部が入力したカラー画像または距離画像および吸着特性情報保持部３０２が入力した吸着尤度マップ、後述する吸着判定部３０６が入力した吸着判定結果に基づいて吸着可能マップ（吸着する候補）を求める。そして、吸着可能マップの中で最も吸着尤度の高い位置を吸着位置として定め、吸着位置をアクチュエータ制御部３０４に出力する。

吸着部情報取得部３１０は、吸着部３２から吸着部に関する情報を取得して、吸着特性情報保持部３０２に出力する。吸着部に関する情報は、例えば切り替え可能な複数の吸着部それぞれにおける、吸着パッドの径の大きさや材質、包装材の状態に対する吸着のしやすさなどを指す。

吸着切替部３０９は、吸着特性情報保持部３０２から吸着部３２を切り替えるリクエストを受け取ると、吸着部３２の切り替えを行う。切り替え方法については、前述したため説明を省略する。

＜処理（実行モード）＞
次に、本実施形態の実行モードにおける処理手順について説明する。図１０は、本実施形態における情報処理装置３を含む情報処理システムがタスク実行モードにおいて実施する処理手順を示すフローチャートである。本実施形態におけるフローチャートは、第１の実施形態における図４のフローチャートと略同様である。同様の処理は説明を省略する。違いのあるＳ３２００、Ｓ３２３０、Ｓ３２４０、Ｓ３２５０、Ｓ３２５１、Ｓ３２６０について説明を行う。

Ｓ３２００では、第１の実施形態におけるＳ１０００と同様にシステムの初期化を行う。Ｓ１０００の処理に追加して、吸着部情報取得部３１０が現在の吸着部３２の吸着部情報を取得しておく。

Ｓ３２３０では、包装材情報取得部３０１が、カラー画像および距離画像に基づいて、包装材情報を取得する。画像の各領域で包装材情報を取得して包装材マップを求める。

Ｓ３２４０では、吸着特性情報保持部３０２が、Ｓ３２３０で求めた包装材マップに対して、包装材情報と吸着のしやすさ（吸着尤度）を示す数値との対応テーブルである吸着特性情報を利用する。そして、包装材マップの各領域を吸着尤度に変換することで吸着尤度マップを生成する。

Ｓ３２５０では、吸着特性情報保持部３０２が、求めた吸着尤度マップにおいて、現在の吸着部３２に対する吸着尤度が低いかどうかを判定する。吸着尤度が低いと見なす条件としては、吸着尤度マップにおいて、吸着尤度が閾値Ｔｂよりも小さい領域がマップ全体のＲｍ以下であることとする。ただし、吸着尤度を低いと見なす条件はこれに限るものではなく、吸着尤度の最大値が閾値より小さいことや、吸着尤度マップにおける吸着尤度の総和が閾値より小さいこと等でもよい。吸着尤度が低いと判定された場合には、吸着尤度が高くなる吸着部に切り替えるように吸着切替部３０９にリクエストを送り、切り替え後の吸着部３２に基づいた吸着尤度マップを生成した上でＳ３２５１へ進む。吸着尤度が低いとは判定されなかった場合には、Ｓ３２６０へ進む。

Ｓ３２５１では、吸着切替部３０９が、Ｓ３２５０で吸着特性情報保持部３０２が送ったリクエストに基づいて吸着部３２を切り替える。そして、Ｓ３２６０へ進む。

Ｓ３２６０では、吸着位置決定部３０３が、Ｓ３２４０で求めた吸着尤度マップとカラー画像または距離画像に基づいて、吸着位置を決定する。具体的には、カラー画像から容器１４の中で山積みになっている包装物１３を検出するための特徴を抽出して、包装物１３の特徴を示すテンプレートとマッチングすることによって、包装物１３の位置を特定する。ここで、テンプレートとは、包装物１３を様々な姿勢で観測して、特徴と姿勢とを紐付けたものであり、特徴が似ていれば類似の姿勢状態であることを示すものである。さらに、距離画像において、山積み状態の包装物１３の中で、手前の方に存在しており、他の包装物と干渉していない包装物１３の位置を特定し、距離画像から３次元的に姿勢を求める。さらに、包装物１３の姿勢に基づいて吸着可能な面が存在するものに限定することで、吸着候補領域を求める。そして、吸着尤度マップに対して吸着候補領域のマスク処理を行うことで、吸着可能マップを生成する。すなわち、求めた吸着候補領域を１、それ以外の領域を０とするような２次元画像をマスクとして、マスクと吸着尤度マップとの画素同士の積を取ることで吸着可能マップを生成する。さらに、失敗リストを参照して、吸着可能マップ上で吸着困難な領域は吸着可能マップの数値を下げて、吸着しにくい状態として吸着可能マップを更新する。そして、吸着可能マップの中で最も吸着尤度の高い位置を吸着位置としてアクチュエータ制御部３０４に出力する。

以上の処理により、情報処理システムは、実行モードにおいて吸着部３２を切り替えながら、より吸着成功率の高い吸着を行うことができる。

以上に述べたように、第２の実施形態では、情報処理システムの学習モードおよびタスク実行モードそれぞれにおいて、吸着部を切り替えることによって、より吸着成功率を高めてピックアンドプレースタスクを行うことができる。また、より吸着成功率を高めるための吸着部情報も含めた学習を行うことができる。

＜変形例＞
Ｓ３０００やＳ３２００では、吸着部情報取得部３１０は現在の吸着部３２の吸着部情報を取得するとして説明したが、これに限るものではない。例えば、切替え可能な全ての吸着部について吸着部情報を取得しておいてもよい。その場合、Ｓ３０９３では、再度吸着部情報を取得する必要は無いため、Ｓ３０９２からＳ３０９３を経由せず、直接Ｓ３０１０に戻ってもよい。

実行モードにおいて、Ｓ３２５０では吸着尤度マップが低い場合に、吸着部３２を切り替える例について述べたが、これに限るものではない。例えば、Ｓ３２６０の処理を先に行い、吸着位置決定部３０３が吸着位置を求めた上で、吸着位置における尤度が低い場合に、吸着部３２を切り替えるようにしてもよい。

実行モードでは、現在の吸着部３２による吸着尤度マップが低い場合に吸着尤度が高くなる吸着部に切り替えるようにリクエストを送る例について述べたが、これに限るものではない。例えば、初めから吸着尤度が高くなる吸着部とセットで吸着尤度マップを生成し、吸着切替部３０９に吸着部３２を切り替えるようにリクエストを送ってもよい。

上記以外の変形例として、吸着特性情報保持部３０２は、吸着尤度が高くなる吸着部と吸着尤度マップ、さらに現在の吸着部３２における吸着尤度マップを生成し、吸着位置決定部３０３に送る。また、吸着部情報取得部３１０が、吸着切替部３０９によって現在の吸着部３２から吸着尤度が高くなる吸着部に切り替えた場合のコストを求めて吸着位置決定部３０３に送る。そして、吸着位置決定部３０３が、それぞれの吸着尤度マップから吸着可能マップを生成する。さらに、２つの吸着可能マップまたは、それぞれにおける吸着位置に対して、切り替え時のコストと吸着部３２の切り替えによる吸着尤度向上の恩恵とを比較して、切り替えを行うべきか否かを判断する。切り替えた方が総合的に良い場合には、吸着位置決定部３０３は吸着切替部３０９にリクエストを送り、吸着部３２を切り替える。切り替えた方が総合的に良くない場合には、現在の吸着部３２を用いて吸着を行う。これによって、吸着部３２を切り替えるコストも考慮した上で、ロバストに吸着してピックアンドプレースを行うことができる。ただし、切り替え時のコストとは、吸着部の切り替えにかかる時間のことであり、吸着尤度向上の恩恵とは、吸着尤度の向上により、吸着を失敗して余計に使う時間を減らせる期待値のことである。

実行モードでは、吸着特性情報保持部３０２が吸着部３２の吸着部情報に関する吸着特性情報を保持しているものとして説明したが、これに限るものではない。例えば、吸着特性情報を保持していない（学習済みでない）吸着部３２を用いている場合には、吸着部情報取得部３１０が取得した吸着部情報に対して、学習済みの吸着部に関する吸着部情報を用いた補完によって吸着特性情報を推定してもよい。これによって、未知の吸着部であっても、ロバストに吸着尤度を求めることができる。

（第３の実施形態）
第１の実施形態では、包装材の情報に基づいて吸着できそうな位置を求めた上で吸着を行う例について述べた。これに対して、第３の実施形態では、包装材情報に基づいた推定により、吸着できそうな領域が見つからない場合に、その対処を行って、吸着できる領域を増やすことで、ピックアンドプレースのタスクを実行する例について述べる。例えば、吸着によるピックアンドプレースを行う場合、吸着対象である物体の重心にあたる位置を吸着することが望ましい。しかし、物体の重心付近に多くのしわがある場合は吸着に失敗するおそれがある。そこで、本実施形態では吸着に適した部分のしわをなくすようにしわ伸ばしを実行する吸着を行う。対処の具体的な方法としては、対象とする包装材のしわが生じている部分を特定し、アクチュエータ部を制御することによって、包装材のしわを伸ばすことで吸着可能な領域を作ることである。本実施形態における情報処理システムの構成は第１の実施形態に示した図１と同様であるため省略する。

＜情報処理装置の構成＞
本実施形態における情報処理装置の機器構成例は、第２の実施形態に示した図９と略同様である。同様の機能については説明を省略し、違いのある吸着位置決定部３０３、アクチュエータ制御部３０４について説明を行う。

吸着位置決定部３０３は、第２の実施形態における吸着位置決定部３０３と同様にして、吸着可能マップを求める。そして、吸着できる領域の有無を判定する。吸着できる領域が有れば、最も吸着尤度の高い位置を吸着位置として定め、吸着位置をアクチュエータ制御部３０４に出力する。また、吸着できる領域が無ければ、吸着尤度マップに基づいてしわ対策を行うための吸着位置を決定し、アクチュエータ制御部３０４に出力する。

アクチュエータ制御部３０４は、吸着位置決定部３０３において吸着できる領域が有った場合には、第１の実施形態におけるアクチュエータ制御部１０２と同様にして、アクチュエータ部３１を制御する。吸着位置決定部３０３において吸着できる領域が無かった場合には、しわ対策を行うための吸着位置に基づいてアクチュエータ部を制御する。さらに吸着制御部３０５と連携してしわを取り除くような制御を行う。

＜処理＞
次に、本実施形態における処理手順について説明する。図１１は、本実施形態における情報処理システムが実施する処理手順を示すフローチャートである。本実施形態におけるフローチャートは、第１の実施形態における図４のフローチャートと略同様である。と同様の処理は説明を省略し、違いのあるＳ４０３０、Ｓ４０４０、Ｓ４０５０、Ｓ４０６０、Ｓ４０６１、Ｓ４０６２、Ｓ４０６３について説明を行う。

Ｓ４０３０では、包装材情報取得部３０１が、カラー画像および距離画像に基づいて、包装材情報を取得する。画像の各領域で包装材情報を取得して包装材マップを求める。

Ｓ４０４０では、吸着特性情報保持部３０２が、Ｓ４０３０で求めた包装材マップに対して、包装材情報と吸着のしやすさ（吸着尤度）を示す数値との対応テーブルである吸着特性情報を利用する。そして、包装材マップの各領域を吸着尤度に変換することで吸着尤度マップを生成する。

Ｓ４０５０では、吸着位置決定部３０３が、Ｓ４０４０で求めた吸着尤度マップとカラー画像または距離画像に基づいて、吸着位置を決定する。さらに、距離画像において、山積み状態の包装物１３の中で、手前の方に存在しており、他の包装物と干渉していない包装物１３の位置を特定し、距離画像から３次元的に姿勢を求める。さらに、包装物１３の姿勢に基づいて吸着可能な面が存在するものに限定することで、吸着候補領域を求める。そして、吸着尤度マップに対して吸着候補領域のマスク処理を行うことで、吸着可能マップを生成する。すなわち、求めた吸着候補領域を１、それ以外の領域を０とするような２次元画像をマスクとして、マスクと吸着尤度マップとの画素同士の積を取ることで吸着可能マップを生成する。さらに、失敗リストを参照して、吸着可能マップ上で吸着困難な領域は吸着可能マップの数値を下げて、吸着しにくい状態として吸着可能マップを更新する。そして、吸着可能マップの中で最も吸着尤度の高い位置を吸着位置としてアクチュエータ制御部３０４に出力する。

Ｓ４０６０では、吸着位置決定部３０３が、吸着可能マップに基づいて吸着できる領域の有無を判定する。吸着できる領域が有る場合には、Ｓ４０５０で求めた吸着位置をアクチュエータ制御部３０４に出力して、Ｓ４０７０に進む。吸着できる領域が無い場合には、Ｓ４０６１に進む。

Ｓ４０６１では、吸着位置決定部３０３が、吸着尤度マップに基づいてしわ対策用の吸着位置を決定する。具体的には、まず、包装材マップを用いて吸着候補領域の中で、包装材によるしわが原因で吸着尤度が低い領域を検出する。次に、その領域の周囲周辺において、吸着尤度マップが高い領域を探す。このような領域が見つかった場合、その領域をしわ対策用吸着位置とする。すなわち、しわ対策用吸着位置は、搬送するための吸着候補としては不適切であるが、吸着を行うには適している領域であり、また、近くにしわの存在によって吸着できないが、吸着候補領域となっている領域が存在しているような吸着位置である。しわ対策用吸着位置をアクチュエータ制御部３０４に出力して、Ｓ４０６２に進む。

Ｓ４０６２では、アクチュエータ制御部３０４が、しわ対策用吸着位置を吸着できるように、アクチュエータ部３１を制御する。Ｓ４０６３に進む。

Ｓ４０６３では、アクチュエータ制御部３０４と吸着制御部３０５が連携して、しわ対策用の吸着を行う。しわを無くすような動作方法の詳細については後述する。しわを無くしたらＳ４０１０に戻って画像を撮像するところに戻って、処理を続ける。

しわを無くすような動作について、図１２を用いて説明する。図１２は、しわ対策用の吸着の例を示した図である。図１２（Ａ）では包装物４３とその中央にしわが発生している様子を点線で示している。図１２（Ｂ）は図１２（Ａ）に対して、吸着尤度マップで尤度が高い領域を二重線、吸着候補領域を破線、しわ対策用の吸着位置を×で示している。このように、吸着尤度マップの尤度が高く、かつ、吸着候補領域である領域が無い場合には、しわ対策用の吸着が必要となる。しわ対策用の吸着位置は吸着候補領域から近く、吸着尤度マップの尤度が高い領域から選ぶため、図１２（Ｂ）の×の位置となる。アクチュエータ部を制御して、図１２（Ｂ）の×の位置で吸着を行い、アクチュエータ部は上下左右にしわを伸ばすような動きを行う。図１２（Ｃ）は包装材を右に引っ張ることでしわを伸ばした例である。図１２（Ｃ）に対して、吸着尤度マップで尤度が高い領域を二重線、吸着候補領域を破線、しわ対策用の吸着位置を×で示した図が図１２（Ｄ）である。図１２（Ｄ）では吸着候補領域、かつ、吸着尤度マップの尤度が高い領域が存在するため、×を搬送のための吸着位置として求めることができるようになる。このようにして、吸着候補領域におけるしわを無くすことで、吸着可能マップにおいて、吸着可能な領域を生成することができる。

以上の処理により、情報処理システムは、しわ等の影響によって搬送のための吸着を行える領域が無い場合であっても、しわ対策用吸着位置を吸着する。上下左右などに少し動きを加えることによって、しわを伸ばして、搬送するための吸着位置を作り出し、ピックアンドプレースを行うことができる。

＜変形例＞
第３の実施形態におけるＳ４０６１、Ｓ４０６２、Ｓ４０６３では、しわが原因で吸着不可能な領域に対して、しわを伸ばすことで解決する例について述べた。しかしながら、しわの原因を解決する方法はこれに限るものではない。例えば、吸着部３２やアクチュエータ部３１をしわ領域に押し当てる、または、撫でるような動きを行い、包装材表面を均すことによって、しわを取り除いてもよい。または、吸着制御部３０５が吸引ではなく排出を行い、吸着部３２からエアを排出し、風圧によって包装材表面を均すことによって、しわを取り除いてもよい。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供しても良い。

１ 情報処理装置
１０ 撮像部
１１ アクチュエータ部
１２ 吸着部
１３ 包装物
１０１ 決定部
１０２ アクチュエータ制御部
１０５ 保持部
１０４ 吸着判定部
１００００ 情報処理システム

Claims (22)

1. 包装材で物体を包装した包装物を吸着部によって吸着させる領域を決定する情報処理装置であって、
   前記包装物を撮像した画像を入力する入力手段と、
   前記画像に基づいて特定された前記包装材の表面の領域ごとの吸着の成否に関わる情報に基づいて、前記包装材の表面にしわ又は穴がある可能性が低い領域を優先して前記吸着部によって吸着させる領域を決定する決定手段と、を有することを特徴とする情報処理装置。
2. 前記画像に基づいて特定された前記包装材の表面の領域ごとの前記包装材の表面の領域の状態に基づいて、前記包装材の表面の領域の状態に対する吸着の成否に関わる情報を推定する推定手段をさらに有し、
   前記決定手段は、前記推定手段によって推定された前記包装材の表面の領域の状態に対する吸着の成否に関わる情報に基づいて、前記包装材の表面にしわ又は穴がある可能性が低い領域を優先して前記吸着部によって吸着させる領域を決定することを特徴とすることを特徴とする請求項１に記載の情報処理装置。
3. 前記推定手段は、前記包装材の表面の状態ごとに保持された画像特徴に基づいて、前記画像においてしわ又は穴がある可能性が所定の値より低い部分領域を、前記吸着部によって吸着させる領域の候補領域として推定し、
   前記決定手段は、前記推定手段によって推定された前記候補領域と、前記包装物の位置とに基づいて、前記吸着部によって吸着させる領域を決定することを特徴とする請求項２に記載の情報処理装置。
4. 前記決定手段は、前記画像を入力することで前記画像に含まれる包装材の表面の状態を出力する学習済みモデルを用いることを特徴とする請求項１に記載の情報処理装置。
5. 前記決定手段は、前記画像を入力することで前記画像に含まれる包装物の吸着の成否に関わる情報を出力する学習済みモデルを用いることを特徴とする請求項１に記載の情報処理装置。
6. 前記決定手段は、前記画像に含まれる包装材の表面の状態を入力することで前記画像に含まれる包装物の吸着の成否に関わる情報を出力する学習済みモデルを用いることを特徴とする請求項１に記載の情報処理装置。
7. 包装物の画像特徴と前記画像とを照合することによって前記包装物の位置を抽出する抽出手段を更に有し、
   前記決定手段は、更に前記抽出手段で抽出した前記包装物の位置に基づいて吸着させる位置を決定することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記決定手段は、前記抽出手段で抽出した前記包装物の存在する領域の中から吸着させる位置を決定することを特徴とする請求項７に記載の情報処理装置。
9. 前記入力手段は、ばら積みにされた前記包装物の３次元情報を入力しており、
   前記抽出手段は、さらに前記３次元情報を用いて複数の前記包装物の３次元位置を抽出し、
   前記決定手段は、さらに前記包装物の３次元の位置に基づいて、複数の前記包装物の中から吸着させる包装物の位置を決定することを特徴とする請求項７または８に記載の情報処理装置。
10. 前記決定手段は、前記包装物の３次元の位置に基づいて前記画像を撮影した撮像装置と前記包装物との距離が最小となる包装物を吸着対象として決定することを特徴とする請求項９に記載の情報処理装置。
11. 前記画像から包装物の表面の状態に対する吸着の成否に関わる情報を出力する学習手段をさらに有することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記学習手段は、吸着の成否に関わる情報が少ない包装材の特徴がある領域を優先して吸着するように要求することを特徴とする請求項１１に記載の情報処理装置。
13. 前記包装物を吸着するための吸着部が複数ある場合、
    前記包装物の大きさに基づいて前記吸着部を切り替える切替手段をさらに有することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 前記吸着部を移動させる制御手段をさらに有することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記決定手段で前記画像に基づいて特定された包装物の表面の状態のうち前記包装物の重心付近にしわの領域を検出した場合は、
    前記制御手段は、前記吸着部がしわを伸ばすように包装材を引っ張った後に前記包装物を前記吸着部が吸引するように制御を行うことを特徴とする請求項１４に記載の情報処理装置。
16. 前記吸着部が前記包装物に対して吸着を行った時の成否を判定する判定手段を更に有し、
    前記学習手段は、前記包装物に対して吸着を行った時の成否と前記決定手段が決定した吸着させる位置とに基づいて前記吸着に関する情報を学習することを特徴とする請求項１１または１２に記載の情報処理装置。
17. 前記判定手段によって前記包装物に対する吸着が失敗と判定された場合、
    前記決定手段は、複数の吸着させる位置の候補から次の吸着位置を決定することを特徴とする請求項１６に記載の情報処理装置。
18. 前記包装材の領域ごとの画像特徴と前記表面の状態との関係を示す第１情報と、前記表面の状態に対する吸着の成否に関する情報を表す第２情報と、を保持する保持手段と、
    前記第１情報に基づいて、前記画像の各領域から取得された画像特徴から前記画像の各領域について表面にしわまたは穴があるか否かについての状態を推定し、
    前記第２情報に基づいて、前記推定された前記画像の各領域の表面の状態に対して、表面にしわまたは穴がある状態の領域に対して吸着しにくいことを示す尤度を推定する推定手段と、を有し、
    前記決定手段は、前記推定手段によって推定された前記尤度に基づいて、前記吸着部を吸着させる領域を決定することを特徴とする請求項１に記載の情報処理装置。
19. コンピュータを、請求項１乃至１８のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
20. 物体を包装材で包装した包装物を吸着部で吸着させる領域を決定する情報処理方法であって、
    前記包装物を撮像した画像を入力する入力工程と、
    前記画像に基づいて特定された前記包装材の表面の領域ごとの吸着の成否に関わる情報に基づいて、前記包装材の表面にしわ又は穴がある可能性が低い領域を優先して前記吸着部によって吸着させる領域を決定する決定工程とを有することを特徴とする情報処理方法。
21. 物体を包装材で包装した包装物を吸着部で吸着させた領域と対応する、前記包装物を撮像した画像に基づいて特定された前記包装材の表面の部分画像と、前記吸着部で吸着させた領域に対して前記吸着部による吸着が成功したか否かを示す吸着判定結果とを対応させた教師データによって学習させた学習済みモデルであって、
    前記包装物を撮像した画像を入力として、前記包装材の表面にしわ又は穴がある可能性が低い領域を優先して前記吸着部に吸着させる領域を出力するよう、
    情報処理装置を機能させるための学習済みモデル。
22. 包装材で物体を包装した包装物を吸着部によって吸着させる領域を決定する情報処理装置であって、
    前記包装物を撮像した画像を入力する入力手段と、
    前記画像に基づいて特定された前記包装材の表面の領域ごとの吸着の成否に関わる情報に基づいて、前記包装材の表面にしわ又は穴がある可能性が低い領域を優先して前記吸着部によって吸着させる領域を決定する決定手段と、
    前記吸着部を移動させる制御手段と、を有し、
    前記決定手段で前記画像に基づいて特定された包装物の表面の状態のうち前記包装物の重心付近にしわの領域を検出した場合は、
    前記制御手段は、前記吸着部がしわを伸ばすように包装材を引っ張った後に前記包装物を前記吸着部が吸引するように制御を行うことを特徴とする情報処理装置。

Images