JPWO2019130429A1

JPWO2019130429A1 - ピッキング対象物把持情報登録システム

Info

Publication number: JPWO2019130429A1
Application number: JP2019561433A
Authority: JP
Inventors: 克英鈴木; 朋弘仲道; 徐　剛; 剛徐; 勉石田
Original assignee: Kyoto Robotics Corp
Current assignee: Kyoto Robotics Corp
Priority date: 2017-12-26
Filing date: 2017-12-26
Publication date: 2021-04-01
Anticipated expiration: 2037-12-26
Also published as: WO2019130429A1; JP6940186B2

Abstract

物流現場における自動化を実現することができるピッキングシステムを提供することを目的としている。カメラにて生成された三次元点群情報と二次元画像に基づき、ピッキング対象物の領域を仮説する仮説領域手段（ステップＳ２）と、仮説領域手段（ステップＳ２）にて仮説したピッキング対象物の領域に基づいて、ピッキング対象物を想定し、該想定したピッキング対象物の把持位置・把持方法を仮説する仮説把持手段（ステップＳ３）と、仮説把持手段（ステップＳ３）にて仮説した把持位置・把持方法を、ロボットを用いて検証する検証手段（ステップＳ４）と、検証手段（ステップＳ４）にて検証した結果、ピッキング対象物の把持に成功した把持位置・把持方法を登録するピッキング対象物関連情報登録データベースと、を備えている。

Description

本発明は、ピッキング対象物把持情報登録システムに関する。

従来、製造現場などで、画像処理技術を用いた様々な自動化技術が利用されている。このような技術として、たとえば、画像処理により対象物の位置情報を認識し、認識した位置情報に基づいてロボットハンドを用いて対象物を把持し移動させる技術が知られている（例えば、特許文献１）。

特開２０１０−６９５４２号公報

ところで、昨今、通販等の大量の商品を扱う物流現場において、人的削減や時間短縮を目的として、上記のような技術を用いて自動化が図れないか否かの実験が行われている。

しかしながら、上記のような技術を用いるにあたって、ピッキング対象物の三次元形状を予めデータベース化しなければならないところ、物流現場においては、ピッキング対象物の種類が、数千〜数十万件という膨大な数に上り、このような膨大な数の三次元形状を予め全てデータベース化しておくことは非常に困難であるという問題があった。

そこで、上記のような技術を用いて多種の商品を扱うシステムにおいて、ピッキング対象物の形状・姿勢を自動で推定・認識するとともに、推定・認識の結果に基づいて適切な把持位置・把持方法を自動設定する方法が求められている。

しかしながら、上記のような自動設定する方法は未だ実現できておらず、もって、物流現場においては、未だ自動化が実現できていないという問題があった。

そこで、本発明は、上記問題に鑑み、物流現場における自動化を実現することができるピッキング対象物把持情報登録システムを提供することを目的としている。

上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。

請求項１の発明に係るピッキング対象物把持情報登録システムによれば、ピッキング対象物（例えば、図１に示すピッキング対象物２）の三次元点群情報を生成する第１生成手段（例えば、図１に示すカメラ５）と、
前記ピッキング対象物（例えば、図１に示すピッキング対象物２）の二次元画像を生成する第２生成手段（例えば、図１に示すカメラ５）と、
前記第１生成手段（例えば、図１に示すカメラ５）にて生成された三次元点群情報と前記第２生成手段（例えば、図１に示すカメラ５）にて生成された二次元画像に基づき、前記ピッキング対象物（例えば、図１に示すピッキング対象物２）の領域を仮説する仮説領域手段（例えば、図３に示すステップＳ２）と、
前記仮説領域手段（例えば、図３に示すステップＳ２）にて仮説したピッキング対象物（例えば、図１に示すピッキング対象物２）の領域に基づいて、ピッキング対象物（例えば、図１に示すピッキング対象物２）を想定し、該想定したピッキング対象物（例えば、図１に示すピッキング対象物２）の把持位置・把持方法を仮説する仮説把持手段（例えば、図３に示すステップＳ３）と、
前記仮説把持手段（例えば、図３に示すステップＳ３）にて仮説した前記把持位置・把持方法を、ロボット（例えば、図１に示すロボット３）を用いて検証する検証手段（例えば、図３に示すステップＳ４）と、
前記検証手段（例えば、図３に示すステップＳ４）にて検証した結果、前記ピッキング対象物（例えば、図１に示すピッキング対象物２）の把持に成功した前記把持位置・把持方法を記憶する記憶手段（例えば、図１に示すピッキング対象物関連情報登録データベース６６）と、を備えてなることを特徴としている。なお、第１生成手段と、第２生成手段は、異なっても良いし、同一でも良い。

また、請求項２の発明によれば、上記請求項１に記載のピッキング対象物把持情報登録システムにおいて、前記検証手段（例えば、図３に示すステップＳ４）にて検証した結果、前記ピッキング対象物（例えば、図１に示すピッキング対象物２）の把持に成功した際、再度、前記第１生成手段（例えば、図１に示すカメラ５）にて生成された三次元点群情報と前記第２生成手段（例えば、図１に示すカメラ５）にて生成された二次元画像に基づき、前記ピッキング対象物（例えば、図１に示すピッキング対象物２）の領域を仮説領域手段（例えば、図３に示すステップＳ２）にて仮説させる必要があるか否かの判定を行う判定手段（例えば、図３に示すステップＳ８）と、をさらに備えてなることを特徴としている。

さらに、請求項３の発明によれば、上記請求項１に記載のピッキング対象物把持情報登録システムにおいて、前記記憶手段（例えば、図１に示すピッキング対象物関連情報登録データベース６６）は、前記検証手段（例えば、図３に示すステップＳ４）にて検証した結果、前記ピッキング対象物（例えば、図１に示すピッキング対象物２）の把持に失敗した前記把持位置・把持方法も記憶してなることを特徴としている。

次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。

請求項１に係る発明によれば、第１生成手段（例えば、図１に示すカメラ５）にて生成された三次元点群情報と第２生成手段（例えば、図１に示すカメラ５）にて生成された二次元画像に基づき、ピッキング対象物（例えば、図１に示すピッキング対象物２）の領域を仮説領域手段（例えば、図３に示すステップＳ２）仮説した後、仮説したピッキング対象物（例えば、図１に示すピッキング対象物２）の領域に基づいて、ピッキング対象物（例えば、図１に示すピッキング対象物２）を想定し、該想定したピッキング対象物（例えば、図１に示すピッキング対象物２）の把持位置・把持方法を仮説把持手段（例えば、図３に示すステップＳ３）にて仮説し、仮説把持手段（例えば、図３に示すステップＳ３）にて仮説した把持位置・把持方法を、ロボット（例えば、図１に示すロボット３）を用いて検証手段（例えば、図３に示すステップＳ４）にて検証し、ピッキング対象物（例えば、図１に示すピッキング対象物２）の把持に成功した把持位置・把持方法を記憶手段（例えば、図１に示すピッキング対象物関連情報登録データベース６６）に記憶する工程を自動で行うことが可能となるから、従来のように、全てのピッキング対象物の三次元形状を予め記憶手段（例えば、図１に示すピッキング対象物関連情報登録データベース６６）に記憶しておく必要がなくなる。さらに、成功した検証結果を記憶手段（例えば、図１に示すピッキング対象物関連情報登録データベース６６）に記憶しているから、実際の稼働時に、マスターデータとして使用することができる。これにより、物流現場における自動化を実現することができる。

また、請求項２に係る発明によれば、検証手段（例えば、図３に示すステップＳ４）にて検証した結果、ピッキング対象物（例えば、図１に示すピッキング対象物２）の把持に成功した際、再度、第１生成手段（例えば、図１に示すカメラ５）にて生成された三次元点群情報と第２生成手段（例えば、図１に示すカメラ５）にて生成された二次元画像に基づき、ピッキング対象物（例えば、図１に示すピッキング対象物２）の領域を仮説領域手段（例えば、図３に示すステップＳ２）にて仮説させる必要があるか否かを、判定手段（例えば、図３に示すステップＳ８）にて判定させているから、正確な把持位置・把持方法を、記憶手段（例えば、図１に示すピッキング対象物関連情報登録データベース６６）に記憶することができる。これにより、実際の稼働時に、正確な把持位置・把持方法が、マスターデータとして使用できることとなる。

さらに、請求項３に係る発明によれば、記憶手段（例えば、図１に示すピッキング対象物関連情報登録データベース６６）は、検証手段（例えば、図３に示すステップＳ４）にて検証した結果、ピッキング対象物（例えば、図１に示すピッキング対象物２）の把持に失敗した把持位置・把持方法も記憶しているから、失敗した把持位置・把持方法、成功した把持位置・把持方法が一定量記憶されれば、機械学習を実施することができる。

本発明の一実施形態に係るピッキング対象物把持情報登録システムの概略全体図である。同実施形態に係るピッキング対象物関連情報登録データベースに格納されているテーブルを示す図である。同実施形態に係るピッキング対象物関連情報登録データベースに情報を登録する際の制御手順を示すフローチャート図である。（ａ）は、三次元点群情報が表わされた横長矩形状厚板のピッキング対象物の斜視図、（ｂ）は、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標が表わされた三次元点群情報が表わされたピッキング対象物の斜視図、（ｃ）は、（ａ），（ｂ）に示すピッキング対象物の平面二次元画像、（ｄ）は、（ｃ）に示す平面二次元画像が傾いている場合の平面二次元画像を示す図である。（ａ）は、図４（ｃ）に示す平面二次元画像にノイズが存在している平面二次元画像、（ｂ）は、（ａ）に示す平面二次元画像を用いてピッキング対象物の領域を推定した状態を示す図である。（ａ−１）は、三角錐状のピッキング対象物の斜視図、（ａ−２）は、三角錐状のピッキング対象物の平面二次元画像、（ｂ−１）は、（ａ−２）に示す三角錐状のピッキング対象物の平面二次元画像の一部を抽出した平面二次元画像、（ｂ−２）は、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標が表わされた三次元点群情報が表わされたピッキング対象物の一部を抽出した斜視図、（ｃ−１）は、（ａ−２）に示す三角錐状のピッキング対象物の平面二次元画像の一部を（ｂ−１）とは異なるように抽出した平面二次元画像、（ｃ−２）は、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標が表わされた三次元点群情報が表わされたピッキング対象物の一部を（ｂ−２）とは異なるように抽出した斜視図である。（ａ）〜（ｄ）は、仮説したピッキング対象物の領域に基づいて仮説した把持位置・把持方法のリストを示す図である。

以下、本発明に係るピッキング対象物把持情報登録システムの一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。

図１に示すように、ピッキング対象物把持情報登録システム１は、ピッキング対象であるピッキング対象物２（図示では４本の容器を例示している）と、このピッキング対象物２をピッキングするロボット３と、このロボット３を制御するロボット制御装置４と、ピッキング対象物２の三次元座標を示す三次元点群情報とピッキング対象物２の二次元画像を取得できる複数台（図示では、３台を例示）のカメラ５と、ピッキング対象物２をピッキングする際に必要な情報が登録される登録装置６と、で構成されている。

ロボット３は、床や壁等の設置面に固定される土台３０と、土台３０に対して基端が回転可能に連結されているロボットアーム部３１と、ロボットアーム部３１の先端に取り付けられ、ピッキング対象物２を吸着・挟み込み・支持等によって把持することができるロボットハンド３２とを備えている。なお、このロボットハンド３２には、ピッキング対象物２を把持した否かを計測する把持センサが設けられ、ピッキング対象物２を把持した際の当該ピッキング対象物２の重量を計測する重量センサが設けられており、把持センサ及び／又は重量センサの計測情報は、登録装置６に出力される。

一方、ロボット制御装置４は、登録装置６より出力されるデータに基づきロボット３の稼動を制御するものである。

登録装置６は、ＣＰＵ６０と、マウスやキーボード、タッチパネル等にて外部から所定データを登録装置６に入力することができる入力部６１と、登録装置６外に所定データを出力することができる出力部６２と、所定のプログラム等を格納した書込み可能なフラッシュＲＯＭ等からなるＲＯＭ６３と、作業領域やバッファメモリ等として機能するＲＡＭ６４と、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等からなる表示部６５と、ピッキング対象物２をピッキングする際に必要な情報が格納されているピッキング対象物関連情報登録データベース６６と、で構成されている。

ところで、ピッキング対象物関連情報登録データベース６６には、図２に示すテーブルＴＢＬが格納されている。すなわち、テーブルＴＢＬには、ピッキング対象物２（図１参照）の内容（ＴＢ１ａ参照）が格納され、さらに、そのピッキング対象物の内容それぞれの三次元点群情報（ＴＢ１ｂ参照）が格納され、そしてさらに、そのピッキング対象物の内容それぞれの二次元画像（ＴＢ１ｃ参照）が格納され、またさらに、そのピッキング対象物の内容それぞれの把持位置（ＴＢ１ｄ参照），把持方法（ＴＢ１ｅ参照）が格納され、またさらに、その把持位置（ＴＢ１ｄ参照），把持方法（ＴＢ１ｅ参照）それぞれの検証結果（ＴＢ１ｆ参照）が格納されている。

ここで、より詳しくピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）に格納されている内容（ＴＢ１ａ〜ＴＢ１ｆ参照）をテーブルＴＢＬ（図２参照）に格納する方法を、図３〜図７も参照して具体的に説明する。

上記のような方法を行うにあたっては、作業者が、図１に示す登録装置６の入力部６１を用いて、図１に示すＲＯＭ６３内に格納されているプログラムの起動を指示する。これにより、登録装置６のＣＰＵ６０（図１参照）は、図３に示すような処理を行う。以下、図３を参照して説明する。なお、図３に示すプログラムの処理内容はあくまで一例であり、これに限定されるものではない。

まず、ＣＰＵ６０（図１参照）は、カメラ５にて取得されたピッキング対象物２の三次元座標を示す三次元点群情報とピッキング対象物２の二次元画像を取得する（ステップＳ１）。より詳しく説明すると、カメラ５にて取得されたピッキング対象物２の三次元座標を示す三次元点群情報とピッキング対象物２の二次元画像がカメラ５より出力されると、その出力されたピッキング対象物２の三次元座標を示す三次元点群情報とピッキング対象物２の二次元画像は、登録装置６の入力部６１（図１参照）を介して登録装置６内に入力される。これを受けて、ＣＰＵ６０（図１参照）は、その入力されたピッキング対象物２の三次元座標を示す三次元点群情報をピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録し、ピッキング対象物２の二次元画像をピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の二次元画像の項目（ＴＢ１ｃ参照）に登録する。すなわち、具体的に例示すると、カメラ５にて取得されたピッキング対象物（容器Ａ）の三次元座標（Ｘ_ｎ１，Ｙ_ｎ１，Ｚ_ｎ１）（ｎ_１≧１の整数）がテーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録され、カメラ５にて取得されたピッキング対象物（容器Ｂ）の三次元座標（Ｘ_ｎ２，Ｙ_ｎ２，Ｚ_ｎ２）（ｎ_２≧１の整数）がテーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されることとなる。さらに、カメラ５にて取得されたピッキング対象物（容器Ａ）の二次元画像（二次元画像Ａａ，二次元画像Ａｂ）がテーブルＴＢＬ（図２参照）の二次元画像の項目（ＴＢ１ｃ参照）に登録され、カメラ５にて取得されたピッキング対象物（容器Ｂ）の二次元画像（二次元画像Ｂａ，二次元画像Ｂｂ）がテーブルＴＢＬ（図２参照）の二次元画像の項目（ＴＢ１ｃ参照）に登録されることとなる。なお、ピッキング対象物（容器Ａ）の三次元点群情報のＸ方向の角度（図２では、φＸ_ｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＹ方向の角度（図２では、φＹ_ｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＺ方向の角度（図２では、φＺ_ｎ１と例示）、ピッキング対象物（容器Ｂ）の三次元点群情報のＸ方向の角度（図２では、φＸ_ｎ２と例示），ピッキング対象物（容器Ｂ）の三次元点群情報のＹ方向の角度（図２では、φＹ_ｎ２と例示），ピッキング対象物（容器Ｂ）の三次元点群情報のＺ方向の角度（図２では、φＺ_ｎ２と例示）は、この時点では、まだ、テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されていない。なお、テーブルＴＢＬ（図２参照）のピッキング対象物（ＴＢ１ａ参照）に登録されている内容（図２では、容器Ａ，容器Ｂと例示）は、作業者が、図１に示す登録装置６の入力部６１を用いて、登録しておけばよい。

次いで、ＣＰＵ６０（図１参照）は、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に格納されている三次元点群情報と、テーブルＴＢＬ（図２参照）の二次元画像の項目（ＴＢ１ｃ参照）に格納されている二次元画像とを読み出し、三次元点群情報と二次元画像とに基づいて、ピッキング対象物２（図１参照）の領域（セグメンテーション）を仮説する（ステップＳ２）。すなわち、具体的に例示すると、テーブルＴＢＬ（図２参照）のピッキング対象物（ＴＢ１ａ参照）に登録されている内容（容器Ａ）が、図４（ａ）に示すような、横長矩形状厚板のピッキング対象物２Ａであって、２個のピッキング対象物２Ａが上下に重なり合っている場合（説明の都合上、以下では、上側のピッキング対象物２Ａを上側ピッキング対象物２Ａａとし、下側のピッキング対象物２Ａを下側ピッキング対象物２Ａｂとして説明する）、図４（ａ）に示すように、カメラ５にて取得される三次元点群ＴＧＡは、２個のピッキング対象物２Ａ（上側ピッキング対象物２Ａａ，下側ピッキング対象物２Ａｂ）の全体に亘って表わされる。そして、これら三次元点群ＴＧＡは、それぞれ、図４（ｂ）に示すように、Ｘ方向，Ｙ方向，Ｚ方向で表わされる三次元座標（テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されている三次元座標（Ｘ_ｎ１，Ｙ_ｎ１，Ｚ_ｎ１）（ｎ_１≧１の整数））にて表わすことができる。また、カメラ５にて取得される２個のピッキング対象物２Ａ（上側ピッキング対象物２Ａａ，下側ピッキング対象物２Ａｂ）の二次元画像（テーブルＴＢＬ（図２参照）の二次元画像（ＴＢ１ｃ参照）に登録されている内容としては、二次元画像Ａａと例示）は、図４（ｃ）に示すように、２個のピッキング対象物２Ａ（上側ピッキング対象物２Ａａ，下側ピッキング対象物２Ａｂ）が重なり合っている状態にて表わされる。しかして、ＣＰＵ６０（図１参照）は、このＸ方向，Ｙ方向，Ｚ方向の三次元座標で表される三次元点群ＴＧＡによって、距離情報を算出し、そして、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標で表される三次元点群ＴＧＡと二次元画像を用いて、２個のピッキング対象物２Ａのエッジ情報を算出し、もって、これら算出した情報から、上側ピッキング対象物２Ａａ、下側ピッキング対象物２Ａｂを判定する。これにより、上側ピッキング対象物２Ａａ、下側ピッキング対象物２Ａｂの領域（セグメンテーション）が仮説できることとなる。

しかしながら、ピッキング対象物２（図１参照）の領域（セグメンテーション）の仮説はこのように必ずしも正しくできるとは限らない。すなわち、カメラ５にて取得される二次元画像に、図５（ａ）に示すように、ノイズＮが存在していた場合（テーブルＴＢＬ（図２参照）の二次元画像（ＴＢ１ｃ参照）に登録されている内容としては、二次元画像Ａｂと例示）、ＣＰＵ６０（図１参照）は、このノイズＮ部分がエッジ部分だと判断し、もって、図５（ｂ）に示すように、上側ピッキング対象物２Ａａが第１の上側ピッキング対象物２Ａａ１と、第２の上側ピッキング対象物２Ａａ２とに分かれたものであると判定する可能性がある。これにより、本来は、図４に示すように、上側ピッキング対象物２Ａａ、下側ピッキング対象物２Ａｂの領域（セグメンテーション）で仮説されるにも係らず、第１の上側ピッキング対象物２Ａａ１と、第２の上側ピッキング対象物２Ａａ２と、下側ピッキング対象物２Ａｂとの領域（セグメンテーション）があるものとして仮説される可能性がある。

一方、テーブルＴＢＬ（図２参照）のピッキング対象物（ＴＢ１ａ参照）に登録されている内容（容器Ｂ）が、図６（ａ−１）に示すような、三角錐状のピッキング対象物２Ｂであって、３個のピッキング対象物２Ｂが横並びになっている場合（説明の都合上、以下では、左側のピッキング対象物２Ｂを左側ピッキング対象物２Ｂａとし、中央側のピッキング対象物２Ｂを中央側ピッキング対象物２Ｂｂとし、右側のピッキング対象物２Ｃを右側ピッキング対象物２Ｂｃとして説明する）、左側ピッキング対象物２Ｂａと中央側のピッキング対象物２Ｂとの間に影Ｋが発生し、中央側ピッキング対象物２Ｂｂと右側ピッキング対象物２Ｂｃとの間に影Ｋが発生する可能性がある。この際、ＣＰＵ６０（図１参照）は、影Ｋの影響で、左側のピッキング対象物２Ｂを左側ピッキング対象物２Ｂａと、中央側ピッキング対象物２Ｂｂと、右側ピッキング対象物２Ｂｃとの領域（セグメンテーション）をまとめて仮説出来ない場合、図６（ａ−２）に示す、カメラ５にて取得される３個のピッキング対象物２Ｂ（左側ピッキング対象物２Ｂａ、中央側ピッキング対象物２Ｂｂ、右側ピッキング対象物２Ｂｃ）の二次元画像のうち、明瞭な個所で、且つ、連続性が認められる部分で構成された、図６（ｂ−１）に示す二次元画像（テーブルＴＢＬ（図２参照）の二次元画像（ＴＢ１ｃ参照）に登録されている内容としては、二次元画像Ｂａと例示）を抽出し、さらに、図６（ｂ−２）に示す、左側ピッキング対象物２Ｂａの全体に亘って表わされるＸ方向，Ｙ方向，Ｚ方向の三次元座標（テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されている三次元座標（Ｘ_ｎ２，Ｙ_ｎ２，Ｚ_ｎ２）（ｎ_２≧１の整数））で表わされる三次元点群ＴＧＢを抽出する可能性がある。そして、ＣＰＵ６０（図１参照）は、この抽出した二次元画像と三次元点群ＴＧＢを用いて、左側ピッキング対象物２Ｂａを判定する。これにより、左側ピッキング対象物２Ｂａの領域（セグメンテーション）が仮説されることとなる。

一方、ＣＰＵ６０（図１参照）は、図６（ａ−２）に示す、カメラ５にて取得される３個のピッキング対象物２Ｂ（左側ピッキング対象物２Ｂａ、中央側ピッキング対象物２Ｂｂ、右側ピッキング対象物２Ｂｃ）の二次元画像のうち、不連続性が強い部分を排除した構成、図６（ｃ−１）に示す二次元画像（テーブルＴＢＬ（図２参照）の二次元画像（ＴＢ１ｃ参照）に登録されている内容としては、二次元画像Ｂｂと例示）を抽出し、さらに、図６（ｃ−２）に示す、左側ピッキング対象物２Ｂａの全体に亘って表わされるＸ方向，Ｙ方向，Ｚ方向の三次元座標（テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されている三次元座標（Ｘ_ｎ２，Ｙ_ｎ２，Ｚ_ｎ２）（ｎ_２≧１の整数））で表わされる三次元点群ＴＧＢを抽出する可能性がある。そして、ＣＰＵ６０（図１参照）は、この抽出した二次元画像と三次元点群ＴＧＢを用いて、左側ピッキング対象物２Ｂａを判定する。これにより、左側ピッキング対象物２Ｂａの領域（セグメンテーション）が仮説されることとなる。

ところで、図５，図６に示すようなケースの場合、図２に示すテーブルＴＢＬに、正しい領域（セグメンテーション）を仮説するための三次元形状を予め登録しておけば、正しい領域（セグメンテーション）を仮説することができる。しかしながら、このような三次元形状を登録しようとしても、ピッキング対象物の種類が、数千〜数十万件という膨大な数に上ることから、このような膨大な数の三次元形状を予め全てデータベース化しておくことは非常に困難であるという問題がある。

そこで、本実施形態においては、図２に示すテーブルＴＢＬに、正しい領域（セグメンテーション）を仮説するための三次元形状を予め登録することはせず、ピッキング対象物２（図１参照）の領域（セグメンテーション）を仮説した後、その仮説の妥当性を検証している。

すなわち、ＣＰＵ６０（図１参照）は、上記ステップＳ２にて仮説したピッキング対象物２（図１参照）の領域（セグメンテーション）に基づいて、ピッキング対象物２（図１参照）を推定し、その推定したピッキング対象物２（図１参照）の把持位置・把持方法を仮説する（ステップＳ３）。具体的に例示すると、ＣＰＵ６０（図１参照）が、上記ステップＳ２にて、図４に示す上側ピッキング対象物２Ａａ、下側ピッキング対象物２Ａｂの領域（セグメンテーション）を仮説した際、上側ピッキング対象物２Ａａの形状と位置は、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標（テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されている三次元座標（Ｘ_ｎ１，Ｙ_ｎ１，Ｚ_ｎ１）（ｎ_１≧１の整数））で表わされる三次元点群ＴＧＡの値をＣＰＵ６０（図１参照）にて解析することにより、推定することができる。しかして、このように上側ピッキング対象物２Ａａの形状と位置を推定することができれば、上側ピッキング対象物２Ａａの重心位置もＣＰＵ６０（図１参照）にて推定することができる。

また、二次元画像（テーブルＴＢＬ（図２参照）の二次元画像（ＴＢ１ｃ参照）に登録されている内容としては、二次元画像Ａａと例示）を用いれば、上側ピッキング対象物２Ａａの仮想形状の傾き（姿勢）をＣＰＵ６０（図１参照）にて推定することができる。すなわち、図４（ｃ）に示すような二次元画像（テーブルＴＢＬ（図２参照）の二次元画像（ＴＢ１ｃ参照）に登録されている内容としては、二次元画像Ａａと例示）の場合、カメラ５の原点Ｏを図示左側と仮定した際、図４（ｃ）に示す二次元画像は、カメラ５の原点Ｏに対して傾いていない（この場合は、傾き０）が、図４（ｄ）に示すように、傾いている場合、原点Ｏに対する傾き角ΘをＣＰＵ６０（図１参照）にて推定することができる。これにより、上側ピッキング対象物２Ａａの推定形状の傾きをＣＰＵ６０（図１参照）にて推定できることとなる。しかるに、このように上側ピッキング対象物２Ａａの推定形状の傾きを推定することができれば、その推定した傾きに基づいて、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標（テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されている三次元座標（Ｘ_ｎ１，Ｙ_ｎ１，Ｚ_ｎ１）（ｎ_１≧１の整数））で表わされる三次元点群ＴＧＡ、それぞれの傾きも推定することができることとなる。すなわち、ピッキング対象物（容器Ａ）の三次元点群情報のＸ方向の角度（図２では、φＸ_ｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＹ方向の角度（図２では、φＹ_ｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＺ方向の角度（図２では、φＺ_ｎ１と例示）が推定できることとなる。これにより、上側ピッキング対象物２Ａａの推定形状の姿勢を推定することができることとなる。なお、このように推定されたピッキング対象物（容器Ａ）の三次元点群情報のＸ方向の角度（図２では、φＸ_ｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＹ方向の角度（図２では、φＹ_ｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＺ方向の角度（図２では、φＺ_ｎ１と例示）は、テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されることとなる。

しかして、このように、上側ピッキング対象物２Ａａの形状・位置・重心位置・姿勢を推定することができれば、ＣＰＵ６０（図１参照）は、様々な把持位置・把持方法を仮説し、リストを生成する。具体的には、図７（ａ）に示すように、仮説番号（図示では、１・・・と例示（Ｌ１ａ参照））のリストを生成し、その仮説番号に対応した把持位置（図示では、図４に示す上側ピッキング対象物の重心・・・と例示（Ｌ１ｂ参照））のリストを生成し、その仮説番号に対応した把持方法（図示では、上面法線方向から吸着・・・と例示（Ｌ１ｃ参照））のリストを生成する。

かくして、図５（ｂ）に示すように、第１の上側ピッキング対象物２Ａａ１と、第２の上側ピッキング対象物２Ａａ２と、下側ピッキング対象物２Ａｂとの領域（セグメンテーション）があるものとして仮説された場合においても、上記と同様の処理を行い、第１の上側ピッキング対象物２Ａａ１と、第２の上側ピッキング対象物２Ａａ２の形状・位置・重心位置・姿勢を推定した上で、ＣＰＵ６０（図１参照）は、様々な把持位置・把持方法を仮説し、リストを生成する。具体的には、図７（ｂ）に示すように、仮説番号（図示では、１，２，３・・・と例示（Ｌ２ａ参照））のリストを生成し、その仮説番号に対応した把持位置（図示では、図５（ｂ）に示す上側ピッキング対象物のαの重心，図５（ｂ）に示す上側ピッキング対象物のβの重心，図５（ｂ）に示す上側ピッキング対象物のα＋βの重心，・・・と例示（Ｌ２ｂ参照））のリストを生成し、その仮説番号に対応した把持方法（図示では、上面法線方向から吸着，上面法線方向から吸着，上面法線方向から吸着・・・と例示（Ｌ２ｃ参照））のリストを生成する。なお、このように推定されたピッキング対象物（容器Ａ）の三次元点群情報のＸ方向の角度（図２では、φＸ_ｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＹ方向の角度（図２では、φＹ_ｎ１と例示），ピッキング対象物（容器Ａ）の三次元点群情報のＺ方向の角度（図２では、φＺ_ｎ１と例示）は、テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されることとなる。

さらに、図６（ｂ−２）に示すように、左側ピッキング対象物２Ｂａの領域（セグメンテーション）が仮説された場合においても、上記と同様の処理を行い、左側ピッキング対象物２Ｂａの形状・位置・重心位置・姿勢を推定した上で、ＣＰＵ６０（図１参照）は、様々な把持位置・把持方法を仮説し、リストを生成する。具体的には、図７（ｃ）に示すように、仮説番号（図示では、１，２・・・と例示（Ｌ３ａ参照））のリストを生成し、その仮説番号に対応した把持位置（図示では、図６（ｂ−２）に示す左側ピッキング対象物の重心，図６（ｂ−２）に示す左側ピッキング対象物の重心・・・と例示（Ｌ３ｂ参照））のリストを生成し、その仮説番号に対応した把持方法（図示では、左斜面法線方向から吸着，両側から挟みこみ・・・と例示（Ｌ３ｃ参照））のリストを生成する。なお、このように推定されたピッキング対象物（容器Ｂ）の三次元点群情報のＸ方向の角度（図２では、φＸ_ｎ２と例示），ピッキング対象物（容器Ｂ）の三次元点群情報のＹ方向の角度（図２では、φＹ_ｎ２と例示），ピッキング対象物（容器Ｂ）の三次元点群情報のＺ方向の角度（図２では、φＺ_ｎ２と例示）は、テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されることとなる。

そしてさらに、図６（ｃ−２）に示すように、左側ピッキング対象物２Ｂａの領域（セグメンテーション）が仮説された場合においても、上記と同様の処理を行い、左側ピッキング対象物２Ｂａの形状・位置・重心位置・姿勢を推定した上で、ＣＰＵ６０（図１参照）は、様々な把持位置・把持方法を仮説し、リストを生成する。具体的には、図７（ｄ）に示すように、仮説番号（図示では、１，２・・・と例示（Ｌ４ａ参照））のリストを生成し、その仮説番号に対応した把持位置（図示では、図６（ｃ−２）に示す左側ピッキング対象物の重心，図６（ｃ−２）に示す左側ピッキング対象物の底面・・・と例示（Ｌ４ｂ参照））のリストを生成し、その仮説番号に対応した把持方法（図示では、左斜面法線方向から吸着，底面から水平に持ち上げる・・・と例示（Ｌ４ｃ参照））のリストを生成する。なお、このように推定されたピッキング対象物（容器Ｂ）の三次元点群情報のＸ方向の角度（図２では、φＸ_ｎ２と例示），ピッキング対象物（容器Ｂ）の三次元点群情報のＹ方向の角度（図２では、φＹ_ｎ２と例示），ピッキング対象物（容器Ｂ）の三次元点群情報のＺ方向の角度（図２では、φＺ_ｎ２と例示）は、テーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されることとなる。

次いで、ＣＰＵ６０（図１参照）は、上記ステップＳ３にて仮説したピッキング対象物２（図１参照）の把持位置・把持方法を検証すべく、まずは、上記図７（ａ）〜（ｄ）に示すように生成されたリストの最初の仮説番号に対応した仮説したピッキング対象物２（図１参照）の把持位置・把持方法を指示値（例えば、図７（ｂ）に示すリストが生成された場合、仮説番号「１」（Ｌ２ａ参照）に対応した把持位置「図５に示す上側ピッキング対象物のαの重心」（Ｌ２ｂ参照）、把持方法「上面法線方向から吸着」（Ｌ２ｃ参照）を指示値）として、出力部６２（図１参照）を介してロボット制御装置４に出力する。これにより、ロボット制御装置４は、その指示値に基づいて、ロボット３（図１参照）を制御し、もって、ロボット３（図１参照）のロボットハンド３２（図１参照）にてピッキング対象物２（図１参照）を把持させる。これにより、ロボットハンド３２（図１参照）に設けられている把持センサは、ピッキング対象物２（図１参照）を把持したか否かを検出し、この検出結果を登録装置６（図１参照）に出力する（ステップＳ４）。

次いで、ＣＰＵ６０（図１参照）は、把持センサから出力された検出結果が登録装置６の入力部６１（図１参照）を介して登録装置６内に入力されると、その検出結果を解析し、把持に成功したか否かを確認する（ステップＳ５）。把持に成功していなければ（ステップＳ５：ＮＯ）、ＣＰＵ６０（図１参照）は、上記図７（ａ）〜（ｄ）に示すように生成されたリストの最初の仮説番号に対応した仮説したピッキング対象物２（図１参照）の把持位置・把持方法の把持結果が「失敗」である旨を、テーブルＴＢＬ（図２参照）に登録する。すなわち、テーブルＴＢＬ（図２参照）の把持位置（ＴＢ１ｄ）に把持位置（例えば、図７（ｂ）に示す「図５に示す上側ピッキング対象物のαの重心」（Ｌ２ｂ参照））を登録し、テーブルＴＢＬ（図２参照）の把持方法（ＴＢ１ｅ）に把持方法（例えば、図７（ｂ）に示す「上面法線方向から吸着」（Ｌ２ｃ参照））を登録し、テーブルＴＢＬ（図２参照）の検証結果（ＴＢ１ｆ参照）に、その把持位置・把持方法は「失敗」である旨を登録する。

次いで、ＣＰＵ６０（図１参照）は、図７（ａ）〜（ｄ）に示すように生成されたリストに、次に検証すべき仮説番号があるか否かを確認する（ステップＳ６）。次に検証すべき仮説があれば（例えば、図７（ｂ）に示すリストが生成された場合、仮説番号「１」が失敗だったため、次の仮説番号「２」）（ステップＳ６：ＹＥＳ）、その仮説を検証すべく、ステップＳ４の処理に戻り、その検証すべき仮説（例えば、図７（ｂ）に示すリストが生成された場合、仮説番号「２」（Ｌ２ａ参照）に対応した把持位置「図５に示す上側ピッキング対象物のβの重心」（Ｌ２ｂ参照）、把持方法「上面法線方向から吸着」（Ｌ２ｃ参照））に基づいて、ロボット３（図１参照）のロボットハンド３２（図１参照）にピッキング対象物２（図１参照）を把持させる。

しかして、このように、把持が成功する把持位置・把持方法に対応する仮説番号が見つかるまで、ステップＳ４〜ステップＳ６の処理を繰り返し行う。

かくして、このような処理を繰り返した結果、生成したリストの中に検証すべき仮説がなくなれば（ステップＳ６：ＮＯ）、ＣＰＵ６０（図１参照）は、カメラ５やロボット３等の再調整を促す警告を表示部６５（図１参照）に表示させ（ステップＳ７）、処理を終える。

一方、把持に成功していれば（ステップＳ５：ＹＥＳ）、ＣＰＵ６０（図１参照）は、上記図７（ａ）〜（ｄ）に示すように生成されたリストのうち成功した仮説番号に対応した仮説したピッキング対象物２（図１参照）の把持位置・把持方法の把持結果が「成功」である旨を、テーブルＴＢＬ（図２参照）に登録する。すなわち、テーブルＴＢＬ（図２参照）の把持位置（ＴＢ１ｄ）に把持位置（例えば、図７（ｂ）に示す「図５（ｂ）に示す上側ピッキング対象物のα＋βの重心」（Ｌ２ｂ参照））を登録し、テーブルＴＢＬ（図２参照）の把持方法（ＴＢ１ｅ）に把持方法（例えば、図７（ｂ）に示す「上面法線方向から吸着」（Ｌ２ｃ参照））を登録し、テーブルＴＢＬ（図２参照）の検証結果（ＴＢ１ｆ参照）に、その把持位置・把持方法は「成功」である旨を登録する。なお、この「成功」で登録された把持位置・把持方法が、実際の稼働時にマスターデータとして使用されることとなる。

次いで、ＣＰＵ６０（図１参照）は、ピッキング対象物２（図１参照）の領域（セグメンテーション）を、再度、仮説する必要があるかの判定を行う（ステップＳ８）。具体的には、成功した把持位置（例えば、図２に示す「図５（ｂ）に示す上側ピッキング対象物のα＋βの重心」（ＴＢ１ｄ参照））・把持方法（例えば、「図５（ｂ）に示す上面法線方向から吸着」（ＴＢ１ｅ参照））を表示部６５（図１参照）に表示し、作業者にこの内容で良いか否かの選択を求める。又は、複数個のピッキング対象物２（図１参照）が把持されず、単数個のピッキング対象物２（図１参照）が把持されていることを目視確認するよう、作業者に促す。或いは、ロボットハンド３２（図１参照）に設けられている重量センサにて、把持しているピッキング対象物２（図１参照）の重量を検出し、その検出した重量が登録装置６（図１参照）のＲＯＭ６３（図１参照）内に予め格納されているピッキング対象物２（図１参照）の重量と一致しているかを、ＣＰＵ６０（図１参照）にて確認を行う。

ピッキング対象物２（図１参照）の領域（セグメンテーション）を、再度、仮説する必要がなければ、すなわち、作業者がこの内容で良いと選択、又は、単数個のピッキング対象物２（図１参照）が把持されている、或いは、重量が一致していれば（ステップＳ８：ＮＯ）、処理を終える。

一方、ピッキング対象物２（図１参照）の領域（セグメンテーション）を、再度、仮説する必要があれば、すなわち、作業者がこの内容で良くないと選択、又は、複数個のピッキング対象物２（図１参照）が把持されている、或いは、重量が一致していなければ（ステップＳ８：ＹＥＳ）、ステップＳ２の処理に戻り、再度、ピッキング対象物２（図１参照）の領域（セグメンテーション）の仮説を行う。なお、ピッキング対象物２（図１参照）の領域（セグメンテーション）を、再度、仮説する必要がある場合、ＣＰＵ６０（図１参照）は、テーブルＴＢＬ（図２参照）の検証結果（ＴＢ１ｆ参照）に、その把持位置・把持方法は「成功」である旨を登録した内容を、「失敗」として登録の変更を行う。

しかして、このように、例え、把持に成功したとしても、ピッキング対象物２（図１参照）の領域（セグメンテーション）を、再度、仮説する必要があるか否かの判定を行うことにより、正確な把持位置・把持方法を、テーブル（図２参照）に登録することができる。これにより、実際の稼働時に、正確な把持位置・把持方法が、マスターデータとして使用されることとなる。

かくして、上記のような処理を行うことにより、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）に、図２に示すＴＢ１ａ〜ＴＢ１ｆに示す内容が格納されることとなる。

しかして、以上説明した本実施形態によれば、ピッキング対象物２（図１参照）の領域（セグメンテーション）を仮説した後、その仮説したピッキング対象物２（図１参照）の領域（セグメンテーション）の把持位置・把持方法を仮説し、その妥当性を検証し、その検証結果を、ピッキング対象物関連情報登録データベース６６（図１参照）に登録するという工程を自動で行うことが可能となるから、従来のように、全てのピッキング対象物の三次元形状を予めピッキング対象物関連情報登録データベース６６（図１参照）に登録しておく必要がなくなる。さらに、成功した検証結果をピッキング対象物関連情報登録データベース６６（図１参照）に登録しているから、実際の稼働時に、マスターデータとして使用することができる。これにより、物流現場における自動化を実現することができることとなる。

なお、本実施形態においては、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の検証結果の項目（ＴＢ１ｆ参照）に「失敗」を登録する例を示したが、失敗した把持位置・把持方法を登録しなくとも良い。

しかしながら、失敗した把持位置・把持方法は、登録しておいた方が好ましい。ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）に、失敗した把持位置・把持方法、成功した把持位置・把持方法が一定量登録されれば、機械学習を実施することができるためである。

すなわち、機械学習として、教師あり学習を用いる場合、ピッキング対象物２（図１参照）の領域（セグメンテーション）を学習するプロセスと、把持位置・把持方法を学習するプロセスに分けて機械学習を行う。ピッキング対象物２（図１参照）の領域（セグメンテーション）を学習するプロセスにおいては、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の三次元点群情報の項目（ＴＢ１ｂ参照）に登録されている三次元点群情報と、テーブルＴＢＬ（図２参照）の二次元画像の項目（ＴＢ１ｃ参照）に登録されている二次元画像とを用いて、ＣＰＵ６０（図１参照）は、エッジ、線のつながり、輪郭、深さ方向の距離等の特徴量を算出し、その算出した特徴量を入力層に入力する。これにより、ＣＰＵ６０（図１参照）は、ＲＯＭ６３（図１参照）に記憶されている周知の教師あり学習プログラムを使用して、表示部６５（図１参照）に、ピッキング対象物２（図１参照）の領域（セグメンテーション）リストを表示する。なお、教師データとしては、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の成功事例を用いるか、又は、表示部６５（図１参照）に表示されるピッキング対象物２（図１参照）の領域（セグメンテーション）リストの中から作業者が選択したものを用いればよい。

次に、把持位置・把持方法を学習するプロセスにおいては、ピッキング対象物２（図１参照）の領域（セグメンテーション）を学習するプロセスにおいて生成されたピッキング対象物２（図１参照）の領域（セグメンテーション）リストを入力層に入力する。これにより、ＣＰＵ６０（図１参照）は、ＲＯＭ６３（図１参照）に記憶されている周知の教師あり学習プログラムを使用して、表示部６５（図１参照）に、ピッキング対象物２（図１参照）の把持位置・把持方法リストを表示する。なお、教師データとしては、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の成功事例を用いるか、又は、表示部６５（図１参照）に表示されるピッキング対象物２（図１参照）の把持位置・把持方法リストの中から作業者が選択したものを用いれば良い。

かくして、このようにして、教師あり学習を用いた機械学習を行うことができる。

一方、機械学習として、強化学習を用いる場合、ＣＰＵ６０（図１参照）は、「報酬」として、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の検証結果の項目（ＴＢ１ｆ参照）に登録されている「成功」に対して報酬「１」を与え、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の検証結果の項目（ＴＢ１ｆ参照）に登録されている「失敗」に対して報酬「０」を与える。そして、ＣＰＵ６０（図１参照）は、「行動」を、ピッキング対象物関連情報登録データベース６６（図１参照）に格納されているテーブルＴＢＬ（図２参照）の把持位置の項目（ＴＢ１ｄ参照）に登録されている把持位置、テーブルＴＢＬ（図２参照）の把持方法の項目（ＴＢ１ｅ参照）に登録されている把持方法の組み合わせとする。これにより、ＣＰＵ６０（図１参照）は、ＲＯＭ６３（図１参照）に記憶されている周知の強化学習プログラムを使用して、表示部６５（図１参照）に、ピッキング対象物２（図１参照）毎に、所定の評価がされた把持位置・把持方法の組み合わせを表示する。

かくして、このようにして、強化学習を用いた機械学習を行うことができる。

しかして、失敗した把持位置・把持方法、成功した把持位置・把持方法が一定量登録されれば、上記のような機械学習を実施することができることとなるため、失敗した把持位置・把持方法を登録しておいた方が好ましい。

ところで、本実施形態にて例示したピッキング対象物２は、あくまで一例であり、物流現場において取り扱う物品であればどのようなものにも適用可能である。

また、本実施形態においては、ピッキング対象物２の三次元座標を示す三次元点群情報とピッキング対象物２の二次元画像をカメラ５にて取得できる例を示したが、それに限らず、カメラ５は単なる撮像機能だけにし、登録装置６（図１参照）のＣＰＵ６０（図１参照）にて、ピッキング対象物２の三次元座標を示す三次元点群情報を生成し、ピッキング対象物２の二次元画像を生成するようにしても良い。またさらに、カメラ５，登録装置６（図１参照）のＣＰＵ６０（図１参照）の何れか一方で、ピッキング対象物２の三次元座標を示す三次元点群情報を生成し、他方のカメラ５又は登録装置６（図１参照）のＣＰＵ６０（図１参照）にてピッキング対象物２の二次元画像を生成するようにしても良い。

一方、本実施形態においては、カメラ５を別に設ける例を示したが、それに限らず、カメラ５をロボット３に組み込むようにしても良い。また、ロボット制御装置４と登録装置６とを別々に設ける例を示したが、ロボット制御装置４と登録装置６を一体化しても良い。

なお、本実施形態にて例示した内容は、あくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変形・変更が可能である。

１ピッキング対象物把持情報登録システム
２ピッキング対象物
３ロボット
４ロボット制御装置
５カメラ（第１生成手段、第２生成手段）
６登録装置
６０ＣＰＵ
６６ピッキング対象物関連情報登録データベース（記憶手段）
ＴＢＬテーブル

Claims

ピッキング対象物の三次元点群データを生成する第１生成手段と、
前記ピッキング対象物の二次元画像を生成する第２生成手段と、
前記第１生成手段にて生成された三次元点群情報と前記第２生成手段にて生成された二次元画像に基づき、前記ピッキング対象物の領域を仮説する仮説領域手段と、
前記仮説領域手段にて仮説したピッキング対象物の領域に基づいて、ピッキング対象物を想定し、該想定したピッキング対象物の把持位置・把持方法を仮説する仮説把持手段と、
前記仮説把持手段にて仮説した前記把持位置・把持方法を、ロボットを用いて検証する検証手段と、
前記検証手段にて検証した結果、前記ピッキング対象物の把持に成功した前記把持位置・把持方法を記憶する記憶手段と、を備えてなるピッキング対象物把持情報登録システム。
前記検証手段にて検証した結果、前記ピッキング対象物の把持に成功した際、再度、前記第１生成手段にて生成された三次元点群情報と前記第２生成手段にて生成された二次元画像に基づき、前記ピッキング対象物の領域を仮説領域手段にて仮説させる必要があるか否かの判定を行う判定手段と、をさらに備えてなる請求項１に記載のピッキング対象物把持情報登録システム。
前記記憶手段は、前記検証手段にて検証した結果、前記ピッキング対象物の把持に失敗した前記把持位置・把持方法も記憶してなる請求項１に記載のピッキング対象物把持情報登録システム。