WO2023157964A1

WO2023157964A1 - ピッキング装置及びピッキング制御プログラム

Info

Publication number: WO2023157964A1
Application number: PCT/JP2023/005899
Authority: WO
Inventors: 徹岩▲崎▼
Original assignee: 興和株式会社
Priority date: 2022-02-21
Filing date: 2023-02-20
Publication date: 2023-08-24

Abstract

ピッキング対象物の位置を正確に特定可能なピッキング装置を提供するために、複数のピッキング対象物の全体を撮影した２次元撮影画像データと３次元点群情報をそれぞれ取得し、２次元撮影画像データと３次元点群情報との間でキャリブレーションを実行し、３次元点群情報から複数のピッキング対象物の天面候補領域を抽出し、予め学習を行った学習済モデルに基づいて２次元撮影画像データにおける各ピッキング対象物の第１四隅座標情報を取得し、第１四隅座標情報及び３次元点群情報に基づいてピッキング動作及び移載動作を制御し、３次元カメラを制御して３次元点群情報を再取得し、ピッキング前後の３次元点群情報の差分に基づいて、ピッキング前の時点における当該ピッキング対象物に関する四隅の座標情報を第２四隅座標情報として取得し、第１四隅座標情報と第２四隅座標情報のずれ量に基づいて移載動作の制御量を補正するようにした。

Description

ピッキング装置及びピッキング制御プログラム

　本発明は、ピッキング対象物の位置を正確に特定可能なピッキング装置及びピッキング制御プログラムに関する。

　従来から、工場からの出荷段階や物流拠点などにおいて、荷物の仕分け、積み替え、荷卸しなどの作業をロボットによって自動化することが行われてきた。

　把持対象となる箱状ピッキング対象物を自動的に確認・計測するための技術として、例えば、特許文献１が既に提案されている。この特許文献１には、２次元カメラで撮影した２次元画像と、３次元カメラ等で取得する３次元点群情報との２つの情報を併用することで、把持対象となる箱状ピッキング対象物を正確に把握する構成が開示されている。

特開２０１９－１３６８２８号公報

　特許文献１では、２次元カメラで撮影した２次元画像と、３次元カメラ等で取得する３次元点群情報との２つの情報を併用することでピッキング対象物の位置の検出精度を向上させることが可能であるが、２次元画像内に白飛びや黒潰れの個所があると、ピッキング対象物の位置検出を誤ってしまう可能性は残る。位置検出を誤ってしまうと、ピッキング装置が認識しているピッキング対象物の予測位置と実際の位置との間にずれが生じてしまうため、ピッキング装置の制御部においては精緻に載置しているつもりが実際にはずれた位置に載置してしまうということが生じるおそれがある。例えば、ピッキング対象物を他の載置台などに隙間なく精緻に積む必要のある移載動作においては、少しずつであっても位置検出にずれが生じると、積み上げた荷物の安定性が損なわれてしまい、最悪、荷物が崩れるという危険性がある。

　本発明は、上記問題点に鑑みなされたものであり、ピッキング対象物の位置を正確に特定可能なピッキング装置及びピッキング制御プログラムを提供することを目的とする。

　本発明に係るピッキング装置は、ピッキング対象物をピッキングするハンド部を備えたピッキングロボットと、前記ピッキング対象物を２次元撮影するための２次元カメラと、前記ピッキング対象物までの距離情報を表す３次元点群情報を取得するための３次元カメラと、前記ピッキングロボットのピッキング動作を制御する制御ユニットとを備え、前記制御ユニットは、前記２次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体を撮影した少なくとも１以上の２次元撮影画像データを取得する２次元撮影画像取得機能と、前記３次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体に関する３次元点群情報を取得する３次元点群情報取得機能と、前記２次元撮影画像データと前記３次元点群情報との間で対象となる前記ピッキング対象物を基準として座標情報を共通化するキャリブレーション機能と、前記３次元点群情報から複数の前記ピッキング対象物の天面候補領域を抽出する天面候補領域抽出機能と、入力された画像データから前記ピッキング対象物を特定して各ピッキング対象物の四隅の座標情報を出力することについて予め学習を行った学習済モデルに対して前記２次元撮影画像データを入力することで、当該２次元撮影画像データにおける各ピッキング対象物の第１四隅座標情報を取得する第１四隅座標情報取得機能と、前記第１四隅座標情報及び前記３次元点群情報に基づいて、前記ピッキングロボットによるピッキング対象物のピッキング動作及び移載動作を制御するピッキング制御機能と、前記ピッキングロボットによって前記ピッキング対象物がピッキングされた後に残された他のピッキング対象物について、前記３次元カメラを制御して３次元点群情報を再取得する３次元点群情報再取得機能と、ピッキング前に取得した３次元点群情報とピッキング後に再取得した３次元点群情報との差分に基づいて、ピッキング前の時点における当該ピッキング対象物に関する四隅の座標情報を第２四隅座標情報として取得する第２四隅座標情報取得機能と、前記第１四隅座標情報と前記第２四隅座標情報のずれ量に基づいて前記移載動作の制御量を補正する制御量補正機能とを備えることを特徴とする。

　また、本発明に係るピッキング装置において、さらに、前記第２四隅座標情報取得機能は、ピッキング前に取得した３次元点群情報とピッキング後に再取得した３次元点群情報との差分が表す前記ピッキング対象物の領域に対して、四隅の座標情報を抽出する処理を実行することで、第２四隅座標情報を取得することを特徴とする。

　また、本発明に係るピッキング装置において、さらに、前記制御量補正機能は、正しい座標情報である前記第２四隅座標情報に対する第１四隅座標情報のＸＹ座標内でのずれ量の情報と、両者の間の回転角度のずれ量を検出して制御量の補正を行うことを特徴とする。

　本発明に係るピッキング制御プログラムは、ピッキング対象物をピッキングするハンド部を備えたピッキングロボットを制御する処理をコンピュータに実現させるためのピッキング制御プログラムであって、前記コンピュータに、ピッキング対象物を２次元撮影するための２次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体を撮影した少なくとも１以上の２次元撮影画像データを取得する２次元撮影画像取得機能と、前記ピッキング対象物までの距離情報を表す３次元点群情報を取得するための３次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体に関する３次元点群情報を取得する３次元点群情報取得機能と、前記２次元撮影画像データと前記３次元点群情報との間で対象となる前記ピッキング対象物を基準として座標情報を共通化するキャリブレーション機能と、前記３次元点群情報から複数の前記ピッキング対象物の天面候補領域を抽出する天面候補領域抽出機能と、入力された画像データから前記ピッキング対象物を特定して各ピッキング対象物の四隅の座標情報を出力することについて予め学習を行った学習済モデルに対して前記２次元撮影画像データを入力することで、当該２次元撮影画像データにおける各ピッキング対象物の第１四隅座標情報を取得する第１四隅座標情報取得機能と、前記第１四隅座標情報及び前記３次元点群情報に基づいて、前記ピッキングロボットによるピッキング対象物のピッキング動作及び移載動作を制御するピッキング制御機能と、前記ピッキングロボットによって前記ピッキング対象物がピッキングされた後に残された他のピッキング対象物について、前記３次元カメラを制御して３次元点群情報を再取得する３次元点群情報再取得機能と、ピッキング前に取得した３次元点群情報とピッキング後に再取得した３次元点群情報との差分に基づいて、ピッキング前の時点における当該ピッキング対象物に関する四隅の座標情報を第２四隅座標情報として取得する第２四隅座標情報取得機能と、前記第１四隅座標情報と前記第２四隅座標情報のずれ量に基づいて前記移載動作の制御量を補正する制御量補正機能とを実現させることを特徴とする。

　本発明によれば、ピッキング対象物についての最初の第１四隅座標情報の取得時においてずれが生じていたとしても、ピッキング前後の３次元点群情報の差分に基づいてピッキング前の時点におけるピッキング対象物に関する第２四隅座標情報を取得し、第１四隅座標情報と第２四隅座標情報のずれ量に基づいて移載動作の制御量を補正するようにしたので、ピッキングした際のピッキング対象物の姿勢を正確に特定して制御に反映させることが可能となる。

本発明の実施の形態の少なくとも１つに対応するピッキング装置の全体構成を説明するための説明図である。本発明の実施の形態の少なくとも１つに対応するピッキング装置の構成の一例を示すブロック図である。本発明の実施の形態の少なくとも１つに対応するピックアップ対象物のピッキング処理の流れの一例を示すフローチャート図である。本発明の実施の形態の少なくとも１つに対応するピッキング装置において取得される２次元撮影画像データの一例を表した画像図である。本発明の実施の形態の少なくとも１つに対応するピッキング装置において取得される３次元点群情報の一例を表した画像図である。本発明の実施の形態の少なくとも１つに対応するピッキング装置において第１四隅座標情報を設定した様子の一例を表した画像図である。本発明の実施の形態の少なくとも１つに対応するピッキング装置においてピッキング前後の３次元点群情報の差分に基づいて移載動作の制御量を補正する例を説明するための説明図である。

［第１の実施の形態］
　以下、図面を参照しながら、本発明の第１の実施の形態に係るピッキング装置の例について説明する。

　図１は、本発明の実施の形態の少なくとも１つに対応するピッキング装置の全体構成を説明するための説明図である。図１に示すように、ピッキング装置１００は、ピッキングロボット１０と、２次元カメラ２０と、３次元カメラ３０と、制御ユニット４０とを少なくとも備える。本例のピッキング装置１００は、２次元カメラ２０によって撮影した２次元撮影画像データと、３次元カメラ３０によって取得した３次元点群情報とに基づいて、制御ユニット４０においてピックアップ対象物の天面の正確な位置を特定して、その特定した情報に基づいてピッキングロボット１０を制御して、ピッキング対象物の吸着作業（ピッキング動作）及びピッキング対象物の積み替え作業（移載動作）などを自動で実行させるためのものである。

　図２は、本発明の実施の形態の少なくとも１つに対応するピッキング装置の構成の一例を示すブロック図である。図２に示すように、ピッキング装置１００は、ピッキングロボット１０と、２次元カメラ２０と、３次元カメラ３０と、制御ユニット４０とを少なくとも備える。

　ピッキングロボット１０は、ピッキング対象物をピッキングするハンド部を備えたロボットである。本例では、ピッキング対象物の中心箇所を吸着して持ち上げる吸着ハンドを備えたピッキングロボット１０として説明を行うが、これに限定されるものではなく、例えば、ピッキング対象物の側面を挟んで把持するハンドを備えるものであってもよい。このピッキングロボット１０は、後述する制御ユニット４０によって動作を制御される。

　２次元カメラ２０は、ピッキング対象物を２次元撮影するための構成である。ピッキング対象物を撮影可能であれば設置位置や撮影角度は様々に設定可能であるが、本例のようにピッキング対象物の天面を吸着して掴む構成である場合には、ピッキング対象物の天面が写るように上方から撮影するように設置することが好ましい。具体的には、ピッキングロボット１０の先端のハンド部の近傍に設置することが考えられる。ハンド部の近傍とは、ハンド部と一体となって移動し得る位置であり、ハンド部と連動して移動させたとしてもピッキング作業に影響を及ぼさない位置のことをいう。また、ハンド部と一体に設置する場合に限らず、ピッキングロボット１０とは別にピッキング対象物の近くにピッキングロボット１０の動作範囲と干渉しないように櫓を組んで、櫓に２次元カメラ２０を設置するようにしてもよい。この２次元カメラ２０は、後述する制御ユニット４０によって撮影の実行が制御される。

　３次元カメラ３０は、ピッキング対象物までの距離情報を表す３次元点群情報を取得するための構成である。３次元点群情報を取得可能であればどのような手段であってもよいが、例えば、ＴＯＦカメラ（Time-of-Flight Camera）などが考えられる。また、その他にも、ステレオカメラを用いて距離情報を抽出する構成であってもよいし、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）を用いて３次元点群情報を取得する構成であってもよい。この３次元カメラ３０は、後述する制御ユニット４０によって撮影の実行が制御される。この３次元カメラ３０については、ピッキング対象物を撮影可能であれば設置位置や撮影角度は様々に設定可能であるが、本例のようにピッキング対象物の天面を吸着して掴む構成である場合には、ピッキング対象物の天面が写るように上方からの撮影するように設置することが好ましい。具体的には、ピッキングロボット１０の先端のハンド部の近傍に設置することが考えられる。ハンド部の近傍とは、ハンド部と一体となって移動し得る位置であり、ハンド部と連動して移動させたとしてもピッキング作業に影響を及ぼさない位置のことをいう。また、ハンド部と一体に設置する場合に限らず、ピッキングロボット１０とは別にピッキング対象物の近くにピッキングロボット１０の動作範囲と干渉しないように櫓を組んで、櫓に３次元カメラ３０を設置するようにしてもよい。なお、図１の例では、２次元カメラ２０と３次元カメラ３０とを隣接させて設置することで、ほぼ同様の撮影角度となるように構成している。

　制御ユニット４０は、２次元カメラ２０による撮影、３次元カメラ３０による撮影、及び、ピッキングロボットのピッキング動作を制御するための構成である。制御ユニット４０は、後述する制御を実行可能であればどのような手段にて構成されてもよいが、例えば、コンピュータ、マイコン、ＰＬＣ（Programmable Logic Controller）、またはこれらの組み合わせにて実現される。このうち、コンピュータは、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）と、メモリと、ハードディスクドライブ、ＳＳＤ等のストレージとを備えており、また、マウス、キーボード等の入力装置と、ディスプレイ、プリンタ等の出力装置と、通信ネットワークと接続するための通信装置とを備えており、これらがバスを介して接続されている構成であってもよい。情報処理装置１０の各部における処理は、これらの各部における処理を実行するためのプログラムをメモリから読み込んで制御回路（Processing circuit、Processing circuitry）として機能するＣＰＵやＧＰＵあるいはＦＰＧＡ（Field Programmable Gate Array）において実行することで実現する。言い換えると、当該プログラムの実行により、プロセッサ（処理回路）が、各装置の各処理を実行できるように構成される。また、ピッキング対象物の中心座標情報の取得までの処理はコンピュータにおいて実行し、中心座標情報を用いたピッキングロボット１０の動作制御についてはＰＬＣを用いて実現するといった構成も考えられる。また、制御ユニット４０に用いる各種データ、及び、制御ユニット４０による処理の結果として得られた各種データは、図示しない記憶部に適宜記憶されることはいうまでもない。

　図２に示すように、制御ユニット４０は、２次元撮影画像取得機能４１、３次元点群情報取得機能４２、キャリブレーション機能４３、天面候補領域抽出機能４４、第１四隅座標情報取得機能４５、ピッキング制御機能４６、３次元点群情報再取得機能４７、第２四隅座標情報取得機能４８、制御量補正機能４９とを備えている。

　２次元撮影画像取得機能４１は、２次元カメラ２０を制御して荷積みされた複数のピッキング対象物の全体を撮影した少なくとも１以上の２次元撮影画像データを取得する機能を有する。なお、２次元撮影画像取得機能４１は、複数回の撮影を実行する際に、撮影時の露光時間を変化させて露光時間が異なる複数の２次元撮影画像データを取得し得るものとし、取得した複数の２次元撮影画像データの中から白飛びや黒潰れのないものを選択してもよいし、複数の２次元撮影画像データについてＨＤＲ処理などを実行することで白飛びや黒潰れのない画像データを生成するようにしてもよい。ここで、ＨＤＲ（High-dynamic-range）処理とは、様々な露光時間にて撮影した複数の２次元撮影画像データから、最適な明るさ（白飛びや黒潰れしていない）の部分を選択し、１つの画像へ合成する処理のことをいう。ＨＤＲ処理は既知の技術であるため詳細は省略するが、このＨＤＲ処理を行うことで、白飛びや黒潰れのない合成画像データを生成できるため、このようなＨＤＲ処理によって得られた合成画像データを後述する第１四隅座標情報取得機能４５において利用するようにしてもよい。

　３次元点群情報取得機能４２は、３次元カメラ３０を制御して荷積みされた複数のピッキング対象物の全体に関する３次元点群情報を取得する機能を有する。ここで、３次元点群情報とは、撮影範囲に存在する物体までの距離を計測点毎に算出した情報であり、点群の情報を解析することで物体の面や形状を特定することが可能となる。

　キャリブレーション機能４３は、２次元撮影画像データと３次元点群情報との間で対象となるピッキング対象物を基準として座標情報を共通化する機能を有する。２次元撮影画像データと３次元点群情報との間で共通に写るピックアップ対象物を基準として座標情報の共通化、いわゆるキャリブレーションを実行することで、２次元撮影画像データと３次元点群情報との間で相互に座標情報の変換が可能となる。これにより、２次元撮影画像データと同一画角にて３次元点群情報を描画し直すといった処理も可能となる。このキャリブレーション機能４３における座標情報の共通化処理により、２次元撮影画像データに写るピックアップ対象物の天面の各点についてのＸＹ座標と、２次元カメラ２０による撮影点からピックアップ対象物の天面までの距離であるＺ座標（鉛直方向の距離情報）とを取得することができる。

　天面候補領域抽出機能４４は、３次元点群情報から複数のピッキング対象物の天面候補領域を抽出する機能を有する。キャリブレーション機能４３における座標情報の共通化処理により、ピックアップ対象物の各点までの距離情報が明らかとなる。ここで、撮影点からＺ座標方向に徐々に探索範囲を広げていくと、あるＺ座標付近に複数の点群が平面的に存在する箇所を検知可能である。本例のように、ピッキング対象物の上方から撮影を行い、上方からピッキングロボット１０によってピッキングを実行する場合、３次元カメラ３０の撮影位置からＺ方向の距離が最も近い平面個所を天面候補領域として抽出することが好ましい。なお、点群が平面的に存在する箇所を検出する際に、Ｚ方向の距離に幅を持たせて探索するようにしてもよい。どの程度のＺ方向の距離範囲に点群が存在する場合に同一平面と推定するかについては作業環境に応じて適宜設定可能である。

　第１四隅座標情報取得機能４５は、入力された画像データからピッキング対象物を特定して各ピッキング対象物の四隅の座標情報を出力することについて予め学習を行った学習済モデルに対して２次元撮影画像データを入力することで、当該２次元撮影画像データにおける各ピッキング対象物の第１四隅座標情報を取得する機能を有する。ここで、学習済モデルとは、ピッキング対象物が写っている画像データとその画像データにおけるピッキング対象物の四隅の座標情報の正解データとをセットにした教師データセットを複数用いて機械学習を行うことで、ピッキング対象物が写っている画像データが入力された場合に四隅の座標情報を出力することについて学習されたモデルのことをいう。学習済モデルはどのようなモデルであってもよいが、例えば、ニューラルネットワークで構成された学習済モデルが考えられる。学習に用いる教師データセットについては、様々な画像が採用可能である。また、四隅座標情報のみを出力する場合に限らず、ピッキング対象物の天面の四隅座標情報と中心座標情報を両方出力することについて学習を行った学習済モデルを採用するようにしてもよい。すなわち、制御対象のピッキングロボット１０を制御してピッキング作業を実行するために必要な情報を取得できるように学習済モデルを学習しておくことが好ましい。このように学習済モデルから出力される四隅座標情報を第１四隅座標情報として取得する。

　なお、第１四隅座標情報取得機能４５における第１四隅座標情報の設定方法は、必ずしも学習済モデルに基づく手法である必要はなく、四隅の座標情報を抽出する何らかのアルゴリズムを採用してルールベースで第１四隅座標情報を抽出するようにしてもよい。

　ピッキング制御機能４６は、第１四隅座標情報及び３次元点群情報に基づいて、ピッキングロボットによるピッキング対象物のピッキング動作及び移載動作を制御する機能を有する。ピッキング対象物のピッキング動作及び移載動作に必要な情報として第１四隅座標情報や高さ情報（Ｚ座標情報）を取得する。ここで、同じ高さに天面を有するピックアップ対象物が複数存在する場合に、何れのピッキング対象物を選択してピッキング動作及び移載動作を実行するかについては、適宜設定可能である。一例としては、ハンド部に最も近いピックアップ対象物を選択するようにルール設定しておくことが考えられる。ハンド部によってピックアップ対象物を掴んだ後の制御については、既知の技術に基づいて適宜実行可能である。

　３次元点群情報再取得機能４７は、ピッキングロボットによって前記ピッキング対象物がピッキングされた後に残された他のピッキング対象物について、前記３次元カメラを制御して３次元点群情報を再取得する機能を有する。３次元カメラの撮影方向及び撮影範囲が固定的に設定されている場合には、３次元点群情報取得機能４２で取得する３次元点群情報と同一の撮影範囲が撮影されているため、キャリブレーションを省略するようにしてもよい。３次元カメラの撮影方向及び撮影範囲が変化している場合には、２次元撮影画像データと３次元点群情報再取得機能４７で取得する３次元点群情報とについて、キャリブレーション機能４３によってキャリブレーションを実行する必要がある。また、この３次元点群情報再取得機能４７で取得した３次元点群情報についても、天面候補領域抽出機能４４に基づいて、３次元点群情報から複数のピッキング対象物の天面候補領域を抽出しておく。

　第２四隅座標情報取得機能４８は、ピッキング前に取得した３次元点群情報とピッキング後に再取得した３次元点群情報との差分に基づいて、ピッキング前の時点における当該ピッキング対象物に関する四隅の座標情報を第２四隅座標情報として取得する機能を有する。具体的には、ピッキング前に取得した３次元点群情報とピッキング後に再取得した３次元点群情報との差分が表すピッキング対象物の領域に対して、四隅の座標情報を抽出する処理を実行することで、第２四隅座標情報を取得する。ここで、差分を求める手法は、ピッキング前後の３次元点群情報のそれぞれについて、天面候補領域抽出機能４４に基づいて抽出した天面候補領域を含む平面を表す２次元情報に変換してから差分を求める手法であってもよい。差分を演算することで、ピッキングされた当該ピッキング対象物の天面候補領域のみが抽出される。このピッキングされた当該ピッキング対象物の天面候補領域に対して、画像処理或いは何らかのルールベースの処理を実行することで、第２四隅座標情報を抽出して取得する。

　制御量補正機能４９は、第１四隅座標情報と第２四隅座標情報のずれ量に基づいて移載動作の制御量を補正する機能を有する。具体的には、正しい座標情報である（正しい座標情報である可能性が極めて高い）第２四隅座標情報に対する第１四隅座標情報のＸＹ座標内でのずれ量の情報と、両者の間の回転角度のずれ量を検出して制御量の補正を行う。すなわち、取得した第１四隅座標情報がピックアップ対象物の四隅の座標情報として正確であるという前提でピックアップを実行するが、第２四隅座標情報はさらに正確性の高い情報であることから、第２四隅座標情報を基準としてピックアップロボット１０の制御量を補正することで、移載動作をより高精度に実行することが可能となる。

　図３は、本発明の実施の形態の少なくとも１つに対応するピックアップ対象物のピッキング処理の流れの一例を示すフローチャート図である。図３に示すように、ピッキング処理は、ピッキング装置１００の制御ユニット４０において、ピッキング対象物を撮影した１以上の２次元撮影画像データを取得することによって開始される（ステップＳ１０１）。次に、制御ユニット４０は、ピッキング対象物を撮影した３次元点群情報を取得する（ステップＳ１０２）。次に、制御ユニット４０は、２次元撮影画像データと３次元点群情報との間で座標情報を共通化するキャリブレーションを実行する（ステップＳ１０３）。次に、制御ユニット４０は、３次元点群情報から天面候補領域を抽出する（ステップＳ１０４）。次に、制御ユニット４０は、２次元撮影画像データをＡＩに入力してピッキング対象物についての第１四隅座標情報を取得する（ステップＳ１０５）。次に、制御ユニット４０は、ピッキングロボットによるピッキング対象物のピッキング動作及び移載動作を制御する（ステップＳ１０６）。次に、制御ユニット４０は、ピッキング後の３次元点群情報を再取得する（ステップＳ１０７）。次に、制御ユニット４０は、ピッキング前後の３次元点群情報の差分に基づいて第２四隅座標情報を取得する（ステップＳ１０８）。そして、制御ユニット４０は、第１四隅座標情報と第２四隅座標情報のずれ量に基づいて制御量を補正し、補正後の制御量に基づいてピッキングロボットによるピッキング対象物のピッキング動作及び移載動作の制御を実行して（ステップＳ１０８）、ピッキング処理を終了する。

　次に、本例によるピッキング装置１００による動作について、具体的な画像を例に用いて説明を行う。

　図４は、本発明の実施の形態の少なくとも１つに対応するピッキング装置において取得される２次元撮影画像データの一例を表した画像図である。この図４に示す画像図では、箱状のピックアップ対象物が下段に３つ載置され、その上に２つの箱状のピックアップ対象物が載置された状態を２次元カメラ２０にて撮影した２次元撮影画像データを表している。

　図５は、本発明の実施の形態の少なくとも１つに対応するピッキング装置において取得される３次元点群情報の一例を表した画像図である。この図５に示す画像図は、図４と同じピックアップ対象物を３次元カメラ３０にて撮影することで得られた３次元点群情報を表しており、１つの画像は斜め方向から撮影した３次元点群情報を表しており、１つの画像は２次元カメラの画角で描画した３次元点群情報を表しており、残りの１つの画像は、天面候補領域を抽出したものを表している。

　図６は、本発明の実施の形態の少なくとも１つに対応するピッキング装置において第１四隅座標情報を設定した様子の一例を表した画像図である。図６に示す２次元画像データには、４つのピッキング対象物が写っており、それぞれのピッキング対象物に対して第１四隅座標情報を設定している。ここで、図６の矢印部分に示すように、学習済モデルやルールベースによる第１四隅座標情報の設定では、四隅の位置の認定に誤差が生じるおそれがある。

　図７は、本発明の実施の形態の少なくとも１つに対応するピッキング装置においてピッキング前後の３次元点群情報の差分に基づいて移載動作の制御量を補正する例を説明するための説明図である。この図７に示すように、ピッキング前後の３次元点群情報（図７の例では、天面候補領域を含む２次元平面についてのみ点群情報を抽出したもの）の差分を演算することで、ピッキングしたピッキング対象物の領域のみを抽出することが可能となる。この差分が示す領域は、ピッキング対象物のピッキング前の位置を正確に表しているため、この差分が示す領域に対して四隅座標情報の抽出処理を実行することで、第２四隅座標情報を取得する。第２四隅座標情報を取得できれば、第１四隅座標情報との間のずれ量から制御量の補正を行うことが可能とる。

　以上のように、本発明に係るピッキング装置１００によれば、ピッキング対象物をピッキングするハンド部を備えたピッキングロボットと、ピッキング対象物を２次元撮影するための２次元カメラと、ピッキング対象物までの距離情報を表す３次元点群情報を取得するための３次元カメラと、ピッキングロボットのピッキング動作を制御する制御ユニットとを備え、制御ユニットは、２次元カメラを制御して荷積みされた複数のピッキング対象物の全体を撮影した少なくとも１以上の２次元撮影画像データを取得する２次元撮影画像取得機能と、３次元カメラを制御して荷積みされた複数記ピッキング対象物の全体に関する３次元点群情報を取得する３次元点群情報取得機能と、２次元撮影画像データと３次元点群情報との間で対象となるピッキング対象物を基準として座標情報を共通化するキャリブレーション機能と、３次元点群情報から複数のピッキング対象物の天面候補領域を抽出する天面候補領域抽出機能と、入力された画像データからピッキング対象物を特定して各ピッキング対象物の四隅の座標情報を出力することについて予め学習を行った学習済モデルに対して２次元撮影画像データを入力することで、当該２次元撮影画像データにおける各ピッキング対象物の第１四隅座標情報を取得する第１四隅座標情報取得機能と、第１四隅座標情報及び３次元点群情報に基づいて、ピッキングロボットによるピッキング対象物のピッキング動作及び移載動作を制御するピッキング制御機能と、ピッキングロボットによってピッキング対象物がピッキングされた後に残された他のピッキング対象物について、３次元カメラを制御して３次元点群情報を再取得する３次元点群情報再取得機能と、ピッキング前に取得した３次元点群情報とピッキング後に再取得した３次元点群情報との差分に基づいて、ピッキング前の時点における当該ピッキング対象物に関する四隅の座標情報を第２四隅座標情報として取得する第２四隅座標情報取得機能と、第１四隅座標情報と第２四隅座標情報のずれ量に基づいて移載動作の制御量を補正する制御量補正機能とを備えるようにしたので、ピッキングした際のピッキング対象物の姿勢を正確に特定して制御に反映させることが可能となる。

　また、第２四隅座標情報取得機能は、ピッキング前に取得した３次元点群情報とピッキング後に再取得した３次元点群情報との差分が表すピッキング対象物の領域に対して、四隅の座標情報を抽出する処理を実行することで、第２四隅座標情報を取得するようにしたので、正確に抽出したピッキング対象物の領域に対して四隅の座標情報の抽出処理を行うので、正確な第２四隅座標情報を取得することが可能となる。

　また、制御量補正機能は、正しい座標情報である前記第２四隅座標情報に対する第１四隅座標情報のＸＹ座標内でのずれ量の情報と、両者の間の回転角度のずれ量を検出して制御量の補正を行うようにしたので、平行移動量や回転移動量を算出して高精度に制御量の補正を行うことができる。

［第２の実施の形態］
　第１の実施の形態においては、２次元カメラ２０を用いて２次元撮影画像データを取得し、３次元カメラ３０を用いて３次元点群情報を取得するものとして説明を行ったが、これに限定されるものではない。例えば、ステレオカメラを採用して、ステレオカメラによって２次元撮影画像データの取得と３次元点群情報の取得の両方を実現するようにしてもよい。

　ステレオカメラによれば、２つの異なる撮影角度でそれぞれ撮影を実行して２つの２次元撮影画像データを取得した後に、その２つの２次元撮影画像データを用いてステレオマッチングによって深度情報（距離情報）を取得して３次元点群情報を生成することができる。このときに用いた２つの２次元撮影画像データの一方を、第１の実施の形態において２次元カメラ２０によって取得していた２次元撮影画像データの替わりとして用いることで、ステレオカメラによって２次元撮影画像データの取得と３次元点群情報の取得の両方を実現することが可能となる。また、ステレオカメラは、２次元撮影画像データと３次元点群情報との間のキャリブレーション機能を担うことも可能である。

　１００　　　　　　ピッキング装置
　１０　　　　　　　ピッキングロボット
　２０　　　　　　　２次元カメラ
　３０　　　　　　　３次元カメラ
　４０　　　　　　　制御ユニット
　４１　　　　　　　２次元撮影画像取得機能
　４２　　　　　　　３次元点群情報取得機能
　４３　　　　　　　キャリブレーション機能
　４４　　　　　　　天面候補領域抽出機能
　４５　　　　　　　第１四隅座標情報取得機能
　４６　　　　　　　ピッキング制御機能
　４７　　　　　　　３次元点群情報再取得機能
　４８　　　　　　　第２四隅座標情報取得機能
　４９　　　　　　　制御量補正機能

Claims

　ピッキング対象物をピッキングするハンド部を備えたピッキングロボットと、
　前記ピッキング対象物を２次元撮影するための２次元カメラと、
　前記ピッキング対象物までの距離情報を表す３次元点群情報を取得するための３次元カメラと、
　前記ピッキングロボットのピッキング動作を制御する制御ユニットとを備え、
　前記制御ユニットは、
　前記２次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体を撮影した少なくとも１以上の２次元撮影画像データを取得する２次元撮影画像取得機能と、
　前記３次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体に関する３次元点群情報を取得する３次元点群情報取得機能と、
　前記２次元撮影画像データと前記３次元点群情報との間で対象となる前記ピッキング対象物を基準として座標情報を共通化するキャリブレーション機能と、
　前記３次元点群情報から複数の前記ピッキング対象物の天面候補領域を抽出する天面候補領域抽出機能と、
　入力された画像データから前記ピッキング対象物を特定して各ピッキング対象物の四隅の座標情報を出力することについて予め学習を行った学習済モデルに対して前記２次元撮影画像データを入力することで、当該２次元撮影画像データにおける各ピッキング対象物の第１四隅座標情報を取得する第１四隅座標情報取得機能と、
　前記第１四隅座標情報及び前記３次元点群情報に基づいて、前記ピッキングロボットによるピッキング対象物のピッキング動作及び移載動作を制御するピッキング制御機能と、
　前記ピッキングロボットによって前記ピッキング対象物がピッキングされた後に残された他のピッキング対象物について、前記３次元カメラを制御して３次元点群情報を再取得する３次元点群情報再取得機能と、
　ピッキング前に取得した３次元点群情報とピッキング後に再取得した３次元点群情報との差分に基づいて、ピッキング前の時点における当該ピッキング対象物に関する四隅の座標情報を第２四隅座標情報として取得する第２四隅座標情報取得機能と、
　前記第１四隅座標情報と前記第２四隅座標情報のずれ量に基づいて前記移載動作の制御量を補正する制御量補正機能と
を備えることを特徴とするピッキング装置。
　前記第２四隅座標情報取得機能は、ピッキング前に取得した３次元点群情報とピッキング後に再取得した３次元点群情報との差分が表す前記ピッキング対象物の領域に対して、四隅の座標情報を抽出する処理を実行することで、第２四隅座標情報を取得する
　請求項１記載のピッキング装置。
　前記制御量補正機能は、正しい座標情報である前記第２四隅座標情報に対する第１四隅座標情報のＸＹ座標内でのずれ量の情報と、両者の間の回転角度のずれ量を検出して制御量の補正を行う
　請求項１又は２記載のピッキング装置。
　ピッキング対象物をピッキングするハンド部を備えたピッキングロボットを制御する処理をコンピュータに実現させるためのピッキング制御プログラムであって、
　前記コンピュータに、
　ピッキング対象物を２次元撮影するための２次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体を撮影した少なくとも１以上の２次元撮影画像データを取得する２次元撮影画像取得機能と、
　前記ピッキング対象物までの距離情報を表す３次元点群情報を取得するための３次元カメラを制御して荷積みされた複数の前記ピッキング対象物の全体に関する３次元点群情報を取得する３次元点群情報取得機能と、
　前記２次元撮影画像データと前記３次元点群情報との間で対象となる前記ピッキング対象物を基準として座標情報を共通化するキャリブレーション機能と、
　前記３次元点群情報から複数の前記ピッキング対象物の天面候補領域を抽出する天面候補領域抽出機能と、
　入力された画像データから前記ピッキング対象物を特定して各ピッキング対象物の四隅の座標情報を出力することについて予め学習を行った学習済モデルに対して前記２次元撮影画像データを入力することで、当該２次元撮影画像データにおける各ピッキング対象物の第１四隅座標情報を取得する第１四隅座標情報取得機能と、
　前記第１四隅座標情報及び前記３次元点群情報に基づいて、前記ピッキングロボットによるピッキング対象物のピッキング動作及び移載動作を制御するピッキング制御機能と、
　前記ピッキングロボットによって前記ピッキング対象物がピッキングされた後に残された他のピッキング対象物について、前記３次元カメラを制御して３次元点群情報を再取得する３次元点群情報再取得機能と、
　ピッキング前に取得した３次元点群情報とピッキング後に再取得した３次元点群情報との差分に基づいて、ピッキング前の時点における当該ピッキング対象物に関する四隅の座標情報を第２四隅座標情報として取得する第２四隅座標情報取得機能と、
　前記第１四隅座標情報と前記第２四隅座標情報のずれ量に基づいて前記移載動作の制御量を補正する制御量補正機能と
を実現させることを特徴とするピッキング制御プログラム。