JP7163116B2 - Information processing equipment and picking system - Google Patents
Information processing equipment and picking system Download PDFInfo
- Publication number
- JP7163116B2 JP7163116B2 JP2018171990A JP2018171990A JP7163116B2 JP 7163116 B2 JP7163116 B2 JP 7163116B2 JP 2018171990 A JP2018171990 A JP 2018171990A JP 2018171990 A JP2018171990 A JP 2018171990A JP 7163116 B2 JP7163116 B2 JP 7163116B2
- Authority
- JP
- Japan
- Prior art keywords
- article
- image
- distance
- processor
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明の実施形態は、情報処理装置及びピッキングシステムに関する。 TECHNICAL FIELD Embodiments of the present invention relate to an information processing device and a picking system.
物品（荷物）を仕分するロボットアームを有するピッキングシステムが実用化されている。ピッキングシステムは、ロボットアーム、ロボットアーム制御装置、情報処理装置などを備える。情報処理装置は、物品の画像（物品画像）に基づいて、動作計画を生成する。ロボットアーム制御装置は、情報処理装置から供給される動作計画に基づいて、ロボットアームを制御する。ロボットアームは、ロボットアーム制御装置の制御に基づいて、物品を把持し、移動させる。 A picking system having a robot arm for sorting articles (packages) has been put into practical use. The picking system includes a robot arm, a robot arm control device, an information processing device, and the like. The information processing device generates an action plan based on the image of the article (article image). The robot arm control device controls the robot arm based on the motion plan supplied from the information processing device. The robot arm grips and moves the article under the control of the robot arm controller.
情報処理装置は、物品画像に対して画像認識を行い、画像中の物品が存在する領域（物品領域）を認識する。情報処理装置は、物品領域に基づき、ロボットアームにより物品を把持させる位置（ピッキング位置）を決定する。情報処理装置は、ピッキング位置に基づき、ピッキング位置と把持機構の移動経路とを示す動作計画を生成する。 The information processing device performs image recognition on the article image, and recognizes an area (article area) in the image where the article exists. The information processing device determines the position (picking position) at which the robot arm picks up the article based on the article area. Based on the picking position, the information processing device generates a motion plan indicating the picking position and the movement route of the gripping mechanism.
ピッキングシステムで仕分される物品は、寸法及び外観などが一様ではない。情報処理装置による画像認識の精度を向上させる為に、機械学習を行い、画像認識パラメータを調整することが有効である。しかしながら、機械学習には、物品領域が特定されている物品画像が大量に必要になるという課題がある。 Items sorted by a picking system vary in size, appearance, and the like. In order to improve the accuracy of image recognition by an information processing apparatus, it is effective to perform machine learning and adjust image recognition parameters. However, machine learning has the problem of requiring a large number of article images in which article regions are specified.
本発明が解決しようとする課題は、容易に学習用データを収集可能な情報処理装置及びピッキングシステムを提供することである。 A problem to be solved by the present invention is to provide an information processing apparatus and a picking system that can easily collect learning data.
一実施形態に係る情報処理装置は、所定範囲に置かれた物品を把持するロボットアームに、ピッキング位置を供給する情報処理装置であって、通信インタフェースと、プロセッサとを具備する。通信インタフェースは、前記所定範囲に置かれた前記物品の画像である物品画像と、前記ロボットアームにより把持され持ち上げられた前記物品との距離を示す距離情報と、を取得する。プロセッサは、前記距離情報に基づいて、前記物品画像上における前記物品の位置を示すマスク画像を生成する。プロセッサは、前記物品画像と、予め設定された画像認識パラメータとに基づいて、前記物品画像上において、前記物品が存在する物品領域を認識し、前記物品領域に基づいて、前記ピッキング位置を生成し、前記物品画像と前記マスク画像とを対応付けて、前記画像認識パラメータを更新する為の学習用データを生成する。
An information processing apparatus according to one embodiment is an information processing apparatus that supplies a picking position to a robot arm that grips an article placed in a predetermined range, and includes a communication interface and a processor. The communication interface acquires an article image, which is an image of the article placed in the predetermined range, and distance information indicating the distance from the article gripped and lifted by the robot arm. A processor generates a mask image indicating the position of the article on the article image based on the distance information. The processor recognizes an article area in which the article exists on the article image based on the article image and preset image recognition parameters, and generates the picking position based on the article area. and generating learning data for updating the image recognition parameters by associating the article image with the mask image.
以下、実施形態について、図面を参照して説明する。
図１は、第１の実施形態に係るピッキングシステム１の概略的な構成例について説明する為の説明図である。
Hereinafter, embodiments will be described with reference to the drawings.
FIG. 1 is an explanatory diagram for explaining a schematic configuration example of a
ピッキングシステム１は、かご車２に積載された仕分対象である物品３を所定の仕分先に仕分けるシステムである。
The
かご車２は、物品３を収容する収容部とキャスターとが組み合わされた容器である。なお、かご車２は、仕分対象の物品３が積載される容器の一例であり、荷台、またはパレットなど、物品３を積載することができるものであれば如何なるものであってもよい。
The
物品３の仕分先は、例えばベルトコンベア、他のカゴ車、仕分用のカゴ、作業台など、如何なるものであってもよい。
The sorting destination of the
ピッキングシステム１は、ロボットアーム１１、情報処理装置１２、及び操作端末１３を備える。また、ピッキングシステム１は、第１の距離センサ１４及び第２の距離センサ１５をさらに備える。また、ピッキングシステム１は、ストレージ装置１６及び学習装置１７をさらに備える。ロボットアーム１１、情報処理装置１２、操作端末１３、第１の距離センサ１４、第２の距離センサ１５、ストレージ装置１６、及び学習装置１７は、ネットワーク１８を介して互いに通信可能に構成されている。
The
まず、ロボットアーム１１の構成について説明する。
ロボットアーム１１は、かご車２に積載された物品３を把持し、把持した物品３を持ち上げ、物品３を仕分先に供給する装置である。ロボットアーム１１は、把持機構２１、アーム機構２２、力覚センサ２３、及びコントローラ２４を備える。
First, the configuration of the
The
把持機構２１は、物品３を把持する機構である。把持機構２１は、例えば、物品３に吸着する吸着パッドを備える。吸着パッドは、物品３の表面に接し、且つコントローラ２４の制御によりパッド内が負圧になることにより、物品３の表面に吸着し、物品３を把持する。また、把持機構２１は、２点以上の接点で物品３を挟むことにより物品３を把持する複数の指部を備えるグリッパとして構成されていてもよい。
The
アーム機構２２は、把持機構２１を移動させる機構である。アーム機構２２は、複数のアームと、複数のアームを連結する関節機構とを備える。関節機構は、コントローラ２４により制御されるアクチュエータ（図示せず）により可動することにより、アームを駆動する。
The
力覚センサ２３は、把持機構２１に対して加えられる応力を検知するセンサである。力覚センサ２３は、例えば、把持機構２１に対して鉛直方向に加わる応力を検知する。力覚センサ２３は、検知結果をコントローラ２４に送信する。なお、力覚センサ２３は、アーム機構２２に対して加えられる応力も検知する構成であってもよい。
The
コントローラ２４は、情報処理装置１２から供給される動作計画に基づいて、把持機構２１及びアーム機構２２の動作を制御する。コントローラ２４は、例えば、メモリ（図示せず）と、メモリに記憶されたプログラムを実行することにより把持機構２１及びアーム機構２２の動作を制御する演算素子（図示せず）とを備える。また、コントローラ２４は、シーケンサとして構成されていてもよい。
The
動作計画は、ピッキング位置を示すピッキング位置データと、軌跡とを含む情報である。コントローラ２４は、動作計画が示す軌跡を通り、動作計画のピッキング位置データが示すピッキング位置まで把持機構２１が移動するように、アーム機構２２を制御する。
The motion plan is information including picking position data indicating picking positions and a trajectory. The
ピッキング位置データは、把持機構２１により物品３を把持させる位置を示す情報である。例えば、ピッキング位置データは、把持機構２１により物品３を把持させる場合に把持機構２１を移動させる位置を示す。より具体的には、ピッキング位置データは、把持機構２１の基準点の移動先の３次元空間上の座標である。なお、以下ピッキング位置データが示すピッキング位置を、単にピッキング位置と称する。
The picking position data is information indicating the position at which the
軌跡は、ロボットアーム１１の把持機構２１をピッキング位置まで移動させる際の経路を示す。より具体的には、軌跡は、把持機構２１の基準点の移動経路を示す３次元空間上の複数の座標である。また、軌跡は、把持機構２１の基準点の移動経路を示す３次元空間上の複数の座標とベクトルとの組み合わせであってもよい。なお、ピッキング位置は、軌跡に含まれていてもよい。
The trajectory indicates the path along which the grasping
把持機構２１が吸着パッドとして構成されている場合、把持機構２１の基準点は、例えば、吸着パッドの中心（重心）であってもよいし、吸着パッドにおける任意の点であってもよい。また、把持機構２１がグリッパとして構成されている場合、把持機構２１の基準点は、例えば、グリッパを構成する複数の指部の中心であってもよい。
When the
次に、第１の距離センサ１４及び第２の距離センサ１５の構成について説明する。
第１の距離センサ１４及び第２の距離センサ１５は、対象物までの距離を計測するセンサである。第１の距離センサ１４及び第２の距離センサ１５は、対象物との距離を示す距離情報を取得する。第１の距離センサ１４及び第２の距離センサ１５は、距離情報を、ネットワーク１８を介して情報処理装置１２に供給する。
Next, configurations of the
The
第１の距離センサ１４は、対象物との距離を示す点が、三次元空間に配列された第１の距離情報を取得する。即ち、第１の距離情報は、互いに直交するｘ方向、ｙ方向、ｚ方向からなる空間における点の集合（点群）を有する距離画像である。第１の距離情報は、二次元状に配列された複数の点毎に、第１の距離センサ１４との距離を示す距離値を有するデータであると、言い換えることもできる。
The
第１の距離センサ１４は、例えば異なる２点（瞳位置）から対象物を撮像した際の視差に基づいて対象物までの距離を計測するステレオカメラとして構成される。即ち、第１の距離センサ１４は、レンズと、レンズにより結像された光を画像に変換する撮像素子とが組み合わされたカメラを２つ以上備える。このような構成によると、第１の距離センサ１４は、第１の距離情報と同時に、色情報を有する座標（画素）が二次元的に配列されたラスタ画像を取得することができる。なお、ラスタ画像は、カラー画像であっても単色画像であってもよい。
The
第１の距離センサ１４のレンズは、ロボットアーム１１により持ち上げられる物品３が積載されたかご車２を含む領域を撮影することができるように画角及び光軸の向きが調整されている。例えば、第１の距離センサ１４のレンズは、光軸がかご車２の底面に対向するように調整される。例えば、第１の距離センサ１４のレンズは、第１の距離センサ１４のレンズの光軸と、上記のｚ方向（鉛直方向）とが平行になるように調整される。即ち、第１の距離センサ１４は、かご車２の底面に対向する方向から、かご車２を含む所定範囲を撮像し、第１の距離情報及びラスタ画像を取得する。
The angle of view and the direction of the optical axis of the lens of the
第１の距離センサ１４は、第１の距離情報及びラスタ画像を、ネットワーク１８を介して情報処理装置１２に供給する。なお、物品３を含む所定範囲の画像を物品画像と称する。物品画像は、第１の距離情報とラスタ画像とのいずれであってもよいが、本実施形態では、物品画像は第１の距離情報であると仮定して説明する。
The
図２は、第２の距離センサ１５の構成について説明する為の説明図である。第２の距離センサ１５は、対象物との距離を示す点が、２次元空間に配列された第２の距離情報を取得する。例えば、第２の距離情報は、互いに直交するｘ方向、ｙ方向からなる空間における点の集合（点群）を有する距離画像である。第２の距離情報は、１次元状に配列された複数の点毎に、第２の距離センサ１５との距離を示す距離値を有するデータであると、言い換えることもできる。
FIG. 2 is an explanatory diagram for explaining the configuration of the
第２の距離センサ１５は、ある一点と測定対象との距離、即ち２点間の距離を測定する装置である。具体的には、第２の距離センサ１５は、自身と、測定対象である点（測距点）とを結ぶ測距方向における距離を測定する装置である。第２の距離センサ１５の測距方向は、ｘ方向及びｙ方向と平行に調整される。即ち、第２の距離センサ１５の測距方向は、水平方向と平行である。言い換えると、第２の距離センサ１５の測距方向は、第１の距離センサ１４のレンズの光軸と交差する方向である。即ち、第２の距離センサ１５の測距方向は、第１の距離センサ１４のレンズの光軸と角度を成す方向である。例えば、第２の距離センサ１５の測距方向は、第１の距離センサ１４のレンズの光軸と直交する方向である。第２の距離センサ１５は、測距点（または測距方向）を水平方向に走査させつつ距離を測定する。
The
第２の距離センサ１５は、例えばレーザーレンジファインダーである。第２の距離センサ１５は、測定対象にレーザを照射し、反射光が入射するまでの時間に基づいて、測定対象までの距離を測定する。この場合、第２の距離センサ１５は、レーザが照射された点を測距点として、レーザの反射光を受光するセンサと測距点との距離を測定する。第２の距離センサ１５は、ロボットアーム１１により、物品３が持ち上げられる高さで測定を行う。
The
上記の構成により、第２の距離センサ１５は、ロボットアーム１１により持ち上げられた物品３と、自身との距離を示す情報を、第２の距離情報として取得する。即ち、第２の距離センサ１５は、測距点を水平方向に走査させつつ、ロボットアーム１１により持ち上げられた物品３との距離を測定し、第２の距離情報を取得する。第２の距離センサ１５は、取得した第２の距離情報を、ネットワーク１８を介して情報処理装置１２に供給する。
With the above configuration, the
次に、操作端末１３について説明する。
図３は、操作端末１３及び情報処理装置の構成例について説明する為の説明図である。
Next, the
FIG. 3 is an explanatory diagram for explaining a configuration example of the
操作端末１３は、オペレータによる操作入力に基づいて、処理を行い、処理結果を情報処理装置１２に供給する装置である。即ち、操作端末１３は、情報処理装置１２の操作インタフェースとして機能する。操作端末１３は、通信インタフェース３１、制御部３２、及びタッチパネル３３を備える。
The
通信インタフェース３１は、他の機器と通信する為のインタフェースである。通信インタフェース３１は、ネットワーク１８を介してロボットアーム１１、情報処理装置１２、第１の距離センサ１４、第２の距離センサ１５、ストレージ装置１６、及び学習装置１７と通信する。
The
制御部３２は、種々の処理を実行する処理部である。制御部３２は、プロセッサ３４及びメモリ３５を備える。
The control unit 32 is a processing unit that executes various processes. The control unit 32 has a
プロセッサ３４は、演算処理を実行する演算素子である。プロセッサ３４は、例えばＣＰＵとして構成される。プロセッサ３４は、メモリ３５に記憶されているプログラムに基づいて種々の処理を行う。
The
メモリ３５は、プログラム及びデータを記憶する記憶装置である。メモリ３５は、例えば、読み出し専用の不揮発性メモリであるＲＯＭ、データを一時的に記憶するＲＡＭ、及びデータを記憶するストレージのいずれか、または複数を備える。
The
タッチパネル３３は、画面の表示と、操作に基づく操作信号の生成とを行う装置である。タッチパネル３３は、一体に構成されたディスプレイ３６及びタッチセンサ３７を備える。操作端末１３は、タッチパネル３３の代わりに画面を表示するディスプレイと、操作に基づき操作信号を生成する操作部とを備える構成であってもよい。操作部は、マウス、トラックボール、キーボード、トラックパッドなど如何なるものであってもよい。
The
ディスプレイ３６は、制御部３２または図示されないグラフィックコントローラから供給される表示用のデータ（画面データ）に基づいて画面を表示する。
The
タッチセンサ３７は、ディスプレイ３６に表示された画面上において操作端末１３を操作するオペレータがタッチした位置を示す操作信号を生成する。
The
次に、情報処理装置１２の構成について説明する。
情報処理装置１２は、ロボットアーム１１に動作計画を供給する装置である。情報処理装置１２は、かご車２に搭載された物品３の画像である物品画像を取得する。情報処理装置１２は、物品画像に写った物品３を認識する為のパラメータである画像認識パラメータを用いて、物品画像に対して画像認識を行い、物品画像において物品３が写った領域である物品領域を認識する。情報処理装置１２は、物品領域の認識結果に基づき、ロボットアーム１１により物品３を把持させる位置であるピッキング位置を決定する。情報処理装置１２は、ピッキング位置と把持機構２１の移動経路である軌跡とを示す動作計画を生成し、ロボットアーム１１に動作計画を供給する。
Next, the configuration of the
The
また、情報処理装置１２は、後述する方法によって、学習装置１７に機械学習を行わせる為の学習用データを生成する。情報処理装置１２は、生成した学習用データをストレージ装置１６に供給する。
The
情報処理装置１２は、パーソナルコンピュータ（ＰＣ）などの、データの処理及びデータの保存を行うことができる装置により構成される。情報処理装置１２は、通信インタフェース４１及び制御部４２を備える。
The
通信インタフェース４１は、情報処理装置１２以外の他の機器と通信する為のインタフェースである。通信インタフェース４１は、ネットワーク１８を介してロボットアーム１１、第１の距離センサ１４、第２の距離センサ１５、操作端末１３、ストレージ装置１６、及び学習装置１７と通信する。
The
制御部４２は、種々の処理を実行する処理部である。制御部４２は、プロセッサ４３及びメモリ４４を備える。
The
プロセッサ４３は、演算処理を実行する演算素子である。プロセッサ４３は、例えばＣＰＵとして構成される。プロセッサ４３は、メモリ４４に記憶されているプログラムに基づいて種々の処理を行う。
The
メモリ４４は、プログラム及びデータを記憶する記憶装置である。メモリ４４は、例えば、読み出し専用の不揮発性メモリであるＲＯＭ、データを一時的に記憶するＲＡＭ、及びデータを記憶するストレージのいずれか、または複数を備える。例えば、メモリ４４は、学習装置１７から供給された画像認識パラメータを記憶する。
The
次に、ストレージ装置１６及び学習装置１７について説明する。
ストレージ装置１６は、学習用データを記憶する記憶装置である。ストレージ装置１６は、情報処理装置１２から供給された学習用データを記憶する。ストレージ装置１６は、学習装置１７からの要求に応じて、学習用データを学習装置１７に供給する。
Next, the
The
学習装置１７は、ストレージ装置１６から学習用データを取得し、学習用データに基づいて機械学習を行うことにより画像認識パラメータを生成し、情報処理装置１２に画像認識パラメータを供給する。学習装置１７は、学習装置１７以外の機器と通信する為の通信インタフェース、種々の処理を実行する制御部、及びメモリなどを備える。
The
学習装置１７で用いられる学習用データは、問題と答えとを有するデータである。例えば、学習用データは、仕分対象の物品３が写った物品画像と、この物品画像において仕分対象の物品が存在する領域である物品領域を示す情報とを有する。この例では、物品画像が問題に相当し、物品画像における物品領域が答えに相当する。学習装置１７は、このような学習用データに基づいて、例えばセグメーテーション用のニューラルネットワークなどにより機械学習を行うことにより、情報処理装置１２が物品画像から物体領域を認識する際に用いられる画像認識パラメータを生成する。画像認識パラメータは、セグメーテーション用のニューラルネットワークにおける重み計数である。なお、学習装置１７は、学習用データを取得する毎に画像認識パラメータを生成する構成であってもよいし、取得した学習用データに基づいて生成された画像認識パラメータを用いて、既に生成した画像認識パラメータを調整（更新）する構成であってもよい。また、学習装置１７は、既に生成した画像認識パラメータを調整（変更）する場合、一度に調整することができる値を制限する構成であってもよい。
The learning data used by the
次に、ピッキングシステム１における各構成の動作について説明する。
まず情報処理装置１２による動作計画の供給について説明する。
図４は、動作計画の生成に関する情報処理装置１２の動作について説明する為のフローチャートである。
Next, the operation of each component in the
First, the operation plan supply by the
FIG. 4 is a flowchart for explaining the operation of the
制御部４２のプロセッサ４３は、まず第１の距離センサ１４から、図５に示される物品画像を取得する（ステップＳ１１）。上記したように、第１の距離センサ１４は、ロボットアーム１１により持ち上げられる物品３が搭載されたかご車２内を、ステレオカメラにより撮像して１対の画像データを取得する。さらに、第１の距離センサ１４は、１対の画像データに基づき、画像データ上の所定の領域（点）毎に第１の距離センサ１４との距離を算出し、点群データとしての物品画像を生成する。第１の距離センサ１４は、生成した物品画像を情報処理装置１２に供給する。
The
図５は、物品画像５１の例について説明する為の説明図である。上記したように、第１の距離センサ１４は、かご車２が設置される領域を含む所定範囲が画角として設定されている。この為、物品画像５１には、かご車２及び複数の物品３が写り込んでいる。物品画像５１は、第１の距離センサ１４との距離を示す情報を含む。即ち、第１の距離センサ１４が設置されている位置、第１の距離センサ１４に用いられているレンズの焦点距離、及び第１の距離センサ１４に用いられている撮像素子の寸法が既知である場合、物品画像５１に基づき、物品３の位置及び物品３の寸法などを算出することができる。
FIG. 5 is an explanatory diagram for explaining an example of the
情報処理装置１２のプロセッサ４３は、物品画像５１と、メモリ４４に記憶された画像認識パラメータとに基づいて、画像認識を行う。これにより、プロセッサ４３は、物品画像５１内において物品３が存在する領域である物品領域を認識する（ステップＳ１２）。具体的には、プロセッサ４３は、物品画像５１に対して、メモリ４４に記憶された画像認識パラメータを用いて、物体検出またはセグメンテーション用のニューラルネットワークなどの手法を用いることにより、物品領域を認識する。例えば、プロセッサ４３は、物品画像５１において最も高い位置に存在する面に対応する領域を、物品領域として認識する。
The
図６は、物品画像５１内の物品領域の認識結果の例について説明する為の説明図である。図６に示されるように、物品画像５１において、最も高い位置に存在する物品３の面が物品領域５２として認識されている。
FIG. 6 is an explanatory diagram for explaining an example of the recognition result of the article area in the
プロセッサ４３は、物品画像５１における物品領域５２の認識結果に基づいて、ピッキング位置を決定する（ステップＳ１３）。例えば、プロセッサ４３は、物品領域５２の重心（若しくは中心）の座標をピッキング位置として決定する。
The
プロセッサ４３は、決定したピッキング位置に基づいて、動作計画を生成する（ステップＳ１４）。例えば、プロセッサ４３は、ロボットアーム１１の把持機構２１を、初期位置からピッキング位置まで移動させる場合の把持機構２１の軌跡を生成する。プロセッサ４３は、生成した軌跡と、ピッキング位置とを示す動作計画を生成する。さらに、プロセッサ４３は、生成した動作計画をロボットアーム１１のコントローラ２４に送信し（ステップＳ１５）、処理を終了する。
The
次に、ロボットアーム１１の動作について説明する。
図７は、ロボットアーム１１の動作について説明する為のフローチャートである。
Next, operation of the
FIG. 7 is a flow chart for explaining the operation of the
ロボットアーム１１のコントローラ２４は、アーム機構２２及び把持機構２１を第１の距離センサ１４の画角外の初期位置に移動させる（ステップＳ２１）。例えば、コントローラ２４は、アーム機構２２の関節機構をアクチュエータにより可動させることにより、アーム機構２２を駆動し、アーム機構２２及び把持機構２１を撮影範囲外に移動させる。なお、第１の距離センサ１４は、アーム機構２２及び把持機構２１を撮影範囲外に移動したタイミングで物品画像５１を取得し、情報処理装置１２に送信する。
The
コントローラ２４は、アーム機構２２及び把持機構２１を撮影範囲外に移動させると、情報処理装置１２から動作計画が供給されるのを待つ（ステップＳ２２）。
After moving the
コントローラ２４は、情報処理装置１２から動作計画が供給された場合（ステップＳ２２、ＹＥＳ）、動作計画に基づき把持機構２１を移動させる（ステップＳ２３）。例えば、コントローラ２４は、動作計画が示す軌跡に基づき、動作計画が示すピッキング位置まで把持機構２１を移動させるように、アーム機構２２を制御する。
When the operation plan is supplied from the information processing device 12 (step S22, YES), the
コントローラ２４は、把持機構２１の位置を逐次確認し、動作計画が示すピッキング位置に到達したか否か判断する。コントローラ２４は、把持機構２１がピッキング位置に到達した場合、次のステップＳ２４の処理に移行する。また、コントローラ２４は、力覚センサ２３の検知結果を逐次確認し、把持機構２１がピッキング位置に到達し、且つ物品３に接触したことを検知結果が示す場合に、次のステップＳ２４の処理に移行する構成であってもよい。
The
コントローラ２４は、把持機構２１がピッキング位置に到達したと判断した場合、把持機構２１により物品３を把持させる（ステップＳ２４）。例えば把持機構２１が吸着パッドとして構成されている場合、コントローラ２４は、吸着パッド内を図示されない真空ポンプなどにより負圧にさせることにより、把持機構２１に物品を把持させる。また例えば、把持機構２１がグリッパとして構成されている場合、コントローラ２４は、グリッパの指部により物品３を挟ませることにより、把持機構２１に物品３を把持させる。
When the
コントローラ２４は、把持機構２１により物品３を把持させる動作を行わせた後、物品３の把持が正常に行われたか否か判断する（ステップＳ２５）。即ち、コントローラ２４は、把持機構２１により物品３を把持することができたか否か判断する。例えば、把持機構２１が吸着パッドとして構成されている場合、コントローラ２４は、吸着パッド内が負圧にならない場合、把持機構２１により物品３を把持できていないと判断する。また、例えば、把持機構２１がグリッパとして構成されている場合、コントローラ２４は、グリッパにより物品３を挟むことにより、グリッパの指部に加わることが推定される応力が生じない場合、把持機構２１により物品３を把持できていないと判断する。
After causing the
コントローラ２４は、把持機構２１による物品３の把持が正常に行われたと判断した場合（ステップＳ２５、ＹＥＳ）、物品３を把持した把持機構２１を、所定距離上昇させるように、アーム機構２２を制御する（ステップＳ２６）。コントローラ２４は、第２の距離センサ１５の走査位置に到達するように、物品３を把持した把持機構２１を上昇させる。これにより、第２の距離センサ１５は、第２の距離情報を取得することができる。第２の距離センサ１５は、取得した第２の距離情報を、情報処理装置１２に供給する。
When the
また、コントローラ２４は、第２の距離センサ１５による第２の距離情報の取得が完了すると、把持機構２１の移動を再開させる。コントローラ２４は、把持機構２１を仕分先に対応する位置まで移動させ、把持機構２１による物品３の把持を解除するように把持機構２１を制御することにより、物品３を仕分先に降ろす（ステップＳ２７）。また、コントローラ２４は、１つの物品の仕分が完了したことを示す完了通知を情報処理装置１２に送信する。さらに、コントローラ２４は、ステップＳ２１の処理に移行し、アーム機構２２及び把持機構２１を第１の距離センサ１４の画角外に移動させ、次の動作計画の受信を待つ状態になる。
Further, the
また、コントローラ２４は、把持機構２１による物品３の把持が正常に行われなかったと判断した場合（ステップＳ２５、ＮＯ）、把持が正常に行われなかったことを示すエラーを情報処理装置１２に送信し（ステップＳ２８）、ステップＳ２１の処理に移行する。
Further, when the
なお、ロボットアーム１１のコントローラ２４は、情報処理装置１２から終了指示が供給された場合、アーム機構２２及び把持機構２１を所定の位置に移動させ、図７の処理を終了する。
When the
次に、情報処理装置１２による学習用データの生成について説明する。
図８は、学習用データの生成に関する情報処理装置１２の動作について説明する為のフローチャートである。例えば、プロセッサ４３は、学習用データの生成に関する図８の処理を、図４のステップＳ１５の後段の処理として実行する。
Next, generation of learning data by the
FIG. 8 is a flowchart for explaining the operation of the
プロセッサ４３は、第２の距離情報を第２の距離センサ１５から受信したか否か判断する（ステップＳ３１）。プロセッサ４３は、第２の距離情報を第２の距離センサ１５から受信したと判断した場合（ステップＳ３１、ＹＥＳ）、ロボットアーム１１により把持した物品３が落下したか否か判断する（ステップＳ３２）。即ち、プロセッサ４３は、第２の距離センサ１５により第２の距離情報を取得した対象の物品３が、ロボットアーム１１によって仕分先に降ろされたか否か判断する。例えば、プロセッサ４３は、ロボットアーム１１のコントローラ２４から、完了通知を受信した場合、物品３が、ロボットアーム１１によって仕分先に降ろされたと判断する。また、プロセッサ４３は、ロボットアーム１１のコントローラ２４から、エラーを受信した場合、物品３が、ロボットアーム１１によって仕分先に降ろされず、途中で落下したと判断する。プロセッサ４３は、ロボットアーム１１により把持した物品３が落下したと判断した場合（ステップＳ３２、ＹＥＳ）、図８の処理を終了する。
The
プロセッサ４３は、ロボットアーム１１により把持した物品３が落下していないと判断した場合（ステップＳ３２、ＮＯ）、第２の距離情報に基づいて、マスク画像を生成する（ステップＳ３３）。
When the
図９乃至図１１は、第２の距離情報に基づいて、マスク画像を生成する処理について説明する為の説明図である。図９は、第２の距離情報６１の例を示す。図１０は、物品画像５１上における物品領域の例を示す。第２の距離情報６１の例を示す。図１１は、第２の距離情報に基づいて生成されたマスク画像の例を示す。
9 to 11 are explanatory diagrams for explaining the process of generating the mask image based on the second distance information. FIG. 9 shows an example of the
図９における太線は、第２の距離センサ１５により測距された物品３の表面形状に相当する。第２の距離センサ１５は、第２の距離センサ１５が配置されている基準点Ｏ（ｘ＝０，ｙ＝０）を固定し、測距方向を水平方向に走査させる。これにより、第２の距離センサ１５は、対象物である物品３の二辺と第２の距離センサ１５との距離を測定し、測定結果を生成する。測定結果は、二次元状に配列された座標毎の基準点Ｏ（ｘ＝０，ｙ＝０）との距離を示す情報である。
A thick line in FIG. 9 corresponds to the surface shape of the
図９の例によると、第２の距離センサ１５は、点Ｐ（ｘ＝ｓｘ１，ｙ＝ｓｙ１）から、点Ｑ（ｘ＝ｅｘ１，ｙ＝ｅｙ１）に亘って、基準点Ｏ（ｘ＝０，ｙ＝０）との距離を測定する。また、第２の距離センサ１５は、点Ｒ（ｘ＝ｓｘ２，ｙ＝ｓｙ２）から、点Ｑ（ｘ＝ｅｘ１，ｙ＝ｅｙ１）に亘って、基準点Ｏ（ｘ＝０，ｙ＝０）との距離を測定する。これにより、第２の距離センサ１５は、物品３の第２の距離センサ１５と対向する面の表面と、第２の距離センサ１５との距離を測定し、第２の距離情報６１を生成することができる。
According to the example of FIG. 9, the
プロセッサ４３は、第２の距離情報６１に基づき、物品３の第２の距離センサ１５と対向する面の表面形状を推定する。推定結果は、図９における太線に相当する。さらに、プロセッサ４３は、物品３の第２の距離センサ１５と対向する面の表面形状の推定結果に基づいて、物品３の第２の距離センサ１５と対向していない面の表面形状を推定する。即ち、プロセッサ４３は、第２の距離情報６１に基づいて、物品３の外形寸法を算出することができる。
The
プロセッサ４３は、点Ｐと点Ｑとの差分に基づいて、物品３の水平方向と平行なある方向（ここでは幅方向と称する）の寸法を算出する。また、プロセッサ４３は、点Ｒと点Ｑとの差分に基づいて、物品３の水平方向と平行である、幅方向と直交する方向（ここでは奥行方向と称する）の寸法を算出する。プロセッサ４３は、物品３の幅方向及び奥行方向の寸法と、点Ｐ及び点Ｑの座標とに基づいて、物品３の第２の距離センサ１５と対向していない２つの面が切り替わる点である点Ｓ（ｘ＝ｅｘ２，ｙ＝ｅｙ２）の座標を算出する。
Based on the difference between the points P and Q, the
プロセッサ４３は、点Ｐ、点Ｑ、点Ｒ、及び点Ｓの座標に基づいて、図１０に示される物品画像５１上における物品領域７１の位置を算出する。具体的には、プロセッサ４３は、第１の距離センサ１４の位置及び第２の距離センサ１５の位置に基づいて、第２の距離センサ１５に対する位置を示す点Ｐ、点Ｑ、点Ｒ、及び点Ｓを、第１の距離センサ１４により取得した物品画像５１上の座標にそれぞれ変換する。プロセッサ４３は、点Ｐを物品画像５１上の座標である点Ｐ´に変換する。プロセッサ４３は、点Ｑを物品画像５１上の座標である点Ｑ´に変換する。プロセッサ４３は、点Ｒを物品画像５１上の座標である点Ｒ´に変換する。プロセッサ４３は、点Ｓを物品画像５１上の座標である点Ｓ´に変換する。
Based on the coordinates of point P, point Q, point R, and point S,
プロセッサ４３は、点Ｐ´、点Ｑ´、点Ｒ´、及び点Ｓ´の座標に基づいて、図１１に示されるマスク画像８１を生成する。マスク画像８１は、物品画像５１における物品領域７１の位置を示す画像である。即ち、マスク画像８１は、物品画像５１を問題とする学習用データの答えに相当する情報である。たとえば、マスク画像は、物品領域７１に相当する座標の画素値が「１」であり、その他の領域の画素値が「０」である二値画像として構成されている。即ち、プロセッサ４３は、第２の距離情報６１に基づいて、物品３の外形寸法を算出し、算出した外形寸法に基づいて、マスク画像８１を生成することができる。なお、マスク画像８１は、このような構成に限定されるものではなく、物品領域７１とその他の領域とを区別可能な構成であれば如何なる構成であってもよい。
プロセッサ４３は、図４のステップＳ１１で取得した物品画像５１と、図８のステップＳ３３で生成したマスク画像８１とに基づいて学習用データを生成する（ステップＳ３４）。即ち、プロセッサ４３は、物品画像５１を問題とし、マスク画像８１を答えとした学習用データを生成する。制御部４２は、生成した学習用データをストレージ装置１６に送信して保存させ（ステップＳ３５）、処理を終了する。これにより、学習装置１７は、ストレージ装置１６に記憶された学習用データを用いて、機械学習を行い、画像認識パラメータを更新することができる。
The
上記したように、情報処理装置１２は、所定範囲に置かれた物品３を把持するロボットアーム１１に、ピッキング位置を供給する装置であり、通信インタフェース４１と、プロセッサ４３とを備える。通信インタフェース４１は、所定範囲に置かれた物品３の画像である物品画像と、ロボットアーム１１により把持され持ち上げられた物品３との距離を示す距離情報（第２の距離情報）と、を取得する。プロセッサ４３は、距離情報に基づいて、物品画像上における物品３の位置を示すマスク画像を生成する。これにより、物品画像を問題とし、マスク画像を答えとした学習用データを、人手を介さず容易に生成することができる。これにより、大量の学習用データを生成することができる。
As described above, the
また、プロセッサ４３は、物品画像と、予め設定された画像認識パラメータとに基づいて、物品画像上において、物品３が存在する物品領域を認識し、物品領域に基づいて、ピッキング位置を生成し、ロボットアーム１１にピッキング位置を動作計画として供給する。ロボットアーム１１は、供給された動作計画に基づいて、物品３の把持及び持ち上げを行う。距離情報は、この時の物品３との距離を示す情報である。プロセッサ４３は、この距離情報に基づいて、物品画像上における物品３の位置を示すマスク画像し、物品画像とマスク画像とを対応付けて、画像認識パラメータを更新する為の学習用データを生成する。これにより、画像認識パラメータを更新する為の大量の学習用データを生成することができる。
Further, the
また、距離情報は、第２の距離センサ１５が取得するものである。第２の距離センサ１５は、物品画像を取得したカメラ（第１の距離センサ１４）のレンズの光軸と直交する方向における、自身と物品３との距離を測定する。即ち、距離情報は、第１の距離センサ１４のレンズの光軸と直交する方向における、第２の距離センサ１５と物品３との距離を示す情報である。この構成によると、第２の距離センサ１５は、ロボットアーム１１により持ち上げられた物品３との距離を、第１の距離センサ１４のレンズの光軸と直交する方向から測定することができる。これにより、マスク画像の精度を向上させることができる。
Further, the distance information is acquired by the
また、第２の距離センサ１５は、ロボットアーム１１により、物品３が、第２の距離センサ１５の測距方向と角度を成す方向に移動した際に、自身と物品３との距離を測定する。具体的には、第２の距離センサ１５は、ロボットアーム１１により、物品３が、第１の距離センサ１４のレンズの光軸と略平行な方向に持ち上げられた際に、自身と物品３との距離を測定する。これにより、距離情報に基づき、物品画像上における物品３の位置を特定することが容易になる。
Further, the
また、第１の距離センサ１４のレンズの光軸は、鉛直方向と平行であり、距離情報は、第２の距離センサ１５と物品との水平方向における距離を示す情報である。この構成により、距離情報に基づき、物品画像上における物品３の位置を特定することが容易になる。
The optical axis of the lens of the
なお、上記の実施形態では、プロセッサ４３は、物品３の第２の距離センサ１５と対向する面の表面形状の推定結果に基づいて、物品３の第２の距離センサ１５と対向していない面の表面形状を推定すると説明したが、この構成に限定されない。ピッキングシステム１は、第２の距離センサ１５を２つ以上備える構成であってもよい。２つ以上の第２の距離センサ１５は、例えば、かご車２が配置される位置を挟むように配置される。これにより、死角がなくなり、容易に物品３の表面形状及び位置を測定することができる。また、ロボットアーム１１は、物品３を鉛直方向に持ち上げた後、鉛直方向を回転軸とする方向に３６０度把持機構２１を回転させつつ、第２の距離センサ１５により第２の距離情報を取得してもよい。この構成によると、１つの第２の距離センサ１５によって、物品３の外周の表面形状及び位置を算出することができる。
Note that, in the above embodiment, the
また、上記の実施形態では、プロセッサ４３は、第２の距離センサ１５により取得した第２の距離情報に基づいて生成したマスク画像を、物品画像と対応付けて学習用データを生成すると説明した。しかし、プロセッサ４３は、マスク画像を学習用データの生成に採用するか否かを判断してもよい。
Further, in the above embodiment, the
図１２は、学習用データの生成に関する情報処理装置１２の動作の他の例について説明する為のフローチャートである。例えば、プロセッサ４３は、学習用データの生成に関する図１２の処理を、図４のステップＳ１５の後段の処理として実行する。
FIG. 12 is a flowchart for explaining another example of the operation of the
プロセッサ４３は、第２の距離情報を第２の距離センサ１５から受信したか否か判断する（ステップＳ４１）。プロセッサ４３は、第２の距離情報を第２の距離センサ１５から受信したと判断した場合（ステップＳ４１、ＹＥＳ）、ロボットアーム１１により把持した物品３が落下したか否か判断する（ステップＳ４２）。即ち、プロセッサ４３は、第２の距離センサ１５により第２の距離情報を取得した対象の物品３が、ロボットアーム１１によって仕分先に降ろされたか否か判断する。例えば、プロセッサ４３は、ロボットアーム１１のコントローラ２４から、完了通知を受信した場合、物品３が、ロボットアーム１１によって仕分先に降ろされたと判断する。また、プロセッサ４３は、ロボットアーム１１のコントローラ２４から、エラーを受信した場合、物品３が、ロボットアーム１１によって仕分先に降ろされず、途中で落下したと判断する。プロセッサ４３は、ロボットアーム１１により把持した物品３が落下したと判断した場合（ステップＳ４２、ＹＥＳ）、図１２の処理を終了する。
The
プロセッサ４３は、ロボットアーム１１により把持した物品３が落下していないと判断した場合（ステップＳ４２、ＮＯ）、第２の距離情報に基づいて、マスク画像を生成する（ステップＳ４３）。マスク画像の生成方法は、図９乃至図１１で説明した方法と同様であるため、説明を省略する。
When the
プロセッサ４３は、図４のステップＳ１１で取得した物品画像５１と、図１２のステップＳ４３で生成したマスク画像８１とに基づいて、図１３に示す確認画面９１を生成し、出力する（ステップＳ４４）。
The
確認画面９１は、操作端末１３のディスプレイ３６に表示される画面である。確認画面９１には、マスク画像８１を学習用データの生成に採用するか否かを、オペレータが判断する際に用いられる情報が表示される。即ち、確認画面９１に表示される情報は、オペレータの判断の参考に用いられる参考情報である。確認画面９１は、物品画像５１、マスク画像８１、採用ボタン９２、及び不採用ボタン９３などの表示を有する。
A
物品画像５１は、図４のステップＳ１１で取得した物品画像５１である。マスク画像８１は、図１２のステップＳ４３で生成したマスク画像８１である。
The
採用ボタン９２及び不採用ボタン９３は、タッチセンサ３７により選択可能なボタンである。オペレータは、確認画面９１の参考情報を確認し、マスク画像８１を採用するか否か判断し、採用ボタン９２と不採用ボタン９３とのいずれかを選択する。
The
プロセッサ４３は、採用ボタン９２と不採用ボタン９３との選択結果に基づいて、マスク画像８１を採用するか否か判断する（ステップＳ４５）。
The
プロセッサ４３は、オペレータにより不採用ボタン９３が選択された場合（ステップＳ４５、ＮＯ）、図１２の処理を終了する。
When the operator selects the rejection button 93 (step S45, NO), the
また、プロセッサ４３は、オペレータにより採用ボタン９２が選択された場合（ステップＳ４５、ＹＥＳ）、図４のステップＳ１１で取得した物品画像５１と、図１２のステップＳ４３で生成したマスク画像８１とに基づいて学習用データを生成する（ステップＳ４６）。即ち、プロセッサ４３は、物品画像５１を問題とし、マスク画像８１を答えとした学習用データを生成する。制御部４２は、生成した学習用データをストレージ装置１６に送信して保存させ（ステップＳ４７）、処理を終了する。
Further, when the operator selects the adoption button 92 (step S45, YES), the
上記したように、プロセッサ４３は、物品画像５１とマスク画像８１とを確認したオペレータによる操作入力に基づいて、マスク画像８１を学習用データの生成に採用するか否か判断する。これにより、学習用データの答えとして適していないマスク画像が採用されることを防ぐことができる。
As described above, the
なお、上記の例では、プロセッサ４３は、物品画像５１とマスク画像８１とをそれぞれ確認画面９１に表示させると説明したが、この構成に限定されない。プロセッサ４３は、物品画像５１にマスク画像８１を重ねた確認用の画像を生成し、確認画面９１に表示させてもよい。
In the above example, the
また、例えば、プロセッサ４３は、図４のステップＳ１２で、物品画像５１に基づいて認識した物品領域の位置と、マスク画像８１における物品領域の位置とを比較し、比較結果に基づく情報を確認画面９１に表示させてもよい。例えば、プロセッサ４３は、物品画像５１に基づいて認識した物品領域の位置と、マスク画像８１における物品領域の位置との差が、予め設定された閾値以上である場合、アラートを確認画面９１に表示させてもよい。
Further, for example, in step S12 of FIG. 4, the
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
所定範囲に置かれた物品を把持するロボットアームに、ピッキング位置を供給する情報処理装置であって、
前記所定範囲に置かれた前記物品の画像である物品画像と、前記ロボットアームにより把持され持ち上げられた前記物品との距離を示す距離情報と、を取得する通信インタフェースと、
前記距離情報に基づいて、前記物品画像上における前記物品の位置を示すマスク画像を生成するプロセッサと、
を具備する情報処理装置。
［Ｃ２］
前記プロセッサは、
前記物品画像と、予め設定された画像認識パラメータとに基づいて、前記物品画像上において、前記物品が存在する物品領域を認識し、前記物品領域に基づいて、前記ピッキング位置を生成し、
前記物品画像と前記マスク画像とを対応付けて、前記画像認識パラメータを更新する為の学習用データを生成するＣ１に記載の情報処理装置。
［Ｃ３］
前記プロセッサは、前記物品画像と、前記マスク画像とを表示させた確認画面を出力し、前記確認画面に対するオペレータの操作入力に基づいて、前記マスク画像を用いた前記学習用データの生成を行うか否か判断するＣ２に記載の情報処理装置。
［Ｃ４］
前記距離情報は、前記物品画像を取得したカメラのレンズの光軸と交差する方向における、前記距離情報を取得する距離センサと、前記物品との距離を示す情報であるＣ１に記載の情報処理装置。
［Ｃ５］
前記距離情報は、前記ロボットアームにより、前記物品が、前記光軸と略平行な方向に移動した際の、前記距離センサと前記物品との距離を示す情報であるＣ４に記載の情報処理装置。
［Ｃ６］
前記プロセッサは、前記距離情報に基づいて、前記物品の外形寸法を算出し、算出した前記外形寸法に基づいて、前記マスク画像を生成するＣ１に記載の情報処理装置。
［Ｃ７］
ロボットアームと、前記ロボットアームにピッキング位置を供給する情報処理装置とを有するピッキングシステムであって、
前記ロボットアームは、
所定範囲に置かれた物品を把持する把持機構と、
前記把持機構を前記ピッキング位置から仕分先に移動させるアーム機構と、
を具備し、
前記情報処理装置は、
前記所定範囲に置かれた前記物品の画像である物品画像と、前記ロボットアームにより把持され持ち上げられた前記物品との距離を示す距離情報と、を取得する通信インタフェースと、
前記距離情報に基づいて、前記物品画像上における前記物品の位置を示すマスク画像を生成するプロセッサと、
を具備するピッキングシステム。
While several embodiments of the invention have been described, these embodiments have been presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and equivalents thereof.
The invention described in the scope of claims at the time of filing of the present application will be additionally described below.
[C1]
An information processing device that supplies a picking position to a robot arm that grips an article placed in a predetermined range,
a communication interface for acquiring an article image, which is an image of the article placed in the predetermined range, and distance information indicating a distance from the article gripped and lifted by the robot arm;
a processor that generates a mask image indicating the position of the article on the article image based on the distance information;
An information processing device comprising:
[C2]
The processor
recognizing an article area in which the article exists on the article image based on the article image and preset image recognition parameters, and generating the picking position based on the article area;
The information processing apparatus according to C1, which associates the article image and the mask image to generate learning data for updating the image recognition parameter.
[C3]
The processor outputs a confirmation screen displaying the article image and the mask image, and generates the learning data using the mask image based on an operator's operation input on the confirmation screen. The information processing device according to C2, which determines whether or not.
[C4]
The information processing apparatus according to C1, wherein the distance information is information indicating a distance between a distance sensor that acquires the distance information and the article in a direction that intersects an optical axis of a lens of a camera that acquires the article image. .
[C5]
The information processing apparatus according to C4, wherein the distance information is information indicating a distance between the distance sensor and the article when the article is moved in a direction substantially parallel to the optical axis by the robot arm.
[C6]
The information processing apparatus according to C1, wherein the processor calculates outer dimensions of the article based on the distance information, and generates the mask image based on the calculated outer dimensions.
[C7]
A picking system having a robot arm and an information processing device that supplies a picking position to the robot arm,
The robot arm is
a gripping mechanism for gripping an article placed in a predetermined range;
an arm mechanism that moves the gripping mechanism from the picking position to a sorting destination;
and
The information processing device is
a communication interface for acquiring an article image, which is an image of the article placed in the predetermined range, and distance information indicating a distance from the article gripped and lifted by the robot arm;
a processor that generates a mask image indicating the position of the article on the article image based on the distance information;
A picking system comprising:
１…ピッキングシステム、１１…ロボットアーム、１２…情報処理装置、１３…操作端末、１４…第１の距離センサ、１５…第２の距離センサ、１６…ストレージ装置、１７…学習装置、１８…ネットワーク、２１…把持機構、２２…アーム機構、２３…力覚センサ、２４…コントローラ、３１…通信インタフェース、３２…制御部、３３…タッチパネル、３４…プロセッサ、３５…メモリ、３６…ディスプレイ、３７…タッチセンサ、４１…通信インタフェース、４２…制御部、４３…プロセッサ、４４…メモリ。
REFERENCE SIGNS
Claims (6)
前記所定範囲に置かれた前記物品の画像である物品画像と、前記ロボットアームにより把持され持ち上げられた前記物品との距離を示す距離情報と、を取得する通信インタフェースと、
前記距離情報に基づいて、前記物品画像上における前記物品の位置を示すマスク画像を生成するプロセッサと、
を具備し、
前記プロセッサは、
前記物品画像と、予め設定された画像認識パラメータとに基づいて、前記物品画像上において、前記物品が存在する物品領域を認識し、前記物品領域に基づいて、前記ピッキング位置を生成し、
前記物品画像と前記マスク画像とを対応付けて、前記画像認識パラメータを更新する為の学習用データを生成する、情報処理装置。 An information processing device that supplies a picking position to a robot arm that grips an article placed in a predetermined range,
a communication interface for acquiring an article image, which is an image of the article placed in the predetermined range, and distance information indicating a distance from the article gripped and lifted by the robot arm;
a processor that generates a mask image indicating the position of the article on the article image based on the distance information;
and
The processor
recognizing an article area in which the article exists on the article image based on the article image and preset image recognition parameters, and generating the picking position based on the article area;
An information processing apparatus that associates the article image and the mask image to generate learning data for updating the image recognition parameter .
前記ロボットアームは、
所定範囲に置かれた物品を把持する把持機構と、
前記把持機構を前記ピッキング位置から仕分先に移動させるアーム機構と、
を具備し、
前記情報処理装置は、
前記所定範囲に置かれた前記物品の画像である物品画像と、前記ロボットアームにより把持され持ち上げられた前記物品との距離を示す距離情報と、を取得する通信インタフェースと、
前記距離情報に基づいて、前記物品画像上における前記物品の位置を示すマスク画像を生成するプロセッサと、
を具備し、
前記プロセッサは、
前記物品画像と、予め設定された画像認識パラメータとに基づいて、前記物品画像上において、前記物品が存在する物品領域を認識し、前記物品領域に基づいて、前記ピッキング位置を生成し、
前記物品画像と前記マスク画像とを対応付けて、前記画像認識パラメータを更新する為の学習用データを生成する、ピッキングシステム。
A picking system having a robot arm and an information processing device that supplies a picking position to the robot arm,
The robot arm is
a gripping mechanism for gripping an article placed in a predetermined range;
an arm mechanism that moves the gripping mechanism from the picking position to a sorting destination;
and
The information processing device is
a communication interface for acquiring an article image, which is an image of the article placed in the predetermined range, and distance information indicating a distance from the article gripped and lifted by the robot arm;
a processor that generates a mask image indicating the position of the article on the article image based on the distance information;
and
The processor
recognizing an article area in which the article exists on the article image based on the article image and preset image recognition parameters, and generating the picking position based on the article area;
A picking system that associates the article image with the mask image to generate learning data for updating the image recognition parameter .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018171990A JP7163116B2 (en) | 2018-09-14 | 2018-09-14 | Information processing equipment and picking system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018171990A JP7163116B2 (en) | 2018-09-14 | 2018-09-14 | Information processing equipment and picking system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020040193A JP2020040193A (en) | 2020-03-19 |
| JP7163116B2 true JP7163116B2 (en) | 2022-10-31 |
Family
ID=69797121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018171990A Active JP7163116B2 (en) | 2018-09-14 | 2018-09-14 | Information processing equipment and picking system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7163116B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023228810A1 (en) * | 2022-05-24 | 2023-11-30 | 村田機械株式会社 | Article recognition system and article recognition device |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010217126A (en) | 2009-03-19 | 2010-09-30 | Teraoka Seiko Co Ltd | Dimension measuring apparatus |
| JP2013541775A (en) | 2010-10-21 | 2013-11-14 | ゼンロボティクス オイ | Filtering method of target object image in robot system |
| JP2015160256A (en) | 2014-02-26 | 2015-09-07 | セイコーエプソン株式会社 | Robot system, processor and control method |
| JP2016109630A (en) | 2014-12-09 | 2016-06-20 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
| JP2017170560A (en) | 2016-03-23 | 2017-09-28 | 日産自動車株式会社 | Work-piece transfer method and work-piece transfer device using robot |
| JP2018040760A (en) | 2016-09-09 | 2018-03-15 | 株式会社鈴木エンタープライズ | Structure dimension measuring system and measuring method |
| JP2018074757A (en) | 2016-10-28 | 2018-05-10 | 株式会社東芝 | Patrol inspection system, information processing apparatus, and patrol inspection control program |
| JP2018118343A (en) | 2017-01-25 | 2018-08-02 | 株式会社安川電機 | Handling system and controller |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04148205A (en) * | 1990-10-08 | 1992-05-21 | Matsushita Electric Ind Co Ltd | Positioning device |
-
2018
- 2018-09-14 JP JP2018171990A patent/JP7163116B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010217126A (en) | 2009-03-19 | 2010-09-30 | Teraoka Seiko Co Ltd | Dimension measuring apparatus |
| JP2013541775A (en) | 2010-10-21 | 2013-11-14 | ゼンロボティクス オイ | Filtering method of target object image in robot system |
| JP2015160256A (en) | 2014-02-26 | 2015-09-07 | セイコーエプソン株式会社 | Robot system, processor and control method |
| JP2016109630A (en) | 2014-12-09 | 2016-06-20 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
| JP2017170560A (en) | 2016-03-23 | 2017-09-28 | 日産自動車株式会社 | Work-piece transfer method and work-piece transfer device using robot |
| JP2018040760A (en) | 2016-09-09 | 2018-03-15 | 株式会社鈴木エンタープライズ | Structure dimension measuring system and measuring method |
| JP2018074757A (en) | 2016-10-28 | 2018-05-10 | 株式会社東芝 | Patrol inspection system, information processing apparatus, and patrol inspection control program |
| JP2018118343A (en) | 2017-01-25 | 2018-08-02 | 株式会社安川電機 | Handling system and controller |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020040193A (en) | 2020-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7340203B2 (en) | Robotic system with automatic package scanning and registration mechanism and how it works | |
| JP7005388B2 (en) | Information processing equipment and sorting system | |
| JP7286272B2 (en) | Information processing device, information processing method and program | |
| US8098928B2 (en) | Apparatus for picking up objects | |
| JP7154815B2 (en) | Information processing device, control method, robot system, computer program, and storage medium | |
| JP5806301B2 (en) | Method for physical object selection in robotic systems | |
| JP2019063984A (en) | Information processor, method, and robot system | |
| WO2020022302A1 (en) | Grasping device | |
| JP2019188516A (en) | Information processor, information processing method, and program | |
| JP2019181687A (en) | Information processing device, information processing method and program | |
| US20190126473A1 (en) | Information processing apparatus and robot arm control system | |
| JP2016196077A (en) | Information processor, information processing method, and program | |
| JP2019188561A (en) | Article gripping device and control device of article gripping device | |
| JP2022066611A (en) | Information processing device, information processing method, program, and unloading system | |
| JP7163116B2 (en) | Information processing equipment and picking system | |
| JP7062418B2 (en) | Information processing equipment and sorting system | |
| JP2019199335A (en) | Information processing device, information processing program, and sorting system | |
| US20230030852A1 (en) | Control apparatus for robotic system, control method for robotic system, computer-readable storage medium storing a computer control program, and robotic system | |
| JP7408107B2 (en) | Systems and methods for robotic systems with object handling | |
| JP2020062707A (en) | Information processing device | |
| US20230071488A1 (en) | Robotic system with overlap processing mechanism and methods for operating the same | |
| CN116551672A (en) | System and method for a robotic system with object handling capability | |
| TW202319946A (en) | Device for generating learning data, method for generating learning data, and machine learning device and machine learning method using learning data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210806 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220701 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220920 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221019 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7163116 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |