JP5263501B2 - デパレタイズ用のワーク位置認識装置および方法 - Google Patents

Description

本発明は、デパレタイズ用のワーク位置認識装置および方法に関する。

パレット上に積まれた段ボール箱などのワークを１つづつ荷降ろしすることを「デパレタイズ」という。デパレタイズ用の産業用ロボット（デパレタイズロボット）を用いてデパレタイズする場合、パレット上面を撮影した画像から、最上段に位置するワークの位置と姿勢を正確に検出する必要がある。
そのため、ワーク位置を認識する手段が種々提案されている（例えば、特許文献１〜３）。

特許文献１は、物品（ワーク）位置検出を行い、自動デパレタイズを可能とすることを目的とする。
そのため、特許文献１では、図４に示すように、ワークの高さを検出するエリアセンサと、このエリアセンサにより検出された高さデータに基づいて最上段のワークＦの側面に対して４方から照明する照明装置５２と、パレットＰの上方よりワークＦを撮影するＣＣＤカメラ５４と、ＣＣＤカメラ５４により撮影された撮影データより、最上段のワークＦの上面（影の部分）を抽出し、最上段のワークＦの輪郭を検出する画像処理装置とを備え、画像処理装置により検出された最上段のワークＦの輪郭データにより、最上段のワークＦの概略位置を判断し、ワークＦの位置を認識するものである。

特許文献２は、パレタイズされている直方体の箱体の中から、簡易に最上部に位置している箱体を特定することを目的とする。
そのため、特許文献２では、図５に示すように、パレタイズされている箱Ｂに斜め上方から照明し、それをステレオテレビカメラ装置５６，５６により撮影し、その撮影された画像から陰影のあるエッジを抽出し、それらを３次元計測して最上位のものを選択する。ついで、上方よりの照明に切り換えて、再度撮影して残りのエッジを特定した後マッチングを行い、箱の種別、姿勢および把持位置を決定するものである。

特許文献３は、画像から目的とする物品の位置と姿勢を精密かつ確実に検出でき、かつＦＡなどに適用可能な高速処理ができることを目的とする。
そのため、特許文献３では、図６に示すように、複数の同一物品が同一平面上に並んだ画像６３を撮影し、画像から物品の位置及び姿勢６９を検出し、物品の形状データ６４から画像上の物品の輪郭を示すテンプレート６５を生成し、画像から物品の形状を強調した二値のエッジ画像６６を作成し、テンプレートとエッジ画像のベクトル相関により物品候補データ６７を作成し、エッジ画像からエッジを構成する線分データ６８を作成し、物品候補データと線分データから線分探索により物品の正確な位置と姿勢６９を決定するものである。

特開２００１−３１７９１１号明細書、「物品位置認識装置」 特開平７−２９９７８２号明細書、「デパレタイズ用画像作成方法および画像作成装置」 特開２００７−１４０７２９号明細書、「物品の位置及び姿勢を検出する方法および装置」

特許文献１の装置では、最上段の物品の側面に対して照明することにより、上方から撮影された最上段の物品の上面、エッジに濃い影が生じるため、明確な輪郭が検出される。この輪郭データよって最上段の物品の概略位置が判断され、物品の位置が認識される。
しかし、特許文献１では、輪郭データのみを用いてワーク位置を認識するため、段ボール箱などのワークでは誤検出が起きる可能性が高い。

特許文献２の手段では、斜め上方から照明された箱をステレオカメラにより撮影し、その撮影された画像からエッジを抽出し、３次元計測により最上位のものを選択する。その後、上方よりの照明に切り換えて、別のステレオカメラにより再度撮影し残りのエッジを特定する。統合された複数のエッジ情報から箱の種別、姿勢および把持位置を決定する。
しかし、特許文献２の手段では、照明およびステレオカメラが複数必要となるためシステムの規模が大きくなる。また、ステレオカメラから複数のエッジを求め統合する必要があるため、計算負荷が高くなる。

特許文献３の手段では、物品上面の輪郭データをテンプレートとしてベクトル相関と線分探索を用いるため、物品の位置と姿勢を精密に検出できる。
しかし、特許文献３の手段であっても、物品の形状や模様、画像の鮮明度などにより、物品の位置または姿勢を誤って検出することがあった。例えば、同一平面上に並んだ複数の同一物品（例えば段ボール）が、単一物品の輪郭に近似した模様や合わせ面を有する場合、位置または姿勢の誤検出が生じることがあった。

本発明は上述した従来の問題点を解決するために創案されたものである。すなわち、本発明の目的は、ワーク上面の輪郭データに基づく誤検出を大幅に低減することができ、ワークの形状、模様及び画像の鮮明度の影響を低減して認識精度を高め、常に高い精度とワークの位置と姿勢を検出することができるデパレタイズ用のワーク位置認識装置および方法を提供することにある。

本発明によれば、複数の同一ワークが同一平面上に並んだ画像を撮影する撮影装置と、撮影した画像を画像処理する画像処理装置とを備え、ワークの位置と姿勢を検出してロボット制御装置にその結果を出力するワーク位置認識装置であって、
該ワーク位置認識装置は、前記画像から輪郭データを取得し、該輪郭データから各ワークの位置及び姿勢を検出し、前記画像中のワーク部分の画像をマスタ画像パターンとして登録し、該マスタ画像パターンと各ワーク部分の画像とのパターンマッチングを行い、すべてのワーク部分に対しパターンマッチングが成功した場合に、各ワークの位置及び姿勢を出力する、ことを特徴とするワーク位置認識装置が提供される。

また本発明によれば、撮影装置により、複数の同一ワークが同一平面上に並んだ画像を撮影し、
画像処理装置により、前記画像から輪郭データを取得し、該輪郭データから各ワークの位置及び姿勢を検出し、前記画像中のワーク部分の画像をマスタ画像パターンとして登録し、該マスタ画像パターンと各ワーク部分の画像とのパターンマッチングを行い、すべてのワーク部分に対しパターンマッチングが成功した場合に、各ワークの位置及び姿勢を出力する、ことを特徴とするワーク位置認識方法が提供される。

本発明の好ましい実施形態によれば、マスタ画像パターンとして、検出したワークの輪郭データとワークの寸法情報から得られる輪郭データとの一致度の最も高いワーク画像を最初に登録し、
すべてのワーク部分に対しパターンマッチングが成功しない場合に、前記一致度が順次高いワーク部分の画像をマスタ画像パターンに登録する。

前記検出したワークの輪郭データとワークの寸法情報から得られる輪郭データとの一致度として、ベクトル相関値を用いる、ことが好ましい。

上述した本発明の装置および方法によれば、画像中のワーク部分の画像をマスタ画像パターンとして登録し、該マスタ画像パターンと各ワーク部分の画像とのパターンマッチングを行い、すべてのワークの画像に対しパターンマッチングが成功した場合に、各ワークの位置及び姿勢を出力するので、ワーク上面の輪郭データに基づく誤検出を大幅に低減することができ、ワークの形状、模様及び画像の鮮明度の影響を低減して認識精度を高め、常に高い精度とワークの位置と姿勢を検出することができる。

本発明の装置および方法は、エッジ検出に基づくテンプレートマッチングと、ワーク部分の画像を用いたパターンマッチングの組み合わせであり、それぞれ簡単な認識処理であるため、計算負荷が小さい。
また、マスタ画像パターンは計測の度に取得するため、ワーク毎に画像データを保持しておく必要がなく、ワークが変更されても再度教示する必要がない。
また、本発明は複数のセンサを必要としないため、従来技術に比べて計測部（撮影装置）を簡易にできる。

従って、認識精度が向上し、誤検出が起きにくくなり、計算負荷、メモリ負荷が小さくでき、計測部（撮影装置）が単一ですむため、システム規模を小さくできる。

以下、本発明の好ましい実施例を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

図１は、本発明のワーク位置認識装置を備えたデパレタイズ装置の全体構成図である。
この図において、ワーク１は、例えば同一の段ボール箱であり、パレット２の上に積層されている。パレット２は、デパレタイズ用の産業用ロボット（デパレタイズロボット）１０に隣接する所定のピックステーション（この図では２箇所）に設置される。

この図に示すように、本発明のワーク位置認識装置は、複数の同一ワーク１が同一平面上に並んだ画像３を撮影する撮影装置１２と、撮影した画像３を画像処理する画像処理装置１４とを備える。

この例では本発明のワーク位置認識装置は、パレット上のワークのうち、最上段のワークのみを対象とし、画像３から最上段のワーク１の位置及び姿勢を検出するものである。

撮影装置１２は、例えばデジタル画像が取得できるデジタルスチールカメラ又はデジタルビデオカメラである。なお、これらのカメラは、少なくとも最上段のワークすべてを撮影でき、かつ各ワークを識別できる分解能を有する。
なお本発明は、最上段のワークをその他のワークと識別する手段について特に限定しない。例えば、撮影装置１２として、ワークまでの距離を検出できるように、一定の間隔を隔てたステレオカメラまたは三次元レーザー測定器を用いてもよい。

画像処理装置１４は、この例では画像処理ＰＣ（コンピュータ）であり、ロボット制御装置１５および倉庫管理ＰＣ１６とＬＡＮで接続されている。倉庫管理ＰＣ１６には、ワークの形状データが予め入力されている。

画像処理装置１４は、撮影装置１２で撮影した画像から、ワークまでの距離等を基準にして最上段のワーク以外の画像を消去する。次いで、画像処理装置１４により、本発明のワーク位置認識方法を実行し、ワークの位置と姿勢を検出して、ロボット制御装置１５にその結果を出力する。
ロボット制御装置１５は、画像処理装置１４によるワークの位置と姿勢に基づき、デパレタイズロボット１０を制御し、パレット上に積まれたワークを１つづつ荷降ろしするデパレタイズ作業を実行する。

図２は、本発明によるワーク位置認識方法を示すフロー図である。また、図３は、本発明のワーク位置認識方法の説明図である。

図２に示すように、本発明のワーク位置認識方法は、Ｓ１〜Ｓ９の各ステップからなる。
ステップＳ１では、撮影装置１２により、ピックステーションにパレタイズされた単一種かつ複数のワーク１を上部より撮影し、ワーク上部の画像３ａを取得する。

図３（Ａ）は、画像３ａの例であり、この例では、１０個のワーク１が画像３ａに含まれている。以下、１０個のワーク１をそれぞれワーク１ａ〜１ｊと呼ぶ。各ワーク１（１ａ〜１ｊ）の輪郭は長方形であり、ワーク上面には、ａ，ｂ，ｃ，ｄの４つのマーク又は模様がそれぞれ存在する。

ステップＳ２では、ワーク上部の画像３ａに対してエッジ抽出を行う。
ステップＳ３では、ワークの寸法情報から得られるワークの輪郭（テンプレート５）とステップＳ２で抽出したエッジ情報とをマッチング（テンプレートマッチング）させ、各ワークの位置及び姿勢を検出する。
ワークの寸法情報（テンプレート）は、好ましくは倉庫管理ＰＣ１６から取得する。なお、このテンプレート５は、倉庫管理ＰＣ１６に記録されたワークの形状データから画像上のワークの輪郭（テンプレート５）を生成するのがよい。

図３（Ｂ）は、ステップＳ３で輪郭のマッチング（テンプレートマッチング）を行った後の、画像３ｂである。この図において、５はテンプレートであり、ワーク１ａの検出に失敗し、ワーク１ｂ，１ｃは誤検出し、その他のワーク１ｄ〜１ｊの検出は成功している状態を示している。

ステップＳ３では、さらに検出した各ワーク１ｂ〜１ｊとテンプレート５との間で、ベクトル相関を実施し、それぞれのベクトル相関値を求め、ベクトル相関値の大きい順に、各ワーク１ｂ〜１ｊを第１候補、第２候補、と順位を設定する。
ベクトル相関は、二値画像（エッジ画像）中から、テンプレートと類似した幾何形状の位置を探索する方法であり、例えば特許文献３に開示されている。またベクトル相関値は、その値が大きいほど、テンプレート５と画像３ｂ上の図が一致していることを意味する。

ステップＳ４では、最も輪郭一致度の高いワーク、すなわちベクトル相関値が最も大きい第１候補のワーク（例えばワーク１ｄ）を選び、その輪郭の内側の画像をマスタ画像パターン６として切り出し登録する。

ステップＳ５では、他のワークに対して、画像中のワーク部分（輪郭の内側）の画像を抽出し、マスタ画像パターン６と各ワーク部分の画像とのパターンマッチングを順次行う。このパターンマッチングでは、ワーク上面のａ，ｂ，ｃ，ｄのマーク又は模様に対してもパターンマッチングする。
そして、検出した各ワークの位置及び姿勢にうち、誤った候補がないか検証する。

ステップＳ６では、搬送するべきワークの個数（この例では１０個）の照合が成功したかを調べる。すべての照合に成功していればステップＳ７へ、失敗したワークがあればステップＳ８へ進む。
このステップＳ６で指定個数（この例では１０個）の照合が成功しなかったのは、不正なマスタ画像パターンが登録されているためである。
図３（Ｂ）の例では、ワーク１ａの検出に失敗し、ワーク１ｂ，１ｃは誤検出しているので、失敗したワークがありステップＳ８へ進む。

搬送するべきワークの個数（この例では１０個）の照合が成功した場合（ＹＥＳ）、ステップＳ７でロボット制御装置１５に位置情報（位置と姿勢）を出力し、この位置情報をもとにデパレタイズロボット１０がワークを把持し、搬送する。

一方、搬送するべきワークの個数（この例では１０個）の照合が成功しない場合（ＮＯ）、ステップＳ８で別の候補（第２候補又はそれ以降の候補）が存在するかを判断し、存在（ＹＥＳ）すれば、ステップＳ９でその別候補（パターン一致度が次に高い候補）をマスタ画像パターン６に登録し、ステップＳ５、Ｓ６を再度実行する。

また、ステップＳ８で別の候補が存在しない場合（ＮＯ）には、エラーであり、再度スタートに戻る。
最上段のワークが１個になったらステップＳ３よりステップＳ４〜ステップＳ６を通過し、ステップＳ７へ進める。

なお、上述したマスタ画像パターンとして、ステップＳ３で検出したすべてのワークに対し主成分分析を行い、平均的な候補画像パターンを用いてもよい。
これにより、マスタ画像パターンのメモリが圧縮され、認識精度を下げることなく、より高速に認識処理を行える。

上述した本発明の装置および方法によれば、画像３（３ａ）中のワーク部分の画像をマスタ画像パターン６として登録し、該マスタ画像パターン６と各ワーク部分の画像とのパターンマッチングを行い、すべてのワークの画像に対しパターンマッチングが成功した場合に、各ワークの位置及び姿勢を出力するので、ワーク上面の輪郭データに基づく誤検出を大幅に低減することができ、ワークの形状、模様及び画像の鮮明度の影響を低減して認識精度を高め、常に高い精度とワークの位置と姿勢を検出することができる。

本発明の装置および方法は、エッジ検出に基づくテンプレートマッチング（Ｓ３）と、ワーク部分の画像を用いたパターンマッチング（Ｓ５）の組み合わせであり、それぞれ簡単な認識処理であるため、計算負荷が小さい。
また、マスタ画像パターン６は計測の度に取得するため、ワーク毎に画像データを保持しておく必要がない。
また、本発明は複数のセンサを必要としないため、従来技術に比べて計測部（撮影装置）を簡易にできる。

従って、認識精度が向上し、誤検出が起きにくくなり、計算負荷、メモリ負荷が小さくでき、計測部（撮影装置）が単一ですむため、システム規模を小さくできる。

なお、本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々の変更を加え得ることは勿論である。

本発明のワーク位置認識装置を備えたデパレタイズ装置の全体構成図である。 本発明によるワーク位置認識方法を示すフロー図である。 本発明のワーク位置認識方法の説明図である。 特許文献１の装置の模式図である。 特許文献２の手段の模式図である。 特許文献３の手段の模式図である。

符号の説明

１，１ａ〜１ｊ ワーク、２ パレット、
３，３ａ 撮影した画像、
３ｂ テンプレートマッチング後の画像、
５ ワークの輪郭（テンプレート）、
６ マスタ画像パターン、
１０ デパレタイズロボット、
１２ 撮影装置、１４ 画像処理装置、
１５ ロボット制御装置、１６ 倉庫管理ＰＣ

Claims (4)

1. 複数の同一ワークが同一平面上に並んだ画像を撮影する撮影装置と、撮影した画像を画像処理する画像処理装置とを備え、ワークの位置と姿勢を検出してロボット制御装置にその結果を出力するワーク位置認識装置であって、
   該ワーク位置認識装置は、前記画像から輪郭データを取得し、該輪郭データから各ワークの位置及び姿勢を検出し、前記画像中のワーク部分の画像をマスタ画像パターンとして登録し、該マスタ画像パターンと各ワーク部分の画像とのパターンマッチングを行い、すべてのワーク部分に対しパターンマッチングが成功した場合に、各ワークの位置及び姿勢を出力する、ことを特徴とするワーク位置認識装置。
2. 撮影装置により、複数の同一ワークが同一平面上に並んだ画像を撮影し、
   画像処理装置により、前記画像から輪郭データを取得し、該輪郭データから各ワークの位置及び姿勢を検出し、前記画像中のワーク部分の画像をマスタ画像パターンとして登録し、該マスタ画像パターンと各ワーク部分の画像とのパターンマッチングを行い、すべてのワーク部分に対しパターンマッチングが成功した場合に、各ワークの位置及び姿勢を出力する、ことを特徴とするワーク位置認識方法。
3. マスタ画像パターンとして、検出したワークの輪郭データとワークの寸法情報から得られる輪郭データとの一致度の最も高いワーク画像を最初に登録し、
   すべてのワーク部分に対しパターンマッチングが成功しない場合に、前記一致度が順次高いワーク部分の画像をマスタ画像パターンに登録する、ことを特徴とする請求項２に記載のワーク位置認識方法。
4. 前記検出したワークの輪郭データとワークの寸法情報から得られる輪郭データとの一致度として、ベクトル相関値を用いる、ことを特徴とする請求項３に記載のワーク位置認識方法。
   

Images