JP5360369B2 - ピッキング装置と方法 - Google Patents

Description

本発明は、取出位置にある物品を把持して取り出すピッキング装置と方法に関する。

従来、ピッキング装置により、所定の取出位置にある物品を取り出すことが行われている。この取り出しは、次のような手順で行われている。

まず、ＣＣＤカメラなどの撮像装置により、取出位置にあるパレットに積載された物品を上方から撮像することで、画像データを取得する。
次に、この画像データに対し画像処理を行うことで、物品を認識する。例えば、画像処理装置が、物品上面の角部に関するパターン情報を予め記憶しておく。その上で、取得した前記画像データから物品上面の角部を抽出し、抽出した角部と前記パターン情報とをマッチングさせることで、物品の位置や向きを物品の認識データとして取得する。
その後、認識データに基づいて、多関節ロボットなどの取出装置により認識した物品を把持して取り出す。

このようなピッキング装置は、例えば下記の特許文献１に記載されている。なお、本願の他の先行技術文献として下記の特許文献２がある。
特開２００２―１３９１３号公報 特開２００７−１４０７２９号公報

しかし、従来においては、撮像装置により取得した画像データの全体に対して画像処理を行っていたため、物品が存在しないはずの位置において物品が存在すると誤認識してしまう場合があった。
また、取得した画像データの全体に対して画像処理を行っていたため、画像処理時間の短縮に限界があった。

そこで、本発明の目的は、物品が存在しないはずの位置において物品が存在すると誤認識することを防止するとともに、画像処理時間を短縮することができるピッキング装置と方法を提供することにある。

上記目的を達成するため、本発明によると、取出位置にある物品を把持して取り出すピッキング装置であって、
取出位置にある物品を上方から撮像することで、該物品を含む領域の画像データを取得する撮像装置と、
前記画像データ内に前記物品が存在するべき物品存在画像領域を、入力された前記物品の高さに基づいて、前記画像データから抽出する画像領域抽出装置と、
前記物品存在画像領域に対して画像処理を行うことで、前記物品の認識データを取得する画像処理装置と、
前記認識データに基づいて、前記物品を把持して取り出す取出装置と、を備える、ことを特徴とするピッキング装置が提供される。

このピッキング装置では、画像領域抽出装置は、前記物品の高さに基づいて、前記画像データ内に前記物品が存在するべき物品存在画像領域を抽出し、画像処理装置は、前記物品存在画像領域に対して画像処理を行うことで、前記物品の認識データを取得するので、次の効果（１）、（２）が得られる。
（１）物品存在画像領域以外において物品を誤認識することが無くなる。
（２）認識データを得るために行う画像処理の範囲が、物品存在画像領域に制限されるので、画像処理時間を短縮させることが可能になる。

本発明の好ましい実施形態によると、前記画像領域抽出装置は、前記物品の高さと前記物品存在画像領域との予め定められた関係に基づいて、前記物品存在画像領域を抽出する。

このように、前記物品の高さと物品存在画像領域との関係を予め作成しておき、この関係に物品の高さを適用して物品存在画像領域を抽出することができる。

また、本発明の好ましい実施形態によると、前記物品はパレットに積載されており、
前記物品存在画像領域は、前記パレットの存在領域から物品寸法の半分程度だけ外側に広げた領域である。

このように、前記物品存在画像領域は、前記パレットの存在領域から物品寸法の半分程度だけ外側に広げた領域であるので、物品が前記パレットの存在領域からはみ出している場合、荷崩れが発生していることを前記画像処理で検知できる。なお、物品がその寸法の半分より大きくパレットからはみ出すと、物品はパレットから落下するので、前記物品存在画像領域は望ましい画像処理範囲である。

また、本発明の好ましい実施形態によると、水平方向の複数箇所において前記物品が上下複数段に積まれており、
これらすべての物品のうち最も高い位置にある物品の前記高さに基づいて、前記画像領域抽出装置は物品存在画像領域を抽出する。

このように、水平方向の複数箇所において上下複数段に積まれた物品のうち、最も高い位置にある物品の高さに基づいて、前記画像領域抽出装置は物品存在画像領域を抽出するので、高い順に物品の認識データを取得して物品を取り出すことができる。

また、上記目的を達成するため、本発明によると、上述のピッキング装置を用いて物品をピッキングするピッキング方法であって、
前記物品が上下複数段に積まれており、これら物品のうち最上段にある物品から順に、各段毎に物品取出処理を行い、
該物品取出処理は、
（Ａ）取出位置にある物品を上方から撮像することで、該物品を含む領域の画像データを取得するステップと、
（Ｂ）前記画像データ内に前記物品が存在するべき物品存在画像領域を、高さ検出装置により取得された物品の高さに基づいて、前記画像データから抽出するステップと、
（Ｃ）前記物品存在画像領域に対して画像処理を行うことで、前記物品の認識データを取得し、
（Ｄ）前記認識データに基づいて、前記物品を把持して取り出すステップと、を有する、ことを特徴とするピッキング方法が提供される。

このピッキング方法では、前記物品が上下複数段に積まれており、これら物品のうち最上段にある物品から順に、各段毎に前記ステップ（Ａ）〜（Ｄ）を行い、ステップ（Ｂ）では，に前記物品が存在するべき物品存在画像領域を抽出し，ステップ（Ｃ）では、物品存在画像領域に対して画像処理を行うので、上述の効果（１）、（２）が得られ、 複数段の物品を取り出すのに要する時間が大幅に短縮される。

上述した本発明によると、物品が存在しないはずの位置において物品が存在すると誤認識することを防止するとともに、画像処理時間を短縮することができる。

本発明を実施するための最良の実施形態を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

図１は、本発明の実施形態によるピッキング装置１０の構成図である。ピッキング装置１０は、取出位置にある物品１を把持して取り出す装置であり、撮像装置３、高さ検出装置５、画像領域抽出装置７、画像処理装置９、および、取出装置１１を備える。

撮像装置３は、取出位置にある物品１を上方から撮像することで、該物品１を含む領域の画像データを取得する。撮像装置３は、例えばＣＣＤカメラであってよい。物品１は、この例では直方体の箱である。

高さ検出装置５は、前記物品１の高さ、即ち、鉛直方向位置を検出し、検出した物品１の高さを画像領域抽出装置７へ入力する。高さ検出装置５は、例えば、前記物品１の上方から前記物品１の高さを計測するレーザ距離計であってもよいし、２つのＣＣＤカメラを用いて前記物品１の上方から２つの画像データを取得し、これら２つ画像データから視差により物品１の高さを検出するステレオ撮像装置であってもよい。
なお、取出位置において物品１が上下複数段に積まれている場合には、最上段の物品１の高さが、高さ検出装置５により検出されて画像領域抽出装置７へ入力される。さらに、図１の例のように、取出位置において、水平方向の複数箇所に前記物品１が上下複数段に積まれている場合には、これらすべての物品１のうち最も高い位置にある物品１の高さが、高さ検出装置５により検出されて画像領域抽出装置７へ入力される。

画像領域抽出装置７は、入力された前記物品１の高さに基づいて、前記画像データ内に前記物品１が存在するべき物品存在画像領域を前記画像データから抽出する。本実施形態では、前記画像領域抽出装置７は、物品１の高さと物品存在画像領域との予め定められた関係に基づいて、前記物品存在画像領域を抽出する。
この例では、物品１は取出位置にあるパレット２に積載されているので、パレット２の矩形上面領域を前記物品存在画像領域としてもよい。代わりに、前記物品存在画像領域を、前記パレット２の存在領域（矩形上面領域）から物品寸法Ｌの半分Ｌ／２だけ外側に広げた矩形領域としてもよい。この広げた矩形領域は、図２の領域Ａである。図２は、図１のＩＩ−ＩＩ線矢視図であり、パレット２と物品１のみを示す。

画像処理装置９は、前記物品存在画像領域に対して画像処理を行うことで、前記物品１の認識データを取得する。

取出装置１１は、前記認識データに基づいて、前記物品１を把持して取り出す。取出装置１１は、例えば、吸着により物品１を把持する把持部を有し、該把持部を３次元的に移動させる多関節ロボットであってよい。

本実施形態についてより詳しく説明する。まず、前記関係の求め方について説明し、その後に、画像処理装置９による画像処理について説明する。

（前記関係の求め方）
前記関係は、図３に示す手順で予め定められる。

ステップＳ１において、前記取出位置において第１の高さにパレット２を位置させ、このパレット２を上方から撮像装置３により撮像することで第１の画像データを取得する。例えば、図４（Ａ）のように、前記取出位置に１段だけパレット２を配置することで、このパレット２を第１の高さに位置させ、このパレット２について第１の画像データを取得する。

ステップＳ２において、第１の画像データに対し画像処理を行うことで、第１の画像データにおける前記パレット２の位置情報Ａを取得する。この位置情報Ａは、パレット２の上面における角（頂点）の座標Ａ（ｘ_ａ，ｙ_ａ，ｚ_ａ）であってよい。ｘ_ａは、水平方向であるｘ方向に関する位置座標であり、ｙ_ａは、ｘ方向と直交する水平方向であるｙ方向に関する位置座標であり、ｚ_ａは、鉛直方向に関する位置座標（即ち、前記第１の高さ）である。なお、第１の画像データは、ステレオ撮像装置３により得られた３次元画像データであってもよい。

ステップＳ３において、同じ前記取出位置において、第１の高さと異なる第２の高さに前記パレット２を位置させ、このパレット２を上方から撮像装置３により撮像することで第２の画像データを取得する。例えば、図４（Ｂ）のように、前記取出位置に複数段だけパレット２を積み上げることで、これらパレット２のうち最上段のパレット２を第２の高さに位置させ、このパレット２について第２の画像データを取得する。なお、これらパレット２は、同じ寸法と形状を有する。

ステップＳ４において、第２の画像データに対し画像処理を行うことで、第２の画像データにおける前記パレット２の位置情報Ｂを取得する。この位置情報Ｂは、パレット２の上面における角（頂点）の座標Ｂ（ｘ_ｂ，ｙ_ｂ，ｚ_ｂ）であってよい。ｘ_ｂは、水平方向であるｘ方向に関する位置座標であり、ｙ_ｂは、ｘ方向と直交する水平方向であるｙ方向に関する位置座標であり、ｚ_ｂは、鉛直方向に関する位置座標（即ち、前記第２の高さ）である。なお、第２の画像データは、ステレオ撮像装置３により得られた３次元画像データであってもよい。
なお、同じ撮像装置３を同じ位置に配置して、ステップＳ１とステップＳ３とが行われる。また、互いに直交する水平２方向に関する、パレット２の中心位置（例えば、重心位置）と向きを同じにして、ステップＳ１とステップＳ３とが行われる。また、ステップＳ１とステップＳ３で使用する撮像装置３は、後述のステップＳ１１で使用する撮像装置３と同じであるのがよい。

ステップＳ５において、前記関係を取得する。前記関係は、例えば、前記位置情報Ａ，Ｂを用いた次の［数１］であってよい。

前記［数１］において、ｚは、物品１の高さ（鉛直方向位置）を示し、４つの頂点から得られたそれぞれのｘ、ｙは、前記物品存在画像領域の角（頂点）を定める。なお、物品１が上下複数段に積載されている場合には、ｚは、これら物品１のうち最上段の物品１の高さであり、水平方向における複数箇所において前記物品１が上下複数段に積まれている場合には、ｚは、これらすべての物品１のうち最も高い位置にある物品１の高さである。
この例では、パレット２の上面が矩形であるので、パレット２の上面領域を前記物品存在画像領域とする場合には、パレット２の上面の各頂点についての前記［数１］により、前記物品存在画像領域（パレット２の矩形上面領域）が定められる。
一方、前記物品存在画像領域を、前記パレット２の存在領域（矩形上面領域）から物品１の水平方向寸法Ｌの半分Ｌ／２だけ外側に広げた矩形領域（図２の領域Ａ）である場合には、この矩形領域の各頂点についての前記［数１］により、前記物品存在画像領域（パレット２の上面領域）が定められる。なお、物品１の前記水平方向寸法は、撮像装置３により取得された画像データ内における当該物品１の寸法であり、物品１の上面が長方形である場合には、長辺の長さの半分であってよい。

（画像処理装置９による画像処理）
上述のように求めた前記関係を用いた物品１のピッキング方法を図５に示す。

ステップＳ１１において、撮像装置３により、取出位置にある物品１を上方から撮像することで、該物品１を含む領域の画像データを取得する。この例では、水平方向の複数箇所において物品１が上下複数段にパレット２に積まれているので、パレット２の範囲を含む画像データを取得する。なお、この画像データにおけるパレット２の背景を黒くして、パレット２上の物品１が、後述の画像処理で認識しやすくするのがよい。そのために、例えば、パレット２の周囲に黒い紙など配置しておき、この状態で前記撮像を行い画像データを取得する。

ステップＳ１２において、高さ検出装置５により、取出位置にある物品１の高さを検出する。この例では、パレット２上にある複数の物品１のうち最も高い位置にある物品１の高さを検出する。この高さは、高さ検出装置５から画像領域抽出装置７へ入力される。

ステップＳ１３において、ステップＳ１２で入力された物品１の高さと前記関係とに基づいて、画像領域抽出装置７が、ステップＳ１１で取得した前記画像データ内に前記物品１が存在するべき物品存在画像領域を当該画像データから抽出する。即ち、ステップＳ１２で入力された物品１の高さを前記関係に適用することで、ステップＳ１１で取得した前記画像データにおける物品存在画像領域を特定して抽出する。
高さ検出装置５は、２つのＣＣＤカメラを用いたステレオ撮像装置であってもよい。このステレオ撮像装置は、２つのＣＣＤカメラで撮像した画像データからステレオマッチングにより、３次元画像データを取得する装置である。この場合には、ステップＳ１３において、物品存在画像領域の高精度化を行ってもよい。この高精度化を図６のフローチャートに基づいて説明する。まず、ステップＳ２１において、ステップＳ１２で取得された物品１の高さと前記関係とに基づいて、物品存在画像領域に相当する最上段領域を定める。ステップＳ２２において、ステップＳ２１で定めた最上段領域と、高さ検出装置５により取得された３次元画像データのうち最も高い位置にある物品１と同じ高さの最上段画像データとを重ね合わせることで、ノイズなどの不必要なデータを除いて、当該最上段画像データから物品存在画像領域を抽出する。これにより、物品存在画像領域の高精度化がなされる。ステップＳ２３において、このように高精度化された物品存在画像領域と、ステップＳ１１で取得した２次元処理用の２次元画像データとを重ね合わせる（照合する）ことで、当該２次元画像データから物品存在画像領域が抽出される。
図６の処理を行う場合、上述の撮像装置３と、高さ検出装置５であるステレオ撮像装置とは同じであってよいが、ステレオ撮像装置の２つのＣＣＤカメラのうち一方により、ステップＳ１１で２次元の前記画像データを取得する。なお、物品存在画像領域の高精度化（図６の処理）は行わなくてもよい。

ステップＳ１４において、画像処理装置９により、ステップＳ１３で抽出した前記物品存在画像領域に対して画像処理を行うことで、前記物品１の認識データを取得する。認識データは、物品１の位置（水平２方向に関する位置）および向き（姿勢）に関するデータである。この例では、パレット２に積載される複数の物品１は、同じ寸法と形状（例えば直方体）を有する。この場合、画像処理装置９は、前記画像処理により、前記画像データ内の最上段物品１の形状に関する形状データを抽出し、この形状データと照合用基準データとを照合することで、両者が一致すれば当該最上段物品１を認識し、その認識データを得る。前記形状データと照合用基準データとは、例えば物品上面の各角部の形状に関するデータであってよい。なお、認識データの取得は、特許文献１、特許文献２または他の公知技術に基づいて行ってよい。なお、パレット２上において、最も高い位置に複数の物品１がある場合には、これら物品毎に認識データを取得する。

ステップＳ１５において、前記認識データに基づいて、取出装置１１が、前記物品１を把持して取り出し、別の場所へ移載する。例えば、取出装置１１の制御装置が、前記認識データに基づいて、複数の関節を有する取出装置１１のロボットアームを駆動して、前記物品１を取り出す。複数の認識データがステップＳ１４で取得された場合には、認識データ毎に物品１を取り出す。なお、取出装置１１には、取り出す物品１の高さが（例えば高さ検出装置５から）予め入力されており、この高さにも基づいて、前記物品１を取出す。

複数の物品１が上下複数段に積載されている場合や、複数個所において複数の物品１が上下複数段に積載されている場合には、これら物品１のうち最上段（最も高い位置）にある物品１から順に、各段毎（各高さ毎）に、上述のステップＳ１１〜Ｓ１５を行う。

上述した本発明の実施形態によるピッキング装置と方法によると、画像領域抽出装置７は、前記物品１の高さに基づいて、前記画像データ内に前記物品１が存在するべき物品存在画像領域を抽出し、画像処理装置９は、前記物品存在画像領域に対して画像処理を行うことで、前記物品１の認識データを取得するので、次の効果（１）、（２）が得られる。
（１）物品存在画像領域以外において物品１を誤認識することが無くなる。
（２）認識データを得るために行う画像処理の範囲が、物品存在画像領域に制限されるので、画像処理時間を短縮させることが可能になる。

また、前記物品１の高さと物品存在画像領域との関係を予め作成しておき、この関係に物品１の高さを適用して物品存在画像領域を特定することができる。
さらに、前記物品存在画像領域は、前記パレット２の存在領域から物品寸法の半分だけ外側に広げた領域とすることで、物品１が前記パレット２の存在領域からはみ出している場合、荷崩れが発生していることを前記画像処理で検知できる。荷崩れを検知した場合には、画像処理装置９はその旨の信号（警告音など）を出力して、オペレータに知らせることができる。

水平方向の複数箇所において上下複数段に物品１が積まれている場合には、これら物品１のうち最も高い位置にある物品１の高さに基づいて、前記画像領域抽出装置７は物品存在画像領域を抽出するので、高い順に物品１の認識データを取得して取り出すことができる。

本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。

例えば、上述した実施形態では、物品存在画像領域は、パレット２の領域、または、パレット２の領域から物品１寸法の半分だけ外側に拡大した領域であったが、物品１が存在すると分かる他の領域を物品存在画像領域としてもよい。

また、高さ検出装置５は、無くてもよい。即ち、高さ検出装置５を設けなくとも、物品１の高さが分かる場合には、操作装置を人が操作することで、物品１の高さを画像領域抽出装置７に入力してもよい。例えば、物品１の高さ方向の寸法と、上下に積み重ねられる物品１の数が分かっている場合には、これら寸法と数に基づいて人が最上段の物品１の高さを画像領域抽出装置７に入力してもよい。

本発明の実施形態によるピッキング装置の構成図である。 図１のＩＩ−ＩＩ線矢視図である。 物品高さと物品存在画像領域との関係の求め方を示すフローチャートである。 パレットを異なる高さにする場合の説明図である。 図１のピッキング装置を用いたピッキング方法を示すフローチャートである。 物品存在画像領域の高精度化を示すフローチャートである。

符号の説明

１ 物品、２ パレット、３ 撮像装置、５ 高さ検出装置、７ 画像領域抽出装置、９ 画像処理装置、１０ ピッキング装置、１１ 取出装置

Claims (3)

1. 取出位置にある物品を把持して取り出すピッキング装置であって、
   取出位置にある物品を上方から撮像することで、該物品を含む領域の画像データを取得する撮像装置と、
   前記画像データ内に前記物品が存在するべき物品存在画像領域を、入力された前記物品の高さに基づいて、前記画像データから抽出する画像領域抽出装置と、
   前記物品存在画像領域に対して画像処理を行うことで、前記物品の認識データを取得する画像処理装置と、
   前記認識データに基づいて、前記物品を把持して取り出す取出装置と、を備え、
   前記物品の高さと前記物品存在画像領域との関係が予め定められており、
   この関係において、前記物品の高さが異なると、該物品が存在するべき前記物品存在画像領域が異なっており、
   前記画像領域抽出装置は、入力された前記物品の高さを前記関係に適用することにより、前記画像データにおける前記物品存在画像領域を特定して抽出する、ことを特徴とするピッキング装置。
2. 前記物品はパレットに積載されており、
   前記物品存在画像領域は、前記パレットの存在領域から物品寸法の半分だけ外側に広げた領域である、ことを特徴とする請求項１に記載のピッキング装置。
3. 請求項１または２に記載のピッキング装置を用いて物品をピッキングするピッキング方法であって、
   前記物品が上下複数段に積まれており、これら物品のうち最上段にある物品から順に、各段毎に物品取出処理を行い、
   該物品取出処理は、
   （Ａ）取出位置にある物品を上方から撮像することで、該物品を含む領域の画像データを取得するステップと、
   （Ｂ）前記画像領域抽出装置により、前記画像データ内に前記物品が存在するべき物品存在画像領域を、入力された物品の高さに基づいて、前記画像データから抽出するステップと、
   （Ｃ）前記物品存在画像領域に対して画像処理を行うことで、前記物品の認識データを取得し、
   （Ｄ）前記認識データに基づいて、前記物品を把持して取り出すステップと、を有し、
   前記物品の高さと前記物品存在画像領域との関係が予め定められており、
   この関係において、前記物品の高さが異なると、該物品が存在するべき前記物品存在画像領域が異なっており、
   前記（Ｂ）において、前記画像領域抽出装置により、入力された前記物品の高さを前記関係に適用することで、前記画像データにおける前記物品存在画像領域を特定して抽出する、ことを特徴とするピッキング方法。

Images