JP5556382B2

JP5556382B2 - ワーク段積み状態認識装置

Info

Publication number: JP5556382B2
Application number: JP2010123190A
Authority: JP
Inventors: 一己光崎
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2010-05-28
Filing date: 2010-05-28
Publication date: 2014-07-23
Anticipated expiration: 2030-05-28
Also published as: JP2011247819A

Description

本発明は、ワーク段積み状態認識装置に関し、例えば、パレット等に段積みされた部品箱等のワークの位置や姿勢を認識するワーク段積み状態認識装置に関する。

部品箱の段積み・段バラシをロボットで行うには、各部品箱とその段積み状態をコンピュータで認識する必要があるが、部品箱は、箱の種類も多く、隙間なく段積みされている場合も多々あるので、部品箱の位置・姿勢をコンピュータで正確に求めるのは困難である。

例えば、特許文献１には、パレットに積み上げられた複数の段ボール箱を、上方から撮像して、段積み状態の一番上面に出ている段ボール箱を認識し、ロボットを用いて取り出す技術が示されている。

特開２００４−１２１４３号公報

しかしながら、上方から撮像しただけでは、段ボールの上下方向の大きさを正確に認識することができない。したがって、例えば、一番上面に出ている段ボール箱が下方まで延びている場合に、ロボットで取り出そうとすると失敗するおそれがある。

このように段積み状態の側方からの情報も必要ではあるが、そのためには、例えば図１４に示すように、上方のカメラ１０１に加えて、前後左右に側面専用のカメラ１０２〜１０５が必要となり、カメラの台数が全部で５台となり、構造が複雑化し、設備費が高騰する。

また、各カメラ１０１〜１０５で撮像した画像から抽出した情報を互いに関連付けするために、図１５に示すように、各カメラ１０１〜１０５で撮像された画像１１１〜１１５を拡大、縮小、平行移動、回転等させる必要があり、処理が複雑化する。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、簡単な設備でワークの段積み状態を正確に認識することができるワーク段積み状態認識装置を提供することにある。

上記課題を解決する本発明のワーク段積み状態認識装置は、パレット上に複数のワークが段積みされてなるワーク群を撮像して、ワーク群のワーク段積み状態を認識するワーク段積み状態認識装置であって、ワーク群の上方位置から下方を撮像するカメラ装置と、ワーク群の側面に対向して配置されて、カメラ装置に向かってワーク群の側面を映す鏡面体と、カメラ装置で撮像した画像に基づいてワーク群のワーク段積み状態を認識する認識部とを有することを特徴としている。

本発明のワーク段積み状態認識装置によれば、ワーク群の側面を鏡面体に映して上面と共に上方から撮像手段で撮像するので、ワークの立体形状を正確に認識することができる。したがって、従来のように上面のカメラとは別個に側面専用のカメラを設ける必要がなく、簡単な構成でワークの段積み状態を正確に認識することができる。

本発明のワーク段積み状態認識装置は、好ましくは、カメラ装置が２台のカメラを有するステレオカメラ装置であることを特徴としている。本発明によれば、カメラ装置にステレオカメラ装置を用いることによって、ワーク群のステレオ画像を撮像することができる。したがって、ステレオ画像に基づいてカメラ装置からワーク群までの距離を求めることができ、ワーク群の最上位に存在するワークを認識することができる。

本発明のワーク段積み状態認識装置は、好ましくは、認識部が、ステレオカメラ装置で撮像した一対のステレオ画像に基づいてワーク群の上面情報と側面情報を取得し、その取得したワーク群の上面情報と側面情報に基づいてワーク群の最上位に存在するワークを認識することを特徴としている。

本発明によれば、ワーク群の上面情報と側面情報に基づいてワーク群の最上位に存在するワークを認識するので、ワークの位置や姿勢等の認識精度をより向上させることができる。例えば、ワークのエッジや直線等の特徴要素を良好に抽出できなかった場合に、上面情報だけでなく側面情報も利用し、また、一対のステレオ画像における各頂点間の対応関係を見直しして、部品箱の認識を行うことができるので、従来の上面情報のみからなるものと比較して、ロバスト性が高いという有利な効果を有している。

本発明のワーク段積み状態認識装置は、好ましくは、認識部が、上面情報としてワークの上面頂点に関する情報を取得し、側面情報としてワークの側面頂点とかんばんに関する情報を取得する構成を有する。

認識部は、好ましくは、一対のステレオ画像に対してそれぞれ微分処理を行い、一対の微分画像を作成し、一対の微分画像に撮像されているワーク群の上面部の画像からワークの上面境界エッジを抽出した一対のエッジ抽出画像を作成し、一対のエッジ抽出画像の上面境界エッジに基づいて各エッジ抽出画像からワークの上面頂点を抽出し、その抽出された各エッジ抽出画像の上面頂点を互いに対応付けし、対応付けの確度が予め設定された基準確度以上の上面頂点を対応上面頂点として抽出する構成を有する。

また、認識部は、好ましくは、一対のステレオ画像に対してそれぞれ微分処理を行い、一対の微分画像を作成し、その一対の微分画像に撮像されているワーク群の側面部の画像からワークの側面境界エッジを抽出した一対のエッジ抽出画像を作成し、その一対のエッジ抽出画像の側面境界エッジに基づいて各エッジ抽出画像からワークの側面頂点を抽出し、その抽出された各エッジ抽出画像の側面頂点を互いに対応付けし、対応付けの確度が予め設定された基準確度以上の側面頂点を対応側面頂点として抽出する構成を有する。

認識部は、好ましくは、対応上面頂点のうち、３つ以上の対応上面頂点がワーク群の最上位にあるものをワーク候補の上面領域として特定し、ワーク候補の側面に３つ以上の対応側面頂点で構成されたかんばんのあるかんばん側側面領域があるワーク候補をワーク群の最上位に位置するワークとして確定する構成を有する。

認識部は、好ましくは、ワーク候補の上面領域が４つの対応上面頂点を有し且つかんばん側側面領域が３つの対応側面頂点を有する場合に、かんばん側側面領域の対応側面頂点が欠けた側に、かんばん側側面領域に隣接して４つの対応側面頂点で構成されたかんばん隣接側面領域があるか否かを判断し、かんばん隣接側面領域があると判断されたときに、ワーク候補をワーク群の最上位に位置するワークとして確定する構成を有する。

本発明によれば、４つの対応上面頂点の抽出によりワーク候補の上面領域が確定されているが、４つの対応側面頂点のうち、１つの対応側面頂点が欠けているために、かんばん側側面領域が保留されている場合に、かんばん隣接側面領域の対応側面頂点の抽出状態を利用して、ワークの確定を判断することができる。したがって、エッジや直線などの特徴要素の抽出が良好でなくても、側面情報に基づいてワークを認識することができ、ロバスト性が高い。

認識部は、好ましくは、ワーク候補の上面領域が３つの対応上面頂点を有し且つかんばん側側面領域が４つの対応側面頂点を有する場合に、上面領域の対応上面頂点が欠けた側に、かんばん側側面領域に隣接して４つの対応側面頂点で構成されたかんばん隣接側面領域があるか否かを判断し、かんばん隣接側面領域があると判断されたときに、ワーク候補をワーク群の最上位に位置するワークとして確定する構成を有する。

本発明によれば、４つの対応側面頂点の抽出によりワーク候補の側面領域が確定されているが、４つの対応上面頂点のうち、１つの対応上面頂点が欠けているために、上面領域が保留されている場合に、かんばん隣接側面領域の対応側面頂点の抽出状態を利用して、ワークの確定を判断することができる。したがって、エッジや直線などの特徴要素の抽出が良好でなくても、側面情報に基づいてワークを認識することができ、ロバスト性が高い。

本発明のワーク段積み状態認識装置は、鏡面体が、ワーク群の前面、後面、左面、右面にそれぞれ対向する位置に配設されていることを特徴としている。

本発明のワーク段積み状態認識装置によれば、ワーク群の側面を鏡面体に映して上面と共に上方から撮像手段で撮像可能としているので、ワークの立体形状を正確に認識することができる。したがって、従来のように上面のカメラとは別個に側面専用のカメラを設ける必要がなく、簡単な構成でワークの段積み状態を正確に認識することができ、ロボットを用いてワークの積み上げおよび取り出しを行うことができる。

ワーク段積み状態認識装置の構成を説明する図。部品箱の段積み状態を認識する方法を説明するフローチャート。部品箱の段積み状態を認識する方法を説明するフローチャート。部品箱の段積み状態の一例を示す図。左右のカメラで撮像した画像を模式的に示す図。部品箱の上面境界エッジを抽出した状態を説明する図。左右のエッジ抽出画像から各上面頂点を抽出して特定した状態を示す図。部品箱候補の上面領域を認識する方法を説明する図。部品箱候補の側面境界エッジを抽出し、該側面境界エッジから直線要素を抽出する方法を説明する図。部品箱候補の側面境界エッジを抽出し、該側面境界エッジから直線要素を抽出する方法を説明する図。部品箱候補の側面境界エッジを抽出し、該側面境界エッジから直線要素を抽出する方法を説明する図。部品箱候補の側面境界エッジを抽出し、該側面境界エッジから直線要素を抽出する方法を説明する図。部品箱を確定する方法を説明する図。従来技術を説明する図。図１４に示すカメラで撮像した画像の処理方法を示す図。

次に、本発明の実施の形態について図面を用いて詳細に説明する。
図１は、本実施の形態におけるワーク段積み状態認識装置の構成を説明する図である。

ワーク段積み状態認識装置１は、パレットＣ上に複数の部品箱（ワーク）ｗａが段積みされてなるワーク群Ｗを撮像して、ワーク群Ｗのワーク段積み状態を認識するものであり、ワーク群Ｗの上方位置から下方を撮像するカメラ装置２と、ワーク群Ｗの側面に対向して配置されてカメラ装置２に向かってワーク群Ｗの側面を映す鏡面体（ミラー）６と、カメラ装置２で撮像したワーク群Ｗの画像に基づいて、ワーク段積み状態を認識する認識部３と、認識部３でワーク群Ｗの段積み状態を認識する際に用いられるワーク情報を記憶したデータベース４を有している。

カメラ装置２と鏡面体６は、予め設定された撮像ステージに設けられている。カメラ装置２は、いわゆるステレオカメラ装置であり、左右一対のカメラ２Ｌ、２Ｒを有しており、ワーク群Ｗをステレオ視して、各カメラ２Ｌ、２Ｒで撮像した一対のステレオ画像の視差に基づき、各カメラ２Ｌ、２Ｒからワーク群Ｗまでの距離を計測する構成を有している。

鏡面体６は、ワーク群Ｗの側面のうち、カメラ装置２で撮像したい側面に対向するように配置されており、例えばワーク群Ｗの前後左右全ての側面を撮像する場合には、図１に示すように、ワーク群Ｗの４つの側面（前面、後面、左面、右面）にそれぞれ対向するように配置される。鏡面体６は、各カメラ２Ｌ、２Ｒで撮像した一対のステレオ画像に、ワーク群Ｗの上面と共に、鏡面体６に映されたワーク群Ｗの側面が撮像されるように、傾斜角度が設定されている（例えば、図５を参照）。

認識部３は、マイクロコンピュータ等によって構成されており、カメラ装置２の各カメラ２Ｌ、２Ｒで撮像した一対のステレオ画像に画像処理を施して、部品箱ｗａの位置や姿勢を精度よく算出して認識し、例えばワーク群Ｗの一番上面に出ている最上位の部品箱ＢＯＸｋを認識する処理を行う。

データベース４には、パレットＣに段積みされる部品箱ｗａの種類や寸法形状（縦Ｌ×横Ｗ×高さＨ）等の情報が記憶されており、認識部３で部品箱ＢＯＸｋを認識する際、あるいは、ロボットからの要求に応じて読み出される。

次に、ワーク段積み状態認識装置１によるワーク段積み状態の認識方法について図２〜図１３を用いて詳細に説明する。ここでは、ワーク群Ｗを構成する部品箱ｗａのうち、最上部に位置する部品箱ＢＯＸｋを認識する方法を例に説明する。ワーク群Ｗは、図４に示すように、複数の部品箱ｗａがパレットＣ上に段積みされて構成されている。

ワーク群Ｗを載せたパレットＣが撮像ステージに搬送されると、図２、図３に示すフローチャートにしたがって部品箱ＢＯＸｋを認識する処理が開始される。図２では、ワーク群Ｗの上面情報を取得する処理が行われ、図３では、ワーク群Ｗの側面情報を取得すると共に、その取得した側面情報と図２で取得した上面情報を用いて部品箱ＢＯＸｋを認識する処理が行われる。

ステップＳ１０１では、左右のカメラ２Ｌ、２Ｒによってワーク群Ｗの上方から撮像が行われ、カメラ装置２に左右一対のステレオ画像（ＬＲ画像）が取り込まれる。図５（ａ）に示す左画像（Ｌ画像）は、左のカメラ２Ｌで撮像されたものであり、ワーク群Ｗの上面と、４枚の鏡面体６Ａ〜６Ｄに映し出されたワーク群Ｗの前面、後面、左面、右面が全て一枚の画像中に撮像される。同様に、図５（ｂ）に示す右画像（Ｒ画像）は、右のカメラ２Ｒで撮像されたものであり、ワーク群Ｗの上面と、４枚の鏡面体６Ａ〜６Ｄに映し出されたワーク群Ｗの前面、後面、左面、右面が全て一枚の画像中に撮像される。

ステップＳ１０１の処理により、カメラ装置２に左右のステレオ画像が取り込まれると、ステップＳ１０２に移行する。ステップＳ１０２では、各ステレオ画像から微分画像を作成する処理がなされる。ここでは、左画像および右画像に対してそれぞれ微分処理が行われ、左右一対の微分画像が作成される。

ステップＳ１０３では、左右の微分画像に撮像されているワーク群Ｗの上面部に着目し、各画像から部品箱ｗａの上面境界エッジを抽出する処理が行われる。例えば、Sobelオペレータなどを用いて生成した微分画像からエッジ点を求め、ハフ変換などで、その点列から直線要素を抽出する方法を適用してもよい。図６は、部品箱の上面境界エッジを抽出したエッジ抽出画像の一例を示す図である。この抽出処理は、左右の微分画像についてそれぞれ行われ、左右一対のエッジ抽出画像が作成される。

ステップＳ１０４では、ステップＳ１０３で抽出された左右一対のエッジ抽出画像の上面境界エッジに基づいて、部品箱の上面頂点を抽出する処理が行われる。ここでは、一定の長さ以上のエッジは、直線として延長される。そして、各直線の交点を求め、該交点を上面頂点として抽出する。この上面頂点を抽出する処理は、左右一対の抽出画像についてそれぞれ行われる。図７は、一対のエッジ抽出画像から各上面頂点が抽出して特定された状態を示す図であり、図７（ａ）に示す左の抽出画像から各上面頂点Ｌｕ１〜Ｌｕ１３が抽出して特定され、図７（ｂ）に示す右の抽出画像から各上面頂点Ｒｕ１〜Ｒｕ１１、Ｒｕ１３が抽出して特定されている。

ステップＳ１０５では、ステップＳ１０４で左右一対のエッジ抽出画像から求めた各上面頂点を、互いに対応付けする処理が行われる。例えば、対応点がエピポーラ線上にあるという拘束をかけて、DPマッチングなどで対応を取るという方法を適用してもよい。図７に示す例では、ステップＳ１０５の処理により、図７（ａ）に示す左の抽出画像における各上面頂点Ｌｕ１〜Ｌｕ１３と、図７（ｂ）に示す右の抽出画像における各上面頂点Ｒｕ１〜Ｒｕ１１、Ｒｕ１３とが対応付けされる。

次に、ステップＳ１０６では、ステップＳ１０５で対応付けされた各上面頂点の中から、対応付けの確度が予め設定された基準確度Ｔｈ％以上の上面頂点を対応上面頂点Ｐｕとして抽出する処理がなされる。例えば、図７（ａ）、（ｂ）に示す例では、エッジの交点を黒丸で示すように、各上面頂点Ｌｕ１〜Ｌｕ１１、Ｌｕ１３と、Ｒｕ１〜Ｒｕ１１、Ｒｕ１３との対応付け確度が基準確度Ｔｈ％以上であり、図８に示すように、それぞれ対応上面頂点Ｐｕ１〜Ｐｕ１１、Ｐｕ１３として抽出される。

なお、図７（ａ）に示すように、上面頂点Ｌｕ１２は抽出されているが、図７（ｂ）に示すように、対応する上面頂点は抽出されていない。したがって、上面頂点Ｌｕ１２と対応する上面頂点との対応付け確度が基準確度Ｔｈ％未満であり、図８に示すように、対応上面頂点Ｐｕ１２は抽出されていない。また、実際には、図８の右下にもワーク群Ｗの上面頂点（図示せず）が存在するが、図６に示すように、ステップＳ１０３でかかる部分の上面境界エッジが抽出されていないので、図７（ａ）、（ｂ）に示すように、ステップＳ１０４における左右の画像処理の時点でかかる部分の上面頂点を抽出できず、対応上面頂点Ｐｕは抽出されない。

次に、ステップＳ１０７において、３つ以上の対応上面頂点Ｐｕが最上位にあるものを部品箱候補Ｂ（ｉ）の上面領域Ｂｕ（ｉ）として認識する処理が行われる（（ｉ）は自然数）。対応上面頂点Ｐｕが最上位にあるか否かは、左右のカメラ２Ｌ、２Ｒの視差から算出される距離に基づいて判断される。このステップＳ１０７の処理により、ワーク群Ｗの中から上面領域Ｂｕ（ｉ）がワーク群Ｗの最上位にある部品箱ｗａが部品箱候補Ｂ（ｉ）として特定される。

例えば、図８に示す例では、対応上面頂点Ｐｕ１〜Ｐｕ１１、Ｐｕ１３のうち、対応上面頂点Ｐｕ１、ＰＵ８、ＰＵ１１以外の対応上面頂点がワーク群Ｗの最上位にあり、４つの対応上面頂点Ｐｕ２、Ｐｕ３、Ｐｕ９、Ｐｕ１０を有する領域が部品箱候補Ｂ１の上面領域Ｂｕ１として認識され、４つの対応上面頂点Ｐｕ３、Ｐｕ４、Ｐｕ５、Ｐｕ７を有する領域が部品箱候補Ｂ２の上面領域Ｂｕ２として認識される。

そして、３つの対応上面頂点Ｐｕ５、Ｐｕ６、Ｐｕ１３を有する領域が部品箱候補Ｂ３の上面領域Ｂｕ３として認識され、３つの対応上面頂点Ｐｕ６、Ｐｕ７、Ｐｕ１３を有する領域が部品箱候補Ｂ４の上面領域Ｂｕ４として認識される。これらの対応上面頂点Ｐｕ１〜Ｐｕ１１、Ｐｕ１３の情報、および、上面領域Ｂｕ１〜Ｂｕ４の情報は、上面情報として部品箱ＢＯＸｋを認識するのに用いられる。

図２のステップＳ１０７の処理を行うと、図３のフローチャートに移行する。図３のフローチャートでは、ステップＳ１１１〜Ｓ１１９でワーク群Ｗの側面情報を抽出し、ステップＳ１２０〜Ｓ１２６で上面情報と側面情報を利用して左右の画像の頂点の対応関係を見直して、部品箱の認識精度の向上を図る処理が行われる。

本発明では、エッジやかんばんなどの特徴要素の抽出が良好でなくても、取り出し対象の部品箱ｗａを精度よく認識できるように、ワーク群Ｗの上面情報だけでなく側面情報も利用し、左右の画像の頂点の対応関係（確度）を見直す等の処理によって、認識精度の向上を図っている。以下に、この方法について図３のフローチャートを用いて説明する。

まず、ステップＳ１１１で部品箱候補Ｂ（ｉ）の初期化処理（ｉ＝１）がなされる。そして、ステップＳ１１２では、ワーク群Ｗの側面部に着目し、ステップＳ１０２で作成された微分画像の側面部の画像から部品箱の側面境界エッジを抽出し、側面境界エッジから部品箱とかんばんｆを構成する直線要素を抽出する直線要素抽出処理がなされる。例えば、図９〜図１２に示す例では、一点鎖線で囲まれる枠内に示すように、前後左右の各側面部の直線要素が抽出される。

そして、ステップＳ１１３では、ステップＳ１１２で抽出された左右一対のエッジ抽出画像の側面境界エッジに基づいて、部品箱の側面頂点を抽出する処理が行われる。ここでは、一定の長さ以上のエッジは、直線として延長される。そして、各直線の交点を求め、該交点を側面頂点として抽出する。この側面頂点を抽出する処理は、左右一対の抽出画像についてそれぞれ行われる。例えば、図９（ａ）、（ｂ）に示す例では、エッジの交点を黒丸で示すように、交点Ｌｓｂ１〜Ｌｓｂ４、Ｒｓｂ１〜Ｒｓｂ４が各側面頂点としてそれぞれ抽出される。

ステップＳ１１４では、ステップＳ１１３で求めた左右一対の抽出画像の各側面頂点を互いに対応付けする処理が行われる。例えば、図９に示す例では、ステップＳ１１４の処理により、図９（ａ）に示す左の抽出画像における各側面頂点Ｌｓｂ１〜Ｌｓｂ４と、図９（ｂ）に示す右の抽出画像における各側面頂点Ｒｓｂ１〜Ｒｓｂ４とが対応付けされる。

そして、ステップＳ１１５では、対応付けされた各側面頂点の中から、対応付けの確度が予め設定された基準確度Ｔｈ％以上の側面頂点を対応側面頂点Ｐｓとして抽出する処理がなされる。例えば、図１０に示す部品箱候補Ｂ２の例では、図１０（ａ）に示す各側面頂点Ｌｓｂ１、Ｌｓｂ３、Ｌｓｂ４と、図１０（ｂ）に示す各側面頂点Ｒｓｂ１、Ｒｓｂ３、Ｒｓｂ４との対応付けの確度が基準確度Ｔｈ％以上となっており、対応側面頂点Ｐｓとして抽出されるが、側面頂点Ｌｓｂ２とＲｓｂ２との対応付けの確度は基準確度Ｔｈ％未満となっており、対応側面頂点Ｐｓとして抽出されない（図１３（ｂ）を参照）。

次に、ステップＳ１１６において、かんばんｆのある側面領域を、部品箱候補Ｂ（ｉ）の側面領域Ｂｓ（ｉ）として特定する処理が行われる（（ｉ）は自然数）。例えば、部品箱候補Ｂ１の場合、図１３（ａ）に示すように、かんばんｆが設けられている側面領域が、かんばん側側面領域Ｂｓ１として特定される。

ステップＳ１１７では、かんばんｆがない部品箱候補Ｂ（ｉ）が存在するか否かが判断され、かんばんｆがある場合、すなわちステップＳ１１７でＮＯの場合には、ステップＳ１１８に移行する。

ステップＳ１１８では、部品箱候補Ｂ（ｉ）に、３つ以上の対応側面頂点Ｐｓで構成されたかんばんのある側面領域Ｂｓ（ｉ）があるか否かが判断され、ステップＳ１１８でＹＥＳと判断された場合には、部品箱候補Ｂ（ｉ）の対応側面頂点Ｐｓ、かんばんｆの有無、対応上面頂点Ｐｕの各情報に基づいて、部品箱候補Ｂ（ｉ）を部品箱ＢＯＸｋとして確定すべく、ステップＳ１２０以降に移行する。

一方、ステップＳ１１８でＮＯと判断された場合には、図２のフローで認識された全ての部品箱候補Ｂ（ｉ）について判断を行うために、ステップＳ１１９に移行し、上面領域Ｂｕ（ｉ）のｉに１を加算するカウントアップ処理を行う（ｉ＝ｉ＋１）。そして、次の部品箱候補Ｂ（ｉ）について判断を行うべく、ステップＳ１１２に移行する。

ステップＳ１２０では、上面領域Ｂｕ（ｉ）の対応上面頂点Ｐｕが４つで且つかんばんｆのある側面領域Ｂｓ（ｉ）の対応側面頂点Ｐｓが４つ存在するという条件を満たすか否か、すなわち、上面領域Ｂｕ（ｉ）が確定し且つかんばん側側面領域Ｂｓ（ｉ）が確定しているか否かが判断される。そして、ステップＳ１２０でＹＥＳと判断された場合には、ステップＳ１２６に移行し、当該部品箱候補Ｂ（ｉ）を部品箱ＢＯＸｋとして確定する処理を行う。例えば、部品箱候補Ｂ１は、図１３（ａ）に示すように、上面領域Ｂｕ１が確定し且つかんばん側側面領域Ｂｓ１が確定しているので、ステップＳ１２０でＹＥＳと判断され、ステップＳ１２６で部品箱ＢＯＸｋとして確定される。

一方、ステップＳ１２０でＮＯと判断されると、ステップＳ１２１に移行し、上面領域Ｂｕ（ｉ）の対応上面頂点Ｐｕが４つで且つかんばんｆのある側面領域Ｂｓ（ｉ）の対応側面頂点Ｐｓが３つ存在するという条件を満たすか否か、すなわち、上面領域Ｂｕ（ｉ）が確定し且つかんばん側側面領域Ｂｓ（ｉ）が保留されているか否かが判断される。例えば、部品箱候補Ｂ２は、図１３（ｂ）に示すように、上面領域Ｂｕ２が確定し、かんばん側側面領域Ｂｓ２が保留されているので、ステップＳ１２１でＹＥＳと判断される。

ステップＳ１２１でＹＥＳと判断された場合には、ステップＳ１２２に移行し、かんばん側側面領域Ｂｓ（ｉ）の対応側面頂点Ｐｓが欠けた側に、４つの対応側面頂点Ｐｓで構成された隣接している他の側面領域が存在しているか否か、すなわち、かんばん隣接側面領域Ｂｎ（ｉ）が確定されているか否かが判断される。例えば、部品箱候補Ｂ２は、図１３（ｂ）に示すように、かんばん隣接側面領域Ｂｎ２が確定しているので、ステップＳ１２２でＹＥＳと判断される。ステップＳ１２２でＹＥＳと判断された場合には、ステップＳ１２６に移行し、当該部品箱候補Ｂ（ｉ）を部品箱ＢＯＸｋとして確定する処理を行う。

例えば、部品箱候補Ｂ２は、図１３（ｂ）に示すように、上面領域Ｂｕ２が確定し、かんばん側側面領域Ｂｓ２が保留されており（ステップＳ１２１でＹＥＳ）、かんばん隣接側面領域Ｂｎ２が確定しているので（ステップＳ１２２でＹＥＳ）、ステップＳ１２６で部品箱ＢＯＸｋとして確定される。

上記したステップＳ１２１とＳ１２２の処理によれば、４つの対応上面頂点Ｐｕの抽出により部品箱候補Ｂ（ｉ）の上面領域Ｂｕ（ｉ）が確定されているが、４つの対応側面頂点Ｐｓのうち、１つの対応側面頂点Ｐｓが欠けているために、かんばん側側面領域Ｂｓ（ｉ）が保留されている場合に、かんばん隣接側面領域Ｂｎ（ｉ）の対応側面頂点Ｐｓの抽出状態を利用して、部品箱ＢＯＸｋの確定を判断することができる。したがって、より多くの情報に基づいてワークを認識することができ、ロバスト性が高い。

また、ステップＳ１２１でＮＯと判断された場合には、ステップＳ１２３に移行し、上面領域Ｂｕ（ｉ）の対応上面頂点Ｐｕが３つで且つかんばんｆのある側面領域Ｂｓ（ｉ）の対応側面頂点Ｐｓが４つ存在するという条件を満たすか否か、すなわち、上面領域Ｂｕ（ｉ）が保留され且つかんばん側側面領域Ｂｓ（ｉ）が確定しているかが判断される。例えば、部品箱候補Ｂ４は、図１３（ｄ）に示すように、上面領域Ｂｕ４が保留され、かんばん側側面領域Ｂｓ４が確定しているので、ステップＳ１２３でＹＥＳと判断される。

このように、ステップＳ１２３でＹＥＳと判断された場合には、ステップＳ１２４に移行し、上面領域Ｂｕ（ｉ）の対応上面頂点Ｐｕが欠けた側に、４つの対応側面頂点Ｐｓで構成された隣接している他の側面領域が存在しているか否か、すなわち、かんばん隣接側面領域Ｂｎ（ｉ）が確定されているか否かが判断される。部品箱候補Ｂ４は、図１３（ｄ）に示すように、かんばん隣接側面領域Ｂｎ４が確定しているので、ステップＳ１２４でＹＥＳと判断される。

そして、ステップＳ１２４でＹＥＳと判断された場合には、ステップＳ１２６に移行し、当該部品箱候補Ｂ（ｉ）を部品箱ＢＯＸｋとして確定する処理を行う。部品箱候補Ｂ４は、図１３（ｄ）に示すように、上面領域Ｂｕ４が保留され、かんばん側側面領域Ｂｓ４が確定しており（ステップＳ１２３でＹＥＳ）、かんばん隣接側面領域Ｂｎ４が確定しているので（ステップＳ１２４でＹＥＳ）、部品箱ＢＯＸｋとして確定される。

ステップＳ１２３とＳ１２４の処理によれば、４つの対応側面頂点Ｐｓの抽出により部品箱候補Ｂ（ｉ）の側面領域Ｂｓ（ｉ）が確定されているが、４つの対応上面頂点Ｐｕのうち、１つの対応上面頂点Ｐｕが欠けているために、上面領域Ｂｕ（ｉ）が保留されている場合に、かんばん隣接側面領域Ｂｎ（ｉ）の対応側面頂点Ｐｓの抽出状態を利用して、部品箱ＢＯＸｋの確定を判断することができる。したがって、より多くの情報に基づいてワークを認識することができ、ロバスト性が高い。

ステップＳ１２２、Ｓ１２３、Ｓ１２４のいずれかにおいて、ＮＯと判断された場合は、ステップＳ１２５に移行し、次の上面領域候補について判断を行う。

ステップＳ１２６で全ての部品箱ＢＯＸｋについて確定されると、ステップＳ１２７に移行し、確定した部品箱ＢＯＸｋの中で、最も上に位置し且つロボットに最も近い部品箱ＢＯＸｋの位置・姿勢をロボット座標に変換する処理を行う。そして、ステップＳ１２８では、ロボットでパレットから取り出す部品箱の位置・姿勢を示すロボット座標の情報を、ロボットに送信する処理が行われる。

上記構成を有するワーク段積み状態認識装置１によれば、ワーク群Ｗの側面部を鏡面体６に映し、ワーク群Ｗの上面部と共にカメラ装置２で撮像可能としているので、ワーク群Ｗの立体形状を正確に認識することができる。したがって、従来のように側面専用のカメラを設ける必要がなく、簡単な構成で部品箱ｗａの段積み状態を正確に認識することができ、ロボットを用いてワーク群Ｗから部品箱ｗａの取り出しを行うことができる。

また、ワーク段積み状態認識装置１によれば、ワーク群Ｗの上面情報と側面情報に基づいてワーク群Ｗの最上位に存在する部品箱ＢＯＸｋを認識するので、部品箱ＢＯＸｋの位置や姿勢等の認識精度をより向上させることができる。

例えば、部品箱ｗａを構成する上面境界エッジや直線等の特徴要素を良好に抽出できなかった場合でも、上面情報だけでなく側面情報も利用し、また、一対のステレオ画像における各頂点間の対応関係を見直しして、部品箱ＢＯＸｋの認識を行っているので、部品箱ＢＯＸｋの位置や姿勢等の認識精度をより向上させることができ、従来の上面情報のみからなるものと比較して、ロバスト性が高い。

なお、本発明は、上述の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、上述の実施の形態では、段積み状態が認識されるワークの例として部品箱の場合を説明したが、パレット等に段積みされるものであればよく、段ボール箱や他の立体物であってもよい。

１ワーク段積み状態認識装置
２カメラ装置
２Ｌ左カメラ
２Ｒ右カメラ
３認識部
４データベース
６（６Ａ〜６Ｄ）鏡面体
Ｃパレット
Ｗワーク群
ｗａ部品箱（ワーク）
ＢＯＸｋ最上位の部品箱

Claims

パレット上に複数のワークが段積みされてなるワーク群を撮像して、該ワーク群のワーク段積み状態を認識するワーク段積み状態認識装置であって、
前記ワーク群の上方位置から下方を撮像するカメラ装置と、
前記ワーク群の側面に対向して配置されて、前記カメラ装置に向かって前記ワーク群の側面を映す鏡面体と、
前記カメラ装置で撮像した画像に基づいて前記ワーク群のワーク段積み状態を認識する認識部と、
を有し、
前記カメラ装置は、２台のカメラを有するステレオカメラ装置であり、
前記認識部は、前記ステレオカメラ装置で撮像した一対のステレオ画像に基づいて前記ワーク群の上面情報と側面情報を取得し、該取得したワーク群の上面情報と側面情報に基づいて前記ワーク群の最上位に存在するワークを認識することを特徴とするワーク段積み状態認識装置。
前記認識部は、前記上面情報として前記ワークの上面頂点に関する情報を取得し、前記側面情報として前記ワークの側面頂点とかんばんに関する情報を取得することを特徴とする請求項１に記載のワーク段積み状態認識装置。
前記認識部は、前記一対のステレオ画像に対してそれぞれ微分処理を行い、一対の微分画像を作成し、該一対の微分画像に撮像されているワーク群の上面部の画像からワークの上面境界エッジを抽出した一対のエッジ抽出画像を作成し、該一対のエッジ抽出画像の上面境界エッジに基づいて各エッジ抽出画像から前記ワークの上面頂点を抽出し、該抽出された各エッジ抽出画像の上面頂点を互いに対応付けし、対応付けの確度が予め設定された基準確度以上の上面頂点を対応上面頂点として抽出することを特徴とする請求項２に記載のワーク段積み状態認識装置。
前記認識部は、前記一対のステレオ画像に対してそれぞれ微分処理を行い、一対の微分画像を作成し、該一対の微分画像に撮像されているワーク群の側面部の画像からワークの側面境界エッジを抽出した一対のエッジ抽出画像を作成し、該一対のエッジ抽出画像の側面境界エッジに基づいて各エッジ抽出画像から前記ワークの側面頂点を抽出し、該抽出された各エッジ抽出画像の側面頂点を互いに対応付けし、対応付けの確度が予め設定された基準確度以上の側面頂点を対応側面頂点として抽出することを特徴とする請求項３に記載のワーク段積み状態認識装置。
前記認識部は、前記対応上面頂点のうち、３つ以上の対応上面頂点が前記ワーク群の最上位にあるものをワーク候補の上面領域として特定し、該ワーク候補の側面に３つ以上の前記対応側面頂点で構成されたかんばんのあるかんばん側側面領域があるワーク候補を前記ワーク群の最上位に位置するワークとして確定することを特徴とする請求項４に記載のワーク段積み状態認識装置。
前記認識部は、前記ワーク候補の上面領域が４つの対応上面頂点を有し且つ前記かんばん側側面領域が３つの対応側面頂点を有する場合に、前記かんばん側側面領域の前記対応側面頂点が欠けた側に、前記かんばん側側面領域に隣接して４つの対応側面頂点で構成されたかんばん隣接側面領域があるか否かを判断し、該かんばん隣接側面領域があると判断されたときに、前記ワーク候補を前記ワーク群の最上位に位置するワークとして確定することを特徴とする請求項５に記載のワーク段積み状態認識装置。
前記認識部は、前記ワーク候補の上面領域が３つの対応上面頂点を有し且つ前記かんばん側側面領域が４つの対応側面頂点を有する場合に、前記上面領域の前記対応上面頂点が欠けた側に、前記かんばん側側面領域に隣接して４つの対応側面頂点で構成されたかんばん隣接側面領域があるか否かを判断し、該かんばん隣接側面領域があると判断されたときに、前記ワーク候補を前記ワーク群の最上位に位置するワークとして確定することを特徴とする請求項５に記載のワーク段積み状態認識装置。
前記鏡面体は、前記ワーク群の前面、後面、左面、右面にそれぞれ対向する位置に配設されていることを特徴とする請求項１から請求項７のいずれか一項に記載のワーク段積み状態認識装置。