JPH08293029A - 箱状物体の積重ね状態認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 箱状物体の表面に描かれた模様や張りつけら
れたガムテープなどによる誤認識することなく，正確に
箱状物体の積み重ねられた状態を認識することが可能な
箱状物体の積重状態認識装置を提供する。 【構成】 基本情報として入力された箱状物体の寸法情
報と基本積み付けパターン情報とに基づいて３次元の荷
姿認識モデルを生成し，そのモデルを撮像装置３の撮像
条件に従って透視変換して予め記憶しておく。撮像装置
３によりパレット２上の荷姿が撮影されると，その撮影
画像に対して予め記憶してある認識モデルを段毎に照合
し，各段における箱状物体の存在が判定される。箱状物
体の存在は，認識モデルに含まれる箱状物体の頂点間に
輪郭線を表すエッジがあるか否かによって判定される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は，パレタイジングロボッ
ト等の産業用ロボットにおいてワークを認識するために
用いられる装置に係り，特に，箱状物体の積重ね状態を
認識するための装置に関する。

【０００２】

【従来の技術】産業用ロボットには，作業対象物（ワー
ク）の状態を認識するための物体認識装置が用いられて
いる。例えばパレタイジングロボットでは，物体認識装
置により構成された視覚センサを用いてパレット上にワ
ークがどのように積重ねられているかを認識し，このセ
ンサからの出力に基づいてロボットが，パレット上にさ
らにワークを積上げたり，パレット上からワークを掴み
取ったりする。パレット上などの特定箇所に複数段に積
まれた箱状物体の荷姿（シーン）を認識するための装置
の一例を説明する。装置は，パレット上の箱状物体のシ
ーンをカメラで撮影し，撮影画像に対して以下の（１）
〜（６）の処理を行って箱状物体の積重ね状態を認識す
る。 （１）認識対象物が撮像画像内でどのように見えるか
が，その認識対象物の寸法情報に基づいて予め計算さ
れ，２次元のいわゆる「見えかたモデル」として記憶さ
れる。 （２）装置に備えられたカメラによりパレット上の箱状
物体のシーンが撮影される。 （３）次に，撮影した濃淡画像に対してエッジ抽出処理
を施すことによりエッジ画像を生成する。 （４）さらに，エッジ画像に対してハフ（Hough ）変換
を行い，得られたρ−θ平面を探索して２本の平行線の
組を多数抽出する。 （５）続いて，抽出した平行線の２組で構成される矩形
を，上記２次元の見えかたモデルと照合することによ
り，認識対象物である箱状物体の候補となる２組の平行
線を抽出する。 （６）次に，抽出した箱状物体の候補について空間的な
配置に関する組合せの最適化処理を行い，複数段に積ま
れた箱状物体の荷姿を適合度が最大となる箱状物体の候
補の組合せパターンとして認識する。組合せの最適化処
理としては，例えば遺伝的アルゴリズム（Genetic Algo
rithm ）などを用いることが提案されている。

【０００３】

【発明が解決しようとする課題】ところで，上記装置を
はじめとする従来の一般的な物体認識装置では，箱状物
体の荷姿を認識するために，もっぱら物体の寸法情報
と，その寸法情報に基づいて生成された２次元の見えか
たモデルとが用いられる。そのため，箱状物体の表面に
模様が描かれていたり，ガムテープなどが張られていた
りすると，上記（４）の平行線抽出処理や（５）の箱状
物体候補抽出処理において模様やガムテープによるエッ
ジ画像が箱状物体の外形線として誤検出されやすく，箱
状物体の荷姿を正確に認識することができないという問
題があった。本発明は，係る実情に鑑み考え出されたも
のであり，その目的は，箱状物体に描かれた模様や箱状
物体に張りつけられたガムテープなどの影響を受けるこ
となく，正確に箱状物体の積重ね状態を認識することが
可能な箱状物体の積重ね状態認識装置を提供することに
ある。

【０００４】

【課題を解決するための手段】上記目的を達成するため
に，第１の発明は，所定の領域を撮像する撮像手段と，
複数の箱状物体を積重ねる場合の基本状態の情報を入力
する基本状態情報入力手段と，上記基本状態情報入力手
段から入力された情報に基づいて上記複数の箱状物体の
外形線の位置を表す３次元位置情報を生成する３次元位
置情報生成手段と，上記３次元位置情報生成手段により
生成された情報を上記撮像手段の撮像条件に基づいて透
視変換する透視変換手段と，上記撮像手段によって撮像
された画像中の上記透視変換手段により透視変換された
情報により表わされる外形線に相当する箇所の濃淡エッ
ジの強度を検出するエッジ検出手段と，上記エッジ検出
手段からの出力に基づき，該当する箱状物体が存在する
か否かを判定し，存在すると判定した箱状物体の情報を
出力する存在判定手段と，を備えたことを特徴とする箱
状物体の積重ね状態認識装置である。第２の発明は，上
記基本状態の情報は，上記複数の箱状物体のそれぞれの
寸法と配置位置とを表わす情報を含み，上記３次元位置
情報生成手段は，上記基本状態の情報により定まる上記
複数の箱状物体の外形線の位置を上記所定の領域内に設
定された３次元のローカル座標系にて表わす情報を生成
する箱状物体の積重ね状態認識装置である。

【０００５】第３の発明は，上記透視変換手段は，上記
ローカル座標系にて表される情報を上記撮像手段の撮像
面上の座標系により表される情報に変換する撮像座標系
変換手段と，上記撮像面上の座標系にて表される情報と
画像を記憶するためのメモリに設定されたメモリ座標系
変換手段とを含み，上記透視変換した情報を上記メモリ
座標系にて表わして出力する箱状物体の積重ね状態認識
装置である。第４の発明は，上記撮像手段は，荷物搬送
用のパレット上を上方から撮像し，上記３次元位置情報
は，上記パレット上に載置された複数の箱状物体の高さ
が略同一である場合に，複数段に積重ねられた箱状物体
の各段の上面の外形線の位置を表す上面外形線情報であ
り，上記エッジ検出手段は，上記撮像手段により上記パ
レットの上方から撮像された画像に対し，上記上面外形
線情報に基づく上記濃淡エッジの強度検出を上記複数段
の段ごとに順次行い，上記存在判定手段は，上記エッジ
検出手段からの上記段ごとの検出結果に基づいて上記パ
レット上の上記箱状物体の荷姿を表す情報を出力する箱
状物体の積重ね状態認識装置である。

【０００６】

【作用】第１の発明によれば基本状態情報入力手段か
ら，複数の箱状物体を積重ねる場合の基本状態の情報が
入力されると，その入力情報に基づいて，３次元位置情
報生成手段により複数の箱状物体の外形線の位置を表す
３次元位置情報が生成される。生成された３次元位置情
報は，透視変換手段により透視変換される。そして，撮
像手段により所定の領域が撮像されると，エッジ検出手
段により，撮像画像中の透視変換手段により透視変換さ
れた情報が表す外形線に相当する箇所の濃淡エッジの強
度が検出される。このエッジの検出出力に基づいて，存
在判定手段により該当する箱状物体が存在するか否かが
判定され，存在すると判定された箱状物体の情報が出力
される。第２の発明によれば基本状態情報入力手段から
は，複数の箱状物体のそれぞれの寸法と配置位置とを表
す情報を含む基本状態の情報が入力され，上記３次元位
置情報生成手段により，この入力された基本状態の情報
により定まる複数の箱状物体の外形線の位置を撮像手段
により撮像される所定の領域内に設定された３次元のロ
ーカル座標系にて表す情報が生成される。

【０００７】第３の発明によれば，透視変換手段におい
て，撮像座標系変換手段により，ローカル座標系にて表
される情報が撮像手段の撮像面上の座標系により表され
る情報に変換され，さらに，メモリ座標系変換手段によ
り，撮像面上の座標系にて表される情報が画像を記憶す
るためのメモリに設定されたメモリ座標系にて表される
情報に変換され，透視変換された情報はメモリ座標系に
て表されて出力される。第４の発明によれば，３次元位
置情報生成手段により，荷物搬送用のパレット上に載置
された複数の箱状物体の高さがほぼ同一である場合に，
複数段に積重ねられた箱状物体の各段の上面の外形線の
位置を表す上面外形線情報が生成され，撮像手段により
荷物搬送用パレット上が撮像されると，エッジ検出手段
により，撮像手段の撮像画像に対し，上記上面外形線情
報に基づく濃淡エッジ強度検出が複数段の段毎に順次行
われ，さらに，この段毎のエッジ検出結果に基づいて，
存在判定手段により，パレット上の箱状物体の荷姿が表
された情報が手段される。

【０００８】

【実施例】以下，添付図面を参照して，本発明を具体化
した上記につき説明し，本発明の理解に供する。尚，以
下の実施例は，本発明を具体化した一例であって，本発
明の技術的範囲を限定する性格のものではない。図１
は，本発明の一実施例に係る箱状物体の積重ね状態認識
装置（以下，単に「装置」という）１の基本構成を示す
模式的ブロック図である。装置１は，荷物搬送用のパレ
ット２に積まれた箱状物体Ａ〜Ｄ，Ｇ，Ｊ，Ｍ〜Ｏなど
の荷姿を認識し，その荷姿認識情報をパレタイジングロ
ボットへ送る。装置１は，パレット２上の箱状物体Ａ，
Ｄ，Ｇなどの荷姿を撮影するための撮像装置３と，撮影
された画像に対して後述する所定の処理をほどこす画像
処理部５と，画像処理部５へ処理に必要な基本情報を入
力するための基本情報入力部７とを備える。画像処理部
５は，内部に荷姿認識部９と荷姿認識モデル生成部１１
と，透視変換部１３とを含む。荷姿認識部９は，制御プ
ログラム１４に従って動作し，その内部に，撮像装置３
より撮像された濃淡画像と，透視変換部１３から送られ
てくるモデル画像とを記憶するための画像メモリ１５を
備えている。撮像装置３より撮影された画像（以下「撮
影画像」という）は，荷姿認識部９へ送られて，画像メ
モリ１５に格納される。

【０００９】荷姿認識処理に先立って，基本情報入力部
７からは，認識対象となる箱状物体の寸法情報と，これ
ら箱状物体のパレット２上での基本積付けパターンの情
報とが入力される。基本積付けパターン情報とは，箱状
物体のパレット２上での積付け位置を表す情報である。
通常，搬送用のパレットにワークを積載する場合は，そ
のワークの形状や重量などを考慮して予め積付け位置を
決めておくことが多い。本実施例では，寸法情報と共に
予め積付け位置ガ定められた基本積付けパターン情報を
入力し，これらの情報に基づいてパレット２上の荷姿を
認識するためのモデル（以下「荷姿認識モデル」とい
う）を生成する。すなわち，入力された基本情報は，荷
姿認識モデル生成部１１へ送られ，荷姿認識モデル生成
部１１は，これらの情報に基づいてパレット２上に設定
されたパレット座標系により表される３次元の荷姿認識
モデルを生成する。さらに，荷姿認識モデルは透視変換
部１３へ送られ，撮像装置３の視線方向及び視点位置等
の撮像条件に基づく透視変換により荷姿の見えかたを表
すモデル（以下「荷姿見えかたモデル」という）が生成
される。生成された荷姿見えかたはモデル荷姿認識部９
へ送られ，画像メモリ１５内に予め格納される。荷姿認
識部９は，撮影画像を，予め記憶している荷姿見えかた
モデルと照合し，所定の処理（後述）をほどこすことに
よりパレット２上の荷姿を認識して，その結果をパレタ
イジングロボットへ送る。

【００１０】次に，装置１の各部における処理の詳細に
ついてそれぞれ説明する。図２は，基本情報入力部７か
ら入力される基本積付けパターン情報の一例を示す模式
図である。基本積付けパターン情報は，パレット２上に
複数段に積重ねられる箱状物体の段毎の相対的な位置を
表す。例えば，箱状物体が２段に積重ねられる場合は，
上段の積付け情報として同図（ａ）に示すような，パレ
ット２上の積付け領域２ａ内の箱状物体Ａ〜Ｆの積付け
位置が指定され，下段の積付け情報として同図（ｂ）に
示すような箱状物体Ｇ〜Ｏの積付け位置が指定される。
上段の（ａ）の場合は，Ｘｐ−Ｙｐのパレット座標系に
おけるＸｐ方向の一列目には箱状物体を積まないので，
その領域はブランクにしている。これら（ａ）と（ｂ）
とにより表される情報と，別途入力される箱状物体の寸
法情報とにより，図２（ｃ）に表されるような各箱状物
体のパレット２上での３次元位置が指定される。尚，本
実施例では，箱状物体の高さすなわち積上げ方向である
Ｚｐ軸における寸法は，全ての箱状物体にて同一である
ことを前提条件とする。又，基本情報入力部７の構成に
ついては，図２（ａ），（ｂ）の情報を入力する手段と
して，例えばＣＡＤ等の図形入力装置を用いるように
し，操作者が箱状物体Ａ〜Ｏの大まかな積付け位置を指
示すれば，寸法情報に基づいて自動的に積付け領域２ａ
内に箱状図形が設定できるようにすれば，入力や変更が
容易になる。

【００１１】図３は，入力された基本情報に基づいて荷
姿認識モデル生成部１１にて生成される荷姿認識モデル
の一例を示す模式図である。荷姿認識モデル生成部１１
は，入力された箱状物体の寸法情報と基本積付け情報
（図２参照）とに基づいて，図３に示すような，Ｘｐ−
Ｙｐ−Ｚｐの３次元のパレット座標系にて表される荷姿
認識モデルを生成する。荷姿認識モデルは，個々の箱状
物体の上面の４頂点の座標値を記述したものである。図
３は，下段（第１段目）の箱状物体の荷姿認識モデルを
表す図であり，図２（ａ）にて説明した箱状物体Ｇ〜Ｏ
の上面４頂点の座標が含まれている。尚，図示したよう
に，隣接する２つの箱状物体の境界線を表す２個１組の
頂点の場合は，２つの箱状物体のそれぞれについて記述
するのではなく，その２個の頂点の座標値を２つの箱状
物体で共有させて記述するように構成すれば，荷姿認識
モデルについて使用するメモリの容量が削減でき，演算
量も少なくてすむ。この場合，隣接する２つの箱状物体
の頂点が，どの程度離れている場合に１つの頂点で表す
かの許容範囲は，後述するエッジ検出処理における精度
とのバランスを考慮して決定する。

【００１２】次に，図４を参照して，透視変換部１３に
おける座標変換処理の内容を説明する。図４は，装置１
にて用いられる３つの座標系の関係を示す模式図であ
る。装置１では，記述のパレット座標系の他，撮像装置
３における撮像面に対して設定されるＸｓ−Ｙｓ−Ｚｓ
の撮像座標系と，画像メモリ１５内の各段の荷姿認識モ
デルを格納する領域のそれぞれに設定されたＸｍ−Ｙｍ
の画像メモリ座標系とが設定される。撮像座標系は，撮
像装置３の撮影レンズ（図示を省略）の位置を表す視点
Ｓについて，パレット座標系における箱状物体の頂点に
対して点対象となる投影点の位置を表す。投影像の位置
は，Ｘｓ−Ｙｓの２次元の撮像面上で表されるので，本
実施例では，パレット座標系のＺｐに対応する撮像座標
系のＺｓ（破線で示す）の値は使用しない。また，画像
メモリ座標系は，荷姿認識部９内で処理される画像に対
して設定される座標系であり，画像メモリ１５内に格納
される各ドットの位置を表す座標である。すなわち，パ
レット座標系は，パレット２上における実寸法に対応す
る座標系であり，また，撮像座標系は，パレット座標系
にて表される物体の見えかたの実寸法を表す座標系であ
る。パレット２及びその上に積載された箱状物体の荷姿
は，実寸法を表すパレット座標系及び撮像座標系にて１
０００〜３０００ｍｍ程度の座標値で表される。これ
を，荷姿認識部９内で演算素子が処理可能であって，且
つ，画像メモリ１５にて格納可能なアドレスに相当する
座標に変換したのが画像メモリ座標である。

【００１３】透視変換部１３は，パレット座標系と撮像
座標系とを対応付けるための座標変換行列Ｔと，撮像座
標系と画像メモリ座標系とを対応付けるためのアフィン
変換行列Ｐとを備える。透視変換部１３は，荷姿認識モ
デルにおける各段の頂点座標を座標変換行列Ｔを用いて
パレット座標系から撮像座標系に変換した後，続いてア
フィン変換行列Ｐを用いて撮像座標系から画像メモリ座
標系へと変換する。これにより，各段における箱状物体
の上面の頂点位置の見えかたが画像メモリ座標系にて表
される。この頂点位置を用いれば，各段の箱状物体の見
える位置を知ることができる。以下の説明では，画像メ
モリ座標系の頂点座標にて表される箱状物体の位置情報
を透視変換モデルという。透視変換モデルは，箱状物体
が複数段に積上げられる場合は，各段毎に生成される。
図５は，図１に示した撮像装置３が荷姿を撮影した時に
得られる画像の一例を示す模式図である。図１に示した
例では，図２で示した基本積付けパターンに対して，上
段（下から２段目）にて積まれるはずの箱状物体Ｅ，Ｆ
（図２（ａ）参照）が積まれなかったか，又は，既にロ
ボットにより掴み取られたかの状態が表わされており，
その荷姿を撮像装置３で撮影した場合は，図５に示した
撮影画像が得られる。上段の箱状物体Ｅ，Ｆが無いの
で，下段の箱状物体Ｎ，Ｏが見えている。荷姿を上方か
ら撮影した場合は，撮像装置３の撮影レンズに対する遠
近によって画像のサイズが変化し，下方にある物体ほど
小さくなる。従って，レンズに近い上段の箱状物体Ａ〜
Ｄは，レンズから遠い下段の箱状物体Ｇ，Ｈ，Ｉ，Ｎ，
Ｏよりも大きく撮影されている。この撮像画像は，荷姿
認識部９へ送られて画像メモリ１５内の撮像画像領域に
格納される。

【００１４】次に，荷姿認識部９の処理について説明す
る。図６は荷姿認識部９が制御プログラム１４に従って
行う処理手順を示すフローチャートである。また，図７
は，荷姿認識部９内の画像処理の内容を表す模式図であ
る。図６のフローチャートに従い，必要に応じて図７を
参照して説明する。荷姿認識部９は，画像メモリ１５内
に格納されている撮影画像に対しゾーベル（Ｓｏｂｅ
ｌ）フィルタなどの微分フィルタを施して濃淡エッジを
抽出し，図７（ａ）に示すようなエッジ画像を生成する
（ステップ（以下単に「Ｓ」という）１）。続いて，荷
姿認識部９は，処理対象となる段数を表す変数ｎに基本
積付けパターンにおける最大段数をセットする（Ｓ
２）。荷姿認識部９は，Ｓ１にて生成したエッジ画像に
図７（ｂ）に示すｎ段目（上段）の透視変換モデルを重
ね合わせる（Ｓ３）。エッジ画像に透視変換モデルを重
ね合わせた状態を図７（ｃ）に示す。尚，ここでは，説
明を容易にするために「重ね合わせ」という概念で説明
しているが，実際には，荷姿認識部９内のワークメモリ
上にて（ａ）に示したエッジ画像のデータと（ｂ）に示
した透視変換モデルとのデータを照合する処理である。
更に，荷姿認識部９は，ｎ段目の透視変換モデルに含ま
れる箱状物体の輪郭線の番号を示す変数ｐに「１」をセ
ットする（Ｓ４）。この輪郭線は，２つの箱状物体が隣
接している場合には，その境界線を表す。図７（ｂ）に
は，最上段（すなわち上段）の透視変換モデルが示され
ているが，この場合，６個の箱状物体Ａ〜Ｆの外形線及
び境界線を表す１７本の輪郭線が存在する。輪郭線のそ
れぞれには段ごとに１から始まるシーケンシャルな番号
が付けられている。変数ｐはこの輪郭線の番号を指定す
るための変数であり，Ｓ４にて初期値である「１」がセ
ットされる。続いて荷姿認識部９は，ｐ番目（初回は１
番目）の輪郭線上にエッジ探索ウインドウを設定する
（Ｓ５）。

【００１５】図７（ｄ）は，各輪郭線にエッジ探索ウイ
ンドウを設定した状態を示す。荷姿認識部９は，設定し
たエッジ探索ウインドウ内にエッジが有るか否かを判定
する（Ｓ６）。この場合，荷姿認識部９は，設定したエ
ッジ探索ウインドウ内に存在する全ての濃淡エッジの強
度を検出する。荷姿認識部９は，検出したエッジの中に
強度が予め設定した閾値よりも大きいエッジが有れば
「エッジ有り」と判定し，ウインドウ内にエッジが全く
存在しないときや存在しても強度が上記閾値より大きい
ものが無いときには「エッジ無し」と判定する。閾値
は，箱状物体の輪郭線を確実に検出でき，かつ，輪郭線
以外の濃淡エッジ，例えば，箱状物体の表面に描かれた
模様や張りつけられたガムテープなどは除外するように
定めればよい。即ち，エッジ探索ウインドウ内に箱状物
体の輪郭線が存在すれば，その輪郭線による強度の強い
エッジが検出され，一方，輪郭線が存在しない場合に
は，エッジが検出されないか又は箱状物体表面に描かれ
た模様や張りつけられたガムテープなどによる強度の弱
いエッジのみが検出される。従って，閾値を適当に定め
ることにより，確実に箱状物体の輪郭線を検出できる。
荷姿認識部９は，エッジが存在すれば（Ｓ６にてＹＥ
Ｓ），エッジの有無をセットするための配列変数ｅ
（ｐ）に「１」をセットする。エッジが存在しなければ
（Ｓ６にてＮＯ），配列変数ｅ（ｐ）には「０」がセッ
トされる（Ｓ８）。図７（ｄ）の例では，エッジの存在
する「１」のウインドウを黒色でエッジが存在しない
「０」のウインドウを白色で示す。

【００１６】当該輪郭線についてのエッジ探索処理が終
われば，ｐがｎ段目における輪郭線数と一致するか否か
が判定され（Ｓ９），一致しなければ（Ｓ９にてＮ
Ｏ），荷姿認識部９は，ｐに「１」を加算してｎ段目に
おける次の輪郭線番号をセットし（Ｓ１０），上記Ｓ５
〜Ｓ８の処理を繰り返す。そして，荷姿認識部９は，ｐ
がｎ段目の輪郭線数に至れば（Ｓ９にてＹＥＳ），Ｓ１
１以降の箱状物体の存在判定処理に移る。荷姿認識部９
は，箱状物体の存在を判定するにあたり，先ず，基本積
付けパターンにおけるｎ段目の箱状物体の番号を表す変
数ｍに初期値である「１」をセットする（Ｓ１１）。次
に，荷姿認識部９は，ｎ番目の箱状物体の４本の輪郭線
に相当するエッジが有るか無いかを上記Ｓ７，Ｓ８にて
セットした配列変数ｅ（ｋ）（ｋ＝１〜ｐ）の値により
判定する（Ｓ１２）。荷姿認識部９は，ｎ番目の箱状物
体の４本の輪郭線に相当するエッジが有れば（Ｓ１２に
てＹＥＳ），箱状物体の有無を表す配列変数ｗ（ｍ，
ｎ）に「存在すること」を表す「１」をセットする（Ｓ
１３）。４本の輪郭線の内のいずれかに相当するエッジ
が無い場合は（Ｓ１２にてＮＯ），配列変数ｗ（ｍ，
ｎ）に「存在しないこと」を表す「０」がセットされる
（Ｓ１４）。荷姿認識部９は，変数ｍの値がｎ段目の箱
状物体数と一致するか否かを判定し（Ｓ１５），一致し
なければ（Ｓ１５にてＮＯ），ｍに１を加算して（Ｓ１
６），上記Ｓ１２〜Ｓ１４の処理を繰り返す。

【００１７】そして，荷姿認識部９は，変数ｍの値がｎ
段目の箱状物体数に至れば（Ｓ１５にてＹＥＳ），配列
変数ｗ（ｉ，ｎ）（ｉ＝１〜ｍ）に「１」がセットされ
ている箱状物体を図８に示すように段毎に出力する。図
８において（ａ）では上段にて存在が認識された箱状物
体Ａ〜Ｄの種類とその位置とが表され，同様に，（ｂ）
では下段にて存在が認識された箱状物体Ｇ〜Ｏの種類と
その位置とが表されている。ここで，下段の箱状物体
Ｊ，Ｋ，Ｌ，Ｍについては，図５に示した撮影画像内に
写ってはいないが，入力された基本積付けパターン情報
にてこれら箱状物体Ｊ〜Ｍの上方には箱状物体Ａ〜Ｄが
積まれることが示されているので，荷姿認識部９は，上
記Ｓ１７の出力処理の段階で，上の段にて箱状物体の存
在が認識された箇所では，その下方の段にも箱状物体が
存在するものと判断する。また，下段の透視変換モデル
を図７（ａ）に重ね合わせた場合に，箱状物体Ｇ〜Ｉ，
Ｎ，Ｏの輪郭線については，上段の箱状物体Ａ〜Ｄによ
り隠れてしまうが，このような場合に，荷姿認識部９
は，上記Ｓ１２の判定処理において，上方の段に箱状物
体が存在する場合は，４本の輪郭線の内の隠れている方
の輪郭線に相当するエッジが検出できなくても該当する
箱状物体が存在するものと判定する。このように本実施
例では，最上段から下方の段へと順に処理して，上方の
段における箱状物体の有無に基づいて下方の段の隠れた
箇所の荷姿を判定するようにしている。

【００１８】続いて，ｎが１か否か，すなわち最下段の
処理が完了したか否かを判定し（Ｓ１８），ｎが１でな
ければ（Ｓ１８にてＮＯ），ｎから１を減算して（Ｓ１
９），上記Ｓ３に戻る。これにより，１段下の段につい
て，上記Ｓ３〜Ｓ１７の処理が行われ，同様にして，箱
状物体が存在するか否かが判定される。そして，荷姿認
識部９は，ｎが１になれば，即ち，最下段の処理が終了
すれば（Ｓ１８にてＹＥＳ），箱状物体の存在判定処理
を終了する。以上により，装置１は，パレット２上の各
段における箱状物体の存在を認識することができ，その
認識データをパレタイジングロボットへ出力する。パレ
タイジングロボットは，送られてきた認識データに基づ
いて，所定の条件に従って箱状物体を選択的に掴み取る
処理や，または，空いている箇所に該当する箱状物体
（例えば，上段の箱状物体Ｅ，Ｆなど）を積上げる処理
などを行う。このように，本実施例では，箱状物体の寸
法情報と共に基本積付けパターン情報とに基づいて荷姿
の認識モデルを生成し，そのモデルを撮像条件に従って
透視変換した透視変換モデルを用いて撮像画像に含まれ
る箱状物体の存在を判定するので，従来のように箱状物
体の表面に描かれた模様や張りつけられたガムテープに
よる濃淡エッジを箱状物体の輪郭線として誤検出するこ
となく，正確に箱状物体の存在を認識することが可能と
なる。

【００１９】尚，本実施例では，透視変換部１３にて生
成された透視変換モデルは，撮像装置３にて撮像された
撮影画像と同様の画像メモリ座標系にて表されている
が，このことは，荷姿認識部９における，図６図８を参
照して説明した比較的演算量が多い画像処理を一々画像
メモリ座標系から他の座標系へ変換する処理を行うこと
なく効率的に処理するために有効である。また，本実施
例では，予め記憶しておく情報として，透視変換モデル
を画像メモリ１５内に記憶するようにしたが，場合によ
っては，入力された箱状物体寸法と基本積付けパターン
情報とを記憶しておき，認識処理が開始された時点で，
荷姿認識モデル生成部１１と透視変換部１３とを起動さ
せて透視変換モデルを作成するようにしてもよい。図７
に示したエッジ探索の技術は，パレット２の上方から撮
影した画像と同様に，パレット２の側方から撮影した画
像に対しても適用できる。この場合，透視変換モデル
は，箱状物体の上面の４頂点ではなく，撮像装置３に近
い側の側面の４頂点を含むデータとなる。そして，エッ
ジ探索処理は，手前の列の透視変換モデルから遠い列へ
と順次行うようにする。また，これら上方から及び側方
から撮影した平面的な画像に対してのみならず，斜め上
方から撮影した斜視的な画像に対しても適用できる。こ
の場合は，荷姿認識モデルに対して撮影方向から見た隠
線処理をほどこし，その隠線処理後の頂点によって表さ
れる輪郭線上にエッジ探索ウインドウを設定すればよ
い。

【００２０】また，パレタイジングロボットの作業内容
との関係で，撮像装置３の撮影方向がその都度変化する
場合，例えば，上方からのみではなく側方からあるいは
斜め上方から箱状物体を掴み取るような場合には，荷姿
認識モデルは，上面又は側面の４個の頂点のみならず，
箱状物体の外形を表す８個の頂点全ての位置を表すよう
な荷姿認識モデルを予め作成しておき，撮像装置３の撮
影動作が行われた時点で，透視変換部１３がその時の撮
像条件に基づいて荷姿認識モデルを透視変換モデルに変
換するようにしてもよい。以上に本発明の実施例を説明
した。続いて，本実施例の特徴的構成について以下に述
べる。上記撮像装置３により，所定の領域を撮像する撮
像手段が構成されている。上記基本情報入力部７によ
り，複数の箱状物体を積重ねる場合の基本状態の情報を
入力する基本状態情報入力手段が構成されている。上記
荷姿認識モデル生成部１１により，基本状態情報入力手
段から入力された情報に基づいて複数の箱状物体の外形
線の位置を表す３次元位置情報を生成する３次元位置情
報生成手段が構成されている。ここで，上記荷姿認識モ
デルが３次元位置情報に相当する。また，上記透視変換
部１３により，３次元位置情報生成手段により生成され
た情報を撮像手段の撮像条件に基づいて透視変換する透
視変換手段が構成されている。上記荷姿認識部９と，こ
の荷姿認識部９に上記図６のＳ４〜Ｓ９の処理を行わせ
るための制御プログラム１４とにより，撮像手段によっ
て撮像された画像中の透視変換手段により透視変換され
た情報により表される外形線に相当する箇所の濃淡エッ
ジの強度を検出するエッジ検出手段が構成されている。
また，上記荷姿認識部９と，荷姿認識部９に上記図６の
Ｓ１１〜Ｓ１８の処理を行わせるための制御プログラム
１４とにより，エッジ検出手段からの出力に基づき該当
する箱状物体が存在するか否かを判定し，存在すると判
定した箱状物体の情報を出力する存在判定手段が構成さ
れている。

【００２１】さらに上記実施例は，基本情報入力部７か
ら入力される基本状態の情報が，複数の箱状物体のそれ
ぞれの寸法と配置位置とを表す情報を含み，荷姿認識モ
デル生成部１１が，基本状態の情報により定まる複数の
箱状物体の外形線の位置を所定の領域内に設定された３
次元のローカル座標系にて表わす情報を生成することを
特徴とする。ここで，上記３次元のローカル座標系と
は，パレット２上のパレット座標系に相当する。さらに
また，上記実施例では，透視変換部１３が，座標変換行
列Ｔとアフィン変換行列Ｐとを含む。すなわち，透視変
換手段が，ローカル座標系にて表される情報を撮像手段
の撮像面上の座標系により表される情報に変換する撮像
座標系変換手段と，撮像面上の座標系にて表される情報
を画像を記憶するためのメモリに設定されたメモリ座標
系により表される情報に変換するメモリ座標系変換手段
とを含み，透視変換した情報をメモリ座標系にて表して
出力することを特徴とする。上記座標変換行列Ｔが撮像
座標系変換手段に相当し，上記アフィン変換行列Ｐがメ
モリ座標系変換手段に相当する。さらに，上記実施例で
は，撮像装置３が荷物搬送用のパレット２上を上方から
撮像し，３次元位置情報である荷姿認識モデルが，パレ
ット２上に載置された複数の箱状物体の高さがほぼ同一
である場合に，複数段に積重ねられた箱状物体の各段の
上面の外形線の位置を表す上面外形線情報であり，上記
エッジ検出手段が，撮像手段によりパレット２の上方か
ら撮像された画像に対し，上面外形線情報に基づく濃淡
エッジの強度検出を複数段の段毎に順次行い，上記存在
判定手段がエッジ検出手段からの段毎の検出結果に基づ
いてパレット上の箱状物体の荷姿を表す情報を出力する
ことを特徴とする。

【００２２】

【発明の効果】本発明に係る箱状物体の積重ね状態認識
装置は，上記したように構成されているため，複数の箱
状物体を積重ねる場合の基本状態の情報に基づいて，箱
状物体の外形線の位置を表す３次元位置情報を生成し，
この３次元位置情報を撮像条件に基づいて透視変換す
る。そして，撮像手段により，撮像された画像中の上記
透視変換された情報により表される外形線に相当する箇
所の濃淡エッジの強度を検出し，その検出出力に基づい
て該当する箱状物体が存在するか否かを判定し，存在す
ると判定した箱状物体の情報を出力する。従って，認識
対象となる箱状物体の寸法情報のみを用いて処理する従
来の装置のように，箱状物体の表面に描かれた模様や張
りつけられたガムテープなどによるエッジを箱状物体の
外線線によるエッジと誤検出することなく，正確に箱状
物体の積重ね状態を認識することが可能となる。

【図面の簡単な説明】

【図１】 本発明の一実施例に係る荷姿認識装置の全体
構成を示すブロック図。

【図２】 基本積付けパターン情報の一例を示す模式
図。

【図３】 荷姿認識モデルの一例を示す模式図。

【図４】 荷姿認識装置にて用いられる３つの座標系の
関係を表す模式図。

【図５】 撮像装置３にて撮影される画像の一例を示す
模式図。

【図６】 荷姿認識部９における処理手順を示すフロー
チャート。

【図７】 荷姿認識部にて行われる画像処理の内容を示
す模式図。

【図８】 荷姿認識部から出力される認識データの一例
を示す模式図。

【符号の説明】

１…荷姿認識装置 ２…パレット ３…撮像装置 ５…画像処理部 ７…基本情報入力部 ９…荷姿認識部 １１…荷姿認識モデル生成部 １３…透視変換部 １４…制御プログラム １５…画像メモリ Ａ〜Ｏ…箱状物体

Claims (4)

【特許請求の範囲】
1. 【請求項１】 所定の領域を撮像する撮像手段と，複数
   の箱状物体を積重ねる場合の基本状態の情報を入力する
   基本状態情報入力手段と，上記基本状態情報入力手段か
   ら入力された情報に基づいて上記複数の箱状物体の外形
   線の位置を表す３次元位置情報を生成する３次元位置情
   報生成手段と，上記３次元位置情報生成手段により生成
   された情報を上記撮像手段の撮像条件に基づいて透視変
   換する透視変換手段と，上記撮像手段によって撮像され
   た画像中の上記透視変換手段により透視変換された情報
   により表わされる外形線に相当する箇所の濃淡エッジの
   強度を検出するエッジ検出手段と，上記エッジ検出手段
   からの出力に基づき，該当する箱状物体が存在するか否
   かを判定し，存在すると判定した箱状物体の情報を出力
   する存在判定手段と，を備えたことを特徴とする箱状物
   体の積重ね状態認識装置。
2. 【請求項２】 上記基本状態の情報は，上記複数の箱状
   物体のそれぞれの寸法と配置位置とを表わす情報を含
   み，上記３次元位置情報生成手段は，上記基本状態の情
   報により定まる上記複数の箱状物体の外形線の位置を上
   記所定の領域内に設定された３次元のローカル座標系に
   て表わす情報を生成する請求項１記載の箱状物体の積重
   ね状態認識装置。
3. 【請求項３】 上記透視変換手段は，上記ローカル座標
   系にて表される情報を上記撮像手段の撮像面上の座標系
   により表される情報に変換する撮像座標系変換手段と，
   上記撮像面上の座標系にて表される情報と画像を記憶す
   るためのメモリに設定されたメモリ座標系変換手段とを
   含み，上記透視変換した情報を上記メモリ座標系にて表
   わして出力する請求項２記載の箱状物体の積重ね状態認
   識装置。
4. 【請求項４】 上記撮像手段は，荷物搬送用のパレット
   上を上方から撮像し，上記３次元位置情報は，上記パレ
   ット上に載置された複数の箱状物体の高さが略同一であ
   る場合に，複数段に積重ねられた箱状物体の各段の上面
   の外形線の位置を表す上面外形線情報であり，上記エッ
   ジ検出手段は，上記撮像手段により上記パレットの上方
   から撮像された画像に対し，上記上面外形線情報に基づ
   く上記濃淡エッジの強度検出を上記複数段の段ごとに順
   次行い，上記存在判定手段は，上記エッジ検出手段から
   の上記段ごとの検出結果に基づいて上記パレット上の上
   記箱状物体の荷姿を表す情報を出力する請求項３記載の
   箱状物体の積重ね状態認識装置。