JPH1196378A - 積荷位置姿勢認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 細かいピッチで測定位置を変更して、多数の
画像を撮影するので、撮影時間が長くなる。また、認識
対象の画像データも膨大になり、認識の所要時間が非常
に長くなる。積荷の位置及び姿勢を認識する装置におい
て、撮影及び認識の所要時間を短縮することを目的とす
る。 【解決手段】 認識対象物の形状の種別と大きさを示す
情報ＴＢ１を、形状情報出力手段５０から入力する。こ
の形状と大きさに基づいて、測定ピッチを決定する。測
定ピッチに基づいて、撮影回数Ｈｎを決定し、複数フレ
ームの２次元画像情報を取得する。取得した複数フレー
ムの２次元画像情報に基づいて、認識対象物の位置及び
姿勢の少なくとも一方を認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パレット等に積載
された積荷の位置と姿勢を、画像処理により自動認識す
るための積荷位置姿勢認識装置に関する。

【０００２】

【従来の技術】一般に、積荷のような物体を認識する場
合には、テレビカメラを用いて物体の外観を撮影する。
この撮影により得られる２次元画像を、コンピュータで
解析し、パターンマッチングなどの方法で、認識処理さ
れる。また、光切断法と呼ばれる方法では、認識対象物
の立体的な特徴を検出するために、スリット状の照明光
を用いる。即ち、スリット光を物体に照射し、スリット
光で照明された領域の画像を、光源とは異なる位置のカ
メラで撮影する。

【０００３】撮影される画像には、スリット光で照明さ
れる領域の、凹凸形状を示す情報が含まれる。また、ス
リット光の照明位置を少しずつ移動しながら各々の照明
位置について撮影を実施して、多数の画像情報を得る。
これにより、物体の立体形状の情報が得られる。

【０００４】

【発明が解決しようとする課題】前記光切断法を用いる
ことにより、物体の立体形状を比較的精密に測定できる
ので、比較的高い精度で物体の認識が可能である。しか
しながら、この種の物体認識は、認識に長い時間を必要
とするので、実用性が低いのが実状である。例えば、測
定分解能が２ｍｍである場合に、１ｍの範囲の認識をす
るためには、２ｍｍ毎に撮影をするので、５００回の撮
影により得られる５００フレームの画像情報を全て処理
する必要がある。従って、一般的なテレビカメラを用い
ると、画像の撮影だけで約１６．５秒かかる。また、例
えば、画像の１フレームの処理時間を０．２５秒とすれ
ば、５００フレームの画像全てを処理するのに、１２５
秒かかる。

【０００５】また、テレビカメラで撮影して得られる２
次元画像情報の各フレームは、多数の画素で構成される
ので、この２次元画像情報から認識対象物の各種特徴情
報を検出するためには、膨大な処理を実行する必要があ
る。従って、特別な画像処理用ハードウェアを用意した
り、高性能のコンピュータを用いたとしても、認識所要
時間を実用的なレベルまで短縮するのは難しい。

【０００６】また、積荷などの物体の形状を認識する場
合には、認識成功率が低い場合が多く、実用化が困難で
ある。本発明は、認識の所要時間を短縮するとともに、
高い認識成功率を得ることを目的とする。

【０００７】

【課題を解決するための手段】請求項１の積荷位置姿勢
認識装置は、認識対象物に、スリット状の照明光を照射
する光源手段と、前記光源手段の照明光で照明された領
域を含む、認識対象物の２次元画像を撮影する撮像手段
と、前記認識対象物上の照明光が照射される測定対象領
域を変更する走査手段と、予め特定された前記認識対象
物の、少なくとも形状の種別と大きさを示す情報を出力
する形状情報出力手段と、前記形状情報出力手段の出力
する、形状の種別と大きさの情報に基づいて、測定ピッ
チを決定する測定ピッチ決定手段と、前記測定ピッチ決
定手段が決定した測定ピッチに基づいて、前記撮像手段
及び前記走査手段の少なくとも一方を制御して、複数の
測定対象領域のそれぞれについて撮影された、複数フレ
ームの２次元画像情報を取得する撮像制御手段と、前記
撮像制御手段が取得した複数フレームの２次元画像情報
に基づいて、前記認識対象物の位置及び姿勢の少なくと
も一方を認識する認識手段を設けたことを特徴とする。

【０００８】請求項２は、請求項１記載の積荷位置姿勢
認識装置において、前記光源手段の光軸方向と前記撮像
手段の撮影方向を固定し、前記２次元画像情報のフレー
ム内における、前記認識対象物の上面位置の近傍に相当
する２次元領域を、前記認識対象物の高さの情報に基づ
いて特定し、特定した２次元領域の情報を抽出する２次
元情報抽出手段を設けたことを特徴とする。

【０００９】請求項３は、請求項２記載の積荷位置姿勢
認識装置において、前記２次元情報抽出手段は、前記認
識対象物の積載段数に応じて、１つ又は複数の２次元領
域を特定し、１つ又は複数の２次元領域の情報を、各々
のフレームから抽出することを特徴とする。請求項４
は、請求項２記載の積荷位置姿勢認識装置において、前
記認識手段は、前記２次元情報抽出手段により抽出され
た、２次元領域の情報に基づいて、前記認識対象物の輪
郭位置を通る、始点と終点で特定される線分を検出する
ことを特徴とする。

【００１０】請求項５は、請求項４記載の積荷位置姿勢
認識装置において、前記認識手段が、検出される前記線
分の、複数の始点もしくは終点を通る直線式を求め、複
数の前記直線式及び複数の前記直線式の延長線上の交点
の位置に基づいて、前記認識対象物を認識することを特
徴とする。請求項６は、請求項１記載の積荷位置姿勢認
識装置において、前記認識手段が、検出される前記線分
の、複数の始点もしくは終点から求められる円の中心点
の位置と、認識対象物の大きさに基づいて、円弧状の領
域を特定し、この円弧状の領域に始点もしくは終点が含
まれる線分の情報に基づいて、前記認識対象物を認識す
ることを特徴とする。

【００１１】請求項７は、請求項１記載の積荷位置姿勢
認識装置において、前記認識手段が、認識対象物の形状
の種別の違いに応じて、認識アルゴリズムを自動的に切
り替えることを特徴とする。

【００１２】（作用） （請求項１）光源手段は、認識対象物に、スリット状の
照明光を照射する。撮像手段は、前記光源手段の照明光
で照明された領域を含む、認識対象物の２次元画像を撮
影する。

【００１３】走査手段は、測定対象領域、即ち、前記認
識対象物上の照明光が照射される領域を変更する。例え
ば、前記光源手段及び撮像手段を移動したり、あるいは
認識対象物を移動することにより、測定対象領域を変更
できる。形状情報記憶手段は、予め特定された前記認識
対象物の、少なくとも形状の種別と大きさを示す情報を
記憶する。

【００１４】例えば、工場などにおいて、様々な寸法の
ダンボール箱やペール缶を多数のパレット上に積載して
ベルトコンベアで移送する場合、一般に、種類の異なる
物を同一のパレット上に混載することはない。また、パ
レットの搬送を管理するホストコンピュータは、各々の
パレット上に積載された物が何であるかを予め特定し、
その物の寸法も把握している。このようなホストコンピ
ュータは、形状情報記憶手段に記憶情報を与えるための
形状情報出力手段として利用できる。

【００１５】測定ピッチ決定手段は、前記形状情報記憶
手段の記憶する、形状の種別と大きさの情報に基づい
て、測定ピッチを決定する。例えば、認識対象物の輪郭
線の形状が直線である場合、その輪郭線を通る線分の傾
きと位置を特定するためには、その線分を通る最低２つ
の点の位置を検出する必要がある。例えば、認識対象物
がダンボール箱の場合、その上面形状が方形なので、そ
の方形の短辺の長さと必要な点の数に基づいて、測定ピ
ッチは次式で算出される。スリット状の照明される領域
の軸と、認識対象物の辺の向きとの傾きをθとする。

【００１６】 測定ピッチ＝（短辺長さ）・tanθ／（必要な点の数） 撮像制御手段は、前記測定ピッチ決定手段が決定した測
定ピッチに基づいて、前記撮像手段及び前記走査手段の
少なくとも一方を制御して、複数の測定対象領域のそれ
ぞれについて撮影された、複数フレームの２次元画像情
報を取得する。認識に必要な点の数が少ない場合、前記
測定ピッチが大きくなるので、取得される２次元画像情
報のフレーム数も少なくなる。つまり、短時間で、画像
の撮影（測定）が完了する。

【００１７】認識手段は、前記撮像制御手段が取得した
複数フレームの２次元画像情報に基づいて、前記認識対
象物の位置及び姿勢の少なくとも一方を認識する。撮像
手段が出力する各フレームの２次元画像情報には、スリ
ット状の照明光で照明された、スリット状の明るい領域
が含まれる。この明るい領域の位置や形状は、認識対象
物の輪郭に沿って変化するので、２次元画像情報から認
識対象物の特徴情報を抽出することができる。

【００１８】物体を認識するためには、一般に、多数の
特徴情報を必要とし、様々な位置で撮影された、多数フ
レームの２次元画像情報を必要とする。しかし、本発明
では、認識対象物の形状の種別と大きさが、予め特定さ
れているので、比較的少ない特徴情報だけで、認識対象
物の位置や姿勢を認識できる。例えば、認識対象物が、
ダンボール箱のような直方体であれば、その上面の輪郭
の矩形の位置と向きが特定できればよい。また、前記矩
形の各辺を通る線分の傾きを特定するためには、前記線
分の位置と一致する最低２つの測定位置で、認識対象物
の輪郭点を求める必要がある。

【００１９】現実的には、ダンボール箱の場合、１０箇
所程度の測定位置における２次元画像情報があれば、そ
れの位置と向きを認識できる。従って、認識に必要な情
報は、従来と比べて遥かに少ない。つまり、短時間で認
識が完了する。 （請求項２）前記光源手段の光軸方向と前記撮像手段の
撮影方向が固定されるので、走査手段の走査方向が、認
識対象物の上面に対して平行であれば、走査によって測
定位置が変化しても、２次元画像情報のフレーム内にお
ける、認識対象物の前記上面の位置（高さ）は変化しな
い。

【００２０】そこで、２次元情報抽出手段は、認識対象
物の高さの情報に基づいて予測される、認識対象物の上
面位置の近傍に相当する２次元領域について、情報を抽
出する。抽出された情報は、１フレームの２次元画像情
報に比べて、遥かに情報量が少ないので、認識処理の対
象となる画像情報の量が低減され、認識処理の所要時間
が短縮される。

【００２１】（請求項３）ダンボール箱などの小型の積
荷は、２段，３段などの複数段に重ねて積載されて搬送
される場合が多い。そして、積載段数に応じて、認識対
象物の上面位置が変わる。積荷が２段以上に積載された
部分では、最上段の積荷の上面位置のみが検出される。

【００２２】そこで、この発明では、前記２次元情報抽
出手段は、認識対象物の積載段数によって特定される高
さに基づいて、１つ又は複数の２次元領域を特定し、１
つ又は複数の２次元領域の情報を、各々のフレームから
抽出する。積荷が多段に積載される場合でも、積荷を認
識できる。 （請求項４）前記２次元情報抽出手段によって抽出され
た２次元領域の情報中には、スリット状の光で照明され
た明るい領域が、連続する明るい画素で構成される線分
として存在する。この線分の始点及び終点の位置は、認
識対象物の上面の輪郭線上にある。この線分を、認識手
段が検出する。各線分の始点と終点が、特徴情報として
利用できる。

【００２３】（請求項５）認識対象物の輪郭線が直線の
場合、検出された前記線分の複数の始点もしくは終点を
結ぶ直線は、前記輪郭線上にある。矩形の輪郭線を通る
互いに傾きの異なる２つの直線の交点は、前記輪郭線の
端点と一致する。つまり、認識対象物がダンボール箱の
ような直方体形状の場合、前記線分を複数求め、これら
の線分の始点又は終点を結ぶ直線式を複数求め、複数の
前記直線式及び複数の前記直線式の延長線上の交点の位
置に基づいて、前記認識対象物を認識できる。

【００２４】（請求項６）例えばペール缶のように、認
識対象物の上面の輪郭線が円形の場合、検出された前記
線分の始点もしくは終点は、輪郭線上、つまり円周上に
ある。従って、複数の線分の始点もしくは終点位置か
ら、前記輪郭線の中心位置を予測できる。認識対象物の
直径などの寸法は、形状情報記憶手段から得られるの
で、予測した中心位置に基づいて、認識対象物の輪郭線
の位置を予測できる。前記線分の始点又は終点が、予測
した輪郭線の近傍、つまり円弧状の領域に含まれる場合
には、その始点又は終点は、輪郭線の認識に利用できる
有効な位置情報になる。この有効な位置情報に基づい
て、認識対象物の位置を認識できる。

【００２５】（請求項７）様々な形状の物を同一のアル
ゴリズムで認識するのは難しい。本発明では、認識対象
物の形状の種別の情報が、形状情報記憶手段から得られ
るので、この情報を参照し、認識対象物の形状に応じ
て、認識アルゴリズムを自動的に切り替える。これによ
り、認識精度が改善される。

【００２６】

【発明の実施の形態】本発明の実施の形態を、図１〜図
２３に示す。この形態は全ての請求項に対応する。図１
は、積荷位置姿勢認識装置１０の機構部と認識対象物の
配置を示す斜視図である。図２は、積荷位置姿勢認識装
置１０の機構部と認識対象物の配置を示す正面図であ
る。図３は、積荷位置姿勢認識装置１０のシステム構成
を示すブロック図である。

【００２７】図４は、パレット６の位置と積荷位置姿勢
認識装置１０の認識範囲を示す平面図である。図５は、
ＣＣＤカメラ４で撮影される画像の１フレームを示す正
面図である。図６は、ＣＣＤカメラ４で撮影される画像
の一部分を示す拡大図である。図７は、積荷位置姿勢認
識装置１０の制御動作を示すフローチャートである。図
８は、図７のステップＳ５の詳細を示すフローチャート
である。図９は、積荷の上面形状とスリット光の撮影位
置の例を示す平面図である。

【００２８】図１０は、積荷の上面形状とスリット光の
撮影位置の例を示す平面図である。図１１は、レーザス
リット光源２とＣＣＤカメラ４と積荷８の位置関係を示
す正面図である。図１２は、図７のステップＳ６の詳細
を示すフローチャートである。図１３は、画像データ，
２次元バッファのデータ及びラインバッファのデータの
並びを示すマップである。図１４は、図７のステップＳ
７の詳細を示すフローチャートである。図１５は、ＣＣ
Ｄカメラ４と積荷８の位置関係を示す側面図である。

【００２９】図１６は、画像データから抽出された複数
の線分情報の位置関係を示す平面図である。図１７は、
画像データから抽出された複数の線分情報の位置関係を
示す平面図である。図１８は、画像データから抽出され
た複数の線分情報の位置関係を示す平面図である。

【００３０】図１９は、画像データから抽出された複数
の線分情報の位置関係を示す平面図である。図２０は、
図７のステップＳ８の詳細を示すフローチャートであ
る。図２１は、図２０のステップＳ７３の詳細を示すフ
ローチャートである。図２２は、図２０のステップＳ７
４の詳細を示すフローチャートである。図２３は、複数
の積荷の認識過程を示す模式図である。

【００３１】この形態においては、請求項１の光源手段
はレーザスリット光源２，３として、撮像手段はＣＣＤ
カメラ４として、走査手段は１軸テーブル５として、形
状情報出力手段はホストコンピュータ５０として、それ
ぞれ具体化されている。また、請求項１の測定ピッチ決
定手段は図８のステップＳ２２，Ｓ２３として、撮像制
御手段は図８のステップＳ３２及び図１２のステップＳ
４８，Ｓ４９として、認識手段は図７のステップＳ８と
して、それぞれ具体化されている。

【００３２】また、請求項２の２次元情報抽出手段は、
図８のステップＳ２５〜Ｓ３１及び図１２のステップＳ
４４として具体化されている。以下、積荷位置姿勢認識
装置１０の構成と動作について説明する。図１及び図２
に示すように、積荷８を積載するためのパレット６は、
ベルトコンベア７上に配置されている。ベルトコンベア
７の駆動により、パレット６は矢印Ｙで示す方向と反対
の方向に搬送される。

【００３３】パレット６の搬送終了位置の上方に、１軸
テーブル５によって支持された測定ユニット１が配置さ
れている。１軸テーブル５は、パレット６の面と平行に
配置されている。１軸テーブル５の駆動により、測定ユ
ニット１の位置を、所定範囲内で、矢印Ｙ方向及びその
反対方向に、パレット６の面に対して平行に移動でき
る。

【００３４】測定ユニット１は、２つのレーザスリット
光源２，３と、ＣＣＤカメラ４を備えている。ＣＣＤカ
メラ４は、２つのレーザスリット光源２，３のほぼ中央
位置に配置されている。レーザスリット光源２，３とＣ
ＣＤカメラ４の相対距離は変化しない。

【００３５】レーザスリット光源２，３は、それぞれ、
スリット状のレーザ光２ａ，３ａを真下、すなわち矢印
Ｚ方向に向けて、図２のように出射する。これらのレー
ザ光２ａ，３ａは、図１に示すように、矢印αで示す軸
方向に広がりを有する、スリット状の光である。つま
り、矢印α方向の軸と平行な線状の領域２ｂのみが、レ
ーザ光２ａで照明される。レーザ光２ａと３ａは、互い
に平行なので、図４に示すように、レーザ光３ａで照明
される領域３ｂも、矢印α方向の軸と平行になる。

【００３６】矢印α方向の軸は、図４に示すように、Ｘ
軸に対して所定角度θだけ傾いている。パレット６上に
積載される積荷８は、通常、矢印Ｘ，Ｙ方向の軸を基準
として、それと積荷８の方向が揃うように、比較的整然
と配置される。従って、レーザ光２ａ，３ａによって照
明されるスリット状の領域２ｂ，３ｂは、積荷８を斜め
に横切るように配置される。

【００３７】なお、２つのレーザスリット光源２，３を
用いたのは、測定の所要時間を短縮するためであり、レ
ーザスリット光源２，３の何れかを省略しても良い。測
定ユニット１は、１軸テーブル５の駆動により、図４に
示す距離Ｌの範囲を移動する。これによって、レーザ光
２ａで照明される領域２ｂは、点Ｐ１の位置から点Ｐ２
の位置まで移動し、レーザ光３ａで照明される領域３ｂ
は、点Ｐ２の位置から点Ｐ３の位置まで移動する。従っ
て、パレット６のＹ方向の全域が測定範囲になる。

【００３８】また、パレット６の停止位置の変動を考慮
して、パレット６のＸ方向の全幅よりも少し大きい範囲
がレーザ光２ａ，３ａで照明されるように予め調整して
ある。同様に、パレット６のＹ方向の全長よりも少し大
きい範囲がレーザ光２ｂ，３ｂで照明されるように予め
調整してある。従って、パレット６上の全ての積荷８
が、測定ユニット１の測定対象になる。

【００３９】ＣＣＤカメラ４は、撮像ユニットにＣＣＤ
を用いたテレビカメラであり、画像を撮影し、撮影した
画像を映像信号として出力する。ＣＣＤカメラ４の視野
は、レーザ光２ａ，３ａで照明される領域２ｂ，３ｂを
全て含んでいる。従って、ＣＣＤカメラ４が出力する画
像には、図５に示すように、領域２ｂに相当するスリッ
ト状の明るい領域９ａと、領域３ｂに相当する明るい領
域９ｂが現れる。

【００４０】図２に示すように、レーザ光２ａ，３ａで
照明される部分に、積荷８が存在する場合、レーザ光２
ａ，３ａの反射する位置の高さが変化する。この高さの
変化は、ＣＣＤカメラ４において、光の入射角の違いと
して現れる。つまり、図５に示す画像中のスリット状の
明るい領域９ａ，９ｂについては、積荷８が存在する部
分と存在しない部分とで、Ｙ方向の位置が変わる。ま
た、積荷８の積載段数の違いによっても、領域９ａ，９
ｂのＹ方向の位置が変わる。

【００４１】レーザ光２ａ，３ａで照明される領域２
ｂ，３ｂが、矢印Ｘの方向に対して所定角度θだけ傾い
ているので、画像中のスリット状の明るい領域９ａ，９
ｂも、Ｘ軸に対して角度θだけ傾いている。画像中のス
リット状の明るい領域９ａ，９ｂの位置情報に基づい
て、認識対象物のそれぞれの上面の輪郭位置を求めるた
めには、領域９ａ，９ｂが認識対象物毎に分離している
ことが望ましい。

【００４２】例えば、認識対象物がダンボール箱の場
合、互いに隣接するダンボール箱が密着した状態で配置
される場合が多い。しかし、通常、ダンボール箱の上面
各辺のエッジ部分は、折り曲げによって丸みを帯びてい
る。また、互いに隣接するダンボール箱の境界には、３
〜４ｍｍ程度の隙間が存在する。この境界の影響が、領
域９ａ，９ｂの形状に現れるので、互いに隣接するダン
ボール箱の境界、つまり輪郭位置を認識できる。

【００４３】ＣＣＤカメラ４の分解能については、互い
に隣接する認識対象物の隙間が認識できるように、隙間
の大きさを考慮して、パレット６の上面において約１．
８ｍｍ／画素となるように定めてある。積荷位置姿勢認
識装置１０は、図３に示すように、レーザスリット光源
２，３，ＣＣＤカメラ４，１軸テーブル５，主制御部１
１，画像処理ユニット１２及び認識処理ユニット１３で
構成されている。

【００４４】画像処理ユニット１２は、ＣＣＤカメラ４
が出力する映像信号を、画素毎の所定のタイミングでサ
ンプリングして量子化し、各画素の明るさが複数ビット
のデータで表現された階調画像データに変換する。少な
くとも１フレームの階調画像データを、画像処理ユニッ
ト１２に内蔵された画像メモリに記憶できる。また、主
制御部１１の制御により、記憶された階調画像データに
対して、所定の画像処理が実施される。

【００４５】認識処理ユニット１３は、画像処理ユニッ
ト１２のデータに基づいて、認識対象物の位置と姿勢を
認識する。処理の内容については、後で詳細に説明す
る。主制御部１１は、制御用のコンピュータを内蔵して
おり、積荷位置姿勢認識装置１０の全体の動作を制御す
る。主制御部１１には、ネットワーク５２を介して、ホ
ストコンピュータ５０が接続されている。また、ピッキ
ングロボットコントローラ５１が、主制御部１１に接続
されている。

【００４６】ホストコンピュータ５０は、様々な積荷の
搬送工程を管理しているので、様々な情報を保持してい
る。この例では、積荷８として、様々な形状及び大きさ
のダンボール箱やペール缶がパレット６上に積載されて
搬送される。但し、同一のパレット６上に、形状や大き
さの異なる積荷８が混載されることはない。

【００４７】ホストコンピュータ５０は、順次に搬送さ
れる多数のパレット６の各々に積載された積荷の形状，
寸法，積載段数等の積荷情報を、パレット６毎に把握
し、保持している。積荷位置姿勢認識装置１０は、前記
積荷情報を、パレット６毎に、ホストコンピュータ５０
から受け取る。この積荷情報に基づいて、積荷位置姿勢
認識装置１０は、積荷８の各々の位置と姿勢を認識す
る。

【００４８】パレット６上の積荷８を、所定のピッキン
グロボットが他の位置に移し替えるために、積荷８の各
々の位置と姿勢の情報が必要なので、積荷位置姿勢認識
装置１０は、認識結果をピッキングロボットコントロー
ラ５１に送る。主制御部１１の制御動作を図７に示す。
図７を参照して、各ステップの内容を説明する。これら
の処理は、全て主制御部１１により実行される。積荷位
置姿勢認識装置１０の電源が投入されると、主制御部１
１は、最初にステップＳ１を実行する。

【００４９】ステップＳ１では、システムの初期化を実
行する。即ち、レーザスリット光源２，３を消灯状態に
制御し、１軸テーブル５を所定の走査開始位置に位置決
めし、内部の通信回路をホストコンピュータ５０との通
信が可能な状態に制御する。ステップＳ２では、ホスト
コンピュータ５０と通信を実施して、認識する全種類の
荷姿情報、即ち積荷の荷姿名称，形状，寸法，１段当た
りの積付個数を取得し、これらの情報を、主制御部１１
の内部メモリに割り当てた荷姿情報テーブルＴＢ１上
に、荷姿名称毎に区分して登録する。

【００５０】ステップＳ３では、パレット６が所定の停
止位置に到着したか否かを識別する。パレット６がベル
トコンベア７で運ばれて、図２に示すように、１軸テー
ブル５の下方の所定の停止位置に到着し、パレット６が
停止すると、次のステップＳ４に進む。ステップＳ４で
は、ホストコンピュータ５０と通信を実施して、到着し
たパレットに関する認識指示情報を取得する。この認識
指示情報には、荷姿名称，積載総個数，移載総個数等の
情報が含まれる。この情報は、主制御部１１に記憶され
る。

【００５１】ステップＳ５では、画像データＦＭの取込
及び特定領域のデータ抽出に必要な各種パラメータ（Ｈ
ｎ，ＬＰｎ，Ｗｎ，Ｖｍ）を算出する。この処理におい
ては、荷姿情報テーブルＴＢ１，認識指示情報から必要
な情報を取得して、それを処理に利用する。ステップＳ
６では、ステップＳ５で算出した各種パラメータに基づ
いて、測定ユニット１をＹ方向に移動しながら、所定間
隔毎の各位置で、ＣＣＤカメラ４により画像の撮影を実
施する。また、画像データＦＭの各フレームから、認識
に必要な情報を抽出する。

【００５２】ステップＳ７では、ステップＳ６で生成さ
れた情報に基づいて、多数の線分データを生成する。こ
の線分データは、認識対象物の上面の輪郭線上に始点と
終点がある線分の情報である。この情報は、線分データ
テーブルＴＢ２上に登録される。ステップＳ８では、認
識処理ユニット１３に対して、認識開始指示を与える。
これに応答して、認識処理ユニット１３は、認識処理を
開始する。即ち、線分データテーブルＴＢ２上のデータ
に基づいて、各認識対象物の位置と姿勢を認識する。

【００５３】ステップＳ９では、ホストコンピュータ５
０に対して、認識完了を通知すると共に、認識結果をピ
ッキングロボットコントローラ５１に送る。ステップＳ
１０では、パレット６上の全ての積荷の処理が完了した
か否かを識別する。完了してなければ、ステップＳ５に
戻って、各種パラメータの算出を行って、上記処理を繰
り返す。全ての積荷の処理が完了した場合には、ステッ
プＳ３に戻り、次のパレット６の到着を待つ。

【００５４】上記ステップＳ５の詳細を、図８に示す。
図８に示す各処理ステップの内容について、以下に説明
する。ステップＳ２１では、積荷情報テーブルＴＢ３の
内容を参照して、現在処理中のパレットに積載された認
識対象物の上面形状が、円形か方形かを識別する。方形
なら次にステップＳ２２に進み、円形なら次にステップ
Ｓ２３に進む。

【００５５】ステップＳ２２では、上面形状が方形なの
で、図９に示す短辺の寸法Ｌｓと定数Ｎｂに基づいて、
測定ピッチＰｏを次式により算出する。 Ｐｏ＝Ｌｓ・ tanθ／(Ｎｂ＋１) ・・・（１） 定数Ｎｂは、この例では３である。つまり、第１式で求
めた測定ピッチＰｏで、測定位置をＹ方向に移動しなが
ら測定を実施すれば、方形の１辺に対して少なくとも３
種類の位置について、スリット状のレーザ光２ａ又は３
ａによって照明された位置が測定される。つまり、各辺
について少なくとも３点の位置情報が得られる。

【００５６】最低２つの点の位置情報があれば、方形の
１辺を通る直線式を求められるので、定数Ｎｂは２でも
良いが、この例では余裕を持たせるために、定数Ｎｂに
３を定めている。ステップＳ２３では、上面形状が円形
なので、図１０に示す直径の寸法Ｄと定数Ｎｃに基づい
て、測定ピッチＰｏを次式により算出する。

【００５７】 Ｐｏ＝Ｄ／((Ｎｃ＋１)cosθ) ・・・（２） 定数Ｎｃは、この例では７である。つまり、第２式で求
めた測定ピッチＰｏで、測定位置をＹ方向に移動しなが
ら測定を実施すれば、円形の上面の少なくとも７種類の
位置について、スリット状のレーザ光２ａ又は３ａによ
って照明された位置が測定される。つまり、半円の円弧
上の位置について、少なくとも７点の位置情報が得られ
る。

【００５８】定数Ｎｃは、最低３でも良いが、７程度で
あれば、十分な精度で、認識対象物の位置を認識でき
る。ステップＳ２４では、ステップＳ２２又はＳ２３で
求めた測定ピッチＰｏと、測定ユニット１の移動ストロ
ークＳＴに基づいて、測定回数Ｈｎを求める。移動スト
ロークＳＴは、図４中の距離Ｌに相当する。

【００５９】例えば、角度θが３０度、移動ストローク
ＳＴが１ｍの場合に、上面形状の短辺の寸法Ｌｓが０．
３ｍのダンボール箱を認識する場合には、測定回数Ｈｎ
は、約２３回になる。ＣＣＤカメラ４によって撮影され
る画像には、例えば図６に示すように、線状の明るい領
域Ａ，Ｂ，Ｃ，Ｄ及びＥが現れる。即ち、図１１に示す
ように、積荷８の有無及び積載段数に応じて、スリット
状のレーザ光２ａの反射位置（高さ）が変化するので、
ＣＣＤカメラ４に入射する光の入射角度が変化する。こ
の入射角度の変化が、画像中の明るい領域の位置変化と
して現れる。

【００６０】つまり、図６に示す明るい領域Ａ，Ｅは、
パレット６上の点Ｐ０に相当し、明るい領域Ｂは、１段
目の積荷８の上面位置Ｐ１’に相当し、明るい領域Ｃ
は、２段目の積荷８の上面位置Ｐ２’に相当する。この
例では、レーザスリット光源２，３の光軸とＣＣＤカメ
ラ４の撮影方向が固定され、測定ユニット１がパレット
６の面に対して平行移動するので、図６に示す明るい領
域Ａ，Ｂ，Ｃ，Ｄ及びＥの位置は、測定ユニット１が移
動しても、ほとんど変化せず、積荷８の高さＨｍと積荷
８の存在位置によって決まる。

【００６１】様々な誤差を考慮すると、１段目，２段目
及び３段目の積荷８の上面でレーザ光２ａが反射する場
合、それぞれ、画像中の明るい領域は、図６中にハッチ
ングで示した平行四辺形の領域内に位置する。寸法のば
らつきがあるので、平行四辺形の各領域は、Ｙ軸方向
に、Ｗ１，Ｗ２及びＷ３の幅を有する。従って、積荷８
の積載段数の最大値が３の場合には、図６に示すＷ１，
Ｗ２及びＷ３の範囲の平行四辺形の領域内の画像データ
があれば、認識ができる。それ以外の画像データは、認
識には不要である。

【００６２】図８のステップＳ２５〜Ｓ３１では、図６
に示すＬＰ０，ＬＰ１，ＬＰ２，ＬＰ３と、Ｗ１，Ｗ
２，Ｗ３を求める。図８においては、図６のＬＰ０，Ｌ
Ｐ１，ＬＰ２，ＬＰ３がＬＰｎで表され、図６のＷ１，
Ｗ２，Ｗ３がＷｎで表されている。ＬＰｎ及びＷｎの数
は、積荷８の積載段数の最大値によって制限される。ス
テップＳ２５では、積荷８の積載段数がＮの場合の、Ｃ
ＣＤカメラ４の中心軸Ｐｃから点ＰｎまでのＹ方向の距
離Ｌｎを、次式により求める。

【００６３】 Ｌｎ＝Ｈｃ・Ｌｏ／（Ｈｃ−Ｈｍ・Ｎ） ［ｍｍ］・・・（３） 点Ｐｎは、ＣＣＤカメラ４と積荷８上面の照明されるス
リット状の領域を結ぶ軸の延長線と、パレット６の上面
との交点であり、図１１の点Ｐ１，Ｐ２に相当する。距
離Ｌｎは、図１１の距離Ｌ１，Ｌ２に相当する。積荷の
高さをＨｍとし、ＣＣＤカメラ４の焦点とパレット６上
面との距離をＨｃとする。

【００６４】ステップＳ２６では、積荷８の積載段数が
Ｎの場合の、積荷８上面におけるＣＣＤカメラ４の分解
能Ａｎを、次式により求める。 Ａｎ＝（Ｈｃ−Ｈｍ・Ｎ）Ａｏ／Ｈｃ ［ｍｍ／画素］・・（４） Ａｏ：パレット上面のＣＣＤカメラ４の分解能ステップ
Ｓ２７では、ステップＳ２５で求めた距離Ｌｎとステッ
プＳ２６で求めた分解能Ａｎから、次式によって画面中
の距離ＬＰｎを求める。

【００６５】 ＬＰｎ＝Ｌｎ／Ａｎ ［画素］ ・・・（５） ステップＳ２８では、積荷８の積載段数がＮの場合の前
記距離Ｌｎについて、パレット６の高さ公差Ｔip及び積
荷８の高さ公差Ｔimを考慮した距離Ｌitn［ｍｍ］を次
式により求める。 Ｌitn＝Ｈｃ・Ｌｏ／(Ｈｃ−(Ｔip＋Ｎ(Ｈｍ＋Ｔim))) ・・（６） ステップＳ２９では、公差Ｔip，Ｔimを考慮して、積荷
８の積載段数がＮの場合の、積荷８上面におけるＣＣＤ
カメラ４の分解能Ａitn［ｍｍ／画素］を、次式により
求める。

【００６６】 Ａitn＝Ａｏ(Ｈｃ−(Ｔip＋Ｎ(Ｈｍ＋Ｔim)))／Ｈｃ ・・（７） ステップＳ３０では、ステップＳ２８で求めた距離Ｌit
nとステップＳ２９で求めた分解能Ａitnから、次式によ
って画面中の距離ＬＰitn［画素］を求める。 ＬＰitn＝Ｌitn／Ａitn ・・・（８） ステップＳ３１では、ステップＳ３０で求めた距離ＬＰ
itnと、ステップＳ２７で求めた距離ＬＰｎに基づい
て、次式により、領域の幅Ｗｎを求める。この領域Ｗｎ
は、図６におけるＷ１，Ｗ２，Ｗ３に相当する。

【００６７】 Ｗｎ＝（ＬＰitn−ＬＰｎ）・２ ・・・（９） ステップＳ３２では、ステップＳ２２又はＳ２３で求め
た測定ピッチＰｏと、予め定めた１画面処理時間Ｔｐに
基づいて、次式により測定ユニット１の移動速度Ｖｍ
［ｍｍ／sec］を算出する。 Ｖｍ＝Ｐｏ／Ｔｐ ・・・（１０） 図７のステップＳ６の詳細を、図１２に示す。図１２を
参照して、各ステップの処理の内容を説明する。

【００６８】ステップＳ４１では、駆動速度を前記第１
０式で算出した速度Ｖｍにセットして、１軸テーブル５
の駆動を開始する。これによって、測定ユニット１が矢
印Ｙ方向に、一定の速度Ｖｍで移動する。ステップＳ４
２では、内部メモリ上に割り当てたカウンタＣＮＴの値
を、０に初期化する。

【００６９】ステップＳ４３では、画像処理ユニット１
２を制御して、ＣＣＤカメラ４が出力する映像信号か
ら、１フレーム（１画面）の画像データＤ１を取り込
む。この画像データＤ１は、画像処理ユニット１２に内
蔵された、フレームメモリＦＭに記憶される。この画像
データＤ１は、画素毎の明るさが複数ビットのデータで
表現された階調データである。

【００７０】また、ステップＳ４３では、現在時刻が記
録される。ステップＳ４４では、フレームメモリＦＭに
記憶された画像データＤ１の中から、認識処理に必要な
領域の２次元データのみを抽出する。例えば、積荷８の
積載段数が２の場合には、図６に示すスリット状の明る
い領域Ｃが含まれる、幅がＷ２の平行四辺形の領域を抽
出する。

【００７１】平行四辺形の領域の中央を通る軸２１の、
Ｘ座標Ｘｉ［画素］とＹ座標Ｙｉ［画素］との関係は、
次式で表される。 Ｙｉ＝tanθ・Ｘｉ＋Ｙｍ／2＋ＬＰｎ／cosθ−Ｘｍ・tanθ／2 ・・（１１） ＬＰｎ： ＬＰ１，ＬＰ２，ＬＰ３，・・・ 従って、０からＸｍまでの各Ｘ座標の位置で、前記第１
１式によりＹ座標Ｙｉを計算し、Ｙｉ−Ｗｎ／２からＹ
ｉ＋Ｗｎ／２までの範囲の各画素のデータを抽出して、
抽出したデータＤ２を、図１３に示すような２次元配列
で、２次元バッファＢＦにコピーする。

【００７２】ステップＳ４５では、２次元バッファＢＦ
に記憶されたデータＤ２を、２値化する。即ち、データ
Ｄ２を画素毎に処理して、各画素の明るさと閾値との大
小関係に応じて、画素の値を１又は０に更新する。使用
する閾値は、次の処理によって算出する。まず、データ
Ｄ２の明るさのヒストグラムを作成する。このヒストグ
ラムの中で最大頻度の明るさＰＫを検出する。このＰＫ
に予め定めた定数を加算した結果を閾値とする。

【００７３】従って、スリット状の照明された領域の画
素については、明るさが大きいので、画素の値が１に更
新され、それ以外の画素については、明るさが小さいの
で、画素の値が０に更新される。ステップＳ４６では、
ステップＳ４５で２値化された２次元データＤ２を次の
ように処理して、１次元データに変換する。ＢＦ上で同
一のＸ座標に位置するＷｎ個の画素の２値データを参照
し、値が１の画素が１つ以上含まれる場合には、値が１
の画素を変換結果とし、Ｗｎ個の全画素の値が０の場合
には、値が０の画素を変換結果とする。この処理を、０
からＸｍまでの全てのＸ座標について実行する。変換結
果は、ラインバッファＬＢＦに記憶する。

【００７４】ラインバッファＬＢＦには、図１３に示す
ような１次元データＤ３を記憶する領域が、多数設けて
ある。ステップＳ４６で順次に生成される多数の１次元
データＢ３は、ラインバッファＬＢＦ上の互いに異なる
位置に配置される。ステップＳ４７では、前記カウンタ
ＣＮＴの内容を更新する。つまり、カウンタＣＮＴは、
ステップＳ４３からＳ４６の処理を実行する度に更新さ
れるので、カウンタＣＮＴの値は、処理した画像のフレ
ーム数、即ち測定の回数を示す。

【００７５】ステップＳ４８では、ステップＳ４３で記
録した時刻と現在時刻とを比較して、所定時間Ｔｐが経
過したか否かを調べる。時間Ｔｐは、ステップＳ４３か
らＳ４６の処理を実行するのに要する所要時間より少し
大きい時間であり、予め決定され、定数として保持され
ている。ステップＳ４９では、カウンタＣＮＴの値を、
図８に示すステップＳ２４で決定した測定回数Ｈｎと比
較する。カウンタＣＮＴの値が測定回数Ｈｎより小さい
場合には、ステップＳ４３に戻り、カウンタＣＮＴの値
が測定回数Ｈｎに達したら、次のステップＳ５０に進
む。

【００７６】つまり、ステップＳ４３からＳ４９までの
処理が、測定回数Ｈｎと同じ回数だけループ状に繰り返
し実行される。従って、測定回数Ｈｎと同じフレーム数
の画像が取り込まれ、処理される。ステップＳ４３から
Ｓ４９までの処理は、時間Ｔｐの周期で繰り返される。
測定ユニット１の移動速度Ｖｍは、前記第１０式で算出
されるので、時間Ｔｐの間に、測定ユニット１は、前記
測定ピッチＰｏだけ移動する。

【００７７】つまり、測定位置が測定ピッチＰｏ移動す
る毎に、画像の撮影、即ち測定が実施される。従って、
図９及び図１０に示すように、測定ピッチＰｏ毎に、ス
リット状に照明された明るい領域９ａ，９ｂの情報が得
られる。ステップＳ５０では、１軸テーブル５の駆動を
制御し、測定ユニット１を測定開始位置まで戻してその
位置で止める。

【００７８】図７に示すステップＳ７の詳細を図１４に
示す。図１４を参照して、各処理ステップの内容を説明
する。ステップＳ６１では、ラインバッファＬＢＦに記
憶された多数の１次元データＢ３を順次に処理し、それ
ぞれの１次元データについて、それに含まれる有効な線
分情報の始点と終点を、画素単位の位置データとして、
テーブルＰＬＢに登録する。

【００７９】ステップＳ６２では、テーブルＰＬＢに登
録された全ての線分の情報について、各線分の始点と終
点の座標を、被写体の物理位置に変換する。変換後の座
標の単位はｍｍである。変換結果は、テーブルＡＬＢに
登録する。Ｘ軸方向についてみると、図１５に示すよう
に、ＣＣＤカメラ４の視野の左端位置は、パレット上面
で点Ｘｏの位置になる。また、積荷８の上面の高さで
は、ＣＣＤカメラ４の視野の左端位置は、点Ｏhmの位置
になる。点Ｘｏと点ＯhmのＸ方向の距離ＯＦｘは、次式
で表される。

【００８０】 ＯＦｘ＝(Ａｏ−Ａｎ)・ＸＰｍ／２ ・・・（１２） Ａｏ：パレット上面のカメラ分解能 Ａｎ：最上部の積荷８の上面でのカメラ分解能 ＸＰｍ：カメラ画像の水平方向(Ｘ方向)最大画素数 カメラ画像の最左端からｉ番目の画素のＸ方向位置は、
パレット上面において、点Ｘｏから距離Ｘｉの位置に相
当する。距離Ｘｉは、次式で求められる。

【００８１】 Ｘｉ＝Ａｎ・ｉ＋ＯＦｘ ［ｍｍ］ ・・・（１３） １軸テーブル５の駆動により、ＣＣＤカメラ４の撮影位
置がＹ方向に移動するので、撮影位置のＹ方向の物理位
置を求める際には、ＣＣＤカメラ４の移動量を考慮する
必要がある。先頭からｉ番目の画像フレームにおけるＣ
ＣＤカメラ４の移動量Ｙｉは、次式で表される。

【００８２】 Ｙｉ＝Ｖｍ・ＴＳｉ ［ｍｍ］ ・・・（１４） Ｖｍ：１軸テーブル５の駆動速度 ＴＳｉ：測定開始時からｉ番目の画像を撮影するまでの
経過時間 ステップＳ６３では、テーブルＡＬＢに登録された全て
の線分の情報について、各線分の始点と終点の座標系
を、認識で使用する座標系に変換する。変換結果は、線
分データテーブルＴＢ２に登録する。

【００８３】図７のステップＳ８で、積荷の認識処理が
開始されると、認識処理ユニット１３は、線分データテ
ーブルＴＢ２に登録されたデータを処理して、最上段に
位置する全ての積荷を認識するために、所定の認識処理
を実行する。この認識処理の内容を、図２０に示す。図
２０を参照して、認識処理ユニット１３の動作を説明す
る。

【００８４】ステップＳ７１では、線分データテーブル
ＴＢ２に登録されたデータを取り出し、全ての線分の始
点及び終点に、各々を特定するための順次参照番号をつ
ける。また、所定のノイズ除去処理を実行して、データ
に含まれるノイズ成分を除去する。ステップＳ７２で
は、図７に示す荷姿情報テーブルＴＢ１に保持された荷
姿情報に基づいて、現在処理中の認識対象物の上面形状
が、方形か円形かを識別する。方形なら、次にステップ
Ｓ７３に進み、円形なら、次にステップＳ７４に進む。

【００８５】ステップＳ７３では、特定の１つの積荷に
ついて、位置と姿勢を認識し、重心の座標と姿勢の角度
を求める。認識に成功すると、その積荷の領域に含まれ
る線分の情報を削除し、認識対象のデータ群を更新す
る。また、更新前のデータ群は、そのまま更新履歴とし
て保存する。更新履歴には、更新順序を示す参照番号を
つける。

【００８６】例えば図２３の（イ）に示すように、３つ
の積荷に対応する情報６１，６２，６３が存在する場合
に、情報６１に対する認識に成功すると、図２３の
（ロ）に示すように、情報６１は削除され、情報６２及
び６３が残る。

【００８７】ステップＳ７３の処理の詳細は、図２１に
示されている。これについては、後で詳細に説明する。
ステップＳ７４では、特定の１つの積荷について、位置
を認識し、その中心位置を求める。認識に成功すると、
その積荷の領域に含まれる線分の情報を削除し、認識対
象のデータ群を更新する。また、更新前のデータ群は、
そのまま更新履歴として保存する。更新履歴には、更新
順序を示す参照番号をつける。

【００８８】ステップＳ７４の処理の詳細は、図２２に
示されている。これについては、後で詳細に説明する。
ステップＳ７５では、ステップＳ７３又はＳ７４におけ
る認識処理において、認識が成功したか否かを識別す
る。成功の場合には、次にステップＳ７６に進み、失敗
の場合には、Ｓ７８に進む。

【００８９】ステップＳ７６では、残りの線分情報が存
在するか否かを識別する。未処理の線分情報が残ってい
る場合には、ステップＳ７２に戻って認識処理を繰り返
す。全ての線分情報の処理が完了している場合には、ス
テップＳ７７に進む。ステップＳ７７では、認識成功と
見なし、それを記録する。そして、この認識処理を終了
する。

【００９０】ステップＳ７８では、積荷情報テーブルＴ
Ｂ１に保持された荷姿情報に基づいて、現在処理中の認
識対象物の上面形状が、長方形か否かを識別する。上面
形状が長方形なら、認識のやり直しが可能な場合がある
ので、次にステップＳ７９に進む。上面形状が正方形又
は円形なら、認識の失敗が確定的なので、次にステップ
Ｓ８０に進む。

【００９１】ステップＳ７９では、認識のやり直しが可
能か否かを識別する。隣接する複数パターンの境界位置
を間違えると、例えば、図２３に示す（ロ）の状態のデ
ータに対して（ハ）に示すような認識を実施する可能性
があり、情報６３の認識に失敗する。しかし、隣接する
複数パターンの境界位置を変更すれば、図２３の（ニ）
に示すような正しい認識が可能である。

【００９２】このような可能性が、ステップＳ７９で識
別される。認識のやり直しが可能な場合には、認識対象
のデータ群について、更新履歴を調べて、更新前の状態
に戻す。つまり、誤って削除されたデータを復元する。
例えば、間違った認識処理によって、データが図２３に
示す（ハ）の状態になった場合には、図２３に示す
（ロ）の状態に戻す。

【００９３】ステップＳ８０では、認識に失敗したこと
を記録して、この認識処理を終了する。例えば図２３に
示すデータを処理する場合、情報６１，６２及び６３の
それぞれのパターンの認識に成功すると、（ホ）に示す
ように、情報６１，６２及び６３が全て削除され、認識
が終了する。

【００９４】上記ステップＳ７３の、方形単品位置姿勢
認識の詳細を図２１に示す。図２１を参照して各処理ス
テップの内容を説明する。また、一例として、図１６及
び図１７に示す多数の線分データを処理する場合につい
て説明する。図１６及び図１７は、互いに隣接する位置
に配置された、２つの積荷８ａ，８ｂを１０回撮影して
得られた線分Ｌ１〜Ｌ１４を示している。Ｒ１〜Ｒ１０
は、互いに異なる撮影時点における各スリット光の位置
を示している。各スリット光の位置Ｒ１〜Ｒ１０の間隔
は、測定ピッチＰｏである。

【００９５】ステップＳ８１では、多数の線分Ｌ１〜Ｌ
１４の始点の中でＸ座標が最小のものを検出し、それを
認識基準点とする。図１６においては、線分Ｌ４の始点
である点Ａが、認識基準点に相当する。ステップＳ８２
では、まず、Ｘ軸の方向に対してプラス９０度からマイ
ナス９０度までの範囲を、予め定めた有限数で分割し、
多数の方向を決定する。次に、認識基準点Ａから決定し
た様々な方向に向かう多数の直線の式を生成する。

【００９６】ステップＳ８３では、ステップＳ８２で生
成した多数の直線のそれぞれについて、直線上に存在す
る始点の数Ｎｓを求める。そして、互いに方向の異なる
多数の直線のうち、始点の数Ｎｓがもっとも大きい直線
を、基準線とする。図１６においては、太い実線で示し
たＫ１が基準線である。つまり、基準線Ｋ１は、積荷８
ａの輪郭の一辺と重なる直線である。基準線Ｋ１を求め
るためには、始点の数Ｎｓが２以上でなければならな
い。従って、積荷８ａの輪郭の一辺と交差するスリット
光も、２本以上必要である。

【００９７】ステップＳ８４では、まず、認識基準点Ａ
と隣接し、且つ基準線Ｋ１と交差しないスリット光の位
置Ｒ５を検出する。次に、位置Ｒ５のスリット光によっ
て得られた線分の始点のうち、Ｘ座標が最小の第２基準
点を求める。図１６においては、線分Ｌ５の始点Ｂが第
２基準点である。次に、第２基準点Ｂを通り、且つ基準
線Ｋ１と９０度の角度をなす直線を、第２基準線として
検出する。図１６においては、Ｋ２が第２基準線であ
る。さらに、第２基準線Ｋ２上にある始点の数Ｍを求め
る。

【００９８】ステップＳ８５では、まず、基準線Ｋ１を
示す方程式と第２基準線Ｋ２を示す方程式に基づいて、
それらの延長線上の交点を輪郭の頂点として求める。例
えば、図１７においては、積荷８ａの頂点Ｃが求められ
る。次に、基準線Ｋ１の長さＤ１０と第２基準線Ｋ２の
長さＤ２０を求める。更に、認識に必要な各点の間の距
離を算出する。例えば、図１７においては、Ｄ１１，Ｄ
１２，Ｄ２１，Ｄ２２，Ｄ１及びＤ２の距離を求める。

【００９９】次に、求められた距離Ｄ１，Ｄ２と、積荷
情報テーブルＴＢ３に保持された荷姿情報に含まれる寸
法（上面の方形の短辺と長辺の長さ）の情報との比較に
より、パターンマッチングを実施する。このパターンマ
ッチングでは、まず、距離Ｄ１，Ｄ２に基づいて、認識
基準点Ａ付近における積荷の配置可能性を識別する。距
離Ｄ１，Ｄ２が、共に積荷の長辺長さ以上である場合、
例えば図１７に示す積荷８ａ，８ｃのように、互いに向
きの異なる２通りの状態で、積荷を配置可能と識別す
る。

【０１００】また、距離Ｄ１，Ｄ２の何れか一方が、長
辺長さ以上で、且つ他方が短辺長さ以上の場合には、１
種類の姿勢でのみ積荷を配置可能と識別する。例えば、
図１７の場合、積荷８ａ，８ｃの何れか一方の姿勢で、
積荷を配置可能と識別する。距離Ｄ１，Ｄ２がいずれも
長辺長さに満たない場合には、認識基準点Ａの近くに積
荷を配置できないので、パターンが一致しないものとみ
なす。

【０１０１】認識基準点Ａ付近に積荷を配置可能な場
合、更に次の処理を実施する。まず、配置可能な特定の
姿勢（８ａ又は８ｃ）について、基準線Ｋ１及び第２基
準線Ｋ２に沿って積荷を配置した場合の、積荷の輪郭線
と、各位置Ｒ０〜Ｒ１１のスリット光の軸との交点を輪
郭点とし、輪郭点の各々の座標値を求める。また、これ
らの輪郭点の数をＱとする。

【０１０２】線分のデータ（図１６のＬ１〜Ｌ１４）の
各々の終点の座標を参照し、前記各輪郭点の近傍に存在
する終点の数Ｒを計数する。輪郭点の数Ｑと一致した終
点の数Ｒとの比率Ｒ／Ｑを調べ、比率Ｒ／Ｑが予め定め
た閾値以上の場合には、パターンが一致したとみなし、
比率Ｒ／Ｑが閾値未満であれば、パターンが一致しない
とみなす。

【０１０３】認識基準点Ａ付近に積荷を２種類の姿勢で
配置可能な場合には、２種類のそれぞれの姿勢について
比率Ｒ／Ｑを求め、何れか大きい方の比率Ｒ／Ｑを閾値
と比較する。ステップＳ８６では、ステップＳ８５で実
施したパターンマッチングの結果を識別する。ステップ
Ｓ８５でパターンの一致を検出した場合には、次にステ
ップＳ８９に進み、パターンが一致しない場合には、ス
テップＳ８７に進む。

【０１０４】ステップＳ８７では、ステップＳ８５で調
べた姿勢以外に、積荷を配置可能な姿勢が存在するか否
かを識別する。例えば、図１７に示す積荷８ａについて
パターンが一致しない場合には、積荷８ａと姿勢が９０
度異なる積荷８ｃについて、パターンが一致する可能性
があるので、認識処理を再度実行するために、ステップ
Ｓ８８に進む。積荷を配置可能な姿勢が１種類だけの場
合には、ステップＳ９２に進む。

【０１０５】ステップＳ８８では、認識対象の積荷の姿
勢を９０度変更するように、所定の指示情報を記録し、
ステップＳ８５に戻る。ステップＳ８９では、積荷の認
識に成功したので、前述の基準線Ｋ１，第２基準線Ｋ２
及び交点Ｃの情報と、積荷の寸法及び形状情報に基づい
て、認識した積荷の重心の位置と、姿勢の角度を算出す
る。

【０１０６】ステップＳ９０では、認識対象の線分デー
タの中から、認識した積荷に対応する線分を削除する。
例えば、図１６に示すように、線分Ｌ１〜Ｌ１４が含ま
れる線分データを処理して、積荷８ａを認識した場合に
は、線分Ｌ１〜Ｌ７を削除する。これらの線分の削除に
よって線分データが更新されるが、更新前の情報は、履
歴として、そのまま保存する。

【０１０７】ステップＳ９１では、認識の成功を記録
し、この方形単品位置姿勢認識処理を終了する。ステッ
プＳ９２では、認識の失敗を記録し、この方形単品位置
姿勢認識処理を終了する。図２０にステップＳ７４とし
て示される、円形単品位置認識の詳細を図２２に示す。
図２２を参照して各処理ステップの内容を説明する。ま
た、一例として、図１８及び図１９に示すような、多数
の線分データを処理する場合について説明する。

【０１０８】図１８及び図１９は、互いに隣接する位置
に配置された、２つの積荷８ｄ，８ｅを１２回撮影して
得られた線分Ｌ１〜Ｌ１４を示している。Ｒ１〜Ｒ１２
は、互いに異なる撮影時点における各スリット光の位置
を示している。各スリット光の位置Ｒ１〜Ｒ１２の間隔
は、測定ピッチＰｏである。ステップＳ９３では、多数
の線分Ｌ１〜Ｌ１４の始点の中でＸ座標が最小のものを
検出し、それを認識基準点とする。図１８及び図１９に
おいては、線分Ｌ４の始点である点Ａが、認識基準点に
相当する。

【０１０９】ステップＳ９４では、まず、荷姿情報テー
ブルＴＢ１に保持された荷姿情報に含まれる積荷上面の
半径Ｒｃと、ステップＳ９３で求めた認識基準点Ａの座
標に基づいて、積荷８ｄの仮中心点Ｏ１の座標を求め
る。次に、積荷８ｄの輪郭位置が含まれる円弧状の領域
３０を決定する。この領域３０は、仮中心点Ｏ１が中心
で半径がＲａの円弧３１と、仮中心点Ｏ１が中心で半径
がＲｂの円弧３２とで挟まれる領域である。半径Ｒａ，
Ｒｂは、次式により決定する。また、領域３０は、Ｘ方
向の範囲が、認識基準点Ａと仮中心点Ｏ１の間に制限さ
れる。

【０１１０】 Ｒａ＝Ｒｃ−Ｐｏ／２ ・・・（１５） Ｒｂ＝Ｒｃ＋Ｐｏ／２ ・・・（１６） Ｐｏ：測定ピッチ 次に、線分Ｌ１〜Ｌ１４のデータのうち、円弧状の領域
３０内に存在する始点を、スリット光の各位置（Ｒ１〜
Ｒ７）について検出する。同一のスリット光の位置に、
複数の始点が含まれる場合には、Ｘ座標が最小の点のみ
を採用する。

【０１１１】ステップＳ９５では、まず、前のステップ
Ｓ９４で検出した、領域３０内の始点群の座標に基づい
て、積荷８ｄの中心点Ｏ２を算出する。なお、中心点Ｏ
２の座標を求めるためには、領域３０に含まれる始点が
少なくとも３点必要である。従って、上面形状が円形の
積荷８ｄ，８ｅを認識するためには、各々の積荷につい
て少なくとも３つの位置で、スリット光を撮影する必要
がある。

【０１１２】次に、中心点Ｏ２を中心とし、半径がＲｃ
の円Ｃ１を求める。更に、スリット光の各位置Ｒ１〜Ｒ
１２について、それらと円Ｃ１との交点を、輪郭点とし
て求める。求めた輪郭点の数をＱとする。更に、線分Ｌ
１〜Ｌ１４の始点及び終点の各座標を調べ、これらの始
点及び終点が、前記輪郭点の近傍に存在するか否かを識
別する。そして、輪郭点の近傍に存在する始点及び終点
の総数Ｒを求める。

【０１１３】そして、比率Ｒ／Ｑを予め定めた閾値と比
較し、比率Ｒ／Ｑが閾値以上であれば、パターンが一致
したとみなし、比率Ｒ／Ｑが閾値未満なら、パターンが
不一致とみなす。ステップＳ９６では、ステップＳ９５
の処理の結果、パターンが一致したか否かを識別する。
パターンが一致した場合には、次にステップＳ９７に進
み、不一致なら次にステップＳ１００に進む。

【０１１４】ステップＳ９７では、ステップＳ９５で求
めた各輪郭点の座標と、その近傍に存在する始点又は終
点の座標とに基づいて、前記中心点Ｏ２の座標を補正す
る。補正された中心点Ｏ２を、認識した積荷の重心位置
とする。ステップＳ９８では、認識対象の線分データの
中から、ステップＳ９５で認識された積荷に対応する線
分の情報を削除する。例えば図１９に示すような線分デ
ータを処理して、積荷８ｄを認識した場合には、線分Ｌ
１〜Ｌ７の情報が削除される。

【０１１５】ステップＳ９９では、認識の成功を記録し
て、この円形単品位置認識の処理を終了する。ステップ
Ｓ１００では、認識の失敗を記録して、この円形単品位
置認識の処理を終了する。なお、この実施の形態では、
積荷の撮影位置を走査するために、レーザスリット光源
２，３及びＣＣＤカメラ４の位置を移動しているが、こ
れらの位置を固定して、例えばパレット６を一定速度で
移動しながら撮影するように、構成及び動作を変更して
もよい。

【０１１６】

【発明の効果】

（請求項１）本発明では、認識対象物の形状の種別と大
きさが、予め特定されているので、比較的少ない特徴情
報だけで、認識対象物の位置や姿勢を認識できる。従っ
て、スリット光で照明される領域の撮影ピッチ（Ｐｏ）
が大きくなり、撮影回数（Ｈｎ）は少なくなる。また、
認識処理の対象となる画像の情報量も大幅に低減される
ので、認識所要時間が、従来の装置に比べて遥かに短縮
される。

【０１１７】（請求項２）２次元情報抽出手段が抽出す
る２次元領域の情報は、１フレームの２次元画像情報に
比べて、遥かに情報量が少ないので、認識処理の対象と
なる画像情報の量が低減され、認識処理の所要時間が短
縮される。 （請求項３）積荷が２段以上に重ねて積載される場合で
も、最上段の積荷の上面位置を特定できるので、確実に
積荷を認識できる。

【０１１８】（請求項４）認識対象物の輪郭線上に始点
及び終点が存在する多数の線分の情報を、特徴情報とし
て利用できる。 （請求項５）認識対象物の輪郭線の頂点を、複数の線分
の始点もしくは終点から予測するので、例えば実際の認
識対象物の角部分に、つぶれや変形が生じた場合でも、
頂点の位置として、変形前の位置に近い位置情報が得ら
れる。従って、認識精度が向上する。

【０１１９】（請求項６）認識対象物の輪郭線の中心位
置を、複数の線分の始点もしくは終点から予測するの
で、例えば実際の認識対象物の輪郭線上の一部に、つぶ
れや変形が生じた場合でも、比較的正確な中心位置の情
報が得られる。従って、高い認識精度が得られる。

【０１２０】（請求項７）様々な形状の積荷の位置や姿
勢を同一のアルゴリズムで認識するのは難しい。本発明
では、認識対象物の形状の種別の情報が、形状情報出力
手段から得られるので、この情報を参照し、認識対象物
の形状に応じて、認識アルゴリズムを自動的に切り替え
る。従って、認識精度が大幅に改善される。

【図面の簡単な説明】

【図１】積荷位置姿勢認識装置１０の機構部と認識対象
物の配置を示す斜視図である。

【図２】積荷位置姿勢認識装置１０の機構部と認識対象
物の配置を示す正面図である。

【図３】積荷位置姿勢認識装置１０のシステム構成を示
すブロック図である。

【図４】パレット６の位置と積荷位置姿勢認識装置１０
の認識範囲を示す平面図である。

【図５】ＣＣＤカメラ４で撮影される画像の１フレーム
を示す正面図である。

【図６】ＣＣＤカメラ４で撮影される画像の一部分を示
す拡大図である。

【図７】積荷位置姿勢認識装置１０の制御動作を示すフ
ローチャートである。

【図８】図７のステップＳ５の詳細を示すフローチャー
トである。

【図９】積荷の上面形状とスリット光の撮影位置の例を
示す平面図である。

【図１０】積荷の上面形状とスリット光の撮影位置の例
を示す平面図である。

【図１１】レーザスリット光源２とＣＣＤカメラ４と積
荷８の位置関係を示す正面図である。

【図１２】図７のステップＳ６の詳細を示すフローチャ
ートである。

【図１３】画像データ，２次元バッファのデータ及びラ
インバッファのデータの並びを示すマップである。

【図１４】図７のステップＳ７の詳細を示すフローチャ
ートである。

【図１５】ＣＣＤカメラ４と積荷８の位置関係を示す側
面図である。

【図１６】画像データから抽出された複数の線分情報の
位置関係を示す平面図である。

【図１７】画像データから抽出された複数の線分情報の
位置関係を示す平面図である。

【図１８】画像データから抽出された複数の線分情報の
位置関係を示す平面図である。

【図１９】画像データから抽出された複数の線分情報の
位置関係を示す平面図である。

【図２０】図７のステップＳ８の詳細を示すフローチャ
ートである。

【図２１】図２０のステップＳ７３の詳細を示すフロー
チャートである。

【図２２】図２０のステップＳ７４の詳細を示すフロー
チャートである。

【図２３】複数の積荷の認識過程を示す模式図である。

【符号の説明】

１ 測定ユニット ２，３ レーザスリット光源 ２ａ，３ａ レーザ光 ２ｂ，３ｂ 照明されるスリット状の領域 ４ ＣＣＤカメラ ５ １軸テーブル ６ パレット ７ ベルトコンベア ８ 積荷 ９ａ，９ｂ スリット状の明るい領域 １０ 積荷位置姿勢認識装置 １１ 主制御部 １２ 画像処理ユニット １３ 認識処理ユニット ５０ ホストコンピュータ ５１ ピッキングロボットコントローラ ５２ ネットワーク

フロントページの続き (72)発明者 小倉 宏明 神奈川県横浜市磯子区新磯子町27番地 株 式会社新潟鐵工所開発センター制御技術部 内 (72)発明者 植村 敏幸 神奈川県横浜市磯子区新磯子町27番地 株 式会社新潟鐵工所開発センター制御技術部 内 (72)発明者 高橋 裕輝 神奈川県横浜市磯子区新磯子町27番地 株 式会社新潟鐵工所開発センター制御技術部 内

Claims (7)

【特許請求の範囲】
1. 【請求項１】 認識対象物に、スリット状の照明光を照
   射する光源手段と、 前記光源手段の照明光で照明された領域を含む、認識対
   象物の２次元画像を撮影する撮像手段と、 前記認識対象物上の照明光が照射される測定対象領域を
   変更する走査手段と、 予め特定された前記認識対象物の、少なくとも形状の種
   別と大きさを示す情報を記憶する形状情報記憶手段と、 前記形状情報記憶手段の記憶する、形状の種別と大きさ
   の情報に基づいて、測定ピッチを決定する測定ピッチ決
   定手段と、 前記測定ピッチ決定手段が決定した測定ピッチに基づい
   て、前記撮像手段及び前記走査手段の少なくとも一方を
   制御して、複数の測定対象領域のそれぞれについて撮影
   された、複数フレームの２次元画像情報を取得する撮像
   制御手段と、 前記撮像制御手段が取得した複数フレームの２次元画像
   情報に基づいて、前記認識対象物の位置及び姿勢の少な
   くとも一方を認識する認識手段を設けたことを特徴とす
   る積荷位置姿勢認識装置。
2. 【請求項２】 請求項１記載の積荷位置姿勢認識装置に
   おいて、前記光源手段の光軸方向と前記撮像手段の撮影
   方向を固定し、前記２次元画像情報のフレーム内におけ
   る、前記認識対象物の上面位置の近傍に相当する２次元
   領域を、前記認識対象物の高さの情報に基づいて特定
   し、特定した２次元領域の情報を抽出する２次元情報抽
   出手段を設けたことを特徴とする積荷位置姿勢認識装
   置。
3. 【請求項３】 請求項２記載の積荷位置姿勢認識装置に
   おいて、前記２次元情報抽出手段は、前記認識対象物の
   積載段数に応じて、１つ又は複数の２次元領域を特定
   し、１つ又は複数の２次元領域の情報を、各々のフレー
   ムから抽出することを特徴とする積荷位置姿勢認識装
   置。
4. 【請求項４】 請求項２記載の積荷位置姿勢認識装置に
   おいて、前記認識手段は、前記２次元情報抽出手段によ
   り抽出された、２次元領域の情報に基づいて、前記認識
   対象物の輪郭位置を通る、始点と終点で特定される線分
   を検出することを特徴とする積荷位置姿勢認識装置。
5. 【請求項５】 請求項４記載の積荷位置姿勢認識装置に
   おいて、前記認識手段が、検出される前記線分の、複数
   の始点もしくは終点を通る直線式を求め、複数の前記直
   線式及び複数の前記直線式の延長線上の交点の位置に基
   づいて、前記認識対象物を認識することを特徴とする積
   荷位置姿勢認識装置。
6. 【請求項６】 請求項１記載の積荷位置姿勢認識装置に
   おいて、前記認識手段が、検出される前記線分の、複数
   の始点もしくは終点から求められる円の中心点の位置
   と、認識対象物の大きさに基づいて、円弧状の領域を特
   定し、この円弧状の領域に始点もしくは終点が含まれる
   線分の情報に基づいて、前記認識対象物を認識すること
   を特徴とする積荷位置姿勢認識装置。
7. 【請求項７】 請求項１記載の積荷位置姿勢認識装置に
   おいて、前記認識手段が、認識対象物の形状の種別の違
   いに応じて、認識アルゴリズムを自動的に切り替えるこ
   とを特徴とする積荷位置姿勢認識装置。