JPS62221077A - パタ−ン検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の技術分野〕 本発明は入力画像中から指定された目標物パターンを持
つ領域を高精度に検出することのできるパターン検出装
置に関する。

〔発明の技術的背景とその問題点〕

産業ロボットの制御技術にあっては、人力画像中から成
る指定したパターン部分を検出することが要求される。

例えば自動走行ロボットでは、該ロボットに搭載された
カメラにてその周囲の情景を撮像入力し、その入力画像
中から既知の物体を見出すことにより、該ロボットの位
置（自己位置）を調べることが行われる。またステレオ
視カメラを用いて入力された一方の画像中で計測対象物
を指定し、該計測対象物の他方の画像中における位置を
求めて三角測量の原理により、該対象物までの距離を計
測することが行われる。

このような画像処理を行う場合、従来一般的には、例え
ば第４図に示すように入力画像１中から、指定された目
標対象物パターン２と同じ大きさの部分領域画像３を順
次取出し、この部分領域画像３と上記対象物パターン２
との間で相関係数等の類似度を示すデータを求め（相関
計算４）、その値が最大となる部分領域位置を求めるこ
とにより（最大値選択５）、上記入力画像１中の目標対
象物を検出している。

ところが目標対象物が置かれている状況によっては、上
記相関係数が目標対象物の部分以外でも大きくなり、目
標対象物の位置を高精度に求め難くなることがある。例
えば第４図において、本来の目標対象物３ａを含む部分
領域画像に対する相関係数と、目標対象物に類似した部
分３ｂ含む部分領域画像に対する相関係数とがほぼ等し
くなることがあり、このような場合にはその相関係数だ
けではどちらの部分領域画像を目標対象物３ａを含むも
のとして検出すれば良いかがわからなくなることがある
。

また画像入力する情景によっては、入力画像の各部分領
域に対する相関係数の変化がブロードとなり、その相関
係数の変化から目標対象物の位置を高精度に求めること
が困難となることがある。

〔発明の目的〕

本発明はこのような事情を考慮してなされたもので、そ
の目的とするところは、人力画像中から指定された対象
物パターンを持つ領域を良好に、且つ高精度に検出する
ことのできるパターン検出装置を提供することにある。

〔発明の概要〕

本発明は、移動体に搭載されたカメラにより撮像入力さ
れる画像の各部と設定された目標物パターンとの類似度
をそれぞれ求めて、人力画像中における目標物の位置を
検出するパターン検出装置において、 上記移動体の試験走行時に求められる目標物およびその
近傍領域における上記類似度のパターン、例えば所定の
閾値以上である点の分布パターンを記憶しておき、前記
移動体の本走行時に求められる類似度の所定の閾値以上
である点の分布パターンと上記記憶された類似度のパタ
ーンとを比較し、入力画像中のパターン照合のと上記記
憶された類似度のパターンとを比較するようにしたもの
である。

またステレオ視カメラにより撮像された２枚の人力画像
間における共通の対象物パターンを検出する場合には、
一方の入力画像における目標物およびその近傍領域での
上記類似度のパターンを求め、この類似度のパターンと
他方の入力画像における類似度のパターンとを相互に比
較して、前記他方の人力画像中のパターン照合のと上記
記憶された類似度のパターンとを比較するようにしたも
のである。

〔発明の効果〕

かくして本発明によれば、入力画像の各部と設定された
目標物パターンとの類似度が顕著な変化を示さない場合
であっても、また似たような類似度を示す領域が複数箇
所存在する場合であっても、目標物とその近傍領域にお
ける上記類似度の分布パターンを求め、この類似度の分
布パターンを用いて入力画像中の対象物パターンを検出
するので、例えば類似度が大きくなる対象物以外の部分
を検出対象から効果的に排除して目標対象物の位置を高
精度に検出することが可能となる。また類似度の分布パ
ターンの特徴から目標対象物を検出するので、類似度の
変化がブロードな場合であっても、入力画像中における
目標対象物の位置を高精度に検出することが可能となる
。

従って、例えば自動走行ロボットにおける自己位置の検
出や、ステレオ視処理における対象物の特定等に実用上
多大なる効果が奏せられる。

〔発明の実施例〕

以下、図面を参照して本発明の一実施例につき説明する
。

第１図本発明の一実施例装置の概略構成図である。

この装置は、例えば自動走行ロボット等の移動体に搭載
されたＴＶ左カメラ１により撮像入力されたその周囲（
前方）の情景の画像をＡ／Ｄ変換器１２を介して人力し
、これを処理して入力画像中の目標物を検出するもので
ある。

この装置は、基本的には計算機バス１３と画像データの
高速転送用の画像バス１４とを備え、これらのバス１３
．１４に画像処理プロセッサ１５、領域比較回路１６、
画像メモリ１７、および演算プロセッサ１８を接続して
構成される。

す１７の１つのフレームに記憶される。

また画像バス１４には入力画像に対する処理データを入
力する為のキーボードやマウス等の入力機器１９、およ
び入力画像をモニタする為のディスプレイ２０が接続さ
れている。

この装置における画像処理は、前記画像メモリ１７に格
納された画像データに対して前記画像処理プロセッサ１
５にて行われる。具体的には画像処理プロセッサ１５は
、２枚の画像の各画素間に対する演算や、画像の濃度値
に対する変換、つまり画像の２値化や階調変換、更には
微分等のフィルタリング処理、画像の連結領域に対する
ラベリング処理、画像の幾何学的変換処理、図形の特徴
量の各種計測等の画像処理を行うものとなっている。

尚、前記演算プロセッサ１８は一般の数値演算を行う為
に準備されたものである。

しかして領域比較回路１６は、前記画像メモリ１７の成
るフレームに格納されている指定された対象物パターン
、つまり検出目的とする対象物の画像パターンと、前記
ＴＶカメラ１１を介して撮像入力具体的には、前記第４
図に示すようにして指定された対象物パターン２と、入
力画像の各部の小領域画像パターン３との類似度を、そ
の小領域の位置を順次ずらしながらそれぞれ計算し、各
小領域について求められた類似度値を、その小領域の位
置に対応させて画像メモリ１７に書込んでいる。

この処理によって、指定された対象物パターンに対する
入力画像の各部の類似度値の分布パターンが前記画像メ
モリ１７上に形成されることになる。

尚、上述した小領域間の類似度を表わすものとしては、
相関係数や、２つの小領域間における対応画素位置の濃
度差の絶対値の総和等が利用できる。こては前記領域比
較回路１６では、例えば２っる。

式このような処理機能を備えた本装置において、１１人
力画像中からの目標対象物の検出は次のように−して行
われる。

即ち、ここでは自動走行ロボットの試験走行時に入力さ
、れる画像から、検出対象とする目標対象物を指定し、
その目標対象物パターンと入力画像の各部との類似度を
調べる’４８段階の処理と、この準備段階の処理で求め
られたデータに従って前記自動走行ロボットの本走行時
に撮像入力される画像から、前記設定された目標対象物
の位置を検出する処理の２段階からなる。

具体的には、例えば自動走行ロボットを遠隔操作の下で
位置確認に適した目標物が存在する位置に誘導し、そこ
での画像を入力して目標対象物検出の為の準備処理を行
う。

その後、自動走行ロボットの自動走行時には、先の準備
処理で求められた目標対象物に関する標準パターンを用
いて画像処理し、その入力画像中での目標物の位置を検
出して該ロボットの位置をる。

第２図はその処理手続きの流れを示すものであり、第３
図はその処理画像の例を示すものである。

画像処理は、先ずフラグＦを（０）に設定する等の初期
設定を行ってから開始される（ステップａ）。このフラ
グＦは、（０）で準備段階の処理を示し、（１）で目標
物検出処理を示すものである。

位置検出の目標対象物が存在する位置に自動走行ロボッ
トを誘導し、そこでの画像を入力すると（ステップｂ）
、例えば第３図（ａ）に示す入力画像が準備処理段階の
ものであるか否かが判定される（ステップＣ）。そして
フラグＦが（０）で、ヤ備段階の入力画像であると判定
されると、その第３図（ｂ）に示すように、入力画像に
対してキーボードやマウスを用いて目標対象物Ｘを含む
小領域の部分画像Ｙを指定し、この部分画像Ｙを入力画
像から切出すことによって行われる。このようにして設
定された目標対象物Ｘの画像パターン（部分画像）Ｙは
前記画像メモリ１７に格納されて以後の画像処理に用い
られる。

しかして次に、上記設定された部分領域Ｙの画像パター
ンと、入力画像の各部との類似度計算が前述したように
行い（ステップｅ）、各位置に対応してその類似度値を
順次画像メモリ１７に書込むことによって入力画像に対
する類似度の分布パターンを求める（ステップｆ）。こ
の結果、画像メモリ１７には入力画像の各部について求
められた類似度値が表現された類似度の分布パターンが
、例えば第３図（ｃ）に示すように求められる。

このような入力画像の類似度値の分布パターンに対して
、各類似度値を所定の閾値により弁別処理し１、類似度
の大きい部分だけを抽出する。そしてその類似度の大き
い点のまとまりを、例えば第に対して行われたものであ
るか否かを前述したフラグＦから判定しくステップｈ）
、準備段階の画像処理時にはラベリングされた図形（類
似度の分布）パターンから目標対象物を含む図形パター
ンを、第３図（ｅ）に示すように選択する。そして、こ
の選ばれた図形パターンの形状的特徴量を計測し、その
計測データを目標対象物に関する類似度の標準パターン
データとして記憶する（ステップｉ）。つまり目標対象
物とその近傍領域の類似度のパターンデータを抽出し、
これを目標対象物検出の為のデータとして記憶する。

具体的には、その類似度の分布パターン図形の面積や周
囲長、モーメント、周辺分布、外接長方め誤検出を未然
に防ぐために利用するようにしても良い。

このようにして入力画像中からの目標対象物検出の為の
準備処理が終了すると、前記フラグＦが（１）に設定さ
れ（ステップｊ）、その画像処理系は自動走行ロボット
の自動走行時における位置検出処理の為に待機される。

しかして自動走行ロボットの自動走行時に入力される画
像は、例えば第３図（ｆ）に示すようになり、試験走行
時に得られた入力画像と必ずしも等しくなることはない
。つまり自動走行ロボットの予め設定された走行経路か
らのずれ等によって、一般的には目標対象物設定時に求
められた入力画像とは異なる視野角度からの入力画像が
求められる。

このような入力画像に対して、前記フラグＦが（１）に
設定され、既に目標物パターンの設定が行われているこ
とから、前述したステップｅに示ｌす類似度計算処理が
直接的に行われる。そしてその類似度計算結果から、第
３図（ｇ）に示すよう同様にしてラベリングを行う。・ しかる後、前記フラグＦが（１）にセットされているこ
とから、次に現入力画像から求められ、ラベリングされ
た類似度分布の図形パターンと、先の準備処理によって
求められて画像メモリ１７に記憶された目標対象物の類
似度の標準パターンとの照合が行われる（ステップｋ）
。

この類似度パターンの照合は、各類似度の図形パターン
の前述した形状的特徴を相互に比較することによって行
われる。具体的には、例えばラベリングされた各図形パ
ターンの形状的特徴量と、画像メモリ１７に記憶された
対象物の標準図形パターンの特徴量との差の絶対値を求
め、これを正規機１に関する重み係数として を、ラベリングされた各図形パターンについて計算する
ことによって求められる。但し、ｉ−１，〜ｎは特徴量
の種類を示している。

このようにして求められる類似度の図形パターンと標準
パターンとの比較照合結果を判定しくステップｌ）、目
標対象物の標準パターンとマツチングの取れた類似度の
図形パターンを、例えば第３図（ｉ）に示すように目標
対象物のパターンであるとして選択する。そしてその図
形パターンを得た入力画像中の位置データを出力しくス
テップｍ）、入力画像中からの目標対象物の検出処理を
終了する。

ここで選択された図形パターンからの目標物の正確な位
置の検出は、該目標対象物に関する類似；度の標準パタ
ーンを求めた時点で予め設定しておけば良い。例えばそ
の類似度の分布を示す標準バれた位置とその周辺部にお
いて、前記目標対象物の画像パターンとの類似度を計算
して、該目標対象物の位置を正確に算出するようにして
も良い。

尚、パターン照合のとれる図形パターンが検出されない
場合には、入力画像中から目標対象物が漏れているとし
て、前記ＴＶ左カメラ１による撮像入力位置を変更し、
同様な処理を繰返し実行する。

以上のように本装置にあっては、目標対象物の画像パタ
ーンと入力画像の各部との類似度を求め、目標対象物お
よびその近傍の類似度の分布パターンを求めて目標対象
物検出の為の標準パターンとし、この類似度の標準パタ
ーンと、目標物検出対象とする入力画像について同様に
して求められる変化がブロードな場合であっても、その
類似度の分布パターン形状から目標対象物を正確に検出
することが可能となる。

ところで上述した実施例では、自動走行ロボットの試験
走行時に目標対象物に関する類似度の標準パターンを求
め、該ロボットの本走行時に、そこで得られる入力画像
中から目標対象物を検出したが、ステレオ視処理におい
て、例えば左画像中で特定される目標対象物を右画像中
で検出する場合にも同様に適用することが可能である。

この場合には、前述した準備処理を左画像に対して実行
し、その処理結果に対して目標物検出処理を右画像に対
して行うようにすれば良い。このようにすれば、複雑な
背景中に存在する目標対象物を高精度に検出し、左画像
と右画像との対応付けを行って目標対象物までの距離計
測等を高精度に行うことが可能となる。

尚、本発明は上述した実施例に限定されるものではない
。実施例では検出対象とする領域を１つの連結領域とし
て捕えたが、複数の分離した領域を１つの着目領域とし
て捕え、その領域間の位置関係等を特徴量として利用す
ることも可能である。

また実施例では、類似度値の大きい部分を２値化して類
似度の図形パターンを求め、その形状的特徴を求めたが
、その図形パターン内での類似度値の分布情報等を利用
することも可能である。また入力画像を階調のある濃淡
画像データとして取扱い、各階調レベル毎に特徴量を求
めて画像処理することも可能である。その他、本発明は
その要旨を逸脱しない範囲で種々変形して実施すること
ができる。

【図面の簡単な説明】

第１図は本発明の一実施例装置の概略構成図、第２図は
実施例装置における画像処理の手順を示す図、第３図は
処理画像の例をそれぞれ示す図、第４図は従来装置にお
ける画像処理の概念を示す図である。 １１・・・ＴＶ左カメラ１２・・・Ａ／Ｄ変換器、１３
・・・計算機バス、１４・・・画像バス、１５・・・画
像処理プロセッサ、１Ｂ・・・領域比較回路、１７・・
・画像メモリ、１８・・・演算プロセッサ、１９・・・
入力機器、２０・・・ディスプレイ。 出願人　工業技術院長　等々力　連 系４　図

Claims (6)

【特許請求の範囲】
1. （１）移動体に搭載されたカメラにより撮像入力される
   画像の各部と設定された目標物パターンとの類似度をそ
   れぞれ求める手段と、上記移動体の試験走行時に求めら
   れる目標物およびその近傍領域における上記類似度のパ
   ターンを記憶する手段と、前記移動体の本走行時に求め
   られる類似度のパターンと上記記憶された類似度のパタ
   ーンとを比較する手段と、この比較により入力画像中の
   パターン照合のとれた部分を目標物位置として検出する
   手段とを具備したことを特徴とするパターン検出装置。
2. （２）類似度のパターンは、入力画像の各部と目標物パ
   ターンとの類似度が所定の閾値以上である点の分布パタ
   ーンとして与えられるものである特許請求の範囲第１項
   記載のパターン検出装置。
3. （３）類似度のパターンの比較は、類似度の分布パター
   ンの特徴量を相互に比較して行われるものである特許請
   求の範囲第１項記載のパターン検出装置。
4. （４）移動体に搭載されたステレオ視カメラにより撮像
   される２枚の入力画像の各部と設定された目標物パター
   ンとの類似度をそれぞれ求める手段と、一方の入力画像
   における目標物およびその近傍領域での上記類似度のパ
   ターンを求める手段と、他方の入力画像における上記類
   似度のパターンを求める手段と、これらの類似度のパタ
   ーンを相互に比較する手段と、この比較により求められ
   る前記他方の入力画像中のパターン照合のとれた部分を
   目標物位置として検出する手段とを具備したことを特徴
   とするパターン検出装置。
5. （５）類似度のパターンは、ステレオ視画像の各部と目
   標物パターンとの類似度が所定の閾値以上である点の分
   布パターンとしてそれぞれ与えられるものである特許請
   求の範囲第４項記載のパターン検出装置。
6. （６）類似度のパターンの比較は、類似度の分布パター
   ンの特徴量を相互に比較して行われるものである特許請
   求の範囲第４項記載のパターン検出装置。