JPH10134186A - 特徴領域抽出方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】ランドマーク等のマークを自動的に取得するこ
とができ、画像から障害物領域を高速に抽出すること。 【解決手段】 カメラからの画像を第１、第２の記憶手
段に入力して、第１の領域の位置を設定する（ステップ
Ｓ１，Ｓ２）。そして、画像上の第１の領域と、該領域
から一定半径ｒの円周上にある第２の領域との自己相関
演算を行い（ステップＳ３，Ｓ４）、上記自己相関演算
結果に基づき特徴的な形状を含む領域を抽出する（ステ
ップＳ５，Ｓ６）。また、画像上の領域とその周囲に微
小量移動させた領域との自己相関演算を行い特徴領域の
候補を抽出したり、画像を分割し濃度変化がある領域を
抽出する等の前処理を導入することにより、検出精度の
向上や一層の高速化を図ることができる。さらに、２台
のカメラからの画像を用いることにより、ステレオ視の
ための特徴領域を抽出することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】病院や介護施設などの医療福
祉施設で、食事や洗濯物などを自動的に搬送するロボッ
ト（自走車、無人走行車、自律移動ロボット等）の開発
が要望されている。その他、オフィスビルや、学校、工
場等の屋内や、道路等においても自走車の開発が望まれ
ている。このような自走車が自律的に走行するために必
要な環境計測装置として、カメラ画像から走行環境内の
既知のランドマークを検出したり、画像から障害物を検
出する技術が重要なものとなってきている。

【０００２】本発明は上記したランドマークや障害物等
を検出するために利用されるカメラ画像から特徴領域を
検出するための特徴領域抽出方法および装置に関し、特
に本発明は、特徴領域を高速に検出することができる特
徴領域抽出方法および装置に関するものである。

【０００３】

【従来の技術】図２５は上記した自律移動ロボットの外
観図を示す図である。同図に示すように、通常、自律移
動ロボット１００はカメラ１０１を搭載しており、カメ
ラ１０１により走行経路の所定の位置に印されたランド
マーク１０２や障害物１０３を検出し、自ら移動経路を
作成し該経路に沿って移動する。

【０００４】図２６は上記移動ロボットの制御装置の構
成図である。同図に示すように、移動ロボット１００は
カメラ等の画像入力装置１０１、画像入力層１０１から
入力された画像を処理する画像処理装置１１１を備えて
いる。そして、プロセッサ１１２は画像処理装置１１１
により抽出されたランドマーク、障害物の位置に基づき
目的地までの経路を作成し、該経路に沿ってロボットが
移動するように移動機構制御装置１１３を介して移動機
構駆動部１１４を駆動する。

【０００５】図２７は上記移動ロボットにおける走行経
路制御のフローチャートである。同図において、画像入
力装置１１０から入力された画像からランドマークを検
出し（ステップＳ１，Ｓ２）、既知の地図情報と融合し
て自己位置を計測する（ステップＳ３）。同時に、障害
物の位置を計測し（ステップＳ４）、障害物地図を作成
する（ステップＳ５）。これにより、地図上の自己位
置、障害物位置を把握することができる。この地図上
で、まず、障害物を無視して目的地までの経路を作成す
る（ステップＳ６）。次に、この経路上に障害物がある
かを調べ、経路の幅をロボットの幅に広げて、障害物領
域と交差するかを調べ、ロボットと障害物の衝突の可能
性を判定する（ステップ７）。

【０００６】障害物と衝突する可能性が無ければ、経路
に沿って移動すればよい。障害物と衝突する可能性があ
る場合には、障害物を回避して目的地に移動するための
経路を作成する（ステップＳ８）。これは、ポテンシャ
ル法やグラフ探索法等により作成することができる。上
記のようにして移動経路が作成されると、この経路に追
従するように、移動機構を制御する（ステップＳ９）。

【０００７】上記のようにロボットを制御する際、走行
中に、入力された画像からランドマークを検出するた
め、あらかじめランドマークの画像を記憶しておき、テ
ンプレート・マッチング法を用いて画像中からランドマ
ークを検出することが行われる。また、走行中に画像か
ら障害物を検出方法としては、画像の局所領域内の濃度
変化を計算し、濃度変化が大きい領域内に障害物がある
と判断して、障害物の検出を行う。

【０００８】

【発明が解決しようとする課題】上記したロボットの制
御等においては、ランドマーク画像を記憶するために、
走行環境内のどのような形状をランドマークとして選ぶ
か、また、そのランドマークをどのようにして自動的に
取得するかという問題がある。さらに、障害物を走行中
に計測するため、高速に障害物を検出する必要がある。
ランドマークの取得、障害物の検出の両者とも、画像か
ら濃度変化の大きい特徴的な形状を含む領域を検出する
技術により実現でき、特に、障害物検出においては、高
速に実行することが要求される。

【０００９】本発明は上記した事情に鑑みなされたもの
であって、その目的とするところは、ランドマーク等の
マークを自動的に取得することができ、また、画像から
障害物領域を高速に抽出することができる特徴領域抽出
方法および装置を提供することである。

【００１０】

【課題を解決するための手段】本発明においては、画像
から特徴的な形状を抽出する方法として、自己相関演算
方法を用い、局所領域の相関演算を行って効率的にかつ
高速に画像における特徴領域を抽出する。上記相関演算
では、領域と領域の間で、対応する画素の濃度値の差の
絶対値（または２乗）を計算し、領域内での総和を相関
値とする。この相関演算を同一画像（または同じシーン
の２枚の画像間）に対して行う場合、特にこの相関演算
を自己相関と呼ぶ。

【００１１】上記自己相関演算において、画像上の領域
（対象領域）に対して、図８（ａ）に示すように（Ｖx
，Ｖｙ）画素だけ移動させた位置の領域（周辺領域）
と相関演算を行い、移動位置に対する相関値の分布を求
めることができる。また、図８（ｂ）に示すように、特
徴形状（特徴領域）に対して自己相関演算を行い相関値
の分布を求めると、図８（ｃ）に示すようになる。つま
り、中心部の移動量が小さい位置では、画像のずれが少
ないので、相関値が小さい（相関が高い）が、周辺部の
移動量が大きい位置では、画像パターンが大きく異なる
ので、相関値が大きい（相関が小さい）。従って、上記
自己相関演算の相関値の分布を調べることにより特徴領
域を抽出することができる。

【００１２】図１〜図７は本発明の原理図であり、本発
明は上記自己相関演算を用いて、次のようにして特徴領
域を抽出する。 （１）図１に示すように、カメラからの画像を第１、第
２の記憶手段に入力して、第１の領域の位置を設定する
（ステップＳ１，Ｓ２）。そして、画像上の第１の領域
と、該領域から一定半径ｒの円周上にある第２の領域と
の自己相関演算を行い（ステップＳ３，Ｓ４）、上記自
己相関演算結果に基づき特徴的な形状を含む領域を抽出
する（ステップＳ５，Ｓ６）。 （２）図２に示すように、カメラからの画像を第１、第
２の記憶手段に入力して、第１の領域の位置を設定する
（ステップＳ１，Ｓ２）。そして、画像上の第１の領域
と、その周囲に微小量移動させた第２の領域との自己相
関演算を行い（ステップＳ３，Ｓ４）、上記自己相関演
算結果に基づき特徴領域の候補を抽出し（ステップＳ
５）、抽出された上記特徴領域の候補に対して、上記
（１）の特徴領域抽出処理を行う（ステップＳ６）。

【００１３】（３）図３に示すように、カメラからの画
像を第１、第２の記憶手段に入力して、第１の領域の位
置を設定する（ステップＳ１，Ｓ２）。そして、画像上
の領域と、該領域の周辺全体に渡る領域との自己相関演
算を行って（ステップＳ３〜Ｓ５）、自己相関分布を求
め、上記自己相関分布の２方向への投影分布からピーク
値を検出することにより、特徴的な形状を含む領域を抽
出する（ステップＳ６，Ｓ７）。

【００１４】（４）図４に示すように、２台のカメラか
らの画像を第１、第２の記憶手段に入力して、第１の領
域の位置を設定する（ステップＳ１，Ｓ２）。そして、
画像上の領域と、該領域に対してカメラ間の配置関係に
よって定まる直線方向に移動させた領域との自己相関演
算を行い（ステップＳ３〜Ｓ５）、上記自己相関演算結
果に基づき、ステレオ視のための特徴領域を抽出する
（ステップＳ６）。 （５）上記（１）（２）（３）（４）において、図５に
示すように、カメラからの画像を第１、第２の記憶手段
に入力して、画像を分割する（ステップＳ１，Ｓ２）。
そして、画像上の領域と、該領域から一方向に移動させ
た領域との自己相関演算を行って濃度変化がある領域を
抽出し（ステップＳ３〜Ｓ７）、濃度変化がある領域に
対して特徴領域抽出処理を行う（ステップＳ８）。

【００１５】（６）上記（１）（２）（３）（４）にお
いて、図６に示すように、カメラからの画像を第１、第
２の記憶手段に入力して、画像の平均濃度値を求め、テ
ンプレート画像として第２の記憶手段に入力する（ステ
ップＳ１，Ｓ２）。そして、画像上の各領域の濃度値の
平均値のテンプレートと、画像上の領域との自己相関演
算を行って画像上の濃度変化を求めることにより、上記
画像上で濃度変化がある領域を抽出し（ステップＳ３〜
Ｓ６）、上記濃度変化がある領域について特徴領域抽出
処理を行う（ステップＳ７）。

【００１６】（７）図７（ａ）に示すように、天井に取
り付けられた照明の反射像が床面上に投影される場合、
該反射像と実際の障害物を識別するため、２台のカメラ
を使用し、図７（ｂ）に示すように、第１のカメラ、第
２のカメラの画像を第１、第２の記憶手段に入力し、画
像から障害物領域を検出する（ステップＳ１〜Ｓ３）。
そして、上記障害物領域に対して、上記カメラ間の配置
関係によって定まる直線方向に移動させた領域との自己
相関演算を行って、ステレオ視のための特徴領域を抽出
し、カメラの配置と上記抽出された特徴領域との対応関
係に基づき、対象物までの距離を計測する（ステップＳ
４，Ｓ５）。ついで、上記距離により上記画像上の特徴
領域が反射像であるか否かを判別し、該判別結果を用い
て、上記濃度変化がある領域から障害物領域を抽出する
（ステップＳ６）。

【００１７】本発明の請求項１，８の発明は、上記
（１）のようにして特徴領域を抽出するようにしたの
で、矩形上の自己相関値を調べる場合などと較べ、少な
い計算量で特徴領域を抽出することができる。本発明の
請求項２，９の発明は、上記（２）のようにして特徴領
域の候補を抽出し、該候補に対して特徴領域の抽出を行
うようにしたので、対象物が対象領域より少し大きい場
合などの検出精度を低下させる形状を特徴領域候補から
取り除くことができ、検出位置の精度を向上することが
できる。本発明の請求項３，１０の発明は、上記（３）
のようにして特徴領域を抽出するようにしたので、精度
よく特徴領域を抽出することができる。本発明の請求項
４，１１の発明は、上記（４）のようにカメラ間の配置
関係によって定まる直線方向に移動させた領域との自己
相関演算を行うようにしたので、少ない演算量で、ステ
レオ視のための特徴領域を抽出することができる。本発
明の請求項５，６，１２の発明は、上記（５）（６）
（１２）のように濃度変化がある領域を抽出し、濃度変
化がある領域に対して特徴領域抽出処理を行うようにし
たので、自己相関演算の処理量を少なくすることができ
る。本発明の請求項７，１３の発明は、上記（７）のよ
うに対象物の距離を計測し、反射像であるか否かを判別
するようにしたので、反射像を障害物と認識する等の誤
動作を防止することができる。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。なお、以下の説明では、ロボットにおける
ランドマークや障害物の検出について説明するが、本発
明の適用対象は上記ロボットに限定されるものではな
く、その他の装置、システムにおけるマークや障害物の
検出に適用することができる。

【００１９】（１）実施例１ 図９は本発明の第１の実施例の装置構成図である。同図
において、１１はロボットの走行環境を撮影するビデオ
（ＴＶ）カメラ、１２は上記カメラ１１により撮影され
た画像をＡ／Ｄ変換する画像入力装置、１３は画像入力
装置１２により取得された画像を格納する画像メモリで
あり、画像メモリ１３には画像入力装置１３から入力さ
れた画像を格納する第１、第２の領域（以下メモリ１、
メモリ２という）を備えており、上記メモリ１、メモリ
２には画像入力装置１２から入力された同じ時刻（シー
ン）の画像が入力される。１４は相関演算処理装置であ
り、相関演算処理装置は、上記メモリ１上のある領域
（対象領域という）の位置と、メモリ２上の周辺領域
（上記対象領域の周辺）の位置を指定して相関演算を行
う。上記周辺領域としては、対象領域に対して半径を一
定にした円周上に移動した位置を設定する。これにより
円周上の自己相関値が求められる。１５はプロセッサで
あり、相関演算結果に基づき特徴領域の抽出処理を行
う。

【００２０】図１０は本実施例の処理を示すフローチャ
ートであり同図により本実施例を説明する。なお、本実
施例は請求項１の発明に対応する。まずカメラ１１から
入力された画像を、画像入力装置１２でデジタル信号に
変換し、画像メモリ１３のメモリ１、メモリ２に入力す
る（ステップＳ１，Ｓ２）。メモリ１，２には上記した
ように同じ時刻（シーン）の画像を入力する。相関演算
処理装置１４は、メモリ１上の対象領域の位置と、メモ
リ２上の周辺領域の位置を指定し（ステップＳ３，Ｓ
４）、対象領域と周辺領域間で相関演算を行う（ステッ
プＳ５）。ここで、相関演算の対象となる周辺領域とし
ては、図１１（ａ）に示すように対象領域に対して半径
を一定にした円周上に移動した位置を設定する。これに
より円周上の自己相関値を求めることができる。

【００２１】次に、上記自己相関値をしきい値と比較す
る（ステップＳ６）。その相関値がしきい値より小さい
（相関が高い）場合には、対象領域と周辺領域の画像の
ずれが小さいので、その領域が対象領域ではないと判断
し（ステップＳ８）、処理を終了する。また、上記相関
値がしきい値より大きい（相関が高い）場合には、ステ
ップＳ７に行き、図１１（ａ）の円周上の全ての位置に
対して周辺領域を設定したかを調べ、設定していない場
合には、ステップＳ４に戻り上記処理を繰り返す。そし
て、対象領域とその全ての周辺領域の相関がしきい値よ
り大きい場合には、ステップＳ９に行き、対象領域を特
徴領域と判断する。

【００２２】例えば、図１１（ｂ）に示す図形におい
て、対象領域の位置がＡのときは、円周上の全ての位置
で相関値は小さくなるので特徴領域と認識されず、ま
た、対象領域が位置Ｂの場合は、周辺領域の位置が円周
上の位置ｂ１，ｂ２であるとき相関値は小さくなる（対
象領域と周辺領域のパターンが同じとなり、相関は高く
なる）ので、特徴領域として認識されない。これに対
し、対象領域が位置Ｃのときは、円周上の全ての位置で
相関値が大きくなるので、特徴領域と認識される。な
お、上記処理では、円周上の一つの位置での自己相関値
を計算する毎に、相関値をしきい値と比較し、しきい値
以下の値があったとき処理を中断しているが、円周上の
自己相関値の最小値を計算し、これをしきい値と比較し
てもよい。

【００２３】対象領域を画像全体に移動させながら、上
記処理を繰り返すことにより、全画面の中から特徴領域
を抽出することができる。上記手法を用い、対象領域と
周辺領域を１６×１６画素の大きさ、周辺領域の位置は
半径を７画素として量子化した位置とし、しきい値を３
０００（画素濃度値が０〜２５５の場合）として実験し
た結果、特徴的な形状を抽出できることが確認できた。
本実施例の手法は、自己相関値として円周上の移動位置
だけで計算すればよいので、例えば矩形内全体の自己相
関値を計算する場合と較べ、計算量を少なくすることが
できる。

【００２４】（２）実施例２ 本実施例は図１２に示すように対象領域より少し大きい
形状の対象物を特徴領域の候補から取り除くことにより
検出精度を向上させる実施例を示している。すなわち、
図１２に示す形状は中心付近の自己相関値が小さく位置
を正確に検出することができない。そこで、上記第１の
実施例に本実施例の処理を加えることで検出精度を向上
させる。前記第１の実施例に本実施例の処理を加えるこ
とによりテンプレートマッチング法で正確にランドマー
ク検出を行うためのテンプレート画像を抽出することが
できる。本実施例を実現するための装置構成は図９と同
様であり、図１３に本実施例のフローチャートを示す。
なお、本実施例は請求項２の発明に対応する。

【００２５】以下、図１３により本実施例について説明
する。まず、カメラ１１から入力された画像を、画像入
力装置１２でデジタル信号に変換し、画像メモリ１３の
メモリ１、メモリ２に入力する（ステップＳ１，Ｓ
２）。相関演算処理装置１４は、メモリ１上の対象領域
の位置と、メモリ２上の周辺領域の位置を指定し（ステ
ップＳ３，Ｓ４）、対象領域と周辺領域間で相関演算を
行う。ここで、相関演算の対象となる周辺領域は、図１
４に示す対象領域の８近傍（上下左右斜め方向の隣り合
った位置）の領域（例えば１画素分ずらした領域）であ
り、この領域と対象領域との自己相関演算を行う。

【００２６】次に、上記自己相関値をしきい値と比較す
る（ステップＳ６）。その相関値がしきい値より小さい
（相関が高い）場合には、その領域を特徴領域候補では
ないと判断し（ステップＳ８）、処理を終了する。すな
わち、前記図１２に示した形状の場合には相関値が小さ
いので特徴領域候補から除外される。また、上記相関値
がしきい値より大きい（相関が高い）場合には、ステッ
プＳ９に行き、図１４の８近傍の全ての位置に対して周
辺領域を設定したかを調べ、設定していない場合には、
ステップＳ４に戻り上記処理を繰り返す。

【００２７】そして、対象領域とその全ての周辺領域の
相関がしきい値より大きい場合には、ステップＳ９に行
き、対象領域を特徴領域の候補と判断する。以上の処理
が終わると、上記特徴領域候補に対して前記図１０の処
理を行う。上記図１３の処理を行うことにより、図１２
に示した形状を特徴領域から取り除くことができる。図
１２に示した形状はテンプレートマッチング方法でのラ
ンドマーク検出において近傍位置が検出される可能性が
あり、検出位置の精度が悪くなる。

【００２８】（３）実施例３ 本実施例は自己相関値の累積値を計算し、投影分布を計
算することにより特徴領域を検出する実施例を示してい
る。図１５は本発明の第３の実施例の装置構成図であ
る。同図において、前記図９に示したものと同一のもの
には同一の符号が付されており、本実施例においては、
図９のものに相関値の累積値を求める相関値累積装置１
６が付加されている。図１６は本発明の実施例の処理を
示すフローチャートであり同図により本実施例を説明す
る。なお、本実施例は請求項３の発明に対応する。

【００２９】図１６において、ステップＳ１〜Ｓ５まで
の処理は前記図１０と同じであり、カメラ１１から入力
された画像を、画像入力装置１２でデジタル信号に変換
し、画像メモリ１３のメモリ１、メモリ２に入力する
（ステップＳ１，Ｓ２）。メモリ１，２には上記したよ
うに同じ時刻（シーン）の画像を入力する。相関演算処
理装置１４は、メモリ１上の対象領域の位置と、メモリ
２上の周辺領域の位置を指定し（ステップＳ３，Ｓ
４）、対象領域と周辺領域間で相関演算を行う（ステッ
プＳ５）。ここで、上記相関演算は、対象領域に対して
（Ｖｘ，Ｖｙ）（例えば範囲Ａ：−８＜Ｖｘ＜８，−８
＜Ｖｙ＜８）画素だけ移動させた位置の領域との相関演
算を行う。

【００３０】次に、上記範囲Ａの全ての位置に対して周
辺領域を設定したかを調べ（ステップＳ６）、全ての位
置に対して、周辺領域を設定していない場合には、ステ
ップＳ４に戻り上記処理を繰り返す。以上のように処理
を行って、移動位置に対する相関値の分布に対して、Ｘ
およびＹ方向へそれぞれ相関値を累積する。そして、全
相関値をＸ軸、Ｙ軸方向に投影する。ステップＳ８にお
いて、Ｘ軸、Ｙ軸方向の相関値の投影分布にピークがあ
るかを調べ、図１７に示すように２つの投影分布がとも
に一つのピークを持つとき、対象領域を特徴領域と判断
する。また、投影分布がピークを持たないときは、その
対象領域が特徴領域ではないと判断する。

【００３１】（４）実施例４ 本実施例は２つのカメラを使ったステレオ視において、
一方のカメラ画像から特徴領域を抽出し、もう一方のカ
メラ画像からその特徴領域に対応する領域を探索し、２
つのカメラの検出位置から三角測量の原理により特徴領
域までの距離を計測する実施例を示している。図１８は
本実施例の装置構成を示す図であり、本実施例において
は、２台のカメラ１１，１１’が設けられている点を除
き、前記図９に示した第１の実施例の構成と同一であ
る。ステレオ視では、一方向（２つのカメラの光軸を結
んだ直線の方向）の濃度変化があればよく、本実施例に
おいては、この方向だけの自己相関値を求めることで特
徴領域を抽出する。すなわち、カメラが水平（横方向に
並べて）配置されていれば、図１９に示すように、対象
領域に対して、左右の２カ所に周辺領域を設定し自己相
関を求めればよい。

【００３２】図２０は本実施例の処理を示すフローチャ
ートである。本実施例においては、カメラ１１，１１’
で撮影した画像を画像メモリ１３のメモリ１、メモリ２
にそれぞれ格納する（ステップＳ１，Ｓ２）。そして、
対象領域の位置と周辺領域の位置を指定し（ステップＳ
３，Ｓ４）、対象領域と周辺領域間で相関演算を行う
（ステップＳ５）。ここで、相関演算の対象となる周辺
領域としては、前記図１５に示すように対象領域Ａに対
して左右の２か所Ｂ１，Ｂ２（カメラが水平に配置され
ている場合）に周辺領域を設定し、自己相関値を求め
る。

【００３３】次に、上記自己相関値をしきい値と比較す
る（ステップＳ６）。その相関値がしきい値より小さい
（相関が高い）場合には、その領域が対象領域ではない
と判断し（ステップＳ７）、処理を終了する。また、上
記相関値がしきい値より大きい（相関が高い）場合に
は、ステップＳ８に行き、特定方向上の位置に対して、
周辺領域の設定が終了したかを調べ、終了していない場
合には、ステップＳ４に戻り上記処理を繰り返す。そし
て、対象領域とその全ての周辺領域の相関がしきい値よ
り大きい場合には、ステップＳ９に行き、対象領域を特
徴領域と判断する。上記のようにして特徴領域を認識す
ることにより、前記したように、２つのカメラり検出位
置から三角測量の原理により特徴領域までの距離を計測
することができる。また、図１９に示すように障害物が
ある場合には、領域Ａと領域Ｂ１の相関が低く、かつ、
領域Ａと領域Ｂ２の相関が低くなるので、領域Ａを障害
物領域と判定することができる。

【００３４】（５）実施例５ 対象領域に対して一方向に移動させた位置での周辺領域
の自己相関演算を行い、その相関値が小さい（相関が高
い）なら、その方向への濃度変化はないことがわかり特
徴領域でないことがわかる。また、抽出したい特徴領域
のサイズより大きい領域を対象領域として、上記処理を
行うことにより、特徴のない領域をおおまかに分離する
ことができ、処理量を減少させることができる。

【００３５】本実施例は、上記考え方に基づき、画面を
大きく分割し、各領域に対して少なくとも一方向に移動
させた位置との自己相関演算を行い、特徴を含む領域と
特徴を含まない領域に切り分けることにより、その後の
処理量を減少させるようにしたものである。なお、この
とき、画像の画素を間引いて相関演算を行うことによ
り、相関演算の処理量を減少させることができる。

【００３６】図２１は本実施例の処理を示すフローチャ
ートであり同図により本実施例を説明する。なお、本実
施例を実現する装置としては、前記図９の装置を用いる
ことができる。また、本実施例は請求項５の発明に対応
する。図２１において、カメラ１１から入力された画像
を、画像入力装置１２でデジタル信号に変換し、画像メ
モリ１３のメモリ１、メモリ２に入力する（ステップＳ
１，Ｓ２）。ついで、入力された画像を、抽出したい特
徴領域のサイズより大きい画像に分割する（ステップＳ
３）。ステップＳ４、Ｓ５において、上記分割画像のう
ちの一つを対象領域に設定するとともに、上記対象領域
に対する周辺領域を設定し、ステップＳ６において、対
象領域と周辺領域間で相関演算を行う。

【００３７】次に、上記自己相関値をしきい値と比較す
る（ステップＳ７）。その相関値がしきい値より小さい
（相関が高い）場合には、その領域を特徴領域候補では
ないと判断し（ステップＳ７）、処理を終了する。すな
わち、その対象領域とした分割画像中には特徴領域がな
いと判断し、特徴領域候補から除外する。また、上記相
関値がしきい値より大きい（相関が高い）場合には、ス
テップＳ８に行き、分割した領域全てに対して、対象領
域を設定したかを調べ、設定していない場合には、ステ
ップＳ４に戻り上記処理を繰り返す。そして、対象領域
とその全ての周辺領域の相関がしきい値より大きい場合
には、ステップＳ９に行き、対象領域とした分割画像中
に特徴領域が含まれると判断し、ステップＳ１０に行
き、特徴領域が含まれると認識された分割画像につい
て、前記図１０に示した処理を行う。

【００３８】（６）実施例６ カメラ画像から特徴領域を高速に切り出す方法として、
濃度のバラツキを利用して障害物領域とそれ以外の領域
を切りわける方法が知られている（特願平７−２６２７
１２号公報参照）。上記方法は、まず、濃度値が０のテ
ンプレートをメモリに用意しておき、入力画像の対象領
域と特徴領域と相関演算を行う。この相関値はその領域
内の濃度の平均値となり、暗い領域は障害物の影などに
よるので、障害物領域と認識する。

【００３９】次に、明るい領域の各領域に対して、計算
した平均値を濃度値とするテンプレートを使い、相関演
算を行う。この相関値は、濃度のバラツキ（偏差）を表
すので、この偏差が大きい領域は障害物がある領域と認
識する。以上により、画像から障害物領域とそれ以外の
領域を切りわけることができ、上記処理を、画像を大き
く分割して行うことにより、障害物領域から特徴領域を
抽出することができる。

【００４０】本実施例は、上記方法を用いて、画像の特
徴領域がある範囲を特定し、この範囲に対して前記図２
０に示した処理を行うものであり、画像の特徴領域のあ
る範囲を特定しているので、相関演算の処理量を減らす
ことができる。図２２は本実施例の処理を示すフローチ
ャートであり、同図により本実施例を説明する。なお、
本実施例は前記図３に示した装置を用いて実現すること
ができる。

【００４１】図２２において、カメラ１１から入力され
た画像を、画像入力装置１２でデジタル信号に変換し、
画像メモリ１３のメモリ１に入力する（ステップＳ
１）。ついで、濃度値が０のテンプレートをメモリ２に
設定し、画像を大きく分割する（ステップＳ２，Ｓ
３）。次に、分割画像のうちの一つを対象領域に設定
し、対象領域と濃度値０のテンプレートとの相関演算を
行って平均的な濃度値を求め、メモリ２に格納する（ス
テップＳ４，Ｓ５）。ステップＳ６において、分割した
全ての領域に対して、対象領域を設定したかを調べ、そ
うでない場合にはステップＳ４に戻り、上記処理を繰り
返す。これにより、メモリ２には平均的な濃度値がテン
プレートとして格納される。

【００４２】ついで、ステップＳ７において、対象領域
を設定し、ステップＳ８において、メモリ１に格納され
ている対象領域とメモリ２のテンプレート画像との相関
演算を行う。ステップＳ９において、相関値（＝絶対偏
差：濃度のバラツキに相当する）としきい値を比較す
る。そして、上記相関値がしきい値より大きい場合に
は、特徴領域を特徴領域範囲と判断し特徴領域範囲でな
い分割領域全てに対して、対象領域を設定したかを調べ
る（ステップＳ１０，Ｓ１１）。

【００４３】特徴領域範囲でない分割領域全てに対して
対象領域を設定していない場合には、ステップＳ７に戻
り、上記処理を繰り返す。また、ステップＳ９におい
て、相関値がしきい値より小さい場合には、ステップＳ
１３に行き、対象領域を特徴領域範囲ではないと判断し
てステップＳ１１に行く。そして、分割領域の全てにつ
いて上記処理が終わると、特徴領域範囲に対して、対象
領域を設定し、前記図１０の処理を行う（ステップＳ１
２）。

【００４４】（７）実施例７ ロボットのカメラ１１が図２３に示すように天井等に照
明が設けられた経路を走行する場合、照明光が床面で反
射し、床面上の光の反射像が上記カメラ１１に入射す
る。このような場合、床面上の光の反射像を障害物領域
として認識してしまうことがある。本実施例は、上記問
題に対処するため、前記（４）で説明したステレオ視を
行って、対象物までの距離を測定し、床面上の反射像か
実際の障害物であるかを識別するようにしたものであ
る。すなわち、前記図１８に示したようにカメラを２台
設けて、２台のカメラにより撮影された画像に対して、
前記（４）の処理を行って特徴抽出を行い、ステレオ視
により、対象物までの距離を測定する。

【００４５】一方、床面に対するカメラ１１の高さ、角
度がわかっていれば、カメラ１１から床面までの距離が
わかり、また、上記ステレオ視により光源までの光路長
を計測することができるので、上記床面までの距離と上
記ステレオ視により求めた光路長から、カメラ１１で捉
えた画像が反射像であるか、床面上の障害物であるかを
識別する。

【００４６】図２４は本実施例の処理を示すフローチャ
ートであり同図により本実施例を説明する。なお、本実
施例は請求項７の発明に対応する。まず、第１のカメラ
１１からメモリ１に画像を入力し、画像から実施例６
（前記図２２参照）で説明した手法により、障害物領域
を抽出する（ステップＳ１，Ｓ２）。次に第１のカメラ
からメモリ２に画像を入力し、上記抽出された障害物領
域の中から対象領域の位置を設定する（ステップＳ３，
Ｓ４）。そして、前記実施例１（前記図１０参照）で説
明した手法により特徴領域を抽出する（ステップＳ
５）。

【００４７】ついで、第２のカメラ１１’からメモリ２
に画像を入力し、第１のカメラ１１の画像上の特徴領域
をテンプレートに設定する（ステップＳ６，Ｓ７）。ス
テップＳ８において、上記特徴領域に対して、第２のカ
メラ１１’の画像上の探索範囲を設定し、上記特徴領域
と探索範囲内の各領域との相関演算を行う（ステップＳ
９）。そして、相関値が最小の領域（対応領域）を検出
し、特徴領域の位置と対応領域の位置とカメラ間の配置
関係からカメラから特徴物体までの距離ｓを計測する
（ステップＳ１０，Ｓ１１）。

【００４８】次に、特徴物体までの距離ｓと床に対する
カメラの配置関係から、床に対する物体の位置ｔを計算
し、特徴物体の位置ｔが床面より下であるかを調べる
（ステップＳ１２，Ｓ１３）。特徴物体の位置ｔが床面
より下であれば、ステップＳ１４に行き、特徴物体は光
の反射であると判別する。また、特徴物体の位置ｔが床
面より下でなければ、特徴物体を障害物と認識する。

【００４９】

【発明の効果】以上説明したように、本発明において
は、以下の効果を得ることができる。 （１）走行環境内からランドマーク等のマークを自動的
に取得することができる。また、自己相関演算は高速な
相関演算処理装置により実現することができるので、画
像から高速に障害物領域等を抽出することができる。さ
らに、相関演算の処理数を減らすことができるので、高
速化が行える。 （２）画像上の第１の領域とその周囲に微小量移動させ
た第２の領域との自己相関演算を行い、上記自己相関演
算結果に基づき特徴領域の候補を抽出するようにしたの
で、検出位置精度を向上させることができる。 （３）画像上の領域と、該領域に対して２台のカメラ間
の配置関係によって定まる直線方向に移動させた領域と
の自己相関演算を行い、特徴領域を抽出するようにした
ので、少ない演算量でステレオ視のための特徴領域を抽
出することができる。 （４）画像を分割し、分割した領域について障害物領域
を抽出し、抽出された障害物領域について、特徴領域抽
出処理を行うようにしたので、処理量を一層少なくする
ことができる。 （５）２台のカメラからの画像により対象物の距離を計
測し、反射像であるか否かを判別するようにしたので、
反射像を障害物と認識する等の誤動作を防止することが
できる。 また、ステレオ視では、特定方向（カメラの配置関係に
よって決まる２つのカメラの視点を結ぶ方向）の直線成
分を検出することができない問題があるが、図２４に示
したように１つのカメラ画像による障害物領域抽出方法
を組み合わせることにより、全ての方向の直線成分の障
害物を検出することができる。すなわち、図２４に示し
たように、一方のカメラ画像から濃度変化のある領域を
抽出し、この領域を障害物領域とする方法と、２つのカ
メラにより得られた画像の対応付けをして特徴領域まで
の距離を計測し障害物領域を検出する方法を統合化する
ことにより、お互いの欠点を補い合うことができる。

【図面の簡単な説明】

【図１】本発明の請求項１，８の原理説明図である。

【図２】本発明の請求項２，９の原理説明図である。

【図３】本発明の請求項３，１０の原理説明図である。

【図４】本発明の請求項４，１１の原理説明図である。

【図５】本発明の請求項５，１２の原理説明図である。

【図６】本発明の請求項６，１２の原理説明図である。

【図７】本発明の請求項７，１２の原理説明図である。

【図８】本発明における相関演算、特徴領域の例、相関
値の分布を示す図である。

【図９】本発明の第１の実施例の装置構成を示す図であ
る。

【図１０】本発明の第１の実施例のフローチャートであ
る。

【図１１】第１の実施例を説明する図である。

【図１２】本発明の第２の実施例の適用対象を説明する
図である。

【図１３】本発明の第２の実施例のフローチャートであ
る。

【図１４】第２の実施例を説明する図である。

【図１５】本発明の第３の実施例の装置構成を示す図で
ある。

【図１６】本発明の第３の実施例のフローチャートであ
る。

【図１７】第３の実施例を説明する図である。

【図１８】本発明の第４の実施例の装置構成を示す図で
ある。

【図１９】第４の実施例を説明する図である。

【図２０】本発明の第４の実施例のフローチャートであ
る。

【図２１】本発明の第５の実施例のフローチャートであ
る。

【図２２】本発明の第６の実施例のフローチャートであ
る。

【図２３】本発明の第７の実施例の適用対象を説明する
図である。

【図２４】本発明の第７の実施例のフローチャートであ
る。

【図２５】ロボットの外観図である。

【図２６】ロボット制御装置の装置構成を示す図であ
る。

【図２７】ロボット走行制御のフローチャートである。

【符号の説明】

１１ ビデオ（ＴＶ）カメラ １２ 画像入力装置 １３ 画像メモリ １４ 相関演算処理装置 １５ プロセッサ １６ 相関値累積装置

Claims (13)

【特許請求の範囲】
1. 【請求項１】 カメラ画像から特徴的な形状を含む領域
   を抽出する特徴領域抽出方法であって、 画像上の第１の領域と、該領域から一定半径の円周上に
   ある第２の領域との自己相関演算を行い、 上記自己相関演算結果に基づき特徴的な形状を含む領域
   を抽出することを特徴とする特徴領域抽出方法。
2. 【請求項２】 画像上の第１の領域と、その周囲に微小
   量移動させた第２の領域との自己相関演算を行い、 上記自己相関演算結果に基づき特徴領域の候補を抽出
   し、 抽出された上記特徴領域の候補に対して、請求項１の特
   徴領域抽出処理を行うことを特徴とする特徴領域抽出方
   法。
3. 【請求項３】 カメラ画像から特徴的な形状を含む領域
   を抽出する特徴領域抽出方法であって、 画像上の領域と、該領域の周辺全体に渡る領域との自己
   相関演算を行って、自己相関分布を求め、 上記自己相関分布の２方向への投影分布からピーク値を
   検出することにより、特徴的な形状を含む領域を抽出す
   ることを特徴とする特徴領域抽出方法。
4. 【請求項４】 ２台のカメラ画像からステレオ視のため
   の特徴的な形状を含む領域を抽出する特徴領域抽出方法
   であって、 画像上の領域と、該領域に対してカメラ間の配置関係に
   よって定まる直線方向に移動させた領域との自己相関演
   算を行い、 上記自己相関演算結果に基づき、ステレオ視のための特
   徴領域を抽出することを特徴とする特徴領域抽出方法。
5. 【請求項５】 画像上の領域と、該領域から一方向に移
   動させた領域との自己相関演算を行って濃度変化がある
   領域を抽出し、濃度変化がある領域に対して特徴領域抽
   出処理を行うことを特徴とする請求項１，２，３または
   請求項４の特徴領域抽出方法。
6. 【請求項６】 画像上の各領域の濃度値の平均値のテン
   プレートと、画像上の領域との自己相関演算を行って画
   像上の濃度変化を求めることにより、上記画像上で濃度
   変化がある領域を抽出し、 上記濃度変化がある領域について特徴領域抽出処理を行
   うことを特徴とする請求項１，２，３または請求項４の
   特徴領域抽出方法。
7. 【請求項７】 ２台のカメラ画像から特徴的な形状を含
   む領域を抽出する特徴領域抽出方法であって、 画像上の濃度変化を求めて障害物領域を抽出し、 上記障害物領域に対して、上記カメラ間の配置関係によ
   って定まる直線方向に移動させた領域との自己相関演算
   を行って、ステレオ視のための特徴領域を抽出し、 カメラの配置と上記抽出された特徴領域との対応関係に
   基づき、対象物までの距離を計測し、 上記距離により上記画像上の特徴領域が反射像であるか
   否かを判別し、該判別結果を用いて、上記濃度変化があ
   る領域から障害物領域を抽出することを特徴とする特徴
   領域抽出方法。
8. 【請求項８】 カメラ画像から特徴的な形状を含む領域
   を抽出する特徴領域抽出装置であって、 第１、第２の記憶手段を備え、カメラにより撮影された
   画像を第１、第２の記憶手段に格納する画像メモリと、 上記第１の記憶手段に格納された画像上の第１の領域
   と、上記第２の記憶手段に格納された、上記第１の領域
   から一定半径の円周上にある第２の領域との自己相関演
   算を行う自己相関演算手段と、 上記第１の領域と、第２の領域との自己相関結果に基づ
   き、上記画像上の特徴的な形状を含む領域を抽出する特
   徴抽出手段とを備えたことを特徴とする特徴領域抽出装
   置。
9. 【請求項９】 第１の記憶手段に格納された画像上の第
   １の領域と、上記第２の記憶手段に格納された、上記第
   １の領域から微小量移動した領域との自己相関演算を行
   う自己相関演算手段と、 上記自己相関演算結果に基づき特徴領域の候補を抽出す
   る手段と、 上記特徴領域の候補に対して、自己相関演算を行って画
   像上の特徴的な形状を含む領域を抽出することを特徴と
   する請求項８の特徴領域抽出装置。
10. 【請求項１０】 カメラ画像から特徴的な形状を含む領
    域を抽出する特徴領域抽出装置であって、 第１、第２の記憶手段を備え、カメラにより撮影された
    画像をそれぞれ第１、第２の記憶手段に格納する画像メ
    モリと、 上記第１の記憶手段に格納された画像上の第１の領域
    と、上記第２の記憶手段に格納された、上記第１の領域
    の周辺全体に渡る領域との自己相関演算を行う自己相関
    演算手段と、 上記上記自己相関演算結果から自己相関分布を求める手
    段と、 上記自己相関分布の２方向への投影分布からピーク値を
    検出することにより、上記画像上の特徴的な形状を含む
    領域を抽出する特徴抽出手段とを備えたことを特徴とす
    る特徴領域抽出装置。
11. 【請求項１１】 ２台のカメラ画像からステレオ視のた
    めの特徴的な形状を含む領域を抽出する特徴領域抽出装
    置であって、 第１、第２の記憶手段を備え、２台のカメラにより撮影
    された画像をそれぞれ第１、第２の記憶手段に格納する
    画像メモリと、 上記第１の記憶手段に格納された画像上の第１の領域
    と、上記第２の記憶手段に格納された、上記第１の領域
    に対してカメラ間の配置関係によって定まる直線方向に
    移動させた第２の領域との自己相関演算を行う自己相関
    演算手段と、 上記第１の領域と、第２の領域との自己相関結果に基づ
    き、上記画像上からステレオ視のための特徴的な形状を
    含む領域を抽出する特徴抽出手段とを備えたことを特徴
    とする特徴領域抽出装置。
12. 【請求項１２】 画像上の濃度変化がある領域を分離す
    る手段を備え、該手段により分離された濃度変化がある
    領域について、特徴領域抽出処理を行うことを特徴とす
    る請求項８，９，１０または請求項１１の特徴領域抽出
    装置。
13. 【請求項１３】 ２台のカメラ画像から特徴的な形状を
    含む領域を抽出する特徴領域抽出装置であって、 第１、第２の記憶手段を備え、２台のカメラにより撮影
    された画像をそれぞれ第１、第２の記憶手段に格納する
    画像メモリと、 上記第１、第２の記憶手段に格納された画像から濃度変
    化がある領域を分離する手段と、 上記濃度変化がある領域に対して、上記カメラ間の配置
    関係によって定まる直線方向に移動させた領域との自己
    相関演算を行う自己相関演算手段と、 上記自己相関演算結果に基づき、ステレオ視のための特
    徴領域を抽出する手段と、 カメラの配置と上記抽出された特徴領域との対応関係に
    基づき、対象物までの距離を計測し、該距離により上記
    画像上の特徴領域が反射像であるか否かを判別する手段
    と、 上記判別結果を用いて、上記濃度変化がある領域から障
    害物領域を抽出する特徴領域抽出手段とを備えたことを
    特徴とする特徴領域抽出装置。