JPH11149557A - 自律走行車の周囲環境認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 明暗の大きい環境下でステレオ撮像した一対
の画像から立体物と地面部とを誤り無く検出する。 【解決手段】 ステレオカメラ１０で撮像した１対の元
画像を立体物ステレオ処理部２０と地面部ステレオ処理
部３０との２系統に分配して処理し、各処理結果をデー
タ選択部４０で統合して、木や枝葉等の立体障害物と、
窪地、丘、段差等の地面形状とを同時に認識する。これ
により、果樹園等の明暗の大きい環境下においても立体
物と地面形状とを認識することができ、走行可能領域を
判断して地形に応じた車体制御を行う自律走行をアシス
トすることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオカメラで
撮像した１対の画像をステレオ処理して周囲環境を認識
する自律走行車の周囲環境認識装置に関する。

【０００２】

【従来の技術】従来より、ゴルフ場、河川敷堤防、公園
における草刈、芝刈作業や果樹園での農薬散布等の各種
フィールドでの作業を無人で行いながら自律的に走行す
る自律走行車に係わる開発が積極的に行われている。

【０００３】この自律走行車では、光電センサや超音波
センサ等の各種センサを用いて走行制御に必要な情報を
得たり、誘導ケーブルによって走行制御を行うようにし
ているが、センサによってはガイドやビーコン等を敷設
する必要があり、また、誘導ケーブルでは、切れやす
い、コストがかかる、保守管理が大変であるといった問
題がある。

【０００４】このため、近年では、画像処理の技術を適
用して周囲環境を認識し、走行制御を行う技術が開発さ
れており、例えば、特開昭６３−３１４６１６号公報に
は、２台のカメラを用いて撮像した進行方向のステレオ
画像から自己位置を検出することにより、自律走行制御
を行なう技術が開示されている。

【０００５】

【発明が解決しようとする課題】ところで、果樹園等で
の自律走行では、木や枝等の立体障害物だけでなく、窪
地、丘、段差等を考慮した走行可能領域の判断及び車体
制御が必要であり、明暗の大きい環境下で撮像した一対
の画像（基準画像及び比較画像）をステレオ処理して樹
木等の立体物と地面形状とを３次元的に把握しなければ
ならない。

【０００６】しかしながら、明暗の大きい画像をバラン
スの取れた明るさに調整すると、カメラのダイナミック
レンジの関係で地面部の輝度がつぶれてしまう（周りと
非常によく似る）傾向があり、基準画像の小領域と比較
画像の小領域との輝度差によるシティブロック距離を用
いて２つの画像のマッチングを取る従来のステレオ処理
では、シティブロック距離の変化がつきにくく、立体物
と区別して地面部を検出することは困難であった。

【０００７】この場合、地面部に合わせて画像全体の明
るさを調整すると、取り込んだ画像から地面は検出でき
ても、ほかの立体物が検出しづらくなってしまい、さら
には、２台のカメラのゲイン調整（明るさの調整）のち
ょっとしたずれの影響を受けて視差検出の誤りが多くな
る。

【０００８】本発明は上記事情に鑑みてなされたもの
で、明暗の大きい環境下でステレオ撮像した一対の画像
から立体物と地面部とを誤り無く検出し、立体物及び地
面部の３次元情報を同時に得ることのできる自律走行車
の周囲環境認識装置を提供することを目的としている。

【０００９】

【課題を解決するための手段】請求項１記載の発明は、
２台１組のカメラからなるステレオカメラを搭載し、こ
のステレオカメラで撮像した１対の画像をステレオ処理
して周囲環境を認識する自律走行車の周囲環境認識装置
であって、立体物と地面部とを含む１対の撮像画像に対
し、地面部を排除して互いに対応する領域を輝度の差に
基づいて求め、対応する領域の視差から得られる立体物
までの遠近情報を数値化した立体物主体の距離画像を生
成する手段と、上記１対の撮像画像に対し、地面部の互
いに対応する領域を輝度変化の差に基づいて求め、対応
する領域の視差から得られる地面部の遠近情報を数値化
した地面主体の距離画像を生成する手段と、上記立体物
主体の距離画像と上記地面主体の距離画像とを合成し、
上記１対の撮像画像に対して画面全体に渡る遠近情報を
数値化した距離画像を生成する手段とを備えたことを特
徴とする。

【００１０】請求項２記載の発明は、請求項１記載の発
明において、地面を平面と仮定して求めた画面上の任意
点の距離から視差を概算して対応する領域の位置を推測
し、この推測位置から所定範囲を、地面部の視差検出範
囲として設定することを特徴とする。

【００１１】すなわち、本発明では、２台１組のカメラ
からなるステレオカメラで撮像した立体物と地面部とを
含む１対の画像に対し、地面部を排除して互いに対応す
る領域を輝度の差に基づいて求め、対応する領域の視差
から得られる立体物までの遠近情報を数値化した立体物
主体の距離画像を生成するとともに、地面部の互いに対
応する領域を輝度変化の差に基づいて求め、対応する領
域の視差から得られる地面部の遠近情報を数値化した地
面主体の距離画像を生成する。そして、立体物主体の距
離画像と地面主体の距離画像とを合成して画面全体に渡
る遠近情報を数値化した距離画像を生成する。

【００１２】この際、地面を平面と仮定して求めた画面
上の任意点の距離から視差を概算して対応する領域の位
置を推測し、この推測位置から所定範囲を地面部の視差
検出範囲として設定することが望ましい。

【００１３】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１〜図７は本発明の実施の一形
態に係わり、図１は周囲環境認識装置の構成図、図２は
地面部ステレオ処理部の構成図、図３は元画像から立体
物主体の距離画像を生成した例を示す説明図、図４はカ
メラと平面との位置関係を示す説明図、図５は視差検出
範囲の説明図、図６は元画像から地面主体の距離画像を
生成した例を示す説明図、図７は出力距離画像を示す説
明図である。

【００１４】図１において、符号１は、自律走行車、例
えば果樹園における農薬散布等の作業を無人で行う作業
ロボット等に搭載され、周囲を撮像した画像を処理して
障害物や自己位置を認識し、地形に応じた姿勢制御を伴
う自律移動をアシストする周囲環境認識装置である。

【００１５】この周囲環境認識装置１は、２台１組のカ
メラ１０ａ，１０ｂからなるステレオカメラ１０、立体
物ステレオ処理部２０、地面部ステレオ処理部３０、デ
ータ選択部４０、距離画像メモリ５０、認識部６０等か
ら構成されており、果樹園等の明暗の大きい環境下で撮
像した１対の元画像（基準画像及び比較画像）を立体物
ステレオ処理部２０と地面部ステレオ処理部３０との２
系統に分配して並列処理し、各並列処理結果を統合する
ことで、木や枝葉等の立体障害物と、窪地、丘、段差等
の地面形状とを同時に認識する。

【００１６】具体的には、立体物ステレオ処理部２０で
は、２台１組のステレオカメラ１０で撮像した一対の画
像をステレオマッチングして立体物主体の距離画像を生
成する。この処理では、まず、地面部と樹木等の立体物
とを含む元画像に対してエッジ検出を強めに行って地面
部を排除し、この地面部を排除した画像の小領域、例え
ば４×４画素の小領域毎に、互いの画素の輝度の差から
以下の(1)式に示すシティブロック距離Ｃ１を計算す
る。

【００１７】Ｃ１＝Σ｜Ａ_i−Ｂ_i｜ …(1) 但し、Ａ_i：基準画像の小領域におけるｉ番目画素の輝
度 Ｂ_i：比較画像の小領域におけるｉ番目画素の輝度 Σ ：ｉ＝０〜ｎ（小領域内の画素数）の総和 そして、上記(1)式によるシティブロック距離Ｃ１が最
小となる比較画像の小領域を基準画像の小領域に対応す
る場所として決定し、互いに対応する小領域で対象物ま
での距離に応じて生じる画素のズレ（＝視差）を求めた
後、この視差から得られる立体物までの遠近情報を数値
化した３次元画像情報（距離画像）を生成する。

【００１８】すなわち、この立体物主体のステレオ処理
では、通常のステレオ処理（例えば、本出願人による特
開平５−１１４０９９号公報に詳述されている）に対し
てエッジ検出を強めに行うことで、例えば、図３に示す
ような元画像から立体物主体の距離画像を生成し、地面
部を排除した立体物だけの距離データを得るようにして
いる。

【００１９】一方、上記地面部ステレオ処理部３０は、
図２に示すように、視差検出範囲設定部３１、輝度微分
シティブロック距離計算部３２、視差検出部３３等から
構成されており、ステレオカメラ１０で撮像した一対の
画像をステレオマッチングし、地面主体の距離画像を生
成する。

【００２０】すなわち、地面はある程度平面とみなすこ
とができることから、視差検出範囲設定部３１では、地
面を平面と仮定して基準画像の１つの小領域にマッチン
グする比較画像の小領域の位置を推測し、視差を検出す
る範囲を設定する。

【００２１】図４に示すように、カメラが平面を写して
いるとすると、カメラの平面からの高さをＨ、画面上の
消失点を（Ｘv，Ｙv）、画面上の任意の点を（Ｘi，Ｙ
i）、焦点距離をｆとして、任意点の実際の距離Ｚは、
以下の(2)式で与えられる。

【００２２】 Ｚ＝Ｈ／ｔａｎ（ｔａｎ^-1(Ｙv／ｆ)−ｔａｎ^-1(Ｙi／ｆ)）…(2) また、2台のカメラ１０ａ，１０ｂの基線長（カメラ光
軸間の距離）をｒ、視差をｘとすると、レンズから目標
物体までの距離Ｄは、以下の(3)式で与えられる。

【００２３】Ｄ＝ｒｆ／ｘ …(3) 従って、上記(2)式の右辺と上記(3)式の右辺とが等しい
とみなすことにより、およその視差を求めることがで
き、このおよその視差を用いて地面を平面と仮定した場
合の基準画像の１つの小領域、例えば８×２画素の小領
域に対し、図５に示すように、マッチングする比較画像
の小領域の位置を推測する。そして、この推測点から水
平走査方向の前後所定範囲を、比較画像の視差検出範囲
として設定することで、より正確に地面部を検出するこ
とができる。

【００２４】次に、輝度微分シティブロック距離計算部
３２では、視差検出範囲内の小領域毎に、以下の(4)式
による輝度微分のシティブロック距離Ｃ２を計算する。
すなわち、地面部は、各部分の輝度が周りと非常によく
似ており、通常のマッチング処理のように２枚の画像の
輝度の差をとるだけでは視差検出の誤りが多くなる。こ
のため、輝度の差でマッチングをとるのではなく、輝度
変化点を検出することにより、マッチングをとる。

【００２５】 Ｃ２＝Σ｜(Ａ_i−Ａ_i-1)−(Ｂ_i−Ｂ_i-1)｜ …(4) そして、視差検出部３３で、上記(4)式による輝度微分
のシティブロック距離Ｃ２が最小となる比較画像の小領
域を、基準画像の小領域に対応する場所として決定して
互いの視差を求め、この視差から得られる地面部の遠近
情報を数値化した３次元画像情報（距離画像）を生成す
る。図６は、元画像から輝度微分のシティブロック距離
によって地面主体の距離画像を生成した例である。

【００２６】データ選択部４０では、上記立体物ステレ
オ処理部２０で生成された立体物主体の距離画像に、上
記地面部ステレオ処理部３０で生成された地面主体の距
離画像から選択した地面部のデータを埋め込み、図７に
示すように、１つの距離画像として合成する。

【００２７】上記データ選択部４０から出力される距離
画像は上記距離画像メモリ５０にストされ、認識部６０
に読み込まれる。この認識部６０では、距離画像メモリ
５０からの３次元の距離情報に基づいて樹木等の立体物
や地面の凹凸等を認識し、図示しない走行制御装置に自
律走行のための情報を出力する。

【００２８】これにより、例えば、果樹園における農薬
散布で予め走行経路を学習させて自律走行を行う場合、
丘があると認識された場合には減速し、段差があると認
識された場合には徐行するといったように、その場に応
じた走行可能領域を判断し、地形に応じた車体制御を伴
う自律走行をアシストすることができる。

【００２９】

【発明の効果】以上説明したように請求項１記載の発明
によれば、２台１組のカメラからなるステレオカメラで
撮像した立体物と地面部とを含む１対の画像に対し、地
面部を排除して互いに対応する領域を輝度の差に基づい
て求め、対応する領域の視差から得られる立体物までの
遠近情報を数値化した立体物主体の距離画像を生成する
とともに、地面部の互いに対応する領域を輝度変化の差
に基づいて求め、対応する領域の視差から得られる地面
部の遠近情報を数値化した地面主体の距離画像を生成す
る。そして、立体物主体の距離画像と地面主体の距離画
像とを合成して画面全体に渡る遠近情報を数値化した距
離画像を生成するため、例えば、果樹園等の明暗の大き
い環境下においても樹木等の立体物と地面部とを誤り無
く検出して正確な３次元情報を得ることができ、正確な
走行可能領域の判断を可能として地形に応じた車体制御
を行う自律走行をアシストすることができる。

【００３０】この場合、請求項２に記載したように、地
面を平面と仮定して求めた画面上の任意点の距離から視
差を概算して対応する領域の位置を推測し、この推測位
置から所定範囲を地面部の視差検出範囲として設定する
ことで、より正確に地面部を検出することができる。

【図面の簡単な説明】

【図１】周囲環境認識装置の構成図

【図２】地面部ステレオ処理部の構成図

【図３】元画像から立体物主体の距離画像を生成した例
を示す説明図

【図４】カメラと平面との位置関係を示す説明図

【図５】視差検出範囲の説明図

【図６】元画像から地面主体の距離画像を生成した例を
示す説明図

【図７】出力距離画像を示す説明図

【符号の説明】

１ …周囲環境認識装置 １０…ステレオカメラ ２０…立体物ステレオ処理部 ３０…地面部ステレオ処理部 ４０…データ選択部 ５０…距離画像メモリ ６０…認識部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 ２台１組のカメラからなるステレオカメ
   ラを搭載し、このステレオカメラで撮像した１対の画像
   をステレオ処理して周囲環境を認識する自律走行車の周
   囲環境認識装置であって、 立体物と地面部とを含む１対の撮像画像に対し、地面部
   を排除して互いに対応する領域を輝度の差に基づいて求
   め、対応する領域の視差から得られる立体物までの遠近
   情報を数値化した立体物主体の距離画像を生成する手段
   と、 上記１対の撮像画像に対し、地面部の互いに対応する領
   域を輝度変化の差に基づいて求め、対応する領域の視差
   から得られる地面部の遠近情報を数値化した地面主体の
   距離画像を生成する手段と、 上記立体物主体の距離画像と上記地面主体の距離画像と
   を合成し、上記１対の撮像画像に対して画面全体に渡る
   遠近情報を数値化した距離画像を生成する手段とを備え
   たことを特徴とする自律走行車の周囲環境認識装置。
2. 【請求項２】 地面を平面と仮定して求めた画面上の任
   意点の距離から視差を概算して対応する領域の位置を推
   測し、この推測位置から所定範囲を、地面部の視差検出
   範囲として設定することを特徴とする請求項１記載の自
   律走行車の周囲環境認識装置。