JP4539388B2

JP4539388B2 - 障害物検出装置

Info

Publication number: JP4539388B2
Application number: JP2005076002A
Authority: JP
Inventors: 健一郎野坂; 智治中原
Original assignee: Panasonic Corp; Matsushita Electric Works Ltd
Current assignee: Panasonic Corp; Panasonic Electric Works Co Ltd
Priority date: 2005-03-16
Filing date: 2005-03-16
Publication date: 2010-09-08
Anticipated expiration: 2025-03-16
Also published as: JP2006260098A

Description

本発明は、移動体に搭載され移動体が走行しようとする場所に存在する障害物を検出する障害物検出装置に関するものである。

従来から、自動車の衝突を自動的に回避するために走行の障害となる物体を検出する技術が提案されている。この種の技術としては、自動車の車外の距離画像をステレオ画像法により取得し、距離画像から道路の白線の位置および形状を推定することによって道路モデルを決定し、さらに道路モデルを用いて道路表面より上にある物体の形状や位置から衝突の可能性を判断することが提案されている（たとえば、特許文献１参照）。

また、距離画像から得られる測定点の三次元データを基準面に投影し、基準面に設定したグリッドセル内の測定点の度数を求め、度数を２値化して障害物を抽出する技術も提案されている（たとえば、特許文献２参照）。
特開平５−２６５５４７号公報特開２００１−２４２９３４号公報

特許文献１に記載の技術では、距離画像から道路モデルを決定した後に道路表面より上にある物体の衝突の可能性を判断するから、障害物を道路とは分離することができるが、まず道路モデルを正確に検出することが前提であり、正確な道路モデルを決定できなければ障害物の存否も判断することができない。したがって、障害物を検出するための処理負荷が大きいという問題がある。しかも、駐車場や公園のような道路以外の場所ではこの技術を利用することができない。

また、特許文献２に記載の技術では、測定点を基準面に投影しているだけであるから、障害物の位置は抽出することができるとしても、障害物の有無を判断する段階では障害物の形状に関する情報が消失しており、傾斜面のように移動体が走行可能な面であっても障害物とは区別することができない。

本発明は上記事由に鑑みて為されたものであり、その目的は、距離画像を用いて走行可能な経路か衝突を回避しなければならない障害物かを判別することを可能とし、しかも処理負荷が小さく高速な処理が可能な障害物検出装置を提供することにある。

請求項１の発明は、移動体に搭載され移動体が走行しようとする面を含む空間領域を斜め下向きに撮像し画素値が距離値である距離画像を生成する距離画像センサと、あらかじめ設定した基準面の距離画像と移動体の走行中において距離画像センサにより生成された距離画像との差分画像を生成する差分画像生成部と、差分画像のうち差分値が規定の距離閾値以上である領域について距離画像を基準面からの高さに対応付けた複数段階の閾値で２値化し複数の２値画像を生成する２値画像生成部と、各２値画像が規定の関係を満たすときに前記空間領域に障害物が存在すると判断する判断部とを備え、２値画像生成部は、差分画像のうち差分値が規定の距離閾値以上である領域について距離画像を基準面に投影することにより基準面からの高さ値を画素値とした高さ画像を生成する高さ画像生成部と、高さ画像を複数段階の閾値で２値化し複数の２値画像を生成する２値化部とからなり、２値化部は２段階の閾値で高さ画像を２値化した２つの２値画像を生成し、判断部は、各２値画像について、それぞれ基準面からの高さ値が閾値以上である領域の面積を求め、障害物と判断する前記関係として、両面積の差が規定した判定閾値以下であることと、両面積の比が１の前後で規定した判定範囲内であることとの一方を用いることを特徴とする。

この構成によれば、距離画像を基準面に対する高さに対応付けた複数段階の閾値で２値化した複数の２値画像を生成するとともに、各２値画像の関係によって障害物の有無を判断するから、複数の２値画像によって距離画像内に存在している物体の基準面からの高さと位置との情報を得ることができる。得られた情報が特定の関係であるときには障害物とみなすことにより、障害物に対しては衝突する可能性があると判断し、障害物の関係を満たさない場合には障害物ではなく走行可能であると判断することができる。

しかも、基準面に関する距離画像との差分画像に距離閾値を適用して障害物が存在すると考えられる領域を抽出し、抽出した領域のみについて距離値を含む三次元データを用いて障害物か否かを判断するから、距離画像内の全画素を対象として三次元データを処理する場合に比較すると、処理負荷が軽減され平均演算時間が短縮される。また、障害物の候補は差分画像に対して距離閾値を適用するだけで抽出するから、この際の処理負荷は小さく、この段階で障害物の候補が抽出されなければ障害物の有無を判断する必要がないから、この点でも処理負荷を軽減できる。

さらに、基準面に対する高さ値を画素値とした高さ画像における高さ値を複数段階の閾値で２値化した複数の２値画像を生成するとともに、各２値画像の関係によって障害物の有無を判断するから、複数の２値画像によって距離画像内に存在している物体の基準面からの高さと位置との情報を得ることができる。得られた情報が特定の関係であるときには障害物とみなすことにより、障害物に対しては衝突する可能性があると判断し、障害物の関係を満たさない場合には障害物ではなく走行可能であると判断することができる。

加えて、２つの２値画像において障害物の候補となる領域の面積の比較のみで障害物か否かを判断するから、処理負荷が小さく高速な処理が期待できる。

請求項２の発明は、移動体に搭載され移動体が走行しようとする面を含む空間領域を斜め下向きに撮像し画素値が距離値である距離画像を生成する距離画像センサと、あらかじめ設定した基準面の距離画像と移動体の走行中において距離画像センサにより生成された距離画像との差分画像を生成する差分画像生成部と、差分画像のうち差分値が規定の距離閾値以上である領域について距離画像を基準面からの高さに対応付けた複数段階の閾値で２値化し複数の２値画像を生成する２値画像生成部と、各２値画像が規定の関係を満たすときに前記空間領域に障害物が存在すると判断する判断部とを備え、２値画像生成部は、差分画像のうち差分値が規定の距離閾値以上である領域について距離画像を基準面に投影することにより基準面からの高さ値を画素値とした高さ画像を生成する高さ画像生成部と、高さ画像を複数段階の閾値で２値化し複数の２値画像を生成する２値化部とからなり、２値化部は２段階の閾値で高さ画像を２値化した２つの２値画像を生成し、判断部は、各２値画像について、それぞれ基準面からの高さ値が閾値以上である領域のエッジを求め、障害物と判断する前記関係として、両エッジの位置の距離差が規定した判定閾値以上であることを用いることを特徴とする。

この構成によれば、距離画像を基準面に対する高さに対応付けた複数段階の閾値で２値化した複数の２値画像を生成するとともに、各２値画像の関係によって障害物の有無を判断するから、複数の２値画像によって距離画像内に存在している物体の基準面からの高さと位置との情報を得ることができる。得られた情報が特定の関係であるときには、障害物とみなすことにより、障害物に対しては衝突する可能性があると判断し、障害物の関係を満たさない場合には障害物ではなく走行可能であると判断することができる。
しかも、基準面に関する距離画像との差分画像に距離画像を適用して障害物が存在すると考えられる領域を抽出し、抽出した領域のみについえ距離値を含む三次元データを用いて障害物か否かを判断するから、距離画像内の全画素を対象として三次元データを処理する場合に比較すると、処理負荷が軽減され平均演算時間が短縮される。また、障害物の候補は差分画像に対して距離閾値を適用するだけで抽出するから、この際の処理負荷は小さく、この段階で障害物の候補が抽出されなければ障害物の有無を判断する必要がないから、この点でも処理負荷を軽減できる。
さらに、基準面に対する高さ値を画素値とした高さ画像における高さ値を複数段階の閾値で２値化した複数の２値画像を生成するとともに、各２値画像の関係によって障害物の有無を判断するから、複数の２値画像によって距離画像内に存在している物体の基準面からの高さと位置との情報を得ることができる。得られた情報が特定の関係であるときには障害物とみなすことにより、障害物に対しては衝突する可能性があると判断し、障害物の関係を満たさない場合には障害物ではなく走行可能であると判断することができる。
加えて、障害物の候補である領域のエッジの距離差を用いており、判定閾値より大きい距離差が生じることは、障害物ではなく傾斜面であることを示している。すなわち、障害物か傾斜面かの判別が容易にできる。

請求項３の発明では、請求項１または請求項２の発明において、前記基準面は前記移動体が走行している面を延長した平面であることを特徴とする。

この構成によれば、基準面の設定が容易であり、たとえば移動体に対する距離画像センサの位置および姿勢から演算によって基準面を設定することが可能になる。

本発明の構成によれば、距離画像を基準面に対する高さに対応付けた複数段階の閾値で２値化した複数の２値画像の関係によって障害物の有無を判断し、また請求項２の構成では、基準面に対する高さ値を画素値とした高さ画像における高さ値を複数段階の閾値で２値化した複数の２値画像の関係によって障害物の有無を判断するから、いずれの構成においても障害物と障害物以外とを容易に識別することができるという利点がある。また、基準面に関する距離画像との差分画像に距離閾値を適用して障害物が存在すると考えられる領域を抽出し、抽出した領域のみについて障害物か否かを判断するから、処理負荷が小さく平均演算時間が短縮されるという利点がある。

以下に説明する実施形態では、移動体として移動範囲の地図情報を用いて自律的に移動する自律移動装置を例示し、本発明の障害物検出装置を自律移動装置に搭載した例を説明する。自律移動装置２は、図１に示すように、電動モータあるいはエンジンのような駆動源を持つ走行装置２１を備える。ここでは、走行装置２１として駆動源でタイヤを回転駆動させて推進力を得る構成を採用している。走行装置２１は推進力および進行方向が可変であって、外部から推進力および進行方向に関する指示を受ける走行制御部２２により走行装置２１の推進力および進行方向が制御される。たとえば、駆動源を電動モータとするとき、走行制御部２２では、推進力を増加させる指示を受けると、電動モータへの通電電流を増加させる。あるいはまた、進行方向が指示されると左右のタイヤの回転数を変化させるように通電電流を制御し、指示された進行方向に方向転換する。

自律移動装置２については要旨ではないから詳述しないが、一般に自律移動装置２は、現在位置を認識する機能を有し、保有する地図情報において指示された経路を通るように自律的に走行する。本発明は、この種の自律移動装置２に対して、障害物を検出する機能を付加することにより障害物との衝突の回避などに用いることを可能とし、また障害物とは別に傾斜面を検出する機能を付加することにより傾斜面を登坂する際の推進力の制御に用いることを可能とするものである。

この種の機能を実現するために、自律移動装置２には自律移動装置２の移動方向を含む所定範囲を視野に持つ距離画像センサ１１が搭載される。距離画像センサ１１は、視野内に存在する物体までの距離を求め、画素値が距離値である距離画像を生成する。この種の距離画像センサの原理としては、複数台の撮像装置の視差を利用してステレオ画像法により物体までの距離を求めるもの、強度を変調した信号光を投光するとともに信号光の物体による反射光を受光し、信号光の投光時と受光時との時間差を変調波形の位相差により求めるものなどが知られている。ここでは、強度を変調した信号光を投光して投受光の位相差を求める構成を採用しているものとする。信号光の投光には赤外線発光ダイオードを用い、信号光の受光にはＣＣＤイメージセンサあるいは類似構成のイメージセンサを用いるものとする。また、ＣＣＤイメージセンサの前方にはレンズ群からなる受光光学系が配置される。

ステレオ画像法あるいは投受光の位相差を用いる距離画像センサ１１では、数分の１秒より短い時間内で得られる情報を用いて視野内の全領域の距離を計測することができるから、光切断法を用いる場合よりも短時間で距離の測定が可能である。したがって、とくに高速に移動するものでなければ、自律移動装置２が移動している間においても視野内の全領域の距離を実質的に時間差なく計測することができる。また、距離画像センサ１１では受光量を距離に換算する処理をイメージセンサの１フレーム内の時間で行うものとする。

距離画像センサ１１の視野Ｖｆは、図２のように、自律移動装置２が走行しようとする面（通常は、路面、地面、床面のいずれか）を含む空間領域であって斜め下向きに設定される。距離画像センサ１１は自律移動装置２が走行する範囲における障害物の有無を検出するのが目的であるから、距離画像センサ１１の視野角は、自律移動装置２の走行性能に応じて適宜に設定される。自律移動装置２の速度が速く、旋回性能が高いほど視野は広く設定することになる。

上述した距離画像センサ１１において、各画素は受光系の所定位置を原点とした球座標における角度（伏角と方位角）に対応する。つまり、画素位置が持つ球座標の角度の情報と、画素値が持つ球座標の距離の情報とにより、距離画像センサ１１に設定した球座標での物体の三次元の座標位置を特定することができる。球座標における距離をｒ、ｚ軸（距離画像センサ１１の受光系の上向きを正とする軸、つまり距離画像の垂直方向の上向きを正とする軸）に対する角度をθ、方位角をφとすれば、距離画像センサ１１で得られる情報は（ｒ，θ，φ）のパラメータを持つが、以下では説明を簡単にするために、図３のように、原則として角度に関する説明には角度θのみを用い、方位角φは説明上で必要な場合にのみ用いる。

距離画像センサ１１では、図３のように、角度θ１，θ２，……ごとの距離ｒ１，ｒ２，……が求められる。ここで、自律移動装置２が走行している面を延長した平面を基準面Ｆｂとし、基準面Ｆｂに関する距離画像を基準画像として基準画像記憶部１２に格納する。このような基準画像は、自律移動装置２を水平な床面に置いたときの床面の距離画像として生成することができる。あるいはまた、自律移動装置２に対する距離画像センサ１１の取付状態（位置および姿勢）と基準面Ｆｂとする平面との関係から計算により画素値を求めて基準画像を生成してもよい。

自律移動装置２の走行時には、自律移動装置２の走行中に距離画像センサ１１で得られる距離画像と、基準画像記憶部１２に格納されている距離画像との差分画像が差分画像生成部１３において求められる。つまり、差分画像生成部１３は、距離画像センサ１１で得られた距離画像の各画素（各角度θ１，θ２，……に対応する）と、基準画像の各画素とについて、同じ位置の画素同士の画素値の差分を求める。この差分画像は、距離画像センサ１１の各画素に対応付けた各角度θ１，θ２，……ごとの距離ｒ１，ｒ２，……の差分値を画素値とするから、基準面Ｆｂの上に障害物Ｏｂが存在しないときには、差分画像における各画素値はほぼ０になる。一方、障害物Ｏｂが存在していれば、図４のように、障害物Ｏｂに対応する画素では、差分画像における各画素値の絶対値は比較的大きい値になる。

たとえば、基準面Ｆｂの距離画像である基準画像において、距離画像センサ１１における受光光学系の光軸Ａｘを基準軸とし、光軸Ａｘに対してなす角度θｃ（ｚ軸に対する角度を９０°から減じた角度）に対応する画素の距離値（画素値）がｒｃであり、自律移動装置２の走行中に距離画像センサ１１で得られた距離画像では角度θｃに対応する画素の距離値がｒｃ′であるとする。このとき、差分画像における角度θｃに対応する画素値は（ｒｃ−ｒｃ′）になる。障害物Ｏｂがなければｒｃ≒ｒｃ′になるから（ｒｃ−ｒｃ′）≒０になるが、障害物Ｏｂが存在していると（ｒｃ−ｒｃ′）の絶対値は比較的大きい値になる。また、この値は基準面Ｆｂからの障害物Ｏｂの高さ寸法に１より大きい倍率を乗じた値になるから、高さ寸法について差分を求める場合よりも差分を検出しやすくなる。なお、この倍率は、距離画像センサ１１の受光光学系の光軸Ａｘが基準面Ｆｂに直交する方向に対してなす角度をθｏとするときに、（１／ｃｏｓ（θｏ＋θｃ））になる。

上述したように、障害物Ｏｂの有無に応じて差分画像の画素値が変化するから、差分画像の各画素値に対して適宜に規定した距離閾値を適用し、画素値が距離閾値以上である画素を抽出すれば、当該画素は障害物Ｏｂの可能性があるとみなすことができる。つまり、差分画像を距離閾値で２値化することにより障害物Ｏｂの存在する可能性がある領域を抽出する。距離閾値は、距離画像センサ１１による測定誤差を考慮し、測定値のばらつきが正規分布になるものとして測定値のばらつきの標準偏差に基づいて距離閾値を設定する。たとえば、距離閾値は標準偏差の２倍に設定される。このように差分画像の画素値のうち距離閾値以上の画素のみを抽出することにより、基準面Ｆｂにほぼ一致している画素に対する処理が不要になるから、処理負荷が軽減される。ここで、距離閾値以上の画素については連結成分に着目し、類似度の高い連結成分を連続させ、孤立成分を除去する処理を行うことにより、ノイズをさらに低減させる。

ところで、自律移動装置２は、図５（ａ）のように基準面Ｆｂに対して登り傾斜している傾斜面Ｆｃを登坂可能である場合があり、また、図５（ｂ）のように基準面Ｆｂとは高さの異なる段差面Ｆｄを登り上がることができる場合がある。この種の傾斜面Ｆｃや段差面Ｆｄに対して自律移動装置２の行動を決定するには、傾斜面Ｆｃや段差面Ｆｄを障害物Ｏｂとは区別して検出する必要がある。しかしながら、差分画像における一つの画素の画素値にのみ着目すると、障害物Ｏｂか傾斜面Ｆｃや段差面Ｆｄと障害物Ｏｂとの区別ができない。

そこで、差分画像に含まれる情報から傾斜面Ｆｃあるいは段差面Ｆｄと障害物Ｏｂとを区別する情報を抽出するために、まず、高さ画像生成部１４では、距離画像センサ１１で得た距離画像のうち差分画像の画素値が距離閾値以上である領域を基準面Ｆｂに投影した高さ画像を生成する。高さ画像は、基準面Ｆｂからの高さ値を画素値とした画像になる。

このように、高さ画像は、差分画像の画素値が距離閾値以上になる領域について距離画像を基準面Ｆｂに投影した画像であるから、差分画像を座標変換することによっても生成することが可能である。つまり、差分画像の画素値は（ｒｃ−ｒｃ′）であるから、差分画像における角度θｃの位置の画素値を高さ画像の画素値に変換すると、（ｒｃ−ｒｃ′）・ｃｏｓ（θｃ＋θｏ）になる。また、差分画像の画素位置は極座標で規定されるから、高さ画像においては光軸Ａｘと基準面Ｆｂとの交点を原点とし、基準面Ｆｂの平面内に設定した座標上に高さ値をマッピングすれば、高さ画像を得ることができる。なお、基準面Ｆｂの平面内での基準軸は方位角φに対応付けて設定する。

高さ画像は、複数の閾値が設定されている２値化部１５において２値化される。図１では２段階の閾値を設定した例を示してあり、２値化部１５には、第１の閾値を設定した第１の２値化部１５ａと、第２の閾値を設定した第２の２値化部１５ｂとを設けている。第１の閾値は自律移動装置２が登り上がることができる程度の高さ寸法として設定され、第２の閾値は第１の閾値よりは小さくかつ第１の閾値とは有意の差を持つ程度の高さ寸法として設定される。たとえば、第２の閾値は第１の閾値の２分の１以下に設定する。

第１および第２の２値化部１５ａ，１５ｂでは同じ高さ画像について大小２段階の閾値で２値化を行うから、第１および第２の２値化部１５ａ，１５ｂでそれぞれ得られた２値画像の関係から視野Ｖｆ内に存在する物体の形状を推定することができる。２値化後には第１の閾値または第２の閾値以上である画素の連結成分に着目し、クラスタリング処理により連結成分の連結および分離を行うことにより、１つの物体が１つの連結領域に対応した２値画像が生成される。ただし、物体の形状によっては、１つの物体が複数の連結領域に分離される可能性もある。

上述のように、高さ値を２段階の閾値で２値化することにより、視野Ｖｆ内の物体の傾斜の度合いを知ることができる。たとえば、自律移動装置２が登坂可能な上り勾配を持つ図５（ａ）のような傾斜面Ｆｃであれば、高さ画像では自律移動装置２に近い領域（高さ画像の下部領域）から離れるに従って高さ値が大きくなるから、２種類の閾値で２値化すると、図６に示すように、閾値を越える領域Ｄ１，Ｄ２（斜線部）の面積が変化する。ここでは、図５（ａ）のような上り傾斜の傾斜面Ｆｃを想定しているから、第１の２値画像における領域Ｄ１の面積のほうが、第２の２値画像における領域Ｄ２の面積よりも小さくなる。

一方、図４に示した障害物Ｏｂのように、基準面Ｆｂに対して略垂直に立ち上がる面を持ち、しかも、その面の高さが自律移動装置２では登り上がることができない程度である場合には、２種類の閾値で２値化しても、図７のように、領域Ｄ１，Ｄ２（斜線部）の面積はほとんど変化せず、しかも自律移動装置２では登り上がることができないから、障害物Ｏｂであると判断することができる。

さらに、自律移動装置２が登り上がることのできる段差面Ｆｄであって、図５（ｂ）のような状態であると、段差面Ｆｄは第１の閾値以下になるから、第２の２値画像では領域Ｄ２が生じるが第１の２値画像では対応する領域Ｄ１が生じないことになる。

そこで、第１の２値化部１５ａと第２の２値化部１５ｂとから得られた第１の２値画像と第２の２値画像との関係を評価するために判断部１６（図１参照）を設けている。判断部１６では、距離画像センサ１１の２つの２値画像の関係を評価し、視野Ｖｆ内における障害物Ｏｂの有無を判断する。また、一見すると障害物Ｏｂと判断されるもののうち自律移動装置２が走行可能な傾斜面Ｆｃまたは段差面Ｆｄを障害物Ｏｂから分離する。

判断部１６における評価は、以下のように行う。まず第１の２値画像において第１の閾値以上（基準面Ｆｂからの高さ値が第１の閾値以上）である画素の連結領域の個数を計数する。この処理はクラスタリング処理におけるクラスタの個数を計数すればよい。第１および第２の２値画像の関係を評価して障害物Ｏｂか否かの判断をするには、２値画像内に存在する物体の対応付けが必要である。ここに、第１の２値画像における連結領域の個数が、あらかじめ規定した個数より多い場合には異常と判断して対応付けは行わず、障害物Ｏｂか否かの判断は行わない。異常と判断する個数は、第１および第２の２値画像の対応付けに要する処理時間などに基づいて実験的に設定する。

第１の２値画像における連結領域の個数が異常と判断されなければ、第１の２値画像と第２の２値画像との各連結領域の対応付けを行う。対応付けには各連結領域の重心位置を求め、第１の２値画像と第２の２値画像とにおける重心間の距離が最小になる各一対の連結領域を同じ物体に対応する連結領域とする。対応付けが終了した後には、障害物Ｏｂか否かの判断を行う。また、上述したようように、障害物Ｏｂの候補と判断された領域であっても傾斜面Ｆｃや段差面Ｆｄである可能性もあるから、傾斜面Ｆｃであると判断された場合には、傾斜面Ｆｃの勾配を求める。

障害物Ｏｂであるか傾斜面Ｆｃあるいは段差面Ｆｄであるかの判断は、第１の２値画像と第２の２値画像とで対応付けた各一対の連結領域の面積の関係を用いる方法と、第１の２値画像と第２の２値画像とで対応付けた各一対の連結領域のエッジの位置の関係を用いる方法とがある。

面積の関係は、図６および図７を用いて説明した通りであって、障害物Ｏｂでは領域Ｄ１，Ｄ２の面積がほとんど変化せず、傾斜面Ｆｃでは領域Ｄ１，Ｄ２の面積が大きく変化し、登り上がることのできる段差面Ｆｄでは領域Ｄ１が生じない。そこで、領域Ｄ１，Ｄ２の面積比または領域Ｄ１，Ｄ２の面積差を用いて、面積の相違を評価する。いま、領域Ｄ１の面積をＳ１、領域Ｄ２の面積をＳ２とすれば、障害物ＯｂではＳ１−Ｓ２≒０、Ｓ１／Ｓ２≒１になり、また適宜の閾値Ｔｈａ，Ｔｈｂを設定しておけば、上り勾配の傾斜面Ｆｃでは、Ｓ２−Ｓ１＞Ｔｈａ、Ｓ２／Ｓ１＞Ｔｈｂになる。これらの関係を利用すれば、障害物Ｏｂと傾斜面Ｆｃとを区別することが可能になる。

高さ画像に適用する第１の閾値をＴｈ１とするとともに第２の閾値をＴｈ２とし、傾斜面Ｆｃの基準面Ｆｂに対する傾斜角度をψとし、さらに、傾斜面Ｆｃに直交し傾斜面Ｆｃの傾斜方向を含む一つの面内における領域Ｄ１，Ｄ２の長さ寸法（たとえば、高さ画像の垂直方向に沿って傾斜しているとすれば、領域Ｄ１，Ｄ２の垂直方向の長さ寸法）をそれぞれｓ１，ｓ２とすれば、Ｔｈ１−Ｔｈ２＝（ｓ２−ｓ１）ｔａｎψという関係が得られる。

閾値Ｔｈａは面積に対して適用するから、ディメンションを合わせるために、長さ寸法ｓ１，ｓ２に適宜長さ（たとえば、高さ画像の垂直方向または水平方向の画素数、あるいは水平方向と垂直方向との画素数の平均値）を乗じる。閾値Ｔｈａを自律移動装置２が登坂可能な傾斜角度ψの最大値ψ（ｍａｘ）に対応付けると、Ｔｈａ＝ｋ・（Ｔｈ１−Ｔｈ２）／ｔａｎψ（ｍａｘ）と設定することができる。ただし、ｋは高さ画像の垂直方向または水平方向の画素数、あるいは水平方向と垂直方向との画素数の平均値である。また、閾値Ｔｈｂには、高さ画像の全画素数で閾値Ｔｈａを除した値を用いればよい。

なお、面積の差または比を用いて傾斜面Ｆｃを評価すると、段差面Ｆｄとの区別ができない可能性があるが、段差面Ｆｄの高さ値が閾値Ｔｈ１より小さい場合には、自律移動装置２で登り上がることができると判断されるから、閾値Ｔｈａ，Ｔｈｂによる判断は不要である。

上述した例では、判定部１６において領域Ｄ１，Ｄ２の面積の差または比を用いて障害物Ｏｂか傾斜面Ｆｃかの判断をしているが、領域Ｄ１，Ｄ２のエッジの位置の距離差を評価することによっても障害物Ｏｂか傾斜面Ｆｃかを判断するが可能である。いま、第１の２値化部１５ａおよび第２の２値化部１５ｂにより図８（ａ）（ｂ）に示すような領域Ｄ１，Ｄ２が得られたとする。判定部１６では、図９のように、２値画像における各領域Ｄ１，Ｄ２について画面の周縁を除くエッジの位置の距離差を評価するために、各領域Ｄ１，Ｄ２のエッジに関する重心ｇ１，ｇ２の位置を求め、両重心ｇ１，ｇ２の間の距離を評価する。つまり、エッジの重心ｇ１，ｇ２の間の距離が適宜に設定した判定閾値以上であれば、２枚の２値画像においてエッジの位置が変化していることになるから、判定閾値を適宜に設定すれば自律移動装置２の登坂可能な傾斜面Ｆｃであると判断することができる。逆に言えば、エッジの重心ｇ１，ｇ２の間の距離が判定閾値よりも小さいときには、自律移動装置２が登坂できない程度の傾斜角度を持つ傾斜面であるか障害物Ｏｂであると判断することができる。

重心ｇ１，ｇ２の間の距離をｄとし、傾斜面Ｆｃの傾斜角度をψとすれば、第１の閾値Ｔｈ１および第２の閾値Ｔｈ２を用いて、ｔａｎψ＝（Ｔｈ１−Ｔｈ２）／ｄの関係が得られるから、自律移動装置２が登坂可能な傾斜角度ψの最大値ψ（ｍａｘ）を、重心ｇ１，ｇ２の間の距離ｄに関する閾値Ｔｈｄに対応付けるとすれば、Ｔｈｄ＝（Ｔｈ１−Ｔｈ２）／ｔａｎψ（ｍａｘ）になる。また、領域Ｄ１，Ｄ２のエッジの重心ｇ１，ｇ２の間の距離ｄを用いて傾斜面Ｆｃの傾斜角度（勾配）ψを求めるから、傾斜角度ψを精度よくかつ再現性よく求めることができる。

上述したように、２つの２値画像の関係（領域Ｄ１，Ｄ２の面積の差あるいは比、または領域Ｄ１，Ｄ２のエッジの位置）を用いて傾斜面Ｆｃか障害物Ｏｂを判別するから、２つの２値画像の関係を用いるだけで三次元データを用いることなく傾斜面Ｆｃか否かの判断ができることになり、全画素の情報を用いる場合に比較すると、処理負荷を大幅に軽減することができる。しかも、閾値Ｔｈ１，Ｔｈ２は傾斜面Ｆｃを登坂可能か否かの目安を与えるから、閾値Ｔｈ１，Ｔｈ２の設定によって登坂可能な傾斜面Ｆｃの勾配を設定することができる。つまり、自律移動装置２の性能に合わせて閾値Ｔｈ１、Ｔｈ２を設定することができる。

判定部１６では、登坂可能な傾斜角度ψの傾斜面Ｆｃであると判断した場合には、傾斜面Ｆｃの傾斜角度ψのほか、自律移動装置２が走行している方向（距離画像センサ１１で得られる距離画像の垂直方向）に対して傾斜面Ｆｃが傾斜している方向も検出する。傾斜方向は自律移動装置２の移動方向を制御するための情報に用いることができる。

上述のようにして判定部１６において障害物Ｏｂまたは登坂不可能な傾斜面と登坂可能な傾斜面Ｆｃとが判別され、その結果は、走行制御部２２に与えられる。走行制御部２２では、判定部１６での判定結果に対応して、自律移動装置２を停止させるか旋回させるか旋回させるときには左右どちらに旋回させるかなどのルールが設定されており、判定部１６での判定結果にルールを適用して得られた制御内容で走行装置２１を制御する。図示していないが、判断部１６と走行制御部２２との間には適宜のインタフェースが設けられており、一般的な自律移動装置２にインタフェースを介して本発明の障害物検出装置を接続することで、自律移動装置２に障害物検出装置の機能を容易に付加することができるようにしてある。なお、図１に符号１２〜１６で示した構成は、適宜のプログラムをコンピュータで実行することにより実現される。

上述した動作を図１０にまとめる。図１０に示す処理は、距離画像センサ１１に設けたイメージセンサの１フレーム内の時間で行われる。まず、イメージセンサにより撮像した画像から距離画像を生成し（Ｓ１）、次に距離画像と基準画像との差分画像を差分画像生成部１３で生成し、差分画像において距離閾値以上の画素が存在する領域を抽出する（Ｓ２）。ステップＳ２の処理は障害物Ｏｂが存在する可能性のある領域を抽出する処理であるから、障害物候補検出処理と言える。差分画像において距離閾値以上の画素が存在しなければ、つまり障害物候補が存在しなければ（Ｓ３）、次のフレームに移行する。また、障害物候補が存在するときには、差分画像から抽出した障害物候補の領域について高さ画像生成部１４で距離画像を基準面Ｆｂに投影して高さ画像を生成する（Ｓ４）。高さ画像に対しては、上述したように２値化部１５で２段階の閾値を用いて２値化し、第１および第２の２値画像を生成する。次に、判断部１６において、第１および第２の２値画像における各領域の対応付けを行う。判断部１６では領域の対応付け後に、上述した判断を行って障害物Ｏｂか傾斜面Ｆｃかを判別する（Ｓ５）。ステップＳ５には、第１の２値画像における障害物候補の個数が適数個であるか否かを判断する処理が含まれており、適数個でない場合には検出異常のフラグを設定する。したがって、ステップＳ５の処理後に検出異常のフラグが設定されていれば（Ｓ６）、取得した距離画像は採用しないようにするなどの検出異常の処理を行う（Ｓ７）。

ステップＳ５における判別処理の結果、障害物Ｏｂの存在が検出されたときには（Ｓ７）、障害物Ｏｂの位置など情報を走行制御部２２に通知し（Ｓ８）、自律移動装置２に障害物Ｏｂに対応した行動をとらせる。また、ステップＳ７において障害物Ｏｂの存在が検出されていないときには走行可能であるから、傾斜面Ｆｃや段差面Ｆｄに関して得た情報（傾斜角度や傾斜方向など）を走行制御部２に引き渡す（Ｓ９）。

なお、上述した例では２値化部１５ａにおいて２段階の閾値を用いているが、３段階以上の閾値を用いて２値化を行うようにし、各２値画像の関係を用いて障害物Ｏｂか否かを判断するようにしてもよい。３枚以上の２値画像の関係を用いると、２枚の２値画像の関係を用いる場合よりも物体の形状をより正確に把握することができる。ただし、２値画像の枚数が増加すれば処理時間が増加する。また、障害物Ｏｂか傾斜面Ｆｃかの判断程度であれば上述した実施形態で説明したように２枚の２値画像の関係を用いるだけでよいから、処理時間を短縮するために２枚の２値画像の関係で判断すればよい。

また、上述の構成では、高さ画像生成部１４と２値化部１５とにより２値画像を生成する２値画像生成部を構成し、高さ画像に対して閾値を適用しているが、差分画像を用いて障害物Ｏｂの候補と判断された領域について、距離画像に適宜の閾値を適用することで２値画像を得るようにしてもよい。この場合、距離画像に適用する閾値は、基準面からの高さに対応付ける必要があるから、距離画像内の画素の位置によって異なる閾値を設定することになる。つまり、２値画像生成部として高さ画像生成部１４が不要になる。

本発明の実施形態を示すブロック図である。同上の外観斜視図である。同上の原理説明図である。同上の原理説明図である。同上の原理説明図である。同上において斜面に対応する動作説明図である。同上において障害物に対応する動作説明図である。同上において斜面に対応する動作説明図である。同上において斜面に対応する動作説明図である。同上の全体の処理の流れを示す動作説明図である。

符号の説明

２自律移動装置
１１距離画像センサ
１２基準画像記憶部
１３差分画像生成部
１４高さ画像生成部
１５２値化部
１５ａ第１の２値化部
１５ｂ第２の２値化部
１６判断部
２１走行装置
２２走行制御部

Claims

移動体に搭載され移動体が走行しようとする面を含む空間領域を斜め下向きに撮像し画素値が距離値である距離画像を生成する距離画像センサと、あらかじめ設定した基準面の距離画像と移動体の走行中において距離画像センサにより生成された距離画像との差分画像を生成する差分画像生成部と、差分画像のうち差分値が規定の距離閾値以上である領域について距離画像を基準面からの高さに対応付けた複数段階の閾値で２値化し複数の２値画像を生成する２値画像生成部と、各２値画像が規定の関係を満たすときに前記空間領域に障害物が存在すると判断する判断部とを備え、２値画像生成部は、差分画像のうち差分値が規定の距離閾値以上である領域について距離画像を基準面に投影することにより基準面からの高さ値を画素値とした高さ画像を生成する高さ画像生成部と、高さ画像を複数段階の閾値で２値化し複数の２値画像を生成する２値化部とからなり、２値化部は２段階の閾値で高さ画像を２値化した２つの２値画像を生成し、判断部は、各２値画像について、それぞれ基準面からの高さ値が閾値以上である領域の面積を求め、障害物と判断する前記関係として、両面積の差が規定した判定閾値以下であることと、両面積の比が１の前後で規定した判定範囲内であることとの一方を用いることを特徴とする障害物検出装置。
移動体に搭載され移動体が走行しようとする面を含む空間領域を斜め下向きに撮像し画素値が距離値である距離画像を生成する距離画像センサと、あらかじめ設定した基準面の距離画像と移動体の走行中において距離画像センサにより生成された距離画像との差分画像を生成する差分画像生成部と、差分画像のうち差分値が規定の距離閾値以上である領域について距離画像を基準面からの高さに対応付けた複数段階の閾値で２値化し複数の２値画像を生成する２値画像生成部と、各２値画像が規定の関係を満たすときに前記空間領域に障害物が存在すると判断する判断部とを備え、２値画像生成部は、差分画像のうち差分値が規定の距離閾値以上である領域について距離画像を基準面に投影することにより基準面からの高さ値を画素値とした高さ画像を生成する高さ画像生成部と、高さ画像を複数段階の閾値で２値化し複数の２値画像を生成する２値化部とからなり、２値化部は２段階の閾値で高さ画像を２値化した２つの２値画像を生成し、判断部は、各２値画像について、それぞれ基準面からの高さ値が閾値以上である領域のエッジを求め、障害物と判断する前記関係として、両エッジの位置の距離差が規定した判定閾値以上であることを用いることを特徴とする障害物検出装置。
前記基準面は前記移動体が走行している面を延長した平面であることを特徴とする請求項１または請求項２記載の障害物検出装置。