JP4714104B2 - 物体傾き検出装置 - Google Patents

Description

本発明は、物体傾き検出装置に係り、特に、車両前方の撮像画像中から物体を検出し、その傾きを検出する物体傾き検出装置に関する。

近年、自動車等の走行安全性の向上や車両の自動制御等に向けて、車載のステレオカメラやビデオカメラ等で撮像した画像に画像処理を施して画像中から先行車や歩行者、道路面上の障害物等の位置や速度を検出する技術が種々提案されている（例えば特許文献１等参照）。これらの技術は、検出した歩行者や障害物には衝突せず先行車には追従するようにアクセルやブレーキ等を自動的に制御する技術につながる。また、それらの検出の前提となる走行路の車線の位置や道路形状を精度良く認識する装置の開発も進められている（例えば特許文献２等参照）。

このような撮像画像を用いた装置では、画像中の画素の輝度値が大きく変化する部分を物体のエッジ部分と認識して、先行車や歩行者、障害物等の物体や車線を検出する。そのため、道路面上に標示された最高速度やＵターン禁止等の規制標示や通行方向別通行区分を示す矢印の標示等のエッジ部分を検出してそれらを誤って物体と検出してしまう可能性がある。これを放置すると、道路に障害となる物体がないにもかかわらずその誤った検出結果に基づいて車両を停止させるように制御動作が行われる等の不都合が生じる。

これを回避するために、例えば、特許文献１に記載の装置では、ステレオカメラで自車両前方を撮像して一対の画像を形成し、それらの撮像画像に基づいて自車両から撮像された物体や車線までの距離を検出して、検出したエッジ部分が道路面上にあるかそれより上方にあるかを検出して道路面上の標示であるか先行車等の物体であるかを検出する。また、特許文献２に記載の装置では、同様にステレオカメラで車線の位置を検出し、過去の検出結果に基づいて今回のサンプリング周期における車線の検出エリアを限定することで道路面上の標示の誤検出を防止する。

また、特許文献３には、ステレオカメラで撮像した自車両前方の画像から障害物を検出し、その幅や高さから障害物が歩行者であるか車両であるか等を判定する装置が記載されており、また、特許文献４には、１つのカメラで自車両前方を撮像した画像中の物体のエッジ部分の動きを道路面での見かけの三次元的な動きとして計測し、その移動速度と自車両の車速とを比較して道路面上の標示と物体とを識別する装置が記載されている。
特開平１０−２８３４７７号公報 特開２００１−９２９７０号公報 特開２００２−３９７４７号公報 特開平７−９３６９３号公報

しかしながら、このような従来の装置では、ステレオカメラ等で自車両前方を撮像して複数の画像を形成し、それらのステレオマッチング等のマッチング処理により物体までの距離のデータを生成し、データが集まっている箇所を同一物体としてグループ化することで先行車等の物体を検出する。その際、マッチングのミス等により誤検出を生じる可能性がある。

特に、例えば後述する図１５に示すように、遠方の道路面が急な上り坂になっており、上り坂の上り始めの部分の道路面に規制標示等の道路標示があるような場合、前記特許文献１〜３に記載された従来の装置では、左右の車線間の中央に先行車や障害物があるように誤検出されてしまうことがある。また、例えば後述する図１７に示す室内駐車場等のように、天井が低い場合には天井が先行車や障害物として誤検出されてしまうことがある。前記特許文献４に記載された装置では、そもそも上り坂のように道路の勾配が大きく変わるような対象には必ずしも有効とは言えない。

本発明は、このような事情に鑑みてなされたものであり、撮像画像中に天井面や上り坂における道路標示等が撮像されている場合にそれらを的確に検出可能な物体傾き検出装置を提供することを目的とする。

前記の問題を解決するために、第１の発明の物体傾き検出装置は、
自車両前方を撮像して画素ごとに輝度値を有する一対の画像を出力する撮像手段と、
前記撮像された一対の画像の画素の前記輝度値に基づいて少なくとも一方の画像の各画素について実空間における距離を算出する画像処理手段と、
前記距離の情報に基づいて実空間上における道路面の高さを検出する道路面検出手段と、
前記距離の情報に基づいて、前記道路面検出手段が検出した道路面より上方に存在するとともに同一立体物を撮像したと見なせる画素をグループ化することで前記一方の画像上に立体物を検出する立体物検出手段と、
前記検出された立体物に該当する前記距離データの変化量を計算することで、前記検出された立体物の傾きを算出する傾き算出手段と
を備え、
前記傾き算出手段は、検出された前記立体物の高さをも算出し、さらに、
前記傾き検出手段により算出された前記立体物の傾きが、前記立体物が検出された地点における前記道路面検出手段が検出した道路面の傾きに対して所定の閾値の範囲内にあり、かつ、算出された前記立体物の高さが前記道路面検出手段が検出した道路面の高さに対して所定の閾値の範囲内にある場合に、前記立体物を道路面であると判定する判定手段とを備え、
前記傾き算出手段及び前記判定手段における前記傾きを、前記撮像手段の撮像方向に直交する水平軸回りの角度とすることを特徴とする。

第２の発明は、第１の発明の物体傾き検出装置において、前記傾き算出手段は、検出された前記立体物に対応する前記一方の画像の区域を水平方向に延びる複数の区間に分割し、前記距離の情報に基づいて前記分割した各区間ごとに代表距離を算出し、実空間上に並べた前記代表距離を直線で近似して前記傾きを算出することを特徴とする。

第３の発明は、第２の発明の物体傾き検出装置において、前記傾き算出手段は、前記水平方向に延びる複数の区間において、前記代表距離を算出できない区間が全区間中で所定の割合以上の割合を占める場合には、前記立体物を誤検出であると判断することを特徴とする。

第４の発明は、第１から第３のいずれかの発明の物体傾き検出装置において、
前記判定手段は、前記傾き検出手段により算出された前記立体物の傾きが、前記立体物が検出された地点における前記道路面検出手段が検出した道路面の傾きに対して所定の閾値の範囲内にあり、かつ、算出された前記立体物の高さが前記道路面検出手段が検出した道路面の高さに対して所定の閾値以上離れている場合に、前記立体物を天井面であると判定することを特徴とする。

第５の発明は、第１または第４の発明の物体傾き検出装置において、
前記傾き算出手段は、前記各区間ごとの代表距離の前記直線に対する分散を算出し、
前記判定手段は、設定された閾値より前記分散が小さい場合には前記立体物の傾きおよび高さに対する閾値の少なくとも何れか一方を、前記分散が設定された閾値より大きい場合の閾値に比べて小さな値に設定することを特徴とする。

第６の発明は、第１から第５のいずれかの発明の物体傾き検出装置において、前記判定手段は、今回のサンプリング周期で検出された前記立体物の過去のサンプリング周期からの移動速度を算出し、算出した移動速度が、前記立体物が停止していると推定される範囲を超える場合には前記判定を行わず、または前記判定を無効とすることを特徴とする。

第１の発明によれば、道路面上の標示は、道路面と同じ傾きを有し、道路面と同じ高さであるから、検出された立体物の傾きや高さがそれぞれ道路面の傾きや高さに近い値である場合にはその立体物は道路面上の標示等、すなわち道路面を検出したものであると判定することができる。そのため、傾きや高さに適切な閾値を設定することで立体物が道路面であるか否かを的確に判定することが可能となる。

そして、道路面と判定された立体物を検出対象から除外することで、それらを先行車等と誤検出することを確実に防止することが可能となり、自車両前方を撮像した撮像画像中から先行車や歩行者等を的確に検出して、自動車等の走行安全性の向上や車両の自動制御等の実現を有効に図ることが可能となる。

第２の発明によれば、検出された立体物に対応する撮像画像の区域を水平方向に延びる複数の区間に分割し、分割した各区間ごとに代表距離を算出して実空間上に並べた代表距離を直線で近似して傾きを算出することで、距離の情報に基づいて的確に立体物の高さ方向の傾きを算出することが可能となり、前記第１の発明の効果が的確に発揮される。

第３の発明によれば、前記各発明の効果に加え、代表距離を算出できない区間が全区間中で所定の割合以上の割合を占める場合には、そのような立体物の検出はミスマッチング等に起因し、その区域にはもともと検出の対象となる立体物は存在しない可能性が高いから、そのようにして検出された立体物を誤検出であると判断して排除することで、装置の信頼性をより向上させることが可能となる。

第４の発明によれば、天井面は、道路面にほぼ平行であるが道路面から車高分以上離れた高さに存在するから、検出された立体物の傾きが道路面の傾きに近い値であり、立体物の高さが道路面から車高分以上に離れていれば、その立体物は天井面を検出したものであると判定することができる。そのため、傾きや高さに適切な閾値を設定することで立体物が天井面であるか否かを的確に判定することが可能となり、前記各発明の効果が的確に発揮される。

第５の発明によれば、各区間ごとに算出された立体物の代表距離を実空間上に並べた場合、その位置にばらつきを生じる。そのばらつきが小さい場合には立体物の傾きや高さは精度良く算出されているから、立体物が道路面や天井面であるか否かの判定に用いる少なくとも何れか一方の閾値を、分散が設定された閾値より大きい場合の閾値に比べて小さな値に設定することができる。このように、代表距離のばらつき、すなわち分散により前記各閾値の値を適宜変更することで、より的確に前記各発明の効果が発揮される。

第６の発明によれば、道路面や天井面として判定した立体物が道路面に対してある程度以上の移動速度を有している場合は、検出された立体物は道路面の標示や天井面ではない可能性が高いから、道路面や天井面とした判定を無効とすることで前記各発明の効果がより的確に発揮され、装置の信頼性を向上させることができる。

以下、本発明に係る物体傾き検出装置の実施の形態について、図面を参照して説明する。

本実施形態に係る物体傾き検出装置１は、図１に示すように、主に撮像手段２と、変換手段３と、画像処理手段６と、検出手段９とで構成されている。

撮像手段２は、車両周辺を撮像するものであり、所定のサンプリング周期で車両前方の道路を含む風景を撮像して一対の画像を出力するように構成されている。本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵された一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。本実施形態では、メインカメラ２ａおよびサブカメラ２ｂにはＣＣＤカメラが用いられている。

メインカメラ２ａとサブカメラ２ｂは、例えば、ルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられている。前記一対のステレオカメラのうち、運転者に近い方のカメラが後述するように各画素について距離が算出され車線が検出される基となる画像を撮像するメインカメラ２ａ、運転者から遠い方のカメラが前記距離等を求めるために比較される画像を撮像するサブカメラ２ｂとされている。

メインカメラ２ａおよびサブカメラ２ｂには、変換手段３としてのＡ／Ｄコンバータ３ａ、３ｂがそれぞれ接続されている。Ａ／Ｄコンバータ３ａ、３ｂでは、メインカメラ２ａおよびサブカメラ２ｂから出力されてきた一対のアナログ画像がそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度値を有するデジタル画像に変換されるように構成されている。

Ａ／Ｄコンバータ３ａからはメインカメラ２ａで撮像され前述した各画素について距離が算出され車線が検出される基となる画像から変換されたデジタル画像が基準画像とし出力され、またＡ／Ｄコンバータ３ｂからはサブカメラ３ｂで撮像され変換されたデジタル画像が比較画像として出力されるようになっている。

Ａ／Ｄコンバータ３ａ、３ｂには、画像補正部４が接続されており、画像補正部４では、Ａ／Ｄコンバータ３ａ、３ｂから出力されてきた基準画像および比較画像に対してメインカメラ２ａおよびサブカメラ２ｂの取付位置の誤差に起因するずれやノイズの除去等を含む輝度値の補正等の画像補正がアフィン変換等を用いて行われるようになっている。

画像補正部４からは、基準画像Ｔが例えば図２に示されるような各画素に輝度値を有する画像データとして、また比較画像も各画素に輝度値を有する画像データとしてそれぞれ出力されるように構成されている。

画像補正部４には、画像データメモリ５が接続されており、基準画像Ｔと比較画像とのそれぞれの画像データは画像データメモリ５に格納されると同時に検出手段９に送信されるようになっている。

また、画像補正部４には、画像処理手段６が接続されている。画像処理手段６は、主に、イメージプロセッサ７と距離データメモリ８とで構成されている。

イメージプロセッサ７では、ステレオマッチング処理とフィルタリング処理により画像補正部４から出力された基準画像Ｔおよび比較画像のデジタルデータに基づいて基準画像Ｔの各画素または複数画素から構成するブロックからなる各設定領域について実空間における距離を算出するための視差ｄｐを算出するようになっている。この視差ｄｐの算出については、本願出願人により先に提出された特開平５−１１４０９９号公報に詳述されているが、以下、その要点を簡単に述べる。

イメージプロセッサ７は、基準画像Ｔを例えば４×４画素の画素ブロックに分け、ステレオマッチング処理により各画素ブロックごとに１つの視差ｄｐを算出するようになっている。

具体的には、１つの画素ブロックを構成する１６画素には、前述したようにそれぞれ０〜２５５の輝度値ｐ１ijが割り当てられており、１６画素の輝度値ｐ１ijがその画素ブロック特有の輝度値特性を形成している。なお、輝度値ｐ１ijの添字ｉおよびｊは、基準画像Ｔの画像平面の左下隅を原点とし、水平方向をｉ座標軸、垂直方向をｊ座標軸とした場合の画素のｉ座標およびｊ座標を表す。また、比較画像については基準画像Ｔの原点に予め対応付けられた画素を原点として同様にｉ座標、ｊ座標を取る。

イメージプロセッサ７は、比較画像を水平方向に延在する４画素幅の水平ラインに分割し、基準画像Ｔの１つの画素ブロックを取り出してそれに対応する比較画像の水平ライン上を１画素ずつ水平方向すなわちｉ方向にシフトさせながら、基準画像Ｔの画素ブロックにおける１６個の画素の輝度値ｐ１ij とそれに対応する比較画像における１６個の画素の輝度値ｐ２ijとの差の絶対値をそれぞれ合計した下記（１）式で求められるシティブロック距離ＣＢが最小となる水平ライン上の画素ブロック、すなわち基準画像Ｔの画素ブロックに最も近い輝度値特性を有する比較画像上の画素ブロックを探索するようになっている。
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜ …（１）

イメージプロセッサ７は、このようにして特定した比較画像上の画素ブロックともとの基準画像Ｔ上の画素ブロックとのずれ量を算出し、そのずれ量を視差ｄｐとして基準画像Ｔ上の画素ブロックに対応付けるようになっている。

この視差ｄｐは、前記メインカメラ２ａおよびサブカメラ２ｂの一定距離の離間に由来する基準画像Ｔおよび比較画像における同一物体の写像位置に関する水平方向の相対的なずれ量であり、メインカメラ２ａおよびサブカメラ２ｂの中央位置から物体までの距離と視差ｄｐとを三角測量の原理に基づいて対応付けることができる。

具体的には、実空間上で、メインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にＸ軸、車高方向にＹ軸、車長方向すなわち距離方向にＺ軸を取ると、視差ｄｐが割り付けられた距離画像上の点（ｉ，ｊ）から実空間上の点（Ｘ，Ｙ，Ｚ）への座標変換は下記の（２）〜（４）式に基づいて行われる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）

ここで、ＣＤはメインカメラ２ａとサブカメラ２ｂとの間隔、ＰＷは１画素当たりの視野角、ＣＨはメインカメラ２ａとサブカメラ２ｂの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

すなわち、メインカメラ２ａおよびサブカメラ２ｂの中央位置、正確には中央真下の道路面上の点から物体までの距離Ｌと視差ｄｐとは、前記（４）式のＺを距離Ｌとすることで一意に対応付けられる。また、視差ｄｐから前記（４）式に基づいて求められるＺを前記（２）、（３）式に代入することで距離画像上のｉ座標およびｊ座標と対応付けて求めることができる。

また、イメージプロセッサ７は、視差ｄｐの信頼性を向上させる目的から、このようにして求めた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。すなわち、例えば、車道の映像のみからなる特徴に乏しい４×４画素の画素ブロックを比較画像の４画素幅の水平ライン上で走査しても、比較画像の車道が撮像されている部分ではすべて相関が高くなり、対応する画素ブロックが特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。そのため、そのような視差ｄｐは前記フィルタリング処理で無効とされ、視差ｄｐの値として０を出力するようになっている。

したがって、イメージプロセッサ７から出力される基準画像Ｔの各画素の距離Ｌ、すなわち基準画像Ｔの各画素ブロックについて実空間における距離を算出するための視差ｄｐは、通常、基準画像Ｔの左右方向に隣り合う画素間で輝度値ｐ１ijの差が大きいいわゆるエッジ部分についてのみ有効な値を持つデータとなる。

イメージプロセッサ７で算出された基準画像Ｔの各画素ブロックの視差ｄｐは前記（４）式に基づいてＺすなわち実空間における距離Ｌに変換されて、この距離Ｌが基準画像Ｔ上の画素ブロックに対応付けるようになっている。このようにして距離Ｌが割り付けられた基準画像Ｔを、基準画像Ｔと区別して、以下、距離画像という。イメージプロセッサ７は、この距離画像を画像処理手段６の距離データメモリ８に格納するようになっている。

なお、距離画像上の座標（ｉ，ｊ）は基準画像Ｔ上の座標（ｉ，ｊ）に対応する。また、以下に述べる検出手段９における処理では、距離画像上の１つの画素ブロックは４×４個の画素として扱われ、１画素ブロックに属する１６個の画素は同一の距離Ｌを有する独立した画素（ｉ，ｊ）として処理されるようになっている。以下、距離画像上の画素（ｉ，ｊ）の距離ＬをＬijと表す。なお、検出手段９における処理を１画素ずつではなく、画素ブロックを１つの単位として処理するように構成することも可能である。

検出手段９は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。また、検出手段９には、車速センサやステアリングホイールの操舵角を測定する操舵角センサ等のセンサ類Ａが接続されている。

検出手段９は、図３に示すように、車線検出手段９１と、車線モデル形成手段９２と、立体物検出手段９３と、傾き算出手段９４と、判定手段９５と、メモリ９６とを備えている。検出手段９の各手段には、センサ類ＡからＩ／Ｏインターフェース９７を介して必要なデータが入力されるようになっている。

車線検出手段９１は、基準画像Ｔの各画素の輝度値ｐ１ijと各画素の実空間における距離Ｌijに基づいて基準画像Ｔ上に車線候補点を検出し、検出した車線候補点に基づいて自車両の左右の車線位置を検出するようになっている。

車線検出手段９１は、基準画像Ｔから車線位置を検出できるものであればよく、車線位置検出の手法は特定の手法に限定されない。本実施形態では、車線検出手段９１および後述する車線モデル形成手段９２は前記特許文献２に記載の車線認識装置をベースに構成されている。詳細な構成の説明は同公報に委ねるが、以下、簡単にその構成を説明する。

車線検出手段９１は、画像データメモリ５から基準画像Ｔの各画素の輝度値ｐ１ijの情報を読み出し、また、距離データメモリ８から距離画像の各画素の実空間における距離Ｌijの情報を読み出す。そして、基準画像Ｔ上の１画素幅の水平ラインｊ上を左右方向に１画素ずつオフセットしながら探索し、図４に示すように、基準画像Ｔの各画素の輝度値ｐ１ijに基づいて各画素の輝度微分値すなわちエッジ強度が閾値以上に大きく変化する等の条件を満たす画素を車線候補点（Ｉj，Ｊj）としてそれぞれ検出するようになっている。

その際、基準画像Ｔに対応する距離画像に割り付けられた各画素の距離Ｌijの情報に基づいて、検出された画素が道路面上にない場合は除外し、車線候補点としては検出しないようになっている。

車線検出手段９１は、探索を行う水平ラインｊを基準画像Ｔの下側から上向きに１画素幅ずつオフセットさせながら順次車線候補点の検出を行い、図５に示すように、自車両の右側の領域Ａおよび左側の領域Ｂにそれぞれ車線候補点を検出する。そして、それらの中から整合性を取れない車線候補点を破棄して残りの車線候補点を結ぶことで、図６に示すように基準画像Ｔ上で自車両の右側に右車線位置ＬＲを、左側に左車線位置ＬＬをそれぞれ検出するようになっている。左右の車線位置ＬＲ、ＬＬはそれぞれ実空間における車線位置ＬＲ、ＬＬにも変換されるようになっている。

なお、本実施形態では、車線検出手段９１は、検出された各車線候補点の座標を直線または曲線で近似して左右の車線位置ＬＲ、ＬＬを検出するようになっている。また、車線候補点が検出されていない自車両から遠方の領域についても、前記近似された直線や曲線に基づいて、或いは検出された車線候補点同士を結ぶ直線の傾きの変化率等に応じて検出された左右の車線位置ＬＲ、ＬＬを適切に延長して推定するようになっている。

また、車線候補点の探索は、基準画像Ｔ上に探索領域を設定して行われるようになっている。すなわち、今回の検出処理では、前回の検出処理で検出された車線位置に基づいてその車線位置を含む基準画像Ｔ上の一定の範囲に探索領域を設定する。また、今回の検出で基準画像Ｔの下側から上向きに水平ラインｊを１画素幅ずつオフセットさせながら順次画素の検出を行う際に、ある水平ラインｊで前記条件を満たす画素が検出されなかった場合には、次の水平ラインでは探索領域を拡大して車線候補点の探索を行うようになっている。

車線検出手段９１は、このようにして検出した左右の車線位置ＬＲ、ＬＬや車線候補点の情報をメモリ９６に保存するとともに外部に出力するようになっている。

車線モデル形成手段９２は、車線検出手段９１で検出された左右の車線位置ＬＲ、ＬＬや車線候補点の情報に基づいて車線モデルを三次元的に形成するようになっている。本実施形態では、車線モデル形成手段９２は、図７（Ａ）、（Ｂ）に示すように、自車両の左右の車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した車線モデルを形成するようになっている。なお、図７（Ａ）はＺ−Ｘ平面上の道路モデルすなわち水平形状モデル、図７（Ｂ）はＺ−Ｙ平面上の道路モデルすなわち道路高モデルを表す。

具体的には、車線モデル形成手段９２は、自車両前方の実空間を自車両の位置からの距離Ｚ７までの各区間に分け、車線検出手段９１で検出された車線候補点の実空間上の位置（Ｘ，Ｙ，Ｚ）に基づいてそれぞれの区間内の車線候補点を最小二乗法で直線近似し、各区間ごとに下記の（５）〜（８）式のパラメータａ_Ｒ、ｂ_Ｒ、ａ_Ｌ、ｂ_Ｌ、ｃ_Ｒ、ｄ_Ｒ、ｃ_Ｌ、ｄ_Ｌを算出して車線モデルを形成するようになっている。

［水平形状モデル］
右車線 Ｘ＝ａ_Ｒ・Ｚ＋ｂ_Ｒ …（５）
右車線 Ｘ＝ａ_Ｌ・Ｚ＋ｂ_Ｌ …（６）
［道路高モデル］
右車線 Ｙ＝ｃ_Ｒ・Ｚ＋ｄ_Ｒ …（７）
右車線 Ｙ＝ｃ_Ｌ・Ｚ＋ｄ_Ｌ …（８）

このように車線モデル形成手段９２は、距離Ｌijの情報に基づいて道路高モデルを形成することで、実空間上における道路面の高さを検出することが可能であり、本発明の道路面検出手段に相当する。車線モデル形成手段９２は、このようにして形成した道路モデルすなわち算出した各区間のパラメータａ_Ｒ〜ｄ_Ｌをそれぞれメモリ９６に保存するとともに外部に出力するようになっている。

なお、原点およびＸ、Ｙ、Ｚ軸は前記と同様にして取られる。また、車線モデル形成手段９２で形成された車線モデルは、前述した車線検出手段９１における車線候補点の検出の際に次回のサンプリング周期において検出された画素が道路面上にあるか否かの判断の基準等として用いられるとともに、後述する各手段での処理に用いられるようになっている。

立体物検出手段９３は、距離画像の各画素の実空間における距離Ｌijに基づいて道路面より上方に存在する立体物を基準画像Ｔ上に検出するようになっている。立体物検出手段９３は、道路面より上方に存在する立体物を検出できるものであればよく、検出の手法は特定の手法に限定されない。本実施形態では、立体物検出手段９３は前記特許文献１に記載の車外監視装置をベースに構成されており、詳細な構成の説明は同公報に委ねる。以下、簡単にその構成を説明する。

立体物検出手段９３は、まず、距離データメモリ８から読み出した距離画像を所定の画素幅で垂直方向に延びる短冊状の区分に分割する。そして、前記道路モデルに基づいて短冊状の各区分に属する各画素の距離Ｌijのうち道路面より上方に存在すると位置付けられる距離Ｌijに関してヒストグラムを作成して、度数が最大の区間までの距離をその短冊状の区分における立体物の距離とする。これを全区分について行う。

例えば、図２に示した基準画像Ｔに対応する距離画像を短冊状の区分に分割し、前記手順で各区分における立体物の距離を算出して実空間上の点に変換すると、図８に示すように、立体物の自車両ＭＣに面した部分に対応する部分に多少バラツキを持って各点がプロットされる。

立体物検出手段９３は、図９に示すように、近接する各点の距離や方向性に基づいて同一立体物と見なせる各点をグループＧ１〜Ｇ７にグループ化し、図１０に示すように、各点が略Ｘ軸方向に並ぶグループには正面Ｏ１〜Ｏ３とラベルし、各点が略Ｚ軸方向に並ぶグループには側壁Ｗ１〜Ｗ４とラベルして、立体物に該当するグループをそれぞれ“正面”および“側壁”として検出するようになっている。

立体物検出手段９３は、図１０中の正面Ｏ１と側壁Ｗ１のように、“正面”とラベルされたグループと“側壁”とラベルされたグループとがそれぞれ１つの立体物に属する場合には、“正面”のグループと“側壁”のグループとの組み合わせを立体物Ｓとして認識し、正面Ｏ１と側壁Ｗ１との境目のような立体物の角部をコーナー点Ｃとして算出するように構成されている。このようにして検出された正面Ｏ、側壁Ｗおよび立体物Ｓを枠線で囲うようにして基準画像Ｔに重ねて表示させた場合には、図１１に示すような画像として表示される。

立体物検出手段９３は、このようにして検出した立体物Ｓや、正面Ｏや側壁Ｗとラベルされたグループの情報および正面Ｏとラベルされたグループの左端および右端の位置等をそれぞれメモリ９６に保存するとともに外部に出力するようになっている。以下、立体物Ｓのほか、正面Ｏや側壁Ｗをもあわせて立体物Ｓという。

傾き算出手段９４は、立体物検出手段９３で検出された立体物Ｓに該当するグループ内の各点の距離Ｌijについて、基準画像Ｔにおける縦方向すなわちｊ軸方向についての変化量を計算することで、ステレオカメラの撮像方向に対する立体物Ｓの高さ方向の傾きを算出するようになっている。

具体的には、傾き算出手段９４は、図１２に示すように、検出された立体物Ｓに対応する基準画像Ｔの枠線で囲まれた区域Ｒを距離画像ＬＩの同一の区域Ｒにあてはめて、図１３に示すように、その区域を水平方向に延びる複数の区間Ｒｎに分割する。本実施形態では、１つの区域Ｒを１０個の区間Ｒｎに分割するようになっている。なお、図１２や図１３は、前記図２等とは別のシーンの先行車についての距離画像ＬＩである。また、それらの図や後述する図１５、図１７等では水平方向に対して垂直方向の縮尺が小さくなるように撮像されている。

傾き算出手段９４は、続いて、各区間Ｒｎに属する各画素の距離Ｌijのうち前記道路モデルに基づいて道路面より上方に存在すると位置付けられる距離Ｌijに関して平均を算出することで各区間Ｒｎごとに代表距離Ｌｎaveを算出する。また、この代表距離Ｌｎaveを前記（３）式、すなわち、
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
のＺに代入してその代表距離Ｌｎaveの高さＹを算出する。その際、（３）式のｊには各区間Ｒｎの中央位置のｊ座標が代入されて計算される。

そして、図１４に示すように、それらの代表距離Ｌｎaveの高さＹを自車両前方の距離Ｚに対してプロットして最小二乗法により直線Ｈで近似し、その直線Ｈを表す下記一次式（９）の傾きｅをステレオカメラの撮像方向に対する立体物の高さ方向の傾きｅとして算出するようになっている。
Ｙ＝ｅ・Ｌ＋ｆ …（９）

傾き算出手段９４は、図１４に示したようなＺ−Ｙ平面上にプロットされた代表距離Ｌｎaveの中で値として最も大きな高さＹmaxと最も小さい高さＹminを算出して抽出するようになっている。また、傾き算出手段９４は、各区間Ｒｎごとの代表距離ＬｎaveのＺ−Ｙ平面上での直線Ｈに対する分散σを算出するようになっている。

また、傾き算出手段９４は、前記図１３のように区域Ｒを分割した複数の区間Ｒｎにおいて、距離Ｌijを有する画素が存在せず代表距離Ｌｎaveを算出できない区間が、全区間中で例えば５０％等の所定の割合以上の割合を占める場合には、区域Ｒにはもともと検出の対象となる立体物が存在しないと判断して、区域Ｒがあてはめられた立体物を誤検出であると判断するようになっている。

傾き算出手段９４は、以上の処理を立体物検出手段９３が検出したすべての立体物Ｓについて行うようになっており、このようにして各立体物Ｓごとに算出した各区間Ｒｎごとの代表距離Ｌｎave、近似直線Ｈの傾きｅ、高さの最大値Ｙmaxと最小値Ｙmin、分散σをそれぞれメモリ９６に保存するとともに外部に出力するようになっている。また、傾き算出手段９４は、立体物Ｓを誤検出と判断した場合には、その情報をメモリ９６に保存するとともに外部に出力するようになっている。

判定手段９５は、傾き検出手段９４により算出されたステレオカメラの撮像方向に対する立体物Ｓの高さ方向の傾きｅが、その立体物Ｓが検出された地点における道路面の傾きに近い場合には、その立体物Ｓを道路面であると判定するようになっている。

具体的には、例えば図１５に示すように勾配等が変化した道路面上に標示等があると、前記立体物検出手段９３により標示等が立体物として誤検出され、区域Ｒが設定されることがある。このような場合、前記傾き検出手段９４によりその区域Ｒの傾きｅを算出すると、図１６に示すように傾きｅが前記道路モデル形成手段９２により算出され前記（７）、（８）式で示されるその地点における道路高モデルの左右の車線の傾きｃ_Ｒ、ｃ_Ｌすなわち道路面の傾きｃ_Ｒ、ｃ_Ｌに近い値となる。また、その場合、誤検出された立体物は道路面に近い位置に検出される。

そこで、判定手段９５は、立体物検出手段９３により検出された立体物Ｓのうち、傾き検出手段９４により算出された立体物Ｓの傾きｅが、立体物Ｓが検出された地点Ｚ_０における道路面の傾きｃ_Ｒ、ｃ_Ｌに対して所定の閾値ethの範囲内にあり、かつ、算出された立体物Ｓの高さＹ、特に高さの最小値Ｙminがその地点Ｚ_０における道路面の高さＹ_０に対して所定の閾値の範囲Yth1内にある場合には、検出された立体物Ｓは道路面に標示された道路標示等であるとして立体物を道路面であると判定するようになっている。

また、例えば図１７に示す室内駐車場等のように天井が低い場合には、立体物検出手段９３により天井等が立体物として誤検出され、区域Ｒが設定されることがある。このような場合、前記傾き検出手段９４によりその区域Ｒの傾きｅを算出すると、図１８に示すように傾きｅが前記道路モデル形成手段９２により算出され前記（７）、（８）式で示されるその地点における道路面の傾きｃ_Ｒ、ｃ_Ｌと近い値となる。また、この場合、誤検出された立体物は道路面からの距離が遠い位置に検出される。

そこで、判定手段９５は、立体物検出手段９３により検出された立体物Ｓのうち、傾き検出手段９４により算出された立体物Ｓの傾きｅが、立体物Ｓが検出された地点Ｚ_０における道路面の傾きｃ_Ｒ、ｃ_Ｌに対して所定の閾値の範囲内にあり、かつ、算出された立体物Ｓの高さＹ、特に高さの最小値Ｙminがその地点Ｚ_０における道路面の高さＹ_０に対して自車両の車高より大きい値に設定された所定の閾値Yth2以上離れている場合には、検出された立体物Ｓを天井面であると判定するようになっている。

なお、その際、前記傾き算出手段９４により算出された前記各区間Ｒｎごとの代表距離Ｌｎaveの近似直線Ｈに対する分散σが小さければ、検出された立体物Ｓの高さの最小値Ｙminの検出誤差は小さいが、分散σが大きい場合には高さの最小値Ｙminの検出誤差も大きいと考えられる。

そのため、本実施形態では、判定手段９５には、前記分散σに対する第１閾値σth1と第２閾値σth2とがσth1＜σth2を満たすように予め設定される。そして、判定手段９５は、前記分散σが第１閾値σth1より小さい場合には立体物Ｓの傾きｅおよび高さＹminに対する閾値eth、Yth1、Yth2をそれぞれ減少させ、前記分散σが第１閾値σth1以上で第２閾値σth2より小さい場合には前記閾値を不変とし、前記分散σが第２閾値σth2より大きい場合には立体物Ｓの傾きｅおよび高さＹminに対する閾値をそれぞれ増加させるようになっている。

さらに、前記分散σが非常に大きい場合にはもはや立体物Ｓの傾きｅや高さＹの算出値は信頼性に乏しいから、判定手段９５には、前記分散σに対する第２閾値σth2よりさらに大きな値である第３閾値σth3が予め設定されており、判定手段９５は、前記分散σが第３閾値σth3より大きい場合には立体物Ｓの傾きｅの算出値を無効とするようになっている。

なお、本実施の形態においては、分散σに応じて、立体物Ｓの傾きｅに対する閾値ethと高さＹminに対する閾値Yth1、Yth2を共に小さく設定しているが、閾値ethのみを小さくするといった具合に何れか一方のみを小さく設定しても良い。この場合でも、立体物が同路面であるか否か又は天井面であるか否かを適切に判定することができる。

一方、前記判定により立体物Ｓが道路面や天井面であると判定されたとしても、その立体物Ｓが動いていると判断される場合には、その判定は誤りである可能性が高い。

そのため、判定手段９５は、前回以前の過去のサンプリング周期で検出された立体物Ｓの自車両からの距離と、今回のサンプリング周期で検出されたその立体物Ｓの自車両からの距離からその立体物Ｓの自車両に対する相対速度を算出し、車速センサからの自車両の速度データに基づいてその立体物Ｓの道路面に対する移動速度を算出するようになっている。

そして、算出した移動速度が、立体物Ｓが停止していると推定される範囲、例えば算出した移動速度の絶対値が時速５ｋｍを超える場合には、前記判定を無効とするようになっている。なお、前記判定を行う前に立体物Ｓの移動速度の算出を行い、前記条件を満たすときは前記判定を行わないように構成することも可能である。

判定手段９５は、以上の判定処理をすべての立体物Ｓについて行うようになっており、このようにして各立体物Ｓごとに判定した結果をそれぞれメモリ９６に保存するとともに外部に出力するようになっている。

以上のように、本実施形態に係る物体傾き検出装置１によれば、立体物検出手段で基準画像中から天井面や上り坂における道路標示等が立体物として検出された場合でも、傾き算出手段でステレオカメラの撮像方向に対するそれらの高さ方向の傾きを算出することが可能となる。

天井面や道路標示の傾きは、通常、先行車の背面等の傾きとは大きく異なるから、傾きについて適宜閾値等を設定することで検出された立体物を天井面や道路標示か先行車等かを的確に識別して、天井面や道路標示として的確に判定することが可能となる。

そして、天井面や道路標示として判定された立体物を検出対象から除外することで、それらを先行車等と誤検出することを確実に防止することが可能となり、自車両前方を撮像した撮像画像中から先行車や歩行者等を的確に検出して、自動車等の走行安全性の向上や車両の自動制御等の実現を有効に図ることが可能となる。

本実施形態に係る物体傾き検出装置の構成を示すブロック図である。 基準画像の一例を示す図である。 本実施形態に係る検出手段の構成を示すブロック図である。 水平ラインｊ上に検出された車線候補点を説明する図である。 検出された車線候補点を示す図である。 最終的に検出された右車線位置および左車線位置を示す図である。 車線モデルの（Ａ）水平形状モデル、（Ｂ）道路高モデルを例示する図である。 距離画像の各区分の距離を実空間上の点としてプロットした図である。 図８の各点をグループ化して形成された各グループを示す図である。 図９の各グループをラベルして検出された物体と側壁を示す図である。 物体や側壁を示す枠線を重ね合わせて表示した基準画像を示す図である。 立体物を示す区域があてはめられた距離画像を示す図である。 水平方向に延びる複数の区間に分割された区域を示す図である。 代表距離から近似された直線を説明する図である。 立体物と誤検出された道路面上の標示を例示する図である。 図１５の例における近似直線と道路高モデルとを表すグラフである。 立体物と誤検出された天井面を例示する図である。 図１７の例における近似直線と道路高モデルとを表すグラフである。

符号の説明

１ 物体傾き検出装置
２ 撮像手段
６ 画像処理手段
９２ 車線モデル形成手段（道路面検出手段）
９３ 立体物検出手段
９４ 傾き算出手段
９５ 判定手段
ｃ_Ｒ、ｃ_Ｌ 道路面の傾き
ｅ 傾き
Ｇ１〜Ｇ７ グループ
Ｈ 直線
Ｌij 距離
Ｌｎave 代表距離
ｐｎij 輝度値
Ｒ 区域
Ｒｎ 区間
Ｓ 立体物
Ｔ 基準画像（一方の画像）
Ｙ 高さ
Ｙ_０ 道路面の高さ
eth 傾きに対する閾値
Yth1、Yth2 高さに対する閾値
σ 分散
σth1、σth2、σth3 分散に対する閾値

Claims (6)

1. 自車両前方を撮像して画素ごとに輝度値を有する一対の画像を出力する撮像手段と、
   前記撮像された一対の画像の画素の前記輝度値に基づいて少なくとも一方の画像の各画素について実空間における距離を算出する画像処理手段と、
   前記距離の情報に基づいて実空間上における道路面の高さを検出する道路面検出手段と、
   前記距離の情報に基づいて、前記道路面検出手段が検出した道路面より上方に存在するとともに同一立体物を撮像したと見なせる画素をグループ化することで前記一方の画像上に立体物を検出する立体物検出手段と、
   前記検出された立体物に該当する前記距離データの変化量を計算することで、前記検出された立体物の傾きを算出する傾き算出手段と
   を備え、
   前記傾き算出手段は、検出された前記立体物の高さをも算出し、さらに、
   前記傾き検出手段により算出された前記立体物の傾きが、前記立体物が検出された地点における前記道路面検出手段が検出した道路面の傾きに対して所定の閾値の範囲内にあり、かつ、算出された前記立体物の高さが前記道路面検出手段が検出した道路面の高さに対して所定の閾値の範囲内にある場合に、前記立体物を道路面であると判定する判定手段とを備え、
   前記傾き算出手段及び前記判定手段における前記傾きを、前記撮像手段の撮像方向に直交する水平軸回りの角度とすることを特徴とする物体傾き検出装置。
2. 前記傾き算出手段は、検出された前記立体物に対応する前記一方の画像の区域を水平方向に延びる複数の区間に分割し、前記距離の情報に基づいて前記分割した各区間ごとに代表距離を算出し、実空間上に並べた前記代表距離を直線で近似して前記傾きを算出することを特徴とする請求項１に記載の物体傾き検出装置。
3. 前記傾き算出手段は、前記水平方向に延びる複数の区間において、前記代表距離を算出できない区間が全区間中で所定の割合以上の割合を占める場合には、前記立体物を誤検出であると判断することを特徴とする請求項２に記載の物体傾き検出装置。
4. 前記判定手段は、前記傾き検出手段により算出された前記立体物の傾きが、前記立体物が検出された地点における前記道路面検出手段が検出した道路面の傾きに対して所定の閾値の範囲内にあり、かつ、算出された前記立体物の高さが前記道路面検出手段が検出した道路面の高さに対して所定の閾値以上離れている場合に、前記立体物を天井面であると判定することを特徴とする請求項１から請求項３のいずれか一項に記載の物体傾き検出装置。
5. 前記傾き算出手段は、前記各区間ごとの代表距離の前記直線に対する分散を算出し、
   前記判定手段は、設定された閾値より前記分散が小さい場合には前記立体物の傾きおよび高さに対する閾値の少なくとも何れか一方を、前記分散が設定された閾値より大きい場合の閾値に比べて小さな値に設定することを特徴とする請求項１または請求項４に記載の物体傾き検出装置。
6. 前記判定手段は、今回のサンプリング周期で検出された前記立体物の過去のサンプリング周期からの移動速度を算出し、算出した移動速度が、前記立体物が停止していると推定される範囲を超える場合には前記判定を行わず、または前記判定を無効とすることを特徴とする請求項１から請求項５のいずれか一項に記載の物体傾き検出装置。

Images