JP7113935B1 - 路面検出装置および路面検出方法 - Google Patents

Abstract

【課題】路面検出のためのヒストグラム生成領域に侵入した車両などの障害物を路面として誤検知しないようにすることが課題となる。
【解決手段】車両の周囲の路面画像から路面領域を検出する路面検出装置であって、前記路面画像を撮像する撮像部と、前記路面領域を記録する路面領域記録部と、前記路面領域記録部に記録されている過去の前記路面領域から障害物の座標を推定する障害物座標推定部と、前記障害物座標推定部により推定される前記障害物の座標に応じてヒストグラム生成領域を抽出するヒストグラム生成領域抽出部と、前記撮像部で撮像された前記路面画像のうちの前記ヒストグラム生成領域から計算されたヒストグラムにより前記路面領域を検出すると共に、検出された前記路面領域を前記路面領域記録部に記録させる路面領域検出部と、を備えた。
【選択図】 図３

Description

本願は、路面検出装置および路面検出方法に関するものである。

近年、撮像装置を用いて車両周囲の障害物を検知し、車両の衝突防止、自動駐車、車間距離制御などを行う自動車の予防安全システムが提案されている。このようなシステムに係わる路面検出装置では、路面の模様、または路面に映る影などが障害物として誤検出されるという問題がある。
この誤検出の問題を解決するために、従来の路面検出装置として特許文献１に開示されたものがある。

特開２０１７－３３５０６号公報

特許文献１に開示された路面検出装置では、ヒストグラム生成領域から作成された輝度値ヒストグラムによって、路面の輝度値が推定される。このため、ヒストグラム生成領域に車両などの障害物が含まれる場合、ヒストグラム生成領域に侵入した車両などの障害物を路面として誤検知する可能性がある。したがって、特許文献１に開示された路面検出装置では、ヒストグラム生成領域に侵入した車両などの障害物を路面として誤検知しないようにすることが課題となる。
本願はこのような課題を解決するためになされたものであり、路面検出装置において、車両周辺の障害物による路面の誤検知を防ぎ、路面検出の精度を従来のものと比べて更に向上させることを目的とする。

本願に係わる路面検出装置は、車両の周囲の路面画像から路面領域を検出する路面検出装置であって、前記路面画像を撮像する撮像部と、前記路面領域を記録する路面領域記録部と、前記路面領域記録部に記録されている過去の前記路面領域から障害物の座標を推定する障害物座標推定部と、前記障害物座標推定部により推定される前記障害物の座標に応じてヒストグラム生成領域を抽出するヒストグラム生成領域抽出部と、前記撮像部で撮像された前記路面画像のうちの前記ヒストグラム生成領域から計算されたヒストグラムにより前記路面領域を検出すると共に、検出された前記路面領域を前記路面領域記録部に記録させる路面領域検出部と、を備えたものである。

本願によれば、路面領域記録部に記録されている過去の前記路面領域から障害物の座標を推定し、推定される障害物の座標に応じてヒストグラム生成領域を抽出するので、障害物の侵入を判定することができ、従来の路面検出装置と比べて、前記路面の検出の精度を更に向上させることができる。

実施の形態１に係わる路面検出装置を示す概略構成図である。 実施の形態１に係わる路面検出装置を示すハードウェア構成図である。 実施の形態１に係わる路面検出装置を示す機能ブロック図である。 実施の形態１に係わる路面検出装置の動作を示すフローチャートである。 実施の形態１に係わる路面検出装置の撮像装置による路面画像を示す図である。 実施の形態１に係わる路面検出装置の座標系を示す図である。 実施の形態１に係わる路面検出装置のヒストグラム生成領域と後方車両との位置関係を示す図である。 実施の形態１に係わる路面検出装置のヒストグラム生成領域と後方車両との位置関係を示す図である。 実施の形態１に係わる路面検出装置のヒストグラム生成領域と後方車両との位置関係を示す図である。 実施の形態２に係わる路面検出装置を示す機能ブロック図である。 実施の形態２に係わる路面検出装置の動作を示すフローチャートである。 実施の形態２に係わる路面検出装置の撮像装置による路面画像を示す図である。 実施の形態３に係わる路面検出装置を示す概略構成図である。 実施の形態３に係わる路面検出装置を示す機能ブロック図である。 実施の形態３に係わる路面検出装置の動作を示すフローチャートである。 実施の形態３に係わる路面検出装置の動作を示すフローチャートである。 実施の形態３に係わる路面検出装置の障害物検出距離を示す図である。

実施の形態１．
実施の形態１の路面検出装置について、図１を用いて説明する。図１は係わる路面検出装置の構成図である。図１において車両１は、カメラ２及び路面検出装置８を有している。カメラ２は車両１の前後及び左右に複数設置されカメラ配線４を介して周辺監視カメラコントローラ５に接続されている。また取付け位置について、図１では左右のカメラについては現在一般的なドアミラー下部、前後についてはそれぞれバンパー中央に設置するよう図示しているが、必ずしも図１のように設置する必要はなく、本特許の目的を満たすことが可能であれば設置位置は限定しない。路面検出装置８には、周辺監視カメラコントローラ５以外に、車速などの車両状態を検出するその他のセンサ６、演算装置７、が含まれており、これらはそれぞれ通信線３、例えばＣＡＮ（Ｃｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等、を用いて接続されている。

演算装置７は、図２に示すように、プロセッサ３０１と記憶装置３０２から構成され、図示していないが、記憶装置はランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ３０１は、記憶装置３０２から入力されたプログラムを実行し、図３で説明する機能ブロックに関する構成および図３で説明するフローチャートの動作の一部又は全部を遂行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ３０１にプログラムが入力される。また、プロセッサ３０１は、入出力される信号、演算の中間値、および演算結果等のデータを記憶装置３０２の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。また、プロセッサ３０１及び記憶装置３０２に加え、ロジック回路、アナログ回路を併用してもよい。また、演算装置７は、後述する実施の形態２及び実施の形態３で説明する機能ブロック及びフローチャートの動作の一部又は全部を遂行する。

次に、本実施の形態１の路面検出装置８の機能構成について図３の機能ブロック図を、さらに、機能構成の動作について図４のフローチャートを用いて説明する。図３において、路面検出装置８は、撮像部２０１、障害物座標推定部２０２、ヒストグラム生成領域抽出部２０３、ヒストグラム演算部２０４、ヒストグラム記録部２０５、路面領域検出部２０６、路面領域記録部２０７、により構成される。
撮像部２０１は、１つ以上のカメラ２と周辺監視カメラコントローラ５及びそれらをつなぐカメラ配線４によって構成される。図３に示す機能ブロック図の内、障害物座標推定部２０２、ヒストグラム生成領域抽出部２０３、ヒストグラム演算部２０４、ヒストグラム記録部２０５、路面領域検出部２０６、路面領域記録部２０７は、図２に示す路面検出装置８の演算装置７が有している。これらの演算装置７による機能ブロックの動作について、図４に示すフローチャートを用いて説明する。

図４において、ステップＳ１０１にて、撮像部２０１は車両１周辺の路面を撮像して路面画像を取得する。本実施の形態１では車両１の後方に取り付けられたカメラ２によって撮像された図５に示す路面画像を例に処理の流れを説明する。図５には車両１の後方を走行する後方車両９と後方に設置されたパイロン１０が映っている。路面画像は、時間ごとに取得されたフレームという静止画の集まりである。また、各処理はフレームの単位時間ごとに繰り返されるものであり、現在の路面画像を本フレーム、過去に記録された１つ前のデータを前フレーム、２つ前のデータを前々フレームと表現するものとする。また、路面画像以外のデータもこれらのフレームごとに処理されるものとする。

次に、ステップＳ１０２にて、障害物座標推定部２０２は、路面領域記録部２０７に記録されている過去の路面領域の検知結果を基に、本フレームにおける路面画像上の障害物座標を推定する。過去の路面領域の検知結果とは後述するステップＳ１１１にて、路面領域記録部２０７に記録された路面検出装置８の出力結果である。路面画像の内、路面検出装置８によって路面と判定された画素を輝度値２５５、路面でないと判定された領域を輝度値０とした路面検出画像と、路面検出画像における路面と非路面領域の境界線の座標である路面領域の境界線を本実施の形態１では路面領域の検知結果とする。なお、路面検知結果の形式は、例えば路面検出画像と境界線座標のどちらかとしても良い。また、本願の目的を満たすことが可能であれば出力形式は限定しない。

次に障害物座標の推定方法について説明する。図５に示す路面画像が前フレームに取得されていた場合を例に示す。まず、過去の路面領域の境界線から過去の障害物座標を算出する。路面領域の境界線１１は路面画像から路面検出装置８が出力する検知結果である。境界線の内、他と比較して凹形状になっている領域を障害物領域とし、障害物領域の内、車両１に最も接近した座標を障害物座標とする。図５では後方車両９とパイロン１０が映っており、後方車両９の座標１４、パイロン１０の座標１７が障害物座標として算出される。なお、車両に最も接近している座標は路面境界線の凹領域の各画素座標をカメラパラメータによって図６示すような、車両１の後方車軸中央１９を原点Ｏとした平面座標系に変換して求める。以後、座標と記載した場合の座標系は、原点Ｏから車両１前方に向かう軸をＸ軸、原点から車両１左方に向かう軸をＹ軸とする座標系で表すこととする。

同様に過去の路面領域の境界線から障害物座標を算出する。例えば図５における前々フレームの路面領域の境界線１２から障害物座標として、前フレームの後方車両９の座標１３と前フレームのパイロン１０の座標１６が算出される。
過去の障害物座標の変化から本フレームにおける障害物座標を推定する。前フレームの路面領域の境界線１１と前々フレームの路面領域の境界線１２によって得られた各障害物座標の移動平均から後方車両９の座標１５と、パイロン１０の座標１８が本フレームにおける障害物座標として推定される。
ステップＳ１０３からステップＳ１０７にて、ヒストグラム生成領域抽出部２０３は、ステップＳ１０２にて障害物座標推定部２０２が推定した障害物座標に基づいて、現在の本フレームの路面画像からヒストグラム生成領域画像を抽出する。実施の形態１におけるヒストグラム生成領域と車両１との位置関係を図７から図９に示す。図７から図９は車両１の後方を後方車両９が走行しており、各図で後方車両９の座標が異なる。

図７のように、後方車両９が車両１から十分に離れており、後方車両９の障害物座標が既定のヒストグラム生成領域２０に含まれないとステップＳ１０３で判定された場合、ステップＳ１０５にて、ヒストグラム生成領域抽出部２０３は路面画像の内、既定のヒストグラム生成領域２０に該当する領域をヒストグラム生成領域画像として抽出する。なお、既定のヒストグラム生成領域２０は路面検出の精度が十分に担保できる領域を設定しており、路面画像の画像サイズ及びカメラの取り付け角度などによって最適な領域をあらかじめ設定しておくものとする。なお、車両１の速度が取得できる場合、既定のヒストグラム生成領域２０を動的に変更しても良い。

図８のように後方車両９が車両１に接近しており、後方車両９の障害物座標が既定のヒストグラム生成領域２０に含まれるとステップＳ１０３で判定され、かつ最小ヒストグラム生成領域２０ａに含まれないとステップＳ１０４にて判定された場合、ステップＳ１０６にて、ヒストグラム生成領域抽出部２０３は後方車両９の障害物座標に応じて、後方車両９を含まないヒストグラム生成領域２０ｂに減少させてヒストグラム生成領域を抽出する。なお、最小ヒストグラム生成領域２０ａとは抽出された領域からヒストグラムを演算した場合に、路面検出の精度を担保できる最低限の画素数を持つ領域とする。
図９のように後方車両９が車両１に接近しており、後方車両９の障害物座標が、最小ヒストグラム生成領域２０ａに含まれるとステップＳ１０３とステップＳ１０４から判定された場合、ステップＳ１０７にて、ヒストグラム生成領域抽出部２０３はヒストグラム生成領域画像を抽出しない。

ステップＳ１０８にて、ヒストグラム演算部２０４はステップＳ１０５とステップＳ１０６にてヒストグラム生成領域抽出部２０３が抽出したヒストグラム生成領域画像からヒストグラムを演算する。なお、実施の形態１ではヒストグラムはＲＧＢ各１６階調の３次元ヒストグラムを利用するものであるが、グレースケール画像から算出する１次元ヒストグラムでもよく、特許の目的を満たすことが可能であればヒストグラムの形式は限定しない。

ステップＳ１０９にて、ヒストグラム演算部２０４は後述するステップＳ１１１にて、ヒストグラム記録部２０５が記録した過去のヒストグラムを取得して演算結果として出力する。
ステップＳ１１０にて、路面領域検出部２０６は、ヒストグラム演算部２０４が出力したヒストグラムを利用して路面領域を抽出する。ヒストグラムに基づいて路面領域を抽出する方法として、例えばヒストグラムの逆投影法、またはヒストグラムの値域に含まれる画素値を持つ全ての画素を抽出する方法などが使用される。

実施の形態１では、ヒストグラムの逆投影法を用いて抽出する例を示す。ヒストグラムの逆投影法はヒストグラムの各画素値の出現割合に基づいて対象の画素がヒストグラムに含まれるかどうかを判定する手法である。ヒストグラムの逆投影法の処理方法について詳細に説明する。まず、各画素のＲＧＢ画素値を取得する。次に、ＲＧＢの各ヒストグラムを参照して、取得した画素値の画素数を取得し、各画素数を合計した値である画素数合計値を算出する。画素数合計値があらかじめ定めた値以上ある場合は輝度値２５５、あらかじめ定めた値未満である場合は輝度値０の値を出力する。この処理を路面画像の画素すべてに対して行うことで、路面画像の二値化画像を出力する。二値化画像のうち、輝度値２５５の領域がヒストグラムに基づき路面と判定された領域とする。

図５のような路面画像の場合、後方車両９及びパイロン１０は路面でないと判定されるため、路面領域の境界線１１より下の画素が路面と判定され輝度値２５５、路面領域の境界線１１より上の画素が路面でないと判定され、輝度値０となる二値化画像を出力する。
ステップＳ１１１にて、ヒストグラム記録部２０５はヒストグラム演算部２０４が演算したヒストグラムを記録する。また、路面領域記録部２０７は路面領域検出部２０６が出力した路面領域と路面領域の内、路面と路面でない領域の境界線である路面領域の境界線１１の座標を過去数フレーム分記録する。

路面検出装置８は、撮像部２０１から画像がフレームとして入力されるたびに上記ステップＳ１０１からステップＳ１１１の処理を繰り返し実行する。
本実施の形態１では、路面検出装置８は、路面領域検出部２０６によって出力された路面領域と、路面と路面でない領域の境界線である路面領域の境界線１１の座標とを過去数フレーム分記録し、障害物座標推定部２０２は過去数フレーム分の路面領域の境界線１１から現在の障害物座標を推定し、ヒストグラム生成領域抽出部２０３は推定された現在の障害物座標に応じて、ヒストグラム生成領域を抽出する領域を増減する。そうすることによって障害物が含まれない領域をヒストグラム生成領域とすることができ、障害物がヒストグラム生成領域に含まれて障害物を路面として誤検知されることを防ぐことができる。

また、ステップＳ１０４にて、障害物が接近し、路面領域としてヒストグラムを生成するのに十分な領域をヒストグラム生成領域として抽出できない場合には、ステップＳ１１１にて、ヒストグラム記録部２０５が記録した過去のヒストグラムを利用して路面検出を行うことで、障害物が車両直近におり、路面のみの色情報を取得できない場合でも障害物を路面として誤検知することを防ぐことが可能である。

実施の形態２．
実施の形態２における路面検出装置８は、実施の形態１において過去の路面から推定した障害物領域の内、オプティカルフローが車両１の後方に向いている障害物領域の障害物座標を計算から除外するものである。
図１０は実施の形態２に係わる路面検出装置置の機能構成を機能ブロック図にて示したもので、実施の形態１の機能ブロック図に、オプティカルフロー演算部２０８、車両情報取得部２０９を加えた構成である。

実施の形態２の路面検出装置の動作において、実施の形態１と異なる部分について、図１１に示すフローチャートを用いて説明する。なお、図１１のフローチャートにおいて、ステップＳ２０１からステップＳ２０３までが実施の形態２による動作部分であり、他のステップは図４に示した実施の形態１の同一符号のステップと同じであり説明を省略する。

はじめにステップＳ１０１にて路面画像を取得した後、ステップＳ２０１にて、図１のその他のセンサ６となる車両情報取得部２０９は、車両１の車両状態を検出する。実施の形態２の車両情報取得部２０９が検出する車両情報としては、車速、ハンドル角、シフト情報、ブレーキ情報、ヨーレート等がある。
次に、ステップＳ２０２にて、オプティカルフロー演算部２０８は撮像部２０１から取得した路面画像と、過去に撮像部２０１が出力した過去の画像からオプティカルフローを演算する。路面画像からオプティカルフローを算出した例を図１２にて説明する。

図１２は走行している車両１の後方に向けた撮像部２０１が撮像した路面画像で、後方に後方車両９が走行しており、接近してきている。また、パイロン１０が車両１の左後方にある状態である。このとき、後方車両９のオプティカルフロー２１は、後方車両９が接近しているため、車両１に接近する画像下部を向いたフローが算出される。また、パイロン１０のオプティカルフロー２２は車両１が前進しているため、静止しているパイロン１０は相対的に後退して見え、画像上部に向いたフローが算出される。なお、車両１が移動・旋回している場合には、車両１の動きに合わせて、背景の静止物からオプティカルフローが算出されるため、ステップＳ２０１で取得した車両情報のうち、車速及びヨーレートなどを用いて、算出したオプティカルフローから車両１の移動による影響を除去してもよい。

次にステップＳ２０３にて、障害物座標推定部２０２はステップＳ２０２で算出されたオプティカルフローとステップＳ１１１で記録された過去の路面領域の境界線１１に基づいて障害物座標を推定する。
実施の形態２では路面領域の境界線１１の凹部分を障害物領域としたのち、障害物領域に含まれるオプティカルフローのベクトルの平均を求めて障害物領域のオプティカルフローとする。このとき、障害物のオプティカルフローが後退を表す画像上部を向いている障害物領域に対して障害物座標の推定を行わない。このように、障害物座標の推定を必要としない障害物を除くことにより、障害物座標を推定する対象物を限定することができ、計算量が削減できる。

なお、画像上部に向いたオプティカルフローを含む障害物領域の障害物座標を推定しないのではなく、画像下部を向いたオプティカルフローを含む障害物領域のみから障害物座標を推定するとしてもよい。また、車速が第一の閾値以上の場合にのみ、障害物座標の推定にオプティカルフローを使用するようにしてもよい。車両１が極低速または停車時は障害物と車両の相対的な座標が変化せず、フローが検知できないため、車速が第一の閾値未満では使用しないことで計算量の削減が可能である。

実施の形態２では、実施の形態１において過去の路面から推定した障害物領域の内、オプティカルフローが車両１後方に向いている障害物領域を障害物座標の推定から除外するものである。これにより、障害物がヒストグラム生成領域に侵入してないにも関わらず、路面検出装置８の検知結果が誤検知して、路面領域の境界線１１が車両に接近しているように見えるような状況でも障害物座標がヒストグラム生成領域に侵入していると推定されることを防ぐことが可能である。

実施の形態３．
実施の形態３における路面検出装置８は、車両１の車速が第二の閾値以下の場合に、障害物との距離を測定するセンサを用いて障害物座標を検出することで、路面画像に変化が少ない状況においても障害物がヒストグラム生成領域に侵入することを検知し、障害物を路面と誤検知することを防ぐことが可能になる。

図１３は実施の形態３における路面検出装置８の構成図であり、実施の形態１における路面検出装置の構成図にソナーセンサ２３、ソナーセンサ配線２４、ソナーコントローラ２５を追加した構成である。ソナーセンサ２３は車両前方、側方及び後方に複数設置され、それらはソナーセンサ配線２４を介してソナーコントローラ２５に接続されている。なお、図１３では前後４つずつ、側方に２つずつソナーセンサ２３を配しているが、ソナーセンサ２３のセンサ群により必要な計測領域が満たされるのであれば、車両１のサイズによっては、前後のソナーセンサ２３は２～３個であっても良い。
路面検出装置８には、ソナーコントローラ２５、周辺監視カメラコントローラ５以外に、その他のセンサ６、路面検出装置８の演算装置７、通信線３が含まれており、これらは実施の形態１で説明したものと同じである。

図１４は実施の形態３に係わる路面検出装置８の機能構成を機能ブロック図にて示したもので、実施の形態２の機能ブロック構成に、障害物距離検出部２１０を加えた構成である。
障害物距離検出部２１０は、車両１周辺に存在する障害物を検知し、障害物距離検出部２１０と障害物との距離である障害物距離を検出する。障害物距離を検出する装置として例えば、ソナーセンサ、赤外線デプスセンサ、ミリ波レーダ、ＬｉＤＡＲ技術などがあり、実施の形態３の障害物距離検出部２１０では、複数のソナーセンサ２３とソナーコントローラ２５及びそれらをつなぐソナーセンサ配線２４によって構成される。

実施の形態３に係わる路面検出装置の動作において、実施の形態１又は２と異なる部分について、図１５Ａおよび図１５Ｂに示すフローチャートを用いて説明する。なお、図１５Ａおよび図１５Ｂに示すフローチャートにおいて、ステップＳ３０１からステップＳ３０３が実施の形態３による動作部分であり、他のステップは図４に示した実施の形態１、および図１１に示した実施の形態２の同一符号のステップと同じであり説明を省略する。

はじめにステップＳ１０１とステップＳ２０１にて、路面画像と車両情報を取得し、ステップＳ２０２でオプティカルフローを演算する。次にステップＳ３０１にて、車両１に設置された障害物距離検出部２１０で障害物距離を検出する。例えば実施の形態１では、前方と後方のカメラ２の撮像範囲には、ソナーセンサ２３が４台、左方と右方のカメラ２の撮像範囲には２台のソナーセンサ２３が設置されており、撮像範囲内の障害物を検知し、ソナーセンサ２３からソナーセンサ２３に最も接近している障害物までの距離である障害物距離を検出する。撮像範囲内に複数の障害物が存在する場合、複数の障害物距離が検出されるためすべてを記録する。

ステップＳ３０２にて、障害物座標推定部２０２は、車速が第二の閾値以下か判定を行い、第二の閾値以下の場合は、ステップＳ３０３に進み、第二の閾値を超える場合はステップＳ２０３へ移行する。
ステップＳ３０３では、障害物座標推定部２０２が、検出された障害物距離から障害物座標を算出する。障害物座標推定部２０２による障害物座標の算出方法を図１６にて説明する。障害物距離検出部２１０が障害物を検知し、障害物距離を取得した場合、図１６のようにセンサを中心とした円弧２６上に障害物が存在することになる。よって障害物距離を取得した場合にはこの円弧２６の内、車両座標系のＸ座標が車両１に最も近い座標を障害物座標とする。なお、円弧２６の角度についてはセンサの指向性に依存する。図１６のソナーセンサ２３の場合は、角度θの指向性を持ち、θが４５度とすると検知可能距離に対し約０．７倍した距離Ｃにあたるため、車両から距離Ｃ離れた座標を障害物座標と算出する。また、複数の障害物距離検出部２１０が障害物距離を取得して、複数の円弧の交点が存在する場合には開口合成によりその交点を障害物座標としてもよい。
なお、本実施の形態３では障害物距離検出部２１０としてソナーセンサ２３を用いて説明したが、より指向性の高いセンサを用いるのであれば、算出された障害物距離により１に近い倍率をかけた値を車両１と障害物との距離Ｃとすればよい。

次にステップＳ１０３からステップＳ１０７において、ヒストグラム生成領域抽出部２０３で、ヒストグラム生成領域が抽出される。ただし、ステップＳ３０２にて、車速が第二の閾値以下であった場合は、ステップＳ３０３よって障害物座標推定部２０２が障害物距離検出部２１０によって検出された障害物距離から推定した障害物座標に基づいて、現在の本フレームの路面画像のヒストグラム生成領域画像が抽出されることになる。こうして、障害物距離から算出した障害物座標に基づき、ヒストグラム生成領域に障害物が侵入しない領域をヒストグラム生成領域とする。なお、障害物がおらず、障害物距離から障害物座標が算出できない場合には、既定のヒストグラム生成領域２０からヒストグラム生成領域画像を抽出する。

以上のように、実施の形態３における路面検出装置８は、実施の形態１又は２における障害物座標の推定において、車両１の車速が第二の閾値以下の場合に、障害物との距離を測定するセンサを用いて障害物座標を算出することで、路面画像に変化が少ない状況においても障害物がヒストグラム生成領域に侵入することを検知し、障害物を路面と誤検知することを防ぐことが可能になる。
例えば車両１のエンジン停止中にヒストグラム生成領域に後方車両９が侵入した場合、初めからヒストグラム生成領域に障害物が侵入しており、移動がないため路面領域の境界線１１の変化から障害物がヒストグラム生成領域に侵入することを検知できない。このような状況でもソナーセンサ２３によってヒストグラム生成領域に障害物が存在することを検知できるため、障害物の座標に応じてヒストグラム生成領域の設定することができる。また、過去のヒストグラムを使用することによりヒストグラム生成領域に侵入している障害物を誤検知することを防ぐことが可能になる。

なお、上記の実施の形態１から３においては、車両１の後方の路面画像を例に説明を行ったが、車両１の前方及び側方の路面画像についても、同様の処理を適用することができ、同様の効果を得ることが可能である。

本願は、様々な例示的な実施の形態および実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、および機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。

１ 車両、２ カメラ、３ 通信線、４ カメラ配線、５ 周辺監視カメラコントローラ、６ その他のセンサ、７ 演算装置、８ 路面検出装置、９ 後方車両、１０ パイロン、１１，１２ 境界線、１３，１４，１５，１６，１７，１８ 座標、１９ 後方車軸中央、２０ 既定のヒストグラム生成領域、２０ａ 最小ヒストグラム生成領域、２０ｂ ヒストグラム生成領域、２１，２２ オプティカルフロー、２３ ソナーセンサ、２４ ソナーセンサ配線、２５ ソナーコントローラ、２６ 円弧、２０１ 撮像部、２０２ 障害物座標推定部、２０３ ヒストグラム生成領域抽出部、２０４ ヒストグラム演算部、２０５ ヒストグラム記録部、２０６ 路面領域検出部、２０７ 路面領域記録部、２０８ オプティカルフロー演算部、２０９ 車両情報取得部、２１０ 障害物距離検出部、３０１ プロセッサ、３０２ 記憶装置。

Claims (9)

1. 車両の周囲の路面画像から路面領域を検出する路面検出装置であって、
   前記路面画像を撮像する撮像部と、
   前記路面領域を記録する路面領域記録部と、
   前記路面領域記録部に記録されている過去の前記路面領域から障害物の座標を推定する障害物座標推定部と、
   前記障害物座標推定部により推定される前記障害物の座標に応じてヒストグラム生成領域を抽出するヒストグラム生成領域抽出部と、
   前記撮像部で撮像された前記路面画像のうちの前記ヒストグラム生成領域から計算されたヒストグラムにより前記路面領域を検出すると共に、
   検出された前記路面領域を前記路面領域記録部に記録させる路面領域検出部と、
   を備えたことを特徴とする路面検出装置。
2. 前記ヒストグラム生成領域抽出部は、前記障害物座標推定部により推定された前記障害物の座標に応じて、前記ヒストグラム生成領域を増減することを特徴とする請求項１に記載の路面検出装置。
3. 前記ヒストグラムを計算するヒストグラム演算部をさらに備え、
   前記ヒストグラム演算部は、計算されたヒストグラムを記録するヒストグラム記録部を有し、
   前記障害物座標推定部により推定された前記障害物の座標が、路面領域を抽出することが可能な最小のヒストグラム生成領域の領域内にある場合に、前記ヒストグラム記録部に記録されていた過去のヒストグラムを計算結果として出力することを特徴とする請求項１または請求項２に記載の路面検出装置。
4. 前記ヒストグラム生成領域抽出部は、前記障害物座標推定部により推定された前記障害物の座標が既定のヒストグラム生成領域の領域内にある場合に、障害物の侵入ありと判定することを特徴とする請求項１から請求項３の何れか１項に記載の路面検出装置。
5. 前記路面画像の変化からオプティカルフローを算出するオプティカルフロー演算部をさらに備え、
   前記障害物座標推定部は、前記オプティカルフロー演算部により算出されたオプティカルフローが車両から離れる方向である前記障害物は障害物の対象から外すことを特徴とする請求項１から請求項４のいずれか１項に記載の路面検出装置。
6. 前記車両の速度を検出する車両情報取得部をさらに備え、
   前記障害物座標推定部は、前記車両情報取得部から検出された車両の前記速度が第一の閾値以上の場合に、前記オプティカルフローによる処理を有効とすることを特徴とする請求項５記載の路面検出装置。
7. 前記車両の周辺の障害物の距離を検出する障害物距離検出部をさらに備え、
   前記障害物座標推定部は、前記障害物距離検出部が障害物を検出した場合に、検出された前記障害物との距離から前記障害物の座標を推定することを特徴とする請求項１から請求項６のいずれか１項に記載の路面検出装置。
8. 前記車両の速度を検出する車両情報取得部をさらに備え、
   前記障害物座標推定部は、前記車両情報取得部から検出された前記車両の速度が第二の閾値以下の場合に、前記障害物距離検出部によって検出された前記障害物との距離から前記障害物の座標を推定することを特徴とする請求項７に記載の路面検出装置。
9. 車両周囲の路面画像から路面領域を検出する路面検出方法であって、
   路面領域記録部に記録された過去の前記路面領域から障害物の座標を推定するステップと、
   推定された前記障害物の現在の座標に応じてヒストグラム生成領域を抽出するステップと、
   前記路面画像のうちの前記ヒストグラム生成領域から計算されたヒストグラムにより前記路面領域を抽出するステップと、
   抽出された前記路面領域を前記路面領域記録部に記録するステップと、
   を含むことを特徴とする路面検出方法。

Images