JP7072641B2 - 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法 - Google Patents

Description

本願は、路面検出装置、この路面検出装置を利用した画像表示装置、この路面検出装置を利用した障害物検知装置、路面検出方法、この路面検出方法を利用した画像表示方法、およびこの路面検出方法を利用した障害物検知方法に関するものである。

近年、撮像装置を用いて車両周囲の障害物を検知し、車両の衝突防止、自動駐車、または車間距離制御などを行う自動車の予防安全システムが提案されている。このようなシステムに係る路面検出装置では、路面の模様、又は路面に映る影などが障害物として誤検出される問題がある。

この問題を解決するために、従来の路面検出装置として特許文献１に開示されたものがある。

特開２０１７－３３５０６号公報

特許文献１に開示された路面検出装置では、ヒストグラム生成領域から作成された輝度値ヒストグラムによって、路面の輝度値が推定される。しかし、ヒストグラム生成領域が、車両、構造物の影又は障害物によって覆われる場合、日の当たる路面の輝度情報を取得できないため、正しく路面を検出できない。また、ヒストグラム生成領域に影が映らない場合、影が映った路面を検出することができず、路面に映った障害物の影を障害物として誤検知してしまう。したがって、特許文献１に開示された路面検出装置では、影の影響により路面検出の精度が下がることが課題である。

本願は上記の課題を解決するためになされたものであり、車両周辺の路面検出の精度を従来のものと比べて更に向上させることを目的とする。

本願に開示される路面検出装置は、
車両に設けられ、前記車両の周囲の路面画像を取得し、路面画像の一部である部分路面画像を複数出力する撮像部と、
車両周辺に存在する障害物までの距離を検出する障害物距離検出部と、
部分路面画像と障害物までの距離とに基づいて、障害物を含まない領域をヒストグラム生成領域として複数抽出するヒストグラム生成領域抽出部と、
複数のヒストグラム生成領域を合成し、ヒストグラム生成合成領域として出力するヒストグラム生成領域合成部と、
ヒストグラム生成合成領域にもとづいて、ヒストグラムを演算するヒストグラム演算部と、
ヒストグラムを第１のヒストグラムと第２のヒストグラムとに分離して出力するヒストグラム分離部と、
第１のヒストグラムと部分路面画像より第１の領域を抽出する第１の領域抽出部と、
第２のヒストグラムと部分路面画像より第２の領域を抽出する第２の領域抽出部とを備え、
ヒストグラム分離部はヒストグラムより第１のピーク値を含む要素を前記第１のヒストグラム、第２のピーク値を含む要素を前記第２のヒストグラムとして分離することを特徴とする。

本願に開示される路面検出装置によれば、路面検出装置が車両周辺の路面の影を検出するため、従来の路面検出装置に比べて、路面の検出精度を更に向上させることができる。

実施の形態１に係る路面検出装置の概略構成図である。 実施の形態１に係る演算装置のハードウエア構成図である。 実施の形態１に係る路面検出装置の機能ブロック図である。 実施の形態１に係る路面検出装置の動作を示すフローチャートである。 実施の形態１に係る路面検出装置の前方カメラ３と部分路面画像の範囲、部分変換画像を撮影する架空のカメラ３’の関係を示した図である。 実施の形態１に係る路面検出装置のカメラ３から取得した部分路面画像を示した図である。 実施の形態１に係る路面検出装置のカメラ３から取得した部分路面画像を変換して得られる部分変換画像を示した図である。 実施の形態１に係る路面検出装置の座標系を示した図である。 実施の形態１に係る路面検出装置における車両１とヒストグラム生成領域の位置関係を示した図である。 実施の形態１に係る路面検出装置の部分変換画像と障害物距離の関係を示した図である。 実施の形態１に係る路面検出装置の部分変換画像上において２つ以上の障害物距離に基づく二円交点が得られた場合の合成変換画像上での円弧の交点１７と車両１と障害物との距離Ｃの関係を示した図である。 実施の形態１に係る路面検出装置の部分変換画像上において１つの障害物距離が得られた場合の合成変換画像上での円弧１６と車両１と障害物との距離Ｃの関係を示した図である。 実施の形態１に係る路面検出装置の車両１後方の部分変換画像におけるヒストグラム生成領域の座標を示した図である。 実施の形態１に係る路面検出装置のヒストグラム生成合成領域に基づくヒストグラムとヒストグラムの分離方法を示した図である。 実施の形態１に係る路面検出装置の第２のヒストグラムが抽出できないヒストグラムを示した図である。 実施の形態１に係る路面検出装置の合成変換画像を示した図である。 実施の形態１に係る路面検出装置の合成変換画像のうち、第１の領域を輝度値２５５に、それ以外の領域を輝度値０にした画像を示した図である。 実施の形態１に係る路面検出装置の合成変換画像のうち、第２の領域を輝度値２５５に、それ以外の領域を輝度値０にした画像を示した図である。 実施の形態２に係る画像表示装置の機能ブロック図である。 実施の形態２に係る画像表示装置の動作を示すフローチャートである。 実施の形態３に係る障害物検知装置の機能ブロック図である。 実施の形態３に係る障害物検知装置の動作を示すフローチャートである。 実施の形態３に係る障害物検知装置における部分変換画像の一例を示した図である。 実施の形態３に係る障害物検知装置における部分変換画像のうち、第１の領域と第２領域を輝度値２５５に、第１の領域と第２の領域に含まれない障害物領域を輝度値０とした画像を示した図である。 実施の形態３に係る障害物検知装置における部分変換画像のうち、第１の領域と第２領域を輝度値０に、路面領域に含まれない障害物領域を輝度値２５５とした画像を示した図である。 実施の形態３に係る障害物検知装置における部分変換画像のうち、第１の領域と高さを持たない障害物領域を輝度値０に、それ以外の障害物領域を輝度値２５５とした画像を示した図である。 実施の形態３に係る障害物検知装置における合成変換画像と、過去の合成変換画像の差分がある閾値以上の領域を輝度値２５５に、閾値未満の領域を輝度値０とした画像を示した図である。 実施の形態３に係る障害物検知装置における部分変換画像において、破線にて障害物検知ゾーン２０を示した図である。 実施の形態３に係る障害物検知装置における部分変換画像のうち、障害物検知ゾーン２０を輝度値２５５に、障害物検知ゾーン２０に含まれない領域を輝度値０とした画像を示した図である。

以下、本願による路面検出装置の構成、動作を、好適な実施の形態にしたがって図面を用いて説明する。なお、図面の説明においては、同一部分または相当部分には同一符号を付し、重複する説明を省略する。

実施の形態１．
実施の形態１の路面検出装置は、従来課題であった、路面検出の精度を上げるために、車両１周辺の画像から画像処理によって、日の当たる路面である日向路面と、影が映り込んだ路面である影路面を検出するものである。実施の形態１の路面検出装置の構成の概略について、図１Ａを用いて説明する。

図１Ａにおいて車両１は、ソナーセンサ２、カメラ３、および路面検出装置１１を有している。ソナーセンサ２は車両前方、側方及び後方に複数設置され、ソナーセンサ配線６を介してソナーコントローラ７に接続されている。なお、図１Ａでは前後４つずつ、側方に２つずつソナーセンサ２を配しているが、必要な計測領域が満たされるのであれば、車両１のサイズによっては、前後のソナーセンサ２は２～３個であっても良い。
カメラ３は車両１の前後及び左右に複数設置され、カメラ配線５を介して周辺監視カメラコントローラ８に接続されている。また取付け位置について、図１Ａでは左右のカメラについては、現在一般的なドアミラー下部、前後のカメラについてはそれぞれバンパー中央に設置するよう図示しているが、必ずしも図１Ａのように設置する必要はなく、本願の目的を満たすことが可能であれば設置位置は限定しない。
路面検出装置１１には、ソナーコントローラ７、周辺監視カメラコントローラ８以外に、その他のセンサ９、演算装置１０が含まれており、それぞれ、通信線４（例えばCAN：Control Area Network等）、を用いて接続されている。
演算装置１０は、図１Ｂに示すように、プロセッサ１０００と記憶装置２０００から構成され、図示していないが、記憶装置はランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ１０００は、記憶装置２０００から入力されたプログラムを実行し、図２で説明する機能ブロックに関する構成および図３で説明するフローチャートの動作の一部又は全部を遂行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ１０００にプログラムが入力される。また、プロセッサ１０００は、入出力される信号、演算の中間値、および演算結果等のデータを記憶装置２０００の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。また、プロセッサ１０００及び記憶装置２０００に加え、ロジック回路、アナログ回路を併用してもよい。また、演算装置１０は、後述する実施の形態２、及び実施の形態３で説明する機能ブロック及びフローチャートの動作の一部又は全部を遂行する。

図２は、実施の形態１に係る路面検出装置１１の機能構成を機能ブロック図にて示したものである。
路面検出装置１１は、撮像部２００、障害物距離検出部２０１、車両信号検出部２０２、画像変換部２０３、ヒストグラム生成領域抽出部２０４、ヒストグラム生成領域合成部２０５、ヒストグラム演算部２０６、ヒストグラム分離部２０７、変換画像合成部２０８、第１の領域抽出部２０９、第２の領域抽出部２１０、により構成される。

撮像部２００は、図１Ａで示す複数のカメラ３と周辺監視カメラコントローラ８、及びそれらをつなぐカメラ配線５によって構成される。

障害物距離検出部２０１は、車両１周辺に存在する障害物を検知し、障害物距離検出部２０１と障害物との距離である障害物距離を検出する。障害物距離を検出する装置として例えば、ソナーセンサ、赤外線デプスセンサ、ミリ波レーダ、またはLiDAR技術などがあり、障害物距離検出部２０１は、図１Ａで示すように、複数のソナーセンサ２と、ソナーコントローラ７、及びそれらをつなぐソナーセンサ配線６によって構成される。

車両信号検出部２０２は、図１Ａのその他のセンサ９に該当し、車両状態を検出する。車両信号検出部２０２が検出する車両信号としては、車速、ハンドル角、シフト情報、ブレーキ情報、又はヨーレート等がある。

図２に示す機能ブロック図の内、画像変換部２０３、ヒストグラム生成領域抽出部２０４、ヒストグラム生成領域合成部２０５、ヒストグラム演算部２０６、ヒストグラム分離部２０７、変換画像合成部２０８、第１の領域抽出部２０９、第２の領域抽出部２１０は、図１に示す演算装置１０が有している。演算装置１０が有する機能ブロックの動作について、図３に示すフローチャートを用いて説明する。

図３中、ステップＳ１０１にて、図２に示された画像変換部２０３は、撮像部２００が撮像した部分路面画像に対して画像処理を行うことにより、部分変換画像に変換する。本実施の形態１では、図１Ａに示すように車両１の四方を撮像する４台のカメラ３によって撮像された部分路面画像に対して、射影変換処理を行うことにより部分変換画像に変換する。

ここで、射影変換処理について図４～図６を用いて説明する。図４は車両１と、車両１前方に取り付けられたカメラ３と、カメラ３の位置から撮像される部分路面画像の範囲を示している。さらに、図４は、部分路面画像を射影変換して得られた部分変換画像の範囲と部分変換画像を撮像する架空のカメラ３’の関係を示している。
図４に示すように車両１前方のカメラ３を路面が映るように取り付けると、図５のような部分路面画像を撮像することができる。
図５は車両１のカメラ３が撮像する部分路面画像で、路面上に障害物であるパイロン１２が設置されており、路面にパイロン１２によってできたパイロンの影１３と白線１４が映し出されている。このような部分路面画像のうち車両１近傍の路面を含む領域である領域Ａを射影変換することで、領域Ａを上方から見下ろす架空のカメラ３’が撮像したような部分変換画像に変換する。射影変換した部分変換画像の例を図６に示す。射影変換は図５に示す部分路面画像内の高さのある障害物（例えば、パイロン１２）についても、高さのない路面上の模様（例えば、アスファルト路面上の白線１４）のように扱うため、高さをもつパイロン１２は、図６に示すように車両１から奥行き方向に伸びた形で変換される。

また、射影変換によって得られる部分変換画像から、部分変換画像上のパイロン１２の位置を算出することができる。本実施の形態１における部分変換画像は領域Ａを射影変換したものであるため部分変換画像と領域Ａは対応関係にある。そのため、カメラ３の位置とカメラ３’の位置、カメラ３の画角、焦点距離、および座標変換画像のサイズを用いて幾何学的に部分変換画像上のパイロン１２の座標を求めることができる。
なお、座標とは図７に示すような、車両１の後方車軸中央を原点０とした座標系である。この座標系は、原点０から車両１前方に向かう軸をＸ軸、原点０から車両１の左方に向かう軸をＹ軸で表す。

図３中、ステップＳ１０２にて、図２で示した障害物距離検出部２０１は、障害物距離を検出する。撮像範囲内の障害物を検知し、ソナーセンサ２からソナーセンサ２に最も接近している障害物までの距離である障害物距離を検出する。撮像範囲内に複数の障害物が存在する場合、複数の障害物距離が検出されるためすべて記録する。

図３中、ステップＳ１０２にて検出された障害物距離に基づいて、図２で示したヒストグラム生成領域抽出部２０４により、部分変換画像からヒストグラム生成領域を抽出する。
ヒストグラム生成領域と車両１との位置関係を図８に示す。図８は車両１と車両１周辺の路面を上方から見た俯瞰画像であり、車両１周辺の路面には車両の影１５が映っている。ヒストグラム生成領域抽出部２０４は、カメラ３の撮像する部分路面画像を変換した部分変換画像のうち、車両１の近傍を囲む４つの長方形の領域Ｂをヒストグラム生成領域として抽出する。領域Ｂに障害物が含まれると、障害物を路面として誤検出する可能性があるため、部分変換画像上にてソナーセンサ２が検出する障害物距離に基づいて障害物を含まない路面領域を算出し、ヒストグラム生成領域として抽出する。

図３中、ステップＳ１０３～Ｓ１０７にて、各部分路面画像において、障害物距離に基づいて車両１と障害物との距離を算出し、ステップＳ１０８にて、算出した車両１と障害物との距離から路面領域を算出することによりヒストグラム生成領域として抽出する。以下で処理の例を詳細に説明する。

まず、図３中、ステップＳ１０３にて、図２に示されたヒストグラム生成領域抽出部２０４は、部分変換画像上にて障害物距離検出部２０１が障害物を検出するかどうかを判定する。
障害物を検出する場合は障害物距離に基づいて車両１と障害物との距離を算出するため、図３中、ステップＳ１０４へ移行する。
障害物を検出しない場合は、ソナーセンサ２（図１Ａ参照）の最大検出距離を車両１と障害物との距離とし、図３中、ステップＳ１０８へ移行する。この場合、ソナーセンサ２の精度を考慮して、ソナーセンサ２の最大検出距離の０．８倍を車両１と障害物との距離としても良い。

図３中、ステップＳ１０４にて、図２に示したヒストグラム生成領域抽出部２０４は、部分変換画像上に障害物距離検出部２０１を中心に、障害物距離を半径とした円弧の座標を算出する。部分変換画像と障害物距離の関係を図９に示す。図９中、部分変換画像上に、ソナーセンサ２を中心に、ソナーセンサ２が検出した障害物距離を半径とした円弧１６を示している。この場合は障害物としてパイロン１２が検出されており、パイロン１２は円弧１６上のどこかに存在する。なお、ソナーセンサ２は高さを持つ障害物のみを検出するためパイロンの影１３は障害物として検出しない。

さらに、図２中、ヒストグラム生成領域抽出部２０４は、図３のステップＳ１０５にて、ステップＳ１０４にて算出された円弧１６の座標から、各部分変換画像上に円弧の交点１７が存在するか否かを判定する。図１０に部分変換画像上における２つの円弧１６と円弧の交点１７の関係を示す。２つのソナーセンサ２がパイロン１２を検出しているため、２つの円弧１６によって出来た円弧の交点１７がパイロン１２の座標を示している。図１０のように、部分変換画像上に円弧の交点１７が存在する場合は、２つの障害物距離の交点、つまり障害物の座標を取得することができる。しかし、円弧の交点１７が存在しない場合は、障害物の正確な座標がわからない。そのため、円弧の交点１７が存在する場合と存在しない場合で、車両１と障害物との距離Ｃの算出方法を変える。すなわち、部分変換画像上に円弧の交点１７が存在する場合は図３中、ステップＳ１０６の処理に、円弧の交点１７が存在しない場合は、ステップＳ１０７の処理に移行する。

部分変換画像上に円弧の交点１７が存在する場合、図３中、ステップＳ１０６で、円弧の交点１７の座標から、車両１と障害物との距離を算出する。円弧の交点１７と車両１と障害物との距離Ｃの算出方法について図１０を用いて説明する。
まず、円弧の交点１７から車両１の面に対して引かれる垂線の長さを算出する。ソナーセンサ２の精度により障害物距離には誤差が含まれるため、誤差を考慮して、垂線の長さを０．８倍または０．６倍した値を車両１と障害物との距離Ｃとして出力する。
部分変換画像上に複数の障害物が存在するために円弧の交点１７が複数存在する場合は、全ての円弧の交点１７から車両１の面に対して垂線を引き、最も短い垂線の長さを０．８倍または０．６倍にした値を車両１と障害物との距離Ｃとして出力する。なお、ソナーセンサ２を用いて説明したが、より指向性の高いセンサを用いるのであれば、算出された垂線の長さに、より１に近い倍率をかけた値を車両１と障害物との距離Ｃとすることができる。

部分変換画像上に円弧の交点１７が存在しない場合、図３中、ステップＳ１０７では、ステップＳ１０５において出力された円弧１６の座標から車両１と障害物との距離を算出する。
図１１中、ソナーセンサ２は、ソナーセンサ２の正面から約Ｚ度の範囲に対して音波を放つため、障害物を検知した場合、障害物はソナーセンサ２の中心から±Ｚ度の範囲に存在する。車両１と障害物との距離が最も短くなるのはソナーセンサ２の中心からＺ度の方向に障害物が存在するときであるため、この距離を車両１と障害物との距離Ｃとして出力する。すなわち、円弧１６の半径である障害物距離をＰとしたとき、以下の式（１）を用いて距離Ｃを算出する。
C = PcosZ ・・・（１）
図１１の例では、Ｚ＝４５度として車両１と障害物との距離Ｃを算出する。

次に、図３中、ステップＳ１０８で、上述したステップＳ１０６または、ステップＳ１０７で算出された、車両１と障害物との距離Ｃを用いてヒストグラム生成領域を抽出する。
ヒストグラム生成領域の抽出方法の例を図１２によって説明する。図１２では、車両１の後方に設置されたカメラ３が撮像する部分路面画像を変換した部分変換画像(以後、車両１後方の部分変換画像と記載)においてヒストグラム生成領域を点Ｈ１からＨ４に囲まれた領域に設定している。点Ｈ１からＨ４の座標は、図７で説明した座標系において、Ｈ１(-β,α+γ_２)、Ｈ２(-β,-α-γ_１)、Ｈ３(-β-δ, -α-γ_１)、Ｈ４(-β-δ, α+γ_２)で、αは車両１の横幅の半分の長さ、βは後方車軸から後方バンパーまでの長さを表している。図３中、ステップＳ１０３からステップＳ１０７において出力された車両１と障害物との距離Ｃによって、γ_１、γ_２とδを可変とすることで路面領域のみをヒストグラム生成領域として抽出することが可能となる。例えば、車両１後方の部分変換画像からヒストグラム生成領域を算出する際には、車両１後方の部分変換画像から算出された車両１と障害物との距離Ｃをδ、右方の部分変換画像から算出された車両１と障害物との距離Ｃをγ_１、左方の部分変換画像から算出された車両１と障害物との距離Ｃをγ_２とする。同様の方法でその他の部分変換画像におけるヒストグラム生成領域を算出すると、前述した図８のように車両１を囲む路面領域をヒストグラム生成領域として抽出することができる。また、各部分変換画像から算出された車両１と障害物との距離Ｃのうち、最も短い車両１と障害物との距離Ｃを、δとγ_１、γ_２としてヒストグラム生成領域を抽出しても良い。

なお、図３中、ステップＳ１０５において、各部分変換画像上に円弧の交点１７が存在するか否かを判定した結果に基づいて車両１と障害物との距離Ｃの算出方法を変えた。しかし、必ずしもそのようにする必要はない。例えば、円弧の交点１７の有無に関係なく、各部分変換画像上において最も短い障害物距離を０．８倍した値を車両１と障害物との距離Ｃとしてもよく、障害物距離が検出されない場合は、ソナーセンサ２の最大検出距離を０．８倍した値を車両１と障害物との距離Ｃとして算出してもよい。本願の目的を満たすことが可能であればヒストグラム生成領域の算出方法は限定しない。

図３中、ステップＳ１０９にて、図２で示したヒストグラム生成領域合成部２０５は、ヒストグラム生成領域抽出部２０４が抽出した複数のヒストグラム生成領域を合成し、ヒストグラム生成合成領域として出力する。

ヒストグラム生成領域合成部２０５は、車両信号検出部２０２が出力する車両信号に基づいて各ヒストグラム生成領域が路面である確率を推定し、路面である確率が高いヒストグラム生成領域を拡大し、路面である可能性が低いヒストグラム生成領域を縮小する。このような拡大及び縮小処理を行った後、画像データをＲＧＢ画素値の配列に格納し、ヒストグラム生成合成領域として出力する。各ヒストグラム生成領域を路面である確率に応じて拡大及び縮小することで、合成したヒストグラム生成合成領域が障害物を含む可能性を低減する。この拡大及び縮小処理を行うために算出される倍率を本実施の形態１では合成比率と称す。
合成比率を算出するために、本実施の形態１では車両信号として、シフト情報を利用する。シフト情報から車両１の現在の進行方向が分かるため、進行方向のヒストグラム生成領域の合成比率を１より低い値を算出し、進行方向と反対のこれまで走行していた路面であると考えられるヒストグラム生成領域の合成比率を１より大きい値を算出する。このように、車両信号から各ヒストグラムの路面である確率を推定し、合成比率を変更する。本実施の形態１では、車両信号としてシフト情報を利用する例を示したが、ヨーレート、又は車速などその他の車速信号を利用してヒストグラム生成領域を算出してもよい。

なお、本実施の形態１では、図３中、ステップＳ１０９にて車両信号を用いてヒストグラム生成領域の合成比率を、図２で示したヒストグラム生成領域合成部２０５により変更したが、この処理は、図３中、ステップＳ１０８にて、図２で示したヒストグラム生成領域抽出部２０４が行うことも可能である。すなわち、ヒストグラム生成領域を算出する際に、車両信号に基づいて車両１と障害物との距離Ｃの長さを補正することでヒストグラム生成領域が障害物を含む可能性を低減することができる。例えば、車両信号から過去の走行領域と現在の進行方向を推定し、部分変換画像に過去の走行領域が含まれる場合は、過去の走行領域が含まれない場合よりも車両１と障害物との距離Ｃを長く算出する。又は、進行方向に基づいて、進行方向の部分変換画像から算出される車両１と障害物との距離Ｃを、進行方向と反対の部分変換画像における車両１と障害物との距離Ｃよりも短く算出する。又は、進行方向と反対の部分変換画像における車両１と障害物との距離Ｃを進行方向の部分変換画像から算出される車両１と障害物との距離Ｃよりも長く算出する、などの処理をするとよい。

図３中、ステップＳ１１０にて、図２で示したヒストグラム演算部２０６は、ヒストグラム生成合成領域におけるＲＧＢ画素値の画素数の出現頻度を表すヒストグラムを演算する。図１３にヒストグラムの例を示す。ヒストグラムの横軸は画素値で、縦軸が画素数である。本実施の形態１では、画素値は２５６階調で表され、最小値が０、最大値が２５５でＲＧＢ画素値のＲ、Ｇ、Ｂ、それぞれに対してヒストグラムを作成する。なお、カラー画像を用いて路面検出を行うが、モノクロ画像に対して路面検出を行うことも可能で、その場合は作成するヒストグラムは１つで良い。

本実施の形態１で作成されるヒストグラムの特徴を説明する。ヒストグラム生成領域は車両１周辺の路面で構成されており、路面には日の当たる路面である日向路面と車両１、又は構造物の影が映り込んだ路面である影路面が含まれる。影路面は光が当たっていないため、画像上では日向路面に比べて輝度値が下がる。このため、ヒストグラム生成領域に車両の影が存在する場合は、図１３に示す様にヒストグラムには日向路面に基づく第１のピークと影路面に基づく第２のピークが立ち、第２のピークは第１のピークに比べて画素値が低くなる。また、ヒストグラム生成領域に白線及びマンホールが車両１周辺に存在する場合にはそれぞれに基づいたピークが立つ。

図３中、ステップＳ１１１にて、図２で示したヒストグラム分離部２０７は、ステップＳ１１０で作成したヒストグラムを第１のヒストグラムと第２のヒストグラムに分離する。本実施の形態１では、第１のヒストグラムは、日の当たる路面である日向路面に基づくヒストグラムで、第２のヒストグラムは影が映り込んだ路面である影路面に基づくヒストグラムとする。図２で示したヒストグラム分離部２０７は画素数の高い上位２つのピークを探索し、２つのピークのうち画素値の低いピーク１８ｂ周辺のヒストグラムを第２のヒストグラムとして抽出し、２つのピークのうち画素値の高いピーク１８ａを含むヒストグラムを第１のヒストグラムとして抽出する。
ヒストグラムのピーク１８ａ、及びピーク１８ｂを探索する方法として、ローパスフィルタ、又は微分を用いる方法などがあるが、本手法の特徴ではないため説明を割愛する。

また、図１４に示すように、ヒストグラムにおける２番目に高いピーク値１８ｃが、ある一定値Ｇ以下の場合、車両１周辺に影が無いと判断して、第２のヒストグラムの抽出は行わず、ヒストグラム全体を第１のヒストグラムとして抽出する。

ただし、ヒストグラム生成領域にマンホールなどが存在する場合、ヒストグラムにおける高さの高いピークが影に基づいたものではなく、マンホールに基づいて形成されることがある。このような場合は、例えば過去の第２のヒストグラムと、現在のヒストグラムにおける第２のヒストグラム候補との比較を行うヒストグラム判定部を設けるとよい。このヒストグラム判定部は、第２のヒストグラム候補が影路面に基づくヒストグラムかを判定し、マンホールなどの路面構造物に基づいたヒストグラムを第２のヒストグラムとして誤って抽出することを防ぐ。例えば、過去の第２のヒストグラムと現在の第２ヒストグラム候補の形状、具体的にはヒストグラムの画素値域、ピーク値、又はヒストグラムの分散値などを比較し、ヒストグラムの類似度を算出することによって、第２のヒストグラム候補が影路面に基づいたものか判定する。判定した結果、第２のヒストグラム候補が影路面に基づいたヒストグラムでないと判断される場合は、この第２のヒストグラム候補を破棄し、過去に記録した第２のヒストグラムを第２のヒストグラムとして代わりに抽出する。これにより、一時的にヒストグラム生成領域にマンホール及び白線などが広範囲に映った場合でも、影路面を識別することができる。

図３中、ステップＳ１１２にて、図２に示す変換画像合成部２０８は、部分変換画像から路面検出処理に用いる合成変換画像を作成する。本実施の形態１では、図１Ａに示した４つのカメラ３が撮像した部分路面画像に基づく部分変換画像を合成し、図１５のような合成変換画像を作成する。説明の都合上、図１５中、車両１の左方、右方、後方の部分路面画像を一部取り除き、合成変換画像の中心に実際は映らない車両１を重畳しており、障害物であるパイロン１２と、パイロン１２の影１３と、車両の影１５が含まれる。

図３中、ステップＳ１１３にて、図２に示す第１の領域抽出部２０９は、図１３に示す第１のヒストグラムを用いて合成変換画像から第１の領域を抽出する。同様に、図３中、ステップＳ１１４にて、図２に示す第２の領域抽出部２１０は、図１３に示す第２のヒストグラムを用いて合成変換画像から第２の領域を抽出する。ヒストグラムに基づいて路面領域を抽出する方法として、例えばヒストグラムの逆投影法、又はヒストグラムの領域に含まれる画素値を持つ全ての画素を抽出する方法などが考えられる。

本実施の形態１では、ヒストグラムの逆投影法を用いて領域を抽出する例を示す。ヒストグラムの逆投影法はヒストグラムの各画素値の出現割合に基づいて、対象の画素がヒストグラムに含まれるかどうかを判定する手法である。ヒストグラムの逆投影法の処理方法について詳細に説明する。まず、各画素のＲＧＢ画素値を取得する。次に、ＲＧＢの各ヒストグラムを参照して、取得した画素値の画素数を取得し、各画素数を合計した値である画素数合計値を算出する。画素数合計値があらかじめ定めた値以上である場合は輝度値２５５、あらかじめ定めた値未満である場合は輝度値０の値を出力する。この処理を合成変換画像の画素すべてに対して行うことで、合成変換画像の二値化画像を出力する。二値化画像のうち、輝度値２５５の領域がヒストグラムに基づく領域を示す。

図２で示した第１の領域抽出部２０９と第２の領域抽出部２１０がヒストグラムの逆投影法を用いて出力する画像の例を図１５、図１６、図１７を用いて説明する。前述の合成変換画像である図１５の画像を入力として路面検出装置に入力した結果、第１の領域抽出部２０９が出力する第１の領域を表す画像が図１６で、第２の領域抽出部２１０が出力する第２の領域を表す画像が図１７である。図１６は、白い部分が輝度値２５５の第１の領域である日向路面で、ハッチングの部分が輝度値０の日向路面以外の領域である。図１６のハッチング部分は、パイロン１２と、パイロンの影１３と、車両の影１５である。本来輝度値０は黒であるが、図枠及び番号図示のためにハッチングを施している。以後の図も同様に輝度値０をハッチング部分とする。図１７は、白い部分が輝度値２５５の第２の領域であるパイロンの影１３と、車両の影１５で、ハッチングの部分が輝度値０の日向路面と、パイロン１２である。なお、図３中、ステップＳ１１１にて、ステップＳ１１０にて演算されたヒストグラムのうち、図１４で示したように、２番目に高いピーク値１８ｃが、ある一定値Ｇ以下で、第２のヒストグラムが抽出されなかった場合は、図３中、ステップＳ１１４の処理をスキップする。

このように、路面検出装置は、図２中、撮像部２００から画像が入力されるたびに上述した、図３のステップＳ１０１からステップＳ１１４の処理を繰り返し実行する。

なお、本実施の形態１に係る路面検出装置は合成変換画像に対して路面検出を行ったが、図３中、ステップＳ１１２にて、図２に示した変換画像合成部２０８は部分変換画像を合成する際に合成処理を行わず、部分変換画像を出力することで部分路面画像に対して路面検出することも可能である。

以上のとおり、実施の形態１は、以下に示す効果を奏する。

＜実施の形態１の作用及び効果＞
このようにして、本実施の形態１の路面検出装置は、カメラ３により車両１周辺の路面画像を取得し、更に部分変換画像に変換し、ソナーセンサ２により車両周辺の障害物との障害物距離を計測し、障害物距離に基づいて部分変換画像内の障害物のない領域をヒストグラム生成領域として抽出し、車両信号に基づいてヒストグラム生成領域をヒストグラム生成合成領域に合成し、ヒストグラム生成合成領域のヒストグラムを第１のピーク値を含む要素を日向路面に基づく第１のヒストグラムと、第２のピーク値を含む要素を影路面に基づく第２のヒストグラムに分離し、部分変換画像を合成して合成変換画像を作成し、第１のヒストグラムを用いて合成変換画像より日向路面である第１の領域を抽出し、第２のヒストグラムを用いて合成変換画像より影路面である第２の領域を抽出することで、影の影響を受けることなく路面を検出することが可能になるため、従来に比べ精度の高い路面検出装置及び路面検出方法を提供することができる。

また、ヒストグラムの分離するステップＳ１１１において、２番目に高いピーク値が、ある一定値以下の場合、第２のヒストグラムの抽出は行わず、ヒストグラム全体を第１のヒストグラムとして抽出する。これによって、太陽の高度が高い場合、又は太陽が雲に隠れて照度が弱い場合などに車両１周辺に影が存在しないと判断することができるため、第２のヒストグラムの抽出処理をスキップすることで演算の負荷を軽減することができる。なお、本処理が無い場合でも本手法は問題なく動作する。

更に、ヒストグラム生成領域抽出部２０４において障害物距離検出部２０１の出力する障害物距離を用いてヒストグラム生成領域を可変にすることで、障害物を路面として誤検出することを防ぐ。

なお、障害物距離検出部２０１が破損した場合でも、本手法は問題なく動作する。
例えば、ソナーセンサ２が破損した場合、障害物距離が検出できないため、ステップＳ１０２からステップＳ１０８の処理が正常に動作しない。そのため、このステップの処理をスキップし、ある一定の距離を、車両１と障害物との距離Ｃとして出力することでヒストグラム生成領域を抽出する。障害物距離検出部２０１が破損している場合、障害物距離が検出されないか、誤った障害物距離が検出されるため、ソナーセンサ２の検出範囲に障害物が含まれることが考えられる。そこで、車両１と障害物との距離Ｃを例えば０．５ｍ又は１ｍなどの短い距離に設定することでヒストグラム生成領域に障害物が含まれることを防ぐことが可能である。

また、ヒストグラム生成領域合成部２０５において、車両信号を用いてヒストグラムの生成領域の合成確率を変更することによって、路面である確率の高いヒストグラム生成領域を抽出することができる。これにより、例えば、障害物距離検出部２０１が破損して障害物距離を検出できない場合、又は障害物距離検出部２０１を持たない車両においても路面検出が可能になる。

なお、本実施の形態１では、車両１周辺の画像である部分路面画像を俯瞰画像である部分変換画像に変換した例を説明した。しかし、部分変換画像に変換せず、部分路面画像からヒストグラム生成領域を抽出し、路面を検出することも可能である。ステップＳ１０１の処理がスキップされるため、処理による演算の負荷が軽減される。このため、演算装置１０の性能に応じて路面検出装置の構成を変えるとよく、演算装置１０の性能が低い場合は上記の方法により演算負荷の少ない路面検出を行うことができる。演算装置１０の性能が高い場合には、部分路面画像に対して射影変換を行った部分変換画像に対して路面検出を行うことで精度の高い路面検出を行うことができる。

実施の形態２．
実施の形態２は、路面検出装置とこの路面検出装置の出力した第２の領域に対して、第１のヒストグラムから取得できる第１の領域の色情報を用いて色置換を行い、画像表示部にて表示する画像表示装置に関するものである。

図１８は、本実施の形態２に係る路面検出装置と画像表示装置の機能構成を機能ブロック図にて示したもので、実施の形態１の機能ブロック図に、表示画像生成部２１１、表示画像第２領域抽出部２１２、色置換部２１３と画像表示部２１４を加えた構成である。

本実施の形態２の画像表示装置の動作において、実施の形態１と異なる部分について、図１９に示すフローチャートを用いて説明する。

図１９中、ステップＳ１０１からステップＳ１１４は、実施の形態１の図３で示した処理方法と同じである。ステップＳ２１５にて、図１８に示された表示画像生成部２１１は、撮像部２００が取得した部分路面画像から画像表示装置にて表示する表示画像を作成する。例えば、表示画像生成部２１１にて、画像変換部２０３と変換画像合成部２０８と同様の処理を行い、車両１周辺の路面を上方から見下ろした俯瞰画像である合成変換画像を表示画像として出力する。なお、表示画像生成部２１１にて作成される表示画像は部分路面画像から作成可能な画像であれば種類を選ばない。例えば、複数ある部分路面画像の内、１つのみ、又は複数画像を１つの画像に合成した合成画像を表示画像としても良い。他にも、部分路面画像から車両１周辺の３次元モデル、又は３Ｄビューを作成しても良い。また、ユーザが表示画像を選択する表示画像選択部を設け、ユーザの意図した画像を表示画像として出力させることも可能である。

次に、図１９中、ステップＳ２１６にて、図１８に示された表示画像第２領域抽出部２１２は、ステップＳ２１５にて作成された表示画像から、ステップＳ１１１にて算出された第２のヒストグラムを用いて表示画像中の第２の領域である表示画像第２領域を抽出する。ヒストグラムに基づいて第２の領域を抽出する方法として、例えばヒストグラムの逆投影法、又はヒストグラムの値域に含まれる画素値を持つ全ての画素を抽出する方法などが考えられる。本実施の形態２では、ステップＳ１１３、ステップＳ１１４と同様にヒストグラムの逆投影法を用いて抽出処理を行う。

その後、図１９中、ステップＳ２１７にて、図１８に示された色置換部２１３は、ステップＳ２１６にて抽出された表示画像第２領域を、ステップＳ１１１にて算出された第１のヒストグラムの色情報を用いて、表示画像第２領域の画素値を置換し、色置換表示画像として出力する。本実施の形態２では第１のヒストグラムから最も高いピークの画素値を算出して色置換に用いる色とする。算出した色を用いて表示画像第２領域を色置換した画像を色置換表示画像として出力する。なお、本手法の目的を満たすことができれば第１のヒストグラムの色を算出する方法の種類は問わない。

最後に図１９中、ステップＳ２１８にて、図１８で示された画像表示部２１４は、ステップＳ２１７にて色置換された色置換表示画像を表示する。画像表示部２１４は画像を表示可能な装置で、形状・大きさは問わない。本実施の形態２では車内に設置されたカーナビのディスプレイ（図示せず）を画像表示部とする。また、車内に設置された表示装置に表示するだけでなく、例えばワイファイ（Wi-Fi）などの通信手段を備える事で、携帯電話、スマートフォン、ダブレット、又は車両外のディスプレイにも表示可能である。

＜実施の形態２の作用及び効果＞
このようにして、本実施の形態２の画像表示装置は、実施の形態１における路面検出装置によって出力される第１のヒストグラムと第２のヒストグラムを利用して、表示画像生成部によって生成された表示画像から第２の領域を抽出し、抽出した表示画像第２領域の画素を第１のヒストグラムによって算出される第１の領域の画素値に色置換し、色置換した色置換表示画像を画像表示部にて出力する。これにより、車両１周辺の路面を上方から見下ろした俯瞰画像である表示画像から影を除去することができ、影を含む表示画像に比べ、ユーザが車両１周辺の障害物をより簡単に認識することが可能になる。なお、本実施の形態２では、車両１周辺の俯瞰画像から影を除去して表示する例を示したが、本手法は車両１のカメラ３から取得した画像を変換してできる画像全てに適応できる。そのため、カメラ３から取得した画像から車両１周辺の３Ｄビューなどを作成する際にも、３Ｄビューから影を取り除くことができ、ユーザが見易い３Ｄビューを提供できる。

実施の形態３．
実施の形態３は、路面検出装置と路面検出装置の出力した第１の領域と第２の領域に基づいて、障害物を検知する障害物検知装置に関するものである。

図２０は、本実施の形態３に係る路面検出装置と路面検出装置の出力により障害物を検知する障害物検知装置の機能構成を機能ブロック図にて示したもので、実施の形態１の機能ブロック構成に、影方向判定部２１５と、領域反転部２１６と、画像記録部２１７と、差分画像障害物領域抽出部２１８と、第２の障害物距離検出部と、障害物検知ゾーン演算部２１９と、障害物位置検出部２２０を加えた構成である。

第２の障害物距離検出部は、障害物距離検出部２０１と同様に、車両１周辺に存在する障害物を検知し、第２の障害物距離検出部と障害物との距離である障害物距離を検出する。なお、第２の障害物距離検出部は、障害物距離検出部２０１が兼ねてもよく、本実施の形態３では第２の障害物距離検出部は、図１Ａで示した複数のソナーセンサ２とソナーコントローラ７及びそれらをつなぐソナーセンサ配線６によって構成される。

本実施の形態３に係る障害物検知装置の動作において、実施の形態１と異なる部分について、図２１に示すフローチャートを用いて説明する。

図２１中、ステップＳ３１９にて、影方向判定部２１５は、ステップＳ１１１で抽出された第２のヒストグラムと、ステップＳ１０８にて抽出された４つのヒストグラム生成領域を用いて影方向を判定する。影方向判定部２１５はヒストグラム生成領域から影の領域を抽出してできる、車両１周辺にできる影の形状から影の方向を判定する。例えば車両１の立体形状に基づく影の形状を光源方向ごとにあらかじめ記録する。本処理では、詳細な影方向を算出する必要はないため、例えば、車両１を中心に１０度ずつ光源方向を変えた３６通りの影の形状を記録する。作成した各光源方向に基づく影の形状とヒストグラム生成領域に現れる影の形状との比較を行い形状の類似度を算出する。なお、類似度の算出方法については本手法の特徴ではないため説明を割愛する。
算出した類似度が、ある定めた閾値以上かつ最大となる光源方向を現在の光源方向として、現在の光源方向を１８０度反転させた方向を影方向とする。このとき、影方向判定良否フラグを良として現在の光源方向、影方向とともに出力する。また、光源方向に基づく影の形状の各類似度がすべてある定めた閾値未満となる場合、影の方向が推定できないものとして影方向判定良否フラグを否として影方向判定良否フラグのみ出力する。

図２１中、ステップＳ３２０～ステップＳ３２６における処理の流れは、図２２のような部分変換画像に対して障害物検知を行った例により説明する。図２２には、日の当たる日向路面とパイロン１２、日向路面に比べ輝度値の低いパイロンの影１３、マンホール１９が含まれる。

図２１中、ステップＳ３２０にて、図２０で示す領域反転部２１６は、ステップＳ１１３で抽出した第１の領域と、ステップＳ１１４で抽出した第２の領域を反転することで、路面領域に含まれない障害物領域を抽出する。まず、実施の形態１の路面検出装置により第１の領域と第２の領域を抽出する。次に、第１の領域と第２の領域において輝度値が２５５の画素を輝度値２５５、残りの画素を輝度値０とする。これにより、図２３のような画像である路面領域を算出する。（図２３の白い部分が輝度値２５５の日向路面と影路面、ハッチングの部分が輝度値０の障害物とマンホール１９となる。）。この路面領域のうち、輝度値２５５の画素を輝度値０、輝度値０の画素を輝度値２５５に反転することで、図２４のような画像である障害物領域を出力する。（図２４のハッチングの部分が輝度値０の路面領域を、白い部分が輝度値２５５の路面領域に含まれない障害物領域を表す。）

図２１中、ステップＳ３２１では、ステップＳ３１９にて出力された影方向判定良否フラグの良否を判定する。影方向判定良否フラグが良の場合は、影があると判断して、ステップＳ３２２にて、影を利用した障害物の高さ判定処理を行う。しかし、影方向判定良否フラグが否の場合は、影方向を判定できないため、ステップＳ３２２をスキップして、ステップＳ３２３に移行する。

ステップＳ３２２にて、図２０で示す障害物位置検出部２２０は、ステップＳ１１４にて抽出された第２の領域とステップＳ３１９にて算出された影方向を用いてステップＳ３２０にて抽出された障害物領域の高さ判定を行う。例えば、障害物領域のうち、障害物領域の影方向に第２の領域が接していない障害物領域を高さがない障害物領域と判定する。その後、障害物領域を表す図２４の画像のうち、高さが無いと判定された障害物領域の輝度値を０に変更した図２５のような高さ判定画像を出力する。（図２５のハッチングの部分が輝度値０の路面領域と、高さの無い障害物領域であるマンホール１９を、白い部分が輝度値２５５の障害物領域を表す。）

図２１中、ステップＳ３２３にて、図２０で示された画像記録部２１７は、ステップＳ１１２で出力された合成変換画像を数フレーム分記録し、あらかじめ定めたフレーム数分前の合成変換画像を過去の合成変換画像として出力する。例えば、図２０で示す画像記録部２１７は有限のメモリを有しており、毎秒３０フレームで撮影され変換処理と合成処理が施される合成変換画像を記録し、５フレーム分前の合成変換画像を過去の合成変換画像として出力する。画像記録部２１７はメモリの容量が上限に達した場合、最も古い合成変換画像を削除して新しい合成変換画像を記録する。なお、本実施の形態３では、５フレーム分前の合成変換画像を出力しているが、このフレーム数は固定でなくてもよく、車速に応じて変えるようにしてもよい。例えば車速が低いときはフレーム数を長く、車速が速いときはフレーム数を短くすると良い。

ステップＳ３２４にて、図２０で示された差分画像障害物領域抽出部２１８は、ステップＳ１１２にて作成された合成変換画像と、ステップＳ３２３にて記録された過去の合成変換画像より合成変換画像の差分を演算し、合成変換画像の差分がある定めた閾値以上の領域を合成変換画像内の差分障害物領域として出力する。本実施の形態３では、差分がある閾値以上の領域の輝度値を２５５、閾値未満の領域を輝度値０とする図２６のような画像を出力する。

ステップＳ３２５にて、障害物検知ゾーン演算部２１９は、第２の障害物距離検出部より得られる障害物距離に基づいて障害物検知ゾーンを算出し、その座標を出力する。本実施の形態３における障害物検知ゾーンの算出方法について図２７を用いて説明する。本実施の形態１にて、ソナーセンサ２により検知される障害物は、前記ソナーセンサ２の位置から障害物距離だけ離れた円弧１６のどこかに存在することを説明した。そこで、障害物検知ゾーン２０は円弧１６を利用し、あらかじめ決めた障害物検知幅を設定し、円弧１６から障害物検知幅分、円弧１６の半径を加減算したエリアを障害物検知ゾーン２０としている。障害物検知幅はソナーセンサ２の障害物検出の誤差等を考慮した値で、一例として約３０ｃｍとする。この障害物検知ゾーン２０は図２８のように表され、障害物検知ゾーン２０の領域はすべて輝度値２５５、それ以外は輝度値０として出力する。（図２８の白い部分が障害物検知ゾーンで輝度値２５５、ハッチングの部分がそれ以外の領域で輝度値０となる。）

図２１中、ステップＳ３２６にて、図２０で示された障害物位置検出部２２０は、図２５の障害物領域、図２６の差分障害物領域、図２８の障害物検知ゾーン２０のうち、２つ以上が重なる領域を合成変換画像内の障害物領域として検出し、合成変換画像内の障害物領域の座標を障害物位置として演算し、障害物位置とステップＳ３２２での高さ判定の結果を障害物位置情報として出力する。

＜実施の形態３の作用及び効果＞
このようにして、本実施の形態３の障害物検知装置は、カメラ３により取得した車両１周辺の路面画像を変換した部分変換画像を合成変換画像に合成し、実施の形態１の路面検出装置によって出力された第１の領域と第２の領域に基づいて合成変換画像から障害物領域を抽出し、更にソナーセンサ２により車両１と車両１周辺の障害物との障害物距離を計測し、前記障害物距離より求める障害物検知ゾーン２０を出力し、前記合成変換画像の差分より求める合成変換画像内の差分障害物領域を出力し、障害物領域と障害物検知ゾーン20と合成変換画像内の差分障害物領域のうち、２つ以上が重なる領域を合成変換画像内の障害物領域として障害物位置を求めることで、従来に比べ精度の高い障害物検知装置及び障害物検知方法を提供することができる。

本実施の形態３における障害物検知装置は、第２の障害物距離検出部が破損した場合にも、実施の形態１の路面検出装置によって出力された第１の領域と第２の領域に基づいて合成変換画像から抽出された障害物領域と、前記合成変換画像の差分より求める合成変換画像内の差分障害物領域が重なる領域を合成変換画像内の障害物領域として障害物位置を求めることで問題なく障害物検知ができる。

また、車両１が停車している場合、合成変換画像の差分より求める合成変換画像内の差分障害物領域は、車両１周辺の動体のみを検知し、静止物を検知することができない。そのため、障害物検知装置は車両１の車速が０又はある定めた閾値以下の場合は実施の形態１の路面検出装置に基づいて抽出された障害物領域を合成変換画像内の障害物領域として抽出し、障害物位置を求めることで障害物を検知できる。

また、影方向判定部によって、検出された障害物領域が路面の模様か高さを持つ障害物かを判定できるため、路面の模様を障害物として誤検知することを防ぐことができる。

本願は、様々な例示的な実施の形態及び実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。

１：車両、２：ソナーセンサ、３：カメラ、４：通信線、５：カメラ配線、６：ソナーセンサ配線、７：ソナーコントローラ、８：周辺監視カメラコントローラ、９：その他のセンサ、１０：演算装置、１１：路面検出装置、１２：パイロン、１３：パイロンの影、１４：白線、１５：車両の影、１６：円弧、１７：円弧の交点、１９：マンホール、２０：障害物検知ゾーン、２００：撮像部、２０１：障害物距離検出部、２０２：車両信号検出部、２０３：画像変換部、２０４：ヒストグラム生成領域抽出部、２０５：ヒストグラム生成領域合成部、２０６：ヒストグラム演算部、２０７：ヒストグラム分離部、２０８：変換画像合成部、２０９：第１の領域抽出部、２１０：第２の領域抽出部、２１１：表示画像生成部、２１２：表示画像第２領域抽出部、２１３：色置換部、２１４：画像表示部、２１５：影方向判定部、２１６：領域反転部、２１７：画像記録部、２１８：差分画像障害物領域抽出部、２１９：障害物検知ゾーン演算部、２２０：障害物位置検出部

Claims (17)

1. 車両に設けられ、前記車両の周囲の路面画像を取得し、路面画像の一部である部分路面画像を複数出力する撮像部と、
   前記車両周辺に存在する障害物までの距離を検出する障害物距離検出部と、
   前記部分路面画像と前記障害物までの距離とに基づいて、障害物を含まない領域をヒストグラム生成領域として複数抽出するヒストグラム生成領域抽出部と、
   複数の前記ヒストグラム生成領域を合成し、ヒストグラム生成合成領域として出力するヒストグラム生成領域合成部と、
   前記ヒストグラム生成合成領域にもとづいて、ヒストグラムを演算するヒストグラム演算部と、
   前記ヒストグラムを第１のヒストグラムと第２のヒストグラムとに分離して出力するヒストグラム分離部と、
   前記第１のヒストグラムと前記部分路面画像より第１の領域を抽出する第１の領域抽出部と、
   前記第２のヒストグラムと前記部分路面画像より第２の領域を抽出する第２の領域抽出部とを備え、
   前記ヒストグラム分離部は前記ヒストグラムより第１のピーク値を含む要素を前記第１のヒストグラム、第２のピーク値を含む要素を前記第２のヒストグラムとして分離することを特徴とする路面検出装置。
2. 車両に設けられ、前記車両の周囲の路面画像を取得し、路面画像の一部である部分路面画像を複数出力する撮像部と、
   前記部分路面画像を射影変換した部分変換画像とする画像変換部と、
   前記車両周辺に存在する障害物までの距離を検出する障害物距離検出部と、
   前記部分変換画像と前記障害物までの距離とに基づいて、障害物を含まない領域をヒストグラム生成領域として複数抽出するヒストグラム生成領域抽出部と、
   複数の前記ヒストグラム生成領域を合成し、ヒストグラム生成合成領域として出力するヒストグラム生成領域合成部と、
   前記ヒストグラム生成合成領域にもとづいて、ヒストグラムを演算するヒストグラム演算部と、
   前記ヒストグラムを、第１のヒストグラムと第２のヒストグラムとに分離して出力するヒストグラム分離部と、
   前記部分変換画像を合成する変換画像合成部と、
   前記第１のヒストグラムと前記変換画像合成部からの合成変換画像とに基づいて第１の領域を抽出する第１の領域抽出部と、
   前記第２のヒストグラムと前記合成変換画像とに基づいて第２の領域を抽出する第２の領域抽出部とを備え、
   前記ヒストグラム分離部は前記ヒストグラムより第１のピーク値を含む要素を前記第１のヒストグラム、第２のピーク値を含む要素を前記第２のヒストグラムとして分離することを特徴とする路面検出装置。
3. 前記ヒストグラム分離部は、前記ヒストグラムの前記第２のピーク値が、予め決められた閾値未満の場合は、前記第２のヒストグラムを出力せず、前記第１のヒストグラムのみ出力することを特徴とする請求項１または２に記載の路面検出装置。
4. 前記ヒストグラム生成領域抽出部は、前記障害物までの距離に応じて前記ヒストグラム生成領域を可変とすることを特徴とする請求項１または２に記載の路面検出装置。
5. 車両信号を検出する車両信号検出部を備え、
   前記ヒストグラム生成領域合成部は、前記車両信号に応じて、複数のヒストグラム生成領域の合成比率を変更することを特徴とする請求項１から４のいずれか一項に記載の路面検出装置。
6. 前記第１のヒストグラムは、日向路面を示し、前記第２のヒストグラムは、影路面を示すことを特徴とする請求項１から５のいずれか１項に記載の路面検出装置。
7. 車両に設けられ、前記車両の周囲の路面画像を取得し、路面画像の一部である部分路面画像を複数出力する撮像部と、
   前記車両周辺に存在する障害物までの距離を検出する障害物距離検出部と、
   前記部分路面画像と前記障害物までの距離とに基づいて、障害物を含まない領域をヒストグラム生成領域として複数抽出するヒストグラム生成領域抽出部と、
   複数の前記ヒストグラム生成領域を合成し、ヒストグラム生成合成領域として出力するヒストグラム生成領域合成部と、
   前記ヒストグラム生成合成領域にもとづいて、ヒストグラムを演算するヒストグラム演算部と、
   前記ヒストグラムを第１のピーク値を有する第１のヒストグラムと第２のピーク値を有する第２のヒストグラムとに分離して出力するヒストグラム分離部と、
   前記第１のヒストグラムと前記部分路面画像より第１の領域を抽出する第１の領域抽出部と、
   前記第２のヒストグラムと前記部分路面画像より第２の領域を抽出する第２の領域抽出部とを備えた路面検出装置に、
   前記撮像部で取得した画像に基づいて生成した表示画像から前記第２の領域に相当する表示画像第２領域を抽出する表示画像第２領域抽出部と、
   抽出した前記表示画像第２領域の画素値を前記第１のヒストグラムの色情報を用いて置換する色置換部と、
   前記色置換部で置換された画像を表示する画像表示部を、さらに備えたことを特徴とする路面検出装置を利用した画像表示装置。
8. 車両に設けられ、前記車両の周囲の路面画像を取得し、路面画像の一部である部分路面画像を複数出力する撮像部と、
   前記部分路面画像を射影変換した部分変換画像とする画像変換部と、
   前記車両周辺に存在する障害物までの距離を検出する障害物距離検出部と、
   前記部分変換画像と前記障害物までの距離とに基づいて、障害物を含まない領域をヒストグラム生成領域として複数抽出するヒストグラム生成領域抽出部と、
   複数の前記ヒストグラム生成領域を合成し、ヒストグラム生成合成領域として出力するヒストグラム生成領域合成部と、
   前記ヒストグラム生成合成領域にもとづいて、ヒストグラムを演算するヒストグラム演算部と、
   前記ヒストグラムを、第１のピーク値を有する第１のヒストグラムと第２のピーク値を有する第２のヒストグラムとに分離して出力するヒストグラム分離部と、
   前記部分変換画像を合成する変換画像合成部と、
   前記第１のヒストグラムと前記変換画像合成部からの合成変換画像とに基づいて第１の領域を抽出する第１の領域抽出部と、
   前記第２のヒストグラムと前記合成変換画像とに基づいて第２の領域を抽出する第２の領域抽出部とを備えた路面検出装置に、
   前記撮像部で取得した画像に基づいて生成した表示画像から前記第２の領域に相当する表示画像第２領域を抽出する表示画像第２領域抽出部と、
   抽出した前記表示画像第２領域の画素値を前記第１のヒストグラムの色情報を用いて置換する色置換部と、
   前記色置換部で置換された画像を表示する画像表示部を、さらに備えたことを特徴とする路面検出装置を利用した画像表示装置。
9. 請求項１に記載の路面検出装置の部分路面画像において、第１の領域と第２の領域の輝度を反転することで障害物領域として抽出する領域反転部と、前記障害物領域に基づいて車両に対する障害物位置を演算し、障害物位置情報として出力する障害物位置検出部を備えることを特徴とする路面検出装置を利用した障害物検知装置。
10. 請求項２に記載の路面検出装置の合成変換画像において、第１の領域と第２の領域の輝度を反転することで障害物領域として抽出する領域反転部と、前記障害物領域に基づいて車両に対する障害物位置を演算し、障害物位置情報として出力する障害物位置検出部を備えることを特徴とする路面検出装置を利用した障害物検知装置。
11. 前記合成変換画像を記録する画像記録部、前記画像記録部に記録された合成変換画像と、以前に記録されている過去の合成変換画像の差分を算出し、この差分のうち、あらかじめ定めた閾値以上の領域を前記合成変換画像内の差分障害物領域として抽出する差分画像障害物領域抽出部を備え、前記障害物位置検出部は、前記差分障害物領域と前記障害物領域との重なる領域に基づいて、障害物位置を演算することを特徴とする請求項１０に記載の路面検出装置を利用した障害物検知装置。
12. 前記障害物距離検出部で検出された障害物までの距離を径とする円弧を、径方向及び周方向に一定の幅を有するように広げた領域を障害物検知ゾーンとして算出する障害物検知ゾーン演算部を備え、前記障害物位置検出部は、前記障害物検知ゾーンと前記障害物領域との重なる領域に基づいて障害物の位置を演算することを特徴とする請求項９または１０に記載の路面検出装置を利用した障害物検知装置。
13. 前記障害物距離検出部で検出された障害物までの距離を径とする円弧を、径方向及び周方向に一定の幅を有するように広げた領域を障害物検知ゾーンとして算出する障害物検知ゾーン演算部を備え、前記障害物位置検出部は、前記差分障害物領域と前記障害物領域に加え、前記障害物検知ゾーンを含む、いずれか２つ以上が重なる領域に基づいて、障害物位置を演算することを特徴とする請求項１１に記載の路面検出装置を利用した障害物検知装置。
14. 車両の周囲の光源方向と前記光源方向に反する影方向、および影方向判定の良否を出力する影方向判定部を備え、影方向判定が良の場合に、前記障害物領域の前記影方向に前記第２の領域が接していない障害物領域は、高さの無い障害物であると判定することを特徴とする請求項９から１３のいずれか一項に記載の路面検出装置を利用した障害物検知装置。
15. 車両の周囲の路面画像を取得し、その一部である部分路面画像を複数出力する第１のステップと、
    前記部分路面画像と検出した障害物までの距離とに基づいて前記障害物を含まない路面領域をヒストグラム生成領域として複数抽出し、抽出された複数のヒストグラム生成領域を合成し、ヒストグラム生成合成領域として出力する第２のステップと、
    前記ヒストグラム生成合成領域に基づいて、ヒストグラムを演算する第３のステップと、
    前記ヒストグラムを、第１のヒストグラムと第２のヒストグラムとに分離して出力する第４のステップと、
    前記第１のヒストグラムと前記部分路面画像より第１の領域を抽出する第５のステップと、
    前記第２のヒストグラムと前記部分路面画像より第２の領域を抽出する第６のステップとを備え、
    前記第４のステップは前記ヒストグラムより第１のピーク値を含む要素を第１のヒストグラム、第２のピーク値を含む要素を第２のヒストグラムとして出力することを特徴とする路面検出方法。
16. 前記第２の領域を、前記第１のヒストグラムに基づいて色置換して表示画像を出力することを特徴とする請求項１５に記載の路面検出方法を利用した画像表示方法。
17. 請求項１５に記載の路面検出方法を利用して前記障害物の位置を演算するステップを備えたことを特徴とする路面検出方法を利用した障害物検知方法。

Images