JP6035065B2

JP6035065B2 - 車載用周囲環境認識装置

Info

Publication number: JP6035065B2
Application number: JP2012149867A
Authority: JP
Inventors: 雅幸竹村; 彰二村松; 將裕清原; 玲宇田川
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2012-07-03
Filing date: 2012-07-03
Publication date: 2016-11-30
Anticipated expiration: 2032-07-03
Also published as: JP2014013453A

Description

本発明は、自車両の周囲環境の物体を認識する車載用周囲環境認識装置に関する。

従来、車両に搭載され、カメラにより撮影して得られた画像から他の車両を検出して、自車両と衝突する可能性がある場合に警報を出力する装置が提案されている。このような装置に関して、画像中でヘッドライトによる路面反射の領域を検出し、その領域を除外して処理を行うことにより、ヘッドライトによる路面反射が１つになり広がってしまった場合でも、正確に車両の車頭および車尾を検出するようにする技術が知られている（特許文献１）。

特開２００７−２６５０１６号公報

従来の装置では、路面が濡れており反射係数が高い場合などに、路面に映り込んだ背景物が車両として誤検出されてしまう場合がある。しかし、特許文献１に記載の技術は、ヘッドライトの路面反射による高輝度領域を抽出し、誤検出を防止するためのものである。したがって、高輝度でない路面への背景物の映り込みが車両として誤検出されることで警報が誤ったタイミングで出力されることを防止することはできない。

本発明による車載用周囲環境認識装置は、車両の周囲の路面を撮影して撮影画像を取得する撮影部と、撮影部により取得された撮影画像に基づいて、車両の周囲を走行している他車両を認識するアプリ実行部と、アプリ実行部による他車両の認識結果に基づいて、警報信号の出力を制御する警報制御部と、撮影画像に基づいて路面への背景物の映り込みの有無を判定する映り込み判定部と、撮影画像に背景領域および映り込み領域を設定する領域設定部とを備え、映り込み判定部は、撮影画像のうち背景領域内の画像と、撮影画像のうち映り込み領域内の画像とを比較することにより、路面への背景物の映り込みの有無を判定し、映り込み判定部による判定結果に基づいて、警報制御部による警報信号の出力を制御するものである。

本発明によれば、路面への背景物の映り込みが車両として誤検出されることで警報が誤ったタイミングで出力されるのを防止することができる。

本発明の一実施形態による車載用周囲環境認識装置の構成を示すブロック図である。カメラの撮影領域を示す図である。カメラの取り付け位置の例を示す図である。路面映り込み時の警報抑制に関する制御ブロック図である。路面映り込み時の警報抑制で実行される処理のフローチャートである。撮影画像に設定される背景領域および映り込み領域の例を示す図である。領域設定部の機能ブロック例を示す図である。特徴量算出部の機能ブロック例を示す図である。映り込み判定部の機能ブロック例を示す図である。アプリ実行部の機能ブロック例を示す図である。三次元での路面領域および背景領域の設定を説明する図である。

図１は、本発明の一実施形態による車載用周囲環境認識装置１００の構成を示すブロック図である。図１に示す車載用周囲環境認識装置１００は、車両に搭載されて使用されるものであり、カメラ１と、制御部２と、警報出力部３と、動作状態報知部４と、を備える。

カメラ１は、車両の後方に向けて設置されており、車両後方の路面を含む撮影領域内の画像を所定の時間間隔ごとに撮影する。このカメラ１には、たとえばＣＣＤやＣＭＯＳなどの撮像素子が用いられる。カメラ１により取得された撮影画像は、カメラ１から制御部２へ出力される。

図２は、カメラ１の撮影領域を示す図であり、カメラ１を横方向から見た様子を示している。カメラ１は、この撮影領域において、車両後方の路面を含む画像を撮影する。ここで、カメラ１の撮影領域（画角）は、車両後方の路面を左右方向について十分に広い範囲で撮影できるように比較的広く設定されている。

図３は、カメラ１の取り付け位置の例を示す図である。自車両の後方部分において、車体２０にはナンバープレート２１が設置されている。このナンバープレート２１の直上の位置に、斜め下に向けてカメラ１が取り付けられている。なお、ここで示した取り付け位置はあくまで一例であるため、他の位置にカメラ１を取り付けてもよい。サイドカメラやフロントカメラにおいても、本手法を利用しても良い。

制御部２は、カメラ１からの撮影画像を用いて所定の画像処理を行い、その処理結果に応じた各種制御を行う。この制御部２が行う制御により、車載用周囲環境認識装置１００において、たとえば、レーン認識、他車両認識、歩行者検知、標識検知、巻き込み防止検知、駐車枠認識、移動体検知、と呼ばれる様々な機能が実現される。

警報出力部３は、警報ランプや警報ブザー等による警報を車両の運転者に対して出力するための部分である。この警報出力部３の動作は、制御部２によって制御される。たとえば、前述のレーン認識において自車両が走行中の車線から逸脱しそうと判断された場合や、他車両検知、歩行者検知、巻き込み防止、移動体検知などにおいて、自車両と衝突する可能性のある車両が検出された場合に、制御部２の制御に応じて警報出力部３から警報が出力される。

動作状態報知部４は、車載用周囲環境認識装置１００の動作状態を車両の運転者に報知するための部分である。たとえば、所定の動作条件が満たされておらずに車載用周囲環境認識装置１００が非動作状態にある場合、制御部２の制御により、動作状態報知部４として車両の運転席付近に設置されたランプを点灯させる。これにより、車載用周囲環境認識装置１００が非動作状態であることを運転者に報知する。

次に、車載用周囲環境認識装置１００において行われる路面映り込み時の警報抑制について説明する。前述の他車両認識部や歩行者検知部、移動体検知部などで物体を検出する際に、路面が濡れており反射係数が高い場合などでは、撮影画像の背景部分にある様々な背景物が、路面に形成された水膜等に映り込むことがある。このような場合、路面に映り込んだ背景物を認識対象物として誤検出してしまい、運転者に対する警報が誤ったタイミングで出力されてしまう場合がある。そこで、車載用周囲環境認識装置１００では、こうした水膜等による路面への背景物の映り込みの有無を判定し、映り込みがあると判定した場合は警報の出力を抑制する。これにより、路面への背景物の映り込みが他車両として誤検出されることで警報が誤ったタイミングで出力されるのを防止する。

図４は、路面映り込み時の警報抑制に関する制御部２の制御ブロック図である。制御部２は、路面映り込み時の警報抑制に関して、領域設定部２０１、特徴量算出部２０２、映り込み判定部２０３、アプリ実行部２０４および警報制御部２０５の各制御ブロックを有する。制御部２では、たとえば、これらの各制御ブロックに対応するプログラムをマイクロコンピュータで実行することにより、図４の各制御ブロックを実現している。

領域設定部２０１は、カメラ１により取得された撮影画像に対して、背景部分に当たる背景領域と、この背景領域に対応する路面上の映り込み領域とを、左右にそれぞれ複数ずつ設定する。図７は、領域設定部２０１の機能ブロック例を示す図である。図７に示すように、領域設定部２０１は、たとえば、路面領域設定部２０１ａ、背景横位置設定部２０１ｂ、反射背景領域設定部２０１ｃ、および画像領域変換部２０１ｄからなる。

領域設定部２０１では、カメラ１により取得された撮影画像に対して、他車両認識に利用する隣接車線の路面領域を路面領域設定部２０１ａにて設定する。図１１は、三次元での路面領域および背景領域の設定を説明する図である。路面領域設定部２０１ａでは、図１１に示すように、隣接車線の車両を検知するために、自車両カメラ位置を中心に左右の処理領域１１０、１１１を設定し、車両検知の路面領域を更に分割した局所領域を複数ずつ設定する。この路面領域設定後に、自車両カメラ位置と、路面領域の三次元位置が既知であるため、入射角と反射角が等しい鏡面反射の性質を利用して、路面に映り込むであろう背景位置を、反射背景領域設定部２０１ｃにて特定する。ただし、自車両カメラから路面で鏡面反射したベクトル方向は算出可能であるが、これが自車両カメラからどの横位置の背景であるかは特定できない。すなわち、路面に映り込む背景が、すぐ近くの障害物なのか、20m離れた街灯なのかは、未知数である。このため、背景横位置設定部２０１ｂにおいて、横位置をある規定値を設けて設定することとする。映り込む背景がある程度絞り込めるような条件においては、この横位置を動的に指定することで、より高精度に水膜映り込みを判定しても良い。ただし、ある規定値を設けても処理領域の多少のずれであれば許容可能である。反射背景領域設定部２０１ｃでは、図１１に示すように横位置１１２を決定し、ここに大きな壁１１３が立っていることを仮定し、先ほど求めた路面局所領域の各頂点での反射ベクトルを延長し、壁１１３とぶつかりあう三次元位置１１４を推定する。これにより、反射背景領域の推定計算を実施する。最後に、これまでの説明では、自車両を中心とした世界座標での推定計算であったため、画像領域変換部２０１ｄにおいて画像上でどの位置になるかをそれぞれの領域について実施する。

特徴量算出部２０２は、領域設定部２０１により設定された各背景領域および各映り込み領域について、これらの各領域内での画像の特徴を示す特徴量をそれぞれ算出する。図８は、特徴量算出部２０２の機能ブロック例を示す図である。図８に示すように、特徴量算出部２０２は、たとえば、路面エッジ角度ヒストグラム抽出部２０２ａ、白線エッジ角度推定部２０２ｂ、背景エッジ角度ヒストグラム抽出部２０２ｃ、背景路面エッジ角度相関性推定部２０２ｄ、および背景路面立体物エッジ推定部２０２ｅからなる。

映り込み判定部２０３は、特徴量算出部２０２により算出された特徴量を基に、撮影画像のうち各背景領域内の画像と、撮影画像のうち各映り込み領域内の画像とを、対応するもの同士でそれぞれ比較する。この比較結果から、路面への背景物の映り込みの有無を判定し、映り込みありと判定した場合はその旨を警報制御部２０５へ通知する。図９は、映り込み判定部２０３の機能ブロック例を示す図である。図９に示すように、映り込み判定部２０３は、たとえば、エッジ強度解析部２０３ａ、白線エッジ抑制部２０３ｂ、立体物エッジ強調部２０３ｃ、局所領域別相関性解析部２０３ｄ、および左右別相関性解析部２０３ｅからなる。

図１０は、アプリ実行部２０４の機能ブロック例を示す図である。図１０に示すように、アプリ実行部２０４は、たとえば、レーン認識部２０４ａ、他車両認識部２０４ｂ、歩行者検知部２０４ｃ、標識検知部２０４ｄ、巻き込み防止認識部２０４ｅ、駐車枠認識部２０４ｆ、移動体検知部２０４ｇからなる。

レーン認識部２０４ａは、カメラ１により取得された撮影画像に基づいて、自車両左右のレーンを認識する。撮像画像の中から、白線特徴量を抽出し、この白線特徴量が並ぶ直線を抽出し、最終的に画像上の線から世界座標における自車両と白線の相対位置、相対姿勢を算出し、車線外に逸脱しそうかどうかを判定する。車線逸脱すると予測した場合には、警報制御部２０５に対して警報出力の指示を行う。

他車両認識部２０４ｂは、カメラ１により取得された撮影画像に基づいて、自車両の左後方または右後方に存在する他車両を認識する。このときアプリ実行部２０４は、オプティカルフローのように背景と異なる動きの領域を他車両として認識する。もしくは、パターンマッチング等の周知の画像処理技術を用いて、撮影画像の中から他車両に相当する部分を特定しても良い。この他車両の認識結果を基に、アプリ実行部２０４は、自車両と衝突する可能性がある他車両の有無を判断する。たとえば、自車両が車線変更を開始しようとしており、その車線変更方向に存在する他車両が自車両に接近しているような場合に、自車両と衝突する可能性があると判断し、警報制御部２０５に対して警報出力の指示を行う。

歩行者検知部２０４ｃは、カメラ１により取得された撮像画像に基づいて、撮像画像の中から歩行者を検知する。自車両進行方向で、衝突可能性がある歩行者について検知し、衝突の恐れがある場合に警報する。

標識検知部２０４ｄは、カメラ１により取得された撮像画像に基づいて、撮像画像中の中から標識を検知し、ユーザに音声やディスプレイ表示にて、標識の種類を伝える。

巻き込み防止認識部２０４ｅは、カメラ１により取得された撮像画像に基づいて、交差点を曲がる際に、巻き込む２輪車などが存在しないかを認識し、自車両に接触の恐れがある場合に、警報する。

駐車枠認識部２０４ｆは、自動駐車や、駐車支援を目的として、駐車枠を認識し、駐車枠の位置、姿勢から、自車両を駐車するためのアシスト、もしくは制御を実施する。

移動体検知部２０４ｇは、カメラ１により取得された撮影画像に基づいて、低車速時における自車両周囲の移動体を認識する。撮像画像の中から、移動体を検出し移動方向と自車挙動に基づいて接触の可能性が高いと判定した場合には、警報制御部２０５に対して警報出力の指示を行う。

警報制御部２０５は、アプリ実行部２０４からの指示に応じて、警報出力部３へ警報出力信号を出力する。この警報出力信号の出力により、警報出力部３から運転者に対して警報が出力される。以上説明したようなアプリ実行部２０４および警報制御部２０５の動作により、車載用周囲環境認識装置１００において障害物などの衝突の危険がある場合に警報が実現される。

なお、警報制御部２０５は、映り込み判定部２０３から映り込みありの通知を受けた場合、警報出力部３に対する警報出力信号の出力を停止する。このときアプリ実行部２０４から警報出力の指示が行われても、警報制御部２０５から警報出力部３に警報出力信号は出力されない。これにより、路面への背景物の映り込みがあるときには、警報出力部３による警報出力が抑制されるようにする。

図５は、以上説明した路面映り込み時の警報抑制で実行される処理のフローチャートである。このフローチャートに示す処理は、アプリケーション（アプリ）の実行中に、制御部２において所定の処理周期ごとに行われる。

ステップＳ１０において、制御部２は、カメラ１を用いて、車両の周囲の路面を含む所定の撮影領域内を撮影し、撮影画像を取得する。この撮影画像は、カメラ１から制御部２へ出力され、以降の処理において利用される。

ステップＳ２０において、制御部２は、ステップＳ１０で取得した撮影画像に、背景領域および映り込み領域を設定する。ここでは、後方車線検知、後側方車両認識、巻き込み防止認識部に利用する例として、領域設定部２０１により、撮影画像内の所定部分に、背景領域および映り込み領域をそれぞれ複数ずつ設定する。他、歩行者検知、標識検知であればフロントカメラを前提とする。レーン認識、他車両認識、移動体検知に関しては、フロントカメラや、サイドカメラ、リアカメラのどれを利用しても良い。巻き込み防止や、駐車枠認識はサイドカメラ、リアカメラのどちらを利用しても良い。どのカメラを利用しても基本的な手法や考え方に関しては、そのまま適用可能である。

図６は、撮影画像に設定される背景領域および映り込み領域の例を示す図である。図６に示す撮影画像３０は、路面が撮影されている路面画像領域３２と、背景画像領域３３とに分けられている。ステップＳ２０では、この撮影画像３０に対して、図６に示すように、車両の右後方に対応する位置に背景領域３４ａ〜３４ｆおよび映り込み領域３５ａ〜３５ｆを設定し、左後方に対応する位置に背景領域３６ａ〜３６ｆおよび映り込み領域３７ａ〜３７ｆを設定する。路面領域設定部２０１ａでは、左隣接車線の映り込み領域３５ａ〜３５ｆと右隣接車線の映り込み領域３７ａ〜３７ｆを設定する。反射背景領域設定部２０１ｃでは、左背景領域３４ａ〜３４ｆと右背景領域３６ａ〜３６ｆを設定する。

背景領域３４ａ〜３４ｆおよび３６ａ〜３６ｆは、背景画像領域３３内において、車両の走行に応じて生じる撮影画像３０中での背景物の位置変化の方向に沿って、左右対称の位置にそれぞれ設定される。この背景領域３４ａ〜３４ｆおよび３６ａ〜３６ｆにそれぞれ対応して、路面画像領域３２内に、映り込み領域３５ａ〜３５ｆおよび３７ａ〜３７ｆが設定される。たとえば、撮影画像３０内で左右端側、すなわち実空間上では車両から最も近い側の位置に設定されている背景領域３４ａ、３６ａは、映り込み領域３５ａ、３７ａにそれぞれ対応している。また、撮影画像３０内で中央寄り、すなわち実空間上では車両から最も遠い側の位置に設定されている背景領域３４ｆ、３６ｆは、映り込み領域３５ｆ、３７ｆにそれぞれ対応している。このようにして、映り込み領域３５ａ〜３５ｆ、３７ａ〜３７ｆを路面画像領域３２内にそれぞれ設定し、これらの各映り込み領域に対して背景物の映り込みが生じる背景画像領域３３内の位置に、背景領域３４ａ〜３４ｆ、３６ａ〜３６ｆをそれぞれ設定する。なお、撮影画像３０において、映り込み領域３５ａ〜３５ｆおよび３７ａ〜３７ｆの設定位置は、アプリの検出を行う領域に対応する位置とすることが好ましい。

ステップＳ３０において、制御部２は、特徴量算出部２０２により、ステップＳ２０で設定した背景領域３４ａ〜３４ｆおよび３６ａ〜３６ｆと、映り込み領域３５ａ〜３５ｆおよび３７ａ〜３７ｆとに対して、これらの各領域内での画像の特徴を表す特徴量をそれぞれ算出する。たとえば、背景領域３４ａ〜３４ｆ、３６ａ〜３６ｆにそれぞれ対応する画像の各画素と、映り込み領域３５ａ〜３５ｆ、３７ａ〜３７ｆにそれぞれ対応する画像の各画素とについて、その周囲の各画素の輝度に基づき、撮影画像３０内でのエッジ角度をそれぞれ算出する。こうして算出された各画素のエッジ角度を領域ごとにヒストグラム化することで、各領域の画像のエッジ角度に応じた各領域の特徴量を算出することができる。なお、各領域での画像の特徴を適切に表すことができるものであれば、特徴量の算出方法はこれに限定されるものではない。

特徴量抽出部２０２の詳細の処理を図８の機能ブロック図により説明する。まず、路面エッジ角度ヒストグラム抽出部２０２ａにおいて、路面映り込み領域の局所領域毎３５ａ〜３５ｆ、３７ａ〜３７ｆのそれぞれについて、輝度の勾配方向を示すベクトルであるエッジ角度を抽出する。各画素についてエッジ角度を抽出し、これを局所領域毎にヒストグラム化することにより、局所領域内のエッジ角度の分布を調べる。次に、路面の白線エッジ角度が、路面のエッジ角度ヒストグラムに入ってくる可能性が比較的高い。背景領域と路面映り込み領域の相関をとる場合には、あらかじめ路面のみにあることが既知であれば白線のエッジ角度は除いて相関をとった方が相関性の精度が上がる。このため、白線エッジ角度推定部２０２ｂにおいて、各局所処理領域の、白線のエッジ角度を推定し、後処理において相関をとる際に抑制に利用する。次に、背景エッジ角度ヒストグラム抽出部２０２ｃにおいて、背景領域の局所領域毎３４ａ〜３４ｆ、３６ａ〜３６ｆにそれぞれについて、エッジ角度を抽出し、局所領域毎にヒストグラム化する。背景路面エッジ角度相関性推定部２０２ｄでは、対応する局所領域毎、例えば、路面領域が３５ａであれば対応する背景領域は３４ａであり、この対応領域毎に、背景のエッジ角度と路面のエッジ角度の対応を推定する。背景領域に角度４５度のエッジがあった場合に、そのエッジが路面に映り込むと画像上何度のエッジ角度になるかという対応表を生成する。最後に、最も誤検知要因となりやすい、立体物の背景と路面のエッジ角度も、背景路面立体物エッジ推定部２０２ｅにおいて対応表とは別に対応する局所領域毎に推定する。

ステップＳ４０において、制御部２は、映り込み判定部２０３により、ステップＳ３０で算出した各領域の特徴量に基づいて、路面への背景物の映り込みの有無を判定するための映り込み判定を行う。ここではまず、背景領域３４ａ〜３４ｆ、３６ａ〜３６ｆに対してそれぞれ算出された特徴量と、映り込み領域３５ａ〜３５ｆ、３７ａ〜３７ｆに対してそれぞれ算出された特徴量とを、対応するもの同士でそれぞれ比較する。たとえば、背景領域３４ａの特徴量と、これに対応する映り込み領域３５ａの特徴量とを比較し、背景領域３６ａの特徴量と、これに対応する映り込み領域３７ａの特徴量とを比較する。また、背景領域３４ｆの特徴量と、これに対応する映り込み領域３５ｆの特徴量とを比較し、背景領域３６ｆの特徴量と、これに対応する映り込み領域３７ｆの特徴量とを比較する。他の背景領域および映り込み領域についても同様に、対応するもの同士で特徴量をそれぞれ比較する。こうして各背景領域と各映り込み領域の特徴量をそれぞれ比較することにより、各背景領域内の画像と各映り込み領域内の画像とをそれぞれ比較し、その組み合わせごとに相関性を解析する。

映り込み判定部２０３の詳細な処理を図９の機能ブロック図により説明する。まず、路面での映り込みを判定したい理由は路面で反射する映り込みを誤検知するためである。つまり、路面のエッジ強度が弱ければ、そもそもレーン認識、他車両認識、歩行者検知などで、誤検知しない。また、背景のエッジ強度が低い場合は、そもそも背景に映り込むような物体が存在しない可能性が高く、路面に映り込む物体が存在しない可能性が高い。このため、映り込み判定実施の前に、路面にも、背景にもそれなりのエッジ分布があることをエッジ強度解析部２０３ａで解析する。次に、白線エッジ抑制部２０３ｂで推定した白線エッジ角度を利用して、路面映り込み領域のエッジ角度ヒストグラムの中から白線エッジ角度近辺のヒストグラムの大きさを抑制しても良い。例えば、実際のヒストグラムの高さから0.3倍をかけて白線の影響を小さくして背景との相関性をとる前処理を白線エッジ抑制部２０３ｂにて実行する。これにより映り込み誤判定要因である白線の影響を軽減することができる。

次に、立体物エッジ強調部２０３ｃにて、エッジ角度ヒストグラムの中から、背景路面立体物エッジ推定部２０２ｅで推定した背景領域は立体物エッジ角度、路面映り込み領域は立体物映り込みエッジ角度について、ヒストグラムの高さを２倍にして強調する。これにより立体物のエッジ角度の相関性を見ることができるために、アプリの認識ロジックが誤検知しやすい立体物エッジの相関性を安定して得ることが可能となる。

次に、局所領域別相関性解析部２０３ｄでは、対応する路面映り込み領域と背景領域のエッジ角度ヒストグラムの相関性を解析する。

なお、上記のような特徴量の比較においては、映り込みによるエッジ角度の変化を考慮して、各領域の特徴量として算出した前述のエッジ角度のヒストグラム同士を比較することが好ましい。すなわち、各背景領域のエッジ角度のヒストグラムにおける配列位置が、各映り込み領域のエッジ角度のヒストグラムにおいてどの配列位置に対応するかを予め背景路面エッジ角度相関性推定部２０２ｄにおいて計算しておき、この計算結果を基に両ヒストグラムの比較を行う。このようにすれば、各背景領域の特徴量を表すエッジ角度のヒストグラムと、各映り込み領域の特徴量を表すエッジ角度のヒストグラムとを、映り込み状態を反映して正しく相関性を解析することができる。局所領域における相関性のチェックは、画面左側から、映り込み領域３５ａと背景領域３４ａの対応する処理領域同士で比較する。続けると、映り込み領域３５ｂと背景領域３４ｂ、映り込み領域３５ｃと背景領域３４ｃ、映り込み領域３５ｄと背景領域３４ｄ、映り込み領域３５ｅと背景領域３４ｅ、映り込み領域３５ｆと背景領域３４ｆで、それぞれ路面映り込みと対応する背景領域の特徴量に相関性があるかを解析する。同様に、画面右側も、映り込み領域３７ａと背景領域３６ａ、映り込み領域３７ｂと背景領域３６ｂ、映り込み領域３７ｃと背景領域３６ｃ、映り込み領域３７ｄと背景領域３６ｄ、映り込み領域３７ｅと背景領域３６ｅ、映り込み領域３７ｆと背景領域３６ｆで相関性をそれぞれ解析する。

以上説明したようにして各背景領域と各映り込み領域の対応する領域同士で特徴量をそれぞれ比較する。すなわち、画面左側では、背景領域３４ａ〜３４ｆの各々に対して算出された特徴量を路面映り込み領域３５ａ〜３５ｆと比較する。画面右側も同様に、背景領域３６ａ〜３６ｆの各々に対して算出された特徴量を路面映り込み領域３７ａ〜３７ｆと比較する。対応する領域は同一のアルファベットの添え字どうしで比較する。

次に、左右別相関性解析部２０３ｅでは、局所領域毎に見るのではなく、局所領域をまとめて解析する。まずは、自車速で移動するため、各局所領域の特徴が、背景も路面映り込み領域も後方へ移動するかを確認する。例えば、画面左の映り込み領域３５ｂに角度４５度のエッジ角度特徴量があった場合に、次のフレームでは、この特徴量が後方に流れて例えば映り込み領域３５ｅで同様な傾向が伺える。また、背景には相関性の高い背景のエッジ角度が存在し、これも時系列で背景領域３４ｂから背景領域３４ｅに移動していると背景映り込みの可能性が高まる。

また、背景領域と路面の映り込み領域の局所的な相関性以外に、特徴量の有無や、奥行き方向についてそれぞれ相関性があるかどうかも判定する。例えば、画面左側で、背景領域３４ｂと映り込み領域３５ｂにのみ相関性があり、他領域には特徴量があるにも関わらず相関性が低ければ、偶然、相関性がある局所領域が存在した可能性が高いと考える。反対に、背景領域３４ｂと映り込み領域３５ｂにのみ相関性があり、他領域においては背景領域、路面映り込み領域それぞれの特徴量が少なく相関性がとれない状態であれば、これは画面左側の路面映り込みが発生している可能性が高く画面左側の相関性が高いといえる。局所領域毎の相関性の後には、このように左右別でみた局所領域の相関性の並び方と動き方を参考に左右別の相関性を解析し、左右別の路面映り込みの判定を実施する。

ステップＳ４０では、以上説明したような各領域の特徴量の比較を行い、その比較結果に基づいて、背景領域３４ａ〜３４ｆと映り込み領域３５ａ〜３５ｆの間、および背景領域３６ａ〜３６ｆと映り込み領域３７ａ〜３７ｆの間で、背景物の映り込みがあるか否かをそれぞれ判定する。たとえば、背景領域３４ａ〜３４ｆと映り込み領域３５ａ〜３５ｆの間の相関性がそれぞれ十分に高く、かつ背景領域群３４ａ〜３４ｆ内の各画像と映り込み領域群３５ａ〜３５ｆ内の各画像が全体的に車両に対して遠ざかるような方向に移動している場合、車両の右後方において、路面への背景物の映り込みがあると判定する。同様に、背景領域３６ａ〜３６ｆと映り込み領域３７ａ〜３７ｆの間の相関性がそれぞれ十分に高く、かつ背景領域群３６ａ〜３６ｆ内の各画像と映り込み領域群３７ａ〜３７ｆ内の各画像が全体的に車両に対して遠ざかるような方向に移動している場合、車両の左後方において、路面への背景物の映り込みがあると判定する。

ステップＳ５０において、制御部２は、ステップＳ４０の映り込み判定の結果から、路面への背景物の映り込みの有無を判定する。車両の左後方および右後方のいずれか少なくとも一方において路面への背景物の映り込みがあるとステップＳ４０で判定した場合は、ステップＳ５０からステップＳ６０へ進む。一方、車両の左右後方のいずれにおいても路面への背景物の映り込みがないとステップＳ４０で判定した場合は、ステップＳ６０を実行せずに図５のフローチャートを終了する。

ステップＳ６０において、制御部２は、警報出力部３に対して、警報出力信号の出力を停止させる。このとき制御部２は、映り込み判定部２０３から警報制御部２０５に対して所定の通知を行うことにより、警報制御部２０５から警報出力部３への警報出力信号を停止し、警報出力部３による警報の出力を抑制する。これにより、自車両の左後方または右後方において路面に映り込んだ背景物が、アプリ実行部２０４によって自車両と衝突する可能性がある他車両として誤検出された場合でも、誤って警報出力部３から警報が出力されないようにする。なお、ステップＳ６０では、車両の左後方および右後方のうち、ステップＳ４０で路面への背景物の映り込みがあると判定された方についてのみ、警報の出力を停止させることが好ましい。ステップＳ６０を実行したら、制御部２は図５のフローチャートを終了する。

また、上記と同様に、レーン認識部２０４ａにおいても、認識結果の横位置が不安定かつ映り込み判定された場合には、レーン認識を利用した車線逸脱時の警報を抑制することで、誤警報を抑制する効果が得られる。

また、歩行者検知部２０４ｃにおいても、映り込みを移動体と誤検知する恐れがあるために、警報の出力を抑制することで、誤警報抑制する効果が得られる。標識検知部２０４ｄにおいても、映り込みを標識と誤検知する恐れがあるために、警報の出力を抑制することで、誤警報抑制する効果が得られる。巻き込み防止認識部２０４ｅにおいても、映り込みを障害物と誤検知する恐れがあるために、警報の出力を抑制することで、誤警報抑制する効果が得られる。駐車枠認識部２０４ｆにおいても、映り込みにより駐車枠の位置が不安定になったり誤認識する恐れがあるために、駐車枠を利用したアプリケーションの停止により、誤制御などを抑止する。

また、移動体検知部２０４ｇにおいても、映り込みを移動体と誤検知する恐れがあるために、警報の出力を抑制することで、誤警報抑制する効果が得られる。

以上説明した実施の形態によれば、次のような作用効果を奏する。

（１）車載用周囲環境認識装置１００は、カメラ１により取得された撮影画像に基づいて、アプリ実行部２０４により、車両の周囲を走行している他車両を認識し、この認識結果に基づいて、警報制御部２０５および警報出力部３により、警報を出力する。また、映り込み判定部２０３により、撮影画像に基づいて路面への背景物の映り込みの有無を判定し（ステップＳ４０）、映り込みがあると判定した場合、警報制御部２０５から警報出力部３への警報出力信号を停止して（ステップＳ６０）、警報出力部３による警報の出力を抑制する。このようにしたので、路面への背景物の映り込みが車両として誤検出されることで警報が誤ったタイミングで出力されるのを防止することができる。

（２）車載用周囲環境認識装置１００は、領域設定部２０１により、カメラ１により取得された撮影画像３０に、背景領域３４ａ〜３４ｆおよび３６ａ〜３６ｆと、映り込み領域３５ａ〜３５ｆおよび３７ａ〜３７ｆとを設定する（ステップＳ２０）。ステップＳ４０において、映り込み判定部２０３は、撮影画像３０のうち背景領域３４ａ〜３４ｆ、３６ａ〜３６ｆ内の画像と、撮影画像３０のうち映り込み領域３５ａ〜３５ｆ、３７ａ〜３７ｆ内の画像とを比較することにより、路面への背景物の映り込みの有無を判定する。また、領域設定部２０１において、反射の有無を判定したい路面の映り込み領域を設定する。設定した領域は、立体物の鉛直方向のエッジを細かく分割しないような方向に分割することで、相関性を取りやすい領域分割とする。また、路面は自車両と同一の高さとすることで、鏡面反射の性質を利用して背景の映り込み領域を決めることで、映り込みの判定精度を高めている。このようにしたので、撮影画像３０に基づいて、路面への背景物の映り込みの有無を確実に判定することができる。

（３）車載用周囲環境認識装置１００は、特徴量算出部２０２により、背景領域３４ａ〜３４ｆ、３６ａ〜３６ｆ内の画像のエッジ角度に応じた背景領域３４ａ〜３４ｆ、３６ａ〜３６ｆの特徴量と、映り込み領域３５ａ〜３５ｆ、３７ａ〜３７ｆ内の画像のエッジ角度に応じた映り込み領域３５ａ〜３５ｆ、３７ａ〜３７ｆの特徴量とを算出することができる（ステップＳ３０）。ステップＳ４０において、映り込み判定部２０３は、この背景領域３４ａ〜３４ｆ、３６ａ〜３６ｆの特徴量と、映り込み領域３５ａ〜３５ｆ、３７ａ〜３７ｆの特徴量とを比較することにより、路面への背景物の映り込みの有無を判定することができる。このようにすれば、背景領域３４ａ〜３４ｆ、３６ａ〜３６ｆ内の画像と、映り込み領域３５ａ〜３５ｆ、３７ａ〜３７ｆ内の画像とを、容易かつ正確に比較することができる。

（４）ステップＳ２０において、領域設定部２０１は、車両の走行に応じた撮影画像３０中での背景物の位置変化の方向に沿って背景領域３４ａ〜３４ｆおよび３６ａ〜３６ｆを設定すると共に、これらの背景領域にそれぞれ対応する映り込み領域３５ａ〜３５ｆおよび３７ａ〜３７ｆを設定する。ステップＳ４０において、映り込み判定部２０３は、撮影画像３０のうち背景領域３４ａ〜３４ｆ、３６ａ〜３６ｆ内の各画像と、撮影画像３０のうち映り込み領域３５ａ〜３５ｆ、３７ａ〜３７ｆ内の各画像とをそれぞれ比較する。また、背景領域３４ａ〜３４ｆ、３６ａ〜３６ｆ内の各画像同士、および映り込み領域３５ａ〜３５ｆ、３７ａ〜３７ｆ内の各画像同士をそれぞれ比較する。これにより、路面への背景物の映り込みの有無を判定するようにした。そのため、車両の走行に応じた撮影画像の時間的変化を考慮して、路面への背景物の映り込みの有無をより一層確実に判定することができる。

（５）ステップＳ２０において、領域設定部２０１は、撮影画像３０中で車両の右後方に対応する位置に、背景領域３４ａ〜３４ｆおよび映り込み領域３５ａ〜３５ｆをそれぞれ設定し、車両の左後方に対応する位置に、背景領域３６ａ〜３６ｆおよび映り込み領域３７ａ〜３７ｆをそれぞれ設定する。ステップＳ４０において、映り込み判定部２０３は、車両の右後方に対応する位置に設定された背景領域３４ａ〜３４ｆ内の各画像同士および映り込み領域３５ａ〜３５ｆ内の各画像同士をそれぞれ比較すると共に、車両の左後方に対応する位置に設定された背景領域３６ａ〜３６ｆ内の各画像同士および映り込み領域３７ａ〜３７ｆ内の各画像同士をそれぞれ比較する。このようにしたので、他車両の検出を行う車両の左右後方のそれぞれについて、路面への背景物の映り込みの有無を判定することができる。

なお、以上説明した実施の形態では、カメラ１が車両の後方の路面を撮影するようにしたが、車両の前方の路面を撮影してもよい。車両の周囲の路面を撮影できる限り、カメラ１の撮影範囲をどのように設定しても構わない。

また、上記実施の形態では、警報制御部２０５から警報出力部３への警報出力信号を停止することで、警報出力部３による警報の出力を抑制する例を説明したが、他の方法により警報の出力を抑制してもよい。たとえば、アプリ実行部２０４において撮影画像から他車両の部分を検出する際の閾値を変化させたり、他車両が自車両に接近していると判断する際の閾値を変化させたりすることで、路面への背景物の映り込みがある場合に、他車両が自車両と衝突する可能性があるとの判断が通常時よりも行われ難くなるようにしてもよい。このようにしても、警報出力部３による警報の出力を抑制して、路面への背景物の映り込みが車両として誤検出されることで警報が誤ったタイミングで出力されるのを防止することができる。

以上説明した実施の形態や各種の変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。

１カメラ
２制御部
３警報出力部
４動作状態報知部
１００車載用周囲環境認識装置
２０１領域設定部
２０２特徴量算出部
２０３映り込み判定部
２０４アプリ実行部
２０５警報制御部

Claims

車両の周囲の路面を撮影して撮影画像を取得する撮影部と、
前記撮影部により取得された撮影画像に基づいて、前記車両の周囲を走行している他車両を認識するアプリ実行部と、
前記アプリ実行部による前記他車両の認識結果に基づいて、警報信号の出力を制御する警報制御部と、
前記撮影画像に基づいて前記路面への背景物の映り込みの有無を判定する映り込み判定部と、
前記撮影画像に背景領域および映り込み領域を設定する領域設定部とを備え、
前記映り込み判定部は、前記撮影画像のうち前記背景領域内の画像と、前記撮影画像のうち前記映り込み領域内の画像とを比較することにより、前記路面への背景物の映り込みの有無を判定し、
前記映り込み判定部による判定結果に基づいて、前記警報制御部による前記警報信号の出力を制御することを特徴とする車載用周囲環境認識装置。
請求項１に記載の車載用周囲環境認識装置において、
前記背景領域内の画像のエッジ角度に応じた前記背景領域の特徴量と、前記映り込み領域内の画像のエッジ角度に応じた前記映り込み領域の特徴量とを算出する特徴量算出部を備え、
前記映り込み判定部は、前記背景領域の特徴量と、前記映り込み領域の特徴量とを比較することにより、前記路面への背景物の映り込みの有無を判定することを特徴とする車載用周囲環境認識装置。
請求項１または２に記載の車載用周囲環境認識装置において、
前記領域設定部は、前記車両の走行に応じた前記撮影画像中での前記背景物の位置変化の方向に沿って複数の前記背景領域を設定すると共に、複数の前記背景領域にそれぞれ対応する複数の前記映り込み領域を設定し、
前記映り込み判定部は、前記撮影画像のうち複数の前記背景領域内の各画像と、前記撮影画像のうち複数の前記映り込み領域内の各画像とをそれぞれ比較すると共に、複数の前記背景領域内の各画像同士および複数の前記映り込み領域内の各画像同士をそれぞれ比較することにより、前記路面への背景物の映り込みの有無を判定することを特徴とする車載用周囲環境認識装置。
請求項３に記載の車載用周囲環境認識装置において、
前記領域設定部は、前記撮影画像中で前記車両の右後方に対応する位置と、前記車両の左後方に対応する位置とに、前記背景領域および前記映り込み領域をそれぞれ複数ずつ設定し、
前記映り込み判定部は、前記車両の右後方に対応する位置に設定された複数の前記背景領域内の各画像同士および複数の前記映り込み領域内の各画像同士をそれぞれ比較すると共に、前記車両の左後方に対応する位置に設定された複数の前記背景領域内の各画像同士および複数の前記映り込み領域内の各画像同士をそれぞれ比較することを特徴とする車載用周囲環境認識装置。