JPWO2015008566A1 - 車載装置 - Google Patents

車載装置 Download PDF

Info

Publication number
JPWO2015008566A1
JPWO2015008566A1 JP2015527223A JP2015527223A JPWO2015008566A1 JP WO2015008566 A1 JPWO2015008566 A1 JP WO2015008566A1 JP 2015527223 A JP2015527223 A JP 2015527223A JP 2015527223 A JP2015527223 A JP 2015527223A JP WO2015008566 A1 JPWO2015008566 A1 JP WO2015008566A1
Authority
JP
Japan
Prior art keywords
unit
detection
vehicle
detection unit
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015527223A
Other languages
English (en)
Other versions
JP6163207B2 (ja
Inventor
雅幸 竹村
雅幸 竹村
將裕 清原
將裕 清原
彰二 村松
彰二 村松
耕太 入江
耕太 入江
秋山　靖浩
靖浩 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of JPWO2015008566A1 publication Critical patent/JPWO2015008566A1/ja
Application granted granted Critical
Publication of JP6163207B2 publication Critical patent/JP6163207B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

車載装置は、カメラレンズを介して車両の周囲環境を撮影するカメラから撮影画像を取得する画像取得部と、撮影画像に基づいてカメラレンズに付着した複数種類の付着物をそれぞれ検知する付着物検知部と、周囲環境に存在する所定の物体像を撮影画像から認識する画像認識部と、付着物検知部による複数種類の付着物の各検知結果に基づいて、複数の検知結果を統合した統合検知結果を算出する検知結果統合部と、統合検知結果に基づいて、画像認識部の動作を制御する動作制御部と、を備える。

Description

本発明は、車載装置に関する。
車両に設置されたカメラにより車両前方を撮影し、その撮影画像に対して水平方向にエッジ検出を行い、路面に設けられたレーンマーク（区画線）を検出する車載装置が知られている（特許文献１）。この装置では、水平方向に隣接する画素との輝度差の絶対値が閾値を超える画素をエッジ点として抽出し、そのエッジ点の計測数に基づいてレーンマークを認識する。
また、車載カメラレンズの状態に基づいて、移動中にも関わらず撮影画像中に含まれる不動領域を検出することで、レンズに付着した異物等を検知する手法が知られている（特許文献２）。また、複数のカメラの重複撮像領域を利用し、水滴が付着したことを判定する手法が知られている（特許文献３）。
日本国特開２０１０−２４４３８２号公報 日本国特開２０１２−３８０４８号公報 日本国特開２０１１−２２３０７５号公報
上記特許文献２，３に記載のように、レンズ汚れを検知する個々の手法は存在するものの、例えば、水滴と泥がまざったような複合汚れの状況において、正しく汚れとして検知し、適切に対応することが困難な場合がある。
本発明の第１の態様によると、車載装置は、カメラレンズを介して車両の周囲環境を撮影するカメラから撮影画像を取得する画像取得部と、撮影画像に基づいてカメラレンズに付着した複数種類の付着物をそれぞれ検知する付着物検知部と、周囲環境に存在する所定の物体像を撮影画像から認識する画像認識部と、付着物検知部による複数種類の付着物の各検知結果に基づいて、複数の検知結果を統合した統合検知結果を算出する検知結果統合部と、統合検知結果に基づいて、画像認識部の動作を制御する動作制御部と、を備える。
本発明の第２の態様によると、第１の態様の車載装置において、検知結果統合部は、付着物検知部の各検知結果を同一の座標系にそれぞれ投影し、投影して得られた複数の座標から座標系上に合成座標を設定し、動作制御部は、合成座標に基づいて、画像認識部の動作を制御することが好ましい。
本発明の第３の態様によると、第２の態様の車載装置において、座標系は、付着物によるレンズ透過率に関する第１の座標軸と、カメラレンズに付着した付着物の面積に関する第２の座標軸とを有し、付着物検知部により得られる各検知結果は、レンズ透過率と付着物の面積であり、それらの２つの検知結果により得られる座標の領域は、付着物検知部の種類ごとにそれぞれ設定されていることが好ましい。
本発明の第４の態様によると、第３の態様の車載装置において、動作制御部は、第１の座標軸と第２の座標軸のどちらに合成座標がより近いかに基づいて、画像認識部に行う制御を決定することが好ましい。
本発明の第５の態様によると、第３の態様の車載装置において、動作制御部は、合成座標が第１の座標軸と第２の座標軸の範囲内に予め定められた動作決定領域の範囲内の座標であるとき、画像認識部による所定の物体像の認識を中止させることが好ましい。
本発明の第６の態様によると、第３の態様の車載装置において、動作制御部は、合成座標が第１の座標軸と第２の座標軸の範囲内に予め定めた動作決定領域の範囲内の座標であるとき、カメラレンズから付着物を除去する除去装置を動作させることが好ましい。
本発明の第７の態様によると、第１乃至６のいずれか一態様の車載装置において、付着物検知部は、複数種類の付着物をそれぞれ継続的に検知した時間に応じた信頼度をさらに算出し、検知結果統合部は、付着物検知部が算出した各信頼度も用いて統合検知結果を算出することが好ましい。
本発明の第８の態様によると、第７の態様の車載装置において、車両の周囲の光源環境、車両が走行する走行路、天候の少なくともいずれか一つについて信頼度が低下する環境を検知する環境検知部と、環境検知部により検知された環境に基づいて、付着物検知部が算出した各信頼度をそれぞれ補正する信頼度補正部と、をさらに備えることが好ましい。
本発明の第９の態様によると、第１乃至６のいずれか一態様の車載装置において、車両の速度またはヨーレートを少なくとも含む走行状態に関する情報を取得する情報検出部と、情報検出部が取得した走行状態に関する情報に基づいて、複数種類の付着物のうち一部の付着物の検知を付着物検知部に停止させる検知停止部と、をさらに備え、検知結果統合部は、複数種類の付着物のうち検知停止部により検知が停止されていない付着物の検知結果に基づいて統合検知結果を算出することが好ましい。
本発明の第１０の態様によると、第９の態様の車載装置において、情報検出部が取得した車両の速度に関する情報に基づいて、車両が停車していることを判定する停車判定部と、所定時間以上継続して車両が停車していることを停車判定部が判定した後に発車するとき、付着物検知部の検知結果を初期化する初期化部と、をさらに備えることが好ましい。
本発明によれば、複合汚れの状況においても、正しく汚れとして検知し、画像認識部の動作を適切に制御できる。
本発明の一実施形態による車載装置の構成を示すブロック図である。 本発明の一実施形態による車載装置の機能ブロック図である。 水滴検知部の処理の説明に用いる図である。 白濁検知部の処理の説明に用いる図である。 投影変換部の処理の説明に用いる図である。 合成座標設定部の処理の説明に用いる図である。 動作抑制部の処理の説明に用いる図である。 環境検知制御部に関する機能ブロック図である。 光源環境検知部の処理に関するフローチャートである。 光源環境検知部の処理領域を図示した図である。 走行路環境検知部の処理に関するフローチャートである。 天候検知部の処理に関するフローチャートである。 環境検知制御部の処理に関するフローチャートである。 レーン認識部の処理に関するフローチャートである。 レーン認識部の処理の説明に用いる図である。 車両認識部の処理に関するフローチャートである。 車載装置の動作に関するフローチャートである。
図１は、本発明の一実施形態による車載装置１のブロック構成図である。図１に示す車載装置１は、車両に搭載されるＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）であって、ＣＰＵとメモリ１０とを備える。メモリ１０には、ＲＯＭとワーキングメモリ、バッファメモリとして利用されるＲＡＭとが含まれ、ＲＯＭには車載装置１のＣＰＵにより実行されるプログラムと詳細を後述する制御マップに関する情報が記憶されている。
車載装置１は、カメラ２ａおよび２ｂと、警報出力部３と、除去制御部４とに接続されている。また、車載装置１は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続されており、カーナビゲーション装置や車載装置１よりも上位のＥＣＵなどから情報を取得することができる。たとえば、車載装置１は、ＣＡＮを介して車両の走行速度、ヨーレート、ワイパの動作状態など、車両に関する情報を取得することができる。
カメラ２ａおよび２ｂは、たとえばボディ、バンパーなどの車両の各部にそれぞれ設置されている。カメラ２ａは、カメラレンズを車両の前方に向けており、車両前方の路面と車両前方に設置されている道路標識とを同時に撮影することができる程度の画角を有する。カメラ２ｂは、カメラレンズを車両の後方に向けており、車両後方の路面と車両後方の風景とを同時に撮影することができる程度の画角を有する。
車載装置１は、カメラ２ａおよび２ｂの撮影画像に対して画像認識処理を実行して、撮影画像に含まれるレーンマーク、他車両、歩行者、道路標識、駐車枠などの画像を認識する。ここで、レーンマークとは、ペイントや道路鋲（ボッツドッツ）などにより形成された車線境界線、車道中央線、車道外側線などを表す。車載装置１は、画像認識処理の結果に基づいて、たとえば車両が走行車線を逸脱しようとしていることや車両が他車両と衝突しようとしていることなどを検出する。
カメラ２ａおよび２ｂの各カメラレンズには、水滴、泥、融雪剤などが付着することがある。特に車両が走行している場合には、路上の水、泥、融雪剤などが車両に跳ね上げられて、カメラレンズに付着しやすい。カメラレンズに付着する水滴は、雨滴などであり不純物を多く含有することが多く、乾燥するとカメラレンズに水滴痕が残ることがある。また、水滴痕や泥水などがカメラレンズに付着することによりカメラレンズが白濁した状態になることがある。以降、カメラレンズに付着した水滴、水滴痕、泥などの異物や、白濁などのカメラレンズの汚れなどを総称して付着物と記載する。
警報出力部３は、車両の運転者に対して警報ランプ、警報ブザー、警報表示画面等による警報を出力する。除去制御部４は、不図示のエアーポンプ、ウォッシャーポンプ、ワイパ駆動部など、カメラ２ａおよび２ｂの各カメラレンズから付着物を除去するための除去装置を制御する。除去制御部４は、車載装置１からの指令に基づいて除去装置を制御して、圧縮空気や洗浄液の噴射動作、レンズ用ワイパによる払拭動作などを実施し、カメラ２ａおよび２ｂの各カメラレンズからの付着物除去を試みる。
図２は、車載装置１の機能ブロック図である。車載装置１は、メモリ１０に記憶されたプログラムを実行することにより、撮影画像取得部１１と情報検出部１２と付着物検知部１３と検知結果統合部１４と動作制御部１５と画像認識部１６と警報制御部１７として機能する。
撮影画像取得部１１は、所定のフレームレートでカメラ２ａおよび２ｂから撮影画像をそれぞれ取得する。撮影画像取得部１１は、フレームごとに取得した各撮影画像を付着物検知部１３と検知結果統合部１４と画像認識部１６とへ出力する。
情報検出部１２は、ＣＡＮを介して、車載装置１よりも上位のＥＣＵなどから自車両の速度、ヨーレート、操舵角、ワイパの動作状態、外気温などの情報を取得する。情報検出部１２は、取得した情報を検知結果統合部１４へ出力する。
付着物検知部１３は、水滴検知部１３１と白濁検知部１３２と水滴痕検知部１３３と泥検知部１３４とを有し、撮影画像取得部１１が出力した撮影画像の中からカメラ２ａおよび２ｂの各カメラレンズに付着した水滴、白濁、水滴痕、泥などの各種付着物をそれぞれ検知する。水滴検知部１３１と白濁検知部１３２と水滴痕検知部１３３と泥検知部１３４は、それぞれの検知結果を検知結果統合部１４へ出力する。水滴検知部１３１と白濁検知部１３２と水滴痕検知部１３３と泥検知部１３４の各々の詳細は後述する。
検知結果統合部１４は、投影変換部１４１と合成座標設定部１４２と環境検知制御部１４３とを有する。検知結果統合部１４は、付着物検知部１３の各検知結果を統合して、カメラ２ａおよび２ｂの各カメラレンズごとに一の汚濁状態に関する情報を決定して、それらの情報をそれぞれ動作制御部１５へ出力する。投影変換部１４１と合成座標設定部１４２と環境検知制御部１４３の詳細については後述する。
動作制御部１５は、検知結果統合部１４から出力されたカメラ２ａおよび２ｂの各々のカメラレンズの汚濁状態に関する情報に基づいて、画像認識部１６の動作を制御する。画像認識部１６は、レーン認識部１６１と車両認識部１６２と歩行者認識部１６３と標識認識部１６４と駐車枠認識部１６５とを有し、撮影画像取得部１１が出力した撮影画像の中からそれぞれレーンマーク、他車両、歩行者、道路標識、駐車枠などの物体像を認識する。
動作制御部１５は、画像認識部１６に対して、各認識対象を認識しやすくする不検知対策と、各認識対象を認識しにくくする誤検知対策とのどちらを実行するのかを決定する。不検知対策と誤検知対策は、それぞれ３段階に分けられている。以降では、不検知対策と誤検知対策の各段階のことを抑制モードと呼ぶ。
第１抑制モードでは、画像認識部１６の認識感度に関係する制御パラメータを調整する。調整する制御パラメータは、画像認識部１６の各部ごとに定められており、後述する。第２抑制モードでは、画像認識部１６の認識感度に関係する制御パラメータを第１抑制モードよりも大幅に調整する制御や、撮影画像のうち付着物が検知されている領域を画像認識部１６の処理領域から除外する制御などを行う。第３抑制モードでは、除去制御部４による付着物の除去や、画像認識部１６による画像認識を断念する制御を行う。
検知結果統合部１４から各カメラレンズについて汚濁状態に関する情報が一つずつ出力されるため、動作制御部１５は画像認識部１６の認識感度の制御を矛盾なく実行することができる。
警報制御部１７は、画像認識部１６の認識結果に基づいて、警報出力部３を用いた警報を行う。たとえば、車両が走行車線を逸脱すると判定されている場合、車両が他車両と衝突するおそれがあると判定されている場合、画像認識部１６による画像認識を断念する場合などには、警報出力部３により警報が出力される。
（水滴検知部１３１）
図３（ａ）および（ｂ）を用いて水滴検知部１３１の動作について説明する。図３（ａ）に示されるように、水滴検知部１３１は、撮影画像３０の画像領域を複数のブロックＢ（ｘ，ｙ）に分割する。各ブロックＢ（ｘ，ｙ）には、撮影画像の複数の画素が含まれている。
水滴検知部１３１は、各ブロックＢ（ｘ，ｙ）ごとに水滴の付着時間を表すスコアＳ１（ｘ，ｙ）を算出する。スコアＳ１（ｘ，ｙ）は、初期値がゼロであって、以下に説明する判定によりそのブロックＢ（ｘ，ｙ）内に水滴が付着していると判定されるたびに所定値増加する。
水滴検知部１３１による各画素ごとのスコア計算は以下のとおりである。図３（ｂ）は、任意の画素３１を着目点とした図である。水滴検知部１３１は、その着目点３１から上方向、右上方向、右下方向、左上方向、左下方向にそれぞれ所定距離（たとえば、３ｐｉｘ）離れた画素を内部参照点３２に設定して、それらの５方向にさらに所定距離（たとえば、３ｐｉｘ）離れた画素を外部参照点３３に設定する。次に、水滴検知部１３１は、各内部参照点３２と各外部参照点３３のそれぞれについて、輝度を算出する。
水滴の中心部は、縁部よりもレンズ効果で明るい可能性が高い。そこで、水滴検知部１３１は、５方向の各々について、内部参照点３２の輝度が外部参照点３３の輝度よりも高いか否かを判定する。換言すると、水滴検知部１３１は、着目点３１が水滴の中心部であるか否かを判定する。水滴検知部１３１は、各方向の内部参照点３２の輝度が同方向の外部参照点３３の輝度よりも高い場合、その着目点３１が属するＢ（ｘ，ｙ）のスコアＳ１（ｘ，ｙ）を所定値、たとえば、１だけ増加させる。
水滴検知部１３１は、撮影画像中の全画素について上述の判定を行った後、後述する環境検知制御部１４３から、各ブロックＢ（ｘ，ｙ）のスコアＳ１（ｘ，ｙ）を初期化してからの経過時間ｔ１を取得する。そして、水滴検知部１３１は、各ブロックＢ（ｘ，ｙ）のスコアＳ１（ｘ，ｙ）をその経過時間ｔ１で除して、スコアＳ１（ｘ，ｙ）の時間平均Ｓ１（ｘ，ｙ）／ｔ１を算出する。水滴検知部１３１は、全ブロックＢ（ｘ，ｙ）の時間平均Ｓ１（ｘ，ｙ）／ｔ１の総和を算出して、それを撮影画像３０中の全ブロック数で除してスコア平均ＡＳ１を算出する。
カメラレンズに水滴が継続的に付着していると、フレームごとにスコア平均ＡＳ１が増加する。換言すると、スコア平均ＡＳ１が大きい場合、カメラレンズに水滴が長時間付着している確率が高い。水滴検知部１３１は、このスコア平均ＡＳ１を利用して、水滴検知部１３１の検知結果の信頼度Ｒ１を生成する。水滴の場合には、雨が付着し易いような走行状況においてもレンズ上の水が流れ落ちる等の影響によりスコアＳ１（ｘ，ｙ）の上下変動が見受けられる。このため、現在のレンズ上の水滴の付着量はスコア平均ＡＳ１を利用する。信頼度Ｒ１については、雨滴の場合には、泥や白濁の場合と違い、どうしてもレンズ状態の変化が激しく、雨天であったとしても一時的にスコアＳ１（ｘ，ｙ）が低下することがある。そこで、スコア平均ＡＳ1がある一定値ＴＡＳ1を超えていた時間のカウントＣＳ1を利用する。水滴検知部１３１は、ある所定期間スコア平均ＡＳ１が一定値ＴＡＳ１を下回ったとしても時間のカウントＣＳ1を保留し、所定期間以上に下回った際には、スコアＳ１（ｘ，ｙ）を減算させる。水滴検知部１３１は、閾値ＡＳ１ＴＨＲを決定し、信頼度Ｒ１＝ＣＳ1／ＡＳ１ＴＨＲを算出する。水滴検知部１３１は、時間のカウントＣＳ1がＡＳ１ＴＨＲを超えた場合には信頼度Ｒ１を１で表現する。信頼度Ｒ１が１に近いほど、検知された水滴の付着が信頼できる。
次に、水滴検知部１３１は、全ブロックＢ（ｘ，ｙ）の中からスコアＳ１（ｘ，ｙ）が所定値以上のブロックを検出して、検出されたブロックの個数Ｎ１を算出する。水滴検知部１３１は、検出されたＮ１個のブロックに含まれる画素について、内部参照点３２と外部参照点３３の輝度差を算出して、それらの画素の輝度差の平均ＡＤ１を算出する。そして、水滴検知部１３１は、信頼度Ｒ１と、スコアＳ１（ｘ，ｙ）が所定値以上のブロックの個数Ｎ１と、輝度差の平均ＡＤ１とを検知結果として検知結果統合部１４へ出力する。
（白濁検知部１３２）
図４を用いて白濁検知部１３２の動作について説明する。図４に示されるように、白濁検知部１３２は、撮影画像中に地平線が写り込む予定の位置に左上検知領域４１と上検知領域４２と右上検知領域４３とを設定する。上検知領域４２は、路面に互いに平行に設けられた２本のレーンマークの消失点が含まれるような位置に設定される。図４では、２本のレーンマーク４６の消失点４７が上検知領域４２の内側に含まれている。左上検知領域４１は上検知領域４２よりも左側に設定され、右上検知領域４３は上検知領域４２よりも右側に設定される。また、白濁検知部１３２は、撮影画像中にレーンマークが写る予定の位置に左下検知領域４４と右下検知領域４５とを設定する。
白濁検知部１３２は、左上検知領域４１と上検知領域４２と右上検知領域４３と左下検知領域４４と右下検知領域４５のそれぞれの領域内の画素に対して、水平方向のエッジ検出処理を行う。左上検知領域４１と上検知領域４２と右上検知領域４３に対するエッジ検出では、地平線などのエッジが検出される。また、左下検知領域４４と右下検知領域４５とに対するエッジ検出では、レーンマーク４６などのエッジが検出される。白濁検知部１３２は、各検知領域４１〜４５に含まれる各画素についてそれぞれエッジ強度を算出する。そして、白濁検知部１３２は、各検知領域４１〜４５ごとにエッジ強度の平均値ＡＥ２を算出して、その平均値ＡＥ２が所定の閾値ε未満か否かを判定する。白濁検知部１３２は、エッジ強度の平均値ＡＥ２が閾値ε未満の検知領域は白濁していると判断する。
白濁検知部１３２は、各検知領域４１〜４５の中でエッジ強度の平均値ＡＥ２が閾値ε未満の検知領域の個数、すなわち白濁していると検知された検知領域の個数Ｎ２を算出する。その後、白濁検知部１３２は、各検知領域４１〜４５が白濁していると継続的に判断された時間ｔ２を算出する。そして、白濁検知部１３２は、各検知領域４１〜４５の時間ｔ２の総和を検知領域の個数、すなわち、５個で除して平均継続時間ｔ３を算出する。白濁検知部１３２は、この平均継続時間ｔ３を、白濁検知部１３２の検知結果の信頼度Ｒ２に変換する。たとえば、白濁検知部１３２は、ある所定期間TTHR3をあらかじめ設定して、Ｒ２=ｔ3／ＴＴＨＲ３を算出する。信頼度Ｒ２は、白濁の平均継続時間ｔ３が長ければ長いほど、信頼度が高く白濁していることを表す。また、ｔ３自体が５個の検知領域４１〜４５の平均白濁継続時間であるため、５個の検知領域４１〜４５の全ての継続時間が長くなるほど、白濁の信頼度も上がる。信頼度Ｒ２は、０から１の数値で表現し、ＴＴＨＲ３＜ｔ３の場合には、全て１として表現し、信頼度高く白濁している様子を示す数値とする。
また、白濁検知部１３２は、白濁していると検知された検知領域に関するエッジ強度の平均値ＡＥ２の総和を検知領域の個数、すなわち、５個で除して、平均エッジ強度ＡＡ２を算出する。白濁検知部１３２は、信頼度Ｒ２と、白濁している検知された検知領域の個数Ｎ２と、平均エッジ強度ＡＡ２とを検知結果として検知結果統合部１４へ出力する。
（水滴痕検知部１３３）
水滴痕検知部１３３の動作について説明する。水滴痕検知部１３３も、水滴検知部１３１と同様に、撮影画像３０の画像領域を図３（ａ）に示されるように複数のブロックＢ（ｘ，ｙ）に分割する。
次に、水滴痕検知部１３３は、撮影画像３０全体に対して水平方向のエッジ検出処理を行い、画素ごとのエッジ強度を生成する。そして、水滴痕検知部１３３は、各ブロックＢ（ｘ，ｙ）ごとにそのブロックＢ（ｘ，ｙ）に含まれる画素のエッジ強度の総和を算出して、そのエッジ強度の総和に基づいた値をブロックＢ（ｘ，ｙ）のスコアＳ３（ｘ，ｙ）に加算する。
水滴痕検知部１３３は、環境検知制御部１４３から、各ブロックＢ（ｘ，ｙ）のスコアＳ３（ｘ，ｙ）が、最適閾値を超えてからの経過時間Ｔ８（ｘ，ｙ）を取得する。そして、水滴痕検知部１３３は、経過時間Ｔ８（ｘ，ｙ）を各画素で抽出し、この平均ＴＡ８を算出することで、これを信頼度に利用する。
水滴痕検知部１３３は、スコアＳ３（ｘ，ｙ）の画面上平均スコアＡＳ３をもって、不透過率に換算する。カメラレンズに水滴痕が継続的に付着していると、スコア平均ＡＳ３が増加する。また、この持続時間を考慮したＴＡ８が長いほど、カメラレンズに水滴痕が長時間付着している確率が高い。水滴痕検知部１３３は、閾値ＡＳ３ＴＨＲを決定し、信頼度Ｒ３＝ＴＡ８／ＡＳ３ＴＨＲを算出する。水滴痕検知部１３３は、画面上での水滴痕としてのスコア平均ＡＳ３が高い場合、及び、ＴＡ８がＡＳ３ＴＨＲを超えた場合には信頼度Ｒ３＝１で表現する。信頼度Ｒ３が１に近いほど、検知された水滴痕の付着が信頼できる。更に、スコア平均ＡＳ３が大きい場合、背景と水滴痕の輝度差が大きいことを示し、背景が見えにくいことを示す。この値が大きいほど、後述する投影変換部１４１における水滴痕範囲５３のマップ上で不透過率が高い値を示すようにスコア変換を行う。
水滴痕検知部１３３は、全ブロックＢ（ｘ，ｙ）の中からスコアＳ３（ｘ，ｙ）が所定値以上のブロックを検出して、検出されたブロックの個数Ｎ３を算出する。このブロック個数Ｎ３が汚れの付着面積に換算される。水滴痕検知部１３３は、画面上の面積を分母として、Ｎ３／画面上の面積［ｐｉｘ］とすることで、その付着面積に変換し利用する。水滴痕検知部１３３は、信頼度Ｒ３と、スコア平均ＡＳ３と、スコアＳ３（ｘ，ｙ）が所定値以上のブロックの個数Ｎ３とを検知結果として検知結果統合部１４へ出力する。
（泥検知部１３４）
泥検知部１３４の動作について説明する。泥検知部１３４も、水滴検知部１３１と同様に、撮影画像３０の画像領域を図３（ａ）に示されるように複数のブロックＢ（ｘ，ｙ）に分割する。
次に、泥検知部１３４は、撮影画像３０の各画素の輝度を検出する。そして、泥検知部１３４は、各ブロックＢ（ｘ，ｙ）ごとにそのブロックＢ（ｘ，ｙ）に含まれる各画素の輝度の総和Ｉｔ（ｘ，ｙ）を算出する。泥検知部１３４は、現フレームの撮影画像について算出したＩｔ（ｘ，ｙ）と前フレームの撮影画像について同様に算出したＩｔ−１（ｘ，ｙ）との差ΔＩ（ｘ，ｙ）を各ブロックＢ（ｘ，ｙ）ごとに算出する。
泥検知部１３４は、このΔＩ（ｘ，ｙ）が小さく、更にＩｔ（ｘ，ｙ）が周囲のブロックと比較して小さなブロックＢ（ｘ，ｙ）を検出して、そのブロックＢ（ｘ，ｙ）に対応するスコアＳ３（ｘ，ｙ）を所定値、たとえば、１増加させる。
泥検知部１３４は、撮影画像中の全画素について上述の判定を行った後、環境検知制御部１４３から、各ブロックＢ（ｘ，ｙ）のスコアＳ４（ｘ，ｙ）のある所定期間ｔ５の間におけるスコア積算値を取得する。そして、泥検知部１３４は、各ブロックＢ（ｘ，ｙ）のスコアＳ４（ｘ，ｙ）を、その所定期間ｔ５で除して、スコアＳ４（ｘ，ｙ）の時間平均Ｓ４（ｘ，ｙ）／ｔ５を算出する。泥検知部１３４は、全ブロックＢ（ｘ，ｙ）の時間平均Ｓ４（ｘ，ｙ）／ｔ５の総和を算出して、それを撮影画像３０中の全ブロック数で除してスコア平均ＡＲＳ４を算出する。スコア平均ＡＲＳ４は、ある所定期間中にレンズに付着した泥の量に近い意味合いを持つ。そのため、泥検知部１３４は、ΔＩ（ｘ，ｙ）の所定期間ｔ５における平均値と、周囲の光源環境から予測した画面上での輝度変化量の予測値とを求め、ＡＳ4＝ΔＩ（ｘ，ｙ）の所定期間ｔ５における平均値／輝度変化量の予測値を求め、これを透過率とする。
カメラレンズに泥が継続的に付着していると、順次に撮像されたフレームごとにスコア平均ＡＲＳ４が増加する。換言すると、スコア平均ＡＲＳ４が大きい場合、カメラレンズに多くの泥が付着している確率が高い。また、透過率を示す指標としては、スコアＡＳ４を利用する。また、信頼度としては、スコアＡＳ４が、閾値ＴＡＳ４より大きくなった時間を利用する。泥検知部１３４は、閾値ＡＳ４ＴＨＲを決定し、信頼度Ｒ4＝ＴＡＳ4／ＡＳ４ＴＨＲを算出する。泥検知部１３４は、ＴＡＳ4がＡＳ４ＴＨＲを超えた場合には信頼度Ｒ４を１で表現する。信頼度Ｒ４が１に近いほど、検知された泥の付着が信頼できる。
泥検知部１３４は、全ブロックＢ（ｘ，ｙ）の中からスコアＳ４（ｘ，ｙ）が所定値以上のブロックを検出して、検出されたブロックの個数Ｎ４を算出する。泥検知部１３４は、信頼度Ｒ４と、スコア平均ＡＳ４と、スコアＳ４（ｘ，ｙ）が所定値以上のブロックの個数Ｎ４とを検知結果として検知結果統合部１４へ出力する。
以上説明したように、この実施形態では、レンズの汚濁の状態を、水滴検知部１３１、白濁検知部１３２、水滴痕検知部１３３、泥検知部１３４によりそれぞれ検知する。したがって、撮像して得られた画像に基づいて白線検知などの動作を精度よく実行するためには、各検知結果を個別に使用して制御動作を補正する方式を採用すると、矛盾する補正が指令された場合に的確な制御動作を実行することが難しい。
そこで、この実施形態では、以下で説明する投影変換部１４１により、複数の検知結果を合成した一つの制御指令を生成し、この制御指令により制御動作を補正する。複数の検知結果に基づいて一つの制御指令を生成するため、本実施形態では、各検知結果を正規化し、各検知結果に共通する物理量として、レンズ透過率とレンズ表面の汚濁物付着面積を算出し、これら２つの物理量に応じた制御指令を求めて制御動作を補正する。
（投影変換部１４１）
投影変換部１４１は、付着物検知部１３の各部の検知結果を、図５に示す座標空間に投影する。図５に示す座標空間は、メモリ１０に制御マップ５０として記憶されている。制御マップ５０は、レンズ汚れの透過率に関する座標軸と、カメラレンズに付着物が付着している付着面積に関する座標軸とを有している。以降、レンズ汚れの透過率に関する座標軸の値をｐ座標、付着面積に関する座標軸の値をｑ座標と呼ぶ。制御マップ５０において、レンズ汚れの透過率は、原点から遠ざかるほど不透過になる。また、付着面積は、原点から遠ざかるほど大きくなる。
また、制御マップ５０には、破線で示す長方形状の水滴範囲５１および泥範囲５４と、実線で示す長方形状の白濁範囲５２および水滴痕範囲５３とが予め設定されている。付着物検知部１３の各部により得られる複数種類の付着物の各検知結果は、レンズ透過率と付着物の面積であり、それらの２つの検知結果により得られる座標の領域は、付着物検知部１３の各部が検知する付着物の種類ごとにそれぞれ設定されている。
投影変換部１４１は、投影関数ｆ１およびｇ１を有する。これらの投影関数ｆ１およびｇ１は、水滴検知部１３１の検知結果を各座標軸上の座標に投影変換する。投影関数ｆ１は、水滴検知部１３１の検知結果の一つである輝度差の平均ＡＤ１がゼロのとき、その輝度差の平均ＡＤ１をｐ＝０に変換する。すなわち、投影関数ｆ１は、輝度差の平均ＡＤ１を付着面積に関する座標軸上に設定する。一方、投影関数ｆ１は、輝度差の平均ＡＤ１がゼロでないとき、その輝度差の平均ＡＤ１を水滴範囲５１の範囲内のｐ座標ｐ１に変換する。ｐ１の値は、ＡＤ１が大きければ大きいほど大きい値となる。
投影関数ｇ１は、水滴検知部１３１の検知結果の一つである個数Ｎ１がゼロのとき、その個数Ｎ１をｑ＝０に変換する。すなわち、投影関数ｇ１は、個数Ｎ１を透過率に関する座標軸上に設定する。一方、投影関数ｇ１は、個数Ｎ１がゼロでないとき、その個数Ｎ１を水滴範囲５１の範囲内のｑ座標ｑ１に変換する。ｑ１の値は、Ｎ１が大きければ大きいほど大きい値となる。
投影変換部１４１は、水滴検知部１３１の検知結果を水滴範囲５１などの範囲内の座標に直接変換するようにしてもよい。すなわち、水滴検知部１３１で得られた検知結果に基づいてレンズ透過率と付着面積を求め、これらの値を、動作マップを定義するＸＹ座標系の予め定めた座標点に直接変換してもよい。
また、投影変換部１４１は、投影関数ｆ２およびｇ２を有する。投影関数ｆ２およびｇ２は、白濁検知部１３２の検知結果を各座標軸上の座標に投影変換する。投影関数ｆ２は、白濁検知部１３２の検知結果の一つである平均エッジ強度ＡＡ２がゼロのとき、その平均エッジ強度ＡＡ２をｐ＝０に変換する。一方、投影関数ｆ２は、平均エッジ強度ＡＡ２がゼロでないとき、その値を白濁範囲５２の範囲内のｐ座標ｐ２に変換する。ｐ２の値は、ＡＡ２が大きければ大きいほど大きい値となる。
投影関数ｇ２は、白濁検知部１３２の検知結果の一つである個数Ｎ２がゼロのときその個数Ｎ２をｑ＝０に変換する。一方、投影関数ｇ２は、個数Ｎ２がゼロでないときその白濁範囲５２の範囲内のｑ座標ｑ２に変換する。ｑ２の値は、Ｎ２が大きければ大きいほど大きい値となる。
投影変換部１４１は、白濁検知部１３２の検知結果を水滴範囲５１の範囲内の座標に直接変換するようにしてもよい。すなわち、白濁検知部１３２で得られた検知結果に基づいてレンズ透過率と付着面積を求め、これらの値を、動作マップを定義するＸＹ座標系の予め定めた座標点に直接変換してもよい。
投影変換部１４１は、水滴痕検知部１３３の検知結果を投影変換する投影関数ｆ３およびｇ３を有する。これらの投影関数ｆ３およびｇ３も、上述した投影関数と同様に、検知結果を各座標軸上の座標に投影変換する。投影関数ｆ３は、水滴痕検知部１３３の検知結果の一つであるスコア平均ＡＳ３がゼロのとき、そのスコア平均ＡＳ３をｐ＝０に変換する。一方、投影関数ｆ３は、そのスコア平均ＡＳ３がゼロでないとき、そのスコア平均ＡＳ３を水滴痕範囲５３の範囲内のｐ座標ｐ３に変換する。ｐ３の値は、ＡＳ３が大きければ大きいほど大きい値となる。
投影関数ｇ３は、水滴痕検知部１３３の検知結果の一つである個数Ｎ３がゼロのとき、その個数Ｎ３をｑ＝０に変換する。一方、投影関数ｇ３は、個数Ｎ３がゼロでないとき、その個数Ｎ３を水滴痕範囲５３の範囲内のｑ座標ｑ３に変換する。ｑ３の値は、Ｎ３が大きければ大きいほど大きい値となる。
投影変換部１４１は、白濁検知部１３２の検知結果を水滴範囲５１の範囲内の座標に直接変換するようにしてもよい。すなわち、白濁検知部１３２で得られた検知結果に基づいてレンズ透過率と付着面積を求め、これらの値を、動作マップを定義するＸＹ座標系の予め定めた座標点に直接変換してもよい。
投影変換部１４１は、泥検知部１３４の検知結果を投影変換する投影関数ｆ４およびｇ４を有する。これらの投影関数ｆ４およびｇ４も、上述した投影関数と同様に、検知結果を各座標軸上の座標に投影変換する。投影関数ｆ４は、泥検知部１３４の検知結果の一つであるスコア平均ＡＳ４がゼロのとき、そのスコア平均ＡＳ４をｐ＝０に変換する。一方、投影関数ｆ４は、そのスコア平均ＡＳ４がゼロでないとき、その値を泥範囲５４の範囲内のｐ座標ｐ４に変換する。ｐ４の値は、ＡＳ４が大きければ大きいほど大きい値となる。
投影関数ｇ４は、泥検知部１３４の検知結果の一つである個数Ｎ４がゼロのとき、その個数Ｎ４をｑ＝０に変換する。一方、投影関数ｇ４は、個数Ｎ４がゼロでないとき、その個数Ｎ４を泥範囲５４の範囲内のｑ座標ｑ４に変換する。ｑ４の値は、Ｎ４が大きければ大きいほど大きい値となる。
投影変換部１４１は、泥検知部１３４の検知結果を水滴範囲５１の範囲内の座標に直接変換するようにしてもよい。すなわち、泥検知部１３４で得られた検知結果に基づいてレンズ透過率と付着面積を求め、これらの値を、動作マップを定義するＸＹ座標系の予め定めた座標点に直接変換してもよい。
（合成座標設定部１４２）
合成座標設定部１４２は、付着物検知部１３の各部の検知結果を投影変換部１４１により投影変換した座標（ｐ１，ｑ１）、座標（ｐ２，ｑ２）、座標（ｐ３，ｑ３）、および座標（ｐ４，ｑ４）を、付着物検知部１３の各部が出力した信頼度Ｒ１、Ｒ２、Ｒ３、およびＲ４に基づいて統合して、一つの合成座標（Ｐ，Ｑ）を算出する。合成座標（Ｐ，Ｑ）を算出するための数式を以下に示す。
Ｐ＝（ｐ１×Ｒ１＋ｐ２×Ｒ２＋ｐ３×Ｒ３＋ｐ４×Ｒ４）／（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）
Ｑ＝（ｑ１×Ｒ１＋ｑ２×Ｒ２＋ｑ３×Ｒ３＋ｑ４×Ｒ４）／（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）
この合成座標（Ｐ，Ｑ）は、カメラレンズの汚濁状態に関する情報として、動作制御部１５に出力される。
図６は、合成座標設定部１４２の動作例を示す図である。図６には、水滴検知部１３１の検知結果を投影変換した座標６１と、白濁検知部１３２の検知結果を投影変換した座標６２と、水滴痕検知部１３３の検知結果を投影変換した座標６３と、泥検知部１３４の検知結果を投影変換した座標６４とが図示されている。図６の例において、信頼度Ｒ１、Ｒ２、Ｒ３、およびＲ４がすべて等しいとすると、合成座標（Ｐ，Ｑ）は、座標６１と座標６２と座標６３と座標６４との中心位置６５に設定される。この中心位置６５は、信頼度に基づいた座標６１と座標６２と座標６３と座標６４の重心である。
（動作制御部１５）
動作制御部１５は、合成座標（Ｐ，Ｑ）に基づいて、画像認識部１６に対して誤検知対策および不検知対策のどちらを実行するのか、それらの対策をどの段階の抑制モードで実行するのかを決定する。
図７に示すように、制御マップ５０には、六つの動作決定領域７１、７２、７３、７４、７５、７６が設定されている。図７には、投影変換部１４１により投影変換される座標のうち最も原点から離れている座標７７が図示されており、その座標７７を中心とする三つの１／４円７８，７９，８０が図示されている。以降、座標７７のことを最悪汚濁点７７と称する。各１／４円７８，７９，８０の半径は、１／４円７８，７９，８０の順に小さくなる。また、図７には、１／４円７８，７９，８０の各々を二等分する線分８１と、透過率に関する座標軸に平行な線分８２と、付着面積に関する座標軸に平行な線分８３とが最悪汚濁点７７から延ばされている。
（誤検知対策）
動作決定領域７１は、付着面積に関する座標軸より透過率に関する座標軸が近い位置に存在し、１／４円７８の円周と１／４円７９の円周と線分８１と線分８３とで囲われた領域である。合成座標（Ｐ，Ｑ）が動作決定領域７１の範囲内の座標であるとき、動作制御部１５は、画像認識部１６に対して誤検知対策用第１抑制モードによる処理の実行指令を出力する。
動作決定領域７３は、付着面積に関する座標軸より透過率に関する座標軸が近い位置に存在し、１／４円７９の円周と１／４円８０の円周と線分８１と線分８３とで囲われた領域である。合成座標（Ｐ，Ｑ）が動作決定領域７３の範囲内の座標であるとき、動作制御部１５は、画像認識部１６に対して誤検知対策用第２抑制モードにより処理の実行指令を出力する。
動作決定領域７５は、付着面積に関する座標軸より透過率に関する座標軸が近い位置に存在し、１／４円８０の円周と線分８１と線分８３とで囲われた領域である。合成座標（Ｐ，Ｑ）が動作決定領域７５の範囲内の座標であるとき、動作制御部１５は、画像認識部１６に対して誤検知対策用第３抑制モードによる処理の実行指令を出力する。
（不検知対策）
動作決定領域７２は、透過率に関する座標軸より付着面積に関する座標軸が近い位置に存在し、１／４円７８の円周と１／４円７９の円周と線分８１と線分８２とで囲われた領域である。合成座標（Ｐ，Ｑ）が動作決定領域７２の範囲内の座標であるとき、動作制御部１５は、画像認識部１６に対して不検知対策である第１抑制モードによる処理の実行指令を出力する。
動作決定領域７４は、透過率に関する座標軸より付着面積に関する座標軸が近い位置に存在し、１／４円７９の円周と１／４円８０の円周と線分８１と線分８２とで囲われた領域である。合成座標（Ｐ，Ｑ）が動作決定領域７４の範囲内の座標であるとき、動作制御部１５は、画像認識部１６に対して不検知対策用第２抑制モードによる処理の実行指令を出力する。
動作決定領域７６は、透過率に関する座標軸より付着面積に関する座標軸が近い位置に存在し、１／４円８０の円周と線分８１と線分８２とで囲われた領域である。合成座標（Ｐ，Ｑ）が動作決定領域７６の範囲内の座標であるとき、動作制御部１５は、画像認識部１６に対して不検知対策用第３抑制モードによる処理の実行指令を出力する。
換言すると、動作制御部１５は、合成座標（Ｐ，Ｑ）が透過率に関する座標軸と付着面積に関する座標軸とのどちらに近いかという点に基づいて、誤検知対策および不検知対策のどちらを実行するのかを決定するとともに、動作制御部１５は、最悪汚濁点７７から合成座標（Ｐ，Ｑ）までの距離に基づいて、それらの対策をどの段階の抑制モードで実行するのかを決定する。
（環境検知制御部１４３）
図８は、環境検知制御部１４３に関する制御ブロック図である。図８に例示されるように、環境検知制御部１４３は、光源環境検知部１４４と走行路環境検知部１４５と天候検知部１４６と時間制御部１４７と検知結果制御部１４８とを備える。
（光源環境検知部１４４）
光源環境検知部１４４は、付着物検知部１３の検知結果の信頼度Ｒ１、Ｒ２、Ｒ３、およびＲ４が低下しやすい光源環境を検知する。たとえば、西日、路面反射光、後続車両のヘッドライトなどがカメラ２ａまたは２ｂに対して逆光状態にある状態を光源環境検知部１４４は検知する。
図９および図１０を用いて光源環境検知部１４４の動作について説明する。図９は、光源環境検知部１４４の処理に関するフローチャートである。ステップＳ４００では、光源環境検知部１４４は、カメラ２ａおよび２ｂから撮影画像を取得する。ステップＳ４１０では、光源環境検知部１４４は、光源環境の検知に用いる処理領域を撮影画像上に設定する。ステップＳ４２０では、光源環境検知部１４４は、ステップＳ４１０で設定した処理領域内に含まれる各画素について輝度を算出して、その輝度のヒストグラムを生成する。
ステップＳ４３０では、光源環境検知部１４４は、ステップＳ４２０で生成されたヒストグラムにおいて、所定輝度値以上の度数の総和が所定の閾値を超えたか否かを判定する。光源環境検知部１４４は、ステップＳ４３０が肯定判定された場合、すなわち所定輝度値以上の度数の総和が所定の閾値を超えた場合、ステップＳ４４０の処理に進む。光源環境検知部１４４は、ステップＳ４３０が否定判定された場合、すなわち所定輝度値以上の度数の総和が所定の閾値を超えなかった場合、ステップＳ４００の処理に進み、次フレームの撮影画像を取得する。
ステップＳ４４０では、光源環境検知部１４４は、ステップＳ４３０が所定時間以上継続して肯定判定されているか否かを判定する。光源環境検知部１４４は、ステップＳ４３０が所定時間以上継続して肯定判定されるまではステップＳ４４０を否定判定して、ステップＳ４００の処理に進み、次フレームの撮影画像を取得する。そして、光源環境検知部１４４は、ステップＳ４３０が所定時間以上継続して肯定判定されたとき、ステップＳ４５０の処理に進む。
ステップＳ４５０では、光源環境検知部１４４は、撮影画像全体から高輝度領域を検出して、付着物検知部１３の検知結果の信頼度Ｒ１、Ｒ２、Ｒ３、およびＲ４を調整する。そして、光源環境検知部１４４は、ステップＳ４００の処理に進み、次フレームの撮影画像を取得する。
図１０は、ステップＳ４１０で設定する処理領域の一例を示す図である。光源環境検知部１４４が設定する処理領域は、光源環境を昼間に検知するか、夜間に検知するかによって変化する。図１０には、撮影画像５００に対して昼間に設定された処理領域５０１が例示されている。処理領域５０１は、空が写り込むように設定される。光源環境検知部１４４は、夜間に処理領域を設定する場合は、処理領域を後続車両のヘッドライトが入る程度に限定する。
（走行路環境検知部１４５）
走行路環境検知部１４５は、付着物検知部１３の検知結果の信頼度Ｒ１、Ｒ２、Ｒ３、およびＲ４が低下しやすい走行路や背景などの環境を検知する。走行路環境検知部１４５は、たとえば、車両が濡れた道路やオフロードなど付着物がカメラレンズに付着しやすい場所を走行していることを検知する。
図１１は、走行路環境検知部１４５の処理に関するフローチャートの一例である。ステップＳ５００では、光源環境検知部１４４は、カメラ２ａおよび２ｂから撮影画像を取得する。ステップＳ５１０では、走行路環境検知部１４５は、レーンマークの位置および形状に関する情報をレーン認識部１６１から取得する。ステップＳ５２０では、走行路環境検知部１４５は、光源環境検知部１４４が検出した高輝度領域に関する情報を取得する。ステップＳ５３０では、走行路環境検知部１４５は、外気温、自車両の速度、ヨーレート、操舵角などの情報を情報検出部１２から取得する。
ステップＳ５４０では、走行路環境検知部１４５は、ステップＳ５１０で取得したレーンマークの位置および形状に関する情報と、ステップＳ５２０で取得した高輝度領域に関する情報と、ステップＳ５３０で検出した外気温、自車両の速度、ヨーレート、操舵角などの情報とに基づいて、自車両が濡れた路面上を走行していることを検知する。たとえば、走行路環境検知部１４５は、レーンマークの位置および形状に関する情報に基づいて路面の画像領域を判断して、その路面の画像領域内から検出された高輝度領域を水たまりや凍結路面と推定して濡れた路面を検知する。また、走行路環境検知部１４５は、自車両の速度に関する情報などに基づいて、自車両が走行中であることを検出する。そして、走行路環境検知部１４５は、外気温に関する情報に基づいて、気温が氷点下の場合は濡れた路面が凍結路面であると判断することにしてもよい。
ステップＳ５５０では、走行路環境検知部１４５は、自車両が走行している間にステップＳ５１０にてレーンマークの位置および形状に関する情報が取得できなかったことと、ステップＳ５００で取得した撮影画像に建築物が少ないことなどに基づいて、オフロードを検知する。そして、走行路環境検知部１４５は、ステップＳ５００の処理に進み、次フレームの撮影画像を取得する。
（天候検知部１４６）
天候検知部１４６は、自車両の周囲の天候に関する情報を取得する。図１２は、天候検知部１４６の処理に関するフローチャートである。ステップＳ６００では、天候検知部１４６は、情報検出部１２からワイパの動作状態、外気温などの情報を取得する。ステップＳ６１０では、天候検知部１４６は、光源環境検知部１４４が検出した高輝度領域に関する情報を取得する。
ステップＳ６２０では、天候検知部１４６は、ステップＳ６００やステップＳ６１０で取得した各種情報に基づいて、自車両の周囲の天候を検知し、検知結果として天候に関する情報を出力する。たとえば、自車両のフロントウィンドウのワイパが所定時間以内に所定回数以上動作している場合は天候が雨天であると判断する。また、たとえば、光源環境検知部１４４が所定時間以内に所定回数以上の頻度で路面から高輝度領域を検知した場合は晴天であると判断する。天候検知部１４６は、天候を判断した後、ステップＳ６００の処理に進む。
（時間制御部１４７）
時間制御部１４７は以下の種々の時間を計時する。
（ａ）画像認識部１６の各部の動作時間
（ｂ）画像認識部１６が各段階の抑制モードにより不検知対策または誤検知対策を開始してからの経過時間
（ｃ）除去制御部４が付着物の除去を開始してからの経過時間
（ｄ）画像認識部１６の各部が画像認識を断念してからの経過時間
（ｅ）付着物検知部１３の検知結果が初期化（リセット）されてからの経過時間ｔ１、ｔ２、ｔ４、およびｔ５、
（ｆ）付着物検知部１３の検知を停止してからの経過時間
付着物検知部１３の各部は、自車両が走行していることを前提にしていることから、自車両の速度が所定速度以下の状態では検知処理を停止させる。付着物検知部１３の検知処理が停止されてから所定時間以上経過すると、付着物検知部１３の各部の検知結果の信頼度は低下する。たとえば、水滴は数時間経過すれば乾いて無くなっている可能性があるため、水滴検知部１３１の検知結果は、水滴検知部１３１を停止させてから数時間経過した後は信頼できない。車載装置１は、時間制御部１４７が計時した経過時間ｔ６が所定時間に到達したとき、水滴検知部１３１の検知結果を初期化する。
（検知結果制御部１４８）
検知結果制御部１４８は、付着物検知部１３の各部の検知結果に対して、補正や初期化などの制御を行う。図１３は、付着物検知部１３の処理に関するフローチャートである。ステップＳ７００では、検知結果制御部１４８は、付着物検知部１３の各部からそれぞれの検知結果を取得する。
ステップＳ７１０では、検知結果制御部１４８は、光源環境検知部１４４、走行路環境検知部１４５、および天候検知部１４６から処理結果を取得する。たとえば、光源環境検知部１４４がステップＳ４５０（図９）で抽出した高輝度領域に関する情報、ステップＳ５４０（図１１）およびステップＳ５５０（図１１）における走行路環境検知部１４５の検知結果、ステップＳ６２０（図１２）において天候検知部１４６が判断した天候に関する情報などを検知結果制御部１４８は取得する。
ステップＳ７２０では、検知結果制御部１４８は、光源環境検知部１４４が高輝度領域を検知していたか否かを判定する。ステップＳ７２０が肯定判定された場合、すなわち光源環境検知部１４４が高輝度領域を検知していた場合、検知結果制御部１４８は、ステップＳ７３０に処理を進めて、付着物検知部１３の各部の検知結果を補正する。光源環境検知部１４４は昼間であれば西日や朝日等による後方からのまぶしい光源、夜間であれば後続車両のヘッドライトのように路面の反射要因にもなり且つまぶしい要因となる光源を抽出し、検知結果制御部１４８は、これらの光源を基にして、ロジックの性質に合わせた信頼度の調整を行う。まず、水滴検知の信頼度Ｒ１に対しては、路面反射領域を間違えて誤検知する可能性があるために、信頼度を通常時のたとえば２／３程度にまで低下させる。次に、白濁検知の場合には、昼間のカメラにとっての逆光となるような西日や後続車のヘッドライトなどの高輝度領域の真後ろの領域を利用しないことで、スコアと信頼度の両方を調整する。ただし、光源が大きい場合には、白濁自体のスコアも上がりやすくなるため、光源領域が所定値以上に大きい場合には、信頼度Ｒ２をたとえば２０％程度低下させて利用する。次に、水滴痕検知の場合には、太陽が差し込む光や路面反射を水滴痕としてとらえてしまうおそれがあるため、計測に利用する時間ＡＳ３ＴＨＲを長く設定し、より長時間水滴痕が検知されていなければ信頼度Ｒ３が大きくならないように調整する。最後に泥検知に関しては、高輝度領域周辺を利用しないように設定する対策を実施するものの、直接信頼度を調整はしない。なぜならば、周囲が明るかったとしても、高輝度ではない領域において極端に輝度変化しないということは、何かしら付着物による影響を受けて背景を観測することができないと予想されるからである。補正後、検知結果制御部１４８は、ステップＳ７４０の処理に進む。ステップＳ７２０が否定判定された場合、検知結果制御部１４８は、ステップＳ７４０の処理に進む。
ステップＳ７４０では、検知結果制御部１４８は、走行路環境検知部１４５が濡れた路面やオフロードを検知していたか否かを判定する。ステップＳ７４０が肯定判定された場合、すなわち濡れた路面またはオフロードが検知されていた場合、検知結果制御部１４８は、ステップＳ７５０に処理を進めて、付着物検知部１３の各部の検知結果を補正する。たとえば、濡れた路面が検知されていた場合は水滴検知部１３１の検知結果の信頼度Ｒ１をたとえば５０％増加させ、オフロードが検知されていた場合は泥検知部１３４の検知結果の信頼度Ｒ４をたとえば５０％増加させる。補正後、検知結果制御部１４８は、ステップＳ７６０の処理に進む。ステップＳ７４０が否定判定された場合、検知結果制御部１４８は、ステップＳ７６０の処理に進む。
ステップＳ７６０では、検知結果制御部１４８は、天候検知部１４６の検知結果に基づいて、付着物検知部１３の各部の検知結果を補正する。たとえば、自車両周辺の天候が雨天の場合は、水滴検知部１３１の検知結果の信頼度Ｒ１を増加させる。また、自車両周辺の天候が雨天から晴天に変化した場合は水滴痕検知部１３３の検知結果の信頼度Ｒ３を増加させる。また、天候検知部１４６の結果が雨天の場合には、検知結果制御部１４８は、水滴検知の信頼度Ｒ１をたとえば５０％増加させ、晴天との判断の場合には２０％低下させる。また、雨天であっても気温が０度以下となるような場合には、雪の跳ね上げなど水滴ではなく、背景が透けないような雪などが付着する可能性がある。このような場合には、水滴よりも泥、水滴痕として検知する。このため、０度以下の場合には、雨天と判断した場合には、水滴検知、泥検知、水滴痕検知の信頼度をそれぞれ５０％増加させる。
ステップＳ７７０では、検知結果制御部１４８は、付着物検知部１３の各部の検知結果を初期化するか否かを判定する。ステップＳ７７０は、たとえば、光源環境検知部１４４が高輝度領域を検知してから所定時間以上経過したときや、自車両が所定時間以上継続して停車していると判定され、その後に発車するとき（具体的には、自車両の走行速度が所定速度、たとえば、時速１０ｋｍ以下で所定時間継続した後に所定速度以上になったとき）などに肯定判定される。検知結果制御部１４８は、ステップＳ７７０を肯定判定された場合はステップＳ７８０の処理に進み、付着物検知部１３の各検知結果を初期化して、ステップＳ７９０に処理を進める。検知結果制御部１４８は、ステップＳ７７０が否定判定された場合はステップＳ７９０の処理に進む。
ステップＳ７９０では、検知結果制御部１４８は、車両の速度が所定速度、たとえば、時速１０ｋｍ以下であるかを判定する。検知結果制御部１４８は、ステップＳ７９０が肯定判定された場合、すなわち車両の速度が所定速度以下である場合、ステップＳ８１０の処理に進む。検知結果制御部１４８は、ステップＳ７９０が否定判定された場合、ステップＳ８００の処理に進む。
ステップＳ８００では、検知結果制御部１４８は、車両のヨーレートが所定値以上であるかを判定する。検知結果制御部１４８は、ステップＳ８００が肯定判定された場合、すなわち車両のヨーレートが所定値以上である場合、ステップＳ８１０の処理に進む。検知結果制御部１４８は、ステップＳ８００が否定判定された場合、ステップＳ８２０の処理に進む。
ステップＳ８１０では、検知結果制御部１４８は、水滴検知部１３１と泥検知部１３４による付着物の検知を停止させる。ステップＳ８２０では、検知結果制御部１４８は、補正等を施した付着物検知部１３の各検知結果を投影変換部１４１へ出力する。なお、ステップＳ８１０において、水滴検知部１３１および泥検知部１３４の検知結果を停止させた場合は、その検知結果を出力しない。この場合、投影変換部１４１は出力された検知結果のみを制御マップ５０へ投影し、合成座標設定部１４２はその投影結果の成分のみを用いて合成座標（Ｐ，Ｑ）を設定する。
（レーン認識部１６１）
図１４および図１５を用いて、誤検知対策も不検知対策も実行していない場合のレーン認識部１６１の動作について説明する。
図１４は、レーン認識部１６１の処理に関するフローチャートである。ステップＳ１０では、レーン認識部１６１は、カメラ２ａおよび２ｂから撮影画像を取得する。ステップＳ２０では、レーン認識部１６１は、ステップＳ１０で取得した撮影画像から、路面上で自車両の走行車線の左右に描かれたレーンマークに対応する特徴点を抽出する。レーン認識部１６１は、たとえば撮影画像内の所定部分に抽出領域を設定して、その抽出領域内で輝度変化が所定の閾値以上であるエッジ点を特徴点として抽出する。
図１５には、撮影画像から抽出された特徴点の一例が図示されている。図１５に示す撮影画像９０は、路面が撮影されている路面画像領域９２と、背景が撮影されている背景画像領域９３とに分けられている。図１４のステップＳ２０において、レーン認識部１６１は、図１５に示すように、この撮影画像９０に対して、自車両の右側の車線区画線の内側に対応する抽出領域９４と、自車両の左側の車線区画線の内側に対応する抽出領域９５とを設定する。そして、これらの抽出領域９４および９５の中で隣接する各画素の輝度をそれぞれ比較することでエッジ点を検出し、特徴点９６として抽出する。これにより、左右のレーンマークの内側の輪郭線に沿って、特徴点９６がそれぞれ複数ずつ抽出される。
図１４のステップＳ３０では、レーン認識部１６１は、ステップＳ２０で抽出した特徴点の中から同一直線上に所定個数Ｍｔｈ個以上並んでいる特徴点群を、レーンマークとして認識する。図１５の例では、抽出領域９４および９５の中でそれぞれ１１個の特徴点９６が同一直線状に並んでいる。たとえば、所定個数Ｍｔｈが５個であれば、図１５に例示された抽出領域９４および９５の中の特徴点群をそれぞれレーンマークとして認識する。レーン認識部１６１は、ステップＳ３０で認識されたレーンマークに関する情報を警報制御部１７などへ出力する。
ステップＳ４０では、レーン認識部１６１は、ステップＳ３０でレーンマークとして認識された特徴点群に含まれる特徴点の個数の時間平均を算出する。たとえば、レーン認識部１６１は、以前のフレームにおいてレーンマークとして認識された各特徴点群に含まれる特徴点の個数についてそれぞれ履歴をメモリ１０に記憶しておき、その履歴を用いて特徴点の個数の時間平均を算出する。
ステップＳ５０では、レーン認識部１６１は、ステップＳ４０で算出された特徴点の個数の時間平均に基づいて、レーンマークの視認性を表す指標ｖを算出する。ステップＳ６０では、レーン認識部１６１は、レーンマークの視認性を表す指標ｖが所定の閾値Ｖｔｈ未満か否かを判定する。ステップＳ６０が肯定判定された場合、すなわち指標ｖが所定の閾値Ｖｔｈ未満の場合、レーン認識部１６１は、ステップＳ７０の処理に進む。一方、ステップＳ６０が否定判定された場合、すなわち指標ｖが所定の閾値Ｖｔｈ以上の場合、レーン認識部１６１は、ステップＳ１０の処理に進み、カメラ２ａおよび２ｂから次フレームの撮影画像を取得する。
ステップＳ７０では、レーン認識部１６１は、警報出力部３から警報を出力しないように警報制御部１７に対して指令を出力して、その後ステップＳ１０の処理に進む。レーン認識部１６１は、ステップＳ１０にてカメラ２ａおよび２ｂから次フレームの撮影画像を取得する。
第１抑制モードの誤検知対策では、動作制御部１５は、所定個数Ｍｔｈの設定値を大きくする。これにより、ステップＳ３０において、レーン認識部１６１が同一直線上に並んだ特徴点群をレーンマークとして認識しにくくなる。また、閾値Ｖｔｈの設定値を大きくして、誤った警報が出力されにくくする。所定個数Ｍｔｈの設定値や、閾値Ｖｔｈの設定値は、合成座標（Ｐ，Ｑ）の位置に基づいて変化させてよい。
第１抑制モードの不検知対策では、動作制御部１５は、所定個数Ｍｔｈの設定値を小さくする。これにより、ステップＳ３０において、レーン認識部１６１が同一直線上に並んだ特徴点群をレーンマークとして認識しやすくなる。また、閾値Ｖｔｈの設定値を小さくして、警報制御部１７が警報出力部３を用いて警報を出力しやすくする。所定個数Ｍｔｈの設定値や、閾値Ｖｔｈの設定値は、合成座標（Ｐ，Ｑ）の位置に基づいて変化させてもよい。
第２抑制モードの誤検知対策では、動作制御部１５は、第１抑制モードよりも所定個数Ｍｔｈの設定値をさらに大きくする。これにより、レーン認識部１６１が同一直線上に並んだ特徴点群をレーンマークとしてさらに認識しにくくなる。また、車載装置１は、ステップＳ２０における特徴点抽出処理の対象とする画像領域の中から付着物が検知された領域を除外、またはステップＳ２０において抽出された特徴点の中から付着物が検知された領域から抽出された特徴点を除外する。
第２抑制モードの不検知対策では、動作制御部１５は、第１抑制モードよりも所定個数Ｍｔｈの設定値をさらに小さくする。これにより、レーン認識部１６１が同一直線上に並んだ特徴点群をレーンマークとしてさらに認識しやすくなる。
第３抑制モードの誤検知対策および第３抑制モードの不検知対策では、動作制御部１５は、除去制御部４に対してカメラレンズから付着物を除去する指令を出力する。除去制御部４による付着物除去動作を行ってもカメラレンズの汚濁状態が改善しない場合、動作制御部１５は、レーン認識部１６１によるレーン認識を断念する。
なお、駐車枠認識部１６５が駐車枠を認識するための処理は、図１４を用いて説明したレーン認識部１６１がレーンマークを認識するための処理と同様である。そして、駐車枠認識部１６５が各抑制モードの誤検知対策および不検知対策において実施する対策は、レーン認識部１６１が各抑制モードの誤検知対策および不検知対策において実施した対策と同様の対策でよい。
（車両認識部１６２）
図１６を用いて、誤検知対策も不検知対策も実行していない場合の車両認識部１６２の動作について説明する。図１６は、車両認識部１６２の処理に関するフローチャートである。
ステップＳ１１０では、車両認識部１６２は、カメラ２ａおよび２ｂから撮影画像を取得する。ステップＳ１２０では、車両認識部１６２は、ステップＳ１１０で取得した撮影画像に対してエッジ検出処理を実行し、所定の輝度差の閾値Ｉｔｈを基準にして二値化したエッジ画像を生成する。ステップＳ１３０では、車両認識部１６２は、ステップＳ１２０で生成したエッジ画像に対してパターン認識処理を実行し、他車両と推定される画像を検出する。
ステップＳ１４０では、車両認識部１６２は、ステップＳ１３０において所定フレーム数Ｆｔｈ以上連続して他車両と推定される画像が検出されたか否かを判定する。ステップＳ１４０が否定判定された場合、すなわち所定フレーム数Ｆｔｈ以上連続して他車両と推定される画像が検出されていない場合、車両認識部１６２はステップＳ１１０の処理に進み次フレームの撮影画像を取得する。ステップＳ１４０が肯定判定された場合、すなわち所定フレーム数Ｆｔｈ以上連続して他車両と推定される画像が検出された場合、車両認識部１６２はステップＳ１５０の処理に進む。ステップＳ１５０では、車両認識部１６２は、所定フレーム数Ｆｔｈ以上連続して他車両と推定された画像を、他車両として認識する。その後、車両認識部１６２はステップＳ１１０の処理に進み次フレームの撮影画像を取得する。
第１抑制モードの誤検知対策では、動作制御部１５は、所定フレーム数Ｆｔｈの設定値を大きくする。所定フレーム数Ｆｔｈの設定値を大きくすることで、車両認識部１６２はステップＳ１２０において他車両と推定された画像を他車両と認識しにくくなるため、他車両を誤検知することが低減される。所定フレーム数Ｆｔｈの設定値は、合成座標（Ｐ，Ｑ）の位置に基づいて変化させてもよい。
第１抑制モードの不検知対策では、動作制御部１５は、所定の輝度差の閾値Ｉｔｈの設定値を小さくする。所定の輝度差の閾値Ｉｔｈの設定値を小さくすることで、他車両のエッジが検出されやすくなるため、車両認識部１６２が他車両を不検知することが低減される。所定の輝度差の閾値Ｉｔｈの設定値は、合成座標（Ｐ，Ｑ）の位置に基づいて変化させてもよい。
第２抑制モードの誤検知対策では、動作制御部１５は、ステップＳ１２０やステップＳ１３０の処理対象とする画像領域の中から付着物が検知された領域を除外する。また、動作制御部１５は、車両認識部１６２が検知対象とする他車両を自車両にとって危険性の高い車両に絞り、その他の車両を検知対象から除外する。たとえばカメラ２ａの撮影画像からは自車両の走行車線を走行する前方の他車両のみを検知対象とする。また、たとえばカメラ２ｂの撮影画像からは自車両の走行車線を走行し、自車両に接近してくる他車両のみを検知対象にする。
第２抑制モードの不検知対策では、動作制御部１５は、第１抑制モードよりも所定の輝度差の閾値Ｉｔｈの設定値をさらに小さくする。または、車両認識部１６２は、撮影画像のコントラストが低い場合でも他車両の特徴量を検出可能な他の車両認識方法を用いる。
第３抑制モードの誤検知対策および第３抑制モードの不検知対策では、動作制御部１５は、除去制御部４に対してカメラレンズから付着物を除去する指令を出力する。除去制御部４による付着物除去動作を行ってもカメラレンズの汚濁状態が改善しない場合、動作制御部１５は、車両認識部１６２による他車両の認識を断念する。
なお、歩行者認識部１６３および標識認識部１６４がそれぞれ歩行者や道路標識を認識するための処理は、図１６を用いて説明した車両認識部１６２が他車両を認識するための処理と同様である。そして、歩行者認識部１６３および標識認識部１６４が各抑制モードの誤検知対策および不検知対策において実施する対策は、車両認識部１６２が各抑制モードの誤検知対策および不検知対策において実施した対策と同様の対策でよい。
（全体フロー）
図１７は、車載装置１の処理内容を示すフローチャートである。
ステップＳ９００では、車載装置１は、撮影画像取得部１１を用いて、カメラ２ａおよび２ｂから撮影画像を取得する。ステップＳ９１０では、車載装置１は、付着物検知部１３を用いて、カメラ２ａおよび２ｂのカメラレンズにそれぞれ付着した各種付着物を検知して、検知結果を出力させる。
ステップＳ９２０では、車載装置１は、検知結果制御部１４８を用いて、ステップＳ９１０で出力された検知結果に対して補正や初期化などの制御を行う。ステップＳ９３０では、車載装置１は、投影変換部１４１を用いて、ステップＳ９２０における制御後の付着物検知部１３の各検知結果を、制御マップ５０上の座標に投影させる。
ステップＳ９４０では、車載装置１は、合成座標設定部１４２を用いて、ステップＳ８４０において投影変換された座標を統合して合成座標（Ｐ，Ｑ）を算出する。ステップＳ９５０では、車載装置１は、動作制御部１５を用いて、合成座標（Ｐ，Ｑ）に基づいて誤検知対策と不検知対策とのどちらを実施するのかを決定するとともに抑制モードを決定する。
ステップＳ９６０では、車載装置１は、ステップＳ９５０で決定した対策を行った上で画像認識部１６の各部を用いて、画像認識処理をそれぞれ実行する。ステップＳ９７０では、車載装置１は、ステップＳ９６０で実行された画像認識処理の認識結果に基づいて、警報制御部１７を制御する。その後、車載装置１は、ステップＳ９００の処理に進む。
以上説明した実施の形態によれば、次のような作用効果を奏する。
（１）車載装置１は、カメラレンズを介して車両の周囲環境を撮影するカメラから取得した撮影画像に基づいて、たとえば、水滴検知部１３１、白濁検知部１３２、水滴痕検知部１３３、泥検知部１３４により、レンズの汚濁の状態に応じた複数種類の付着物をそれぞれ検知する付着物検知部１３と、車両の周囲環境に存在する所定の物体像を撮影画像から認識する画像認識部１６と、付着物検知部１３による複数種類の付着物の各検知結果に基づいて、複数の検知結果を統合した統合検知結果を算出する検知結果統合部１４と、統合検知結果に基づいて、画像認識部１６の動作を制御する動作制御部１５とを備える。したがって、複数の検知結果によって画像認識部１６が矛盾した動作を行うことが防止される。
（２）検知結果統合部１４は、付着物検知部１３の各検知結果を同一の座標系にそれぞれ投影して、各検知結果に対応する複数の座標を合成し、上記座標系上に合成座標（Ｐ，Ｑ）を設定する。動作制御部１５は、設定された合成座標に基づいて、画像認識部１６の動作を制御する。すなわち、検知結果統合部１４により、複数の検知結果を合成した一つの合成座標を設定し、この合成座標に基づいて画像認識部１６の動作を制御する。したがって、複数の検知結果による矛盾した動作制御が防止される。
（３）座標系は、付着物によるレンズ透過率に関する第１の座標軸と、カメラレンズに付着した付着物の面積に関する第２の座標軸とを有する。付着物検知部１３により得られる各検知結果は、レンズ透過率と付着物の面積であり、それらの２つの検知結果により得られる座標の領域は、付着物の種類ごとにそれぞれ設定されている。たとえば水滴範囲５１と白濁範囲５２と水滴痕範囲５３と泥範囲５４である。したがって、レンズ汚濁の状況に応じて、画像認識部１６での画像認識動作を的確に制御することができる。
レンズ汚れの透過率は画像認識部１６の各部の誤検知に強く関係する項目であり、付着面積は画像認識部１６の各部の不検知に強く関係する項目である。誤検知と不検知のそれぞれに関係する項目を座標軸に選択することにより、合成座標（Ｐ，Ｑ）を用いて精度よく画像認識部１６の制御を行うことができる。
（４）動作制御部１５は、第１の座標軸と第２の座標軸のどちらに合成座標がより近いかに基づいて、画像認識部１６で行う制御を決定する。たとえば、動作制御部１５は、透過率に関する座標軸と付着面積に関する座標軸のどちらに合成座標（Ｐ，Ｑ）がより近い動作決定領域にあるかによって、画像認識部１６に行う制御が不検知対策なのか誤検知対策なのかが決定される。このように制御を切り分けることで、誤検知対策と不検知対策の両方を同時に行うような矛盾が発生しない。
（５）動作制御部１５は、合成座標が、カメラレンズの汚濁が所定以上であることを表す座標領域にあるとき、画像認識部１６による所定の物体像の認識を中止させる。あるいは、動作制御部１５は、合成座標が、カメラレンズの汚濁が所定以上であることを表す座標領域にあるとき、カメラレンズから複数種類の付着物を除去する除去装置を動作させる。
たとえば、動作制御部１５は、合成座標（Ｐ，Ｑ）が動作決定領域７５および動作決定領域７６にあるとき、抑制モードを第３抑制モードに決定して画像認識部１６によるレーンマークの認識を中止（断念、ギブアップ）させたり、除去制御部４に対してカメラレンズから付着物を除去させる。これにより、画像認識部１６による誤検知や不検知を低減することができる。
（６）付着物検知部１３は、複数種類の付着物をそれぞれ継続的に検知した時間に応じた信頼度をさらに算出し、検知結果統合部１４は、付着物検知部１３が算出した各信頼度も用いて統合検知結果を算出する。
たとえば、付着物検知部１３の各部は、それぞれに対応する付着物を継続的に検知した時間に応じて信頼度を算出する。たとえば、水滴検知部１３１は、カメラレンズに水滴が継続的に付着していると、フレームごとに増加するスコア平均ＡＳ１に基づいて信頼度Ｒ１を算出する。白濁検知部１３２は、平均継続時間ｔ３に基づいて信頼度Ｒ２を算出する。水滴痕検知部１３３は、カメラレンズに水滴痕が継続的に付着していると、フレームごとに増加するスコア平均ＡＳ３に基づいて信頼度Ｒ３を算出する。泥検知部１３４は、カメラレンズに泥が継続的に付着していると、フレームごとに増加するスコア平均ＡＳ４に基づいて信頼度Ｒ４を算出する。そして、合成座標設定部１４２は、付着物検知部１３の各部がそれぞれ算出した信頼度Ｒ１、Ｒ２、Ｒ３、Ｒ４に基づいて、合成座標（Ｐ，Ｑ）を設定する。このように信頼度Ｒ１、Ｒ２、Ｒ３、Ｒ４を用いて合成座標（Ｐ，Ｑ）を設定することにより、合成座標（Ｐ，Ｑ）を用いてカメラレンズの汚濁状態を精度よく表現することができる。
（７）車載装置１は、車両の周囲の光源環境、車両が走行する走行路、天候の少なくともいずれか一つについて信頼度が低下する環境を検知する環境検知部と、環境検知部により検知された環境に基づいて、付着物検知部１３が算出した各信頼度をそれぞれ補正する信頼度補正部として機能する、環境検知制御部１４３を備える。
たとえば、車載装置１は、環境検知部としての光源環境検知部１４４、走行路環境検知部１４５および天候検知部１４６と、信頼度補正部としての検知結果制御部１４８とを備える環境検知制御部１４３を有する。そして、環境検知制御部１４３は、その光源環境検知部１４４と走行路環境検知部１４５と天候検知部１４６の検知結果に基づいて、検知結果制御部１４８により、付着物検知部１３の各部がそれぞれ算出した各信頼度を補正する（図１３のステップＳ７３０、ステップＳ７５０）。これにより、車両やカメラが付着物検知部１３の検知結果の信頼度Ｒ１、Ｒ２、Ｒ３、およびＲ４が低下しやすい環境にある場合であっても、合成座標（Ｐ，Ｑ）を用いてカメラレンズの汚濁状態を精度よく表現することができる。
（８）車載装置１は、車両の速度またはヨーレートを少なくとも含む走行状態に関する情報を取得する情報検出部１２と、情報検出部１２が取得した走行状態に関する情報に基づいて、複数種類の付着物のうち一部の付着物の検知を付着物検知部に停止させる検知停止部として機能する環境検知制御部１４３とをさらに備える。そして、検知結果統合部１４は、複数種類の付着物のうち検知が停止されていない付着物の検知結果に基づいて統合検知結果を算出する。
たとえば、車載装置１において、環境検知制御部１４３は、情報検出部１２が取得した走行状態に関する情報に基づいて、水滴検知部１３１と泥検知部１３４によるそれぞれの付着物の検知を停止させる（図１３のステップＳ８１０）。そして、合成座標設定部１４２は、付着物検知部１３のうち付着物の検知が停止されていない白濁検知部１３２と水滴痕検知部１３３によるそれぞれの付着物の検知結果に基づいて合成座標（Ｐ，Ｑ）を設定する。このようにすることで、合成座標設定部１４２は、車両の走行状態による合成座標（Ｐ，Ｑ）の精度の低下を抑制することができる。
（９）車載装置１は、情報検出部１２が取得した車両の速度に関する情報に基づいて、車両が停車していることを判定する停車判定部と、所定時間以上継続して車両が停車していることを停車判定部が判定した後に発車するとき、付着物検知部１３の検知結果を初期化する初期化部として機能する、環境検知制御部１４３を備える。
たとえば、環境検知制御部１４３は、情報検出部１２から取得した車両の速度に関する情報に基づいて、検知結果制御部１４８により、車両が停車していることを判定し（図１３のステップＳ７７０）、所定時間以上継続して車両が停車（時速１０ｋｍ以下）した後に発車（時速１０ｋｍ以上）するとき、付着物検知部１３の各検知結果を初期化する（ステップＳ７８０）。これにより、合成座標（Ｐ，Ｑ）の精度を確保することができる。
以上で説明した実施の形態は、以下のように変形して実施できる。
カメラ２ａおよび２ｂは、車両の前方または後方の路面を撮影するようにしたが、車両の左側方または右側方の路面をさらに撮影してもよい。また、車両の周囲の路面を撮影できる限り、カメラの設置位置および撮影範囲をどのように設定しても構わない。
上記の実施の形態では、付着物検知部１３の各部は、毎フレームごとに付着物を検知して検知結果を出力することにした。しかし、処理負荷低減のために、各フレームにおいて画像認識部１６の各部を実行した後の残り時間で付着物検知部１３の一部を実行することにしてもよい。
環境検知制御部１４３は、光源環境検知部１４４と走行路環境検知部１４５と天候検知部１４６と時間制御部１４７と検知結果制御部１４８とを備えることにしたが、光源環境検知部１４４と走行路環境検知部１４５と天候検知部１４６についてはそれらのうちいずれか少なくとも一つを備えていればよい。
制御マップ５０は、透過率に関する座標軸と付着面積に関する座標軸とを有することとしたが、制御マップ５０に有する座標軸はこの組み合わせだけに限定されない。画像認識部１６の各部の誤検知に強く関係する第１項目に関する座標軸と、画像認識部１６の各部の不検知に強く関係する第２項目に関する座標軸との組み合わせであれば他の項目に関する座標軸の組み合わせでもよい。また、制御マップ５０の座標軸は２本でなくてもよい。たとえば、信頼度に関する軸などをさらに有していてもよい。
水滴検知部１３１と白濁検知部１３２と水滴痕検知部１３３と泥検知部１３４の検知結果の信頼度を算出する方法は、上記に示した方法だけに限定しない。
以上説明した実施の形態や変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。また、以上説明した実施の形態や変形例は、発明の特徴が損なわれない限り、組み合わせて実施することができる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１３年第１４９７４７号（２０１３年７月１８日出願）
１ 車載装置
２ａ，２ｂ カメラ
１０ メモリ
１１ 撮影画像取得部
１２ 情報検出部
１３ 付着物検知部
１４ 検知結果統合部
１５ 動作制御部
１６ 画像認識部
１７ 警報制御部
５０ 制御マップ
５１ 水滴範囲
５２ 白濁範囲
５３ 水滴痕範囲
５４ 泥範囲
７１，７２，７３，７４，７５，７６ 動作決定領域
７７ 最悪汚濁点
１３１ 水滴検知部
１３２ 白濁検知部
１３３ 水滴痕検知部
１３４ 泥検知部
１４１ 投影変換部
１４２ 合成座標設定部
１４３ 環境検知制御部
１４４ 光源環境検知部
１４５ 走行路環境検知部
１４６ 天候検知部
１４７ 時間制御部
１４８ 検知結果制御部
１６１ レーン認識部
１６２ 車両認識部
１６３ 歩行者認識部
１６４ 標識認識部
１６５ 駐車枠認識部

Claims (10)

  1. カメラレンズを介して車両の周囲環境を撮影するカメラから撮影画像を取得する画像取得部と、
    前記撮影画像に基づいて前記カメラレンズに付着した複数種類の付着物をそれぞれ検知する付着物検知部と、
    前記周囲環境に存在する所定の物体像を前記撮影画像から認識する画像認識部と、
    前記付着物検知部による前記複数種類の付着物の各検知結果に基づいて、複数の検知結果を統合した統合検知結果を算出する検知結果統合部と、
    前記統合検知結果に基づいて、前記画像認識部の動作を制御する動作制御部と、
    を備える車載装置。
  2. 請求項１に記載の車載装置において、
    前記検知結果統合部は、前記付着物検知部の各検知結果を同一の座標系にそれぞれ投影し、投影して得られた複数の座標から前記座標系上に合成座標を設定し、
    前記動作制御部は、前記合成座標に基づいて、前記画像認識部の動作を制御する車載装置。
  3. 請求項２に記載の車載装置において、
    前記座標系は、前記付着物によるレンズ透過率に関する第１の座標軸と、前記カメラレンズに付着した付着物の面積に関する第２の座標軸とを有し、
    前記付着物検知部により得られる各検知結果は、前記レンズ透過率と前記付着物の面積であり、それらの２つの検知結果により得られる座標の領域は、前記付着物の種類ごとにそれぞれ設定されている車載装置。
  4. 請求項３に記載の車載装置において、
    前記動作制御部は、前記第１の座標軸と前記第２の座標軸のどちらに前記合成座標がより近いかに基づいて、前記画像認識部に行う制御を決定する車載装置。
  5. 請求項３に記載の車載装置において、
    前記動作制御部は、前記合成座標が前記第１の座標軸と前記第２の座標軸の範囲内に予め定められた動作決定領域の範囲内の座標であるとき、前記画像認識部による前記所定の物体像の認識を中止させる車載装置。
  6. 請求項３に記載の車載装置において、
    前記動作制御部は、前記合成座標が前記第１の座標軸と前記第２の座標軸の範囲内に予め定めた動作決定領域の範囲内の座標であるとき、前記カメラレンズから前記付着物を除去する除去装置を動作させる車載装置。
  7. 請求項１乃至６のいずれか１項に記載の車載装置において、
    前記付着物検知部は、前記複数種類の付着物をそれぞれ継続的に検知した時間に応じた信頼度をさらに算出し、
    前記検知結果統合部は、前記付着物検知部が算出した各信頼度も用いて前記統合検知結果を算出する車載装置。
  8. 請求項７に記載の車載装置において、
    前記車両の周囲の光源環境、前記車両が走行する走行路、天候の少なくともいずれか一つについて前記信頼度が低下する環境を検知する環境検知部と、
    前記環境検知部により検知された環境に基づいて、前記付着物検知部が算出した各信頼度をそれぞれ補正する信頼度補正部と、
    をさらに備える車載装置。
  9. 請求項１乃至６のいずれか１項に記載の車載装置において、
    前記車両の速度またはヨーレートを少なくとも含む走行状態に関する情報を取得する情報検出部と、
    前記情報検出部が取得した前記走行状態に関する情報に基づいて、前記複数種類の付着物のうち一部の付着物の検知を前記付着物検知部に停止させる検知停止部と、
    をさらに備え、
    前記検知結果統合部は、前記複数種類の付着物のうち前記検知停止部により検知が停止されていない付着物の検知結果に基づいて前記統合検知結果を算出する車載装置。
  10. 請求項９に記載の車載装置において、
    前記情報検出部が取得した前記車両の速度に関する情報に基づいて、前記車両が停車していることを判定する停車判定部と、
    所定時間以上継続して前記車両が停車していることを前記停車判定部が判定した後に発車するとき、前記付着物検知部の検知結果を初期化する初期化部と、
    をさらに備える車載装置。
JP2015527223A 2013-07-18 2014-06-13 車載装置 Active JP6163207B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013149747 2013-07-18
JP2013149747 2013-07-18
PCT/JP2014/065770 WO2015008566A1 (ja) 2013-07-18 2014-06-13 車載装置

Publications (2)

Publication Number Publication Date
JPWO2015008566A1 true JPWO2015008566A1 (ja) 2017-03-02
JP6163207B2 JP6163207B2 (ja) 2017-07-12

Family

ID=52346039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015527223A Active JP6163207B2 (ja) 2013-07-18 2014-06-13 車載装置

Country Status (5)

Country Link
US (1) US10095934B2 (ja)
EP (1) EP3023962B1 (ja)
JP (1) JP6163207B2 (ja)
CN (1) CN105393293B (ja)
WO (1) WO2015008566A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015064095A1 (ja) * 2013-10-29 2015-05-07 京セラ株式会社 画像の補正パラメータ出力装置、カメラシステム、および補正パラメータ出力方法
JP6511283B2 (ja) * 2015-02-12 2019-05-15 日立オートモティブシステムズ株式会社 物体検知装置
EP3113477B1 (en) * 2015-06-30 2017-08-02 Axis AB Monitoring camera
JP6690955B2 (ja) * 2016-02-02 2020-04-28 株式会社デンソーテン 画像処理装置及び水滴除去システム
US10670418B2 (en) * 2016-05-04 2020-06-02 International Business Machines Corporation Video based route recognition
ES2825374T3 (es) * 2016-07-05 2021-05-17 Uisee Tech Beijing Ltd Procedimiento y sistema de control de dirección de vehículo de conducción autónoma
US10552706B2 (en) 2016-10-24 2020-02-04 Fujitsu Ten Limited Attachable matter detection apparatus and attachable matter detection method
US10981597B2 (en) * 2016-12-16 2021-04-20 Honda Motor Co., Ltd. Vehicle control device and method
JP6789151B2 (ja) * 2017-02-24 2020-11-25 京セラ株式会社 カメラ装置、検出装置、検出システムおよび移動体
DE102017207792A1 (de) * 2017-05-09 2018-11-15 Continental Automotive Gmbh Vorrichtung und Verfahren zum Prüfen einer Wiedergabe einer Videosequenz einer Spiegelersatzkamera
JP6830865B2 (ja) * 2017-07-03 2021-02-17 アルパイン株式会社 車線認識装置
US11479213B1 (en) * 2017-12-11 2022-10-25 Zoox, Inc. Sensor obstruction detection and mitigation
JP2019128797A (ja) * 2018-01-24 2019-08-01 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7210882B2 (ja) * 2018-01-30 2023-01-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
US10549723B2 (en) * 2018-05-04 2020-02-04 Ford Global Technologies, Llc Vehicle object-detection sensor assembly
JP2020013332A (ja) * 2018-07-18 2020-01-23 トヨタ自動車株式会社 画像認識装置
US10780861B2 (en) 2019-01-08 2020-09-22 Ford Global Technologies, Llc Liquid droplet path prediction
CN110532876A (zh) * 2019-07-26 2019-12-03 纵目科技（上海）股份有限公司 夜晚模式镜头付着物的检测方法、系统、终端和存储介质
US11673532B2 (en) * 2019-12-23 2023-06-13 Continental Automotive Systems, Inc. Automatic camera washer deactivation
JP7424582B2 (ja) * 2020-06-03 2024-01-30 株式会社ニフコ 車載機器用ブラケット
JP7319597B2 (ja) 2020-09-23 2023-08-02 トヨタ自動車株式会社 車両運転支援装置
JP2022133156A (ja) * 2021-03-01 2022-09-13 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視システム
US20230068848A1 (en) * 2021-08-25 2023-03-02 Argo AI, LLC Systems and methods for vehicle camera obstruction detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008064630A (ja) * 2006-09-07 2008-03-21 Hitachi Ltd 付着物検知機能付き車載用撮像装置
WO2013018673A1 (ja) * 2011-08-02 2013-02-07 日産自動車株式会社 立体物検出装置及び立体物検出方法
JP2013100077A (ja) * 2011-10-14 2013-05-23 Denso Corp カメラ洗浄装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2552728B2 (ja) * 1989-05-31 1996-11-13 富士通株式会社 赤外線監視システム
US6681163B2 (en) * 2001-10-04 2004-01-20 Gentex Corporation Moisture sensor and windshield fog detector
JP3651387B2 (ja) * 2000-11-22 2005-05-25 日産自動車株式会社 白線検出装置
DE10132681C1 (de) * 2001-07-05 2002-08-22 Bosch Gmbh Robert Verfahren zur Klassifizierung von einem Hindernis anhand von Precrashsensorsignalen
JP3987048B2 (ja) * 2003-03-20 2007-10-03 本田技研工業株式会社 車両周辺監視装置
EP2448245A3 (en) 2003-08-29 2015-07-22 Nikon Corporation Image-capturing system diagnostic device, image-capturing system diagnostic program, image-capturing system diagnostic program product and image-capturing device
US8553088B2 (en) * 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view
JP4956009B2 (ja) * 2006-02-02 2012-06-20 キヤノン株式会社 撮像装置及びその制御方法
US7671725B2 (en) * 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
JP4784659B2 (ja) * 2009-02-16 2011-10-05 トヨタ自動車株式会社 車両用周辺監視装置
JP2010244382A (ja) 2009-04-08 2010-10-28 Honda Motor Co Ltd 車両走行支援装置
JP5269755B2 (ja) * 2009-12-10 2013-08-21 株式会社日立製作所 人横断支援車両システム及び人横断支援方法
DE102010002310A1 (de) * 2010-02-24 2011-08-25 Audi Ag, 85057 Verfahren und Vorrichtung zur Freisichtprüfung einer Kamera für ein automobiles Umfeld
JP5546321B2 (ja) 2010-04-02 2014-07-09 アルパイン株式会社 複数カメラ画像使用車外表示装置
JP2012038048A (ja) 2010-08-06 2012-02-23 Alpine Electronics Inc 車両用障害物検出装置
EP2871101B1 (en) 2012-07-03 2020-06-17 Clarion Co., Ltd. Vehicle surrounding monitoring device
WO2014007286A1 (ja) * 2012-07-03 2014-01-09 クラリオン株式会社 状態認識システム及び状態認識方法
EP2879370B1 (en) 2012-07-27 2020-09-02 Clarion Co., Ltd. In-vehicle image recognizer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008064630A (ja) * 2006-09-07 2008-03-21 Hitachi Ltd 付着物検知機能付き車載用撮像装置
WO2013018673A1 (ja) * 2011-08-02 2013-02-07 日産自動車株式会社 立体物検出装置及び立体物検出方法
JP2013100077A (ja) * 2011-10-14 2013-05-23 Denso Corp カメラ洗浄装置

Also Published As

Publication number Publication date
CN105393293B (zh) 2017-05-03
EP3023962B1 (en) 2020-08-19
US10095934B2 (en) 2018-10-09
EP3023962A1 (en) 2016-05-25
US20160162740A1 (en) 2016-06-09
EP3023962A4 (en) 2017-03-22
CN105393293A (zh) 2016-03-09
WO2015008566A1 (ja) 2015-01-22
JP6163207B2 (ja) 2017-07-12

Similar Documents

Publication Publication Date Title
JP6163207B2 (ja) 車載装置
JP6174975B2 (ja) 周囲環境認識装置
JP6117634B2 (ja) レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
JP5022609B2 (ja) 撮像環境認識装置
JP6120395B2 (ja) 車載装置
JP6364797B2 (ja) 画像解析装置、および画像解析方法
US9205810B2 (en) Method of fog and raindrop detection on a windscreen and driving assistance device
JP5887219B2 (ja) 車線逸脱警報装置
US9185363B2 (en) Vehicle imaging system and method for categorizing objects using relative motion analysis
US9965690B2 (en) On-vehicle control device
US10933798B2 (en) Vehicle lighting control system with fog detection
US9508015B2 (en) Method for evaluating image data of a vehicle camera taking into account information about rain
JP5879219B2 (ja) 車載用環境認識装置
JP2008250904A (ja) 車線区分線情報検出装置、走行車線維持装置、車線区分線認識方法
JP2008060874A (ja) 車載カメラ及び車載カメラ用付着物検出装置
US20140347487A1 (en) Method and camera assembly for detecting raindrops on a windscreen of a vehicle
US20150085118A1 (en) Method and camera assembly for detecting raindrops on a windscreen of a vehicle
CN111414857B (zh) 一种基于视觉的多特征融合的前方车辆检测方法
US9230189B2 (en) Method of raindrop detection on a vehicle windscreen and driving assistance device
EP2542453A1 (en) Method and device of raindrop detection on a windscreen
JP2023067558A (ja) 車両及び車両制御方法
EP2945116A1 (en) Method and apparatus for providing an augmented image of a vehicle's surrounding

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170119

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170616

R150 Certificate of patent or registration of utility model

Ref document number: 6163207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170921

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250