JP5863968B2

JP5863968B2 - 車載環境認識装置

Info

Publication number: JP5863968B2
Application number: JP2014523718A
Authority: JP
Inventors: 雅幸竹村; 彰二村松; 將裕清原; 玲宇田川
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2012-07-03
Filing date: 2013-06-28
Publication date: 2016-02-17
Anticipated expiration: 2033-06-28
Also published as: CN104520913B; CN104520913A; EP2871629A1; EP2871629B1; JPWO2014007175A1; US9467687B2; EP2871629A4; US20150334385A1; WO2014007175A1

Description

本発明は、車載カメラによる自車両の車載環境認識装置に関する。

近年、画像認識する車載カメラは、複数のアプリケーションを同時に実行するマルチアプリが主流になりつつある。車載カメラは、画像認識専用のカメラを利用するシステムが従来は主流であったが、近年はユーザに映像を提示するためのカメラと画像認識用のカメラを兼用するシステムが増えつつある。特許文献１は、その一例である。

複数のアプリケーションを同時に実行するマルチアプリの車載カメラとしては、車室外に取り付けられたカメラを画像認識に利用することがあり、そのため、汚れや雨滴などを検知し、現在のカメラの状態が画像認識に利用できる状態であるかどうかを判定する技術が必要となっている。

特開２００８−２８２０６７号公報

従来から、車載カメラのレンズ上の汚れを判別することにより、単体の画像認識アプリケーションのギブアップ状態を判別することは行われている。しかし、この従来手法では、レンズ状態が画像認識にとってマルチアプリに共通して相応しくない状態であることを判別することはできるが、マルチアプリの各アプリ別に異なる耐汚れ性能を考慮した対処は困難である。

そこで、本発明の目的は、各アプリケーションにとって最適のタイミングにおいて、パラメータ調整、ハードウェアを利用した汚れ除去及びフェールの判定を実施するかについて、画像により自己診断する車載環境認識装置を提供することである。

上記課題を解決するために、本発明に係る車載環境認識装置は、撮像装置で撮像された画像を取得する撮像部と、前記撮像部で取得された画像に対して前記撮像装置のレンズの汚れを診断する画像自己診断部と、所定のアプリケーション群から選択されたアプリケーションを実行するアプリ実行部と、前記画像自己診断部の診断結果に基づいて、レンズの汚れ状態が前記アプリケーションの耐久範囲内であるか否かを判定し、前記耐久範囲内であれば、前記アプリ実行部が実行するアプリケーションの動作を抑制モードに設定し、前記耐久範囲外であれば、汚れ除去制御を行うか、又は前記アプリケーションのフェール判定を行うフェール判定部と、を備えることを特徴とする。

各アプリケーションにとって最適のタイミングにおいて、パラメータ調整、ハードウェアを利用した汚れ除去及びフェールの判定を実施するかについて、画像により自己診断する車載環境認識装置を提供できる。

本明細書は本願の優先権の基礎である日本国特許出願２０１２−１４８９７７号の明細書および／または図面に記載される内容を包含する。

本発明の実施形態に係る車載環境認識装置の構成を示した説明図である。本発明の実施形態に係る画像自己診断部の構成を示した説明図である。各アプリフェール判定部300の構成をブロックで示した図である。アプリ実行部の構成図である。本発明に係る車載環境認識装置の全体処理フローを示す。レンズ状態マップとスコアの説明図である。画像自己診断出力テーブルの説明図である。レーン認識のマップスコア利用方法の説明図である。車両検知のマップスコア利用方法の説明図である。歩行者検知のマップスコア利用方法の説明図である。標識検知のマップスコア利用方法の説明図である。レーン認識フェール判定表の一例を示す。車両検知フェール判定表の一例を示す。歩行者検知フェール判定表の一例を示す。標識検知フェール判定表の一例を示す。

本発明の実施形態の一例を、図面を参照して、以下、説明する。

図１は、本発明の実施形態に係る車載環境認識装置10の構成をブロックで示している。撮像部100は、車載カメラ（図示省略）から画像を取得し、この画像を画像自己診断部200にて利用し、レンズ水滴、レンズ白濁、レンズ反射、視界不良領域、汚れ検知、路面反射、路面水膜、路面汚泥、光源環境、天候等を検知する。これらの結果は、マルチアプリ実行にあたって、誤検知、不検知等を起こしやすい状況であるかを判定し、その後の対応方法を決定するために利用する。画像自己診断部200は、ＣＡＮ通信により得られる自車両走行情報（車速、操舵角、ヨーレート、ワイパー、外気温等）や、カーナビから得られる自車両のＧＰＳ位置や道路マップ等の情報を取得して判断材料としてもよい。この他サーバー等からの天候情報や気温情報を取得したり、ミリ波レーダ、車々間通信、路車間通信等を利用したりすることで、画像診断の精度向上のための情報として利用してもよい。

各アプリ別フェール判定部300は、画像自己診断部200で、検知したレンズ水滴、レンズ白濁、レンズ反射、視界不良領域、汚れ検知、路面反射、路面水膜、路面汚泥、光源環境、天候等の情報から、各アプリ別にどのようにシステムとして対応すべきかを判定する。例えば、レンズに水滴がついた場合に、画像上のどの領域にどの程度の水滴がついたかによって、その対応方法を変更する。

まず、マルチアプリのレーン認識と車両検知では、処理領域が異なるため、どこに水滴がついているかによって影響を受けるかどうかが変化する。各アプリ別に、どの程度の影響を受けるかを考慮することで、影響が大きいアプリケーションのみ認識処理を停止する等の判定が可能となり、影響の少ないアプリケーションの動作を必ずしも停止させる必要がなくなる。

また、あるアプリケーションの認識精度が著しく低下するような場合には、その要因を除去するハードウェアの起動を実施することも考えられる。現在、リアルタイム動作状況にあるアプリケーションの中で、最も早く認識性能が低下するアプリケーションに合わせて水滴除去のハードウェア起動を実施することで、必要以上に早期のハードウェア起動を実施せずに、認識性能維持のために必要なタイミングでのハードウェア起動を実施することが可能となる。

また、各アプリ別にどの程度影響を受けるかを考慮できるため、ソフト処理のパラメータを動的に変更することや、誤検知抑制処理を追加動作させるなどの誤検知抑制のための抑制モードに入れることも可能となり、ハードの起動やフェールの判定前にアプリ側での耐久性強化にも利用しやすい構成といえる。

マルチアプリ実行部400は、各アプリ別フェール判定部300の結果を受けて、各アプリ別に、パラメータ調整、汚れのための動作停止等の適切な対応を実行するか、通常レンズ状態であると判断された場合には通常実行等のマルチアプリケーションを実施する。

図２は、本発明の実施形態に係る画像自己診断部200と、そこに備えられた検知部の全体構成の一例を示した説明図である。ここでは、マルチアプリ実行部400で実行されるレーン認識や車両検知等を画像認識するために都合のよいレンズ状況、走行路環境、光源環境、天候等であるかを判定する。ここでは、まず、前処理として、各アプリケーションのことを考慮せずにレンズ全体の状態が、どのような汚れ状況にあるか、どのような環境にあるか等を検知する。

レンズの汚れ種別、環境の種別に応じて、その後のシステムの対応が変化し、アプリ耐久性も変化するため、レンズ状況や環境にも各種の検知部が存在する。例えば、路面積雪により生じた雪のわだち等は、道路上に白いノイズ要因がたくさん存在するためにレーン認識にとって誤検知しやすい状況で耐久性は低いが、車両検知にとっては大きく認識性能が低下するような状況ではなく耐久性が高い。

反対にレンズの水滴付着等により画像が乱れたような状況の場合、車両の画像上の移動を検知するような車両検知手法であると、水滴が車両の特徴点の移動を検知する際のノイズ要因として働くために耐久性が低いが、レーン認識にとっては、一部の白線特徴量が出たとしても、これが直線状にならないようなノイズ要因である水滴では、大きな性能低下要因にはならずに耐久性が高い。それゆえ、各種別に応じて汚れ状況を把握することで、システムとして、抑制モード、汚れ除去ハードウェアの制御、フェール判定等を適切なタイミングで実行することが可能となる。

画像自己診断部200の中の各検知部は、その性質に応じた処理周期を設定した。例えば、時々刻々と変化する隣接車両のヘッドライト等を考慮すると、反射検知部206については、マルチアプリ実行部400のアプリと同じ若しくはアプリ実行部で最も処理周期の速いアプリと同等の処理周期でなければ、時間遅れの反射位置等を提供することとなり、誤検知抑制に利用しづらいため、反射検知部206はアプリ実行部と同周期とした。路面水膜検知部207についても同様に、アプリ実行部と同周期の100msecとした。

一方、レンズ水滴検知部201、レンズ白濁検知部202、視界不良検知部204、走行路環境検知部208、光源環境検知部209及び天候検知部210は、すぐに状態が変化するわけではないために、毎周期処理することは必須ではない。このため、処理負荷軽減のために、処理周期を500msecとして、処理しない間は過去の判断結果を利用することにより、効率良くレンズ状況を把握する。

各アプリケーションは、500msec中のある100msecの期間内に全て動くわけではなく、マルチアプリ実行部400の余った時間を利用し、マルチアプリ実行部が100msec毎にまわるように、余った時間の中で起動可能な自己診断部の中の検知部を起動し、例えば最初の100msec周期では、反射検知部、路面水膜検知部、レンズ水滴検知部、レンズ白濁検知部が呼ばれ、次の100msec周期内では、反射検知部、路面水膜検知部に加えて、視界不良検知部を呼び、という風に、余った時間の中でうまく画像自己診断を実施する。

レンズ水滴検知部201は、レンズに付着した水滴、雨天時の雨粒、ウェット路面からのタイヤの跳ね上げによりカメラレンズに付着した水滴、霧、露等を含む、レンズに付着した水滴の状況を検知する。レンズに水滴の付着がある状態になると、マルチアプリを通常と同じ性能で実行することが困難となるので、水滴検知の状態に応じて、抑制モード、汚れ除去ハード、フェールの判定を実行する。

水滴検知手法は、車載カメラであれば背景が遠方に流れていくにも関わらず、ほぼ同一位置に、一定時間以上、周囲より高輝度である個所を発見すると、これがレンズに付着して白く光っている水滴の可能性が高いとして抽出する。

画像自己診断部200における出力としては、図６に示すように画像上を格子状に区切ったマップを作成し、このマップ上に、周囲より高輝度である個所を発見した位置と、その位置ごとに水滴付着の可能性の大小を示すスコアによりレンズの水滴付着度合いを示すスコアを示す。このマップ上に示された水滴スコアを利用して、各アプリ別に水滴付着時の対応手法を各アプリ別フェール判定部において判断する。

車載カメラは、例えば長時間走行した後に、そのレンズ上にうっすらと付着した汚れのために白濁化し、撮像された画像がぼやけて、鮮明に撮像できない状況となる。レンズ白濁検知部202は、このような白濁の度合いと信頼度を推定するものであり、均一に白濁しているのか、まだらであるか、白濁レベル等についても検知する。

レンズ白濁状態では、マルチアプリを通常と同じ性能で実行することが困難となる。このためレンズ白濁検知の状態に応じて、抑制モード、汚れ除去ハード、フェールの判定に利用する。

白濁検知手法は二つの手法があり、画面を全体的に検知したことを前提に、レンズの曇り状態を検知する手法であり、昼間は地平線上のエッジ強度を、夜間は後続車両のヘッドライトの輝度変化の鋭さを指標としてレンズ白濁状態の度合いを数値化するとともに、時間方向のデータを利用した信頼度を算出する。

レーン認識アプリケーションの単体に利用する手法は、検知対象とするレーンのエッジ強度を時間方向に解析することによって、レーン認識のレーンマーク特徴量抽出量のためのエッジ閾値を定めることで、路面状態、レンズ状態に応じた閾値調整により誤認識を抑制しながら、高い認識率を確保することに成功した。

しかしながら、車両や歩行者などを検知対象とする場合には、白線のように常に存在することを前提にすることができずに、画面上の車両や歩行者がどのようなエッジ強度で存在するかは解析困難である。そこで、画像上で常に存在するエッジが地平線であることに着目して、地平線付近のエッジ強度を解析することで安定的に画面上の検知対象物のエッジ強度を推定するために利用することが可能となった。

昼に関しては、画面上の地平線付近を、左右、中央の３つに区分してエッジ強度解析を実施した。これは少なからず背景構造物の影響を軽減するためである。例えば、遠方には構造物が少なくないような場合には、画像中央の地平線付近のエッジ強度は、どうしても低くなるが、近傍領域を含めた左右領域を含めて解析すると、構造物の有無の影響を軽減することができる。アプリケーションによって、エッジ強度を解析する領域を適切に選定して、検知時のエッジ閾値として利用する。

もう一つの手法は、水滴と同じようにレンズ上の白濁状況を格子上のマップスコアとして検知する方法である。この白濁は、均一な白濁というよりも、レンズ上にまだらについた薄い汚れを検知する手法であり、レンズの同じ場所に、同じ方向のエッジが存在し続ける個所を薄い汚れとして、その場所と存在時間による信頼度をスコアとして検出する。車載カメラであれば、走行中の背景は自車両と同じ速度で流れていくにも関わらず、同じ場所に、同じエッジ方向で存在し続ける特徴は、レンズ上に存在し続ける汚れ成分である可能性が高いとしてレンズ上のまだらな汚れや薄く輪郭が浮かぶような汚れの位置をマップ上のスコアとして検出する。

視界不良検知部204は、カメラの映像線が切れたような場合、例えばカメラの前方に泥などの付着物がついて画像の一部が見えないような状況を検知する。他の具体例としては、跳ね上げた雪により、あるいは雪に覆われた車体のまま走行して、視界がまったく見えない場合や、部分的に見えない場合の視界不良となった領域を検知することができる。

この視界不良の領域に応じて、後段処理のマルチアプリの動作をフェール判定とするか否かをアプリ別に検討する。小さな領域のみが視界不良であれば、これを除去するための汚れ除去ハードウェアの起動の実施を試みる。更に小さな領域であれば、誤検知抑制のために抑制モードで対応する。

この視界不良の検知は、水滴の検知と同様に、レンズのどこに汚れが付着したかを検知する。水滴とは反対に、昼間に泥等が付着した場合には周囲の輝度が一定となり、背景が遠方に流れていくにも関わらず、ほぼ同一位置に、一定時間以上、ほぼ一定輝度である場所が存在し続けることを発見して、検知結果をマップ上のスコアとして出力する。

反射検知部206は、夜間の車両ヘッドライトや街灯、西陽の路面反射、雨天時等の路面がぬれている状況下の通常より強い路面反射、街灯や店の明かり等を含めて路面の高輝度領域を検知する。

路面反射領域と、その輝度、反射方向に合わせて後段のマルチアプリケーションでの画像処理を停止する等の対策を実施する。高輝度でない領域についても反射が伸びると推定される領域は、誤検知しやすいためにアプリケーションによっては画像処理対象外とするなど誤検知抑制を実施する。また、反射領域の大きさや強さによっては、抑制モード、フェール判定を実施する。路面の反射はレンズが汚れているわけではないので、汚れ除去ハードウェアは起動しない。

画像自己診断部200では、高輝度領域を抽出するとともに、その路面反射領域を推定し、マップ上のスコアとして表現する。水滴検知、白濁検知、視界不良検知では、存在する時間の長さがスコアの高さとなっていたことに対して、路面反射検知では、より高輝度に反射すると予測される領域のスコアを高くする。これにより後段処理にて、各アプリ別に対応方法を決定する。

路面水膜検知部207は、路面が濡れているか、乾燥しているか、の状況を検知する。路面が濡れている状況では、ヘッドライト等の反射が起こりやすい状況であるために、後段のアプリケーションによっては、反射誤検知対策もしくは反射誤検知のためのパラメータ調整を実施するための抑制モードに入れる。また、路面が濡れているような場合には、路面からまきあげた水滴がレンズに付着する等によりレンズが汚れやすい状況にあるので、レンズを保護するためのハードウェアを起動する選択をしてもよい。

まず、路面が濡れているかどうかを判定する。フロントワイパーの動作状況、水滴検知の結果から、路面が濡れていると判定する。上記で判定できないような状況とは、降雨はないが路面が濡れていて、跳ね上げによるレンズへの水滴巻き上げがない状況である。このような場合には、周囲環境の路面への映り込みを解析することにより、路面上の反射しやすさの指標として、水膜検知の結果とする。

昼間であれば、自車両周囲環境の背景により、構造物が路面へ映り込み誤検知要因となるような路面であるかの判定を実施する。実際に路面が濡れているか否かよりも、画像認識にとって重要であることは、路面での反射による背景映り込みがあるような状況では、路面の構造物映り込み等による誤検知を抑制したい。このため背景の路面への映り込みを解析することで、認識アプリケーションへどうすべきか閾値調整に利用する。鋭い映り込みが路面にあるような場合には、車両検知や歩行者検知のエッジ閾値を高めることで、誤検知を抑制する。

走行路環境検知部208は、走行路面が舗装路か、砂利、砂、土、積雪路面の道かを検知する。白線が明らかに存在しないことが明らかな砂利、砂や泥の道路では、レーン認識アプリが誤検知しないように、抑制モードとすると、完全に警報がならないようにアプリ停止、又は警報若しくは制御のみを停止してもよい。また、砂や土の道では、自車が巻き上げた泥等がレンズに付着する可能性が非常に高くなるので、泥が付着しないように、レンズを保護する機能を動作させたり、汚れを除去するハードウェアを定期的に若しくは泥検知結果に応じて、作動させたりすることによりレンズを保護する。

車両外気温は、凍結や積雪のための情報の一つとして利用する。また、レーン認識の結果は、車線が存在するような道路であるか、泥路面や砂利といった走行車線が存在しないような道路であるか、についての判定にも利用する。このような道路状況の判定において、車両外気温が零下であるような場合には、積雪により白線が見えないような環境であることを判定する材料として、車両外気温を利用する。また、車両挙動によるタイヤのスピン、ハンドルの操舵状況、車体の揺れ等の情報は、車両の走行に適したレーンが存在するような道路であるか、泥や砂利といったレーンが存在しないような道路であるか、積雪路面であるか、についての判定に利用してもよい。

光源環境検知部209は、カメラの露光、シャッタースピード、ゲインの値、時間、画像上の高輝度領域等から朝、昼、夕、夜、暗夜、周囲照明等の周囲の光源環境を検知する。特に朝や西陽の逆光は、画像認識において性能劣化しやすい状況であり、これを的確に検知し、アプリケーションによって、処理領域の変更、パラメータの変更を実施する抑制モードへの移行又はフェールの判定を実施する。

西陽、後続車、街灯等の路面反射は、レーン認識、車両検知、歩行者検知等のマルチアプリにとって、誤検知や不検知となるシーンが多い。このため路面反射がどれほど生じやすい周囲環境にあるかの信頼度と反射強度のスコアを推定する。また、瞬間的に処理領域内に反射光が差し込んでいるかどうかについて、高輝度領域を抽出することにより反射領域を推定する。特に後続車のヘッドライトは、その指向性とヘッドライトの高さから、大よその三次元位置も推定できるため、これを利用して反射対策を実施する。天候状況から濡れた路面で反射がしやすい状況であるかも加味して、図６に示すようなマップ上で画像認識に利用すべきでない位置のマスク等にも利用する。

天候検知部210は、降雨、降雪、霧、曇り、晴れ等の天候状況とそのレベルを検知する。これにより、アプリケーションの誤検知抑制のためのパラメータ調整等をアプリ別のタイミングで実施するか、アプリケーションによっては、その性能が保証できなくなるために自動的にフェール判定を実施してアプリ動作を停止することにより誤検知を防止する。

背景、路面のエッジ強度、空領域の輝度、レンズ上の水滴の付着状態、車両のワイパー情報、外気温等から、天候状況の推定を実施する。天候の種類や信頼度を推定して出力する。

図３は、各アプリフェール判定部300の構成をブロックで示している。ここでは、画像自己診断部200で検知した結果を基にして、各アプリケーション別にフェール判定を実施する。画像自己診断部200で検知された水滴、白濁等の症状は、同じ状況であってもアプリケーションによって耐久性が異なるため、各アプリケーション別に適切な処置を取ることが、システム全体として稼働可能なアプリケーションの適応範囲が増える等の利点が多い。また、動作停止中のアプリケーション等は考慮せずに、フェール判定、汚れ除去のハードウェアを起動することもシステム全体の適応範囲を拡大できる利点が存在する。

フェール演算部310は、各アプリ別に、フェール、パラメータ調整、耐久性向上のための誤検知抑制モードの起動、汚れ除去ハードウェアの起動依頼を出すかどうかを判定し、システム制御部350へ情報を渡す。アプリ毎に、汚れの種別やレベルによって、どの程度の性能が劣化するか、汚れ耐性強化の調整を必要とするか、が異なるために、このような各アプリ別のフェール判定が必要となる。

システム制御部350は、フェール演算部310からの各アプリ別の依頼情報をまとめて、システム全体としての判断を下す。アプリ別のフェール判定はそのまま反映させるが、システム動作把握部351が把握している動作停止中のアプリも含めて、システム全体で稼働可能なアプリが無くなった場合にシステム全体のフェール判定をシステムフェール判定部352で実施する。

もちろん誤検知を許さずに早めにフェールに落とす思想であれば、一つのアプリケーションでもフェール状態と判断された場合には、システム全体をフェール判定することで、より信頼性が高い場合のみマルチアプリケーションを実施するシステムを構築してもよい。

各アプリの汚れ耐性を強化するためのパラメータ調整や追加モジュール動作については、それぞれのアプリケーションの依頼に応じて抑制モードとして実施する。各アプリケーションが上記汚れ耐性を強化するためのパラメータ調整や追加モジュールの起動だけでは、安定的な検知が難しいと判断した場合には、汚れ除去制御部353へ汚れ除去の依頼を出す。

汚れ除去制御部353は、現在動作中のアプリからの汚れ除去依頼を受け取った場合に、その汚れ除去のためのハードウェアの動作実施を試みる。システム動作把握部351は、過去の汚れ除去ハードウェアの実施状況の履歴等も把握しており、汚れ除去ハードウェア起動後の汚れ削減状況等も確認しながらシステムとしてフェールの判断若しくは汚れ除去が成功した場合には通常動作へ戻す等の判断を行う。

アプリ毎の判定以外に、汚れ除去ハードウェアの制御情報や車両情報部360から取得した情報を基にして、最終的な判断をシステム制御部350にて実施する。例えば、レーン認識フェール判定部301において抑制モード１を実施してほしいとの情報がシステム制御部350に入力された場合に、歩行者検知フェール判定部303からの依頼によって、汚れ除去ハードの実施を決定したとする。この場合、ハードウェア起動時若しくは起動前後のある期間中のアプリケーションの動作モードは、抑制モードを何とするか、システム制御部350にて判断する。

例えば、汚れ除去ハードを起動している最中は、レーン認識は抑制モード２とすることによって誤検知を抑制する。レンズの汚れを除去する際にはレンズ状態が変化しているので、汚れを除去している画像を通常時の認識対象と同様にとらえると、誤検知の可能性が高くなる。そのために、汚れ除去ハード起動中は、抑制モード２を利用するのがよい。ハード起動中に他のアプリからの依頼があった場合、このような調整がフェール演算部310にて実施される。

更に、車両情報部360からの情報により強制的に汚れ除去ハードを起動する際、自車両のウィンカーの点滅等による誤検知抑制のために、抑制モード１等を利用する場合等は、システム動作把握部351において、どのような抑制モードとすべきかを判定し、この結果を用いて最終判断をシステム制御部350において実施する。

フェール演算部310にて、各アプリ別に抑制モード１、抑制モード２、汚れ除去ハードの起動、フェールの判定を実施する。抑制モード１とは、対象とするアプリケーションにとって適切な検知をするためには、好ましくない状況であることを示し、誤検知を抑制するための追加モジュール起動やパラメータ変更を実施するモードを示す。更に抑制モード２とは、上記の抑制モード１の状況より更に画像認識しづらい状況を示し、誤検知抑制のための調整を更に追加実施するためのモードとする。更に、この抑制モード２でも対応できないようなレンズ状態となった場合には、汚れを除去するハードウェアの起動依頼をフェール演算部310では実施する。また、汚れ除去のハードを起動した後も、レンズ状態が改善しないような場合には、フェール判定結果をフェール演算部から、システム制御部350へ通知する。

フェール演算部310には、マルチアプリケーション毎のフェール判定部を用意し、各アプリケーションの汚れ耐久性を考慮した演算処理を実施する。汚れマップ自体は、汚れ種別ごとに１種類ごとであるが、これを参照して、フェールや抑制モードの判定に利用するスコア、強度、領域、信頼度、フラグなどに変換する際には、各アプリケーションの性能に合わせた変換の仕方することで、更に各アプリケーションに沿った判定が可能となる。特に、アプリケーション毎の処理領域や、領域別の重要度、誤検知となる輝度差、汚れ別の影響の度合いが異なるため、これらを考慮して各汚れマップから、図１２から図１５に示す表内の値に換算する。

また、昼夜において、路面反射や水滴の検知手法が異なるような場合を考慮して、それぞれのロジックの信頼性や安定性を考慮して、図１２から図１５に示す汚れ別アプリ対応方法のテーブルの閾値を調整もしくは、閾値は一定になるようにスコアの換算を実施してもよい。

また、天候検知部の結果に応じて、路面反射や水滴検知の、図１２〜図１５の閾値を変更しても良い。天候によっては路面反射が生じやすい状況、水滴が付着しやすい状況である可能性が高いため、間違えて抑制モードに入る可能性が低いと考え、通常時よりも路面反射や水滴検知のスコアが低くとも、抑制モードに入りやすい閾値へ変更してもよい。

レンズ白濁時には、画面がぼやけすぎてレンズに付着した水滴や視界不良となる泥などが判定しづらくなるために、誤判定抑制のためにも、レンズ白濁がある一定閾値を超えたところで、フェール演算部310において、水滴検知や視界不良などのスコアマップは参照対象外とし、白濁スコアがある一定閾値未満の場合にだけ、水滴、視界不良のマップは参照可能とする。

次に、フェール演算部310の中の各フェール判定部について説明する。レーン認識フェール判定部301は、レーン認識動作時のフェール判定を実施する。図１２に示すレーン認識フェール判定表の一例には、レーン認識の耐久性に応じた閾値を設定し、それぞれ画像診断結果がその数値以上を示す際には、抑制モード１若しくは２、汚れ除去ハードの実施又はフェール判定を選択することが示されている。

初期段階では抑制モード１を選択するが、汚れや環境が厳しくなるにつれて、抑制モード２、汚れ除去ハード、フェールの選択へと順次移行する。ただし、汚れ除去ハード実施後に汚れ状態が改善したような場合には、自己診断結果の改善状況に応じて抑制モード若しくは通常状態に戻る。環境状態の検知結果（反射、路面水膜、走行路環境、天候）を汚れ除去ハードウェアの動作で改善させることはできないため、汚れ検知（水滴、白濁、視界不良）以外では汚れ除去ハードは起動させない。また、フェール判定部は、水滴、白濁、視界不良の検知結果に応じて、フェール判定を実施する。

車両検知フェール判定部302は、車両検知動作時のフェール判定を実施する。図１３は、車両検知フェール判定表の一例を示す。ここには、車両検知の耐久性に応じた閾値を設定し、画像診断結果がその数値以上を示す際には、抑制モード１若しくは２、汚れ除去ハードの実施又はフェール判定を選択する。

初期段階では抑制モード１を選択するが、汚れや環境が厳しくなるにつれて抑制モード２、汚れ除去ハード、フェールの選択へと順次移行する。ただし、汚れ除去ハード実施後に汚れ状態が改善したような場合には、自己診断結果の改善状況に応じて抑制モード若しくは通常状態に戻る。環境状態の検知結果を汚れ除去ハードウェアの動作で改善させることはできないため、汚れ検知以外では汚れ除去ハードは起動させない。また、フェール判定部は、水滴、白濁、視界不良の検知結果に応じて、フェール判定を実施する。

歩行者検知フェール判定部303は、歩行者検知動作時のフェール判定を実施する。図１４は、歩行者検知フェール判定表の一例を示す。ここには、歩行者検知の耐久性に応じた閾値を設定し、画像診断結果がその数値以上を示す際には、抑制モード、汚れ除去ハードの実施、フェール判定を選択する。

標識検知フェール判定部304は、標識検知動作時のフェール判定を実施する。図１５は、標識検知フェール判定表の一例を示す。ここには、標識検知の耐久性に応じた閾値を設定し、画像診断結果がその数値以上を示す際には、抑制モード１若しくは２、汚れ除去ハードの実施又はフェール判定を選択する。

図４は、マルチアプリ実行部400の構成をブロックで示している。ここでは、各アプリ別フェール判定部からの情報を基にして、各アプリの実行を行う。場合によっては、汚れ状態からレーン認識のみフェール状態で動作停止となり、場合によっては、汚れ除去ハードウェアの動作状態から一時的にフェール状態とし、一定時間経過後に再実行するような実行も考えられる。

マルチアプリ実行部400には、レーン認識部410、車両検知部420、歩行者検知部430、標識検知部440が存在し、それぞれのフェール判定部の結果を基にして、実行方法を決定する。

システムでは、現在までに動いていたアプリケーションの一つでも、汚れ等の条件によって動作不可となった場合に、システムフェールへ落とすような設計でもよい。実際には、車両検知が動作できない状態であってもレーン認識はまだ認識性能を保てるため実行は不可能ではないが、ユーザから見れば何が動いているか分かりにくいこともあるため、システム全体のフェールをはっきりさせて、ユーザの理解し易さを優先した設計とするようにしてもよい。ここでは、アプリ別にフェール判定することで、動作アプリのみのフェール条件を考えればよいために、耐久性の高いアプリのみの動作時には、システムとしての動作範囲拡大が見込める。

これとは別に、ユーザへより細かくアプリ別にフェール状態であるかを伝えるようなシステムとしてもよい。ここでは、ユーザの理解は若干難しくなるものの、各アプリの適応範囲を最大限に活用することができるために、ユーザが各アプリの恩恵を受けることができる適応範囲を最大限に拡大することができる。また、動作の有無に関わらず、実行可能なアプリケーションの中から、最も耐環境性能が低いアプリケーションに合わせたフェールとしてもよい。

本実施例の有効性は、各アプリケーションに合わせたフェール判定が可能な設計であるために、マルチアプリケーションの種類を変更しても簡単にシステム全体をまとめることができることにある。従来のように単一アプリケーションを対象としたような汚れ検知手法では、レーン認識専用の汚れ検知や、車両検知専用の汚れ検知手法などを複数開発することは、似たような処理から似たような結果を得るにもかかわらず無駄に多い計算コストをかける結果となっていた。本実施例では、解析対象とする汚れ物体が同じ場合は、同一ロジックにて画像の解析を実施し、各アプリケーションの処理領域や耐久性能を考慮し、各アプリケーションの抑制モードや、汚れ除去ハードの動作依頼を実施する。

図５は、本発明に係る車載環境認識装置の全体処理のフローを示す。ここでは、次に記載する処理を順次実施する。

ステップS1では、車載カメラで画像を撮影する。

ステップS2では、ステップS1で撮影された画像を利用して画像自己診断部200においてレンズの汚れ状態、光源環境、路面状況等を判定する。図８は、レーン認識のマップスコア利用方法の説明図である。画像自己診断部200の出力は、診断結果を利用するマルチアプリが欲しい情報と、画像診断ロジックの特徴を考慮して設定する。

ステップS3では、各アプリフェール判定する。図７に示す画像自己診断出力テーブルを利用して、各アプリの対応をまとめる。まず、図６に示すマップ上のスコアは、図８のレーン認識、図９の車両検知、図１０の歩行者検知、図１１の標識検知に示すように、各アプリの処理領域を考慮した分割方法とする。

図８は、レーン認識のマップスコア利用方法の説明図である。ここでは、車線逸脱警報（ＬＤＷ）の処理領域となりうる領域を横方向に分割し、この領域L1〜L4別に、何％の面積に付着しているかをスコアとして算出する。これによってレーン認識が画像上で処理しない領域の水滴は無視して、レーン認識対象とする領域を分割したスコア付けとなる。領域を分割したのは、画面全体にまばらに汚れている場合は、車線変更中に車線移動による画面上の白線の移動を追跡することが可能であるが、分割した領域の一つが80％以上汚れているような場合は、画面上で白線がその領域に入ればトラッキング不可能である可能性が非常に高いことが予想される。このようなことに対処するために、全体的にまばらについた汚れと、局所領域の汚れを比較できるような手法として領域分割によるスコア付けで、レーン認識のフェール判定に利用するスコアとする。

また、レーン認識にとって重要なことは、自車両が白線を逸脱する直前に、白線が認識されていることが重要である。これを考慮すると、上記すべき均一にスコアマップから領域計算する処理でも良いか、それよりも、レーン認識にとって重要な上記車線逸脱前に白線が撮影される画像上の位置はおおよそ決まっている。このため上記重要性を考慮し、白線逸脱前の白線位置では、スコアマップに重要性の重み付けマップで掛けた後に領域計算を実施することで、更にレーン認識にとって最適なタイミングで抑制モードや、汚れ除去、フェールの判断を実施できるようにしてもよい。

また、反射検知の結果の場合には、各アプリケーションによって影響の出方が異なる。車線認識で、誤検知要因となる領域は、マップスコア上のスコアが高い場所ではなく、むしろ低い場所である。反射検知の場合には、周囲と比較し輝度が高いほど、スコアが高くなるようなロジックとなっているが、白線認識では、飽和した高輝度領域などは、白線と比較して太すぎるなどの条件から白線の誤検知要因とはならない。むしろ、高輝度領域から薄く伸びて線上になっている領域が誤検知要因となりやすい。この性質を利用すると、マップ上のスコアの換算方法が、スコアが高い領域は低くカウントし、スコアが０ではなく低い領域は高めにカウントして、反射領域の多さを指標として反射強度の結果へ反映させてもよい。

図９は、車両検知のマップスコア利用方法の説明図である。ここでは、レーン認識と同様に局所的な汚れにも対応可能なように認識対象となる処理領域を分割し、この領域内の最も高いスコアを最終スコアとして利用する。特に車両検知については、レーン認識の結果に応じて、白線をベースに領域を分割することで車線別に認識対象とするか判定することで、処理領域別にカメラの認識しづらさをスコアとして抽出可能である。車線内の移動に応じて分割方法を動的に変更してもよい。また、車両認識にとっては、画面上の汚れの大きさが同じであっても遠方の汚れの方が認識性能には大きな影響を与える。これは、遠方の一部に少しの汚れが付着すると、遠方の車体が見えない比率が大きく、近傍であればそれは車体の一部が見えないだけで、もともと画面内の車体の大きさと比較すると見えない比率が小さい。これを考慮して領域計算してもよい。つまり、車両検知処理領域の世界座標において汚れが何パーセントを占めているかの比率で、スコアを計算してもよい。このようにすると、画面上の汚れの比率を示す指数というよりも、世界座標上の路面のどの位置にいる車両は見えないという指数として表現可能であり、汚れ除去や、フェールの適切なタイミングを考慮し易い閾値となる。

反射検知の場合には、図１３の反射領域の計算を実施する際には、マップ上のスコアは、周囲よりも輝度が高いことを示すスコアとなっているため、車両検知では、多少明るい程度であればヘッドライト周囲の車体特徴量を取得する為にも処理対象として含ませたい。このためある一定値以下のスコアはカウント対象外として領域計算を実施する。これにより安定して車両検知への反射の影響を判断することが可能となり、適切なタイミングで抑制モードなどへ移行することができる。

図１０は、歩行者検知のマップスコア利用方法の説明図である。ここでは、レーン認識と同様に局所的な汚れにも対応可能なように認識対象となる処理領域を分割し、この領域内の最も高いスコアを最終スコアとして利用する。このスコアは、図１０とは異なり、奥行き方向にも分割されていてもよい。歩行者検知も車両検知同様で、世界座標においてどの程度、汚れで見えない領域なのかという考え方のものと領域計算を実施することで、実世界における検知対象の低下を数値化することができ、抑制モードへの移行や汚れ除去、フェールの判定が適切なタイミングで実施可能である。

図１１は、標識検知のマップスコア利用方法の説明図である。ここでは、自車両走行路上には認識対象がないと考え、路外に立つ標識を検知するために、自車走行路の左右に処理領域をもうけ、これを左右別にわけてスコアを算出する。信号等も認識処理対象とする場合には、走行路の上空にあることを想定した処理領域の設定を実施してもよい。標識検知も車両検知同様で、世界座標において路面がどの程度、汚れで見えない領域なのかという考え方のものと領域計算を実施することで、実世界における検知対象の低下を数値化することができ、抑制モードへの移行や汚れ除去、フェールの判定が適切なタイミングで実施可能である。

また、他のアプリケーションと大きく異なる部分としては、路面よりかなり高い位置にある標識を認識対象としているために、路面における反射、路面水膜による映り込み、走行路環境からは影響を受ける可能性が極めて低い。このため、抑制モードにも移行しないような図１５のテーブル設定とする。

分割領域中で最もスコアの高い領域を基にして、マルチアプリの対応方法を選択する。画像診断ではできる限り処理可能な広範囲について水滴付着、白濁、視界不良を処理し、これを利用するマルチアプリの処理領域を考慮したスコアに変更することで、各アプリのフェール判定に利用する。これにより各アプリの性質を考慮した適切なスコア付けが可能となり、更に、このスコアを利用することでアプリの耐汚れ性能を考慮した図１２から図１５に示すような対応方法の選択に利用しやすい指標とすることができる。

各ロジックの処理領域内の汚れ量を指標とするために、汚れ量とロジックの汚れによる性能低下の相関が高い指標を作りやすく、これを基にして、図１２から図１５に示すようなフェール判定を実施する。

また、フェール判定表は、シーンに応じて動的に変更することで、更に適切なタイミングでの抑制モードや、汚れ除去、フェール判定に利用しても良い。まず、水滴検知であるが、雨の降り始めなどはすぐにカメラレンズ表面に水滴がつかないとの考え、天候検知が雨と判定してから水滴検知の値を参照するようにしても良い。抑制モードや、汚れ除去ハードの起動、フェール判定をより誤動作させないようにするために、天候検知の雨判定結果を必須とし、検知ロジックと併用する方法でも良い。ただし、一定時間以上の間の雨判定検知の結果を条件とし、この条件をクリアしたワイパー終了時には、雨上がりで路面がまだ濡れているために路面からの水の跳ね上げの可能性が高いとして一定時間の間は水滴検知の結果を利用するようにしても良い。また、天候検知の雨判定ではなく、ワイパーの動作を代用してもよい。

また、天候検知部で雪判定がされたような場合には、雪の巻き上げや融雪剤の巻き上げが予想されレンズ汚れが早く進行し易いために、早く抑制モードへの移行、及び、汚れ除去ハードの起動をするために、白濁や視界不良の閾値を見直してもよい。

ステップS4では、システムフェール判定を実施する。画像自己診断結果に応じた対応方法を、図８のレーン認識、図９の車両検知、図１０の歩行者検知、図１１の標識検知に示したが、各アプリの耐汚れ性能がそれぞれ異なるだけでなく、汚れの種類によっても各アプリの耐久性の強さは変化する。例えば、レーン認識については泥の汚れ等の視界不良系の汚れに関する耐久性は比較的高い。これはそもそも破線やボッツドッツを認識対象としているために、白線の一部がレンズ上の泥によって見えなくとも、その前後の領域で白線の一部を特定することが可能であれば、十分に認識性能を保つことができるからである。

反対に、歩行者検知等は画像上では小さな領域であったとしても、遠方の歩行者が映る場所が汚れた場合には、歩行者の半身以上を隠してしまうようなことも想定されるような状況では、性能を保つことが困難であり、汚れ耐性はそれほど強くない。車両検知も歩行者検知同様に汚れ耐性はさほど強くないが、画像上における検知対象の大きさが大きいために、歩行者検知と比較すると多少汚れ耐性が全体的に高い。

標識検知も、歩行者検知同様に汚れ耐性は強くなく、遠方の視界が遮られれば、認識が困難となる。しかしながら、標識検知は、他アプリとは異なり、比較的高さがある場所に付いているという限定があるため、路面水膜や路面反射等に対しては、他アプリケーションが認識困難な状況であっても通常通り認識可能であることが多く、路面水膜や路面反射に対する耐久性は高い。図３のフェール演算部310は、このようにアプリケーションによる耐久性の違いを考慮したフェール判定を実施する。

例えば、レーン認識フェール判定部301は、図１２に示したレーン認識フェール判定表を基にして、レーン認識の汚れ耐性を考慮した対応についての判定処理を行う。図１２の表に示す抑制モード１は、レーン認識にとっての抑制モードを示し、誤検知が多発しそうなシーンにおいて、汚れ耐性を強化するためにパラメータを変更若しくはレーン認識の誤検知抑制モジュールを追加動作するモードである。直線として抽出する条件をより厳しくする等、白線の信頼性が通常時よりより高くなければ警報を抑制する等の誤警報抑制を行っている。

抑制モード２は、更に誤検知を抑制するためにチューニングした動作モードであり、後続車の反射を避けるために処理領域を近傍の半分にし、レーン認識の位置、ヨー角、曲率等の精度を犠牲にしても、処理領域内に入るヘッドライトの路面反射による誤検知を削減するようなモードである。

抑制モード１及び抑制モード２については、他のアプリとは関連せずに、レーン認識アプリケーションの中で閉じる動作であるため、システム制御部350に渡され、そのままでアプリ実行部400のレーン認識部410で実行される。

ステップS5では、画像自己診断の結果に基づいて、システムフェール判定部352において、抑制モード１若しくは２又は汚れ除去ハードの起動、システムフェールと判定された場合にはNoを選択し、それ以外の汚れ無しの場合にはYesを判定する。ただし、画像自己診断の結果以外の、例えば車両情報から、強制的に抑制モードへの移行、汚れ除去ハードウェアの起動若しくはフェール判定を実施してもよい。

ステップS6は、画像自己診断結果に応じて汚れや反射等の存在が認められた場合に、これがアプリケーションの耐久範囲内であるかどうかを判定する。画像認識の誤検知を抑制する抑制モードで対応可能な範囲内であればYesと、誤検知抑制をソフト処理だけでは対応困難と判断した場合にはNoと判定する。

ステップS7では、ステップS6においてYesと判断された場合に、アプリケーションのソフト処理変更だけで対応可能と判断し、誤検知抑制モードにて各アプリケーションを起動する。

ステップS8では、ステップS6においてNoと判断された場合に、汚れ除去ハードウェアの起動で汚れ除去可能な汚れであるかどうかを判定する。画像自己診断S2の診断結果より、レンズに付着した汚れかどうかを判別する。悪天候、路面反射、路面水膜、光源環境、走行路環境等が原因の場合には、レンズ自体をきれいにしても画像認識環境を改善することはできないが、レンズ汚れに起因する診断結果であり汚れ除去ハードウェアによる改善が見込める場合にはYesを判定し、改善が見込めない場合にはNoを判定する。

ただし、レンズが汚れていると判定しているにも関わらず、汚れ除去の効果が認められなかった過去履歴を持っている場合には、これも考慮して、汚れ除去ハードでは改善可能ではないとNoを判定するようにしてもよい。

ステップS9では、ステップS8において汚れ除去ハードによりレンズ状態を改善可能であると判定した場合に、汚れ除去制御を実施する。

ステップS10では、ステップS8において汚れ除去ハードによりレンズ状態を改善可能でないと判定した場合に、フェール判定することにより、現在画像認識アプリケーションが通常動作できない状況にあることをユーザに伝えるか、又はアプリケーションの動作を停止させる。

フェール判定については、汚れ除去ハードを実施しても汚れがとれずに更に汚れが付いた場合、汚れ除去するスピードよりも早く汚れ付着が進行した場合等、アプリケーションを有効に動作できないことを意味する判定である。仮に、汚れ除去ハードウェアが存在しない場合には、抑制モード１及び抑制モード２では対応できなくなった場合の最終判断として、アプリケーションの動作をギブアップするという意味を持つ。

フェール判定の結果をシステム制御部350に伝えて、各アプリケーション別にフェール判定を行うことで、その性能を保てる限界までアプリケーションを動作させることによりアプリケーションの適応範囲を広げることができる。もちろんユーザがシステムの動作状態をより簡単に把握できるように、動作アプリケーションのみを考慮し、その中の一つのアプリケーションでもフェール判定された場合に、システム全体をフェール判定してもよい。更に簡易とするには、全アプリケーションの一つでもフェール判定された場合に、システム全体をフェールするような構成でもよい。こうして、各アプリケーションの耐汚れ性能を考慮したフェールが設定可能である。

各アプリケーションのフェール判定部の動作については、後述するとして、ここでは全体の処理フローを示すためレーン認識の概要を記述し、他アプリケーションの動作については省略する。

ステップS11では、これらの結果を考慮し、フェールのステップS10以外のルートをたどる場合には、それぞれのアプリケーションに対応する結果を考慮して、マルチアプリケーションを動作する。

以上のシステムフェール部の判定のステップS5からステップS10の判定は、各アプリケーション（レーン、車両、歩行者、標識）別にそれぞれ実施し、最後にマルチアプリを実行する。これにより、各アプリケーションの耐汚れ性能を考慮した対応が可能となり、アプリケーション別のフェール判定等が可能となる。システム開発においても、ベース機能としてこのような仕組みがあればアプリケーションの搭載が増えたような場合にも、簡単に対処することができる。

次に、図１２が示すレーン認識フェール判定表の一例により、レーン認識フェール判定について説明する。以下、画像診断結果に応じた４種類の対応方法について説明する。

レーン認識は、他の画像認識アプリケーション（車両検知、歩行者検知、標識検知）と比較して、汚れ耐性は高いが、汚れが増えてくると誤検知が増加する。この対応方法として、画像認識のソフト処理変更で対応可能な範囲内では抑制モード１又は抑制モード２で対応する。これはレンズ付着の汚れが多い場合又は路面の状態が悪く誤警報の可能性が高くなる路面状態にあるとの判定時に利用する。

抑制モード１では、白線を選択する際の白線特徴量が直線状に並ぶ条件をより厳しくし、より長く若しくは特徴量数がより多いものだけを白線候補として捉えることとする。これにより不検知状態は増えるが、不安定状態での誤警報を抑制することができる。

また、直線状に並んだ白線特徴量の数を時間方向に解析し、白線が見えやすい状況にあるかどうかを数値化した視認性を基にして警報を鳴らすかどうかを判定しているが、通常時と比較し、ある程度視認性が高い、白線が良く見えている可能性が高い場合にのみ警報をならすような調整を実施することで、誤警報を抑制する。また、最終的なレーンの検知結果を時間方向に解析した場合についても、時間方向に解析した場合、検出した白線までの横位置の安定性や、車線と車両の傾きを示すヨー角の安定性についても解析し、ある程度安定している場合にのみ警報をならすような調整を実施する。

抑制モード２では、抑制モード１で実施した対策は基本的にそのまま実施し、更に追加で、強烈な路面反射や遠方のノイズ要因を誤認識しないように、処理領域を近傍にする調整を実施することで、誤検知を抑制して誤警報を削減する。視認性や直線抽出の条件等は、更に厳しい条件として、不検知側に振ることで、誤検知抑制へ向けた調整を実施する。また、誤警報を抑制する意味でも、警報のタイミングを若干遅らせて実施することにより、タイヤが少しはみ出した程度では警報が鳴らないように設計することで、誤警報を抑制し、極力ユーザにわずらわしさを与えない設計方針とする。

抑制モード１及び抑制モード２では対応困難な汚れ付着があった場合には、汚れ除去ハードウェアを稼働させ、レンズ汚れの状態が軽減されれば、その汚れ状態に応じて、抑制モード１、抑制モード２又は通常状態の認識処理を実施する。汚れ状態の改善が見受けられないか、又は更に汚れ状態がひどくなった場合には、画像認識をギブアップするフェールの判定を実施する。

画像診断結果に応じた閾値設定は、図１２に示すとおりであり、水滴、白濁、視界不良は、他アプリケーションと比較して耐久性の高い数値となっている。反射検知は、汚れ除去ハードでは対応不可のため、非常に厳しい路面反射状態では、フェール判定を出すこともありうる。

また路面水膜については、フェール判定は実施しない。走行路環境についても抑制モード１又は抑制モード２は入れるが、汚れ除去及びフェール判定は実施しない。周囲の光源環境、天候についても同様である。ワイパーは、フロントワイパー状態から雨状態を推定して抑制モードやフェールの判定に利用する。汚れ除去ハード情報は、汚れハードの起動状態では、汚れを除去する最中であり画像認識に適しないため、抑制モード１及び２で対応する。また、汚れ除去ハード稼働による効果が認められない場合には、フェール判定を実施する。

次に、図１３が示す車両検知フェール判定表の一例により、車両検知のフェール判定について説明する。以下、画像診断結果に応じた４種類の対応方法について説明する。

車両検知は、他の画像認識アプリケーション（レーン認識、歩行者検知、標識検知）と比較して、汚れ耐性はあまり高くなく、汚れが増えてくると誤検知が多発する。この対応方法として、画像認識のソフト処理変更で対応可能な範囲内では抑制モード１又は抑制モード２で対応する。これはレンズ付着の汚れが多い場合又は路面の状態が悪く誤警報の可能性が高くなる路面状態にあるとの判定時に利用する。

抑制モード１では、車両と確定するまでの時間を、通常時と比較して伸ばすことにより、車両であるとの確信度が高い時のみ検知する。最遠方の検知距離は多少犠牲にして、誤検知抑制を実施する。水膜反射やヘッドライトの路面反射の対策ロジックを判定し易い調整を実施し、この判定の結果を持って、車両誤検知を抑制する。

抑制モード２では、路面反射又は遠方のノイズ要因を誤認識しないように、処理領域を近傍にし、検知距離を短くするのが誤検知を抑制する上で大きな効果がある。また、検知対象とする車両を自車両にとって危険性の高い車両に絞り、その他の車両を認識対象から削ることで誤検知を削減する。例えばフロントカメラの場合には自車走行レーンの前方車両のみを対象とし、後方カメラの場合には、自車両に接近してくる車両のみを対象にする等により、検知対象を絞り込むことで、誤検知削減を実施する。

これらの抑制モード１及び抑制モード２では対応困難な汚れ付着があった場合には、汚れ除去ハードウェアを稼働させ、レンズ汚れの状態が軽減されると、その汚れ状態に応じて、抑制モード１、抑制モード２又は通常状態の認識処理を実施する。汚れ状態の改善が見受けられないか、又は更に汚れ状態がひどくなった場合に、画像認識をギブアップするフェールの判定を実施する。

車両検知では、例えば抑制モードの数を増やして、周囲環境に合わせたモードの管理を実施してもよい。例えば雨の可能性が高い場合には、路面反射や水滴対策を強化し、レンズ白濁時や低コントラスト時は車両が検知できるように調整する必要がある。それぞれの状態に適切なモードに切り替えることで、全体性能をより良くするモード管理方法とする。

画像診断結果に応じた閾値設定は、図１３に示すとおり、水滴、白濁、視界不良は、他のアプリケーションと比較して耐久性があまり高くない数値となっている。反射検知は、汚れ除去ハードでは対処不可能であるため、路面反射状態では、フェール判定を出す。また路面水膜については、フェールの判定は実施しない。

車両検知では、走行路環境の影響は受けにくいため、走行路環境の情報は特に利用しない。周囲の光源環境及び天候については、抑制モード１又は抑制モード２で対応する。ワイパーは、フロントワイパー状態から雨状態を推定して抑制モード２又はフェールの判定に利用する。汚れ除去ハード情報は、汚れハードが起動して汚れを除去する最中は画像認識には適しないため、抑制モード１又は抑制モード２で対応する。また、汚れ除去ハードの稼働による効果が認められない場合には、フェール判定を実施する。

次に、図１４が示す歩行者検知フェール判定表の一例により、歩行者検知のフェール判定について説明する。以下、画像診断結果に応じた４種類の対応方法について説明する。

歩行者検知は、他の画像認識アプリケーション（レーン認識、車両検知、標識検知）と比較して、汚れ耐性は低く、汚れが増えてくると誤検知が多発する。この対応方法として、画像認識のソフト処理変更で対応可能な範囲内では抑制モード１又は抑制モード２で対応する。これはレンズ付着の汚れが多い場合又は路面の状態が悪く誤警報の可能性が高くなる路面状態にあると判定された場合に時に利用される。

抑制モード１では、歩行者と確定するまでの時間を、通常時と比較して伸ばすことにより、歩行者であるとの確信度が高い時のみ検知する。最遠方の検知距離は多少犠牲にして、誤検知抑制を実施する。

抑制モード２では、路面反射又は遠方のノイズ要因を誤認識しないように、処理領域を近傍にし、検知距離を半分程度にするのが誤検知を抑制するには、大きな効果がある。

これら抑制モード１及び抑制モード２では対応困難な汚れ付着があった場合には、汚れ除去ハードウェアを稼働させ、レンズ汚れの状態が軽減されると、その汚れ状態に応じて、抑制モード１、抑制モード２又は通常状態の認識処理を実施する。汚れ状態の改善が見受けられない、又は更に汚れ状態がひどくなった場合には、画像認識をギブアップするフェールの判定を実施する。

画像診断結果に応じた閾値設定は、図１４に示すとおり、水滴、白濁、視界不良は、他のアプリケーションと比較して耐久性の低い数値となっている。反射検知は、汚れ除去ハードでは対処不可能であるため、路面反射状態では、フェール判定を出す。また路面水膜については、フェール判定は実施しない。

歩行者検知では、走行路環境の影響は受けにくいため、走行路環境の情報は特に利用しない。周囲の光源環境及び天候については、抑制モード１又は抑制モード２で対応する。ワイパーは、フロントワイパー状態から雨状態を推定して抑制モード１、抑制モード２又はフェールの判定に利用する。汚れ除去ハード情報は、汚れハードが起動して汚れを除去する最中は画像認識には適しないため、抑制モード１又は抑制モード２で対応する。また、汚れ除去ハードの稼働による効果が認められない場合には、フェール判定を実施する。

次に、図１５が示す標識検知フェール判定表の一例により、標識検知のフェール判定について説明する。以下、画像診断結果に応じた４種類の対応方法について説明する。

標識検知は、他の画像認識アプリケーション（レーン認識、車両検知、歩行者検知）と比較して、汚れ耐性は低く、汚れが増えてくると誤検知が多発する。この対応方法として、画像認識のソフト処理変更で対応可能な範囲内では抑制モード１又は抑制モード２で対応する。これはレンズ付着の汚れが多く誤認識の可能性が高くなる路面状態にあるとの判定時に利用する。

また、標識検知は路面から高い位置にある標識を対象とするため、路面で生じる反射から又は路面が濡れていること自体から、認識性能には直接影響はしない。ただし、画面上で小さな標識を検知対象とするために、水滴や汚れに対しては、耐汚れ性能は低い。

抑制モード１では、標識と確定するまでの時間を通常時と比較して伸ばすことにより、標識であるとの確信度が高い時のみ検知する。最遠方の検知距離は多少犠牲にして、誤検知抑制を実施する。

抑制モード２では、遠方のノイズ要因を誤認識しないように、処理領域を近傍にして検知距離を短くすることが、誤検知を抑制する上で大きな効果がある。

これらの抑制モード１及び抑制モード２では対応困難な汚れ付着があった場合には、汚れ除去ハードウェアを稼働させ、レンズ汚れの状態が軽減されると、その汚れ状態に応じて、抑制モード１、抑制モード２又は通常状態の認識処理を実施する。汚れ状態の改善が見受けられないか、又は更に汚れ状態がひどくなった場合には、画像認識をギブアップするフェールの判定を実施する。

画像診断結果に応じた閾値設定は、図１５に示すとおり、水滴、白濁、視界不良は、他のアプリケーションと比較して耐久性が低い数値となっている。反射検知は、路面反射状態は直接的には標識検知の認識性能には影響しないと判断し、フェール判定には利用しないものとする。

周囲の光源環境、天候については、抑制モード１又は抑制モード２で対応し、西陽時等の逆光はフェール判定する。ワイパーは、フロントワイパー状態から雨状態を推定して抑制モードやフェールの判定に利用する。汚れ除去ハード情報は、その汚れハードの起動状態では、汚れを除去する最中は画像認識には適しないため、抑制モードで対応する。また、汚れ除去ハード稼働による効果が認められない場合には、フェール判定を実施する。

以上、本発明によれば、汚れてきたカメラに対して、各アプリの一般的には異なる耐汚れ性能を考慮して、撮像装置のレンズの汚れの状況を各アプリ別に判断し、抑制モード、汚れ除去制御若しくはフェールの判定を実施するので、各アプリ別に、安定した画像認識アプリケーションの動作を保障すると共にその動作適応範囲を有効に拡げることができることにより、車載環境を認識するシステムの性能アップに寄与する。

上記の判定に閾値を用いること、閾値等を記憶したマップを利用することにより、各アプリ別に、システムを作動するソフトの変更を容易かつ確実そして安価に実施することができる。

汚れてきたカメラに対して、各アプリ別に耐久範囲内であるか否かを判断することにより、カメラのレンズの汚れによる誤検知を防止することができる。

各アプリ別に判断し、抑制モード、汚れ除去制御若しくはフェールの判定を実施する上で、対象を動作中のアプリに絞ることにより、システムの稼動を必要なアプリのみに限定することにより、システム全体を変更することなく、種々の状況において所望のアプリのみを対象とすることを容易に実施することができる。

10…車載環境認識装置、100…撮像部、
200…画像自己診断部、201…レンズ水滴検知部、202…レンズ白濁検知部、204…視界不良検知部、206…反射検知部、207…路面水膜検知部、208…走行路環境検知部、209…光源環境検知部、210…天候検知部、
300…各アプリフェール判定部、301…レーン認識フェール判定部、302…車両検知フェール判定部、303…歩行者検知フェール判定部、304…標識検知フェール判定部、310…フェール演算部、
350…システム制御部、351…システム動作把握部、352…システムフェール判定部、353…汚れ除去制御部、360…車両情報部、
400…マルチアプリ実行部、410…レーン認識部、420…車両検知部、430…歩行者検知部、440…標識検知部、
本明細書で引用した全ての刊行物、特許および特許出願をそのまま参考として本明細書にとり入れるものとする。

Claims

撮像装置で撮像された画像を取得する撮像部と、
前記撮像部で取得された画像に対して前記撮像装置のレンズの汚れ状態及び周囲環境を診断する画像自己診断部と、
所定のアプリケーション群から選択されたアプリケーションを実行するアプリ実行部と、
前記画像自己診断部によるレンズの汚れ状態及び周囲環境に関する診断結果と、予め設定されたアプリケーションごとの閾値との比較結果に基づいて、前記アプリ実行部が実行するアプリケーションを誤検知抑制のために処理パラメータを調整した抑制モードに移行すべきか、レンズの汚れ除去制御を行うべきか、あるいは前記アプリケーションのフェール判定を行うべきかを決定するフェール判定部とを、
備えることを特徴とする車載環境認識装置。
請求項１に記載された車載環境認識装置において、
前記画像自己診断部は、レンズの汚れ状態を前記アプリ実行部が実行するアプリケーションに応じた処理領域にて診断した診断結果を出力することを特徴とする車載環境認識装置。
請求項１又は２に記載された車載環境認識装置において、
前記画像自己診断部は、レンズ水滴検知部、レンズ白濁検知部及び視界不良検知部を備え、レンズの汚れ状態に関する診断結果を出力することを特徴とする車載環境認識装置。
請求項１から３のいずれかの請求項に記載された車載環境認識装置において、
前記画像自己診断部は、反射検知部、路面水膜検知部、走行路環境検知部、光源環境検知部及び天候検知部を備えて、周囲環境に関する診断結果を出力することを特徴とする車載環境認識装置。