JP5952822B2 - 夜間に霧を検出するための方法および装置 - Google Patents

Description

本発明は、シーン（景色、状況）が１つまたは複数の光源によって照らされているときに、そのシーンの視認性を阻害する霧等の要素の存在を検出するために夜間に用いられる方法に関する。

本発明は、具体的には、シーンが車両、特に路上車両の運転手の視界域に現れるものである場合に、そのような阻害要素を検出することに関する。そのような要素を検出することにより、本発明は、運転手の明視距離の判定を補助し、走行および車の挙動を、場合によっては自動的に、視認性の条件に適合させることができる。本発明はまた、この方法を実行可能とするコンピュータプログラム、この方法を実行するための装置、さらにはそのような装置を含む車を提供する。

本発明は、自動車の分野に適用され、特に光および信号を出す路上車両の分野に適用され、ビデオ監視の分野にも適用される。

霧の存在を検出可能な装置は既に存在する。そのような装置は、特に、ライトおよび点灯装置に自動的にスイッチが入るように、および運転手が車の前方に位置する道路のシーン（道路状況）の視認性に応じて車両の速度を適合させることを可能とするために用いられる。

霧の存在を検出するための装置の１つは、霧の存在を推定するために、大気中の透過を評価する光検出測距（ライダー、ＬＩＤＡＲ）タイプの衝突防止装置を利用する。不都合なことに、ライダーは非常に高価な装置であるため、輸送車上にライダーを体系的に備え付けることは考え難い。

米国特許６８５３４５３号で提案されている別の装置は、阻害要素の存在を検出するために、検討対象のシーンに配置されたターゲットを利用する。この方法は、シーンにターゲットが配置されることを要求するため、非常に制約があり、移動用途には適用できない。

特開平１１−２７８１８２号で提案されている別の装置は、検討対象のシーンに現れる車両のテールランプの周囲に現れる光のハローを識別および特性分析することに基づいている。このシステムの欠点は、シーンに現れる車両のライトが皆無である場合には機能しないことである。

米国特許出願公開第２００８／０００７４２９号で提案されている別の装置は、当該装置が配置された車のヘッドライトからの光の後方散乱を利用する。しかし、このシステムは、具体的には画像のごく局所的な解析に基づいているため、信頼性が不十分であり、ある種の環境、具体的には相当明るく照らされている環境では、視認性を阻害する要素の存在の検出には有効でないことがわかっている。

夜間に霧を検出するために、比較的多くの装置が提案されていることが理解できる。しかし、これらの装置のいずれも、真に満足できるものではない。これらの装置の各々は、限定的な処理範囲においてのみ有効であり、その他の大気条件下では、霧を有効に検出できない。

従って、本発明の目的は、これらの種々の装置の欠点を緩和し、夜間に少なくとも１つの光源によって照らされたシーン（景色、状況）の視認性を阻害する要素の存在を検出するための方法を提案することである。上記の要素は、霧、煙、雨および雪を備える群に属する。この方法は、カメラを用いてシーンの少なくとも１つの画像が取得される工程ａ）を備える。上記少なくとも１つの光源は、カメラに対して静止して、または回転可能に取り付けられている。この方法は、ほとんどの環境下で満足な結果を提供し、シーンに特別な要素が存在することまたは配置されることを必要としない。

この目的は、当該方法が以下の工程をさらに備えていることによって達成される。
上記少なくとも１つの画像において、シーンにおける少なくとも１つの光源形成部分を検出する工程ｂ１）、
上記少なくとも１つの画像において上記の光源の近傍に現れるハロー（halo）に基づいて阻害要素の存在を検出する工程ｂ２）、
静止して、または回転可能に取り付けられた上記光源によって照らされた光の後方散乱に基づいて、上記少なくとも１つの画像またはその一部における阻害要素の存在を検出する工程ｃ）、および
シーンの視認性を阻害する要素の存在に関する指標を出力する態様で、工程ｂ２）およびｃ）で実行された検出の結果を重み付けする（pondere）工程ｄ）。

このような装置で通常実行される画像解析方法の有効性は、シーンにおける光源の存在に強く依存することが理解される。

有利には、この方法は、阻害要素の存在を検出するための２つの補足的技術を組み合わせる。
・工程ｂ１）およびｂ２）：シーンにおいて特定された光源の周囲のハローを検出する、および
・工程ｃ）：静止してまたは回転可能に取り付けられた光源によって照射された光の後方散乱を解析する。

これら２つの技術を組み合わせる利点は以下の通りである。
・照らされている環境では、後方散乱光の強度が低く、カメラのレンズに向かって反射された様々な種類の放射の中で特定し難いため、後方散乱の解析に基づく技術はほとんど機能しない。一方、光源が存在し、光源を含む、照らされている環境（典型的には都会の環境）では、ハロー解析技術は有効である。
・照らされていない環境では、シーンの画像は、静止してまたは回転可能に取り付けられた光源によってシーンが照明される態様に相当程度依存する。静止してまたは回転可能に取り付けられた光源によって生成された光のビームの予め知られた特性を用いることによって、照射された光の後方散乱の解析技術を、阻害要素の存在を検出するために有効利用できる。

なお、工程ｂ１）において識別される光源は、通常は電源から、光を実際に放出する能動的要素であり、その他から受けた放射を再放出するに過ぎないものではない。従って、工程ｂ１）において特定される光源は、受けた光を反射および／または拡散させる役割しか果たさない受動的要素ではなく、夜間に識別することが通常困難である要素ではない。

有利には、工程ｂ１）、ｂ２）およびｃ）の各々は、単一の画像を用いて実行でき、または、滑らかに連続する複数の画像であって検討対象としているシーンの実質的に同一のビュー（視界）を表すように十分素早く取得されるべき画像を用いて実行することもできる（コンピュータの少量の位置変更（recalage）後に実行することもできる）。上述の工程ｂ１）、ｂ２）およびｃ）によって構成される処理には、実質的に同時に取得されたものであることのみが求められる。また、有利には、阻害要素の存在に関する情報は、非常に素早く、例えば車両が霧の塊に侵入するとすぐに、得られうる。このことは運転の安全性の観点から非常に有利である。

また、工程ｂ１）、ｂ２）およびｃ）は、モノクロのカメラまたはカラーのカメラを用いて同様に実行でき、カラーの情報が用いられることは本発明の実行にとっては任意に過ぎない。

阻害要素の存在に関する本発明の装置によって提供される指標は、２値であってもよく、多値であってもよく、例えば０％〜１００％の範囲のパーセンテージであってもよい。

想定される本発明の適用例では、検討対象のシーンを照らす光源は、通常、カメラに対して静止している。このように、車両に搭載された装置では、光源およびカメラの両方が車両に対して静止している。光源は、典型的には車のヘッドライトであり、詳細には、非常に多くの場合、光源（放射が出射される部分）の焦点はカメラの画像には現れない。静止した、すなわち地面に対して静止した装置を用いる場合、光源は、例えば街灯またはその他のライトである、地面に対して静止したいかなる光源であってもよい。

代替案では、光源を、カメラに対して回転可能または方向付け可能（orientable）とする。例えば、装置が車両に搭載されている場合、回転可能に取り付けられた光源は、車両における方向付け可能ヘッドライトであってもよい。

本発明の方法は、有利には、１つまたは複数の以下の工程も有していてもよい。
・工程ａ）において、複数の画像を取得し、これらの複数の画像の平均をシーンの画像をとしてもよい。

工程ｂ２）は、好ましくは、その工程の間に、検討対象とする各ハローについて、ハローの光の強度の低下が特徴づけられる工程である。工程ｂ２）は以下の中間工程を含んでいてもよい。
工程ｂ１）において検出された光源に対応する対応する画像部分を、１つずつかつグループ化することなく当該光源を識別する態様でセグメントに分ける工程ｂ２１）。

工程ｂ２）は、以下の中間工程を含んでいてもよい。
・シーンにおいて識別された光源に関連づけられる少なくとも１つの画像部分について、当該画像部分における光源の中心を識別することによって阻害要素の存在を検出する工程。

工程ｂ２）は、以下の中間工程を含んでいてもよい。
シーンにおいて識別された光源に関連づけられた少なくとも１つの画像部分について、当該少なくとも１つの画像部分に描かれた線分（セグメント）に沿って強度プロファイルを解析することによって阻害要素の存在を検出する工程ｂ２３）。

この線分（解析セグメント）は、光源を取り囲むハローを抽出するための相異なる閾値で計算された光源の中心を補完することによって、定められ得る。

工程ｃ）は、以下の中間工程を含んでいてもよい。
カメラによって生成されたまたは光学的シミュレーション計算から得た、少なくとも１つの基準画像を提供する工程ｃ１）。

工程ｃ）は、以下の中間工程を含んでいてもよい。
比較のスコアを得る態様で、上記少なくとも１つの画像またはその画像の上記一部と、上記少なくとも１つの基準画像とを比較する工程ｃ２）。

本発明の第２の目的は、夜間に少なくとも１つの光源によって照らされたシーンの視認性を阻害する要素の存在を検出する方法を実行する命令を含むコンピュータプログラムを提案することである。上記の要素は、霧、煙、雨および雪を備える群に属する。このプログラムは、コンピュータによって実行されたときにほとんどの環境下で満足な結果を提供し、シーンに特別な要素が存在することまたは配置されることを必要としない。

この目的は、プログラムが上述の方法を実行する命令を含むことによって達成される。「コンピュータ」という用語は、あらゆるタイプのコンピュータまたは計算手段、特に車両に搭載されたコンピュータを含む。

本発明はまた、上述したコンピュータプログラムが記録された、コンピュータが読み出し可能な記録媒体を提供する。

本発明の第３の目的は、夜間に少なくとも１つの光源によって照らされたシーンの視認性を阻害する要素の存在を検出する装置を提供することである。上記の要素は、霧、煙、雨および雪を備える群に属する。この装置は、シーンにおける少なくとも１つの画像を取得することに適したカメラと、カメラによって供給された画像を処理するプログラムを実行することに適した計算手段とを備えている。上記少なくとも１つの光源は、カメラに対して静止してまたは回転可能に取り付けられた光源である。この装置は、ほとんどの環境下で満足な結果を提供し、シーンに特別な要素が存在することまたは配置されることを必要としない。

この目的は、装置における計算手段が、以下の処理が実行されるようにカメラによって供給された画像を処理するプログラムを実行することに適しているということによって達成される。
上記少なくとも１つの画像から、シーンに現れる少なくとも１つの光源を検出する処理ｂ１）、
上記少なくとも１つの画像において上記少なくとも１つの光源の近傍に現れるハローに基づいて阻害要素の存在を検出する処理ｂ２）、
上記搭載光源によって照らされた光の後方散乱に基づいて上記少なくとも１つの画像またはその一部における阻害要素の存在を検出する処理ｃ）、
シーンの視認性を阻害する要素の存在に関する指標を出力する態様で、工程ｂ２）およびｃ１）で実行された検出の結果を重み付けする処理ｄ）。

有利には、装置はまた、１つまたは複数の以下の改良を有し得る。

処理プログラムは、以下の処理を実行することに適していてもよい。
・シーンにおいて識別された光源に関連づけられる少なくとも１つの画像部分について、上記少なくとも１つの画像部分に描かれた線分（セグメント）に沿って強度プロファイルを解析することによって阻害要素の存在を検出する処理。

具体的に、この線分は、光源を取り囲むハローを抽出するための相異なる閾値で計算された光源の中心を補完することによって、定められ得る。

計算手段は、以下の処理が実行される態様で、処理プログラムを実行することに適していてもよい。
比較のスコアを得る態様で、上記少なくとも１つの画像またはその画像の上記一部と、上記少なくとも１つの基準画像とを比較する処理ｃ２）。

本発明はまた、夜間に少なくとも１つの光源によって照らされたシーンの視認性を阻害する要素の存在を検出するための装置を提供する。上記の要素は、霧、煙、雨および雪を備える群に属する。この装置は、
シーンにおける少なくとも１つの画像を取得することに適し、上記少なくとも１つの光源は、カメラに対して静止して、または回転可能に取り付けられた光源である、カメラａ）と、
上記少なくとも１つの画像において、シーンに属する少なくとも１つの光源を検出する手段ｂ１）と、
上記少なくとも１つの画像において上記少なくとも１つの光源の近傍に現れるハローに基づいて阻害要素の存在を検出する手段ｂ２）と、
上記搭載光源によって照らされた光の後方散乱に基づいて上記少なくとも１つの画像またはその一部における阻害要素の存在を検出する手段ｃ）と、
シーンの視認性を阻害する要素の存在に関する指標を出力する態様で、工程ｂ２）およびｃ１）で実行された検出の結果を重み付けする手段ｄ）と、を備える。

上述の計算、特に検出の工程は、コンピュータによって、および／または同一の処理のために設計されかつ同一の処理を実行可能であって電子信号により動作する電子要素によって、実行されるコンピュータプログラムを用いて実行できることもまた理解され得る。

最後に、本発明は、車両に搭載された少なくとも１つの光源によって照らされたシーンにおいて夜間に視認性を阻害する要素の存在を検出することに適しているため、運転がより安全となった車両、特に路上車両を提供する。上記の阻害要素は、霧、煙、雨および雪を備える群の部分を構成する。

このような車は、上述の装置を組み込んでいるということによって特徴づけられている。

簡略化の目的で、以下では、「霧」という用語が阻害要素を示すものために用いられるが、阻害要素が雨、雪、煙等であっても同様である。

以下の非限定的な例示的実施形態の詳細な記載を参照することにより、本発明をより理解でき、本発明の利点がより明らかとなる。この記載は、以下の添付図面を参照する。

図１は、本発明の装置を含む、路上車両の図である。 図２は、本発明の方法の具体例における工程のフローチャートである。 図３Ａおよび３Ｂは、それぞれ乾燥した天候および霧がある天候における、簡略化された夜間のシーンの略図である。 図４Ａ，４Ｂおよび４Ｃは、図３Ｂの画像における同一部分であって、当該画像部分における互いに相違する光源に対応する個別の領域を抽出するための、抽出用閾値が異なるものを示す。 図５Ａおよび５Ｂは、それぞれ霧がある天候および乾燥した天候において、光源が観察され得る画像の部分を示す。 図６Ａおよび６Ｂは、図５Ａおよび５Ｂに示されたセグメントに沿った光の強度の変化についての曲線を示す。 図７は、霧がある天候で照らされていない環境下で得られる、または得られうる画像の基準画像である。

図１に、本発明の霧検出装置１１０を備えた車１００を示す。車は、搭載光源として、ヘッドライト１０５を有している。これらのヘッドライトは、点灯時には車の前方の道路を照明する。道路は、他の光源、具体的には街灯１０７によっても照明される。

装置１１０は、搭載カメラ１２０および搭載コンピュータ１３０を備えている。夜間の運転時、コンピュータは、カメラ１２０によって供給される画像に基づいて、霧検出プログラムを実行するように構成されている。コンピュータ１３０は、本発明が意味するところの記録媒体を構成する読み出し専用メモリ（ＲＯＭ）を有し、この読み出し専用メモリ内に、本発明が意味するところのプログラムが記録されている。得られた霧の存在についての情報は、運転手に伝えられる、および／または、車両１００のその他の機器を制御するために搭載コンピュータ１３０によって用いられる。

コンピュータプログラムの制御下で搭載コンピュータ１３０によって実行される方法は、３つの段階を含んでいる（図２）。

第１段階ａ）では、カメラを用いてシーンの１つまたは複数の画像が取得される。通常は１つの画像で足りる。しかし、ノイズを低減する目的で、１つの画像を生成するために複数の画像を平均化することができる。これにより、単一の画像が得られる（初期画像）。

第２段階では、工程ａ）において取得された１つまたは複数の画像を用いて、２つの処理が並行して実行される。

第１処理ｂ）は、ハロー検出によって、霧の存在を検出する。

この第１処理の第１工程ｂ１）では、シーンにおける視認可能な光源、すなわち初期画像に現れる光源、が検出される。各光源によって照らされた画素は、識別され、各光源に対応する「ハロー」と称される画素のグループへとグループ分けされる。光源のハローに含まれる画素は、周囲の画素の光強度よりも高い光強度を有していることによって、特定される。初期画像に適用される閾値化処理によって、画像に現れる種々のハローが特定され、シーンにおける視認可能な光源を表すものとみなされる。一例では、カメラによって検知できる最大強度の８０％から９９％の範囲に、抽出用閾値の強度を選択できる。複数の光源が（画像において）互いに接近している場合には、ハローが複数の光源を包囲する場合がある。

図３Ａおよび３Ｂには、あるシーンにおいて光源を検出する際に、霧に応じて生じている相当の違いが示されている。図３Ａは、霧が無いシーンを示す。各街灯の光っている部分のみが特定されている（電球１０８およびカバー１０９）。各街灯１０７につき、ハロー（および光源）が特定されている。

一方、図３Ｂは、霧がある夜間における同じシーンを示す。画像における街灯からの光によって照らされた部分が一体となって、道路の両端に沿って拡がる単一のハローＨのみが形成されている。このように、光源の検出工程は、１つのみの光源を識別することから始まる。

画像において光源を検出した後、第２工程ｂ２）において、画像における光源の近傍に現れたハローに基づいて霧の存在が検出される。換言すると、工程ｂ１）において特定されたハローは解析され、この解析によって、霧の存在が検出される。

本実装例では、このハローの解析工程は、複数の処理を備えている。

第１処理ｂ２１）では、実際には一連の光源に対応する１つのハローＨに代えて、それぞれが単一の光源に対応するハローＨ１，Ｈ２，Ｈ３を識別するために、工程ｂ１）で識別された光源がセグメントに分けられる。このセグメント化を実行するために、個別の光源に対応するハローが分離されるまで抽出用の閾値の値を変化させながら、閾値処理が画像に対して複数回実行される。この処理には、具体的には、連結成分解析（analyse en composantes connexes）用のアルゴリズムを利用できる。

図４Ａから４Ｃに、相異なる値の抽出用閾値を用いて得たハローを示す。図４Ａは、十分に低い閾値に対応するものであり、互いに異なる光源が単一のハローＨを形成している。図４Ｂは、中間的な値に対応するものである。図４Ｃは、十分に高い閾値に対応するものであり、初期ハロー（halo initial）をセグメントに分けること可能とし、画像の該当部分に存在する３つの光源に対応するハローＨ１，Ｈ２，Ｈ３を、初期ハローにおいて区別可能としている。

なお、先の処理（ｂ１，ｂ２１）において、シーンにおける光源の誤った検出をなくすために、試験を実行してもよい。これらの試験は、特定したハローの複雑性に基づいていてもよく（ハローの複雑性は通常は限定的である）、特定したハローの大きさに基づいていてもよく（ごく小さな光源を人工物とみなして除去する）、その他に基づいていてもよい。

種々の光源が識別されると、光源ごとに並列に以下の処理が実行される。

第２処理ｂ２２）では、光源ごとに解析用線分が定められる。「解析用線分」という用語は、画像において検討対象とするまっすぐな線分を意味するものとして用いられ、これに沿って強度プロファイルの解析が実行される。解析用線分は、反復法によって定められる。提案する方法は、非常に高い強度の抽出用の閾値、すなわち非常に選択性のある閾値、を用いて得た狭いハローＨ１１（図５Ａ）に基づいて始まる。

以下の処理が、反復して実行される。
・ハローの中心（Ｃ１１，Ｃ１２，Ｃ１３．．．）が特定される。種々の計算が、ハローの中心を定めるために用いられ得る。例えば、ハローの中心は、光源の画素の重力の中心（すなわち「重心」）であってもよく、光の強度で重み付け（ponderer）された上記画素の重力の中心であってもよく、光源の画素の外輪郭の最良近似である楕円の中心であってもよく、光源の画素を含む円の中心であってもよく、その他であってもよい。
・ハローの画素を画像の残部から分離するために用いられる抽出用閾値が下げられる。
・新しい値の閾値を用いた再計算によって、拡がったハロー（Ｈ１２，Ｈ１３．．．）が定められる。
・このようにして再計算されて拡がったハローが、その他の光源のハローから識別可能に維持されているかが確認される。

ハローが識別可能に維持されていない場合には、アルゴリズムは終了する。そうでない場合には、反復法の最初の工程が再度実行される。

反復法は、拡大していくハローの中心（Ｃ１１，Ｃ１２，Ｃ１３．．．）に対応する中心の列を提供する。このようにして得られた一連の中心の列がその後に評価される。

概略の方向（direction generale）が現れると、中心の列の概略の方向に最小のハローに対応する中心を起点として直線の線分が描かれる。また、ハローの抽出用閾値の値が変化したときに検討対象の光源のハローの中心が動く方向に沿って、解析用線分は延びる。定められた中心Ｃ１１,Ｃ１２，Ｃ１３の位置から補間することによって、または類似の方法によって、解析用線分は計算される。解析用線分はハローが拡がる方向に対応し、その方向は、検討対象の光源が照らす方向に概略対応している。

図５Ａに、３つの異なる値の抽出用閾値に対応するハローＨ１１,Ｈ１２，Ｈ１３の中心Ｃ１１,Ｃ１２，Ｃ１３から規定された解析用線分Ｍを示す。

図５Ｂに、同じ光源について霧のない天候の下で得た第２解析用線分を示す。このような状況においては、抽出用の閾値を変えても、電球が直接光らせた領域に対応する単一のハローＨ１１’のみが抽出される。また、ハローの中心の位置を補間することによってハローの選択的方向（direction preferentielle）を特定することもできない。従って、解析用線分Ｍ’を得るために、方向が任意に設定される。用いられる解析線分Ｍ’の一端をハローの中心Ｃ１１’とすることに留意されたい（より一般的には、このような状況においては解析用線分の一端は、複数の中心の重力の中心（重心）であってもよく、類似の点であってもよい）。

ハローが拡大する選択的方向が全く特定できない状況は、例えば、光源が路上車両のテールランプに通常利用されているような無指向性である状況に対応している可能性がある。選択的方向が全く現れない場合、解析対象の画像において線分の一端が空（スカイ）の領域（zone de ciel）に対応し易くなるように、画像の中心および頂上に向かう（vers le centre et le haut de l'image）一端を有する解析用線分を選択することが好ましい。

第３処理ｂ２３）では、各光源につき、工程ｂ２２）で規定された解析セグメントに沿った光の強度プロファイルの変化が解析される。場合によっては、ノイズを低減させるために、例えば、平滑化窓を用いるたたみ込み、曲線に沿って動く窓を用いた平均または中央値曲線の計算等によって、強度プロファイルの曲線の平滑化を実行できる。

強度プロファイルの変化は、シーンにおいて識別された各光源について計算される。

その後、得られた各曲線について、霧存在指数が計算される。非限定的な例では、この指数は、高さの中点における幅、種々の高さの位置の幅、種々の高さの位置における傾きの逆数等に基づいたものであってもよい。なお、これらの指標では、それぞれ、指標の値が大きいほど、霧が存在する可能性が高い。

図６Ａおよび６Ｂにおける曲線は、それぞれ霧がある天候および晴れた天候の下で得た結果を示す。光の強度は縦軸に表され、ピクセルで表現された距離は横軸に表されている。これらの曲線は、それぞれ図５Ａおよび５Ｂに対応する。線分Ｍ（図５Ａ，６Ａ）に沿った光強度曲線は、画素が飽和した平坦状の第１部分を備えており（「ＳＡＴ」）、ゼロ強度の値へと緩やかに低下する傾斜が後続する。

一方、線分Ｍ’に沿った（図５Ｂ，６Ｂ）光強度曲線も平坦状の第１部分を有しているが、線分Ｍ’に沿った光強度曲線は緩やかな傾斜を実質的には全く有さず、強度が急激に低下する急な段が平坦部に後続する。上記の種々の基準を用いると（中間高さの位置または種々の高さの位置の幅等）、図６Ａおよび６Ｂの曲線が大きく異なった結果を提供していることが容易に把握される。

第４処理ｂ２４）では、総合的な霧存在指数が計算される。このために、各光源につき得られたそれぞれの指数が統合される。指数のこの統合または結合は、工程ａ）において取得された、単一の初期画像からではなく一連の初期画像から得た指数の検討に利用できる。統合された指数は、例えば、種々の霧存在指数の平均値または中央値としてもよい。統合された指数は、種々の異なるレベルを用いたランクフィルタにより得られたものであってもよい。統合された指数は、例えば、光源のハローの範囲または形状等に関連する基準に基づいて重み付けされた線形結合であってもよい。

最終的には、ハローを検出することによって霧の存在を検出する第１処理は、選択工程すなわち２値の指標を得る態様で霧の有無が判定される工程によって終了し得る。この判定は、総合的な霧存在指数を、例えば道路の天候についてのフランス規格ＮＦ−Ｐ−９９−３２０で推奨されている閾値のような公知の閾値に関連づけられる所定の最小閾値と比較することによってなされる。

第２段階の第２処理ｃ）は、後方散乱を解析することによって霧の存在を検出する処理である。この第２処理は、霧の存在下においては、搭載光源（具体的には車両のヘッドライト）からの放射のごく一部がカメラに向かって後方散乱されるという原理に依存する。

第２処理の第１工程ｃ１）では、シーンの１つまたは複数の基準画像が生成される（図７）。これらの画像は、霧がある場合に観測され得るシーンを表す。シーンが静止している場合（ビデオ監視に利用する場合）、基準画像は、シーンにおいて真に存在する要素に由来する形状を含み得る。一方、シーンが変化する場合（車両に搭載された装置に利用する場合）、基準画像は、搭載光源によって照射された光の後方散乱のみに基づいたものとなる。

図７に、２つのヘッドライトを有する自動車に使用され得る基準画像を示す。基準画像は、２つのヘッドライトのビームによって画像に生成される光の強度の変化のみを示す、グレースケールの画像（または少なくともモノクロの画像）である。光度が異なる画像の部分を分離するために、任意の曲線が図７に示されている。従って、図７に表す曲線は等光度曲線である。これらの曲線、より一般的には基準画像における光度の分布は、規定された霧の状況に関連し、静止してまたは回転可能に取り付けられた光源（車両のヘッドライト）によって生成された光を特徴づける。

基準画像として、カメラを用いて取得した画像、または計算された合成画像を用いることができる。合成画像を用いる場合、シーンの比較的現実的なレンダリングを提供することが知られているあらゆるレンダリング法が、霧内の光の後方散乱の検討が可能である限り、使用可能であり、合成画像は、霧の存在下でカメラが取得するであろう画像ができるだけ現実的に表される態様で計算される必要がある。当然ながら、車両に搭載されてシーンを照明する種々の光源の位置および照射特性を考慮に入れる必要がある。

また、生じ得る異なった大気状況、霧の密度の大小のみならず、雨、雪等を伴う状況、のシーンを表すために、複数の基準画像が用いられてもよい。

光源が回転可能に取り付けられている場合にも、複数の基準画像を用いることが必要となることがある。処理ｃ）は、光源の方向によらず実行可能とする必要がある。この目的を達成するために、光源の相異なる方向にそれぞれ対応する基準画像の（離散形式の）ライブラリを用いることができる。

第２処理ｃ）の第２工程すなわち最後の工程ｃ２）は、比較工程である。カメラによって取得された１つまたは複数の画像が、工程ｃ１）で保持された基準画像と比較される。当然ながら、カメラの画像のノイズを低減する目的および計算を簡略化する目的で、基準画像と比較される単一の初期画像を提供するために、カメラによって供給される複数の画像を統合し、その後、この画像を基準画像と比較してもよい。この単一の初期画像では、画素の各々が開始画像の平均として計算されていてもよく、一連の連続画像に適用されるランクフィルタ（例えばメディアンフィルタ）によって計算されていてもよく、他の計算方法によって計算されていてもよい。

カメラで得た画像と基準画像とは、画像相関法（methodes de correlation d'images）を用いて比較される。種々の方法が用いられ得る。比較の方法は、差分絶対値和（ＳＡＤ）、ゼロ平均差分絶対値和（ＺＳＡＤ）、差分二乗和（ＳＳＤ）、ゼロ平均差分二乗和（ＺＮＳＳＤ）等に基づいていてもよく、「距離」型の関数によって２つの画像の間の差分を定量化する方法に基づいていてもよい。

この比較は、全体の画像について実行されてもよく、例えば（ヘッドライトによって生成された照明がよく現れる）画像の下半分である、１つまたは複数の画像の一部について実行されてもよい。

この比較は、シーンにおける霧の存在についての１つまたは複数の指数を提供する。その後、種々の指数を統合することによって総合的な霧存在指数を計算することができる。特に単一のカメラ画像と霧の相異なる密度に対応する複数の基準画像とを比較することによって複数の指数が得られる場合には、その統合を計算するために、例えば、最も高い値を有する存在指数を選択することができる。それが、観測時のシーンにおける現実の霧の密度に近い霧の密度を有する画像に対応していると考えられるためである。こうして、霧の特徴づけが行われる。

総合的な霧存在指数は、実行された比較によって直接提供された指数と同様に、霧が存在する可能性が高くなるほど高くなる値を有する。必要であれば、総合的な指数と所定の閾値とを比較することによって、霧が存在するか否かについての２値の指標を設けてもよい。

本発明の方法の第２段階は、霧の存在についての指数の２つの群、ハロー検出の処理ｂ）によって計算される指数と、後方散乱の解析の処理ｃ）によって計算される指数、を得ることによって終了する。これらの指数の各群は統合されてもよく、そこから単一の総合的な指数が抽出されてもよい。場合によっては、指数は２値であってもよい。

最終的には、本方法の最後の段階ｄ）では、判定基準により霧の存在の指数が重み付けされて、最終的な指数が計算される。一例では、判定基準として、工程ｂ２１)において特定された光源の数を選択できる。少なくとも２つの光源が特定された場合には、霧が存在するか否かの指標として処理ｂ）の最後における総合的な指数が保持され得る。２つ未満の光源が観測された場合には、保持される指数が、処理ｃ）から得られた総合的な指数とされ得る。当然ながら、本発明の範囲内である限り、他の基準が採用され得る。

Claims (15)

1. 夜間に少なくとも１つの光源（１０５，１０７）によって照らされたシーンの視認性を阻害する要素の存在を検出する方法であって、前記要素は霧、煙、雨および雪を備える群に属し、当該方法は、カメラ（１２０）を用いて前記シーンの少なくとも１つの画像を取得する工程ａ）を備え、前記少なくとも１つの光源（１０５）は、前記カメラに対して静止して、または回転可能に取り付けられ、さらに、
   前記少なくとも１つの画像において、前記シーンにおける少なくとも１つの光源形成部分を検出する工程ｂ１）、
   前記少なくとも１つの画像において、前記光源の近傍に現れるハロー（Ｈ）に基づいて阻害要素の存在を検出する工程ｂ２）、
   前記静止して、または回転可能に取り付けられた光源によって照射された光の後方散乱に基づいて、前記少なくとも１つの画像またはその一部における阻害要素の存在を検出する工程ｃ）、および
   シーンの視認性を阻害する要素の存在に関する指標を出力する態様で、工程ｂ２）およびｃ）で実行された検出の結果を重み付けする工程ｄ）、
   を備える方法。
2. 工程ａ）において、複数の画像を取得し、当該複数の画像の平均を前記シーンの前記画像とする、請求項１に記載の方法。
3. 工程ｂ２）は以下の中間工程を含む、請求項１または２に記載の方法。
   工程ｂ１）において検出された光源に対応する画像部分を１つずつかつグループ化することなくセグメントに分ける工程ｂ２１）。
4. 工程ｂ２）は、以下の中間工程を含む、請求項１〜３のいずれか１項に記載の方法。
   ・前記シーンにおいて識別された光源に関連づけられる少なくとも１つの画像部分について、前記画像部分における前記光源の中心（Ｃ１１）を識別することによって阻害要素の存在を検出する工程。
5. 工程ｂ２）は以下の中間工程を含む、請求項１〜４のいずれか１項に記載の方法。
   前記シーンにおいて識別された光源に関連づけられる少なくとも１つの画像部分について、前記少なくとも１つの画像部分に描かれた線分（Ｍ，Ｍ’）に沿って強度プロファイルを解析することによって阻害要素の存在を検出する工程ｂ２３）。
6. 前記光源を取り囲むハロー（Ｈ１１，Ｈ１２，Ｈ１３）を抽出するための相異なる閾値で計算した前記光源の中心（Ｃ１１，Ｃ１２，Ｃ１３）を補完することによって、前記線分を定める、請求項５に記載の方法。
7. 工程ｃ）は、以下の中間工程を含む、請求項１〜６のいずれか１項に記載の方法。
   カメラによって生成されたまたは光学的シミュレーション計算から得た、少なくとも１つの基準画像を提供する工程ｃ１）。
8. 工程ｃ）は、以下の中間工程を含む、請求項７に記載の方法。
   比較のスコアを得る態様で、前記少なくとも１つの画像またはその画像の前記一部と、前記少なくとも１つの基準画像とを比較する工程ｃ２）。
9. 前記比較を、差分絶対値和（ＳＡＤ）、ゼロ平均差分絶対値和（ＺＳＡＤ）、差分二乗和（ＳＳＤ）、もしくはゼロ平均差分二乗和（ＺＮＳＳＤ）に基づく画像相関法によって、または「距離」型の関数によって２つの画像の間の差分を定量化する方法によって実行する、請求項８に記載の方法。
10. コンピュータによって実行されたときに、請求項１〜９のいずれか１項に記載の方法を実行する命令を含む、コンピュータプログラム。
11. 夜間に少なくとも１つの光源（１０５，１０７）によって照らされたシーンの視認性を阻害する要素の存在を検出する装置であって、前記要素は、霧、煙、雨および雪を備える群に属し、当該装置は、前記シーンにおける少なくとも１つの画像を取得することに適したカメラ（１２０）と、前記カメラによって供給された画像を処理するプログラムを実行することに適した計算手段とを備え、前記少なくとも１つの光源（１０５）はカメラに対して静止してまたは回転可能に取り付けられ、前記計算手段は、以下の処理が実行されるように前記カメラによって供給された画像を処理する前記プログラムを実行することに適している装置。
    前記少なくとも１つの画像から、前記シーンに現れる少なくとも１つの光源を検出する処理ｂ１）、
    前記少なくとも１つの画像において、前記少なくとも１つの光源の近傍に現れるハロー（Ｈ）に基づいて阻害要素の存在を検出する処理ｂ２）、
    前記静止してまたは回転可能に取り付けられた光源によって照らされた光の後方散乱に基づいて前記少なくとも１つの画像またはその一部における阻害要素の存在を検出する処理ｃ）、
    前記シーンの視認性を阻害する要素の存在に関する指標を出力する態様で、工程ｂ２）およびｃ１）で実行された検出の結果を重み付けする処理ｄ）。
12. 前記プログラムは、以下の処理を実行することに適している、請求項１１に記載の装置。
    ・前記シーンにおける識別された光源に関連づけられる少なくとも１つの画像部分について、前記少なくとも１つの画像部分に描かれた線分（Ｍ，Ｍ’）に沿って強度プロファイルを解析することによって阻害要素の存在を検出する処理。
13. 前記光源を取り囲むハロー（Ｈ１１，Ｈ１２，Ｈ１３）を抽出するための相異なる閾値で計算された前記光源の中心（Ｃ１１，Ｃ１２，Ｃ１３）を補完することによって、前記線分を定める、請求項１２に記載の装置。
14. 前記プログラムは、以下の処理を実行することに好適である、請求項１１〜１３のいずれか１項に記載の装置。
    比較のスコアを得る態様で、前記少なくとも１つの画像またはその画像の前記一部と、少なくとも１つの基準画像とを比較する処理ｃ２）
15. 請求項１１〜１４のいずれか１項に記載の装置を含む、車両、特に路上車両（１００）。

Images