JP2023548127A - 雨、侵入光および汚れがある場合のカメラの画像の補正 - Google Patents

Abstract

本発明は、カメラ（Ｋ）、例えば、車両に搭載された環境撮影カメラの、雨、侵入光および／または汚れによる悪影響を受けている入力画像データ（Ｉｎｉ）を補正する機械学習方法、方法および装置に関する。カメラ（Ｋ）の入力画像データを補正する本方法は、ａ）カメラ（Ｋ）により撮影された、雨、侵入光および／または汚れによる悪影響を受けている入力画像データ（Ｉｎｉ）を訓練された人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）に供給するステップと、ｂ）訓練された人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）が、雨、侵入光および／または汚れによる悪影響を受けている入力画像データ（Ｉｎｉ）を悪影響を受けていない出力画像データ（Ｏｐｔｉ）へと変換し、入力画像データの画像の水、侵入光および／または汚れによる濡れ度に依存し、ネットワークの画像補正が適用される、ネットワークの確実性を特徴付ける確実性尺度ｃを決定するように構成されるステップと、ｃ）訓練された人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）が、出力画像データ（Ｏｐｔｉ）と決定された確実性尺度ｃとを出力するように構成されるステップとを備える。有利には、本方法により、カメラが曇っている場合の物体認識と、最適化された対応点検索のためにネットワークに基づいてヒューマンビジョンおよびコンピュータビジョンの画像データストリームを生成することが可能になる。

Description

本発明は、雨、侵入光または汚れがある場合のカメラ、例えば、車両に搭載された環境撮影カメラの画像を補正する機械学習方法、方法および装置に関する。

現在または将来の車両は、カメラベースの支援システムを装備しており、このカメラベースの支援システムは、衝突を回避するために物体を認識し、車線内に車両を維持するために道路境界線を認識する働きをする。このために、例えば、前面カメラが用いられ、この前面カメラは、単体で、またはサラウンドビューカメラと共に、検知機能または表現機能を実装する。

雨を検知するための検知機能を含む前面カメラのコンセプトが存在する。車両ヘッドライトを制御するためのカメラベースの昼光検知と組み合わせて、フロントガラス上の雨を認識すると例えばフロントガラスのワイパーをオンにするいわゆるレインライト検知装置をカメラを用いて実装することができる。

このカメラシステムに基づく認識アルゴリズムは、部分的に、既に従来の画像処理のアプローチを機械学習、特に、深層学習のアプローチと組み合わせている。画像処理の際に物体または構造を認識する従来のアプローチは、手動で選択された特徴に基づく一方、深層学習に基づくアプローチは、関連する特徴を訓練プロセスにおいてそれ自体で決定して最適化する。

視界が雨、侵入光または汚れにより悪影響を受けている状況になり次第、上記カメラシステムは、物体の認識と周辺または物体の表現との両方において劣化を示す。

例えば、内部ミラーのミラーベースに設けられているフロントカメラの視界がフロントガラス上の水滴または汚れにより制限される場合、フロントガラスのワイパーを動作させることにより視界を回復させることができる。これは、カメラの搭載位置がフロントガラスのワイパーの払拭領域にあることを前提としている。

車両の自動化が進むに伴い、前面カメラの数が増加している。前面カメラはミラーベースの中央だけでなく、フロントガラスの上側角部におけるＡピラー近傍にも取り付けられる場合がある。この領域が検知機能性に関してどちらかといえばクリティカルであるのは、この領域はフロントガラスのワイパーの払拭領域外に位置するからである。雨滴または汚れにより制限された視界は、検知機能性に不利な影響を及ぼす。

車両自動化の度合いがＳＡＥレベル２＋からＳＡＥレベル４／レベル５まで上昇する場合、または自動駐車または可視化の場合、将来的に、周辺の表示に加えて側方の物体を検知する働きもする、車両の側方に取り付けられたカメラが用いられる見込みである。レンズが雨滴または汚れにより濡れている場合、ここでも表示機能性または検知機能性は非常に制限される可能性がある。フロントガラスのワイパー等の洗浄手段を欠いているため、システムの劣化または障害が発生する。

最後の例として、多くの場合、ナンバープレートの上方に搭載され、汚れるのが非常に速いバックカメラが挙げられる。ここでも、雨または塵埃により曇りが生じる場合があり、曇りのない表示が困難になる。

物体を認識するためのＣＮＮベースの方法は、大抵の場合、雨滴によるレンズの汚れまたは濡れを少なくともある程度まで補償することができる一方、画像特徴、例えば、オプティカルフローまたは運動からの構造復元（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）等に基づく物体認識方法は、汚れにより激しい劣化を被る。

アルゴリズムを用いた、カメラの外部レンズ上または車両のフロントガラス上の汚れまたは降雨を検出する方法が知られている。

特許文献１には、車両カメラの視界領域におけるフロントガラス上の雨滴に関する情報が画像データの評価の際に考慮される、車両カメラの画像データの評価方法が記載されている。雨滴に関する情報は、画像データに基づいて決定することができる。画像データ評価の一例として、情報を選択的に考慮する物体の認識が挙げられる。雨の強さの認識に基づいて、例えば、カメラによって視認されたエッジ（明／暗または色変遷）による影響を推定することができる。これに応じて、エッジに基づく評価方法をその閾値内に調整することができる。特に、情報から画像データの品質基準を導出することができ、この場合、品質基準は、画像データの評価の際に考慮される。

非特許文献１には、滞留する雨滴または縞模様により悪影響を受けている画像におけるセグメンテーションタスクの改善方法が記載されている。このために、一方のレンズが実際の雨滴により悪影響を受け、他方のレンズが悪影響を受けていない、ステレオデータセットが生成されている。これにより、「脱ノイズジェネレータ」が訓練され、画像再構成および路面標示セグメンテーションにおいて雨滴の影響が除去される。

国際公開第２０１３／０８３１２０号

Ｈ． Ｐｏｒａｖ ｅｔ ａｌ． "Ｉ Ｃａｎ Ｓｅｅ Ｃｌｅａｒｌｙ Ｎｏｗ： Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ ｖｉａ Ｄｅ－Ｒａｉｎｉｎｇ"， ２０１９ ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ （ＩＣＲＡ）， Ｍｏｎｔｒｅａｌ， Ｃａｎａｄａ， ｐ． ７０８７－７０９３， ｒｅｔｒｉｅｖｅｄ ｏｎ Ｊｕｌｙ １３， ２０２０ （ ｈｔｔｐ：／／ｗｗｗ．ｒｏｂｏｔｓ．ｏｘ．ａｃ．ｕｋ／～ｍｏｂｉｌｅ／Ｐａｐｅｒｓ／ＩＣＲＡ１９＿ｐｏｒａｖ．ｐｄｆ）

アルゴリズムを用いて、汚れ、侵入光または雨滴にもかかわらず画像の評価を提供することにより、例えば、下流の物体認識を改善し、さらに、雨および光を認識する機能（レイン＋ライト検知）を可能にするシステムが望まれている。

本発明の課題は、このための解決策を提供することである。

本課題は、独立請求項の主題により解決される。有利な実施形態は、従属請求項、以下の説明および図面の対象である。

本発明に係る機械学習方法は、人工ニューラルネットワークを用いて、雨、侵入光および／または汚れによる悪影響を受けているカメラの入力画像データを出力画像データへと画像補正することに関する。人工ニューラルネットワークの入力において、それぞれ、雨、侵入光および／または汚れの悪影響を受けている第１画像と、目標出力画像として悪影響を受けていない同じシーンの第２画像とを供給するように、複数の訓練画像ペアを用いて学習が行われる。人工ニューラルネットワークは、入力画像の水、侵入光および／または汚れによる濡れ度に依存する確実性尺度ｃを決定するように構成される。ネットワークの構成は、例えば、それに対応する設計またはそれに対応する人工ニューラルネットワークのアーキテクチャにより行われてよい。人工ニューラルネットワークは、機械学習の終了後、新たな入力画像の確実性尺度ｃを決定し出力できる。従って、確実性尺度ｃは、雨または水による濡れによる悪影響、侵入光による悪影響および／または汚れによる悪影響の度合いに依存し、訓練されたネットワークの使用時に画像補正が適用される確実性を特徴付ける。

確実性尺度ｃは、訓練されたニューラルネットワークにより画像補正が行われる場合、ある程度「不確かさ」を特徴付ける。
言い換えれば、確実性尺度ｃは、入力画像データの悪影響に依存し、ネットワークの画像補正が適用される、ネットワークの確実性を特徴付ける。

人工ニューラルネットワークは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）であってよい。

「悪影響を受けていない」出力画像データへの変換は、一般に、悪影響が低減された出力画像データへの変換を含む。

カメラは、例えば、車両の環境を撮影する、車両内または車両外に取り付けられた（単眼）カメラであってよい。そのような車両に搭載されたカメラの例は、車両内部においてフロントガラスの後方に配置されるカメラであり、このカメラは、車両の環境における車両前方に位置する領域をフロントガラス越しに撮影し写像できる。

雨、侵入光または汚れによるカメラ画像の悪影響の効果は、画像において（局所的な）不鮮明さを生じさせるのと同様である。これらの全ての場合において、画像におけるこれら不鮮明さを低減または除去する画像補正が望ましい。

実施形態によると、補正された出力画像と悪影響を受けている入力画像との間の差の尺度として少なくとも１つの係数ｄが決定され、訓練の際に人工ニューラルネットワークに供給される。例えば、ニューラルネットワークが入力画像、出力画像および係数ｄの関係性を訓練するように、係数ｄは、学習の際、人工ニューラルネットワークにより考慮される。これにより、訓練されたネットワークは、その後、現在撮影される悪影響を受けているカメラ画像について係数ｄを推定または決定することができ、これに対応して大幅に補正された出力画像を生成（または再構成）することができる。従って、訓練の終了後、例えば、訓練されたニューラルネットワークに係数ｄを予め設定することができ、これにより、現在撮影されるカメラ画像の補正度を制御することができる。

係数ｄは、例えば、外乱の影響を受けていない画像を雨または汚れによる悪影響を受けている画像と局所的に比較することにより決定されてよい。
この場合、例えば、人工ニューラルネットワークの入力層に写像されてよい２次元フィルタを用いて係数ｄを決定することができる。
単純な実施形態例において、係数ｄは２次元ローパスフィルタの変形として表現されてよい。代替的に、より複雑なコントラスト値（構造的類似度）または、両方の画像から局所フィルタを用いて計算される相関（累積絶対距離（ＳＡＤ）、累積二乗距離（ＳＳＤ）、零平均正規化相互相関（ＺＮＣＣ））も同様に考えられる。

例えば、雨または汚れにより汚染されたカメラレンズにおいては、物体認識を困難にする可能性がある外乱の影響を受けている画像が生じる。機械学習方法の際、係数ｄは、目標出力画像とそれに対応する悪影響を受けている入力画像の比較に基づいて決定されてよい。この決定は予め行われてよく、つまり、各訓練画像ペアについて既に係数ｄが存在する。代替的に、係数ｄの決定は、訓練画像ペアのみに基づいて学習方法の際に行われてよい。
係数ｄにより、補正された画像の考えられる再構成の度合いを示し、引き続いて行われる画像処理機能または画像表示機能に共に与えられる値を供給することができる。例えば、さらなる処理段において、より小さな値は大きい補正を、より大きな値は小さい補正を示してよく、生成された物体データの品質の決定の際に、確実性尺度ｃのように、考慮されてよい。

実施形態において、それぞれ、（カメラの光路における）雨、侵入光および／または汚れの悪影響を受けている第１画像と悪影響を受けていない第２画像とが同時または互いに即座連続的に、異なる露光時間により取得されること、またはカメラにより撮影されることにより、訓練画像ペアが生成される。

実施形態において、訓練画像ペアが、互いに連続する入力画像および出力画像の少なくとも１つのシーケンスを（画像データとして）含む。言い換えれば、画像データとして、画像シーケンス（ビデオシーケンス）が使用される。機械学習には、この場合、少なくとも１つの入力ビデオシーケンスと少なくとも１つの目標ビデオシーケンスが必要である。

画像シーケンスの使用の際、有利には、再構成（または画像補正）における時間的態様または関連性が考慮されてよい。一例として、時間と共に移動する雨滴または汚れ粒子が挙げられる。これにより、時点ｔにおいては鮮明な視界を含み、時点ｔ＋１においては雨による外乱の影響を受けている視界を含んでいた領域が画像に生じる。画像シーケンスを使用することにより、雨または汚れによる外乱の影響を受けている視界領域について再構成するために鮮明な画像領域における情報を用いることができる。
時間的態様は、特に、汚れにより覆われている領域について鮮明な画像を再構成する助けになってよい。例えば、レンズの領域が汚れに覆われ、別の領域が汚れに覆われていない場合がある。時点ｔにおいては物体は全体的に視認できるが、別の時点ｔ＋１においては汚れにより物体全体の取得が妨げられる。走行時の物体の移動および／またはカメラの移動により、時点ｔにおける画像の物体に関して取得された情報が、時点ｔ＋１における画像を再構成する助けになってよい。

実施形態において、人工ニューラルネットワークが、２つの別個の出力インタフェースに共通する入力インタフェースを備える。共通の入力インタフェースが、共有の特徴表現層を備える。第１出力インタフェースにおいて、補正された（つまり、変換された）画像データが出力される。第２出力インタフェースにおいて、少なくとも１つのＡＤＡＳ検知機能のＡＤＡＳ関連の検知が出力される。ＡＤＡＳは、先進支援または自動運転システム（英語ではＡｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍｓ）を示す。従って、ＡＤＡＳ関連の検知は、例えば、ＡＤＡＳ／ＡＤシステムにとって重要な入力変数を表す物体、対象物、交通参加者である。人工ニューラルネットワークは、ＡＤＡＳ検知機能、例えば、車線認識、物体認識、深度認識（画像構成要素の３次元推定）、セマンティック認識等を含む。訓練の際に両方の出力インタフェースの出力が最適化される。

雨、侵入光および／または汚れによる悪影響を受けている、カメラの入力画像データを補正する方法は、
ａ）カメラにより撮影された、雨、侵入光および／または汚れによる悪影響を受けている入力画像データを訓練された人工ニューラルネットワークに供給するステップと、
ｂ）訓練された人工ニューラルネットワークが、雨、侵入光および／または汚れによる悪影響を受けている入力画像データを悪影響を受けていない出力画像データへと変換し、入力画像データの画像（または各画像）の水、侵入光および／または汚れによる濡れ度に依存し、ネットワークの画像補正が適用される、ネットワークの確実性を特徴付ける確実性尺度ｃを決定するように構成されるステップと、
ｃ）訓練された人工ニューラルネットワークが、出力画像データと１つまたは複数の決定された確実性尺度ｃとを出力するように構成されるステップとを備える。
補正された出力画像データにより、有利には、出力画像データにおけるより良好な機械物体認識、例えば、従来の車線／物体／または交通標識検知が可能になる。

実施形態によると、係数ｄが推定され、推定の際、現在撮影される入力画像データの悪影響が考慮される。累積的または代替的に、現在撮影される入力画像データの係数ｄの推定は、その前に撮影された画像データの１つまたは複数の係数ｄを考慮してよい。

実施形態によると、係数ｄの決定または推定の際、係数ｄの時間的推移が考慮されてよい。このために、推定には、係数ｄの時間的推移と入力画像のシーケンスが用いられる。

実施形態によると、カメラが、車両に搭載された環境撮影カメラである。

車両に搭載された環境撮影カメラを用いる実施形態によると、係数ｄの決定の際に車両の現在の周辺状況に関する情報が考慮される。現在の周辺状況に関する情報は、例えば、雨センサデータ、外部（Ｖ２Ｘデータまたは航法システム、例えば、デジタル地図を備えるＧＰＳ受信装置のデータ）空間分解天候情報および／または太陽位置情報、運転状況情報（田舎道、市街、高速道路、トンネル、地下道）を含んでよい。これらの情報は、（少なくとも部分的に）カメラ画像データからの画像処理を介しても取得することができる。

例えば、現在の係数ｄを周辺状況情報に基づいて、時間的画像シーケンスと係数ｄの履歴との両方から推定することができる。

このようにして、係数ｄの推定は、訓練された人工ニューラルネットワークの使用の際に動的に行うことができる。

実施形態において、車両に搭載された環境撮影カメラの補正された画像データと１つの決定された確実性尺度（または複数の確実性尺度）および任意で係数ｄの出力が、ＡＤＡＳ関連の検知を決定し出力する少なくとも１つのＡＤＡＳ検知機能に対して行われる。ＡＤＡＳ検知機能は、公知のエッジまたはパターン認識方法と、人工ニューラルネットワークを用いて関連する画像物体を認識し任意で分類することができる認識方法とを含んでよい。

代替的な実施形態において、アプローチを拡張することができ、画像データ補正用の人工ニューラルネットワークを、ＡＤＡＳ検知機能、例えば、車線認識、物体認識、深度認識、セマンティック認識用のニューラルネットワークと組み合わせることができる。従って、計算時間のさらなるコストがほとんど生じない。訓練後、変換された（補正された）画像データ出力用の（第１）出力インタフェースを除去することができるため、車両での使用時には、ＡＤＡＳ検知用の（第２）出力インタフェースのみが設けられる。

さらなる実施形態において、不鮮明または悪影響を受けている画像データを再構成する代わりに、学習された方法を逆方向に用いてよく、学習された再構成プロファイルに基づいて、取得された画像データにおいて、人工的な雨または汚れを、検証するためのシミュレーション用に付加してよい。

さらなる実施形態において、学習された再構成プロファイルは、撮影された画像データにおける人工的な雨シミュレーションの品質の評価をするためにも援用されてよい。

さらなる実施形態によると、本方法を、拡張現実と、ドライブレコーダーおよび事故記録の領域に適用することができる。

さらに、本発明は、雨、侵入光および／または汚れによる悪影響を受けているカメラの入力画像データを出力画像データへと補正するように構成される少なくとも１つのデータ処理ユニットを有する装置に関する。本装置は、入力インタフェースと、訓練された人工ニューラルネットワークと、（第１）出力インタフェースとを備える。
入力インタフェースは、カメラにより撮影された雨、侵入光および／または汚れによる悪影響を受けている入力画像データを受信するように構成される。訓練された人工ニューラルネットワークは、悪影響を受けている入力画像データを悪影響を受けていない出力画像データへと変換し、入力画像データの画像または各画像の水、侵入光および／または汚れによる濡れ度に依存し、ネットワークの画像補正が適用される、ネットワークの確実性を特徴付ける確実性尺度ｃを決定するように構成される。
（第１）出力インタフェースは、変換された（補正された）画像データと１つまたは複数の決定された確実性尺度ｃとを出力するように構成される。

実施形態によると、入力画像データは、互いに連続する入力画像の少なくとも１つのシーケンスを入力画像データとして含み、人工ニューラルネットワークは、互いに連続する入力画像および出力画像の少なくとも１つのシーケンスに画像データとして基づいて訓練されたものである。

本装置またはデータ処理ユニットは、特に、マイクロコントローラまたはマイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等、およびそれに対応すする方法ステップを実行するためのソフトウェアを含んでよい。

実施形態によると、データ処理ユニットが、ハードウェアベースの画像前処理段（イメージシグナルプロセッサ（ＩＳＰ））に実装される。

実施形態において、画像を補正するための訓練された人工ニューラルネットワークが、共有の入力インタフェース（入力層または特徴表現層）と２つの別個の出力インタフェース（出力層）とを有する、例えば、セマンティックセグメンテーション、車線検知または物体検知用の車両側のＡＤＡＳ検知ニューラルネットワークの構成要素であり、第１出力インタフェースが、変換された出力画像データを出力するように構成され、第２出力インタフェースが、ＡＤＡＳ検知（画像認識データ）を出力するように構成される。

さらに、本発明は、コンピュータプログラム要素において、共にデータ処理ユニットがプログラム化されている場合、カメラの入力画像データを出力画像データに画像補正する方法を実行するようにデータ処理ユニットに命令する、コンピュータプログラム要素に関する。

さらに、本発明は、コンピュータ可読記憶媒体において、そのようなプログラム要素が格納されているコンピュータ可読記憶媒体に関する。

さらに、本発明は、少なくとも１つのデータ処理ユニットを備える装置の人工ニューラルネットワークを訓練するために、カメラの入力画像データを出力画像データに画像補正する機械学習の方法の使用に関する。

従って、本発明は、デジタル電子回路、コンピュータハードウェア、ファームウェアまたはソフトウェアに実装することができる。

重要な有利な点は：
－カメラが悪影響（例えば曇り）を受けている場合の物体認識が可能になる
－最適化された対応点検索（特徴点マッチング検索）のためにニューラルネットワークに基づいてヒューマンビジョンおよびコンピュータビジョンの画像データストリームを生成することである。

自動車における使用に加えて、様々な応用領域が存在する：
－バス、鉄道、航空機およびロボットシステムにおける支援システム
－特徴ベースの検知、例えば、汚れ／雨／光の悪影響がある場合に特徴不足による劇的な劣化を被る、オプティカルフロー、運動からの構造復元等に基づく検知方法の応用の全て
－従って、特に、特徴点検索用オプティカルフローに基づく支援システム
－濡れまたは汚れがある場合に特徴が不足しまたはコントラストが乏しくなるため同様に劇的にパフォーマンスが低下する、カメラのオンライン較正。

以下、実施形態例と図についてより詳細に説明する。

図１は、環境撮影カメラを備える車両を概略的に示す。 図２は、悪影響を受けているカメラ画像の補正をするためのシステムを示す。 図３は、画像補正用第１ニューラルネットワークとその下流の検知機能用第２ニューラルネットワークとを備えるシステムを示す。 図４は、画像補正と検知機能とを組み合わせたシステムを示す。 図５は、画像補正を訓練の際においてのみ計算し出力する、システムの変形例を示す。

図１は、環境撮影カメラＫを備える車両Ｆを概略的に示し、環境撮影カメラＫは、車両内部空間においてフロントガラスの後方に配置され、これにより車両の環境または周辺を撮影する。暗闇の場合、車両ＦのヘッドライトＳが車両前方の環境を照射し、この環境がカメラＫにより撮影される。特に、カメラＫは、単眼カメラであってよい。カメラＫを用いて、車両周辺画像のシーケンスが撮影される。車両Ｆが移動すると、周辺領域は連続的に変化し、カメラＫにより写像される。
雨または汚れがフロントガラスまたは外部カメラレンズ上に存在するか、迷光、例えば、低い位置の太陽による太陽光または強い反射の太陽光がカメラＫの光路に侵入すると、カメラＫが撮影する画像に重大な悪影響が生じる。

図２は、雨、侵入光および／または汚れがある場合にカメラ画像を補正するシステムの一般全体図を概略的に示す。本質的な構成要素は、人工ニューラルネットワークＣＮＮ１であり、この人工ニューラルネットワークＣＮＮ１は、訓練入力画像セットＩｎ（Ｉｎ１，Ｉｎ２，Ｉｎ３，．．．）に、それに対応する補正された訓練（目標）出力画像セットＯｕｔ（Ｏｕｔ１，Ｏｕｔ２，Ｏｕｔ３，．．．）を割り当てることを訓練フェーズにおいて学習する。ここで、割り当てるとは、ニューラルネットワークＣＮＮ１が、補正された画像を生成することを学習することを意味する。入力画像（Ｉｎ１，Ｉｎ２，Ｉｎ３，．．．）は、例えば、人間の目では不鮮明またはぼやけている大きな物体のみ、例えば、自転車を示す大きな路面標示と空のみが認識可能である、降雨時の往来シーンを含んでよい。それに対応する補正された画像（Ｏｕｔ１，Ｏｕｔ２，Ｏｕｔ３，．．．）においては、さらに、交差点の輪郭、信号灯、木、街灯が認識可能である。雨滴による悪影響を受けているカラー画像とその悪影響を受けていないカラー画像に関する実際の写真撮影画像は、例えば、非特許文献１の画像図１に見ることができる。

任意で、係数ｄは、ニューラルネットワークＣＮＮ１のさらなる入力変数としての役割を果たす。係数ｄは、画像の悪影響（雨、侵入光または汚れ）の補正度を制御する制御パラメータである。訓練時には、訓練画像と補正された画像との画像ペア（Ｉｎ１，Ｏｕｔ１；Ｉｎ２，Ｏｕｔ２；Ｉｎ３，Ｏｕｔ３；．．．）用の係数ｄを、予めまたは訓練の際にこの画像ペアに基づいて決定し、ニューラルネットワークＣＮＮ１に供給してよい。これにより、係数ｄを共に学習することができる。
訓練されたニューラルネットワークＣＮＮ１を使用する際、ニューラルネットワークＣＮＮ１が現在撮影される画像をどの程度補正するか係数ｄを予め設定することにより制御してよく、係数ｄを（任意のグラデーションと共に）外部回帰パラメータとしても考えてよい。係数ｄは＋／－１０％の範囲で生じる可能性があるゆらぎの影響を受ける可能性があるため、このことは訓練中に考慮に入れられる。係数ｄは訓練時（例えば、ニューラルネットワークの訓練の様々なエポック時）に約＋／－１０％のノイズを含む場合があり、このため、車両における推論時には係数ｄの誤推定に対して約＋／－１０％の範囲でロバストである。言い換えれば、係数ｄの必要な正確度は＋／－１０％の範囲であり、従って、ニューラルネットワークＣＮＮ１は、このパラメータの推定の偏差に対してロバストである。
代替的または補足的に、実行された画像補正の係数ｄは、訓練されたニューラルネットワークＣＮＮ１により出力されてよい。これにより、下流の画像認識機能は、当初に撮影された画像がどの程度補正されたかについて情報を取得する。

人工ニューラルネットワークＣＮＮ１は、入力画像の水、侵入光および／または汚れによる濡れ度に依存する確実性尺度ｃを決定するように構成される。ネットワークの構成は、例えば、それに対応する人工ニューラルネットワークＣＮＮ１のアーキテクチャの設計により行われてよい。人工ニューラルネットワークＣＮＮ１は、機械学習の終了後、新たな入力画像の確実性尺度ｃを決定し出力できる。従って、確実性尺度ｃは、雨または水による濡れによる悪影響、侵入光による悪影響および／または汚れによる悪影響の度合いに依存し、訓練されたネットワークの使用時に画像補正が適用される確実性を特徴付ける。

図２において、３つの画像ペアＩｎ１＋Ｏｕｔ１，Ｉｎ２＋Ｏｕｔ２，Ｉｎ３＋Ｏｕｔ３が概略的に示されている。従って、訓練されたニューラルネットワークＣＮＮ１により各画像ペアについて確実性尺度ｃ１，ｃ２，ｃ３が決定され出力される。

雨、侵入光または汚れの画像の補正の品質は、多数の要因（例えば、訓練データにおける同様の事例の存在、補正を可能とするのに十分な露出、多義性を有するシナリオの回避等）に依存するため、ネットワークは、画像の補正に加えて確実性尺度を出力し、この確実性尺度を用いて、ネットワークは決定を行う。この確実性尺度ｃは、以下の実装形態の１つまたはこれらの組み合わせを含んでよい：
－信頼性尺度ｃ＿Ｐｒｏｂ：ここで、ネットワークの出力は、ネットワークが正しい決定を行う確率として、確率的に解釈可能であるように較正される。このための値は［０，１］の範囲で標準化され、これらの値は、ネットワークが画像の正しい補正を計算する、０％の確率から１００％の確率までのスペクトルに対応する。この較正は、訓練画像データセットに基づく実際の機械学習方法が終了した後、検証画像データセットに基づいて学習の品質を引き続いてチェックすることにより行われてよい。また、検証画像データセットも、それぞれ、雨、侵入光および／または汚れの悪影響を受けている第１画像と、それに対応する目標出力画像として悪影響を受けていない同じシーンの第２画像との画像ペアを含む。実際に、入力画像および目標出力画像の一部は保持されてよく、つまり、機械学習方法用にではなく、その後の検証用に用いられてよい。
－標準偏差と同様である散布尺度ｃ＿Ｄｅｖ：ここで、ネットワーク出力の不確かさは、ネットワーク出力の散布度を示すように推定される。これは、様々に実装されてよい。このために、測定の不確かさとモデルの不確かさにおける下位区分が考えられる。測定の不確かさは、入力データにより生じる不確かさ、例えば、僅かな外乱に関係する。これは、さらなる出力により、ネットワークに付加されてよく、誤差関数の修正により訓練されてよい。モデルの不確かさは、ネットワークの限定的な写像正確度および一般化可能性により生じる不確かさに関係する。これは、例えば、訓練データの範囲、ネットワーク設計のアーキテクチャ等の要因に関係する。モデルの不確かさは、例えば、モンテカルロドロップアウトまたはネットワークアンサンブルにより推定されてよい。モデルの不確かさと測定の不確かさは、足し合わされてよい。
－信頼性尺度と散布尺度の組み合わせ。

確実性尺度ｃは、画像全体、画像領域または画像の各ピクセルについて計算されてよい。確実性尺度ｃに基づいて、以下の決定を行うことができる：
－ｃ＿Ｐｒｏｂ低：ネットワークがその推定に関して低い信頼性を有している。誤推定の発生が増加。
－ｃ＿Ｐｒｏｂ高：ネットワークがその推定に関して高い信頼性を有している。大抵の場合、画像補正が正確である。
－ｃ＿Ｄｅｖ低：ネットワークの画像補正の散布度が低い。従って、ネットワークが非常に正確な画像補正を予測している。
－ｃ＿Ｄｅｖ高：標準偏差と同様である画像補正の推定散布度が高く、ネットワークの出力が不正確／不鮮明である。入力データの修正またはネットワークのモデル化の修正が僅かだと、画像補正において偏差を生じる可能性がある。
－組み合わせ：
○ｃ＿Ｐｒｏｂ高およびｃ＿Ｄｅｖ低：非常に確かで正確な画像補正であり、高い確実性で採用可能である。
○ｃ＿Ｐｒｏｂ低およびｃ＿Ｄｅｖ高：非常に不確かであり不正確な画像補正であり、むしろ却下されることになる可能性がある。
○ｃ＿Ｐｒｏｂ高およびｃ＿Ｄｅｖ高またはｃ＿Ｐｒｏｂ低およびｃ＿Ｄｅｖ低：これらの補正は不確かさを含み、ここでは画像補正を注意して用いることが推奨される。
確実性尺度の加算は、特に、確実性クリティカルな機能に関連する。

訓練データ（訓練画像（Ｉｎ１，Ｉｎ２，Ｉｎ３，．．．）と割り当てられ、補正された画像（Ｏｕｔ１，Ｏｕｔ２，Ｏｕｔ３，．．．））の生成は、例えば、非特許文献１の図８に示されているような「ステレオカメラセットアップ」を用いて画像データを取得することにより行われてよい。互いの間隔がわずかである２つの同一のカメラモジュールの前に、透明板を有する２つに分割された室が配置され、例えば、右側のステレオカメラモジュールの前の室には水滴がスプレーされている一方、左側のステレオカメラモジュールの前の室は悪影響を受けていない。
侵入光による悪影響を同様にシミュレートするために、例えば、光源を一方の室のみに向けてよい。または、汚れの場合、同様に汚れを一方の室のみに付着させてよい。

代替的に、訓練画像ペアを生成するために、悪影響を受けていない画像を取得してよく、これらの画像について、雨、侵入光または汚れの影響を画像中にシミュレートするレンダリングプロセスを用いて悪影響計算してよい。

ニューラルネットワークＣＮＮ１が訓練される場合、画像補正は以下のスキームによって行われる：
入力画像→ＣＮＮ１
任意で：係数ｄ→ＣＮＮ１
ＣＮＮ１→補正された出力画像＋確実性尺度ｃ。

図３～図５は、計算資源の使用に従って設けられている、運転者支援機能および自動運転の機能の１つまたは複数のネットワークを用いる、画像補正用第１ネットワークの可能な組み合わせの実施形態例を示す。

図３は、検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）用第２ニューラルネットワークＣＮＮ２を下流に有する、画像補正用第１ニューラルネットワークＣＮＮ１を備えるシステムを示す。ここで、検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）は、ＡＤＡＳ関連またはＡＤ関連の物体、構造、プロパティ（一般に特徴）を画像において検知する画像処理機能である。機械学習に基づく多数のそのような検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）は、既に開発されているか、現在の開発対象（例えば、交通標識分類、物体分類、セマンティックセグメンテーション、深度推定、車線区分線認識および位置特定）である。補正された画像（Ｏｐｔｉ）に基づく第２ニューラルネットワークＣＮＮ２の検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）は、視認性が不良である当初の入力画像データ（Ｉｎｉ）に基づくよりも良好な結果を提供する。

ニューラルネットワークＣＮＮ１，ＣＮＮ２の両方を訓練する際、以下のスキームによる方法が実行されてよい。

入力画像（Ｉｎｉ）→任意で係数ｄ→ＣＮＮ１→補正された出力画像（Ｏｐｔｉ）＋確実性尺度ｃ→検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）用ＣＮＮ２→物体、深度、車線、セマンティック等の検知を出力。

図４は、必要に応じて係数ｄにより制御される、入力画像（Ｉｎｉ）の画像補正用ニューラルネットワークＣＮＮ１０を示し、このニューラルネットワークＣＮＮ１０は、特徴表現層を（入力層または下位層として）、検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）用ネットワークと共有している。ニューラルネットワークＣＮＮ１０の特徴表現層において、画像補正用と検知機能用に共通の特徴が学習される。

共有の入力層と２つの別個の出力とを有するニューラルネットワークＣＮＮ１０は、補正された出力画像（Ｏｐｔｉ）および確実性尺度ｃを出力する第１出力ＣＮＮ１１と、物体、深度、車線、セマンティック等の検知を出力する第２出力ＣＮＮ１２とを備える。

訓練の際に特徴表現層が画像補正と検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）とに関して最適化されることにより、画像補正の最適化は同時に検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）の改善をもたらす。
補正された画像（Ｏｐｔｉ）の出力が所望されていないか必要ではない場合、図５に基づいて説明するように、アプローチをさらに変形させてよい。

図５は、特徴の最適化によりニューラルネットワークベースで画像を補正するための、図４のシステムに基づくアプローチを示す。計算時間を節減するために、検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）用の特徴は、訓練の最中に、画像補正と検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）とに関して最適化される。

実行時、つまり、訓練されたニューラルネットワーク（ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）の使用の際、補正された画像（Ｏｐｔｉ）は計算されない。
しかし、検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）用ニューラルネットワーク（ＣＮＮ２）を１つのみしか有さないシステムであって、訓練の際に検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）のみしか最適化されていないシステムと比べて、検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）は、上述のように、画像補正と検知機能とに共通する訓練により改善される。
訓練フェーズにおいて、さらなる出力インタフェース（ＣＮＮ１１）により、補正された画像（Ｏｐｔｉ）が出力され、グラウンドトルゥース（それに対応する補正された訓練画像）と比較される。テストフェーズまたは実行時において、この出力（ＣＮＮ１１）をさらに使用してよく、または計算時間を節減するために、カットオフされてよい。検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）用の重みは、この訓練の際にさらなる出力（ＣＮＮ１１）を用いて修正される結果、検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）用の画像補正が考慮に入れられる。このようにして、検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）の重みは、画像補正に関する情報を暗黙的に学習する。

雨、侵入光または汚れによる悪影響にもかかわらずカメラシステムに基づく画像データを、アルゴリズムにより、これらの悪影響を受けない撮影に対応する表現に変換する支援システムのさらなる態様および実施形態について以下説明する。この場合、変換された画像は、単に表示目的または特徴ベースの認識アルゴリズム用の入力としての役割を果たしてよい。

１）第１実施形態において、システムにおける計算は、例えば、ニューラルネットワークに基づいており、このニューラルネットワークは、検知ユニットまたは表示ユニットの上流で、曇り、汚れまたは水滴を有しコントラストと色情報に乏しい入力画像を、鮮明化された表現に変換する。このために、ニューラルネットワークは、「曇った入力画像」とそれに対応する「鮮明化された画像」とからなるデータセットを用いて訓練されたものである。

２）特に、鮮明化された画像を用いることにより、ニューラルネットワークは、改善すべき画像ペアにおいて存在する特徴を、曇りまたは汚れにもかかわらず、その後の対応点検索または物体認識のために取得し、最も良い場合には強化しさえするように、訓練される。

３）画像を補正／改善するためにネットワークを訓練する際、表示および物体を検知するための特徴ベースの方法を考慮してよく、その結果、この方法は、認識すべき特徴用に特化され、これらの特徴を明示的にその後の処理のために強調する。

４）さらなる実施形態において、画像改善または画像補正の方法は、ハードウェアベースの画像前処理段、つまり、イメージシグナルプロセッサに組み込まれてよい。このイメージシグナルプロセッサは、ハードウェア側でニューラルネットワークに関して補完され、このニューラルネットワークは変換を行い、処理された情報を原データと共に、実行される可能性がある検知プロセスまたは表示プロセスに使用可能であるようにする。

５）さらなる応用において、訓練するネットワークに、汚れ情報または曇り情報に加えて、画像品質の情報を使用可能であるようにすることができる。システムおよびプロセスを、物体認識とヒューマンビジョンについて最適化された画像データを計算するように最適化することができる。

曇りまたは雨滴の場合に画像を補正することに加えて、システムは、雨滴または汚れを認識して、例えば、フロントガラスのワイパーをオンにし、またはサテライトカメラ洗浄の要求を表示する。明度検知と共に、このようにして、画像補正に加えてレインライト検知の機能を実装することができる。

Claims (15)

1. 人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）を用いて、雨、侵入光および／または汚れによる悪影響を受けているカメラ（Ｋ）の入力画像データを出力画像データへと画像補正する機械学習の方法において、前記人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０）の入力において、それぞれ、雨、侵入光および／または汚れの悪影響を受けている第１画像（Ｉｎ１，Ｉｎ２，Ｉｎ３，．．．）と、目標出力画像として悪影響を受けていない同じシーンの第２画像（Ｏｕｔ１，Ｏｕｔ２，Ｏｕｔ３，．．．）とを供給するように、複数の訓練画像ペア（Ｉｎ１，Ｏｕｔ１；Ｉｎ２，Ｏｕｔ２；Ｉｎ３，Ｏｕｔ３；．．．）を用いて学習が行われ、
   前記人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）は、入力画像の水、侵入光および／または汚れによる濡れ度に依存する確実性尺度ｃを決定するように構成され、前記人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）は、機械学習の終了後、新たな入力画像の前記確実性尺度ｃを決定し出力できる、方法。
2. それぞれ、雨、侵入光および／または汚れの悪影響を受けている第１画像（Ｉｎ１，Ｉｎ２，Ｉｎ３，．．．）と悪影響を受けていない第２画像（Ｏｕｔ１，Ｏｕｔ２，Ｏｕｔ３，．．．）とが同時または互いに即座連続的に取得されることにより、前記訓練画像ペア（Ｉｎ１，Ｏｕｔ１；Ｉｎ２，Ｏｕｔ２；Ｉｎ３，Ｏｕｔ３；．．．）が生成される、請求項１に記載の方法。
3. 訓練画像ペア（Ｉｎ１，Ｏｕｔ１；Ｉｎ２，Ｏｕｔ２；Ｉｎ３，Ｏｕｔ３；．．．）の前記目標出力画像（Ｏｕｔ１，Ｏｕｔ２，Ｏｕｔ３，．．．）と前記悪影響を受けている入力画像（Ｉｎ１，Ｉｎ２，Ｉｎ３，．．．）との間の差の尺度として少なくとも１つの係数ｄが決定され、前記人工ニューラルネットワークに供給される、請求項１または２に記載の方法。
4. 前記訓練画像ペア（Ｉｎ１，Ｏｕｔ１；Ｉｎ２，Ｏｕｔ２；Ｉｎ３，Ｏｕｔ３；．．．）が、互いに連続する入力画像および出力画像の少なくとも１つのシーケンスを含む、請求項１～３の何れか１項に記載の方法。
5. 前記人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）が、２つの別個の出力インタフェース（ＣＮＮ１１，ＣＮＮ１２）に共通する入力インタフェースを備え、前記共通の入力インタフェースが、共有の特徴表現層を備え、前記第１出力インタフェース（ＣＮＮ１１）において、補正された画像データ（Ｏｐｔｉ）が出力され、前記第２出力インタフェース（ＣＮＮ１２）において、少なくとも１つのＡＤＡＳ検知機能（ｆｎ１，ｆｎ２，ｆｎ３，ｆｎ４）のＡＤＡＳ関連の検知が出力され、訓練の際に前記両方の出力インタフェース（ＣＮＮ１１，ＣＮＮ１２）の出力が最適化される、請求項１～４の何れか１項に記載の方法。
6. 雨、侵入光および／または汚れによる悪影響を受けている、カメラ（Ｋ）の入力画像データを補正する方法において、
   ａ）前記カメラ（Ｋ）により撮影された、雨、侵入光および／または汚れによる悪影響を受けている入力画像データ（Ｉｎｉ）を訓練された人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）に供給するステップと、
   ｂ）前記訓練された人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）が、雨、侵入光および／または汚れによる悪影響を受けている前記入力画像データ（Ｉｎｉ）を悪影響を受けていない出力画像データ（Ｏｐｔｉ）へと変換し、前記入力画像データの画像の水、侵入光および／または汚れによる濡れ度に依存し、前記ネットワークの画像補正が適用される、前記ネットワークの確実性を特徴付ける確実性尺度ｃを決定するように構成されるステップと、
   ｃ）前記訓練された人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）が、前記出力画像データ（Ｏｐｔｉ）と前記決定された確実性尺度ｃとを出力するように構成されるステップとを備える、方法。
7. 前記入力画像データが、互いに連続する撮影された入力画像の少なくとも１つのシーケンスを入力画像データとして含む、請求項６に記載の方法。
8. 前記カメラ（Ｋ）が、車両に搭載された環境撮影カメラである、請求項６または７に記載の方法。
9. 前記変換された画像データ（Ｏｐｔｉ）および前記決定された確実性尺度ｃの出力が、前記変換された画像データに基づいてＡＤＡＳ関連の検知を決定し出力する少なくとも１つのＡＤＡＳ検知機能に対して行われる、請求項８に記載の方法。
10. ステップａ）において、さらに、係数ｄが、前記訓練された人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）に供給され、ステップｂ）において、変換が、前記係数ｄに応じて制御される、請求項６～９の何れか１項に記載の方法。
11. 雨、侵入光および／または汚れによる悪影響を受けているカメラ（Ｋ）の入力画像データ（Ｉｎｉ）を出力画像データ（Ｏｐｔｉ）へと補正するように構成される少なくとも１つのデータ処理ユニットを有する装置において、
    －前記カメラ（Ｋ）による雨、侵入光および／または汚れによる悪影響を受けている前記入力画像データ（Ｉｎｉ）を受信するように構成される入力インタフェースと、
    －前記入力画像データ（Ｉｎｉ）を悪影響を受けていない出力画像データ（Ｏｐｔｉ）へと変換し、前記入力画像データの画像の水、侵入光および／または汚れによる濡れ度に依存し、ネットワークの画像補正が適用される、前記ネットワークの確実性を特徴付ける確実性尺度ｃを決定するように構成される訓練された人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１，ＣＮＮ１２）と、
    －前記変換された出力画像データ（Ｏｐｔｉ）と前記決定された確実性尺度ｃとを出力するように構成される第１出力インタフェース（ＣＮＮ１１）とを備える、装置。
12. 前記データ処理ユニットが、ハードウェアベースの画像前処理段に実装される、請求項１１に記載の装置。
13. 前記カメラ（Ｋ）が、車両に搭載された環境撮影カメラであり、画像を補正するための前記訓練された人工ニューラルネットワーク（ＣＮＮ１，ＣＮＮ１０，ＣＮＮ１１）が、共有の入力インタフェースと２つの別個の出力インタフェースとを有する車両側のＡＤＡＳ検知ニューラルネットワーク（ＣＮＮ２，ＣＮＮ１２）の構成要素であり、前記第１出力インタフェース（ＣＮＮ１１）が、前記補正された出力画像データ（Ｏｐｔｉ）を出力するように構成され、前記第２出力インタフェース（ＣＮＮ１２）が、前記ＡＤＡＳ関連の検知を出力するように構成される、請求項１１または１２に記載の装置。
14. 前記入力画像データが、互いに連続する撮影された入力画像の少なくとも１つのシーケンスを入力画像データとして含み、前記人工ニューラルネットワークが、互いに連続する入力画像および出力画像の少なくとも１つのシーケンスに基づいて訓練されたものである、請求項１１～１３の何れか１項に記載の装置。
15. コンピュータプログラム要素において、共にデータ処理ユニットがプログラム化されている場合、請求項６～１０の何れか１項に記載の方法を実行するように前記データ処理ユニットに命令する、コンピュータプログラム要素。

Images