JP7498364B2 - 雨、侵入光および汚れがある場合のカメラの画像の補正 - Google Patents
雨、侵入光および汚れがある場合のカメラの画像の補正 Download PDFInfo
- Publication number
- JP7498364B2 JP7498364B2 JP2023526114A JP2023526114A JP7498364B2 JP 7498364 B2 JP7498364 B2 JP 7498364B2 JP 2023526114 A JP2023526114 A JP 2023526114A JP 2023526114 A JP2023526114 A JP 2023526114A JP 7498364 B2 JP7498364 B2 JP 7498364B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- output
- input
- dirt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 claims description 87
- 238000001514 detection method Methods 0.000 claims description 62
- 230000002411 adverse Effects 0.000 claims description 54
- 238000012549 training Methods 0.000 claims description 46
- 238000003702 image correction Methods 0.000 claims description 43
- 102100033620 Calponin-1 Human genes 0.000 claims description 40
- 101000945318 Homo sapiens Calponin-1 Proteins 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 36
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 claims description 25
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 claims description 25
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 23
- 238000010801 machine learning Methods 0.000 claims description 15
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 15
- 230000007613 environmental effect Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000149 penetrating effect Effects 0.000 claims description 2
- 102100033591 Calponin-2 Human genes 0.000 claims 1
- 101000945403 Homo sapiens Calponin-2 Proteins 0.000 claims 1
- 230000000694 effects Effects 0.000 description 15
- 238000012937 correction Methods 0.000 description 11
- 238000013459 approach Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 230000002939 deleterious effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000009736 wetting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
Description
言い換えれば、確実性尺度cは、入力画像データの悪影響に依存し、ネットワークの画像補正が適用される、ネットワークの確実性を特徴付ける。
この場合、例えば、人工ニューラルネットワークの入力層に写像されてよい2次元フィルタを用いて係数dを決定することができる。
単純な実施形態例において、係数dは2次元ローパスフィルタの変形として表現されてよい。代替的に、より複雑なコントラスト値(構造的類似度)または、両方の画像から局所フィルタを用いて計算される相関(累積絶対距離(SAD)、累積二乗距離(SSD)、零平均正規化相互相関(ZNCC))も同様に考えられる。
係数dにより、補正された画像の考えられる再構成の度合いを示し、引き続いて行われる画像処理機能または画像表示機能に共に与えられる値を供給することができる。例えば、さらなる処理段において、より小さな値は大きい補正を、より大きな値は小さい補正を示してよく、生成された物体データの品質の決定の際に、確実性尺度cのように、考慮されてよい。
時間的態様は、特に、汚れにより覆われている領域について鮮明な画像を再構成する助けになってよい。例えば、レンズの領域が汚れに覆われ、別の領域が汚れに覆われていない場合がある。時点tにおいては物体は全体的に視認できるが、別の時点t+1においては汚れにより物体全体の取得が妨げられる。走行時の物体の移動および/またはカメラの移動により、時点tにおける画像の物体に関して取得された情報が、時点t+1における画像を再構成する助けになってよい。
a)カメラにより撮影された、雨、侵入光および/または汚れによる悪影響を受けている入力画像データを訓練された人工ニューラルネットワークに供給するステップと、
b)訓練された人工ニューラルネットワークが、雨、侵入光および/または汚れによる悪影響を受けている入力画像データを悪影響を受けていない出力画像データへと変換し、入力画像データの画像(または各画像)の水、侵入光および/または汚れによる濡れ度に依存し、ネットワークの画像補正が適用される、ネットワークの確実性を特徴付ける確実性尺度cを決定するように構成されるステップと、
c)訓練された人工ニューラルネットワークが、出力画像データと1つまたは複数の決定された確実性尺度cとを出力するように構成されるステップとを備える。
補正された出力画像データにより、有利には、出力画像データにおけるより良好な機械物体認識、例えば、従来の車線/物体/または交通標識検知が可能になる。
入力インタフェースは、カメラにより撮影された雨、侵入光および/または汚れによる悪影響を受けている入力画像データを受信するように構成される。訓練された人工ニューラルネットワークは、悪影響を受けている入力画像データを悪影響を受けていない出力画像データへと変換し、入力画像データの画像または各画像の水、侵入光および/または汚れによる濡れ度に依存し、ネットワークの画像補正が適用される、ネットワークの確実性を特徴付ける確実性尺度cを決定するように構成される。
(第1)出力インタフェースは、変換された(補正された)画像データと1つまたは複数の決定された確実性尺度cとを出力するように構成される。
-カメラが悪影響(例えば曇り)を受けている場合の物体認識が可能になる
-最適化された対応点検索(特徴点マッチング検索)のためにニューラルネットワークに基づいてヒューマンビジョンおよびコンピュータビジョンの画像データストリームを生成することである。
-バス、鉄道、航空機およびロボットシステムにおける支援システム
-特徴ベースの検知、例えば、汚れ/雨/光の悪影響がある場合に特徴不足による劇的な劣化を被る、オプティカルフロー、運動からの構造復元等に基づく検知方法の応用の全て
-従って、特に、特徴点検索用オプティカルフローに基づく支援システム
-濡れまたは汚れがある場合に特徴が不足しまたはコントラストが乏しくなるため同様に劇的にパフォーマンスが低下する、カメラのオンライン較正。
雨または汚れがフロントガラスまたは外部カメラレンズ上に存在するか、迷光、例えば、低い位置の太陽による太陽光または強い反射の太陽光がカメラKの光路に侵入すると、カメラKが撮影する画像に重大な悪影響が生じる。
訓練されたニューラルネットワークCNN1を使用する際、ニューラルネットワークCNN1が現在撮影される画像をどの程度補正するか係数dを予め設定することにより制御してよく、係数dを(任意のグラデーションと共に)外部回帰パラメータとしても考えてよい。係数dは+/-10%の範囲で生じる可能性があるゆらぎの影響を受ける可能性があるため、このことは訓練中に考慮に入れられる。係数dは訓練時(例えば、ニューラルネットワークの訓練の様々なエポック時)に約+/-10%のノイズを含む場合があり、このため、車両における推論時には係数dの誤推定に対して約+/-10%の範囲でロバストである。言い換えれば、係数dの必要な正確度は+/-10%の範囲であり、従って、ニューラルネットワークCNN1は、このパラメータの推定の偏差に対してロバストである。
代替的または補足的に、実行された画像補正の係数dは、訓練されたニューラルネットワークCNN1により出力されてよい。これにより、下流の画像認識機能は、当初に撮影された画像がどの程度補正されたかについて情報を取得する。
-信頼性尺度c_Prob:ここで、ネットワークの出力は、ネットワークが正しい決定を行う確率として、確率的に解釈可能であるように較正される。このための値は[0,1]の範囲で標準化され、これらの値は、ネットワークが画像の正しい補正を計算する、0%の確率から100%の確率までのスペクトルに対応する。この較正は、訓練画像データセットに基づく実際の機械学習方法が終了した後、検証画像データセットに基づいて学習の品質を引き続いてチェックすることにより行われてよい。また、検証画像データセットも、それぞれ、雨、侵入光および/または汚れの悪影響を受けている第1画像と、それに対応する目標出力画像として悪影響を受けていない同じシーンの第2画像との画像ペアを含む。実際に、入力画像および目標出力画像の一部は保持されてよく、つまり、機械学習方法用にではなく、その後の検証用に用いられてよい。
-標準偏差と同様である散布尺度c_Dev:ここで、ネットワーク出力の不確かさは、ネットワーク出力の散布度を示すように推定される。これは、様々に実装されてよい。このために、測定の不確かさとモデルの不確かさにおける下位区分が考えられる。測定の不確かさは、入力データにより生じる不確かさ、例えば、僅かな外乱に関係する。これは、さらなる出力により、ネットワークに付加されてよく、誤差関数の修正により訓練されてよい。モデルの不確かさは、ネットワークの限定的な写像正確度および一般化可能性により生じる不確かさに関係する。これは、例えば、訓練データの範囲、ネットワーク設計のアーキテクチャ等の要因に関係する。モデルの不確かさは、例えば、モンテカルロドロップアウトまたはネットワークアンサンブルにより推定されてよい。モデルの不確かさと測定の不確かさは、足し合わされてよい。
-信頼性尺度と散布尺度の組み合わせ。
-c_Prob低:ネットワークがその推定に関して低い信頼性を有している。誤推定の発生が増加。
-c_Prob高:ネットワークがその推定に関して高い信頼性を有している。大抵の場合、画像補正が正確である。
-c_Dev低:ネットワークの画像補正の散布度が低い。従って、ネットワークが非常に正確な画像補正を予測している。
-c_Dev高:標準偏差と同様である画像補正の推定散布度が高く、ネットワークの出力が不正確/不鮮明である。入力データの修正またはネットワークのモデル化の修正が僅かだと、画像補正において偏差を生じる可能性がある。
-組み合わせ:
○c_Prob高およびc_Dev低:非常に確かで正確な画像補正であり、高い確実性で採用可能である。
○c_Prob低およびc_Dev高:非常に不確かであり不正確な画像補正であり、むしろ却下されることになる可能性がある。
○c_Prob高およびc_Dev高またはc_Prob低およびc_Dev低:これらの補正は不確かさを含み、ここでは画像補正を注意して用いることが推奨される。
確実性尺度の加算は、特に、確実性クリティカルな機能に関連する。
侵入光による悪影響を同様にシミュレートするために、例えば、光源を一方の室のみに向けてよい。または、汚れの場合、同様に汚れを一方の室のみに付着させてよい。
入力画像→CNN1
任意で:係数d→CNN1
CNN1→補正された出力画像+確実性尺度c。
補正された画像(Opti)の出力が所望されていないか必要ではない場合、図5に基づいて説明するように、アプローチをさらに変形させてよい。
しかし、検知機能(fn1,fn2,fn3,fn4)用ニューラルネットワーク(CNN2)を1つのみしか有さないシステムであって、訓練の際に検知機能(fn1,fn2,fn3,fn4)のみしか最適化されていないシステムと比べて、検知機能(fn1,fn2,fn3,fn4)は、上述のように、画像補正と検知機能とに共通する訓練により改善される。
訓練フェーズにおいて、さらなる出力インタフェース(CNN11)により、補正された画像(Opti)が出力され、グラウンドトルゥース(それに対応する補正された訓練画像)と比較される。テストフェーズまたは実行時において、この出力(CNN11)をさらに使用してよく、または計算時間を節減するために、カットオフされてよい。検知機能(fn1,fn2,fn3,fn4)用の重みは、この訓練の際にさらなる出力(CNN11)を用いて修正される結果、検知機能(fn1,fn2,fn3,fn4)用の画像補正が考慮に入れられる。このようにして、検知機能(fn1,fn2,fn3,fn4)の重みは、画像補正に関する情報を暗黙的に学習する。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下を含む。
1.
人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)を用いて、雨、侵入光および/または汚れによる悪影響を受けているカメラ(K)の入力画像データを出力画像データへと画像補正する機械学習の方法において、前記人工ニューラルネットワーク(CNN1,CNN10)の入力において、それぞれ、雨、侵入光および/または汚れの悪影響を受けている第1画像(In1,In2,In3,...)と、目標出力画像として悪影響を受けていない同じシーンの第2画像(Out1,Out2,Out3,...)とを供給するように、複数の訓練画像ペア(In1,Out1;In2,Out2;In3,Out3;...)を用いて学習が行われ、
前記人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)は、入力画像の水、侵入光および/または汚れによる濡れ度に依存する確実性尺度cを決定するように構成され、前記人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)は、機械学習の終了後、新たな入力画像の前記確実性尺度cを決定し出力できる、方法。
2.
それぞれ、雨、侵入光および/または汚れの悪影響を受けている第1画像(In1,In2,In3,...)と悪影響を受けていない第2画像(Out1,Out2,Out3,...)とが同時または互いに即座連続的に取得されることにより、前記訓練画像ペア(In1,Out1;In2,Out2;In3,Out3;...)が生成される、上記1に記載の方法。
3.
訓練画像ペア(In1,Out1;In2,Out2;In3,Out3;...)の前記目標出力画像(Out1,Out2,Out3,...)と前記悪影響を受けている入力画像(In1,In2,In3,...)との間の差の尺度として少なくとも1つの係数dが決定され、前記人工ニューラルネットワークに供給される、上記1または2に記載の方法。
4.
前記訓練画像ペア(In1,Out1;In2,Out2;In3,Out3;...)が、互いに連続する入力画像および出力画像の少なくとも1つのシーケンスを含む、上記1~3の何れか1つに記載の方法。
5.
前記人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)が、2つの別個の出力インタフェース(CNN11,CNN12)に共通する入力インタフェースを備え、前記共通の入力インタフェースが、共有の特徴表現層を備え、前記第1出力インタフェース(CNN11)において、補正された画像データ(Opti)が出力され、前記第2出力インタフェース(CNN12)において、少なくとも1つのADAS検知機能(fn1,fn2,fn3,fn4)のADAS関連の検知が出力され、訓練の際に前記両方の出力インタフェース(CNN11,CNN12)の出力が最適化される、上記1~4の何れか1つに記載の方法。
6.
雨、侵入光および/または汚れによる悪影響を受けている、カメラ(K)の入力画像データを補正する方法において、
a)前記カメラ(K)により撮影された、雨、侵入光および/または汚れによる悪影響を受けている入力画像データ(Ini)を訓練された人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)に供給するステップと、
b)前記訓練された人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)が、雨、侵入光および/または汚れによる悪影響を受けている前記入力画像データ(Ini)を悪影響を受けていない出力画像データ(Opti)へと変換し、前記入力画像データの画像の水、侵入光および/または汚れによる濡れ度に依存し、前記ネットワークの画像補正が適用される、前記ネットワークの確実性を特徴付ける確実性尺度cを決定するように構成されるステップと、
c)前記訓練された人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)が、前記出力画像データ(Opti)と前記決定された確実性尺度cとを出力するように構成されるステップとを備える、方法。
7.
前記入力画像データが、互いに連続する撮影された入力画像の少なくとも1つのシーケンスを入力画像データとして含む、上記6に記載の方法。
8.
前記カメラ(K)が、車両に搭載された環境撮影カメラである、上記6または7に記載の方法。
9.
前記変換された画像データ(Opti)および前記決定された確実性尺度cの出力が、前記変換された画像データに基づいてADAS関連の検知を決定し出力する少なくとも1つのADAS検知機能に対して行われる、上記8に記載の方法。
10.
ステップa)において、さらに、係数dが、前記訓練された人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)に供給され、ステップb)において、変換が、前記係数dに応じて制御される、上記6~9の何れか1つに記載の方法。
11.
雨、侵入光および/または汚れによる悪影響を受けているカメラ(K)の入力画像データ(Ini)を出力画像データ(Opti)へと補正するように構成される少なくとも1つのデータ処理ユニットを有する装置において、
-前記カメラ(K)による雨、侵入光および/または汚れによる悪影響を受けている前記入力画像データ(Ini)を受信するように構成される入力インタフェースと、
-前記入力画像データ(Ini)を悪影響を受けていない出力画像データ(Opti)へと変換し、前記入力画像データの画像の水、侵入光および/または汚れによる濡れ度に依存し、ネットワークの画像補正が適用される、前記ネットワークの確実性を特徴付ける確実性尺度cを決定するように構成される訓練された人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)と、
-前記変換された出力画像データ(Opti)と前記決定された確実性尺度cとを出力するように構成される第1出力インタフェース(CNN11)とを備える、装置。
12.
前記データ処理ユニットが、ハードウェアベースの画像前処理段に実装される、上記11に記載の装置。
13.
前記カメラ(K)が、車両に搭載された環境撮影カメラであり、画像を補正するための前記訓練された人工ニューラルネットワーク(CNN1,CNN10,CNN11)が、共有の入力インタフェースと2つの別個の出力インタフェースとを有する車両側のADAS検知ニューラルネットワーク(CNN2,CNN12)の構成要素であり、前記第1出力インタフェース(CNN11)が、前記補正された出力画像データ(Opti)を出力するように構成され、前記第2出力インタフェース(CNN12)が、前記ADAS関連の検知を出力するように構成される、上記11または12に記載の装置。
14.
前記入力画像データが、互いに連続する撮影された入力画像の少なくとも1つのシーケンスを入力画像データとして含み、前記人工ニューラルネットワークが、互いに連続する入力画像および出力画像の少なくとも1つのシーケンスに基づいて訓練されたものである、上記11~13の何れか1つに記載の装置。
15.
コンピュータプログラム要素において、共にデータ処理ユニットがプログラム化されている場合、上記6~10の何れか1つに記載の方法を実行するように前記データ処理ユニットに命令する、コンピュータプログラム要素。
Claims (13)
- 人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)を用いて、雨、侵入光および/または汚れによる悪影響を受けているカメラ(K)の入力画像データを出力画像データへと画像補正する機械学習の方法において、前記人工ニューラルネットワーク(CNN1,CNN10)の入力側に、それぞれ、雨、侵入光および/または汚れの悪影響を受けている第1画像(In1,In2,In3,...)と、目標出力画像として悪影響を受けていない同じシーンの第2画像(Out1,Out2,Out3,...)とを供給することによって、複数の訓練画像ペア(In1,Out1;In2,Out2;In3,Out3;...)を用いて学習が行われ、
前記人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)は、入力画像の水、侵入光および/または汚れによる濡れ度に依存する確実性尺度cを決定するように構成され、そして、ネットワークの画像補正が適用されるように、ネットワークの確実性を特徴付け、
前記人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)は、機械学習の終了後、新たな入力画像の前記確実性尺度cを決定し出力でき、
訓練画像ペア(In1,Out1;In2,Out2;In3,Out3;...)の目標出力画像(Out1,Out2,Out3,...)と悪影響を受けている入力画像(In1,In2,In3,...)との間の差の尺度として少なくとも1つの係数dが決定され、前記人工ニューラルネットワークに供給される、方法。 - それぞれ、雨、侵入光および/または汚れの悪影響を受けている第1画像(In1,In2,In3,...)と悪影響を受けていない第2画像(Out1,Out2,Out3,...)とが同時または互いに即座連続的に取得されることにより、前記訓練画像ペア(In1,Out1;In2,Out2;In3,Out3;...)が生成される、請求項1に記載の方法。
- 前記訓練画像ペア(In1,Out1;In2,Out2;In3,Out3;...)が、ビデオシーケンスの形態で、互いに連続する入力画像および出力画像の少なくとも1つのシーケンスを含む、請求項1又は2に記載の方法。
- 前記人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)が、2つの別個の出力インタフェース(CNN11,CNN12)に共通する入力インタフェースを備え、前記共通の入力インタフェースが、共有の特徴表現層を備え、前記第1出力インタフェース(CNN11)において、補正された画像データ(Opti)が出力され、前記第2出力インタフェース(CNN12)において、少なくとも1つのADAS検知機能(fn1,fn2,fn3,fn4)のADAS関連の検知が出力され、訓練の際に前記両方の出力インタフェース(CNN11,CNN12)の出力が最適化される、請求項1~3の何れか1項に記載の方法。
- 雨、侵入光および/または汚れによる悪影響を受けている、カメラ(K)の入力画像データを補正する方法において、
a)前記カメラ(K)により撮影された、雨、侵入光および/または汚れによる悪影響を受けている入力画像データ(Ini)並びに追加の入力変数としての係数dを訓練された人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)に供給するステップと、
b)前記訓練された人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)が、雨、侵入光および/または汚れによる悪影響を受けている前記入力画像データ(Ini)を悪影響を受けていない出力画像データ(Opti)へと変換し、前記入力画像データの画像の水、侵入光および/または汚れによる濡れ度に依存し、前記ネットワークの画像補正が適用される、前記ネットワークの確実性を特徴付ける確実性尺度cを決定するように構成されるステップであって、前記変換は前記係数dに応じて制御される、ステップと、
c)前記訓練された人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)が、前記出力画像データ(Opti)と前記決定された確実性尺度cとを出力するように構成されるステップとを備える、方法。 - 前記入力画像データが、互いに連続する撮影された入力画像の少なくとも1つのシーケンスを入力画像データとして含む、請求項5に記載の方法。
- 前記カメラ(K)が、車両に搭載された環境撮影カメラである、請求項5または6に記載の方法。
- 前記変換された画像データ(Opti)および前記決定された確実性尺度cの出力が、前記変換された画像データに基づいてADAS関連の検知を決定し出力する少なくとも1つのADAS検知機能に対して行われる、請求項7に記載の方法。
- 雨、侵入光および/または汚れによる悪影響を受けているカメラ(K)の入力画像データ(Ini)を出力画像データ(Opti)へと補正するように構成される少なくとも1つのデータ処理ユニットを有する装置において、
-前記カメラ(K)による雨、侵入光および/または汚れによる悪影響を受けている前記入力画像データ(Ini)を受信するように構成される入力インタフェースと、
-前記入力画像データ(Ini)を、さらなる入力変数としてニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)に供給される係数dに応じて、悪影響を受けていない出力画像データ(Opti)へと変換し、前記入力画像データの画像の水、侵入光および/または汚れによる濡れ度に依存し、ネットワークの画像補正が適用される、前記ネットワークの確実性を特徴付ける確実性尺度cを決定するように構成される訓練された人工ニューラルネットワーク(CNN1,CNN10,CNN11,CNN12)と、
-前記変換された出力画像データ(Opti)と前記決定された確実性尺度cとを出力するように構成される第1出力インタフェース(CNN11)とを備える、装置。 - 前記データ処理ユニットが、ハードウェアベースの画像前処理段に実装される、請求項9に記載の装置。
- 前記カメラ(K)が、車両に搭載された環境撮影カメラであり、画像を補正するための前記訓練された人工ニューラルネットワーク(CNN1,CNN10,CNN11)が、共有の入力インタフェースと2つの別個の出力インタフェースとを有する車両側のADAS検知ニューラルネットワーク(CNN2,CNN12)の構成要素であり、前記第1出力インタフェース(CNN11)が、前記補正された出力画像データ(Opti)を出力するように構成され、前記第2出力インタフェース(CNN12)が、前記ADAS関連の検知を出力するように構成される、請求項9または10に記載の装置。
- 前記入力画像データが、互いに連続する撮影された入力画像の少なくとも1つのシーケンスを入力画像データとして含み、前記人工ニューラルネットワークが、互いに連続する入力画像および出力画像の少なくとも1つのシーケンスに基づいて訓練されたものである、請求項9~11の何れか1項に記載の装置。
- コンピュータプログラム要素において、共にデータ処理ユニットがプログラム化されている場合、請求項5~8の何れか1項に記載の方法を実行するように前記データ処理ユニットに命令する、コンピュータプログラム要素。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020215859.2A DE102020215859A1 (de) | 2020-12-15 | 2020-12-15 | Korrektur von Bildern einer Kamera bei Regen, Lichteinfall und Verschmutzung |
DE102020215859.2 | 2020-12-15 | ||
PCT/DE2021/200207 WO2022128013A1 (de) | 2020-12-15 | 2021-11-26 | Korrektur von bildern einer kamera bei regen, lichteinfall und verschmutzung |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023548127A JP2023548127A (ja) | 2023-11-15 |
JP7498364B2 true JP7498364B2 (ja) | 2024-06-11 |
Family
ID=78821490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023526114A Active JP7498364B2 (ja) | 2020-12-15 | 2021-11-26 | 雨、侵入光および汚れがある場合のカメラの画像の補正 |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP4264565A1 (ja) |
JP (1) | JP7498364B2 (ja) |
KR (1) | KR20230074590A (ja) |
CN (1) | CN116547726A (ja) |
DE (1) | DE102020215859A1 (ja) |
WO (1) | WO2022128013A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116567375B (zh) * | 2023-04-24 | 2024-02-02 | 禾多科技(北京)有限公司 | 车载前视摄像头一体机、车辆和车辆车速控制方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200090322A1 (en) | 2018-09-13 | 2020-03-19 | Nvidia Corporation | Deep neural network processing for sensor blindness detection in autonomous machine applications |
CN111063021A (zh) | 2019-11-21 | 2020-04-24 | 西北工业大学 | 一种空间运动目标的三维重建模型建立方法及装置 |
CN112085680A (zh) | 2020-09-09 | 2020-12-15 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011056051A1 (de) | 2011-12-05 | 2013-06-06 | Conti Temic Microelectronic Gmbh | Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen |
US11182877B2 (en) | 2018-08-07 | 2021-11-23 | BlinkAI Technologies, Inc. | Techniques for controlled generation of training data for machine learning enabled image enhancement |
US10694105B1 (en) | 2018-12-24 | 2020-06-23 | Wipro Limited | Method and system for handling occluded regions in image frame to generate a surround view |
DE102019205962A1 (de) | 2019-04-25 | 2020-10-29 | Robert Bosch Gmbh | Verfahren zur Generierung von digitalen Bildpaaren als Trainingsdaten für Neuronale Netze |
-
2020
- 2020-12-15 DE DE102020215859.2A patent/DE102020215859A1/de active Pending
-
2021
- 2021-11-26 WO PCT/DE2021/200207 patent/WO2022128013A1/de active Application Filing
- 2021-11-26 CN CN202180078979.2A patent/CN116547726A/zh active Pending
- 2021-11-26 EP EP21819344.9A patent/EP4264565A1/de active Pending
- 2021-11-26 KR KR1020237014848A patent/KR20230074590A/ko unknown
- 2021-11-26 JP JP2023526114A patent/JP7498364B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200090322A1 (en) | 2018-09-13 | 2020-03-19 | Nvidia Corporation | Deep neural network processing for sensor blindness detection in autonomous machine applications |
CN111063021A (zh) | 2019-11-21 | 2020-04-24 | 西北工业大学 | 一种空间运动目标的三维重建模型建立方法及装置 |
CN112085680A (zh) | 2020-09-09 | 2020-12-15 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
Porav, Horia、Bruls, Tom、Newman, Paul,"I Can See Clearly Now: Image Restoration via De-Raining",2019 International Conference on Robotics and Automation (ICRA),2019年,p.7087-7093 |
Ruilong CHEN et al.,"A Deep Learning Framework for Joint Image Restoration and Recognition",Circuits, Systems, and Signal Processing,2019年08月05日,Vol. 39, No. 3,p.1561-1580 |
Also Published As
Publication number | Publication date |
---|---|
JP2023548127A (ja) | 2023-11-15 |
EP4264565A1 (de) | 2023-10-25 |
CN116547726A (zh) | 2023-08-04 |
DE102020215859A1 (de) | 2022-06-15 |
KR20230074590A (ko) | 2023-05-30 |
WO2022128013A1 (de) | 2022-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11836989B2 (en) | Vehicular vision system that determines distance to an object | |
US20240029444A1 (en) | Correction of images from a panoramic-view camera system in the case of rain, incident light and contamination | |
CN109145798B (zh) | 一种驾驶场景目标识别与可行驶区域分割集成方法 | |
US20170076463A1 (en) | Object recognizing apparatus and stain detecting method | |
US11887336B2 (en) | Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle | |
US9398227B2 (en) | System and method for estimating daytime visibility | |
CN114902070A (zh) | 传感器退化检测和修复 | |
CN111860761A (zh) | 用于生成数字图像对作为神经网络的训练数据的方法 | |
Lion et al. | Smart speed bump detection and estimation with kinect | |
KR102521656B1 (ko) | 객체를 인식하는 방법 및 장치 | |
JP7498364B2 (ja) | 雨、侵入光および汚れがある場合のカメラの画像の補正 | |
Raguraman et al. | Intelligent drivable area detection system using camera and LiDAR sensor for autonomous vehicle | |
EP2432660B1 (fr) | Procede et dispositif pour etendre une zone de visibilite | |
JP6789151B2 (ja) | カメラ装置、検出装置、検出システムおよび移動体 | |
JP6808753B2 (ja) | 画像補正装置および画像補正方法 | |
CN113632450A (zh) | 摄影系统及图像处理装置 | |
CN1922633A (zh) | 使用鲁棒的信息融合从动态背景中检测正经过的车辆的系统和方法 | |
WO2016087317A1 (en) | Driver assistance system, motor vehicle and method for classifying a flow vector | |
CN111553181A (zh) | 车载相机语义识别方法、系统及装置 | |
WO2024009605A1 (ja) | 画像処理装置、および、画像処理方法 | |
JP7400599B2 (ja) | 物体検出装置 | |
US11897517B2 (en) | Information processing device, information processing method, computer program product, and vehicle control system | |
Chang et al. | Enhanced Depth Map Estimation in Low Light Conditions for RGB Cameras | |
Tadjine et al. | Optical Self Diagnostics for Camera Based Driver Assistance | |
Ma et al. | Research on a Multifunctional Vehicle Safety Assistant System Based on Artificial Intelligence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240530 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7498364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |