JP7178438B2 - 画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置 - Google Patents

画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置 Download PDF

Info

Publication number
JP7178438B2
JP7178438B2 JP2021040543A JP2021040543A JP7178438B2 JP 7178438 B2 JP7178438 B2 JP 7178438B2 JP 2021040543 A JP2021040543 A JP 2021040543A JP 2021040543 A JP2021040543 A JP 2021040543A JP 7178438 B2 JP7178438 B2 JP 7178438B2
Authority
JP
Japan
Prior art keywords
image
haze
dehaze
map
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021040543A
Other languages
English (en)
Other versions
JP2022103003A (ja
Inventor
泗得 ▲蒋▼
得欽 高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of JP2022103003A publication Critical patent/JP2022103003A/ja
Application granted granted Critical
Publication of JP7178438B2 publication Critical patent/JP7178438B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Of Solid Wastes (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置に向けられている。
光を通過させて、進行する光強度に従って空間的に暗くすることができる塩化銀コート紙を露光するスリット技術を使用する撮像装置の出現以来、撮像装置の利用は、ますます多くのエンドユーザが静的から動的な撮像（すなわちビデオカメラ）への撮像装置の前進を間接的に支援する可能性のあるパトロンになるにつれて、年々増加してきている。プロ、科学、家電に至るまで、撮像装置の利用可能性は今まで以上に広がったことはない。大量生産システムに支持されて、ピクセル密度あたりの撮像装置のコストがそれに応じて低下してきた。これらの条件は、工学の関連分野におけるより広範な応用のための撮像装置（即ち、カメラ）の強い存在を生み出した。
コンシューマエレクトロニクスにおけるIoT（Internet‐of‐Things）の能力の増加に伴い、自動運転車（ADV）の開発がより関連性を増してきた。図１は、障害物のための周囲環境を感知するために異なる撮像センサを利用するADVを例示する。ADVにおける最も顕著な撮像装置の一つは赤緑青色（RGB）カメラであり、該当するカメラの限られた視野（FOV）内の周囲環境の密な意味的またはインスタンス情報を提供することができる。この特定情報は、ADVの主な目標を達成するためのアクチュエータのための必須データを提供するであろう、すなわち、周囲軌道の予測内の物体または障害物を回避しながら、ある位置から別の位置へ自律的に移動することであろう。物体検出、画像セグメンテーション、物体追跡、深さ推定および他の関連応用のような画像データに種々の処理を適用することができるであろう。
後続の処理モジュールの機能以外に、該当するRGBカメラから知覚される品質は、前記後続の処理モジュールの性能に影響を与える可能性がある。
表１は、異なる環境制約におけるRGBカメラの性質を比較したものである。表１によれば、RGBカメラは、光ベースまたは天候ベースの条件からの干渉の影響を受けやすい。RGBカメラは受動センサであるため、画像データはセンサアレイへの知覚進行光信号に大きく依存する。進行光信号を減衰／分散させるであろういかなる浮遊粒子状物質または中間物質も、RGBカメラのためのダメージファクタとして考慮される。
Figure 0007178438000001
ADVの開発において、異なる気象条件は、ある程度のRGBカメラの画像品質に影響を及ぼすであろう制御不可能な変数である。ADV開発のための共通シナリオに関する悪天候は、（a）太陽のまぶしい光／直射日光露光（b）降雨／積雪条件および（c）霧／もや条件に分類できる。太陽のまぶしい光／直射日光露光を含むシナリオでは、RGBカメラからの画質は、直射露光が光センサーアレイをクリップし／飽和させると、劣化し、露光画像領域だけでなくその隣接画像領域に影響を与える可能性がある。この特定シナリオは、露光画素とその隣接領域が過剰であるため、画像エントロピーを下げることにより、知覚される客観性を低減する。その結果、顕著な物体からの画像特徴は抑制された。これにより、ほとんどの物体検出アルゴリズムが適切な検出を生成するための困難なタスクが作成される。
降雨／積雪条件を含むシナリオでは、水滴または雪片のような媒介物質の存在は、減衰度を有するカメラレンズに入る光の総量を減衰させるが、この減衰の程度は、降雨／積雪条件のいずれかの強度に直接対応する。また、これらの物質は、RGBカメラの設置方法および／または設計によっては、画像の歪みおよび／またはFOVの障害物を発生させる可能性がある。同様に、霧／もや条件を含むシナリオも、湿った空気／汚染物質の存在が、該当するもや／霧の状況がどれだけ厳しいかに応じて、ある程度の光量を吸収するので、RGBカメラの可視性を低下させるであろう。その結果、降雨／積雪条件と同様に、霧／もや条件のいずれかも、大部分の高周波情報が抑制されるので、特徴抽出のような分析を実行するための大部分の物体検出アルゴリズムに対する挑戦を提供するであろう。
実用例として、図２Aに示す明瞭な午後条件の間、知覚される客観性は、かなりのコントラスト及び画像の可視性を伴って明瞭である。しかしながら、低光環境における不均衡な強度及び豪雨条件のような図２Bに示された悪条件は、自動運転車両上の周りの物体検知のためのRGBカメラの信頼性に疑問を呈する望ましくない状況を生み出している。低光環境での不均衡強度の間、他の画素の強度に影響する過剰露光が、ヒストグラム値のより高い範囲でシフトされるため、コントラスト比は抑制された。豪雨条件の間、大気チャネルは、センサーアレイへの進行光量を減衰させる浮遊物質の存在のために増加した。これらの条件は、受動センシングデバイスとしてのRGBカメラの限界を実証した。
実用的な観点では、RGB画像の品質を高めるための画像前処理機能としてのソフトウェアソリューションの利用は、RGBカメラのためのパッチの要素になり得、その中の画質は悪天候条件によって一般的にダメージを受ける。しかしながら、RGBカメラのハードウェア改良は、あらゆる種類の気象条件（悪い、または通常のいずれか）中のRGBカメラの信頼性に大幅に対処するために、あらゆるソフトウェアソリューションの補完パッチとして必要である。画像前処理機能において、RGB画像は、選択的フィルタリング（すなわち、ヘイズ除去）を通して知覚される客観性を改善するとともに、画像コントラストを強化することを共通の目的として、画素ごとにまたは領域ごとにのいずれかで処理される。
図２Cは、関連技術（例えば、J.edmon他によって教示されたYOLOv３「YOLOv３:漸進的な改善（Incremental Improvement）」、arXiv： １８０４．０２７６７、２０１８年４月）における物体検出アルゴリズムの性能を、元のバージョンおよび処理されたRGBバージョンの両方からの入力画像と比較する。（左上から右下へ）露出過多、露出不足、雨の降る状態および霧の状態のような悪天候条件の間、該当するカメラから直接、元のRGB画像を得た。一方、処理されたRGB画像は、該当する元のRGB画像上の画像前処理機能の積であるため、元のRGB画像強化バージョンと呼ぶことができる。この関連技術では、画像前処理機能として画像のヘイズ除去と高ダイナミックレンジ（HDR）強化が用いられた。
この関連技術において、図２Cを参照すると、元のRGB画像を使用する実装された物体検出アルゴリズムの検出率は、処理されたRGB画像を使用する実装された物体検出アルゴリズムの検出率と比較してより低い。この条件は、画像前処理が元のRGB画像の知覚された客観性を強化することができ、従って、アルゴリズムの分級が以前に思い付いた物体を検出するために、より高い画像可視性を可能にすることを示唆している。加えて、誤検出率に関しては、元のRGB画像と処理されたRGB画像の両方が同一に低い。ある観点では、この条件は、この関連技術における実装された物体検出アルゴリズムのロバスト性から寄与することができるけれども、この条件は、誤検出をもたらすであろう望ましくないアーチファクトを生じるであろう過強調を避けることにおける画像前処理の機能を実証するかもしれない。
上記によれば、RGB画像の知覚品質を規制し、改善するための画像前処理技術は、その後のコンピュータによる写真に重要である。処理されたRGB画像の適用は、コンピュータ及びマシンビジョンの範囲内で引き伸ばすことができる。最も一般的な用途は、地上車、飛行機または船舶を含む自動運転乗り物であり、これはセンシングデバイスとしてRGBカメラを必要とするであろう。しかしながら、それらのRGBカメラは、様々な悪天候状況にわたって品質劣化を有し得ることが実証されているので、いかなる誤りまたは過剰な強化効果ももたらさずに、様々な天候条件（悪天候または通常の天候条件のいずれか）の下で、画像コントラストと知覚対象の両方を改善するであろう解決パッチとして、画像前処理機能が必要である。
本発明は、デジタルビジョン技術の展開において遭遇し得る様々な課題を解決するためのハイブリッド画像処理フレームワークを提供する、同じ方法を使用する画像ヘイズ除去方法および画像ヘイズ除去装置に向けられる。
一態様では、本発明は、画像ヘイズ除去方法に向けられ、この方法は、限定されないが、入力画像を受信するステップと、ヘイズ除去RGB画像を出力するためのヘイズ除去モジュールにより画像のヘイズ除去をするステップと、HDR画像を出力するための高ダイナミックレンジ（HDR）モジュールにより前記ヘイズ除去RGB画像の画像輝度を回復するステップと、ReflectNet推論モデルにより前記HDR画像の反射を除去するステップであって、前記ReflectNet推論モデルは深層学習アーキテクチャを用いる、ステップとを含む。
一態様では、本発明は、限定されないが、センサおよびセンサに結合されたプロセッサを含む画像ヘイズ除去装置に向けられる。プロセッサは、少なくとも、入力画像を受信するステップと、ヘイズ除去RGB画像を出力するためのヘイズ除去モジュールにより画像のヘイズ除去をするステップと、HDR画像を出力するためのHDRモジュールにより前記ヘイズ除去RGB画像の画像輝度を回復するステップと、ReflectNet推論モデルにより前記HDR画像の反射を除去するステップであって、前記ReflectNet推論モデルは深層学習アーキテクチャを用いる、ステップと、のために構成される。
以上の点に鑑み、本発明の画像ヘイズ除去方法及び画像ヘイズ除去装置を通じ、画像品質を高めることができ、物体検出及び画像セグメンテーション等の後続処理の性能を向上させることができる。
前述のことをより分かりやすくするために、図面を伴ういくつかの実施形態を以下のように詳細に説明する。前記の一般的な説明および以下の詳細な説明の双方は、例示的なものであり、請求項に記載されている発明のさらなる説明を提供することを意図するものであることを理解されたい。
しかしながら、本発明の概要は、本発明の態様および実施形態の全てを含んでいなくてもよく、したがって、いかなる態様においても限定的または制限的であることを意味するものではないことを理解されたい。また、本発明は、当業者にとって自明である改良および修正を含むであろう。
添付図面は、本発明のさらなる理解を提供するために含まれ、本明細書に組み込まれ、その一部を構成する。図面は、本発明の例示的実施形態を例示し、説明とともに、本発明の原理を説明する役割を果たす。
障害物のための周囲環境を感知するために異なる撮像センサを利用する自動運転車両（ADV）を例示する。 晴れた午後の状態でRGBカメラによって取得された画像を例示する。 RGBカメラが、夜の露光、豪雨、日光露光、濃霧、及び薄暗い夜などの悪 条件の影響を受けやすいことを例示する。 物体検出アルゴリズムのためのRGB画像に対する画像前処理の効果を例示 する。 本発明の例示的実施形態の１つに従った画像ヘイズ除去方法のステップを例示するフローチャートである。 本発明の例示的実施形態の１つによる画像ヘイズ除去装置のブロック図を例示する。 本発明の例示的実施形態の１つによる画像ヘイズ除去方法のステップを例示するフローチャートである。 本発明の例示的な実施形態の１つに従った、画像ヘイズ除去方法によって処理された入力RGB画像および出力RGB画像の実施例を例示する。 本発明の例示的実施形態の１つによる画像ヘイズ除去方法のステップを例示する詳細なフロー図である。 本発明の例示的な実施形態の１つに従ったヘイズ除去モジュールのアルゴリズムを例示する詳細なフロー図である。 ヘイズ除去モジュールのアルゴリズムによって処理される入力RGB画像及び出力ヘイズ除去画像の実施例を例示する。 本発明の例示的な実施形態の１つに従ったヘイズ除去モジュール内の最小チャネル推定アルゴリズムによって処理される入力RGB画像および最小チャネルマップの実施例を例示する。 本発明の例示的な実施形態の１つに従ったヘイズ除去モジュールにおけるガイド付きフィルタリングアルゴリズムによって処理される、反転された最小チャネルマップおよびヘイズ透過マップの実施例を例示する。 本発明の例示的な実施形態の１つに従ったヘイズ除去画像のヘイズ透過マップから強度値を見つけるヘイズ除去モジュールにおける大気チャネル検出アルゴリズムの実施例を例示する。 本発明の例示的な実施形態の１つに従った入力画像からヘイズ除去されたRGB画像を回復するヘイズ除去モジュールにおける線形カラー再構成アルゴリズムの実施例を例示する。 本発明の例示的実施形態の１つに従ったHDRモジュールのアルゴリズムを例示する詳細なフロー図である。 本発明の例示的実施形態の１つに従ったHDRモジュールへの入力ヘイズ除去画像と、HDRモジュールによって処理される出力HDR画像との実施例を例示する。 本発明の例示的な実施形態の１つに従った、Naka－Rushton補償器によるヘイズ除去RGB画像の画像輝度を増強するフロー図である。 本発明の例示的な実施形態の１つに従った、局所ヒストグラム操作によってヘイズ除去RGB画像の画像コントラストを強化する実施例を例示する。 本発明の例示的実施形態の１つに従ったReflectNet推論モデルによるHDR画像の反射の除去を例示するフロー図である。 本発明の例示的実施形態の１つに従ったReflectNet推論モデルによって処理される入力ヘイズ除去画像および出力HDR画像の実施例を例示する。 本発明の例示的実施形態の１つに従ったReflectNet推論モデルのエンコーダ－デコーダのアーキテクチャを例示する。 本発明の例示的実施形態の１つに従った、ReflectNet推論モデルを教育するために用いられるデータセットの中の元のRGB画像およびRGB画像の反射バージョンの実施例を例示する。 画像ヘイズ除去方法の実施例を関連技術におけるベンチマーク方法と比較する表である。 画像ヘイズ除去方法の実施例の性能評価を、関連技術におけるベンチマーク方法と比較する表である。 関連技術におけるベンチマーク方法によって処理された出力画像と比較して、本発明の例示的実施形態の１つによる画像ヘイズ除去方法によって処理された元の入力画像および出力画像の例を例示する。 関連技術におけるベンチマーク方法によって処理されたRGB画像および元のRGB画像上の物体検出の性能評価と比較して、本発明の例示的な実施形態の１つに従い、画像デヘイズ除去方法によって処理されたRGB画像上の物体検出の性能評価を例示する表である。 元の画像、関連技術におけるベンチマーク方法によって処理された画像および本発明の例示的な実施形態の１つに従い、画像デヘイズ除去方法によって処理された画像上の物体検出アルゴリズムの実施例を例示する。
ここで、本発明の本例示的実施形態を詳細に参照する。その実施例は添付図面に図示されている。可能な限り、同一の参照番号が図面及び説明において使用されており、同一又は同様の部品を参照している。
本発明は、デジタルビジョン技術の配備において遭遇する可能性のある様々な課題を解決するために、上述の課題に対して、ハイブリッド画像処理フレームワークを提供する。フレームワークは、画像ヘイズ除去方法を使用する画像ヘイズ除去装置の観点から説明される。この装置は、例えば、自動運転または自律走行車、空中ドローン、および海洋ドローンなどの屋外環境における自動の又は任意のロボットシステム内に配置することができる。この装置は、限定されないが、センサ及びセンサに結合されたプロセッサを含み、プロセッサは、少なくとも、入力画像を受け取り、ヘイズ除去されたRGB画像を出力するためにヘイズ除去モジュールによって画像をヘイズ除去し、ヘイズ除去されたRGB画像の画像輝度をHDRモジュールによって回復してHDR画像を出力し、ReflectNet推論モデルによってHDR画像の反射を除去するように構成され、ここで、ReflectNet推論モデルは、深層学習アーキテクチャを使用する。提供されたフレームワークを通して、画像品質を強化することができ、物体検出および画像セグメンテーションのような後続処理の性能を改善することができた。
図３は、本発明の例示的実施形態の１つに従った画像ヘイズ除去方法のステップを例示するフローチャートである。ステップS３０１において、画像ヘイズ除去装置は、センサを介して入力画像を受信する。ステップS３０２において、画像ヘイズ除去装置は、ヘイズ除去されたRGB画像を出力するために、ヘイズ除去モジュールによって画像をヘイズ除去する。ステップS３０３において、画像ヘイズ除去装置は、HDRモジュールによってヘイズ除去されたRGB画像の画像輝度を回復して、HDR画像を出力する。ステップS３０４において、画像ヘイズ除去装置は、ReflectNet推論モデルによってHDR画像の反射を除去する。ここで、ReflectNet推論モデルは、深層学習アーキテクチャを使用する。
図４は、本発明の例示的実施形態の１つによる画像ヘイズ除去装置のブロック図を例示する。画像ヘイズ除去装置４０は、限定されないが、センサ４０１と、センサ４０１に結合されたプロセッサ４０２とを含む。プロセッサ４０２は、少なくとも、入力画像を受け取り、ヘイズ除去されたRGB画像を出力するためにヘイズ除去モジュールによって画像をヘイズ除去し、HDRモジュールによってヘイズ除去されたRGB画像の画像輝度を回復してHDR画像を出力し、ReflectNet推論モデルによってHDR画像の反射を除去するように構成され得、ここで、ReflectNet推論モデルは、深層学習アーキテクチャを使用する。
図５は、本発明の例示的実施形態の１つによる画像ヘイズ除去方法のステップを例示するフローチャートである。ステップS５０１において、画像ヘイズ除去装置は、センサを介して入力RGB画像を受信する。ステップS５０２において、例示的な実施形態の１つにおいて、画像ヘイズ除去装置は、RGB画像をヘイズ除去し、画像ヘイズ除去モジュールによってヘイズ除去されたRGB画像を出力する。より具体的には、画像ヘイズ除去装置は、もや／雨またはカメラセンサと物体との間の任意の他の媒介物質の存在から寄与する減衰効果を検出し、回復することができる。一実施形態では、画像ヘイズ除去モジュールは、２D RGB画像における奥行き感を保持しながら、奥行き知覚に基づいてヘイズ体積を検出し、次いで、影響を受けた画素を直線的に補償または回復するように、従来のコンピュータビジョンで設計することができる。具体的には、画像ヘイズ除去装置は、画像輝度を純粋に増加させる、もや又は雨から画素を回復することができる。ステップS５０３において、例示的な実施形態の１つにおいて、画像ヘイズ除去装置は、HDRモジュールによってヘイズ除去されたRGB画像の画像輝度を回復して、HDR画像を出力する。より具体的には、HDRモジュールは、該当するRGB画像のダイナミックレンジを改善するように設計することができる。一実施形態では、画像ヘイズ除去装置は、画像ヘイズ除去モジュールによって、または低光環境から自然に導入され得る画像の暗さを補償することができる。具体的には、画像ヘイズ除去装置は、任意の明るい光の画素に対して低光の画素間のバランスを見つける輝度強化を生成することができる。ステップS５０４において、画像ヘイズ除去装置は、HDR画像の反射を除去する。例示的な実施形態の１つにおいて、反射除去は、画像セグメンテーションのための在来機能性を有する機械学習アプローチを採用することができ、そのタスクは、反射のない出力画像を得るために、入力画像から反射マップを分離することである。具体的には、一実施形態では、反射除去は、エンコーダ－デコーダネットワークのような深層学習アーキテクチャを使用することができるReflectNet推論モデルによって実施することができる。
図６は、本発明の例示的な実施形態の１つに従った、画像ヘイズ除去方法によって処理された入力RGB画像および出力RGB画像の実施例を例示する。図６を参照すると、画像６０１は、図５のステップS５０１に示されるように、センサによって受信され得る入力RGB画像の一例であり、画像６０２は、図５に示されるように、画像６０１がステップS５０２～S５０４の処理を経た後に、図５のステップS５０５において生成され得る出力RGB画像の一例である。
図７は、本発明の例示的実施形態の１つによる画像ヘイズ除去方法のステップを例示する詳細なフロー図である。ステップS７０１において、画像ヘイズ除去装置は、センサを介して入力RGB画像を受信する。入力RGB画像は、I()のように表すことができる。例示的な実施形態の１つでは、ステップS７０２において、入力RGB画像I()は、まず画像ヘイズ除去モジュールによって処理されて、もや、雨、またはカメラセンサによって受ける光の量を減衰する他の任意の中間媒体から悪影響を除去する。具体的には、一実施形態では、ステップS７０２における画像ヘイズ除去モジュールは、４つのサブモジュール、すなわち、（a）最小チャネル推定（b）ガイド付きフィルタリング（c）大気チャネル検出（d）線形カラー再構成によって実施することができる。入力RGB画像I()を画像ヘイズ除去モジュールで処理した後、ID()として示す出力ヘイズ除去画像を生成することができる。
ステップS７０３において、例示的実施形態の１つにおいて、HDRモジュールは、画像を暗くする画像及び／又は低光環境からの露光のいずれかの画像ヘイズ除去モジュールから寄与し得る画像輝度のダメージを回復することができる。より具体的には、HDRモジュールは、Naka－Rushton補償器と局所ヒストグラム均等化（LHE）操作の２つのサブモジュールを含んでいる。Naka－Rushton補償器は、あらゆる露光不足または露光過度から画像輝度を回復するための補償手段である。この補償は初期化中に計算されたヘイズ除去画像ID()から統計情報を取ることができる。LHE操作は、Naka－Rushton補償器から引き起こされる可能性のある任意のコントラストの損失に対して、各カラーチャネル（r、g、b）のための画像コントラストを強化することができる局所ヒストグラム均等化技術である。ヘイズ除去画像ID()がHDRモジュールによって処理された後、IH()のように表記されるHDR画像が生成され得る。
ステップS７０４において、例示的実施形態の１つにおいて、反射除去モジュールは、機械学習アプローチ、すなわち、深層学習アーキテクチャに基づくことができるReflectNet推論モデルを使用することができる。一実施形態では、ReflectNet推論モデルは、セグメンテーション・アーキテクチャから事前教育されたモデルを備えたエンコーダ－デコーダ・ネットワークによって実装することができる。エンコーダ側及び（セグメンテーションアーキテクチャからの）予め教育されたモデルは、O()のように表記される出力RGB画像に対する反射マップの分離のためにデコーダ側によってデコードされるハイパーカラム特徴を生成する。
図８は、本発明の例示的な実施形態の１つに従ったヘイズ除去モジュールのアルゴリズムを例示する詳細なフロー図である。ヘイズ除去モジュールは、次のように数学的に定式化することができる。
Figure 0007178438000002
 ここで、I()は入力RGB画像であり、ID()は出力ヘイズ除去画像であり、T()はヘイズ透過マップであり、Aは大気係数であり、xは画素位置である。
ステップS８０１において、例示的実施形態の１つにおいて、大気チャネル検出における最小チャネル推定は、もや／雨の性質または式（１）で表される任意の中間媒体に基づいて設計された。ヘイズのないまたは無ヘイズの画像の場合、大部分の画素の色彩度は、物体の実際の色を反映するであろうが、ヘイズの存在は、画像の輝度を増加させ、色彩度を減少させる減衰効果を導入するであろう。無ヘイズの画像の場合、入力RGB画像I()の少なくともカラーチャネルは強度のローエンドスペクトルに落ちるであろう。換言すれば、最小画素値でカラーチャネルを観察することにより、式（１）に示されるように、ヘイズ媒体の存在に反映されるであろう。
具体的には、一実施形態では、最小チャネル推定は、入力RGB画像I()を、ｎ（Ω）
個の数のブロックセグメントに区分するブロックごとの操作を実装し、Ω（ｘ）
はｘに中心座標を有するブロックセグメントであり、以下の式で定式化されるように該当するΩ（ｘ）の最小チャネル画素値を推定する。
Figure 0007178438000003
 ここで、ｒ、ｇ、ｂは入力RGB 画像I()のカラーチャンネルである。Ω（ｘ）の次元は、望ましいヘイズ除去性能を得るために微調整できるユーザー制約である。Ω（ｘ）のより高い次元は、最小チャネルマップ
外1
Figure 0007178438000004
のより低い解像度を構成し、一方、Ω（ｘ）のより低い次元は、最小チャネルの過剰推定を生成し得る。
ステップS８０２では、例示的な実施形態の１つにおいて、A.Levin、D.Lischinski、およびY.Weiss「自然画像マッティングに対する閉じた形の解」、コンピュータビジョンとパターン認識、vol．１, ６１～６８頁、２００６年によって教示されているように、ガイド付きフィルタリングが実施される。すなわち、入力RGB画像I()中の色および形状情報に基づいて、反転最小チャネルマップ
外2
Figure 0007178438000005
の形状をヘイズ透I()過マップT()に精緻化することによる。具体的には、一実施形態では、ガイド付きフィルタリングは、以下のように定式化され得る。
Figure 0007178438000006
 ここで、EはI()のサイズの単位行列であり、λはソフト制約のパラメータである。λの値は、
外3
Figure 0007178438000007
の形状の微細化を制御するためにどの程度の影響を与えるかを決定する。（３）では、T()はヘイズの透過を反映しなければならないため、最小のチャネルマップ
外4
Figure 0007178438000008
が反転されたことに気付く。つまり、物体近傍やヘイズによる影響が少ない場合にはT()の低い値を示し、一方、
外5
Figure 0007178438000009
の低い値はT()の反対に相当する。
より具体的には、一実施形態において、（３）のLは、以下のように定式化されるラプラシアン行列である。
Figure 0007178438000010
 ここで、Ii、Ijはi、j画素におけるI()の色であり、ρijはクロネッカーデルタであり、ωｋはn（）の大きさを持つウインドウカーネルであり、μｋ,δｋ はωｋの平均および共分散であり、εは正規化パラメータであり、E3は３×３の寸法を持つ単位行列である（式（３）のEに類似している）。
ステップS８０３において、例示的な実施形態の１つにおいて、大気チャネル検出を使用して大気係数を推定することができる。前記サブモジュールは、次のように数学的に表現される、T()の最低画素からのI()の強度値を見つける。
Figure 0007178438000011
 このサブモジュールでは、周囲の強度の正しい表現ではない場合があるため、画像内の最も明るい画素に基づいて大気係数を推定しないことに注意する。Tを使用すると、大きな透過値を最も遠い物体／環境、つまり周囲の強度と仮定することで、周囲の強度を反映する画素の位置を確保できる。
ステップS８０４において、例示的実施形態の１つにおいて、ヘイズ透過マップT()および大気係数Ａが決定された後、ヘイズ透過マップT()および大気係数Ａを使用して、いかなるヘイズ効果に対しても、線形カラー再構成によってI()のカラーチャネルを回復することができる。この演算は、以下で定式化されるように、各カラーチャネルにわたる画素ごとの計算である。
Figure 0007178438000012
図９は、ヘイズ除去モジュールのアルゴリズムによって処理される入力RGB画像及び出力ヘイズ除去画像の実施例を例示する。図９を参照すると、線形カラー再構成は、ヘイズが引き起こされた画像９０１をヘイズがない画像９０２へ除去／抑制することができる。ヘイズがない画像９０２は、より良い可視性を導入するが、画像のヘイズ除去の性質がヘイズが引き起こされた画像からの輝度を低減することであるため、全体的な画像の輝度は、低減された。
図１０は、ヘイズ除去モジュール内の最小チャネル推定アルゴリズムによって処理される入力RGB画像１００１および最小チャネルマップ１００２の実施例を例示する。最小チャネル推定アルゴリズムは、ブロック演算に基づいて、入力RGB画像１００１の最小チャネルマップ１００２を計算する。ヘイズが存在する場合、物体の画素値は、カメラに対するその相対位置に応じて、影響されるであろう。図１０では、最小のチャネルマップ１００２は、ヘイズ媒体が奥行き知覚を作り出すときに間接的に知覚される奥行きのようなマップを構成する。最小チャネル推定は、最小画素値を有するチャネルを使用するので、明るいまたは高色彩度の物体の存在は、図１０に示される交通信号灯のように、最小チャネルマップ１００２における奥行きのような効果に影響を及ぼすであろう。
図１１は、ヘイズ除去モジュールにおけるガイド付きフィルタリングアルゴリズムによって処理される、反転された最小チャネルマップ１１０１およびヘイズ透過マップ１１０２の実施例を例示する。図１１に示されるように、ガイド付きフィルタリングアルゴリズムは、ラプラシアン変換を使用してIに提供される色および形状情報に基づいて、最小チャネルの誤った推定を修正するとともに、反転最小チャネルマップ１１０１の粗い形状を平滑化する。物体のプロフィールは、ヘイズ透過マップ１１０２においてより高い分解能で知覚することができる。
図１２は、ヘイズ除去画像１２０２のヘイズ透過マップ１２０１から強度値１２０３を見つけるヘイズ除去モジュールにおける大気チャネル検出アルゴリズムの実施例を例示する。図１２に示されるように、大気チャネル検出アルゴリズムは、大気係数Aを表す強度値１２０３を推定することができる。強度値１２０３は、ヘイズ透過マップ１２０１内の最低画素から見出される。ヘイズ透過マップ１２０１の利用は、大きな透過値を最も遠い物体／環境、言い換えれば周囲の強度であると仮定することにより、周囲の強度を反映する画素の位置を確保する。
図１３は、入力画像１３０１からヘイズ除去RGB画像１３０２を回復するヘイズ除去モジュールにおける線形カラー再構成アルゴリズムの実施例を例示する。図１３に示されるように、線形カラー再構成アルゴリズムは、入力画像１３０１内のヘイズが引き起こされた画像を除去または抑制し、ヘイズ除去RGB画像１３０２内のヘイズのない画像バージョンを回復することができる。ヘイズのない画像１３０２は、より良い可視性を導入するが、画像のヘイズ除去の性質は、入力画像１３０１からの輝度を低減することであるため、全体的な画像の輝度は、低減された。
図１４は、本発明の例示的実施形態の１つに従ったHDRモジュールのアルゴリズムを例示する詳細なフロー図である。ステップS１４０１において、例示的実施形態の１つにおいて、Naka－Rushton補償器は、画素ごとのセグメンテーションおよび画素変換で設計された。
図１５は、HDRモジュールへの入力ヘイズ除去画像１５０１と、HDRモジュールによって処理される出力HDR画像１５０２との実施例を例示する。図１５に示されるように、HDRモジュールは、画像、または、光もしくは低光環境からの露光、を暗くしたりするヘイズ除去モジュールによって、入力ヘイズ除去画像１５０１内にあり得る、出力HDR画像１５０２内の画像輝度を回復する。
図１６は、本発明の例示的な実施形態の１つに従った、Naka－Rushton補償器によるヘイズ除去RGB画像の画像輝度を増強するフロー図である。具体的には、図１６は、Naka－Rushton補償器の詳細を例示する。このサブモジュールは、元のRGB画像１６０１のカラーチャネルを
ID,yとして表される輝度マップ１６０２に変換するカラー修正から始まる。元のRGB画像ID１６０１は、それぞれ、r、g、 b チャネル１６０３～１６０５、すなわち、ID,r,ID,b,ID,gに分解される。
ステップS１６１１において、これらのマップ１６０３～１６０５は、次のように、暗い画素ID１６０７に対して明るい画素１６０６をセグメント化するために画素クラスタリングの閾値を計算するために使用される。
Figure 0007178438000013
 ここで、μD,cはcthチャネルにおけるIDの平均画像画素を表す。（７）には、ID,yの輝度、すなわち、α及びβを非線形的かつ線形的にスケーリングする２つの係数がある。雑音をID,yから平滑化するために、Bと呼ばれる双線形フィルタカーネルが用いられる。
ステップ１６１２では、画素ベースのセグメンテーションから、閾値ζを使用して、元のRGB画像ID１６０１を異なるカラーチャネル１６０３～１６０５にセグメント化することができる。ID,cはζに基づいてセグメント化され、画素は次の数式で変換される。
Figure 0007178438000014
Figure 0007178438000015
Figure 0007178438000016
 および
Figure 0007178438000017
図１４を参照すると、ステップS１４０２において、一実施形態では、LHE操作は、Naka－Rushton補償器から誘導され得る任意のコントラストの損失に対して、各カラーチャネル（r、g、b）に対する画像コントラストを強化する局所ヒストグラム均等化技術である。
図１７は、ヘイズ除去RGB画像ID()１７０１の画像コントラストを強化し、局所ヒストグラム操作によってHDR画像IH()１７０２を出力する実施例を例示する。図１７に示されるように、HDR画像IH()１７０２におけるコントラストは、ローカル・ヒストグラム操作によって強化され得る。コントラストは、輝度を均等化するが、ヘイズ除去RGB画像ID()１７０１内のコントラスト比を失う可能性があるNaka－Rushton補償器のために、低減され得る。
図１８は、本発明の例示的実施形態の１つに従ったReflectNet推論モデルによるHDR画像の反射の除去を例示するフロー図である。ステップS１８０１では、一実施形態では、ReflectNet推論モデルは、通常の畳み込みと拡張畳み込み（dilated convolution）の組み合わせで設計することができ、これらの畳み込みは、セグメンテーションネットワークに一般的に利用される。
図１９は、ReflectNet推論モデルによって処理される入力ヘイズ除去画像１９０１および出力HDR画像１９０２の実施例を例示する。図１９に示すように、ReflectNet推論モデルは、HDR強化による、または反射条件から自然に、小さい反射の強化から寄与した可能性のある、入力ヘイズ除去画像１９０１からの出力HDR画像１９０２内の任意の反射により引き起こされたアーチフェクトを抑制する。
図２０は、１つの例示的実施形態におけるReflectNet推論モデルのアーキテクチャを例示する。ReflectNet推論モデルは、セグメンテーションアーキテクチャからの事前教育モデルによるエンコーダ‐デコーダネットワークを用いることができる。エンコーダ側と事前教育モデル（セグメンテーションアーキテクチャから）は、出力RGB画像に対する反射マップの分離のために、デコーダ側によりデコードされるであろうハイパーカラム特徴を作成するであろう。エンコーダ‐デコーダアーキテクチャは、反射除去に関連する特徴を学習するために教育され、一方、予め教育されたモデルは、空間セグメンテーションを実行するために学習された特徴を提供する。
図２１を参照すると、一実施形態では、ReflectNet推論モデルは、一対の元のRGB画像およびその反射画像を用いて教育され得る。本実施形態では、データセットは、２つの画像を融合画像に融合するImageMix機能を用いて生成される。元のRGB画像はグラウンドトゥルースとして使用されるであろうが、融合された画像は入力として使用されるであろう。
例示的な実施形態の１つでは、ＧＴＲは元のRGB画像を示し、I()は融合画像または任意の反射誘起RGB画像を示し、
外字6
Figure 0007178438000018
は、それぞれ、出力反射除去RGB画像および推定反射マップである。損失関数は次のように計算される。
Figure 0007178438000019
 ここで、ｗは、損失を均等化するためのウェイトでありθはネットワークウェイトである。
（１１）には、特徴損失、敵対的（adversarial）損失、傾き損失の３つの損失関数がある。特徴損失は次のように計算される。
Figure 0007178438000020
 この損失は、モデル実行グラウンドトゥルースＧＴＲと入力RGB画像I()からの結果とを比較したときの
外字7
Figure 0007178438000021
の層の差における選択された特徴を比較する。敵対的損失は、自然グラウンドトゥルースを持つための
外字8
Figure 0007178438000022
の負の対数を以下のように測定する。
Figure 0007178438000023
 最後に、傾き損失はグランドトゥルースと合成画像のコントラスト比較を測定する。これは次のように定式化される。
Figure 0007178438000024
 この損失関数の双曲線正接は、I()におけるエッジの、両方からではなく、
外字9
Figure 0007178438000025
のどちらか一方の、
外字10
Figure 0007178438000026
の間のエッジの乖離を最小化するために使用される。
図２２は、画像ヘイズ除去方法の実施例を関連技術におけるベンチマーク方法と比較する表である。図２２を参照すると、性能評価は、（a）提案された方法と（b）ベンチマーク方法の２つの方法からなる。いずれの方法も類似のフレームワークを持つ画像前処理アルゴリズムである。図５のフロー図に基づいて、提案した方法は、画像ヘイズ除去、HDR強化および反射除去を含む。評価公平性を確保するために、ベンチマーク方法を、各機能を持つ一般化フレームワークに適合するように、従来の技術から構築する。例えば、画像のヘイズ除去は、D.Ngo他の「単一画像ヘイズ除去のための改善されたカラー減衰」、Applied Science、［オンライン］、２０１９年９月、によって教示されるように、カラー減衰で表される。HDR強化は、OpenCVの「ヒストグラム均等化」、Open Source Computer Vision（オープンソースコンピュータビジョン）、［オンライン］、２０２０年７月．によって教示されるように、ヒストグラム均等化で表される。反射除去は、Q.Fan他の「単一画像反射除去と画像平滑化のための一般的アーキテクチャ」、ICCV、２０１７、によって教示されるように、CEILNetによって表される。提案された方法およびベンチマーク方法の両方は、図２２に示すように、同一のハードウェアおよびソフトウェアで実施される。
図２３は、画像ヘイズ除去方法の実施例の性能評価を、関連技術におけるベンチマーク方法と比較する表である。例示的実施形態の１つでは、エントロピーベース測定向上（EME）２３０１、コントラスト改善指数（CII）２３０２、強度測定（IM）２３０３を含む種々の計量を、関連技術におけるベンチマーク方法と提案した画像ヘイズ除去方法との間の知覚品質の定量的評価を実施するために実施することができる。
エントロピーベース測定向上（EME）２３０１は、エントロピー測度に基づく入力と比較して出力の改善指数を見出すための計量である。EMEのスコアが大きいほど、エントロピー情報のより高い指標を表す。EME ２３０１の最大値は∞である。一実施形態では、EME ２３０１は、次のように計算される。
Figure 0007178438000027
 ここで、ＮΡは比較された画像の総画素であり、Ｎｂはブロックサイズの寸法であり、
外字10
Figure 0007178438000028

は基準画像および入力画像である。
コントラスト改善指数（CII）２３０２は、コントラスト測定に基づく入力と比較して出力の改善指数を見つけるための計量である。CII ２３０２のスコアが大きいほど、コントラスト改善のより高い指数を表す。CII ２３０２の最大値は∞である。一実施形態では、CII ２３０２は、以下のように定式化される。
Figure 0007178438000029
 ここで、ＮΡは比較された画像の総画素であり、Ｎｂはブロックサイズの寸法であり、
外字11
Figure 0007178438000030
は基準画像および入力画像である。
強度測定（IM） ２３０３ は、元の画像に基づいて輝度持久の比率を見つけるための計量である。IM ２３０３のスコアが大きいほど、画像の輝度の持久が向上する。IM ２３０３の最大値は１である。一実施形態では、IM ２３０３は、次のように定義される。
Figure 0007178438000031
 ここで、ＮΡは比較された画像の総画素であり、
外字12
Figure 0007178438000032
は基準画像および入力画像である。
一実施形態では、評価は、一般化されたフレームワークに基づいて、３つの段階すべてに対して、逐次的に実行された。図２３の評価によれば、提案した方法は、全ての段階において、全ての計量においてベンチマーク方法より性能が優れていた。これには、画像のヘイズ除去、HDRサブモジュールおよび反射除去機能が含まれる。最終結果スコア（反射除去結果を参照）に基づいて、提案した方法は、ベンチマーク方法よりCII = ２．６９５およびEME = ２．３３６または＋３９．９％高く、＋１７．５％高かった。これらの結果は、提案した方法がRGB画像におけるコントラストおよびエントロピー情報を強化できることを示唆した。
一実施形態では、強度測定比に関して、提案した方法は、平均７４．８％の輝度を保存することができた。一方、ベンチマーク方法は、平均５５．２％の輝度を保存することができた。この結果は、元の画像が提供するであろう輝度を維持するために、一方、ヘイズ、反射およびコントラスト比を除去するために、提案した方法の能力を実証するであろう。知覚指標の他に、提案した方法とベンチマーク方法も時間の複雑さに応じて評価した。図２３は、全ての機能カテゴリーにおいて、提案した方法の時間複雑性がベンチマーク方法よりも低かったことを示している。これにより、提案した方法の関連技術に対する効率性を実証した。
図２４は、関連技術におけるベンチマーク方法によって処理された出力画像と比較して、元の入力画像および本発明の例示的実施形態の１つによる画像ヘイズ除去方法によって処理された出力画像の例を例示する。図２４を参照すると、質的には、ベンチマーク方法は、画像の可視性を低下させる過剰な暗化効果だけでなく、いくつかの過剰な平滑化アーチファクトを導入するので、ヘイズ効果を確実に除去することができなかった。他方、提案した方法は、オリジナルのRGBと比較してわずかな輝度損失と適切な色再現でヘイズを除去することができた。
図２５は、関連技術におけるベンチマーク方法によって処理されたRGB画像および元のRGB画像上の物体検出の性能評価と比較して、本発明の例示的な実施形態の１つに従い、画像デヘイズ除去方法によって処理されたRGB画像上の物体検出の性能評価を示す表である。この評価では、IoU ベースの計算を使用して、次のように予測とグラウンドトゥルースの重複の％を微調整する。
Figure 0007178438000033
 ＢＤとＢＲはは検出ボックスとグラウンドトゥルースのそれぞれのデータである。
図２５を参照すると、一実施形態では、IoU情報を使用して、正解検知（TP）、誤検知（FP）および検知漏れ（FN）が測定され、次のように定式化される精度（ACC）２５０１および誤検知率（FPR）２５０２が得られる。
Figure 0007178438000034
一実施形態では、図２５の実験によれば、提案した方法から得られた画像は、より良い精度および誤検知率を達成した。提案した方法は精度を８．２％高め、誤検知率を１０．９％低減できた。一方、ベンチマーク方法は精度を１．９％増加させ、誤検知率を４．２％増加させた。この現象は、ベンチマーク方法が、YOLOv３がオブジェクトとして推測するために望ましくないアーチファクトを作成した点までその画像を過剰に強化している可能性があることを示している。物体検出結果の可視化を図２６に示す。
本発明の範囲または精神から逸脱することなく、本発明の実施形態に様々な修正および変形を行うことができることは、当業者には明らかである。以上のことを考慮すると本発明は、変更および変形をカバーすることが意図されている。ただし、それらが以下の特許請求の範囲およびそれらの均等物に含まれることを条件とする。
本発明の画像ヘイズ除去方法および画像ヘイズ除去装置は、例えば、自動車、空中ドローン、および海洋ドローンなどの屋外環境における自動化または任意のロボットシステムにおいて適用することができる。
４０ 画像ヘイズ除去装置
４０１ センサ
４０２ プロセッサ
６０１、９０１、１００１、１３０１ 入力RGB画像
６０２ 出力RGB画像
９０２ 出力ヘイズ除去画像
１００２ 最小チャネルマップ
１１０１ 反転された最小チャネルマップ
１１０２、１２０１ ヘイズ透過マップ
１２０２、１３０２ ヘイズ除去画像
１２０３ 強度値
１５０１、１６０１、１７０１，１９０１ 入力ヘイズ除去画像
１５０２、１７０２，１９０２ 出力HDR画像
１６０２ 輝度マップ
１６０３、１６０４，１６０５ カラーチャネル
１６０６ 明るい画素
１６０７ 暗い画素
２３０１ エントロピーベース測定向上（EME）
２３０２ コントラスト改善指数（CII）
２３０３ 強度測定（IM）
２５０１ 精度（ACC）
２５０２ 誤検知率（FPR）
S３０１、S３０２、S３０３、S３０４、S５０１、S５０２、S５０３、S５０４、S５０５、S７０１、S７０２、S７０３、S７０４、S８０１、S８０２、S８０３、S８０４、S１４０１、S１４０２、S１６１１、S１６１２、S１８０１ ステップ

Claims (24)

  1. 画像ヘイズ除去方法であって、該画像ヘイズ除去方法は、
    入力画像を受信するステップと、
    ヘイズ除去RGB画像を出力するためのヘイズ除去モジュールにより前記入力画像のヘイズ除去をするステップと、
    HDR画像を出力するためのHDRモジュールにより露光不足または露光過度から前記ヘイズ除去RGB画像の画像輝度のダメージを回復するステップと、
    ReflectNet推論モデルにより前記HDR画像の反射マップを除去するステップであって、前記ReflectNet推論モデルは深層学習アーキテクチャを用いる、ステップとを有する、画像ヘイズ除去方法。
  2. 請求項１に記載の画像ヘイズ除去方法であって、
    ヘイズ除去RGB画像を出力するためのヘイズ除去モジュールにより前記画像のヘイズ除去をする前記ステップは、さらに、
    最小チャネル推定アルゴリズムにより反転最小チャネルマップを推定するステップと、
    ガイド付きフィルタリングアルゴリズムによりヘイズ透過マップへの前記反転最小チャネルマップを精緻化するステップと、
    大気チャネル検出アルゴリズムにより前記ヘイズ透過マップの強度値を見出すステップと、
    線形カラー再構成アルゴリズムによりヘイズ除去RGB画像を回復するステップとを有する、画像ヘイズ除去方法。
  3. 請求項２に記載の画像ヘイズ除去方法であって、
    最小チャネル推定アルゴリズムにより反転最小チャネルマップを推定する前記ステップは、さらに、
    前記入力画像を複数のブロックセグメントにセグメント化するステップであって、前記ブロックセグメントの各々が中心画素を含む、ステップと、
    全てのカラーチャネルのためのブロックセグメントの最低強度値を有する画素を見出すステップとを有する、画像ヘイズ除去方法。
  4. 請求項２または請求項３に記載の画像ヘイズ除去方法であって、
    ガイド付きフィルタリングアルゴリズムによりヘイズ透過マップへの前記反転最小チャネルマップを精緻化する前記ステップは、さらに、
    形状精緻化を制御するためにソフト制約パラメータを用いて前記反転最小チャネルマップを平滑化するステップと、
    Laplacianマトリックスを用いて前記反転最小チャネルマップを修正するステップとを有する、画像ヘイズ除去方法。
  5. 請求項２から請求項４のいずれか一項に記載の画像ヘイズ除去方法であって、
    大気チャネル検出アルゴリズムにより前記ヘイズ透過マップの強度値を見出す前記ステップは、さらに、
    前記ヘイズ透過マップ内で最も低い強度値を持つ画素を見出すステップを有する、画像ヘイズ除去方法。
  6. 請求項２から請求項５のいずれか一項に記載の画像ヘイズ除去方法であって、
    線形カラー再構成アルゴリズムによりヘイズ除去RGB画像を回復する前記ステップは、さらに、
    前記ヘイズ透過マップ及び大気係数を用いて前記ヘイズ除去RGB画像の強度値を計算するために画素ごとの操作を実行するステップを有し、前記大気係数は前記大気チャネル検出アルゴリズムにより見出される、画像ヘイズ除去方法。
  7. 請求項１から請求項６のいずれか一項に記載の画像ヘイズ除去方法であって、
    HDR画像を出力するためのHDRモジュールにより前記ヘイズ除去RGB画像の画像輝度を回復する前記ステップは、さらに、
    Naka‐Rushton補償器により前記ヘイズ除去RGB画像の画像輝度を強化するステップと、
    ローカルストグラム操作により前記ヘイズ除去RGB画像の画像コントラストを強化するステップと、を有する、画像ヘイズ除去方法。
  8. 請求項７に記載の画像ヘイズ除去方法であって、
    Naka-Rushton補償器により前記ヘイズ除去RGB画像の画像輝度を強化する前記ステップは、さらに、
    前記ヘイズ除去RGB画像のカラーチャネルを輝度マップに変換するカラー修正を実行するステップと、
    前記輝度マップを用いて前記ヘイズ除去RGB画像の明るい画素及び暗い画素をセグメント化するための閾値を計算するステップであって、前記閾値は画素クラスタリングの閾値であるステップと、
    前記輝度マップから計算された補償係数を用いて前記ヘイズ除去RGB画像の画素を変換するステップと、を有する、画像ヘイズ除去方法。
  9. 請求項７または請求項８に記載の画像ヘイズ除去方法であって、
    ローカルストグラム操作により前記ヘイズ除去RGB画像の画像コントラストを強化する前記ステップは、さらに、
    前記ヘイズ除去RGB画像に対して強度のヒストグラム均等化を実行するステップを有する、画像ヘイズ除去方法。
  10. 請求項１から請求項９のいずれか一項に記載の画像ヘイズ除去方法であって、
    前記ReflectNet推論モデルは、さらに、
    前記画像からの反射マップを分離するために、予め教育された画像セグメント化モデルの特徴を有するエンコーダ－デコーダネットワークを含む、画像ヘイズ除去方法。
  11. 請求項１から請求項１０のいずれか一項に記載の画像ヘイズ除去方法であって、
    ReflectNet推論モデルにより前記HDR画像の反射を除去する前記ステップは、さらに、
    前記HDR画像から特徴をエンコードするステップと、
    RGB画像を出力するために前記特徴をデコードするステップとを有する、画像ヘイズ除去方法。
  12. 請求項１から請求項１１のいずれか一項に記載の画像ヘイズ除去方法であって、
    前記ReflectNet推論モデルは、
    特徴損失と、
    敵対的損失と、
    傾き損失とを備える損失関数で教育される、画像ヘイズ除去方法。
  13. 画像ヘイズ除去装置であって、該画像ヘイズ除去装置は、
    センサと、
    該センサに結合されたプロセッサと、を備え、該プロセッサは、少なくとも、
    入力画像を受信するステップと、
    ヘイズ除去RGB画像を出力するためのヘイズ除去モジュールにより前記入力画像のヘイズ除去をするステップと、
    HDR画像を出力するためのHDRモジュールにより露光不足または露光過度から前記ヘイズ除去RGB画像の画像輝度のダメージを回復するステップと、
    ReflectNet推論モデルにより前記HDR画像の反射マップを除去するステップであって、前記ReflectNet推論モデルは深層学習アーキテクチャを用いる、ステップと、のために構成される、画像ヘイズ除去装置。
  14. 請求項１３に記載の画像ヘイズ除去装置であって、
    前記プロセッサは、ヘイズ除去RGB画像を出力するためのヘイズ除去モジュールにより前記画像のヘイズ除去をするステップのために構成され、
    ヘイズ除去RGB画像を出力するためのヘイズ除去モジュールにより前記画像のヘイズ除去をする前記ステップは、さらに、
    最小チャネル推定アルゴリズムにより反転最小チャネルマップを推定するステップと、
    ガイド付きフィルタリングアルゴリズムによりヘイズ透過マップへの前記反転最小チャネルマップを精緻化するステップと、
    大気チャネル検出アルゴリズムにより前記ヘイズ透過マップの強度値を見出すステップと、
    線形カラー再構成アルゴリズムによりヘイズ除去RGB画像を回復するステップと、のために構成される、画像ヘイズ除去装置。
  15. 請求項１４に記載の画像ヘイズ除去装置であって、
    前記プロセッサは、最小チャネル推定アルゴリズムにより反転最小チャネルマップを推定するステップのために構成され、
    最小チャネル推定アルゴリズムにより反転最小チャネルマップを推定する前記ステップは、さらに、
    前記入力画像を複数のブロックセグメントにセグメント化するステップであって、前記ブロックセグメントの各々が中心画素を含む、ステップと、
    全てのカラーチャネルのためのブロックセグメントの最低強度値を有する画素を見出すステップと、のために構成される、画像ヘイズ除去装置。
  16. 請求項１４から請求項１５のいずれか一項に記載の画像ヘイズ除去装置であって、
    前記プロセッサは、ガイド付きフィルタリングアルゴリズムによりヘイズ透過マップへの前記反転最小チャネルマップを精緻化するステップのために構成され、
    ガイド付きフィルタリングアルゴリズムによりヘイズ透過マップへの前記反転最小チャネルマップを精緻化する前記ステップは、さらに、
    形状精緻化を制御するためにソフト制約パラメータを用いて前記反転最小チャネルマップを平滑化するステップと、
    Laplacianマトリックスを用いて前記反転最小チャネルマップを修正するステップと、のために構成される、画像ヘイズ除去装置。
  17. 請求項１４から請求項１６のいずれか一項に記載の画像ヘイズ除去装置であって、
    前記プロセッサは、大気チャネル検出アルゴリズムにより前記ヘイズ透過マップの強度値を見出すステップのために構成され、
    大気チャネル検出アルゴリズムにより前記ヘイズ透過マップの強度値を見出す前記ステップは、さらに、
    前記ヘイズ透過マップ内で最も低い強度値を持つ画素を見出すステップのために構成される、画像ヘイズ除去装置。
  18. 請求項１４から請求項１７のいずれか一項に記載の画像ヘイズ除去装置であって、
    前記プロセッサは、線形カラー再構成アルゴリズムによりヘイズ除去RGB画像を回復するステップのために構成され、
    線形カラー再構成アルゴリズムによりヘイズ除去RGB画像を回復する前記ステップは、さらに、
    前記ヘイズ透過マップ及び大気係数を用いて前記ヘイズ除去RGB画像の強度値を計算するために画素ごとの操作を実行するステップのために構成され、前記大気係数は前記大気チャネル検出アルゴリズムにより見出される、画像ヘイズ除去装置。
  19. 請求項１３から請求項１８のいずれか一項に記載の画像ヘイズ除去装置であって、
    前記プロセッサは、HDR画像を出力するためのHDRモジュールにより前記ヘイズ除去RGB画像の画像輝度を回復するステップのために構成され、
    HDR画像を出力するためのHDRモジュールにより前記ヘイズ除去RGB画像の画像輝度を回復する前記ステップは、さらに、
    Naka‐Rushton補償器により前記ヘイズ除去RGB画像の画像輝度を強化するステップと、
    ローカルストグラム操作により前記ヘイズ除去RGB画像の画像コントラストを強化するステップとのために構成される、画像ヘイズ除去装置。
  20. 請求項１９に記載の画像ヘイズ除去装置であって、
    前記プロセッサは、Naka-Rushton補償器により前記ヘイズ除去RGB画像の画像輝度を強化するステップのために構成され、
    Naka-Rushton補償器により前記ヘイズ除去RGB画像の画像輝度を強化する前記ステップは、さらに、
    前記ヘイズ除去RGB画像のカラーチャネルを輝度マップに変換するカラー修正を実行するステップと、
    前記輝度マップを用いて前記ヘイズ除去RGB画像の明るい画素及び暗い画素をセグメント化するための閾値を計算するステップであって、前記閾値は画素クラスタリングの閾値であるステップと、
    前記輝度マップから計算された補償係数を用いて前記ヘイズ除去RGB画像の画素を変換するステップと、のために構成される、画像ヘイズ除去装置。
  21. 請求項１９または請求項２０に記載の画像ヘイズ除去装置であって、
    前記プロセッサは、ローカルストグラム操作により前記ヘイズ除去RGB画像の画像コントラストを強化するステップのために構成され、
    ローカルストグラム操作により前記ヘイズ除去RGB画像の画像コントラストを強化する前記ステップは、さらに、
    前記ヘイズ除去RGB画像に対して強度のヒストグラム均等化を実行するステップのために構成される、画像ヘイズ除去装置。
  22. 請求項１３から請求項２１のいずれか一項に記載の画像ヘイズ除去装置であって、
    前記ReflectNet推論モデルは、さらに、
    前記画像からの反射マップを分離するために、予め教育された画像セグメント化モデルの特徴を有するエンコーダ－デコーダネットワークのために構成される、画像ヘイズ除去装置。
  23. 請求項１３から請求項２２のいずれか一項に記載の画像ヘイズ除去装置であって、
    前記プロセッサは、ReflectNet推論モデルにより前記HDR画像の反射を除去するステップのために構成され、
    ReflectNet推論モデルにより前記HDR画像の反射を除去する前記ステップは、さらに、
    前記HDR画像から特徴をエンコードするステップと、
    RGB画像を出力するために前記特徴をデコードするステップと、のために構成される、画像ヘイズ除去装置。
  24. 請求項１３から請求項２３のいずれか一項に記載の画像ヘイズ除去装置であって、
    前記ReflectNet推論モデルは、
    特徴損失と、
    敵対的損失と、
    傾き損失とを備える損失関数で教育される、画像ヘイズ除去装置。
JP2021040543A 2020-12-25 2021-03-12 画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置 Active JP7178438B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/134,216 US11528435B2 (en) 2020-12-25 2020-12-25 Image dehazing method and image dehazing apparatus using the same
US17/134,216 2020-12-25

Publications (2)

Publication Number Publication Date
JP2022103003A JP2022103003A (ja) 2022-07-07
JP7178438B2 true JP7178438B2 (ja) 2022-11-25

Family

ID=82118205

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021040543A Active JP7178438B2 (ja) 2020-12-25 2021-03-12 画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置

Country Status (3)

Country Link
US (1) US11528435B2 (ja)
JP (1) JP7178438B2 (ja)
TW (1) TWI808406B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102558294B1 (ko) * 2020-12-31 2023-07-24 한국과학기술연구원 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법
CN115331083B (zh) * 2022-10-13 2023-03-24 齐鲁工业大学 基于逐步密集特征融合去雨网络的图像去雨方法及系统
CN115456915B (zh) * 2022-11-10 2023-05-09 深圳深知未来智能有限公司 基于3DLut的图像去雾处理方法、系统及可存储介质
CN115601536B (zh) * 2022-12-02 2023-05-26 荣耀终端有限公司 一种图像处理方法及电子设备
CN116681626A (zh) * 2023-08-01 2023-09-01 山东科技大学 一种基于深度学习的雾霾天气下目标图像去雾方法
CN117557477B (zh) * 2024-01-09 2024-04-05 浙江华是科技股份有限公司 一种船舶去雾复原方法及系统
CN117576536B (zh) * 2024-01-18 2024-04-23 佛山科学技术学院 一种含雾图像融合模型和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015190184A1 (ja) 2014-06-12 2015-12-17 Eizo株式会社 画像処理システム及びコンピュータ読み取り可能な記録媒体
JP2019165832A (ja) 2018-03-22 2019-10-03 上銀科技股▲分▼有限公司 画像処理方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355595B2 (en) 2007-05-15 2013-01-15 Xerox Corporation Contrast enhancement methods and apparatuses
US8290294B2 (en) 2008-09-16 2012-10-16 Microsoft Corporation Dehazing an image using a three-dimensional reference model
US8103120B2 (en) 2008-09-22 2012-01-24 Solomon Systech Limited Method and apparatus of local contrast enhancement
TWI401473B (zh) 2009-06-12 2013-07-11 Chung Shan Inst Of Science 影像式夜間行人偵測系統及方法
TWI423166B (zh) 2009-12-04 2014-01-11 Huper Lab Co Ltd 判斷輸入影像是否為霧化影像之方法、判斷輸入影像的霧級數之方法及霧化影像濾清方法
JP2012028987A (ja) 2010-07-22 2012-02-09 Toshiba Corp 画像処理装置
US8457418B2 (en) 2011-08-02 2013-06-04 Raytheon Company Local area contrast enhancement
KR101327032B1 (ko) 2012-06-12 2013-11-20 현대자동차주식회사 카메라 영상의 반사광 제거 장치 및 방법
US20150009355A1 (en) * 2013-07-05 2015-01-08 Himax Imaging Limited Motion adaptive cmos imaging system
TW201535323A (zh) 2014-03-14 2015-09-16 Nat Univ Chin Yi Technology 影像除霧系統及其方法、以及行車輔助系統及其方法
CN103942758B (zh) 2014-04-04 2017-02-15 中国人民解放军国防科学技术大学 基于多尺度融合的暗通道先验图像去雾方法
EP3129954A4 (en) 2014-04-07 2017-10-18 BAE SYSTEMS Information and Electronic Systems Integration Inc. Contrast based image fusion
EP3051823A1 (en) * 2015-01-27 2016-08-03 Thomson Licensing Methods, systems and aparatus for electro-optical and opto-electrical conversion of images and video
US9998692B1 (en) * 2015-06-26 2018-06-12 The United States Of America As Represented By The Secretary Of The Navy Motion picture high dynamic range imaging
EP3440627A4 (en) 2016-04-07 2019-12-04 Carmel Haifa University Economic Corporation Ltd. DEBRUMAGE AND RESTORATION OF IMAGES
CN107438170B (zh) * 2016-05-25 2020-01-17 杭州海康威视数字技术股份有限公司 一种图像透雾方法及实现图像透雾的图像采集设备
US10140690B2 (en) 2017-02-03 2018-11-27 Harman International Industries, Incorporated System and method for image presentation by a vehicle driver assist module
CN108734670B (zh) 2017-04-20 2021-05-18 天津工业大学 单幅夜间弱照度雾霾图像的复原方法
CN107464227A (zh) 2017-08-24 2017-12-12 深圳市唯特视科技有限公司 一种基于深度神经网络进行去除反射和平滑图像的方法
US10645358B2 (en) * 2018-02-20 2020-05-05 Gopro, Inc. Saturation management for luminance gains in image processing
US10896488B2 (en) 2018-02-23 2021-01-19 Mobile Drive Technology Co., Ltd. Electronic device and method for removing haze from image
EP3776474A1 (en) 2018-04-09 2021-02-17 Dolby Laboratories Licensing Corporation Hdr image representations using neural network mappings
CN109978798B (zh) 2019-04-08 2022-11-29 湖南师范大学 基于图像梯度稀疏性的重影反射去除方法
GB202007918D0 (en) * 2020-05-27 2020-07-08 Tomtom Global Content Bv Neutral network model for image segmentation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015190184A1 (ja) 2014-06-12 2015-12-17 Eizo株式会社 画像処理システム及びコンピュータ読み取り可能な記録媒体
JP2019165832A (ja) 2018-03-22 2019-10-03 上銀科技股▲分▼有限公司 画像処理方法

Also Published As

Publication number Publication date
US20220210350A1 (en) 2022-06-30
TW202226141A (zh) 2022-07-01
TWI808406B (zh) 2023-07-11
JP2022103003A (ja) 2022-07-07
US11528435B2 (en) 2022-12-13

Similar Documents

Publication Publication Date Title
JP7178438B2 (ja) 画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置
Santra et al. Learning a patch quality comparator for single image dehazing
CN111209952B (zh) 基于改进ssd和迁移学习的水下目标检测方法
Eigen et al. Restoring an image taken through a window covered with dirt or rain
US10614736B2 (en) Foreground and background detection method
US10706558B2 (en) Foreground and background detection method
US20150117779A1 (en) Method and apparatus for alpha matting
Liu et al. Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives
EP1730694B1 (en) Detecting sky occlusion objects in color digital images
CN113298810A (zh) 结合图像增强和深度卷积神经网络的道线检测方法
Lu et al. Single underwater image descattering and color correction
Zhou et al. Sparse representation with enhanced nonlocal self-similarity for image denoising
Pandey et al. A fast and effective vision enhancement method for single foggy image
CN110503609A (zh) 一种基于混合感知模型的图像去雨方法
Du et al. Perceptually optimized generative adversarial network for single image dehazing
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
Senthilkumar et al. A review on haze removal techniques
US11922609B2 (en) End to end differentiable machine vision systems, methods, and media
CN114926367A (zh) 煤矿降质图像的全息图生成方法
CN104732503B (zh) 图像去雾增强方法和装置
CN114693542A (zh) 图像去雾方法和使用图像去雾方法的图像去雾设备
Dederscheck et al. Illumination invariance for driving scene optical flow using comparagram preselection
WO2022207110A1 (en) Noise reconstruction for image denoising
Jayanthi et al. Underwater haze removal using contrast boosted grayscale image
Baboshina et al. Combined use of a bilateral and median filter to suppress gaussian noise in images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R150 Certificate of patent or registration of utility model

Ref document number: 7178438

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150