JP7379787B2 - フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法 - Google Patents

フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法 Download PDF

Info

Publication number
JP7379787B2
JP7379787B2 JP2022517497A JP2022517497A JP7379787B2 JP 7379787 B2 JP7379787 B2 JP 7379787B2 JP 2022517497 A JP2022517497 A JP 2022517497A JP 2022517497 A JP2022517497 A JP 2022517497A JP 7379787 B2 JP7379787 B2 JP 7379787B2
Authority
JP
Japan
Prior art keywords
network
image
feature
hazy
generative adversarial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022517497A
Other languages
English (en)
Other versions
JP2022548712A (ja
Inventor
張登銀
曹雪傑
董江偉
周詩▲ちー▼
趙莎莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Publication of JP2022548712A publication Critical patent/JP2022548712A/ja
Application granted granted Critical
Publication of JP7379787B2 publication Critical patent/JP7379787B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は画像処理の技術分野、特にフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法に関わる。
本出願は2020年6月10日に中国特許局に提出され、出願番号が202010522038.0、発明の名称が「フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法」である中国特許により請求した優先権を請求し、その内容の全部が引用により本出願に結合されるものである。
ヘイズの気象条件で、空気に浮遊粒子と水滴がたくさんあり、これらの微粒子が光を吸収したり、散乱させたりして、画像取得システムによる画像パラメータの色の歪み、コントラスト低下及び細部紛失を引き起こし、ターゲット認識、セキュリティ監視、高度道路交通システムなどのコンピュータビジョンアプリケーションなどにおける画像の利用価値が低下した。そこで、イメージヘイズ除去技術改善に関する研究はヘイズ周囲におけるコンピュータビジョンシステムの正常な動作に対して具有十分に重要な現実的意義がある。従来のイメージヘイズ除去技術は大体に次の3種に区分される。
その一は、画像エンハンスメントに基づくヘイズ除去方法は画像劣化の原因を考慮に入れなく、画像エンハンスメントにより画像のコントラスト、彩度及び鋭さなどを向上させて画像の主観的視覚効果を向上させ、強化された画像はコントラストが更に高くなると同時に、情報紛失、画像の歪みなどの課題がある。
その二は、復元に基づくヘイズ除去方法は大気中の光散乱モデルなどの物理モデルに基づき、様々な方法でモデルにおけるパラメータを推定し、インバージョンにより劣化までのオリジナル画像を求め、処理された画像は更に鮮明、自然であり、細部損失が少ないが、デヘイズ効果がモデルパラメータの選択に関わり、不正確なパラメータが直接に復元された画像の効果に影響を及ぼすと同時に、画像の予備知識に対する人工によるまとめ及び画像特徴デザインが必要であるので、複雑なシーンにユニバーサル性が乏しい。
その三は、ディープラーニングに基づくヘイズ除去方法は人工デザインによるフィーチャー抽出器が不要であり、ニューラルネットワークのフィーチャー抽出力によりヘイズの特徴を習って良好な画像デヘイズ効果に達成するが、ネットワークモデルトレーニングパラメータが多すぎ、コンピューティングプラットフォームのメモリ及び計算力に対する需要が高く、画像のヘイズ除去効率が遅いという課題がある。
そこで、本発明はフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法を提供して従来の技術における画像エンハンスメントによるヘイズ除去方法に処理された画像にある情報紛失の技術課題、画像復元によるヘイズ除去方法に処理された画像の不正確なパラメータが選択される場合に復元された画像の効果に影響を及ぼす技術課題、ディープラーニングに基づくヘイズ除去アルゴリズムを利用する場合に画像のヘイズ除去速度に影響を及ぼす技術課題を解決することを目的にする。
下記のステップを含むフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法であり、
ヘイズのある画像を事前にトレーニングされた敵対的生成ネットワークに入力し、ヘイズのある画像と対応するヘイズのない画像を取得する。前記の敵対的生成ネットワークはクリエイターネットワーク及び弁別器ネットワークを含み、
敵対的生成ネットワークのクリエイターネットワークにフィーチャーピラミッドが融合された。
望ましくは、敵対的生成ネットワークの弁別器ネットワークは順に接続された畳み込みアクティベーションレイヤー、コーディングユニットの抽出フィーチャレイヤー、完全に接続されたレイヤー及びsigmoidアクティベーションレイヤーを含み、前記のコーディングユニットの抽出フィーチャレイヤーは少なくとも2箇所あり、互いに直列に接続されている。
望ましくは、前記のクリエイターネットワークは順に接続されたバックボーンネットワーク、フィーチャーピラミッド及び画像再構成ネットワークを含み、前記のヘイズのない画像の取得方法は下記のステップを含む。
１）前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行い、
２）前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行い、
３）前記の画像再構成ネットワークは融合されたフィーチャーに対する復元を行い、ヘイズのある画像と対応するヘイズのない画像を出力する。
望ましくは、前記のバックボーンネットワークは事前にトレーニングされたMobileNet-V2ネットワークである。前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行うことは、MobileNet-V2ネットワークが入力されたヘイズのある画像に応答し、少なくとも2箇のスケールの異なるフィーチャーマップを出力することを含む。
望ましくは、前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行う前にMobileNet-V2ネットワークに出力されたフィーチャーマップに対する1＊1畳み込み演算を行うことも含む。
望ましくは、敵対的生成ネットワークのトレーニング方法は下記のステップを含む。１）プリフェッチされた少なくとも2枚のヘイズのある画像及びそれと対応するヘイズのない画像に基づいてトレーニングサンプルセットを構成する。２）弁別器ネットワークの損失関数→0.5、クリエイターネットワークの損失関数→0をターゲットにし、前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、トレーニングされた敵対的生成ネットワークを取得するまでそれに対するトレーニングを行う。
望ましくは、弁別器ネットワークの損失関数は式が下記のとおりである。
Figure 0007379787000001
 式の中、
LD：弁別器ネットワークの損失関数
D（Ii G）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
D（Ii ＊）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
N：トレーニングサンプルセットにおける画像の対数
望ましくは、クリエイターネットワークの損失関数は式が下記のとおりである。
Figure 0007379787000002
 式の中、
LG：クリエイターネットワークの損失関数
Ii G：クリエイターが生成したi番目の生成画像
Ii ＊：トレーニングサンプルセットにおけるi番目のタグ付き画像
C：画像のチャンネル
W×H：画像の寸法
Ｄ（Ｉi G）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
Ｄ（Ｉi ＊）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
N：トレーニングサンプルセットにおける画像の対数
λ：重み係数の重み
望ましくは、前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、それに対するトレーニングを行うまで平均値0及び標準偏差0.001のガウス分布によりランダムに重みWjiにおける各重さの初期化を行い、バイアスBjiが0となるようにする。
望ましくは、前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、それに対する下記のものを含むトレーニングを行う。
１）トレーニング成績に応じて重みWji及びバイアスBjiを更新すること。
２）更新された重みWji及びバイアスBjiを損失関数に代入すること。
３）弁別器ネットワークの損失関数が0.5となり、トレーニングされた敵対的生成ネットワークを取得するまで重みWji及びバイアスBjiに関する更新及び代入の過程が重複するようにする。
本発明ではフィーチャーピラミッド構成で普通の画像スケーリングを代替してマルチスケールのフィーチャー抽出を行い、弁別器ネットワークを追加し、元のネットワークのフレームを敵対的生成ネットワークに基づくフレームに展開し、クリエイター生成画像の品質及び効率を向上させる。その中、敵対的生成ネットワークのクリエイターはヘイズのある画像を入力し、ヘイズが除去された鮮明な画像を出力する。
そこで、トレーニングが完了してからヘイズのある画像を敵対的生成ネットワークのクリエイターに入力するだけでヘイズが除去された鮮明な画像を取得できる。クリエイターでMobileNet-V2をバックボーンネットワークし、ネットワークモデルのトレーニングパラメータを少なくし、フィーチャー抽出の速度を向上させることができることができると同時に、ネットワークモデルに融合したフィーチャーピラミッド構成によりメモリ占用及び計算量を少なくすることができ、更に効率的にスケールの異なるヘイズのフィーチャーに関する情報が融合するようにし、ヘイズが除去された画像が更に鮮明で、自然であるようにすることができる。なお、モデルは敵対的生成ネットワークモデルに基づき、交互に反復するようなトレーニングを行なうので、同時にクリエイター生成画像の品質、安定性及び収束速度を向上させることができる。
更に明らかに本発明の実例または従来の技術における技術策を示すために、次に実例に用いられる図について簡単に説明する。明らかに、次の説明における図は本発明の実例だけであり、本分野の普通の技術者が創造的労働をしないで、これらの図により他の図を取得することもできる。
本発明の実施形態のプロセスチャートである。 本発明の実施形態における弁別器ネットワークの構成図である。 本発明の実施形態におけるクリエイターネットワークの構成図である。
次に本発明の実例における図と合わせて本発明の実例における技術策について明らかに、完全に説明する。明らかに、説明関係の実例は本発明の実例の一部だけであり、その全部ではない。本分野の普通の技術者が本発明における実例に基づいていかなる創造的労働をしないで取得する他の実例のすべては本発明の請求項に属する。
フィーチャーピラミッドは効率的なフィーチャー抽出方法であり、畳み込みニューラルネットワーク (Convolutional Neural Networks、CNN)モデル内部の低所から高所への複数の緯度のフィーチャーエクスプレスにより単一のイメージビューで画像に対する多次元のフィーチャーエクスプレスを生成し、画像ピラミッドと比べて大いにモデル計算及びメモリに対する需要を降下させた上、有効に普通のCNNモデルにエネルギーを与え、更に強い表現力のフィーチャーマップを生成できる。そこで、可以ネットワークモデルのフィーチャー抽出力を向上させると同時に、メモリ及び計算量に対する需要を降下させ、更に高い品質と効率の画像ヘイズ除去に達成できる。
敵対的生成ネットワーク (Generative Adversarial Networks、GAN)モデルは敵対的過程により生成モデルを推定するフレームであり、クリエイターG及び弁別器Dというモデルの2つを含む。その中、クリエイターGは実際のサンプルデータの分布から新規データスペースに映射し、できる限りターゲット関数との誤差が小さくなるようにして弁別器を欺くようにする。弁別器Dは実際のデータ及びクリエイターGの生成データを入力し、努力して真と偽を判別し、両者が互いに対戦し、最終にナッシュ均衡に達成する。GANはモデルデザインが簡単であり、複雑な関数モデルの事前デザインが不要であり、トレーニング関数の逆伝播により、有効な損失関数に拘束されて更に効率的にネットワークモデルをトレーニングし、顕著にネットワークの収束性及び安定性を向上させることができる。
上記の通りに、本発明の実例はフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法を提供したものである。図1は本発明の実例のプロセスチャートである。本発明はフィーチャーピラミッドを融合した敵対的生成ネットワークに基づいて達成するものであり、下記のステップを含む。
ステップ1. RESIDE-BateにおけるOTS及びITSデータセットを取得してトレーニングサンプルにおけるヘイズのない画像セットにする。
ステップ2.大気散乱モデルでステップ1におけるヘイズのない画像セットに濃度の異なるヘイズを入れてヘイズのある画像セットを取得する。ヘイズのある画像セット及びヘイズのない画像セットにおける画像を224＊224の画像ブロックにせん断し、HDF5のデータ形式に転換して記憶する。それぞれ比例に従ってヘイズのある画像の画像ブロック及びヘイズのない画像の画像ブロックを2つの部分に分かれ、その一部をトレーニングサンプル、他の一部を試験サンプルにしてトレーニングに用いる。この過程に、様々な天気条件下のヘイズの濃度に適応するために、ヘイズの異なる濃度下の画像フィーチャーをラーンし、ヘイズのない画像セット合成濃度10、20、30、40、50、60、70、80、90、100％のヘイズに対してヘイズのある画像セットを取得する。ヘイズのある画像及びヘイズのない画像の計2000対を選出してトレーニングサンプル、画像の残り400対を試験サンプルにする。
ステップ3.ステップ2におけるHDF5形式のトレーニングサンプルを入力し、フィーチャーピラミッドを融合した敵対的生成ネットワークのデザインを行う。このフィーチャーピラミッドを融合した敵対的生成ネットワークは畳み込みニューラルネットワークからなる弁別器ネットワーク及びフィーチャーピラミッドを融合したクリエイターネットワークを含む。
図2は本発明の実例における弁別器ネットワークの構成図であり、弁別器ネットワークが左から右へ順に接続された1つの畳み込みアクティベーションレイヤー、互いに直列に接続されている5つのコーディングユニットの抽出フィーチャレイヤー、1つの完全に接続されたレイヤー及び1つのsigmoidアクティベーションレイヤーを含む。
畳み込みアクティベーションレイヤーは1つのConv畳み込みレイヤー及び1つのReluアクティベーションレイヤーを含み、畳み込みレイヤーはチャンネル数が32、ステップサイズが2、畳み込みカーネルはサイズが3×3であり、アクティベーションレイヤーはリニアユニットのReLUアクティベーション関数の修正により畳み込みの出力成績F1に対する非線形回帰を行ってＦ１ ＊を取得し、式が下記のとおりである。
Figure 0007379787000003
各コーディングユニットの抽出フィーチャレイヤーは順に直列接続された1つのConv畳み込みレイヤー、1つのバッチノーマライゼーションレイヤー(BatchNorm)及び1つのアクティベーションレイヤー(Relu) を含み、5つのコーディングユニットの抽出フィーチャレイヤーが順に直列接続され、それと対応する畳み込みレイヤーパラメータを表1に示す。
表1：コーディングユニットの抽出フィーチャレイヤーで対応する畳み込みレイヤーパラメータ
コーディングユニットの抽出フィーチャレイヤーでフィーチャー抽出を行ってから1×1の畳み込み(Conv)を行ってチャンネル数を削減して計算量を削減するようにする。完全に接続されたレイヤー(FC)はこの畳み込みレイヤーの後にあるので、抽出されたフィーチャーを区分してsigmoid関数で区分成績に対する正規化を行い、式が下記のとおりである。
Figure 0007379787000005
この関数により完全に接続されたレイヤーの成績を[0、1]に拘束でき、出力成績が弁別器により入力された画像が実際のヘイズのない画像であると判定する確率となる。
図3は本発明の実例におけるクリエイターネットワークの構成図であり、クリエイターネットワークが順に接続されたフィーチャー抽出を行う1つのバックボーンネットワーク、フィーチャー融合を行う1つのフィーチャーピラミッド及びフィーチャーの復元を行う1つの画像再構成ネットワークを含む。
バックボーンネットワークはプレトレーニングされたMobileNet-V2ネットワークであり、スケールの異なる4つのフィーチャーマップを出力し、それぞれMobileNet-V2ネットワークの「block_2_project」、「block_4_project」、「block_7_project」及び「block_11_project」レイヤーの出力画像であり、対応する寸法はそれぞれ112×112、56×56、28×28及び17×17である。ネットワークの計算量を削減するために、フィーチャーマップは、フィーチャーピラミッドに入力してフィーチャー融合を行う前に1×1の畳み込みを行う。
フィーチャーピラミッドは1層目の操作が畳み込みカーネルが256×3×3、ステップサイズが1である1つの畳み込みレイヤー及び1つのReluのアクティベーションレイヤーについてアクティベーションされたフィーチャーマップを出力することである。それからのレイヤー別の操作は順に1つの2×2の逆畳み込みレイヤー、1つの入力フィーチャーマップの元素との加算レイヤー、1つの畳み込みカーネルが256×3×3、ステップサイズが1である畳み込みレイヤー及び1つのReluのアクティベーションレイヤーであり、アクティベーションされたフィーチャーマップが出力フィーチャーマップとなる。
画像再構成ネットワークは逆畳み込みによりフィーチャーピラミッドに出力されたフィーチャーマップを一致するサイズのものに調整してからフィーチャーマップに連結し、畳み込み、アクティベーション、逆畳み込み及び元素の加算と融合により画像の再構成を行い、最後の再構成レイヤーで選択を行ってオリジナルヘイズのある画像を入力して加算操作を行って画像の低頻度細部を強化するようにする。
ステップ4.損失関数を構成する。
弁別器ネットワークは損失関数が下式で算出できる。
Figure 0007379787000006
 式の中、
LD：弁別器ネットワークの損失関数
D（Ii G）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
D（Ii ＊）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
N：トレーニングサンプルセットにおける画像の対数
クリエイターネットワークの損失関数は損失関数が下式で算出できる。
Figure 0007379787000007
 式の中、
LG：クリエイターネットワークの損失関数
Ii G：クリエイターが生成したi番目の生成画像
Ii ＊：トレーニングサンプルセットにおけるi番目のタグ付き画像
C：画像のチャンネル
W×H：画像の寸法
Ｄ（Ｉi G）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
Ｄ（Ｉi ＊）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
N：トレーニングサンプルセットにおける画像の対数
λ：重み係数の重み、0.01
この式で、右1項目の
Figure 0007379787000008
は画像の像素損失を計算するための内容損失項目、右2項目の
Figure 0007379787000009
は敵対的ネットワークにおける損失を計算するための敵対的損失項目である。
これによると、弁別器の損失がサンプル画像及びタグ付き画像に対する判定確率の差であり、クリエイターの効果が望ましくなる場合、判定器が画像がヘイズ除去画像であるか、ヘイズのない画像であるかを判断できない。即ち、判定器は損失関数の成績が0.5である。この状態でクリエイターは実際と最も近く、ヘイズのない画像の成績を生じることができる。
トレーニングを行う場合、先ずWji及びBjiに対する初期化を行う。ネットワークモデルはレイヤー別の重みについて平均値0及び標準偏差0.001のガウス分布によりランダムにフィルターの重み、即ちWjiにおける各重さに対する初期化を行う。初期化Bjiは0である。
初期化を完成してから確率的勾配降下アルゴリズム及びにより重みWji及びバイアスBjiを更新する。
Figure 0007379787000010
 式の中、
α：ラーン速度
上記の2式における偏導関数は逆伝播アルゴリズムにより算出できる。即ち、損失関数式について下式によりそれぞれWjiの偏導▽ｗＬ及びBjiの偏導▽ＢＬを算出する。
Figure 0007379787000011
Figure 0007379787000012
その中、逆伝播アルゴリズムは主なステップが次の通りである。
ステップ1.決まったサンプルを前へ伝え、ネットワークの神経ノードの全部の出力値を取得する。
ステップ2.総誤差を算出し、総誤差によりある神経ノードについて偏導を求め、最終出力に対する当該神経ノードの影響を取得できる。
よって、ネットワークモデルトレーニングは完全なステップが次のとおりである。
ネットワークの各レイヤーのパラメータに対する初期化を行う。
ａ：各サンプルiについて、逆伝播により▽ｗＬ及び▽ＢＬを求める。
ｂ：パラメータWji及びBjiの変化量を数式９により求める。その中、初期化の▽ｗ及び▽Ｂはともに0である。
Figure 0007379787000013
ｃ：パラメータの更新を完成する。
ｄ：更新されたWji及びBjiを損失関数に代入し、判定器の損失関数が0.5となるまで重複してステップa）～d）を実行する。
更新が完了すると、ステップ5に入る。
ステップ5.新規ヘイズのある画像をトレーニングされたフィーチャーピラミッドを融合した敵対的生成ネットワークのクリエイターに入力し、取得した出力成績をこの新規ヘイズのある画像のヘイズが除去されたヘイズのない画像にする。
本説明書の各実例についてステップバイステップ方式で説明し、各実例で主に他の実例との違いについて説明し、各実例で同じ、または類似的分について互いに参考して十分である。
ここで具体的な例で本発明の原理及び実施方法について説明した。実例に関する上記の説明が本発明の方法及びその中核的な考え方に関する理解について支援を提供するものだけであり、本分野の普通の技術者が本発明の考え方に基づいて実例及び応用範囲で変更を行うことがあるので、本説明書の内容は本発明を制限するためのものであると理解されてはいけない。

Claims (7)

  1. フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法であって、
    下記のステップ、
    ヘイズのある画像を事前にトレーニングされた敵対的生成ネットワークに入力し、ヘイズのある画像と対応するヘイズのない画像を取得すること、
    を含み、
    前記の敵対的生成ネットワークはクリエイターネットワーク及び弁別器ネットワークを含み、
    前記のクリエイターネットワークが、順に接続されたバックボーンネットワーク、フィーチャーピラミッド及び画像再構成ネットワークを含み、
    前記のヘイズのない画像の取得方法が、
    下記のステップ、
    前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行うこと、
    前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行うこと、
    前記の画像再構成ネットワークは融合されたフィーチャーに対する復元を行い、ヘイズのある画像と対応するヘイズのない画像を出力すること、
    を含み、
    前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行うことは、バックボーンネットワークが入力されたヘイズのある画像に応答し、少なくとも2箇のスケールの異なるフィーチャーマップを出力することを含み、
    前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行うことは、前記バックボーンネットワークによって出力された少なくとも2箇のスケールの異なるフィーチャーマップを融合することを含み、
    敵対的生成ネットワークのトレーニング方法は、
    下記のステップ、
    プリフェッチされた少なくとも2枚のヘイズのある画像及びそれと対応するヘイズのない画像に基づいてトレーニングサンプルセットを構成すること、
    弁別器ネットワークの損失関数→0.5、クリエイターネットワークの損失関数→0をターゲットにし、前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、トレーニングされた敵対的生成ネットワークを取得するまでそれに対するトレーニングを行うこと、
    を含み、
    弁別器ネットワークの損失関数は式が下記のとおりであり、
    Figure 0007379787000014
    式の中、
    L D ：弁別器ネットワークの損失関数
    D（I i G ）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
    D（I i ＊ ）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
    N：トレーニングサンプルセットにおける画像の対数
    であることを特徴とする、フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。
  2. フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法であって、
    下記のステップ、
    ヘイズのある画像を事前にトレーニングされた敵対的生成ネットワークに入力し、ヘイズのある画像と対応するヘイズのない画像を取得すること、
    を含み、
    前記の敵対的生成ネットワークはクリエイターネットワーク及び弁別器ネットワークを含み、
    前記のクリエイターネットワークが、順に接続されたバックボーンネットワーク、フィーチャーピラミッド及び画像再構成ネットワークを含み、
    前記のヘイズのない画像の取得方法が、
    下記のステップ、
    前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行うこと、
    前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行うこと、
    前記の画像再構成ネットワークは融合されたフィーチャーに対する復元を行い、ヘイズのある画像と対応するヘイズのない画像を出力すること、
    を含み、
    前記のバックボーンネットワークは入力されたヘイズのある画像に対するフィーチャー抽出を行うことは、バックボーンネットワークが入力されたヘイズのある画像に応答し、少なくとも2箇のスケールの異なるフィーチャーマップを出力することを含み、
    前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行うことは、前記バックボーンネットワークによって出力された少なくとも2箇のスケールの異なるフィーチャーマップを融合することを含み、
    敵対的生成ネットワークのトレーニング方法は、
    下記のステップ、
    プリフェッチされた少なくとも2枚のヘイズのある画像及びそれと対応するヘイズのない画像に基づいてトレーニングサンプルセットを構成すること、
    弁別器ネットワークの損失関数→0.5、クリエイターネットワークの損失関数→0をターゲットにし、前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、トレーニングされた敵対的生成ネットワークを取得するまでそれに対するトレーニングを行うこと、
    を含み、
    クリエイターネットワークの損失関数は、式が下記のとおりであり、
    Figure 0007379787000015
    式の中、
    L G ：クリエイターネットワークの損失関数
    I i G ：クリエイターが生成したi番目の生成画像
    I i ＊ ：トレーニングサンプルセットにおけるi番目のタグ付き画像
    C：画像のチャンネル
    W×H：画像の寸法
    Ｄ（Ｉ i G ）：クリエイターが生成したi番目の生成画像に対する弁別器による判別成績
    Ｄ（Ｉ i ＊ ）：トレーニングサンプルセットにおけるi番目のタグ付き画像に対する弁別器による判別成績
    N：トレーニングサンプルセットにおける画像の対数
    λ：重み係数の重み
    であることを特徴とする、フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。
  3. 敵対的生成ネットワークの弁別器ネットワークは順に接続された畳み込みアクティベーションレイヤー、コーディングユニットの抽出フィーチャレイヤー、完全に接続されたレイヤー及びsigmoidアクティベーションレイヤーを含み、前記のコーディングユニットの抽出フィーチャレイヤーは少なくとも2箇所あり、互いに直列に接続されていることを特徴とする請求項1または２に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。
  4. 前記のバックボーンネットワークが事前にトレーニングされたMobileNet-V2ネットワークであることを特徴とする、請求項1または２に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。
  5. 前記のフィーチャーピラミッドは抽出されたフィーチャーに対するフィーチャー融合を行う前にMobileNet-V2ネットワークに出力されたフィーチャーマップに対する1＊1畳み込み演算を行うことも含むことを特徴とする請求項4に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。
  6. 前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、それに対するトレーニングを行う前に平均値0及び標準偏差0.001のガウス分布によりランダムに重みWjiにおける各重さの初期化を行い、バイアスBjiが0となるようにすることを特徴とする請求項1または2に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。
  7. 前記のトレーニングサンプルセットにおける画像を敵対的生成ネットワークに入力し、それに対する下記のもの、
    トレーニング成績に応じて重みWji及びバイアスBjiを更新すること、
    更新された重みWji及びバイアスBjiを損失関数に代入すること、
    弁別器ネットワークの損失関数が0.5となり、トレーニングされた敵対的生成ネットワークを取得するまで重みWji及びバイアスBjiに関する更新及び代入の過程が重複するようにすること、
    を含むトレーニングを行うことを特徴とする請求項6に記載のフィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法。
    。
JP2022517497A 2020-06-10 2021-02-23 フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法 Active JP7379787B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010522038.0 2020-06-10
CN202010522038.0A CN111738942A (zh) 2020-06-10 2020-06-10 一种融合特征金字塔的生成对抗网络图像去雾方法
PCT/CN2021/077354 WO2021248938A1 (zh) 2020-06-10 2021-02-23 一种融合特征金字塔的生成对抗网络图像去雾方法

Publications (2)

Publication Number Publication Date
JP2022548712A JP2022548712A (ja) 2022-11-21
JP7379787B2 true JP7379787B2 (ja) 2023-11-15

Family

ID=72648639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022517497A Active JP7379787B2 (ja) 2020-06-10 2021-02-23 フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法

Country Status (3)

Country Link
JP (1) JP7379787B2 (ja)
CN (1) CN111738942A (ja)
WO (1) WO2021248938A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN112509001A (zh) * 2020-11-24 2021-03-16 河南工业大学 一种多尺度和多特征融合的特征金字塔网络盲复原方法
CN113066019A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种图像增强方法及相关装置
CN113052068B (zh) * 2021-03-24 2024-04-30 深圳威富云数科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN113240589A (zh) * 2021-04-01 2021-08-10 重庆兆光科技股份有限公司 一种多尺度特征融合的图像去雾方法及系统
KR20220125719A (ko) * 2021-04-28 2022-09-14 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 목표 대상 검측 모델을 트레이닝하는 방법 및 장비, 목표 대상을 검측하는 방법 및 장비, 전자장비, 저장매체 및 컴퓨터 프로그램
CN113658051B (zh) * 2021-06-25 2023-10-13 南京邮电大学 一种基于循环生成对抗网络的图像去雾方法及系统
CN113256541B (zh) * 2021-07-16 2021-09-17 四川泓宝润业工程技术有限公司 利用机器学习对钻井平台监控画面进行去水雾的方法
CN113554872B (zh) * 2021-07-19 2022-09-20 昭通亮风台信息科技有限公司 一种位于交通路口及弯道的检测预警方法及系统
CN113554571B (zh) * 2021-08-11 2023-07-04 广东工业大学 一种图像去雾方法、装置、电子设备及存储介质
CN114240796B (zh) * 2021-12-22 2024-05-31 山东浪潮科学研究院有限公司 一种基于gan的遥感影像去云雾方法、设备、存储介质
CN114267432B (zh) * 2022-03-01 2022-05-24 中南大学 生成对抗网络交替训练及医疗图像分类方法、装置、介质
CN114742719B (zh) * 2022-03-14 2024-04-16 西北大学 一种基于多特征融合的端到端图像去雾方法
CN114758276A (zh) * 2022-04-13 2022-07-15 南京师范大学 一种基于复合连接超网络的金属增减材制造熔池检测方法
CN114972076B (zh) * 2022-05-06 2024-04-26 华中科技大学 一种基于分层多块卷积神经网络的图像去雾方法
CN114821239B (zh) * 2022-05-10 2024-07-02 安徽农业大学 一种有雾环境下的病虫害检测方法
CN114912707B (zh) * 2022-06-01 2023-06-30 郑州大学 一种基于多模态融合的空气质量预测系统及预测方法
CN115293992B (zh) * 2022-09-28 2022-12-30 泉州装备制造研究所 基于无监督权重深度模型的偏振图像去雾方法及装置
CN115471429B (zh) * 2022-10-31 2023-04-07 航天宏图信息技术股份有限公司 一种基于全局颜色迁移的遥感影像去雾方法和装置
CN115908617B (zh) * 2023-01-09 2024-06-07 长春理工大学 一种红外图像彩色化方法及系统
CN116645298B (zh) * 2023-07-26 2024-01-26 广东电网有限责任公司珠海供电局 一种架空输电线路视频监控图像去雾方法及装置
CN118097360B (zh) * 2024-04-26 2024-07-05 齐鲁工业大学(山东省科学院) 基于显著特征提取和残差连接的图像融合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570363A (zh) 2019-08-05 2019-12-13 浙江工业大学 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
US20190392596A1 (en) 2018-06-22 2019-12-26 X Development Llc Detection and replacement of transient obstructions from high elevation digital images
JP2020042760A (ja) 2018-09-07 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理装置、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783622B2 (en) * 2018-04-25 2020-09-22 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
CN109272455B (zh) * 2018-05-17 2021-05-04 西安电子科技大学 基于弱监督生成对抗网络的图像去雾方法
CN109410135B (zh) * 2018-10-02 2022-03-18 复旦大学 一种对抗学习型图像去雾、加雾方法
CN111105336A (zh) * 2019-12-04 2020-05-05 山东浪潮人工智能研究院有限公司 一种基于对抗网络的图像去水印的方法
CN111738942A (zh) * 2020-06-10 2020-10-02 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN112070688A (zh) * 2020-08-20 2020-12-11 西安理工大学 一种基于上下文引导生成对抗网络的单幅图像去雾方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190392596A1 (en) 2018-06-22 2019-12-26 X Development Llc Detection and replacement of transient obstructions from high elevation digital images
JP2020042760A (ja) 2018-09-07 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理装置、及びプログラム
CN110570363A (zh) 2019-08-05 2019-12-13 浙江工业大学 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法

Also Published As

Publication number Publication date
CN111738942A (zh) 2020-10-02
WO2021248938A1 (zh) 2021-12-16
JP2022548712A (ja) 2022-11-21

Similar Documents

Publication Publication Date Title
JP7379787B2 (ja) フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法
CN111091045B (zh) 一种基于时空注意力机制的手语识别方法
CN112149459B (zh) 一种基于交叉注意力机制的视频显著性物体检测模型及系统
JP2023003026A (ja) 深層学習に基づく農村地域分けゴミ識別方法
CN107749052A (zh) 基于深度学习神经网络的图像去雾方法及系统
CN111798369A (zh) 一种基于循环条件生成对抗网络的人脸衰老图像合成方法
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及系统
CN113160286A (zh) 一种基于卷积神经网络的近红外和可见光图像融合方法
CN113420794A (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
CN117576402B (zh) 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法
CN111553856A (zh) 基于深度估计辅助的图像去雾方法
CN113706407B (zh) 基于分离表征的红外可见光图像融合方法
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
Zhang et al. Deep joint neural model for single image haze removal and color correction
CN111539434B (zh) 基于相似度的红外弱小目标检测方法
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
CN109583406B (zh) 基于特征关注机制的人脸表情识别方法
CN115346091B (zh) 一种Mura缺陷图像数据集的生成方法和生成装置
CN115830384A (zh) 一种基于双判别器生成对抗网络的图像融合方法和系统
Liu et al. An information retention and feature transmission network for infrared and visible image fusion
CN115731447A (zh) 基于注意力机制蒸馏的解压缩图像目标检测方法及系统
CN113674230B (zh) 一种室内逆光人脸关键点的检测方法及装置
CN115205148A (zh) 基于双路径残差网络的图像去模糊方法
CN114049675A (zh) 基于轻量双通道神经网络的人脸表情识别方法
Tian et al. A modeling method for face image deblurring

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231011

R150 Certificate of patent or registration of utility model

Ref document number: 7379787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150