JP2023538147A - 再照明画像の生成方法、装置及び電子機器 - Google Patents

再照明画像の生成方法、装置及び電子機器 Download PDF

Info

Publication number
JP2023538147A
JP2023538147A JP2023513079A JP2023513079A JP2023538147A JP 2023538147 A JP2023538147 A JP 2023538147A JP 2023513079 A JP2023513079 A JP 2023513079A JP 2023513079 A JP2023513079 A JP 2023513079A JP 2023538147 A JP2023538147 A JP 2023538147A
Authority
JP
Japan
Prior art keywords
image
feature
guidance
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023513079A
Other languages
English (en)
Inventor
フー リ，
ハオ サン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2023538147A publication Critical patent/JP2023538147A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本開示は、再照明画像の生成方法、装置及び電子機器を提供し、人工知能の分野に関し、具体的にコンピュータ視覚と深層学習技術に関し、特に画像処理シーンに適用されることができる。具体的な実現案は、処理対象である画像とそれに対応するガイダンス画像を取得し、前記ガイダンス画像に基づいて、前記処理対象である画像に対して時間領域での再照明レンダリングを行って、第１の中間画像を取得し、前記ガイダンス画像に基づいて、前記処理対象である画像に対して周波数領域空間での再照明レンダリングを行って、第２の中間画像を取得し、前記第１の中間画像と前記第２の中間画像に基づいて、前記処理対象である画像に対応するターゲット再照明画像を取得することである。これにより、本開示は、処理対象である画像とガイダンス画像に対して時間領域と周波数領域での再照明レンダリングを行い、時間領域と周波数領域での特徴情報を組み合わせることにより、レンダリング効果がより正確で、信頼的なターゲット再照明画像を得る。【選択図】 図１

Description

関連出願の相互参照
本開示は、北京百度網訊科技有限公司が２０２１年６月２９日に提案した、発明の名称が「再照明画像の生成方法、装置及び電子機器」であり、中国特許出願番号「２０２１１０７２９９４１．９」である優先権を主張する。
本開示は、コンピュータ技術の分野に関し、より具体的には人工知能の分野に関し、具体的にコンピュータ視覚と深層学習技術に関し、特に画像処理シーンに適用されることができる。
モバイル端末技術及び画像処理（Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）技術の急速な発展に伴い、再照明（Ｒｅｌｉｇｈｔｉｎｇ）技術ベースの特殊効果機能を有す様々なアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ，ＡＰＰと略称する）が誕生し、画像にフィルタを追加したり、顔の陰影効果を変更したりする機能に対するユーザーの要求も高まっている。特に、明確な照明方向と色温度度が分からない場合、ガイダンス画像に基づいて、処理対象である画像に対して任意の再照明処理を正確に行うことに対する要求も高まっている。
関連技術では、通常、人工的にレンダリングする方式、ニューラルネットワーク学習トレーニングに基づいて処理対象である画像を再照明レンダリングするためのモデルを得る方式という２つの方式で再照明画像の生成を行う。
しかしながら、人工的にレンダリングするのは、人件費が極める高く、再照明画像の生成効率が低く、信頼性が悪いという問題があり、ニューラルネットワーク学習トレーニングで得られたネットワークに基づいて、生成された再照明画像は、アーティファクトが発生したり、陰影の変化が学習できなかったりする問題が多い。
そのため、再照明画像の生成過程における有効性と信頼性をどのように向上させるかは、重要な研究方向の１つとなっている。
本開示は、再照明画像の生成方法、装置及び電子機器を提供する。
本開示の一態様によれば、再照明画像の生成方法を提供し、前記方法は、処理対象である画像と前記処理対象である画像に対応するガイダンス画像を取得するステップと、前記ガイダンス画像に基づいて、前記処理対象である画像に対して時間領域での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する第１の中間画像を取得するステップと、前記ガイダンス画像に基づいて、前記処理対象である画像に対して周波数領域空間での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する第２の中間画像を取得するステップと、前記第１の中間画像と前記第２の中間画像に基づいて、前記処理対象である画像に対応するターゲット再照明画像を取得するステップと、を含む。
本開示の別の態様によれば、再照明画像生成システムのトレーニング方法を提供し、前記方法は、マックアップされたターゲット再照明画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得するステップと、前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の再照明画像生成システム内の時間領域特徴取得モデルに入力してトレーニングして、時間領域モデルの第１の損失関数を取得するステップと、前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の前記再照明画像生成システム内の周波数領域特徴取得モデルに入力してトレーニングして、周波数領域モデルの第２の損失関数を取得するステップと、前記第１の損失関数と前記第２の損失関数に基づいて、前記再照明画像生成システムに対応する総損失関数を取得して、前記総損失関数に基づいて前記再照明画像生成システム内のモデルパラメータを調整し、トレーニング結果がトレーニング終了条件を満たすまで、前記マックアップされたターゲット再照明画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得するステップに戻り、最後に前記モデルパラメータを調整した後のトレーニング対象の前記再照明画像生成システムをトレーニング済みの前記再照明画像生成システムとして決定するステップと、を含む。
本開示の別の態様によれば、再照明画像の生成装置を提供し、前記装置は、処理対象である画像と前記処理対象である画像に対応するガイダンス画像を取得する第１の取得モジュールと、前記ガイダンス画像に基づいて、前記処理対象である画像に対して時間領域での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する第１の中間画像を取得する第２の取得モジュールと、前記ガイダンス画像に基づいて、前記処理対象である画像に対して周波数領域空間での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する第２の中間画像を取得する第３の取得モジュールと、前記第１の中間画像と前記第２の中間画像に基づいて、前記処理対象である画像に対応するターゲット再照明画像を取得する第４の取得モジュールと、を備える。
本開示の別の態様によれば、再照明画像生成システムのトレーニング装置を提供し、前記装置は、マックアップされたターゲット再照明画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得する第１の取得モジュールと、前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の再照明画像生成システム内の時間領域特徴取得モデルに入力してトレーニングして、時間領域モデルの第１の損失関数を取得する第２の取得モジュールと、前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の前記再照明画像生成システム内の周波数領域特徴取得モデルに入力してトレーニングして、周波数領域モデルの第２の損失関数を取得する第３の取得モジュールと、前記第１の損失関数と前記第２の損失関数に基づいて、前記再照明画像生成システムに対応する総損失関数を取得して、前記総損失関数に基づいて前記再照明画像生成システム内のモデルパラメータを調整し、トレーニング結果がトレーニング終了条件を満たすまで、前記マックアップされたターゲット再照明画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得するステップに戻り、最後に前記モデルパラメータを調整した後のトレーニング対象の前記再照明画像生成システムをトレーニング済みの前記再照明画像生成システムとして決定する決定モジュールと、を備える。
本開示の別の態様によれば、電子機器を提供し、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが本開示の第１の態様に記載の再照明画像の生成方法または第２の様態に記載の再照明画像生成システムのトレーニング方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。
本開示の別の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、前記コンピュータに本開示の第１の態様に記載の再照明画像の生成方法または第２の態様に前記の再照明画像生成システムのトレーニング方法を実行させる。
本開示の別の態様によれば、コンピュータプログラムが含まれるコンピュータプログラム製品を提供し、前記コンピュータプログラムはプロセッサによって実行される際、本開示の第１の態様に記載の再照明画像の生成方法または第２の態様に記載の再照明画像生成システムのトレーニング方法を実現する。
なお、この部分に記載のコンテンツは、本開示の実施例の肝心または重要な特徴を特定することを意図しておらず、本開示の範囲を限定することも意図していないことを理解されたい。本開示の他の特徴は、以下の説明を通して容易に理解される。
図面は、本技術案をよりよく理解するために使用され、本開示を限定するものではない。
本開示の第１の実施例に係る概略図である。 再照明画像生成過程の概略図である。 本開示の第２の実施例に係る概略図である。 本開示の第３の実施例に係る概略図である。 本開示の第４の実施例に係る概略図である。 第１の特徴画像処理過程の概略図である。 本開示の第５の実施例に係る概略図である。 再照明画像生成過程の概略図である。 処理対象である画像の概略図である。 本開示の第６の実施例に係る概略図である。 本開示の第７の実施例に係る概略図である。 本開示の第８の実施例に係る概略図である。 別の再照明画像生成過程の概略図である。 別の再照明画像生成過程の概略図である。 別の再照明画像生成過程の概略図である。 本開示の第９の実施例に係る概略図である。 本開示の第１０の実施例に係概略図である。 本開示の第１１の実施例に係る概略図である。 本開示の第１２の実施例に係る概略図である。 本開示の実施例の再照明画像の生成方法を実現するための再照明画像の生成装置のブロック図である。 本開示の実施例の再照明画像の生成方法を実現するための再照明画像の生成装置のブロック図である。 本開示の実施例の再照明画像生成システムのトレーニング方法を実現するための再照明画像生成システムのトレーニング装置のブロックである。 本開示の実施例の再照明画像生成システムのトレーニング方法を実現するための再照明画像生成システムのトレーニング装置のブロックである。 本開示の実施例の再照明画像の生成方法を実現するための電子機器のブロック図である。
以下、図面と併せて本開示の例示的な実施例を説明し、理解を容易にするためにその中には本開示の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本開示の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確及び簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。
以下、本開示の技術案に関する技術分野について簡単に説明する。
コンピュータ技術（Ｃｏｍｐｕｔｅｒ Ｔｅｃｈｎｏｌｏｇｙ）は、コンテンツが非常に広く、コンピュータシステム技術、コンピュータデバイス技術、コンピュータ部品技術、及びコンピュータ組立技術などのいくつかの面に大まかに分けることができる。コンピュータ技術は、演算方法の基本原理と演算器設計、命令システム、中央処理ユニット（ＣＰＵ）設計、パイプライン原理及びＣＰＵ設計における応用、記憶システム、バスと入出力を含む。
ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，人工知能）は、コンピュータに人間のある思惟過程と知能行為（学習、推理、思考、計画など）をシミュレートさせることを研究する学科であり、ハードウェアレベルの技術とソフトウェアレベルの技術ともある。人工知能ハードウェア技術は一般的にコンピュータ視覚技術、音声認識技術、自然言語処理技術及びその学習／深層学習、ビッグデータ処理技術、ナレッジグラフ技術などのいくつかの方面を含む。
コンピュータ視覚（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）は、どのように機械が「見る」ようにするかを研究する科学であり、さらに言えば、人の目の代わりにカメラとコンピュータで目標を認識、追跡、測定するなどの機械視覚であり、さらにグラフィックス処理を行い、コンピュータが人間の目で観察したり、機器の検査に転送したりするのに適した画像として処理する。科学学科として、コンピュータ視覚の研究に関する理論と技術は、画像や多次元データから「情報」を取得できる人工知能システムを構築しようとする。ここでの情報とは、Ｓｈａｎｎｏｎが定義したもので、「決定」を支援するために使用できる情報を指す。知覚が感覚信号から情報を抽出することと考えられることができるため、コンピュータ視覚は、どのように人工システムに画像や多次元データから「知覚」させるかを研究する科学と見なすこともできる。
ＤＬ（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ、深層学習）は、ＭＬ機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ、機械学習）分野における新しい研究方向であり、最初の目標－人工知能により近づけるように機械学習に導入されている。深層学習はサンプルデータの内的な規則と表示レベルを学習するものであり、これらの学習過程で取得された情報は文字、画像、及び音声などのデータの解釈に大きいに役立つ。その最終的な目標は、機械が人間のように分析学習能力を持ち、文字、画像、及び音声などのデータを認識できるようにすることである。深層学習は複雑な機械学習アルゴリズムであり、音声と画像認識面で収められる効果は以前の関連技術をはるかに超える。
以下、図面を参照しながら、本開示の実施例の再照明画像の生成方法、装置及び電子機器を説明する。
図１は、本開示の第１の実施例に係る概略図である。なお、本実施例の再照明画像の生成方法の実行主体は、再照明画像の生成装置であり、再照明画像の生成装置は、具体的には、ハードウェアデバイスであってもよいし、またはハードウェアデバイス内のソフトウェアなどであってもよい。ハードウェアデバイスは、例えば、端末装置、サーバなどである。
図１に示すように、本実施例によって提案される再照明画像の生成方法は以下のステップＳ１０１～Ｓ１０４を含む。
Ｓ１０１、処理対象である画像と、処理対象である画像に対応するガイダンス画像とを取得する。
処理対象である画像は、ユーザが入力した任意の画像であってもよく、また例えば、教学ビデオや映画とドラマ作品などの任意のビデオに対して、復号、フレーム抽出を行った後、処理対象である画像として１フレームの画像を得ることができる。
なお、処理対象である画像を取得しようとする際、ローカルまたはリモートの記憶領域に予め記憶されている画像を処理対象である画像として取得してもよいし、処理対象である画像として直接画像を撮影してもよい。
選択的に、ローカルまたはリモートの画像ライブラリ、ビデオライブラリのうちの少なくとも１つから記憶されている画像またはビデオを取得して、処理対象である画像を取得することができる。選択的に、処理対象である画像として直接画像を撮影することもできる。本開示の実施例は、処理対象である画像を取得する方式を限定せず、実際の状況に応じて選択することができる。
ガイダンス画像、ガイダンス処理対象である画像のレンダリングをガイドし、任意の照明条件を有する画像であってもよい。
Ｓ１０２、ガイダンス画像に基づいて、処理対象である画像に対して時間領域での再照明レンダリングを行って、ガイダンス画像における照明条件と一致する第１の中間画像を取得する。
Ｓ１０３、ガイダンス画像に基づいて、処理対象である画像に対して周波数領域空間での再照明レンダリングを行って、ガイダンス画像における照明条件と一致する第２の中間画像を取得する。
なお、関連技術では、処理対象である画像に対して再照明処理を行う際、通常、人工的にレンダリングし、または、ニューラルネットワーク学習に基づいてトレーニングして処理対象である画像に対して再照明レンダリングを行うためのモデルを得て、例えばトレーニングして畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ＣＮＮ）モデルを得る。
しかしながら、人工的にレンダリングすることには、人件費が極めて高く再照明画像の生成効率が低く、信頼性が悪いという問題がある。ニューラルネットワーク学習に基づいてトレーニングして得られたネットワークは、一般に時間領域のみに対応し、すなわち、ＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）画像下で直接操作し、この場合、ネットワーク設計に欠陥があるため、得られた再照明画像にはアーティファクトが発生したり、影の変化を学習できなかったりする問題があることが多い。
これにより、本開示によって提案される再照明画像の生成方法は、処理対象である画像に対して再照明レンダリングを行うことにより、時間領域画像及び周波数領域画像で操作することにより、品質のより良い再照明画像を生成することができる。
再照明技術（Ｒｅｌｉｇｈｔｉｎｇ）とは、１枚の与えられた画像の照明方向と色温度を変更し、これによってもう１枚の異なる照明方向と色温度の画像を生成することを意味する。
例えば、図２に示すように、図２（ａ）は色温度２５００Ｋ、光源が東にある時のシーン画像であり、図２（ｂ）は色温度が６５００Ｋであり、光源が西にある時のシーン画像である。このことからわかるように、色温度値が低い場合、画像の色が黄色くなり、暖かい色調に属し、色温度値が高い場合、画像の色が白くなり、冷たい色調に属する。同時に、光源の位置が異なると、発生する影も異なる。要約すると、再照明レンダリングを行う目的は、図２（ａ）をレンダリングし、図２（ｂ）を生成し、色温度と影の方向だけを変えて、シーンコンテンツの一貫性を維持することである。
Ｓ１０４、第１の中間画像と第２の中間画像に基づいて、処理対象である画像に対応するターゲット再照明画像を取得する。
本開示の実施例では、第１の中間画像と第２の中間画像が取得された後、第１の中間画像と第２の中間画像に対して様々な処理を行って、処理対象である画像に対応するターゲット再照明画像を取得することができる。
なお、本開示は、処理対象である画像に対応するターゲット再照明画像を取得する具体的な方式を限定せず、実際の状況に応じて選択することができる。例えば、第１の中間画像と第２の中間画像に対して重み付け処理を行い、重み付け結果をターゲット再照明画像とすることができ、また、例えば、第１の中間画像と第２の中間画像に対して平均値を求め、両者の平均値をターゲット再照明画像とすることができる。
本開示の実施例に係る再照明画像の生成方法は、人工設計に依存することなく、ニューラルネットワーク学習に基づいてトレーニングして得られた畳み込みニューラルネットワークモデルにも依存することなく、処理対象である画像とガイダンス画像に対して時間領域と周波数領域での再照明レンダリングを行い、時間領域と周波数領域での特徴情報を組み合わせることにより、任意の再照明技術に基づいて得られたターゲット再照明画像が低周波数でシーンコンテンツ構造を保持し、高周波数で詳細な影情報を保持し、これによってレンダリング効果がより正確で、信頼性があるターゲット再照明画像を得る。
図３は、本開示の第２の実施例に係る概略図である。
図３に示すように、本実施例によって提案される再照明画像の生成方法は、以下のステップＳ３０１～Ｓ３０２を含む。
Ｓ３０１、処理対象である画像と、処理対象である画像に対応するガイダンス画像とを取得する。
このステップＳ３０１と前の実施例のステップＳ１０１とが同じであり、ここでは説明を省略する。
前の実施例のステップＳ１０２において、ガイダンス画像に基づいて、処理対象である画像に対して時間領域での再照明レンダリングを行って、ガイダンス画像における照明条件と一致する第１の中間画像を取得する過程はステップＳ３０２を含む。
Ｓ３０２、処理対象である画像とガイダンス画像を再照明画像生成システムの時間領域特徴取得モデルに入力して時間領域での再照明レンダリングを行って、ガイダンス画像における照明条件と一致する第１の中間画像を取得する。
可能な一実現形態として、図４に示すように、上記の実施例に加えて、上記ステップＳ３０２において、処理対象である画像とガイダンス画像を再照明画像生成システムの時間領域特徴取得モデルに入力して時間領域での再照明レンダリングを行って、ガイダンス画像における照明条件と一致する第１の中間画像を取得する過程は、具体的に、以下のステップを含む。
Ｓ４０１、時間領域特徴取得モデルを介して処理対象である画像とガイダンス画像に対して特徴抽出を行って、処理対象である画像の第１のシーンコンテンツ特徴画像、及びガイダンス画像の第１の照明特徴画像を取得する。
可能な一実現形態として、図５に示すように、上記の実施例に加えて、上記ステップＳ４０１において、時間領域特徴取得モデルを介して処理対象である画像とガイダンス画像に対して特徴抽出を行って、処理対象である画像の第１のシーンコンテンツ特徴画像、及びガイダンス画像の第１の照明特徴画像を取得する過程は、具体的に以下のステップＳ５０１～Ｓ５０２を含む。
Ｓ５０１、時間領域特徴取得モデルを介して処理対象である画像とガイダンス画像に対してダウンサンプリング処理を行って、第１の特徴画像を取得する。
本開示の実施例では、時間領域特徴取得モデルを介して処理対象である画像とガイダンス画像に対してダウンサンプリング処理を行うことができる。選択的に、処理対象である画像とガイダンス画像に対して畳み込み処理を行い、畳み込み処理を行って得られた画像に対して正規化処理を行い、さらに非線形化処理によって画像の非線形性を向上させることができる。さらに、ダウンサンプリングを行うたびに、非線形化処理を行った後、画像に対してプーリング処理を行い、これによって第１の特徴画像を取得することができる。
なお、本開示では、プーリング処理は局所的に処理するものである。選択的に、非線形化処理後の特徴画像を複数の小局所ブロックに分割し、その後、各ブロック内の画素値に対して、平均値または最大値をとるなどの方式で、当該局所ブロックの値として１つの値を得ることができる。
例えば、各小局所ブロックの幅と高さがいずれも２である場合、プーリング処理後、特徴画像の幅と高さは２倍に縮小される。処理時の各小局所ブロックの値は、他の局所ブロックと関係なく、所在する局所ブロックにのみ関係するため、この操作は局所的に処理されるものである。
Ｓ５０２、第１の特徴画像に対して等分処理を行って、処理対象である画像の第１のシーンコンテンツ特徴画像を取得し、ガイダンス画像の第１の照明特徴画像を取得する。
本開示の実施例では、チャネル次元で、第１の特徴画像を２つの部分に等分することができる。
なお、第１の特徴画像とは、処理対象である画像に対する第１の特徴画像、及びガイダンス画像に対する第１の特徴画像を指すため、第１の特徴画像に対して等分処理を行った後、処理対象である画像に対する第１のシーンコンテンツ特徴画像と照明特徴画像、及びガイダンス画像の第１の照明特徴画像とシーンコンテンツ特徴画像を取得することができる。
例えば、図６に示すように、時間領域特徴取得モデルを介して処理対象である画像とガイダンス画像に対してダウンサンプリング処理を行った後、処理対象である画像に対する第１の特徴画像６－１、及びガイダンス画像に対する第１の特徴画像６－２を得ることができる。さらに、等分処理により、処理対象である画像の６－１に対する第１のシーンコンテンツ特徴画像６－１１と６－１２、及びガイダンス画像の６－２に対するシーンコンテンツ特徴画像６－２１と第１の照明特徴画像６－２２を得ることができる。この場合、第１のシーンコンテンツ特徴画像６－１１と第１の照明特徴画像６－２２を取得することができる。
Ｓ４０２、第１のシーンコンテンツ特徴画像と第１の照明特徴画像を結合して、融合特徴画像を取得する。
本開示の実施例では、チャネル次元で、第１のシーンコンテンツ特徴画像と第１の照明特徴画像をプライスして、融合特徴画像を取得することができる。
Ｓ４０３、融合特徴画像に基づいて、第１の中間画像を生成する。
本開示の実施例では、融合特徴画像に対してアップサンプリング処理を行って、第１の中間画像生成することができる。
なお、本開示では、アップ、ダウンサンプリングの周波数と倍数は実際の状況に応じて設定することができる。
例えば、画像を逐次４回ダウンサンプリングすることができ、１回につき２倍、合計１６回ダウンサンプリングする。さらに、ダウンサンプリングされた画像を逐次４回アップサンプリングすることができ、１回につき２倍、合計１６回アップサンプリングして、第１の中間画像を得る。なお、画像をサンプリングする中に、取得された特徴画像と画像サイズとが一致するように維持する。
Ｓ３０３、ガイダンス画像に基づいて、処理対象である画像に対して周波数領域空間での再照明レンダリングを行って、ガイダンス画像における照明条件と一致する第２の中間画像を取得する。
Ｓ３０４、第１の中間画像と第２の中間画像に基づいて、処理対象である画像に対応するターゲット再照明画像を取得する。
このステップＳ３０３～３０４と前の実施例のステップＳ１０３～１０４とが同じであり、ここでは説明を省略する。
本開示の実施例に係る再照明画像の生成方法は、処理対象である画像とガイダンス画像を再照明画像生成システムの時間領域特徴取得モデルに入力して時間領域での再照明レンダリングを行って、ガイダンス画像における照明条件と一致する第１の中間画像を取得することにより、処理対象である画像とガイダンス画像に対して時間領域での再照明レンダリングを行い、時間領域での特徴情報に基づいて、より正確な第１の中間画像を取得し、ターゲット再照明画像のレンダリング効果を確保することができる。
図７は、本開示の第５の実施例に係る概略図である。
図７に示すように、本実施例によって提案される再照明画像の生成方法は以下のステップＳ７０１～Ｓ７０２を含む。
Ｓ７０１、処理対象である画像と、処理対象である画像に対応するガイダンス画像とを取得する。
Ｓ７０２、ガイダンス画像に基づいて、処理対象である画像に対して時間領域での再照明レンダリングを行って、ガイダンス画像における照明条件と一致する第１の中間画像を取得する。
このステップＳ７０１～７０２と前の実施例のステップＳ１０１～１０２とが同じであり、ここでは説明を省略する。
前の実施例中のステップＳ１０３において、ガイダンス画像に基づいて、処理対象である画像に対して周波数領域空間での再照明レンダリングを行って、ガイダンス画像における照明条件と一致する第２の中間画像を取得する過程は具体的に、ステップＳ７０３を含む。
Ｓ７０３、処理対象である画像とガイダンス画像を再照明画像生成システムの周波数領域特徴取得モデルのＮ個のウェーブレット変換モデルに入力して周波数領域空間での再照明レンダリングを行って、ガイダンス画像における照明条件と一致する第２の中間画像を取得し、Ｎが１以上である整数である。
再照明画像生成システムは、Ｎ個のウェーブレット変換モデルを含み、Ｎが１以上である整数である。例えば、再照明画像生成システムは、１つのウェーブレット変換モデルを含み、また、例えば、再照明画像生成システムは、３つの構造が一致するウェーブレット変換モデルを含み、この場合、３つのウェーブレット変換モデルはカスケード（Ｃａｓｃａｄｅ）の方式で接続される。
なお、本開示はウェーブレット変換の種類を限定せず、実際の状況に応じて選択することができる。選択的に、離散ウェーブレット変換モデルを選択して処理対象である画像に対して再照明レンダリングを行うことができる。
以下、本開示の技術案に関するウェーブレット変換モデルの処理過程について簡単に説明する。
画像の周波数は、画像中の階調変化の激しさを特徴づける指標であり、平面空間上の階調の勾配である。
例えば、大面積の砂漠画像を与えると、階調の変化が遅い領域が得られ、対応する周波数値は低く、一方、地表属性の変換が激しいエッジ領域、例えば山が重なり合う山に対して、画像中で階調変化が激しい領域である場合、対応する周波数値は高い。
これにより、物理的効果から見ると、ウェーブレット変換は画像を空間領域から周波数領域に変換することができ、すなわち画像の階調分布関数を画像の周波数分布関数に変換することができ、逆変換によって画像の周波数分布関数を階調分布函数に変換することができる。
処理対象である画像の２次元離散ウェーブレット変換モデルの処理過程を例として、図８に示す処理対象である画像を例として、選択的に、処理対象である画像の一行ずつの画素に対して１次元の離散ウェーブレット変換（Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ、ＤＷＴと略称する）を行い、水平方向上の元の画像（処理対象である画像）の低周波成分Ｌと高周波成分Ｈを得ることができる。さらに、変換後のデータの各列の画素を再び１次元のＤＷＴを行い、これによって図９に示す４つの結果を得ることができる。
得られた水平方向上の低周波成分と垂直方向上の低周波成分、すなわちＬＬに基づいて、図９（ａ）に示す画像を得ることができ、水平方向上の低周波成分と垂直方向上の高周波成分、すなわちＬＨに基づいて、図９（ｂ）に示す画像を得ることができ、水平方向上の高周波成分と垂直方向上の低周波成分、すなわちＨＬに基づいて、図９（ｃ）に示す画像を得ることができ、水平方向上の高周波成分と垂直方向上の高周波成分、すなわちＨＨに基づいて、図９（ｄ）に示す画像を得ることができる。
この場合、図８に示す的処理対象である画像に対して、図９（ａ）に示す処理対象である画像中の物体の配置状況を反映可能な画像、すなわち処理対象である画像の近似画像を得ることができる。図９（ａ）に示す画像は処理対象である画像の低周波数部分に対応し、図９（ｂ）～（ｄ）に示す３枚の画像は処理対象である画像の輪郭に対応し、水平、垂直、及び対角線の順に合計３つの方向の詳細画像であり、処理対象である画像の高周波数部分に対応する。
本開示の実施例では、入力された処理対象である画像の幅、高さがいずれも１０２４であり、チャンネル数が３である場合、処理対象である画像のサイズは１０２４＊１０２４＊３で表すことができる。選択的に、離散ウェーブレット変換モデル中の離散ウェーブレット変換ネットワークを介してＤＷＴ処理を行った後、画像のサイズは５１２＊５１２＊３になる。
さらに、図９（ａ）～（ｄ）の４枚の画像をチャンネル次元で連結することにより、サイズが５１２＊５１２＊１２である画像を得ることができる。この場合、ＤＷＴの後に、画像の幅、高さはすべて２倍に減少し、同時に、チャネル数は４倍に増加し、この過程は空間から深さ（Ｓｐａｔｉａｌ２Ｄｅｐｔｈ）への変換過程とも呼ばれる。
これにより、ＣＮＮで一般的に使用される最大プーリング（ｍａｘ ｐｏｏｌｉｎｇ）またはａｖｇ ｐｏｏｌｉｎｇ（平均プーリング）の操作を上記のウェーブレット変換処理操作で置き換えることにより、局所的な変換だけではなく、ＤＷＴによって処理対象である画像全体を変換することができ、受容野がより大きく、処理領域がより広いという利点があり、これにより、処理結果もより正確になる。
さらに、ウェーブレット変換モデル中のウェーブレット変換ネットワークを介して処理した後、選択的に、離散ウェーブレット変換モデル中の離散ウェーブレット逆変換ネットワークを介してＩＤＷＴ処理を行うことができ、離散ウェーブレット逆変換（Ｉｎｖｅｒｓｅ ｄｉｓｃｒｅｔｅ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ、ＩＤＷＴと略称する）の過程はＤＷＴと同様であり、ここでは説明を省略する。
なお、本開示では、再照明画像のレンダリング効果と信頼性をさらに向上させるために、少なくとも２つのウェーブレット変換モデルによってカスケードされた再照明画像生成システムを用いることができる。
可能な一実現形態として、Ｎが１より大きい整数であり、図１０に示すように、上記の実施例に加えて、具体的に、以下のステップＳ１００１～Ｓ１００４を含む。
Ｓ１００１、１番目のウェーブレット変換モデルに対して、処理対象である画像とガイダンス画像を１番目のウェーブレット変換モデルに入力して周波数領域空間での再照明レンダリングを行って、中間再照明画像を出力する。
本開示の実施例では、多段階のレンダリングポリシーを用いることができ、すなわち、１番目のウェーブレット変換モデルに対して、処理対象である画像とガイダンス画像を１番目のウェーブレット変換モデルに入力して再照明レンダリングを行って、中間再照明画像を出力し、処理対象である画像とガイダンス画像から出力された中間再照明画像へのマッピング関係を学習する。
なお、モデルトレーニング段階では、１番目のウェーブレット変換モデルに対して、処理対象である画像とガイダンス画像を１番目のウェーブレット変換モデルに入力して再照明レンダリングを行い、中間再照明画像を出力した後、１番目のウェーブレット変換モデルを固定することができ、当該モデルに基づいてトレーニングセット（予め設定された数の処理対象のサンプル画像とガイダンス画像）を処理し、１番目のウェーブレット変換モデルでのトレーニングセットの中間再照明画像を出力する。
Ｓ１００２、２番目のウェーブレット変換モデルから、前段のウェーブレット変換モデルから出力された中間再照明画像を次段のウェーブレット変換モデルに入力して周波数領域空間での再照明レンダリングを行って、次段のウェーブレット変換モデルに対応する中間再照明画像を出力する。
本開示の実施例では、２番目のウェーブレット変換モデルから、前段のウェーブレット変換モデルから出力された中間再照明画像を次段のウェーブレット変換モデルに入力して再照明レンダリングを行って、次段のウェーブレット変換モデルに対応する中間再照明画像を出力することができ、この場合、前段のウェーブレット変換モデルがすでに大部分のマッピング関係を学習したため、次段のウェーブレット変換モデルに対応する中間再照明画像は、前段のウェーブレット変換モデルに対応する中間再照明画像に比べて、正確な結果（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）に近い。同時に、モデルトレーニングに対して、次段のウェーブレット変換モデルのトレーニング難易度も大幅に低下する。
Ｓ１００３、そのうちの１段のウェーブレット変換モデルが対応する中間再照明画像を出力し、対応する中間再照明画像が最適化停止条件を満たすと決定するたびに、次段のウェーブレット変換モデルへ対応する中間再照明画像を伝達することを停止し、対応する中間再照明画像を第２の中間画像とする。
最適化停止条件は実際の状況に応じて設定することができ、本開示は限定しない。
選択的に、最適化停止条件を、画像を処理するモデルの数として設定することができ、選択的に、最適化停止条件を中間再照明画像のレンダリング効果として設定することができる。
例えば、最適化停止条件が、画像を処理するモデルの数が２である場合、そのうちの１段のウェーブレット変換モデルから出力された対応する中間再照明画像が２番目のウェーブレット変換モデルによって処理して得られた画像である場合、対応する中間再照明画像が最適化停止条件に満たすことを示し、次段のウェーブレット変換モデルに対応する中間再照明画像へ伝達することを停止し、対応する中間再照明画像を第２の再照明画像とする。
Ｓ１００４、対応する中間再照明画像が最適化停止条件を満たしていないと決定すると、中間再照明画像を引き続き次段のウェーブレット変換モデルへ伝達し、そのうちの１段のウェーブレット変換モデルから出力された中間再照明画像が最適化停止条件に満たすまで、次段のウェーブレット変換モデルによって引き続き対応する中間再照明画像に対して周波数領域空間での再照明レンダリングを行い、最適化停止条件を満たす中間再照明画像を第２の中間画像とする。
例えば、最適化停止条件が、画像を処理するモデルの数が３である場合、そのうちの１段のウェーブレット変換モデルから出力された対応する中間再照明画像が２番目のウェーブレット変換モデルによって処理して得られた画像である場合、対応する中間再照明画像が最適化停止条件を満たしていないことを示し、中間再照明画像を引き続き３段目のウェーブレット変換モデルへ伝達し、３段目のウェーブレット変換モデルによって引き続き対応する中間再照明画像再照明レンダリングを行い、３段目のウェーブレット変換モデルに引き続き対応する中間再照明画像をターゲット再照明画像とする。
Ｓ７０４、第１の中間画像と第２の中間画像に基づいて、処理対象である画像に対応するターゲット再照明画像を取得する。
このステップＳ７０４と前の実施例のステップＳ１０４とが同じであり、ここでは説明を省略する。
本開示の実施例に係る再照明画像の生成方法は、処理対象である画像とガイダンス画像を再照明画像生成システムの周波数領域特徴取得モデルに入力して周波数領域空間での再照明レンダリングを行って、ガイダンス画像における照明条件と一致する第２の中間画像を取得することにより、処理対象である画像とガイダンス画像に対して周波数領域での再照明レンダリングを行い、周波数領域での特徴情報に基づいて、より正確な第２の中間画像を取得することにより、ターゲット再照明画像のレンダリング効果を確保することができる。
なお、本開示では、生成された再照明画像のレンダリング効果を向上させるために、ダウンサンプリングとアップサンプリングの処理中に残差ネットワーク（Ｒｅｓ Ｂｌｏｃｋ）とスキップ接続（Ｓｋｉｐ Ｃｏｎｎｅｃｔｉｏｎ）を追加する。
可能な一実現形態として、図１１に示すように、本開示によって提案される再照明画像の生成方法、上記の実施例に加えて、任意１段のウェーブレット変換モデルが画像に対して再照明レンダリングを行う過程は、具体的に以下のステップＳ１１０１～Ｓ１１０３を含む。
Ｓ１１０１、画像をウェーブレット変換モデルのウェーブレット変換ネットワークに入力し、ウェーブレット変換ネットワークを介して画像に対してダウンサンプリング処理を行って、画像に対応する第２のシーンコンテンツ特徴画像及び第２の照明特徴画像を出力し、画像が処理対象である画像、ガイダンス画像及び中間再照明画像を含む。
Ｓ１１０２、第２のシーンコンテンツ特徴画像及び第２の照明特徴画像をウェーブレット変換モデルの残差ネットワークに入力し、残差ネットワークを介して第２のシーンコンテンツ特徴画像及び第２の照明特徴画像を再構築して、再構築特徴画像を出力する。
Ｓ１１０３、再構築特徴画像をウェーブレット変換モデルのウェーブレット逆変換ネットワークに入力し、ウェーブレット逆変換ネットワークを介して再構築特徴画像に対してアップサンプリング処理を行って、再照明画像を出力する。
本開示の実施例では、画像をダウンサンプリングして、画像に対応する特徴画像を取得することができる。さらに残差ネットワークを再構築して得られた再構築特徴画像をアップサンプリングして、再照明画像を取得し、ダウンサンプリングの周波数及び倍数とアップサンプリングの周波数及び倍数とが同じである。アップ、ダウンサンプリングの周波数と倍数は実際の状況に応じて設定することができる。
例えば、画像を逐次４回ダウンサンプリングすることができ、毎回２倍ダウンサンプリングし、合計１６倍ダウンサンプリングして、画像に対応する特徴画像を取得する。さらに、再構築特徴画像を逐次４回アップサンプリングし、毎回２倍アップサンプリングし、合計１６倍アップサンプリングして、再照明画像を得る。なお、画像をサンプリングする中に、取得された特徴画像と画像サイズとが一致するように維持する。
本開示の実施例に係る再照明画像の生成方法は、ウェーブレット変換モデルに残差ネットワーク及びスキップ接続の接続方式を追加することにより、アップサンプリングの入力が上位レイヤでサンプリングの出力に加えて、対応するダウンサンプリングの出力を組み合わせて、再照明のレンダリング過程に対して監視の役割を果たし、学習ミスを防止し、出力された再照明画像のレンダリング効果と信頼性をさらに向上させる。
なお、本開示では、再照明画像生成システムに局所畳み込み－正規化－非線形化ネットワーク（Ｃｏｎｖ－ＩＮ－Ｒｅｌｕ）を追加し、さらに得られた特徴画像を処理する。
選択的に、ダウンサンプリングして得られた画像のみに対して前処理を行うことができる。選択的に、アップサンプリングして得られた画像のみに対して前処理を行うことができる。選択的に、それぞれダウンサンプリングとアップサンプリングして得られた画像に対して前処理を行うことができる。
可能な一実現形態として、図１２に示すように、上記の実施例に加えて、それぞれダウンサンプリングとアップサンプリングして得られた画像に対して前処理を行うことを例として、具体的に以下のステップＳ１２０１～Ｓ１２０２を含む。
Ｓ１２０１、ダウンサンプリングして得られた特徴画像をウェーブレット変換モデルの第１の畳み込みネットワークに入力し、第１の畳み込みネットワークを介して特徴画像に対して前処理を行い、第１の畳み込みネットワークから出力された前処理後の特徴画像を残差ネットワークに入力する。
Ｓ１２０２、アップサンプリング処理を行って得られたアップサンプリング特徴画像をウェーブレット変換モデルの第２の畳み込みネットワークに入力し、第２の畳み込みネットワークを介してアップサンプリング特徴画像に対して前処理を行う。
特徴画像に対して前処理を行う過程は、主に画像を畳み込み、正規化、活性化するなどの操作を含み、前処理後の特徴画像は元の特徴画像の局所情報を融合し、非線形性を追加した。
本開示の実施例に係る再照明画像の生成方法、画像に対して前処理を行うことにより、ネットワークが深くなり、ウェーブレット変換モデルの学習能力とフィッティング能力が向上し、さらに出力された再照明画像のレンダリング効果と信頼性を向上させる。
なお、本開示によって提案される再照明画像の生成方法は、複数種類の画像処理シーンに適用されることができる。
通常のシーン画像にフィルタを追加するアプリケーションシーンに対して、図１３～１４に示すように、異なるガイダンス画像中のフィルタ効果を通じて、処理対象である画像をレンダリングして、その光照射条件を変えて異なるフィルタ効果を作ることができ、ユーザが１枚の画像を撮れば、複数枚の異なる色調の結果を得ることができ、ユーザの後続編集と使用に便利であり、ユーザの体験を向上させ、ユーザに興味を持たせる。
例えば、図１３に示すように、図１３（ａ）に示す処理対象である画像に対して、図１３（ｂ）に示すガイダンス画像を根拠として、照明画像生成システムのレンダリング処理により、図１３（ｃ）に示すターゲット再照明画像を得ることができる。
また、例えば、図１４に示すように、図１４（ａ）に示す処理対象である画像に対して、図１４（ｂ）に示すガイダンス画像を根拠として、再照明画像生成システムのレンダリング処理により、図１４（ｃ）に示すターゲット再照明画像を得ることができる。
人物画像に特殊効果を追加するアプリケーションシーンに対して、図１５に示すように、影の度合いや位置を変えることによって複数種類の効果を生成することができ、新しい遊び方が追加され、製品を使用するようにユーザを引き付ける。
例えば、図１５に示すように、図１５（ａ）に示す処理対象である画像に対して、図１５（ｂ）に示すガイダンス画像を根拠として、再照明画像生成システムのレンダリング処理により、図１５（ｃ）に示すターゲット再照明画像を得ることができる。
要約すると、本開示によって提供される再照明画像の生成方法は、入力画像（処理対象である画像）が与えられた後、変更すべき照明方向と色温度を知る必要がなく、対応するガイダンス画像１枚だけで、ガイダンス画像における照明条件と一致する結果画像（ターゲット再照明画像）を生成することができる。
図１６は、本開示の第９の実施例に係る概略図である。なお、本実施例の再照明画像生成システムのトレーニング方法の実行主体は、再照明画像生成システムのトレーニング装置であり、再照明画像生成システムのトレーニング装置は具体的に、ハードウェアデバイス、またはハードウェアデバイス中のソフトウェアなどであってもよい。ハードウェアデバイスは、例えば、端末装置、サーバなどである。
図１６に示すように、本実施例によって提案される再照明画像生成システムのトレーニング方法は、以下のステップＳ１６０１～Ｓ１６０４を含む。
Ｓ１６０１、マックアップされたターゲット再照明画像のサンプル処理対象である画像と、サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得する。
サンプル処理対象である画像と対応するサンプルガイダンス画像の数とが一致し、実際の状況に応じて取得することができる。例えば、１０００組のサンプル処理対象画像及び対応するサンプルガイダンス画像を取得することができる。
Ｓ１６０２、サンプル処理対象である画像とサンプルガイダンス画像をトレーニング対象の再照明画像生成システム内の時間領域特徴取得モデルに入力してトレーニングして、時間領域モデル第１の損失関数を取得する。
Ｓ１６０３、サンプル処理対象である画像とサンプルガイダンス画像をトレーニング対象の再照明画像生成システム内の周波数領域特徴取得モデルに入力してトレーニングして、周波数領域モデル第２の損失関数を取得する。
Ｓ１６０４、第１の損失関数と第２の損失関数に基づいて、再照明画像生成システムに対する総損失関数を取得して、総損失関数に基づいて再照明画像生成システム内のモデルパラメータを調整し、トレーニング結果がトレーニング終了条件を満たすまで、マックアップされたターゲット再照明画像のサンプル処理対象である画像と、サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得するステップに戻り、モデルパラメータを最後に調整した後のトレーニング対象の再照明画像生成システムを、トレーニング済みの再照明画像生成システムとして決定する。
トレーニング終了条件は実際の状況に応じて設定することができ、本開示は限定しない。
選択的に、トレーニング終了条件をトレーニング対象の再照明画像生成システムから出力されたターゲット再照明画像のレンダリング効果として設定することができる。例えば、トレーニング終了条件をトレーニング対象の再照明画像生成システムから出力されたターゲット再照明画像とマックアップされたターゲット再照明画像との差異として設定することができる。
本開示の実施例の再照明画像生成システムのトレーニング方法によれば、第１の損失関数と第２の損失関数に基づいて、再照明画像生成システム内のモデルパラメータを調整し、トレーニング結果がトレーニング終了条件を満たすまで、モデルパラメータを最後に調整した後のトレーニング対象の再照明画像生成システムを、トレーニング済みの再照明画像生成システムとして決定するにより、再照明画像生成システムのトレーニング効果を確保することができ、任意の再照明技術に基づいて再照明画像を正確に取得するための基礎を築いた。
図１７は、本開示の第１０の実施例に係概略図である。
図１７に示すように、本実施例によって提案される再照明画像生成システムのトレーニング方法は、以下のステップＳ１７０１～Ｓ１７０４を含む。
Ｓ１７０１、マックアップされたターゲット再照明画像のサンプル処理対象である画像と、サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得する。
このステップＳ１７０１と前の実施例のステップＳ１６０１とが同じであり、ここでは説明を省略する。
前の実施例のステップＳ１６０２において、サンプル処理対象である画像とサンプルガイダンス画像をトレーニング対象の再照明画像生成システム内の時間領域特徴取得モデルに入力してトレーニングして、時間領域モデル第１の損失関数を取得する過程は、具体的に、ステップＳ１７０２～１７０４を含む。
Ｓ１７０２、マックアップされた第１の中間画像のサンプル処理対象である画像と、サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得する。
Ｓ１７０３、サンプル処理対象である画像とサンプルガイダンス画像をトレーニング対象の時間領域特徴取得モデルに入力して時間領域での再照明レンダリングを行って、サンプルガイダンス画像における照明条件と一致する第１のトレーニング中間画像を取得する。
Ｓ１７０４、第１のトレーニング中間画像とマックアップされた第１の中間画像との第１の差異に基づいて、第１の損失関数を取得する。
可能な一実現形態として、図１８に示すように、サンプル処理対象である画像は、第１の分類器によって予測して得られたマックアップされた第１のシーンコンテンツ特徴画像と第２の分類器によって予測して得られたマックアップされた第１の照明特徴画像を含み、上記の実施例に加えて、上記ステップＳ１７０４において、第１のトレーニング中間画像とマックアップされた第１の中間画像との第１の差異に基づいて、第１の損失関数を取得する過程は、具体的に、以下のステップＳ１８０１～Ｓ１８０３を含む。
Ｓ１８０１、トレーニング対象の時間領域特徴取得モデルを介してサンプル処理対象である画像とサンプルガイダンス画像に対して特徴抽出を行って、サンプル処理対象である画像の第１のシーンコンテンツトレーニング特徴画像、及びガイダンス画像の第１の照明トレーニング特徴画像を取得する。
Ｓ１８０２、第１のシーンコンテンツトレーニング特徴画像とマックアップされた第１のシーンコンテンツ特徴画像との第２の差異、及び第１の照明トレーニング特徴画像とマックアップされた第１の照明特徴画像との第３の差異に基づく。
Ｓ１８０３、第１の差異、第２の差異及び第３の差異に基づいて、第１の損失関数を取得する。
前の実施例のステップＳ１６０３において、サンプル処理対象である画像とサンプルガイダンス画像をトレーニング対象の再照明画像生成システム内の周波数領域特徴取得モデルに入力してトレーニングして、周波数領域モデル第２の損失関数を取得する過程は、具体的に、ステップＳ１７０５～１７０７を含む。
Ｓ１７０５、マックアップされた第２の中間画像のサンプル処理対象である画像と、サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得する。
Ｓ１７０６、サンプル処理対象である画像とサンプルガイダンス画像をトレーニング対象の周波数領域特徴取得モデルに入力して周波数領域空間での再照明レンダリングを行って、サンプルガイダンス画像における照明条件と一致する第２のトレーニング中間画像を取得する。
Ｓ１７０７、第２のトレーニング中間画像とマックアップされた第２の中間画像との第４の差異に基づいて、第２の損失関数を取得する。
可能な一実現形態として、図１９に示すように、サンプル処理対象である画像は、第１の分類器によって予測して得られたマックアップされた第２のシーンコンテンツ特徴画像と第２の分類器によって予測して得られたマックアップされた第２の照明特徴画像を含み、上記の実施例に加えて、上記ステップＳ１７０７において、第２のトレーニング中間画像とマックアップされた第２の中間画像との第４の差異に基づいて、第２の損失関数を取得する過程は、具体的に以下のステップを含む。
Ｓ１９０１、トレーニング対象の周波数領域特徴取得モデルを介してサンプル処理対象である画像とサンプルガイダンス画像に対して特徴抽出を行って、サンプル処理対象である画像の第２のシーンコンテンツトレーニング特徴画像、及びガイダンス画像の第２の照明トレーニング特徴画像を取得する。
Ｓ１９０２、第２のシーンコンテンツトレーニング特徴画像とマックアップされた第２のシーンコンテンツ特徴画像との第５の差異、及び第２の照明トレーニング特徴画像とマックアップされた第２の照明特徴画像との第６の差異に基づく。
Ｓ１９０３、第４の差異、第５の差異及び第６の差異に基づいて、第２の損失関数を取得する。
Ｓ１７０８、第１の損失関数と第２の損失関数に基づいて、再照明画像生成システムに対する総損失関数を取得して、総損失関数に基づいて再照明画像生成システム内のモデルパラメータを調整し、トレーニング結果がトレーニング終了条件を満たすまで、マックアップされたターゲット再照明画像のサンプル処理対象である画像と、サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得するステップに戻り、モデルパラメータを最後に調整した後のトレーニング対象の再照明画像生成システムを、トレーニング済みの再照明画像生成システムとして決定する。
なお、本開示の技術案では、関連するユーザ個人情報の取得、記憶、アプリケーションなどは、いずれも関連法律法規の規定に合致し、かつ公序良俗に違反しない。
上記いくつかの実施例によって提供される再照明画像の生成方法に対応して、本開示の一実施例は再照明画像の生成装置をさらに提供し、本開示の実施例によって提供される再照明画像の生成装置が上記いくつかの実施例によって提供される再照明画像の生成方法に対応するため、再照明画像の生成方法の実施形態は本実施例によって提供される再照明画像の生成装置にも適用され、本実施例では、詳細に説明しない。
図２０は、本開示の一実施例に係る再照明画像の生成装置の概略構成図である。
図２０に示すように、当該再照明画像の生成装置２０００は、第１の取得モジュール２０１０、第２の取得モジュール２０２０、第３の取得モジュール２０３０及び第４の取得モジュール２０４０を備え、第１の取得モジュールは、処理対象である画像と前記処理対象である画像に対応するガイダンス画像を取得し、第２の取得モジュールは、前記ガイダンス画像に基づいて、前記処理対象である画像に対して時間領域での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する第１の中間画像を取得し、第３の取得モジュールは、前記ガイダンス画像に基づいて、前記処理対象である画像に対して周波数領域空間での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する第２の中間画像を取得し、第４の取得モジュールは、前記第１の中間画像と前記第２の中間画像に基づいて、前記処理対象である画像に対応するターゲット再照明画像を取得する。
図２１は、本開示の別の実施例に係る再照明画像の生成装置の概略構成図である。
図２１に示すように、当該再照明画像の生成装置２１００は、第１の取得モジュール２１１０、第２の取得モジュール２１２０、第３の取得モジュール２１３０及び第４の取得モジュール２１４０を備える。
第２の取得モジュール２１２０は、さらに、前記処理対象である画像と前記ガイダンス画像を再照明画像生成システムの前記時間領域特徴取得モデルに入力して時間領域での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する前記第１の中間画像を取得する。
第２の取得モジュール２１２０は、さらに、前記時間領域特徴取得モデルを介して前記処理対象である画像と前記ガイダンス画像に対して特徴抽出を行って、前記処理対象である画像の第１のシーンコンテンツ特徴画像、及び前記ガイダンス画像の第１の照明特徴画像を取得し、前記第１のシーンコンテンツ特徴画像と前記第１の照明特徴画像を結合して、融合特徴画像を取得し、前記融合特徴画像に基づいて、前記第１の中間画像を生成する。
第２の取得モジュール２１２０は、さらに、前記時間領域特徴取得モデルを介して前記処理対象である画像と前記ガイダンス画像に対してダウンサンプリング処理を行って、第１の特徴画像を取得し、前記第１の特徴画像に対して等分処理を行って、前記処理対象である画像の前記第１のシーンコンテンツ特徴画像、及び前記ガイダンス画像の前記第１の照明特徴画像を取得する。
第２の取得モジュール２１２０は、さらに、前記融合特徴画像に対してアップサンプリング処理を行って、前記第１の中間画像を生成する。
第３の取得モジュール２１３０は、さらに、前記処理対象である画像と前記ガイダンス画像を再照明画像生成システムの前記周波数領域特徴取得モデルのＮ個のウェーブレット変換モデルに入力して周波数領域空間での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する前記第２の中間画像を取得し、Ｎが１以上である整数である。
Ｎが１より大きい整数であり、第３の取得モジュール２１３０は、さらに、１番目のウェーブレット変換モデルに対して、前記処理対象である画像と前記ガイダンス画像を前記１番目のウェーブレット変換モデルに入力して周波数領域空間での再照明レンダリングを行って、中間再照明画像を出力し、２番目のウェーブレット変換モデルから、前段のウェーブレット変換モデルから出力された中間再照明画像を次段のウェーブレット変換モデルに入力して周波数領域空間での再照明レンダリングを行って、前記次段のウェーブレット変換モデルに対応する中間再照明画像を出力し、そのうちの１段のウェーブレット変換モデルが対応する中間再照明画像を出力し、前記対応する中間再照明画像が最適化停止条件を満たすと決定するたびに、次段のウェーブレット変換モデルへ前記対応する中間再照明画像を伝達することを停止し、前記対応する中間再照明画像を前記第２の中間画像とする。
第３の取得モジュール２１３０は、さらに、前記対応する中間再照明画像が前記最適化停止条件を満たしていないと決定すると、前記中間再照明画像を引き続き次段のウェーブレット変換モデルへ伝達し、次段のウェーブレット変換モデルを介して前記対応する中間再照明画像に対して周波数領域空間での再照明レンダリングを引き続き行い、そのうちの１段のウェーブレット変換モデルから出力された中間再照明画像が最適化停止条件に満たすまで、前記最適化停止条件を満たす中間再照明画像を前記第２の中間画像とする。
第３の取得モジュール２１３０は、さらに、画像を前記ウェーブレット変換モデルのウェーブレット変換ネットワークに入力し、前記ウェーブレット変換ネットワークを介して前記画像に対してダウンサンプリング処理を行って、前記画像に対応する第２のシーンコンテンツ特徴画像及び第２の照明特徴画像を出力し、前記画像が前記処理対象である画像、前記ガイダンス画像及び前記中間再照明画像を含み、前記第２のシーンコンテンツ特徴画像及び前記第２の照明特徴画像を前記ウェーブレット変換モデルの残差ネットワークに入力し、前記残差ネットワークを介して前記第２のシーンコンテンツ特徴画像及び前記第２の照明特徴画像を再構築して、再構築特徴画像を出力し、前記再構築特徴画像を前記ウェーブレット変換モデルのウェーブレット逆変換ネットワークに入力し、前記ウェーブレット逆変換ネットワークを介して前記再構築特徴画像に対してアップサンプリング処理を行って、前記再照明画像を出力する。
第３の取得モジュール２１３０は、さらに、前記周波数領域特徴取得モデルを介して前記処理対象である画像と前記ガイダンス画像に対してダウンサンプリング処理を行って、第２の特徴画像を取得し、前記第２の特徴画像に対して等分処理を行って、前記画像に対する前記第２のシーンコンテンツ特徴画像及び前記第２の照明特徴画像を取得する。
第３の取得モジュール２１３０は、さらに、ダウンサンプリングして得られた前記特徴画像を前記ウェーブレット変換モデルの第１の畳み込みネットワークに入力し、前記第１の畳み込みネットワークを介して前記特徴画像を前処理し、前記第１の畳み込みネットワークから出力された前処理後の特徴画像を前記残差ネットワークに入力する。
第３の取得モジュール２１３０は、さらに、アップサンプリング処理を行って得られたアップサンプリング特徴画像を前記ウェーブレット変換モデルの第２の畳み込みネットワークに入力し、前記第２の畳み込みネットワークを介して前記アップサンプリング特徴画像を前処理する。
第４の取得モジュール２１４０は、さらに、前記第１の中間画像と前記第２の中間画像に対して重み付け処理を行い、重み付け処理結果を後処理して、後処理して得られた重み付け結果を前記処理対象である画像に対応する前記ターゲット再照明画像とする。
なお、第１の取得モジュール２１１０と第１の取得モジュール２０１０とは同じ機能と構造を有する。
本開示の実施例の再照明画像の生成装置によれば、人工設計に依存することなく、ニューラルネットワーク学習に基づいてトレーニングして得られた畳み込みニューラルネットワークモデルにも依存することなく、処理対象である画像とガイダンス画像に対して時間領域と周波数領域での再照明レンダリングを行い、時間領域と周波数領域での特徴情報を組み合わせることにより、任意の再照明技術に基づいて得られたターゲット再照明画像が低周波数でシーンコンテンツ構造を保持し、高周波数で詳細な影情報を保持し、これによってレンダリング効果がより正確で、信頼性があるターゲット再照明画像を得る。
上記のいくつかの実施例によって提供される再照明画像生成システムのトレーニング方法に対応して、本開示の一実施例は、さらに再照明画像生成システムのトレーニング装置提供し、本開示の実施例によって提供される再照明画像生成システムのトレーニング装置が上記のいくつかの実施例によって提供される再照明画像生成システムのトレーニング方法に対応するため、再照明画像生成システムのトレーニング方法の実施形態は本実施例によって提供される再照明画像生成システムのトレーニング装置にも適用され、本実施例では詳細に説明しない。
図２２は、本開示の一実施例に係る再照明画像生成システムのトレーニング装置の概略構成図である。
図２２に示すように、当該再照明画像生成システムのトレーニング装置２２００は、第１の取得モジュール２２１０、第２の取得モジュール２２２０、第３の取得モジュール２２３０及び決定モジュール２２４０を備え、第１の取得モジュールは、マックアップされたターゲット再照明画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得し、第２の取得モジュールは、前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の再照明画像生成システム内の時間領域特徴取得モデルに入力してトレーニングして、時間領域モデルの第１の損失関数を取得し、第３の取得モジュールは、前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の前記再照明画像生成システム内の周波数領域特徴取得モデルに入力してトレーニングして、周波数領域モデルの第２の損失関数を取得し、決定モジュールは、前記第１の損失関数と前記第２の損失関数に基づいて、前記再照明画像生成システムに対応する総損失関数を取得して、前記総損失関数に基づいて前記再照明画像生成システム内のモデルパラメータを調整し、トレーニング結果がトレーニング終了条件を満たすまで、前記マックアップされたターゲット再照明画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得するステップに戻り、最後に前記モデルパラメータを調整した後のトレーニング対象の前記再照明画像生成システムをトレーニング済みの前記再照明画像生成システムとして決定する。
図２３は、本開示の別の実施例に係る再照明画像生成システムのトレーニング装置の概略構成図である。
図２３に示すように、当該再照明画像生成システムのトレーニング装置２３００は、第１の取得モジュール２３１０、第２の取得モジュール２３２０、第３の取得モジュール２３３０及び決定モジュール２３４０を備える。
第２の取得モジュール２３２０は、さらに、マックアップされた第１の中間画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得し、前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の前記時間領域特徴取得モデルに入力して時間領域での再照明レンダリングを行って、前記サンプルガイダンス画像における照明条件と一致する第１のトレーニング中間画像を取得し、前記第１のトレーニング中間画像と前記マックアップされた第１の中間画像との第１の差異に基づいて、前記第１の損失関数を取得する。
前記サンプル処理対象である画像は、第１の分類器によって予測して得られたマックアップされた第１のシーンコンテンツ特徴画像と第２の分類器によって予測して得られたマックアップされた第１の照明特徴画像を含み、第２の取得モジュール２３２０は、さらに、トレーニング対象の前記時間領域特徴取得モデルを介して前記サンプル処理対象である画像と前記サンプルガイダンス画像に対して特徴抽出を行って、前記サンプル処理対象である画像の第１のシーンコンテンツトレーニング特徴画像、及び前記ガイダンス画像の第１の照明トレーニング特徴画像を取得し、前記第１のシーンコンテンツトレーニング特徴画像と前記マックアップされた第１のシーンコンテンツ特徴画像との第２の差異、及び前記第１の照明トレーニング特徴画像と前記マックアップされた第１の照明特徴画像との第３の差異に基づき、前記第１の差異、前記第２の差異及び前記第３の差異に基づいて、前記第１の損失関数を取得する。
第３の取得モジュール２３３０は、さらに、マックアップされた第２の中間画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得し、前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の前記周波数領域特徴取得モデルに入力して周波数領域空間での再照明レンダリングを行って、前記サンプルガイダンス画像における照明条件と一致する第２のトレーニング中間画像を取得し、前記第２のトレーニング中間画像と前記マックアップされた第２の中間画像との第４の差異に基づいて、前記第２の損失関数を取得する。
前記サンプル処理対象である画像は、第１の分類器によって予測して得られたマックアップされた第２のシーンコンテンツ特徴画像と第２の分類器によって予測して得られたマックアップされた第２の照明特徴画像を含み、第３の取得モジュール２３３０は、さらに、トレーニング対象の前記周波数領域特徴取得モデルを介して前記サンプル処理対象である画像と前記サンプルガイダンス画像に対して特徴抽出を行って、前記サンプル処理対象である画像の第２のシーンコンテンツトレーニング特徴画像、及び前記ガイダンス画像の第２の照明トレーニング特徴画像を取得し、前記第２のシーンコンテンツトレーニング特徴画像と前記マックアップされた第２のシーンコンテンツ特徴画像との第５の差異、及び前記第２の照明トレーニング特徴画像と前記マックアップされた第２の照明特徴画像との第６の差異に基づき、前記第４の差異、前記第５の差異及び前記第６の差異に基づいて、前記第２の損失関数を取得する。
なお、第１の取得モジュール２３１０が決定モジュール２３４０と、第１の取得モジュール２２１０が決定モジュール２２４０と、同じ機能と構造を有する。
本開示の実施例の再照明画像生成システムのトレーニング装置によれば、第１の損失関数と第２の損失関数に基づいて、再照明画像生成システム内のモデルパラメータを調整し、トレーニング結果がトレーニング終了条件を満たすまで、モデルパラメータを最後に調整した後のトレーニング対象の再照明画像生成システムを、トレーニング済みの再照明画像生成システムとして決定するにより、再照明画像生成システムのトレーニング効果を確保することができ、任意の再照明技術に基づいて再照明画像を正確に取得するための基礎を築いた。
本開示の実施例によれば、本開示は、電子機器、読み取り可能な記憶媒体、及びコンピュータプログラム製品をさらに提供する。
図２４は、本開示の実施例を実行するための例示的な電子機器２４００の概略ブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、および他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、および他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示される部品、それらの接続と関係、およびそれらの機能は、単なる例であり、本明細書の説明および／または求められる本開示の実現を制限することを意図したものではない。
図２４に示すように、電子機器２４００は、読み取り専用メモリ（ＲＯＭ）２４０２に記憶されているコンピュータプログラムまたは記憶ユニット２４０８からランダムアクセスメモリ（ＲＡＭ）２４０３にロードされたコンピュータプログラムに従って様々な適切な動作および処理を実行できる計算ユニット２４０１を備える。ＲＡＭ ２４０３には、電子機器２４００の動作に必要な各種のプログラムやデータも記憶されてもよい。計算ユニット２４０１、ＲＯＭ ２４０２、及びＲＡＭ ２４０３は、バス２４０４を介して互いに接続されている。バス２４０４には、入力／出力（Ｉ／Ｏ）インターフェース２４０５も接続されている。
電子機器２４００の複数のコンポーネントはＩ／Ｏインターフェース２４０５に接続され、キーボード、マウスなどの入力ユニット２４０６、各タイプのディスプレイ、スピーカなどの出力ユニット２４０７、磁気ディスク、光ディスクなどの記憶ユニット２４０８、およびネットワークカード、モデム、無線通信トランシーバなどの通信ユニット２４０９を備える。通信ユニット２４０９は、電子機器２４００が、インターネットなどのコンピュータネットワークおよび／または各種の電信ネットワークを介して他のデバイスと情報／データを交換することを可能にする。
計算ユニット２４０１は、処理および計算能力を有する様々な汎用および／または専用の処理コンポーネントであってもよい。計算ユニット２４０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、各種の専用の人工知能（ＡＩ）計算チップ、各種のマシン運転学習モデルアルゴリズムの計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、およびいずれかの適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット２４０１は、前文に記載の各方法及び処理、例えば、再照明画像の生成方法または再照明画像生成システムのトレーニング方法を実行する。例えば、いくつかの実施例では、再照明画像の生成方法または再照明画像生成システムのトレーニング方法を、記憶ユニット２４０８などの機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現することができる。いくつかの実施例では、コンピュータプログラムの一部または全部は、ＲＯＭ ２４０２および／または通信ユニット２４０９を介して電子機器２４００にロードおよび／またはインストールすることができる。コンピュータプログラムがＲＡＭ ２４０３にロードされ、計算ユニット２４０１によって実行される場合、前文に記載された再照明画像の生成方法または再照明画像生成システムのトレーニング方法の１つまたは複数のステップが実行されてもよい。代替的に、他の実施例では、計算ユニット２４０１は、再照明画像の生成方法または再照明画像生成システムのトレーニング方法を実行するように、他のいずれかの適切な方式（例えば、ファームウェアを介して）によって構成されてもよい。
本明細書で上記記載のシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックス・プログラマブル・ロジック・デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを備えるプログラム可能なシステムで実行および／または解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信し、データおよび命令を当該ストレージシステム、当該少なくとも１つの入力装置、および当該少なくとも１つの出力装置に伝送することができる。
本開示の方法を実行するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。これらのプログラムコードは、プロセッサ又はコントローラによって実行された際に、フローチャートおよび／またはブロック図に規定された機能／操作が実施されるように、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよい。プログラムコードは、完全に機械上で実行されるか、部分的に機械上で実行されるか、スタンドアロンソフトウェアパッケージとして、部分的に機械上で実行され、部分的にリモート機械上で実行され又は完全にリモート機械又はサーバ上で実行されてもよい。
本開示のコンテクストでは、機械読み取り可能な媒体は、命令実行システム、装置、またはデバイスによって使用されるために、又は命令実行システム、装置、またはデバイスと組み合わせて使用するためのプログラムを含むか、又は記憶することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体または機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体システム、装置又はデバイス、または上記コンテンツの任意の適切な組み合わせを含むことができるが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、または上記コンテンツの任意の適切な組み合わせを含む。
ユーザとのインタラクションを提供するために、ここで説明されるシステム及び技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、ビジョンフィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力、または、触覚入力とを含む）でユーザからの入力を受信することができる。
ここで説明されるシステムおよび技術は、バックエンドコンポーネントを備えるコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを備えるコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを備えるコンピューティングシステム（例えば、グラフィカルユーザインターフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインターフェース又は当該ウェブブラウザによってここで説明されるシステムおよび技術の実施形態とインタラクションできる）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントのいずれかの組み合わせを備えるコンピューティングシステムで実行することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットと、ブロックチェーンネットワークを含む。
コンピュータシステムは、クライアントとサーバを備えることができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。サーバはクラウドサーバであってもよく、分散システムのサーバであってもよく、ブロックチェーンを組み込んだサーバであってもよい。
本開示は、さらに、コンピュータプログラムが含まれるコンピュータプログラム製品を提供し、前記コンピュータプログラムはプロセッサによって実行される際、上記に記載の再照明画像の生成方法または再照明画像生成システムのトレーニング方法を実現する。
なお、上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本開示に記載の各ステップは、並列に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよいが、本開示で開示されている技術案の所望の結果を実現することができれば、本明細書では限定されない。
上記具体的な実施形態は、本開示の保護範囲を制限するものではない。当業者は、設計要件と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができると理解されたい。任意の本開示の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本開示の保護範囲内に含まれるべきである。
本開示の別の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムはプロセッサによって実行される際、本開示の第１の態様に記載の再照明画像の生成方法または第２の態様に記載の再照明画像生成システムのトレーニング方法を実現する。
Ｓ１９０２、第２のシーンコンテンツトレーニング特徴画像とマックアップされた第２のシーンコンテンツ特徴画像との第５の差異、及び第２の照明トレーニング特徴画像とマックアップされた第２の照明特徴画像との第６の差異を取得する。
前記サンプル処理対象である画像は、第１の分類器によって予測して得られたマックアップされた第２のシーンコンテンツ特徴画像と第２の分類器によって予測して得られたマックアップされた第２の照明特徴画像を含み、第３の取得モジュール２３３０は、さらに、トレーニング対象の前記周波数領域特徴取得モデルを介して前記サンプル処理対象である画像と前記サンプルガイダンス画像に対して特徴抽出を行って、前記サンプル処理対象である画像の第２のシーンコンテンツトレーニング特徴画像、及び前記ガイダンス画像の第２の照明トレーニング特徴画像を取得し、前記第２のシーンコンテンツトレーニング特徴画像と前記マックアップされた第２のシーンコンテンツ特徴画像との第５の差異、及び前記第２の照明トレーニング特徴画像と前記マックアップされた第２の照明特徴画像との第６の差異を取得し、前記第４の差異、前記第５の差異及び前記第６の差異に基づいて、前記第２の損失関数を取得する。
本開示の実施例によれば、本開示は、電子機器、読み取り可能な記憶媒体、及びコンピュータプログラムをさらに提供する。
本開示は、さらに、コンピュータプログラムを提供し、前記コンピュータプログラムはプロセッサによって実行される際、上記に記載の再照明画像の生成方法または再照明画像生成システムのトレーニング方法を実現する。

Claims (39)

  1. 処理対象である画像と前記処理対象である画像に対応するガイダンス画像を取得するステップと、
    前記ガイダンス画像に基づいて、前記処理対象である画像に対して時間領域での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する第１の中間画像を取得するステップと、
    前記ガイダンス画像に基づいて、前記処理対象である画像に対して周波数領域空間での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する第２の中間画像を取得するステップと、
    前記第１の中間画像と前記第２の中間画像に基づいて、前記処理対象である画像に対応するターゲット再照明画像を取得するステップと、
    を含む、再照明画像の生成方法。
  2. 前記ガイダンス画像に基づいて、前記処理対象である画像に対して時間領域での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する第１の中間画像を取得するステップが、
    前記処理対象である画像と前記ガイダンス画像を再照明画像生成システムの前記時間領域特徴取得モデルに入力して時間領域での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する前記第１の中間画像を取得するステップを含む請求項１に記載の再照明画像の生成方法。
  3. 前記処理対象である画像と前記ガイダンス画像を前記再照明画像生成システムの前記時間領域特徴取得モデルに入力して時間領域での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する前記第１の中間画像を取得するステップが、
    前記時間領域特徴取得モデルを介して前記処理対象である画像と前記ガイダンス画像に対して特徴抽出を行って、前記処理対象である画像の第１のシーンコンテンツ特徴画像、及び前記ガイダンス画像の第１の照明特徴画像を取得するステップと、
    前記第１のシーンコンテンツ特徴画像と前記第１の照明特徴画像を結合して、融合特徴画像を取得するステップと、
    前記融合特徴画像に基づいて、前記第１の中間画像を生成するステップと、
    を含む請求項２に記載の生成方法。
  4. 前記時間領域特徴取得モデルを介して前記処理対象である画像と前記ガイダンス画像に対して特徴抽出を行って、前記処理対象である画像の第１のシーンコンテンツ特徴画像、及び前記ガイダンス画像の第１の照明特徴画像を取得するステップが、
    前記時間領域特徴取得モデルを介して前記処理対象である画像と前記ガイダンス画像に対してダウンサンプリング処理を行って、第１の特徴画像を取得するステップと、
    前記第１の特徴画像に対して等分処理を行って、前記処理対象である画像の前記第１のシーンコンテンツ特徴画像、及び前記ガイダンス画像の前記第１の照明特徴画像を取得するステップと、
    を含む請求項３に記載の再照明画像の生成方法。
  5. 前記融合特徴画像に基づいて、前記第１の中間画像を生成するステップが、
    前記融合特徴画像に対してアップサンプリング処理を行って、前記第１の中間画像を生成するステップを含む請求項３に記載の再照明画像の生成方法。
  6. 前記ガイダンス画像に基づいて、前記処理対象である画像に対して周波数領域空間での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する第２の中間画像を取得するステップが、
    前記処理対象である画像と前記ガイダンス画像を再照明画像生成システムの前記周波数領域特徴取得モデルのＮ個のウェーブレット変換モデルに入力して周波数領域空間での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する前記第２の中間画像を取得するステップであって、Ｎが１以上である整数であるステップを含む請求項１に記載の再照明画像の生成方法。
  7. Ｎが１よりも大きい整数であり、前記処理対象である画像と前記ガイダンス画像を再照明画像生成システムの前記周波数領域特徴取得モデルのＮ個のウェーブレット変換モデルに入力して周波数領域空間での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する前記第２の中間画像を取得するステップが、
    １番目のウェーブレット変換モデルに対して、前記処理対象である画像と前記ガイダンス画像を前記１番目のウェーブレット変換モデルに入力して周波数領域空間での再照明レンダリングを行って、中間再照明画像を出力するステップと、
    ２番目のウェーブレット変換モデルから、前段のウェーブレット変換モデルから出力された中間再照明画像を次段のウェーブレット変換モデルに入力して周波数領域空間での再照明レンダリングを行って、前記次段のウェーブレット変換モデルに対応する中間再照明画像を出力するステップと、
    そのうちの１段のウェーブレット変換モデルが対応する中間再照明画像を出力し、前記対応する中間再照明画像が最適化停止条件を満たすと決定するたびに、次段のウェーブレット変換モデルへ前記対応する中間再照明画像を伝達することを停止し、前記対応する中間再照明画像を前記第２の中間画像とするステップと、
    を含む請求項６に記載の再照明画像の生成方法。
  8. 前記対応する中間再照明画像が前記最適化停止条件を満たしていないと決定すると、前記中間再照明画像を引き続き次段のウェーブレット変換モデルへ伝達し、次段のウェーブレット変換モデルを介して前記対応する中間再照明画像に対して周波数領域空間での再照明レンダリングを引き続き行い、そのうちの１段のウェーブレット変換モデルから出力された中間再照明画像が最適化停止条件に満たすまで、前記最適化停止条件を満たす中間再照明画像を前記第２の中間画像とするステップを含む請求項７に記載の再照明画像の生成方法。
  9. 任意１段のウェーブレット変換モデルが画像に対して周波数領域空間での再照明レンダリングを行う過程が、
    画像を前記ウェーブレット変換モデルのウェーブレット変換ネットワークに入力し、前記ウェーブレット変換ネットワークを介して前記画像に対してダウンサンプリング処理を行って、前記画像に対応する第２のシーンコンテンツ特徴画像及び第２の照明特徴画像を出力するステップであって、前記画像が前記処理対象である画像、前記ガイダンス画像及び前記中間再照明画像を含むステップと、
    前記第２のシーンコンテンツ特徴画像及び前記第２の照明特徴画像を前記ウェーブレット変換モデルの残差ネットワークに入力し、前記残差ネットワークを介して前記第２のシーンコンテンツ特徴画像及び前記第２の照明特徴画像を再構築して、再構築特徴画像を出力するステップと、
    前記再構築特徴画像を前記ウェーブレット変換モデルのウェーブレット逆変換ネットワークに入力し、前記ウェーブレット逆変換ネットワークを介して前記再構築特徴画像に対してアップサンプリング処理を行って、前記再照明画像を出力するステップと、
    を含む請求項６または７に記載の再照明画像の生成方法。
  10. 前記画像を前記ウェーブレット変換モデルのウェーブレット変換ネットワークに入力し、前記ウェーブレット変換ネットワークを介して前記画像に対してダウンサンプリング処理を行って、前記画像に対応する第２のシーンコンテンツ特徴画像及び第２の照明特徴画像を出力するステップが、
    前記周波数領域特徴取得モデルを介して前記処理対象である画像と前記ガイダンス画像に対してダウンサンプリング処理を行って、第２の特徴画像を取得するステップと、
    前記第２の特徴画像に対して等分処理を行って、前記画像に対する前記第２のシーンコンテンツ特徴画像及び前記第２の照明特徴画像を取得するステップと、
    を含む請求項９に記載の再照明画像の生成方法。
  11. 前記特徴画像を前記ウェーブレット変換モデルの残差ネットワークに入力するステップが、
    ダウンサンプリングして得られた前記特徴画像を前記ウェーブレット変換モデルの第１の畳み込みネットワークに入力し、前記第１の畳み込みネットワークを介して前記特徴画像を前処理し、前記第１の畳み込みネットワークから出力された前処理後の特徴画像を前記残差ネットワークに入力するステップを含む、請求項９に記載の再照明画像の生成方法。
  12. アップサンプリング処理を行って得られたアップサンプリング特徴画像を前記ウェーブレット変換モデルの第２の畳み込みネットワークに入力し、前記第２の畳み込みネットワークを介して前記アップサンプリング特徴画像を前処理するステップを含む請求項９から１１のいずれか一項に記載の再照明画像の生成方法。
  13. 前記第１の中間画像と前記第２の中間画像に基づいて、前記処理対象である画像に対応するターゲット再照明画像を取得するステップが、
    前記第１の中間画像と前記第２の中間画像に対して重み付け処理を行い、重み付け処理結果を後処理して、後処理して得られた重み付け結果を前記処理対象である画像に対応する前記ターゲット再照明画像とするステップを含むる請求項１に記載の再照明画像の生成方法。
  14. マックアップされたターゲット再照明画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得するステップと、
    前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の再照明画像生成システム内の時間領域特徴取得モデルに入力してトレーニングして、時間領域モデルの第１の損失関数を取得するステップと、
    前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の前記再照明画像生成システム内の周波数領域特徴取得モデルに入力してトレーニングして、周波数領域モデルの第２の損失関数を取得するステップと、
    前記第１の損失関数と前記第２の損失関数に基づいて、前記再照明画像生成システムに対応する総損失関数を取得して、前記総損失関数に基づいて前記再照明画像生成システム内のモデルパラメータを調整し、トレーニング結果がトレーニング終了条件を満たすまで、前記マックアップされたターゲット再照明画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得するステップに戻り、最後に前記モデルパラメータを調整した後のトレーニング対象の前記再照明画像生成システムをトレーニング済みの前記再照明画像生成システムとして決定するステップと、
    を含む、再照明画像生成システムのトレーニング方法。
  15. 前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の再照明画像生成システム内の時間領域特徴取得モデルに入力してトレーニングして、時間領域モデルの第１の損失関数を取得するステップが、
    マックアップされた第１の中間画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得するステップと、
    前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の前記時間領域特徴取得モデルに入力して時間領域での再照明レンダリングを行って、前記サンプルガイダンス画像における照明条件と一致する第１のトレーニング中間画像を取得するステップと、
    前記第１のトレーニング中間画像と前記マックアップされた第１の中間画像との第１の差異に基づいて、前記第１の損失関数を取得するステップと、
    を含む請求項１４に記載の再照明画像生成システムのトレーニング方法。
  16. 前記サンプル処理対象である画像が、第１の分類器によって予測して得られたマックアップされた第１のシーンコンテンツ特徴画像と第２の分類器によって予測して得られたマックアップされた第１の照明特徴画像を含み、前記第１のトレーニング中間画像と前記マックアップされた第１の中間画像との第１の差異に基づいて、前記第１の損失関数を取得するステップが、
    トレーニング対象の前記時間領域特徴取得モデルを介して前記サンプル処理対象である画像と前記サンプルガイダンス画像に対して特徴抽出を行って、前記サンプル処理対象である画像の第１のシーンコンテンツトレーニング特徴画像、及び前記ガイダンス画像の第１の照明トレーニング特徴画像を取得するステップと、
    前記第１のシーンコンテンツトレーニング特徴画像と前記マックアップされた第１のシーンコンテンツ特徴画像との第２の差異、及び前記第１の照明トレーニング特徴画像と前記マックアップされた第１の照明特徴画像との第３の差異に基づくステップと、
    前記第１の差異、前記第２の差異及び前記第３の差異に基づいて、前記第１の損失関数を取得するステップと、
    を含む請求項１５に記載の再照明画像生成システムのトレーニング方法。
  17. 前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の前記再照明画像生成システム内の周波数領域特徴取得モデルに入力してトレーニングして、周波数領域モデルの第２の損失関数を取得するステップが、
    マックアップされた第２の中間画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得するステップと、
    前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の前記周波数領域特徴取得モデルに入力して周波数領域空間での再照明レンダリングを行って、前記サンプルガイダンス画像における照明条件と一致する第２のトレーニング中間画像を取得するステップと、
    前記第２のトレーニング中間画像と前記マックアップされた第２の中間画像との第４の差異に基づいて、前記第２の損失関数を取得するステップと、
    を含む請求項１４に記載の再照明画像生成システムのトレーニング方法。
  18. 前記サンプル処理対象である画像が、第１の分類器によって予測して得られたマックアップされた第２のシーンコンテンツ特徴画像と第２の分類器によって予測して得られたマックアップされた第２の照明特徴画像を含み、前記第２のトレーニング中間画像と前記マックアップされた第２の中間画像との第４の差異に基づいて、前記第２の損失関数を取得するステップが、
    トレーニング対象の前記周波数領域特徴取得モデルを介して前記サンプル処理対象である画像と前記サンプルガイダンス画像に対して特徴抽出を行って、前記サンプル処理対象である画像の第２のシーンコンテンツトレーニング特徴画像、及び前記ガイダンス画像の第２の照明トレーニング特徴画像を取得するステップと、
    前記第２のシーンコンテンツトレーニング特徴画像と前記マックアップされた第２のシーンコンテンツ特徴画像との第５の差異、及び前記第２の照明トレーニング特徴画像と前記マックアップされた第２の照明特徴画像との第６の差異に基づくステップと、
    前記第４の差異、前記第５の差異及び前記第６の差異に基づいて、前記第２の損失関数を取得するステップと、
    を含む請求項１７に記載の再照明画像生成システムのトレーニング方法。
  19. 処理対象である画像と前記処理対象である画像に対応するガイダンス画像を取得する第１の取得モジュールと、
    前記ガイダンス画像に基づいて、前記処理対象である画像に対して時間領域での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する第１の中間画像を取得する第２の取得モジュールと、
    前記ガイダンス画像に基づいて、前記処理対象である画像に対して周波数領域空間での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する第２の中間画像を取得する第３の取得モジュールと、
    前記第１の中間画像と前記第２の中間画像に基づいて、前記処理対象である画像に対応するターゲット再照明画像を取得する第４の取得モジュールと、
    を備える、再照明画像の生成装置。
  20. 前記第２の取得モジュールが、
    前記処理対象である画像と前記ガイダンス画像を再照明画像生成システムの前記時間領域特徴取得モデルに入力して時間領域での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する前記第１の中間画像を取得する請求項１９に記載の再照明画像の生成装置。
  21. 前記第２の取得モジュールが、
    前記時間領域特徴取得モデルを介して前記処理対象である画像と前記ガイダンス画像に対して特徴抽出を行って、前記処理対象である画像の第１のシーンコンテンツ特徴画像、及び前記ガイダンス画像の第１の照明特徴画像を取得し、
    前記第１のシーンコンテンツ特徴画像と前記第１の照明特徴画像を結合して、融合特徴画像を取得し、
    前記融合特徴画像に基づいて、前記第１の中間画像を生成する請求項２０に記載の再照明画像の生成装置。
  22. 前記第２の取得モジュールが、
    前記時間領域特徴取得モデルを介して前記処理対象である画像と前記ガイダンス画像に対してダウンサンプリング処理を行って、第１の特徴画像を取得し、
    前記第１の特徴画像に対して等分処理を行って、前記処理対象である画像の前記第１のシーンコンテンツ特徴画像、及び前記ガイダンス画像の前記第１の照明特徴画像を取得する請求項２１に記載の再照明画像の生成装置。
  23. 前記第２の取得モジュールが、
    前記融合特徴画像に対してアップサンプリング処理を行って、前記第１の中間画像を生成する請求項２１に記載の再照明画像の生成装置。
  24. 前記第３の取得モジュールが、
    前記処理対象である画像と前記ガイダンス画像を再照明画像生成システムの前記周波数領域特徴取得モデルのＮ個のウェーブレット変換モデルに入力して周波数領域空間での再照明レンダリングを行って、前記ガイダンス画像における照明条件と一致する前記第２の中間画像を取得し、Ｎが１以上である整数である請求項１９に記載の再照明画像の生成装置。
  25. Ｎが１よりも大きい整数であり、前記第３の取得モジュールが、
    １番目のウェーブレット変換モデルに対して、前記処理対象である画像と前記ガイダンス画像を前記１番目のウェーブレット変換モデルに入力して周波数領域空間での再照明レンダリングを行って、中間再照明画像を出力し、
    ２番目のウェーブレット変換モデルから、前段のウェーブレット変換モデルから出力された中間再照明画像を次段のウェーブレット変換モデルに入力して周波数領域空間での再照明レンダリングを行って、前記次段のウェーブレット変換モデルに対応する中間再照明画像を出力し、
    そのうちの１段のウェーブレット変換モデルが対応する中間再照明画像を出力し、前記対応する中間再照明画像が最適化停止条件を満たすと決定するたびに、次段のウェーブレット変換モデルへ前記対応する中間再照明画像を伝達することを停止し、前記対応する中間再照明画像を前記第２の中間画像とする請求項２４に記載の再照明画像の生成装置。
  26. 前記第３の取得モジュールが、
    前記対応する中間再照明画像が前記最適化停止条件を満たしていないと決定すると、前記中間再照明画像を引き続き次段のウェーブレット変換モデルへ伝達し、次段のウェーブレット変換モデルを介して前記対応する中間再照明画像に対して周波数領域空間での再照明レンダリングを引き続き行い、そのうちの１段のウェーブレット変換モデルから出力された中間再照明画像が最適化停止条件に満たすまで、前記最適化停止条件を満たす中間再照明画像を前記第２の中間画像とする請求項２５に記載の再照明画像の生成装置。
  27. 前記第３の取得モジュールが、
    画像を前記ウェーブレット変換モデルのウェーブレット変換ネットワークに入力し、前記ウェーブレット変換ネットワークを介して前記画像に対してダウンサンプリング処理を行って、前記画像に対応する第２のシーンコンテンツ特徴画像及び第２の照明特徴画像を出力し、前記画像が前記処理対象である画像、前記ガイダンス画像及び前記中間再照明画像を含み、
    前記第２のシーンコンテンツ特徴画像及び前記第２の照明特徴画像を前記ウェーブレット変換モデルの残差ネットワークに入力し、前記残差ネットワークを介して前記第２のシーンコンテンツ特徴画像及び前記第２の照明特徴画像を再構築して、再構築特徴画像を出力し、
    前記再構築特徴画像を前記ウェーブレット変換モデルのウェーブレット逆変換ネットワークに入力し、前記ウェーブレット逆変換ネットワークを介して前記再構築特徴画像に対してアップサンプリング処理を行って、前記再照明画像を出力する請求項２４または２５に記載の再照明画像の生成装置。
  28. 前記第３の取得モジュールが、
    前記周波数領域特徴取得モデルを介して前記処理対象である画像と前記ガイダンス画像に対してダウンサンプリング処理を行って、第２の特徴画像を取得し、
    前記第２の特徴画像に対して等分処理を行って、前記画像に対する前記第２のシーンコンテンツ特徴画像及び前記第２の照明特徴画像を取得する請求項２７に記載の再照明画像の生成装置。
  29. 前記第３の取得モジュールが、
    ダウンサンプリングして得られた前記特徴画像を前記ウェーブレット変換モデルの第１の畳み込みネットワークに入力し、前記第１の畳み込みネットワークを介して前記特徴画像を前処理し、前記第１の畳み込みネットワークから出力された前処理後の特徴画像を前記残差ネットワークに入力する請求項２７に記載の再照明画像の生成装置。
  30. 前記第３の取得モジュールが、
    アップサンプリング処理を行って得られたアップサンプリング特徴画像を前記ウェーブレット変換モデルの第２の畳み込みネットワークに入力し、前記第２の畳み込みネットワークを介して前記アップサンプリング特徴画像を前処理する２７から２９のいずれか一項に記載の再照明画像の生成装置。
  31. 前記第４の取得モジュールが、
    前記第１の中間画像と前記第２の中間画像に対して重み付け処理を行い、重み付け処理結果を後処理して、後処理して得られた重み付け結果を前記処理対象である画像に対応する前記ターゲット再照明画像とする請求項１９に記載の再照明画像の生成装置。
  32. マックアップされたターゲット再照明画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得する第１の取得モジュールと、
    前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の再照明画像生成システム内の時間領域特徴取得モデルに入力してトレーニングして、時間領域モデルの第１の損失関数を取得する第２の取得モジュールと、
    前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の前記再照明画像生成システム内の周波数領域特徴取得モデルに入力してトレーニングして、周波数領域モデルの第２の損失関数を取得する第３の取得モジュールと、
    前記第１の損失関数と前記第２の損失関数に基づいて、前記再照明画像生成システムに対応する総損失関数を取得して、前記総損失関数に基づいて前記再照明画像生成システム内のモデルパラメータを調整し、トレーニング結果がトレーニング終了条件を満たすまで、前記マックアップされたターゲット再照明画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得するステップに戻り、最後に前記モデルパラメータを調整した後のトレーニング対象の前記再照明画像生成システムをトレーニング済みの前記再照明画像生成システムとして決定する決定モジュールと、
    を備える、再照明画像生成システムのトレーニング装置。
  33. 前記第２の取得モジュールが、
    マックアップされた第１の中間画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得し、
    前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の前記時間領域特徴取得モデルに入力して時間領域での再照明レンダリングを行って、前記サンプルガイダンス画像における照明条件と一致する第１のトレーニング中間画像を取得し、
    前記第１のトレーニング中間画像と前記マックアップされた第１の中間画像との第１の差異に基づいて、前記第１の損失関数を取得する請求項３２に記載の再照明画像生成システムのトレーニング装置。
  34. 前記サンプル処理対象である画像が、第１の分類器によって予測して得られたマックアップされた第１のシーンコンテンツ特徴画像と第２の分類器によって予測して得られたマックアップされた第１の照明特徴画像を含み、前記第２の取得モジュールが、
    トレーニング対象の前記時間領域特徴取得モデルを介して前記サンプル処理対象である画像と前記サンプルガイダンス画像に対して特徴抽出を行って、前記サンプル処理対象である画像の第１のシーンコンテンツトレーニング特徴画像、及び前記ガイダンス画像の第１の照明トレーニング特徴画像を取得し、
    前記第１のシーンコンテンツトレーニング特徴画像と前記マックアップされた第１のシーンコンテンツ特徴画像との第２の差異、及び前記第１の照明トレーニング特徴画像と前記マックアップされた第１の照明特徴画像との第３の差異に基づき、
    前記第１の差異、前記第２の差異及び前記第３の差異に基づいて、前記第１の損失関数を取得する請求項３３に記載の再照明画像生成システムのトレーニング装置。
  35. 前記第３の取得モジュールが、
    マックアップされた第２の中間画像のサンプル処理対象である画像と、前記サンプル処理対象である画像に対応するサンプルガイダンス画像とを取得し、
    前記サンプル処理対象である画像と前記サンプルガイダンス画像をトレーニング対象の前記周波数領域特徴取得モデルに入力して周波数領域空間での再照明レンダリングを行って、前記サンプルガイダンス画像における照明条件と一致する第２のトレーニング中間画像を取得し、
    前記第２のトレーニング中間画像と前記マックアップされた第２の中間画像との第４の差異に基づいて、前記第２の損失関数を取得する請求項３２に記載の再照明画像生成システムのトレーニング装置。
  36. 前記サンプル処理対象である画像が、第１の分類器によって予測して得られたマックアップされた第２のシーンコンテンツ特徴画像と第２の分類器によって予測して得られたマックアップされた第２の照明特徴画像を含み、前記第３の取得モジュールが、
    トレーニング対象の前記周波数領域特徴取得モデルを介して前記サンプル処理対象である画像と前記サンプルガイダンス画像に対して特徴抽出を行って、前記サンプル処理対象である画像の第２のシーンコンテンツトレーニング特徴画像、及び前記ガイダンス画像の第２の照明トレーニング特徴画像を取得し、
    前記第２のシーンコンテンツトレーニング特徴画像と前記マックアップされた第２のシーンコンテンツ特徴画像との第５の差異、及び前記第２の照明トレーニング特徴画像と前記マックアップされた第２の照明特徴画像との第６の差異に基づき、
    前記第４の差異、前記第５の差異及び前記第６の差異に基づいて、前記第２の損失関数を取得する請求項３５に記載の再照明画像生成システムのトレーニング装置。
  37. プロセッサと、メモリと、を備え、
    前記プロセッサが、請求項１から１３のいずれか一項に記載の方法を実現するために、前記メモリに記憶されている実行可能なプログラムコードを読み取ることにより、前記実行可能なプログラムコードに対応するプログラムを実行する電子機器。
  38. コンピュータプログラムが含まれるコンピュータ読み取り可能な記憶媒体であって、当該プログラムがプロセッサによって実行される場合、請求項１から１３のいずれか一項に記載の方法を実現するコンピュータ読み取り可能な記憶媒体。
  39. コンピュータプログラムが含まれるコンピュータプログラム製品であって、前記コンピュータプログラムがプロセッサによって実行される場合、請求項１から１３のいずれか一項に記載の方法を実現するコンピュータプログラム製品。
JP2023513079A 2021-06-29 2022-04-20 再照明画像の生成方法、装置及び電子機器 Pending JP2023538147A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110729941.9A CN113592998A (zh) 2021-06-29 2021-06-29 重光照图像的生成方法、装置及电子设备
CN202110729941.9 2021-06-29
PCT/CN2022/088031 WO2023273536A1 (zh) 2021-06-29 2022-04-20 重光照图像的生成方法、装置及电子设备

Publications (1)

Publication Number Publication Date
JP2023538147A true JP2023538147A (ja) 2023-09-06

Family

ID=78245254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023513079A Pending JP2023538147A (ja) 2021-06-29 2022-04-20 再照明画像の生成方法、装置及び電子機器

Country Status (5)

Country Link
US (1) US20230215132A1 (ja)
JP (1) JP2023538147A (ja)
KR (1) KR20230043225A (ja)
CN (1) CN113592998A (ja)
WO (1) WO2023273536A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554739A (zh) * 2021-06-29 2021-10-26 北京百度网讯科技有限公司 重光照图像的生成方法、装置及电子设备
CN113592998A (zh) * 2021-06-29 2021-11-02 北京百度网讯科技有限公司 重光照图像的生成方法、装置及电子设备
CN115546041B (zh) * 2022-02-28 2023-10-20 荣耀终端有限公司 补光模型的训练方法、图像处理方法及其相关设备
CN116071268B (zh) * 2023-03-01 2023-06-23 中国民用航空飞行学院 基于对比学习的图像去光照模型及其训练方法
CN117252787B (zh) * 2023-11-17 2024-02-02 北京渲光科技有限公司 图像重新照明方法、模型训练方法、装置、设备及介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183276A (zh) * 2007-12-13 2008-05-21 上海交通大学 基于摄像头投影仪技术的交互系统
US8452111B2 (en) * 2008-06-05 2013-05-28 Microsoft Corporation Real-time compression and decompression of wavelet-compressed images
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
JP6742231B2 (ja) * 2016-12-09 2020-08-19 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
CN107833198B (zh) * 2017-11-09 2021-06-01 中共中央办公厅电子科技学院 一种基于大尺度分解的户外场景重光照方法
CN112184575A (zh) * 2020-09-16 2021-01-05 华为技术有限公司 图像渲染的方法和装置
CN112489144A (zh) * 2020-12-14 2021-03-12 Oppo（重庆）智能科技有限公司 图像处理方法、图像处理装置、终端设备及存储介质
CN112819016A (zh) * 2021-02-19 2021-05-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN112801057B (zh) * 2021-04-02 2021-07-13 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN113592998A (zh) * 2021-06-29 2021-11-02 北京百度网讯科技有限公司 重光照图像的生成方法、装置及电子设备

Also Published As

Publication number Publication date
US20230215132A1 (en) 2023-07-06
WO2023273536A1 (zh) 2023-01-05
CN113592998A (zh) 2021-11-02
KR20230043225A (ko) 2023-03-30

Similar Documents

Publication Publication Date Title
JP2023538147A (ja) 再照明画像の生成方法、装置及び電子機器
US10395167B2 (en) Image processing method and device
US11373272B2 (en) Digital gradient signal processing system and method for signals comprising at least three dimensions
EP3998552A1 (en) Image processing method and apparatus, and electronic device
US20210209731A1 (en) Video processing method, apparatus, device and storage medium
US10937200B2 (en) Object-based color adjustment
CN111386536A (zh) 语义一致的图像样式转换
EP4109412A1 (en) Three-dimensional model reconstruction method and apparatus, and three-dimensional reconstruction model training method and apparatus
JP2021006991A (ja) マルチユーザ共同データ分析を要約及び指示する方法、プログラム、及び装置
US20210329195A1 (en) Method and apparatus for interpolating frame to video, and electronic device
WO2023273340A1 (zh) 重光照图像的生成方法、装置及电子设备
US20230042221A1 (en) Modifying digital images utilizing a language guided image editing model
CN110996131B (zh) 视频编码方法、装置、计算机设备及存储介质
US20220044358A1 (en) Image processing method and apparatus, device, and storage medium
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
US20230143452A1 (en) Method and apparatus for generating image, electronic device and storage medium
US20220358675A1 (en) Method for training model, method for processing video, device and storage medium
US11030726B1 (en) Image cropping with lossless resolution for generating enhanced image databases
US11769227B2 (en) Generating synthesized digital images utilizing a multi-resolution generator neural network
JP2022532669A (ja) ビデオを識別するための方法及び装置
CN114528970A (zh) 生成式图像凝结
JP2022185144A (ja) 対象検出方法、対象検出モデルのレーニング方法および装置
US20230289402A1 (en) Joint perception model training method, joint perception method, device, and storage medium
JP2023001926A (ja) 画像融合方法及び装置、画像融合モデルのトレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
US20230070666A1 (en) Neural network for image style translation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109