JPWO2019239462A1 - 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム - Google Patents

学習装置、画像生成装置、学習方法、画像生成方法及びプログラム Download PDF

Info

Publication number
JPWO2019239462A1
JPWO2019239462A1 JP2020524963A JP2020524963A JPWO2019239462A1 JP WO2019239462 A1 JPWO2019239462 A1 JP WO2019239462A1 JP 2020524963 A JP2020524963 A JP 2020524963A JP 2020524963 A JP2020524963 A JP 2020524963A JP WO2019239462 A1 JPWO2019239462 A1 JP WO2019239462A1
Authority
JP
Japan
Prior art keywords
image
angle
wide
input
generation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020524963A
Other languages
English (en)
Other versions
JP6980913B2 (ja
Inventor
弘孝 浅山
弘孝 浅山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2019239462A1 publication Critical patent/JPWO2019239462A1/ja
Application granted granted Critical
Publication of JP6980913B2 publication Critical patent/JP6980913B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

生成される広画角画像の高輝度部分の推定精度を向上できる学習装置、画像生成装置、学習方法、画像生成方法及びプログラムを提供する。第２学習データ取得部（６４）は、入力画像を取得する。広画角画像生成部（２８）は、入力画像の入力に応じて当該入力画像よりも画角が広い画像である生成広画角画像を生成する。第２学習データ取得部（６４）は、生成広画角画像と比較される画像である比較広画角画像を取得する。第２学習部（６６）は、生成広画角画像と比較広画角画像との比較結果に基づいて、広画角画像生成部（２８）のパラメータの値を、比較広画角画像内における画素の輝度の高さ又は生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで、広画角画像生成部（２８）の学習を実行する。

Description

本発明は、学習装置、画像生成装置、学習方法、画像生成方法及びプログラムに関する。
実写の画像に基づいて設定される光源を用いて、リアルなコンピュータグラフィックス（ＣＧ）の画像やＣＧと実写の画像とを合成した画像を生成するイメージベースドライトニング（ＩＢＬ）の技術が知られている。
生成される画像のリアリティを向上させるため、ＩＢＬにおいてはハイダイナミックレンジ（ＨＤＲ）の３６０度画像などといった広画角画像に基づいて光源が設定されることが望ましい。しかし、広画角画像を得るためには全天周カメラや半天周カメラなどといった専用機材による撮影が必要であり、また、専門の知識も求められる。
そのため、撮影によって広画角画像を生成する代わりに、学習済の機械学習モデルなどによって実装された画像生成部を用いて広画角画像を生成することが行われている。この場合は例えば、一般的なカメラにより撮影される画像を画像生成部に入力することで、当該画像の画角の外の物体や風景などといった当該画像の画角の外の環境の推定結果が補われた広画角画像が生成される。
しかし上述のようにして広画角画像を生成する従来技術では、高輝度部分がうまく推定できず、広画角画像内の不自然な位置に高輝度部分が配置される、あるいは逆に、配置されるべき位置に高輝度部分が配置されないことがあった。その結果、例えばＩＢＬにおける光源の設定が不自然になることがあった。
本発明は上記課題に鑑みてなされたものであって、その目的の１つは、生成される広画角画像の高輝度部分の推定精度を向上できる学習装置、画像生成装置、学習方法、画像生成方法及びプログラムを提供することにある。
上記課題を解決するために、本発明に係る学習装置は、入力画像を取得する入力画像取得部と、前記入力画像の入力に応じて当該入力画像よりも画角が広い画像である生成広画角画像を生成する広画角画像生成部と、前記生成広画角画像と比較される画像である比較広画角画像を取得する比較広画角画像取得部と、前記生成広画角画像と前記比較広画角画像との比較結果に基づいて、前記広画角画像生成部のパラメータの値を、前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで、前記広画角画像生成部の学習を実行する広画角画像生成学習部と、を含む。
本発明の一態様では、スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像である生成ＨＤＲ画像を生成するＨＤＲ画像生成部と、前記生成ＨＤＲ画像と比較されるハイダイナミックレンジの画像である比較ＨＤＲ画像を取得する比較ＨＤＲ画像取得部と、前記生成ＨＤＲ画像と前記比較ＨＤＲ画像との比較結果に基づいて、前記ＨＤＲ画像生成部のパラメータの値を更新することで、前記ＨＤＲ画像生成部の学習を実行するＨＤＲ画像生成学習部と、をさらに含み、前記入力画像取得部は、学習済の前記ＨＤＲ画像生成部が生成する前記生成ＨＤＲ画像を、前記入力画像として取得する。
また、本発明にかかる画像生成装置は、スタンダードダイナミックレンジの画像を取得する画像取得部と、前記スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像を生成するＨＤＲ画像生成部と、前記ハイダイナミックレンジの画像の入力に応じて、当該画像より画角が広い広画角画像を生成する広画角画像生成部と、を含む。
本発明の一態様では、前記広画角画像生成部は、入力画像の入力に応じて当該広画角画像生成部が生成する生成広画角画像と、当該生成広画角画像と比較される比較広画角画像と、の比較結果に基づいて、前記広画角画像生成部のパラメータの値を更新することで学習が実行された学習済の機械学習モデルである。
この態様では、前記広画角画像生成部は、前記広画角画像生成部のパラメータの値を前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで学習が実行された学習済の機械学習モデルであってもよい。
また、本発明の一態様では、前記ＨＤＲ画像生成部は、スタンダードダイナミックレンジの画像の入力に応じて当該ＨＤＲ画像生成部が生成するハイダイナミックレンジの画像と、当該ハイダイナミックレンジの画像と比較されるハイダイナミックレンジの画像と、の比較結果に基づいて、前記ＨＤＲ画像生成部のパラメータの値を更新することで学習が実行された学習済の機械学習モデルである。
また、本発明に係る学習方法は、入力画像を取得するステップと、広画角画像生成部を用いて前記入力画像の入力に応じて当該入力画像よりも画角が広い画像である生成広画角画像を生成するステップと、前記生成広画角画像と比較される画像である比較広画角画像を取得するステップと、前記生成広画角画像と前記比較広画角画像との比較結果に基づいて、前記広画角画像生成部のパラメータの値を、前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで、前記広画角画像生成部の学習を実行するステップと、を含む。
また、本発明に係る画像生成方法は、スタンダードダイナミックレンジの画像を取得するステップと、前記スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像を生成するステップと、前記ハイダイナミックレンジの画像の入力に応じて、当該画像より画角が広い広画角画像を生成するステップと、を含む。
また、本発明に係るプログラムは、入力画像を取得する手順、広画角画像生成部を用いて前記入力画像の入力に応じて当該入力画像よりも画角が広い画像である生成広画角画像を生成する手順、前記生成広画角画像と比較される画像である比較広画角画像を取得する手順、前記生成広画角画像と前記比較広画角画像との比較結果に基づいて、前記広画角画像生成部のパラメータの値を、前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで、前記広画角画像生成部の学習を実行する手順、をコンピュータに実行させる。
また、本発明に係る別のプログラムは、スタンダードダイナミックレンジの画像を取得する手順、前記スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像を生成する手順、前記ハイダイナミックレンジの画像の入力に応じて、当該画像より画角が広い広画角画像を生成する手順、をコンピュータに実行させる。
本発明の一実施形態に係る画像処理装置の構成図である。 本発明の一実施形態に係る第１学習の一例を示す図である。 本発明の一実施形態に係る第２学習の一例を示す図である。 学習入力ＨＤＲ画像の一例を模式的に示す図である。 比較広画角画像の一例を模式的に示す図である。 生成広画角画像の一例を模式的に示す図である。 重みマップの一例を示す図である。 本発明の一実施形態に係る画像の生成の一例を示す図である。 本発明の一実施形態に係る画像処理装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係る画像処理装置で行われる学習処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る画像処理装置で行われる学習処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る画像処理装置で行われる学習処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る画像処理装置で行われるターゲット広画角画像の生成処理の流れの一例を示すフロー図である。
以下、本発明の一実施形態について図面に基づき詳細に説明する。
図１は、本実施形態に係る画像処理装置１０の構成図である。本実施形態に係る画像処理装置１０は、例えば、ゲームコンソールやパーソナルコンピュータなどのコンピュータである。図１に示すように、本実施形態に係る画像処理装置１０は、例えば、プロセッサ１２、記憶部１４、操作部１６、表示部１８を含んでいる。
プロセッサ１２は、例えば画像処理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。
記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、プロセッサ１２によって実行されるプログラムなどが記憶される。
操作部１６は、キーボード、マウス、ゲームコンソールのコントローラ等のユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。
表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。
なお、画像処理装置１０は、ネットワークボードなどの通信インタフェース、ＤＶＤ−ＲＯＭやＢｌｕ−ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。
本実施形態に係る画像処理装置１０には学習済の機械学習モデルが実装される。そして当該機械学習モデルを用いて、平面画像（二次元画像）に基づいて、当該平面画像の画角の外の物体や風景が補われた画像が生成される。ここで例えば、チャネルあたり８ビットのスタンダードダイナミックレンジ（ＳＤＲ）の平面画像（二次元画像）に基づいて、チャネルあたり３２ビットのハイダイナミックレンジ（ＨＤＲ）の画像が生成されてもよい。また当該ＳＤＲの平面画像は、例えば一般的なカメラで撮影される画像などであってもよい。また例えば、生成されるＨＤＲの画像は、全天周画像（３６０度画像）や半天周画像（１８０度画像）などであってもよい。また生成されるＨＤＲの画像は、パノラマ画像であってもよい。
以下、画像処理装置１０に実装されている機械学習モデルの学習の一例について説明する。
本実施形態に係る画像処理装置１０に実装されている機械学習モデルの学習においては、まず、図２に示すように、ＨＤＲ画像生成部２０の学習が実行される。ここでＨＤＲ画像生成部２０の学習に用いられる学習データを第１学習データと呼ぶこととする。また以下、ＨＤＲ画像生成部２０の学習を第１学習と呼ぶこととする。
ＨＤＲ画像生成部２０は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）により実装された機械学習モデルである。ＨＤＲ画像生成部２０は、例えば、チャネルあたり８ビットのＳＤＲの画像の入力に応じて、当該画像に対応付けられるチャネルあたり３２ビットのＨＤＲの画像を生成して出力する。
第１学習データには、例えば、学習入力ＳＤＲ画像２２と比較ＨＤＲ画像２４との組合せが含まれる。
第１学習データに含まれる学習入力ＳＤＲ画像２２は、例えば、第１学習においてＨＤＲ画像生成部２０に入力される画像である。学習入力ＳＤＲ画像２２は、例えば、一般的なカメラで撮影される画像などといった、ＳＤＲの平面画像である。
第１学習データに含まれる比較ＨＤＲ画像２４は、例えば、ＨＤＲ画像生成部２０により生成された画像ではない、一般的なカメラで撮影される画像などといった、ＨＤＲの平面画像である。
本実施形態では例えば、学習入力ＳＤＲ画像２２がＨＤＲ画像生成部２０に入力される。するとＨＤＲ画像生成部２０は、当該学習入力ＳＤＲ画像２２の入力に応じて、当該学習入力ＳＤＲ画像２２に対応付けられるＨＤＲの平面画像を生成して出力する。このようにして生成される画像を生成ＨＤＲ画像２６と呼ぶこととする。
そして本実施形態では例えば、第１学習データに含まれる学習入力ＳＤＲ画像２２をＨＤＲ画像生成部２０に入力した際の出力である生成ＨＤＲ画像２６と、当該第１学習データに含まれる比較ＨＤＲ画像２４と、の誤差（比較結果）が特定される。ここで例えば、Ｌ１ロスなどの画素間誤差（ピクセル間誤差）が特定されてもよい。そして特定される誤差に基づいて、例えば誤差逆伝搬法により、ＨＤＲ画像生成部２０のパラメータの値が更新される。
本実施形態では例えば、上述の第１学習とは別に、図３に示すように、広画角画像生成部２８の学習が実行される。ここで広画角画像生成部２８の学習に用いられる学習データを第２学習データと呼ぶこととする。また、以下、広画角画像生成部２８の学習を第２学習と呼ぶこととする。
以下、条件付きＧＡＮ（Generative Adversarial Network）の技術を用いて、広画角画像生成部２８の学習だけではなくドメイン識別部３０の学習も併せて実行される第２学習の一例について説明する。
広画角画像生成部２８は、例えば、ＣＮＮにより実装された機械学習モデルである。広画角画像生成部２８には、例えば、ＨＤＲの平面画像が入力される。
そして広画角画像生成部２８は、例えば入力されるＨＤＲの平面画像の画角の外の物体や風景などといった当該画像の画角の外の環境を推定する。そして広画角画像生成部２８は例えば、当該推定の結果が反映された、入力される平面画像に含まれる画像よりも画角が広い画像を生成する。ここで例えば、全天周画像や半天周画像が生成されてもよい。また例えば、パノラマ画像が生成されてもよい。そして広画角画像生成部２８は、生成された画像を出力する。
ドメイン識別部３０は、例えば、ＣＮＮにより実装された機械学習モデルである。ドメイン識別部３０には、例えば、広画角画像生成部２８により生成された画像、又は、広画角画像生成部２８では生成された画像とは異なる画像のいずれかが入力される。そしてドメイン識別部３０は、例えば、ドメイン識別部３０に入力される画像が広画角画像生成部２８により生成された画像であるか否かの識別結果を出力する。ここでドメイン識別部３０が、ドメイン識別部３０に入力された画像が広画角画像生成部２８により生成された画像である可能性の高さを示すデータを出力してもよい。
第２学習データには、学習入力ＨＤＲ画像３２と、比較広画角画像３４と、が含まれている。
第２学習データに含まれる学習入力ＨＤＲ画像３２は、例えば、一般的なカメラで撮影される画像などといったＨＤＲの平面画像である。図４は、本実施形態に係る学習入力ＨＤＲ画像３２の一例を模式的に示す図である。なお図４にはＨＤＲの画像に対して二値化処理がされた画像が示されている。なお学習入力ＨＤＲ画像３２として、学習済のＨＤＲ画像生成部２０が生成するＨＤＲの平面画像が用いられてもよい。ここで例えば、学習入力ＳＤＲ画像２２の入力に応じて学習済のＨＤＲ画像生成部２０が生成するＨＤＲの平面画像が学習入力ＨＤＲ画像３２として用いられてもよい。また学習入力ＳＤＲ画像２２とは異なるＳＤＲの画像の入力に応じて学習済のＨＤＲ画像生成部２０が生成するＨＤＲの平面画像が学習入力ＨＤＲ画像３２として用いられてもよい。
第２学習データに含まれる比較広画角画像３４は、例えば、広画角画像生成部２８により生成された画像ではない、全天周カメラで撮影された全天周画像や半天周カメラで撮影された半天周画像などのＨＤＲの広画角画像である。なお比較広画角画像３４は、パノラマカメラで撮影されたパノラマ画像であってもよい。図５は、本実施形態に係る比較広画角画像３４の一例を模式的に示す図である。なお図５にはＨＤＲの画像に対して二値化処理がされた画像が示されている。
また、第２学習データに含まれる比較広画角画像３４として、当該第２学習データに含まれる学習入力ＨＤＲ画像３２に対応付けられる画像が用いられてもよい。第２学習データに含まれる比較広画角画像３４は、例えば、当該第２学習データに含まれる学習入力ＨＤＲ画像３２と同じ位置で撮影された画像であってもよい。
第２学習では、第２学習データに含まれる学習入力ＨＤＲ画像３２が広画角画像生成部２８に入力される。すると広画角画像生成部２８は、当該学習入力ＨＤＲ画像３２の入力に応じて、当該学習入力ＨＤＲ画像３２よりも画角が広い画像を生成する。このようにして生成される画像を生成広画角画像３６と呼ぶこととする。図６は、本実施形態に係る生成広画角画像３６の一例を模式的に示す図である。なお図６にはＨＤＲの画像に対して二値化処理がされた画像が示されている。
そしてドメイン識別部３０に、第２学習データに含まれる学習入力ＨＤＲ画像３２に基づいて生成された生成広画角画像３６、又は、第２学習データに含まれる比較広画角画像３４のいずれかが入力される。
そしてドメイン識別部３０は、例えば、ドメイン識別部３０に入力された画像が生成広画角画像３６である可能性の高さを示す生成可能性データ３８を出力する。そして当該生成可能性データ３８と、ドメイン識別部３０に入力された画像が生成広画角画像３６であるか比較広画角画像３４であるかを示すドメイン識別データ４０との誤差（比較結果）であるアドバーサリアルロス（adversarial loss）が特定される。
ここで例えばドメイン識別データ４０の値として、生成広画角画像３６又は比較広画角画像３４のいずれかに対応付けられる値が設定されてもよい。
例えば生成可能性データ３８が０以上１以下の値をとるデータであってもよい。この場合、ドメイン識別データ４０は例えば、ドメイン識別部３０に入力された画像が生成広画角画像３６である場合に値として１をとり比較広画角画像３４である場合に値として０をとるデータであってもよい。
また生成可能性データ３８及びドメイン識別データ４０が例えば２個の要素を含むベクトルとして表現されてもよい。例えば、生成可能性データ３８の第１の要素の値がドメイン識別部３０に入力された画像が生成広画角画像３６である可能性の高さを示す値であってもよい。そして生成可能性データ３８の第２の要素の値がドメイン識別部３０に入力された画像が比較広画角画像３４である可能性の高さを示す値であってもよい。この場合、生成広画角画像３６に対応付けられるドメイン識別データ４０の値が二次元ベクトル（１，０）で表現され、比較広画角画像３４に対応付けられるドメイン識別データ４０の値が二次元ベクトル（０，１）で表現されてもよい。
そして本実施形態では、アドバーサリアルロスに基づいて、例えば誤差逆伝搬法により、広画角画像生成部２８又はドメイン識別部３０のいずれかのパラメータの値が更新される。
ここで本実施形態に係る第２学習において、所定数の第２学習データを用いた広画角画像生成部２８のパラメータの値の更新と所定数の第２学習データを用いたドメイン識別部３０のパラメータの値の更新とが、交互に繰り返し実行されてもよい。この場合、広画角画像生成部２８のパラメータの値の更新の際には、ドメイン識別部３０のパラメータの値が固定された状態で、広画角画像生成部２８のパラメータの値が更新される。また、ドメイン識別部３０のパラメータの値の更新の際には、広画角画像生成部２８のパラメータの値が固定された状態で、ドメイン識別部３０のパラメータの値が更新される。
また本実施形態に係る第２学習は、上述のように条件付きＧＡＮの技術を用いて実行される。そのため、広画角画像生成部２８のパラメータの値の更新では、アドバーサリアルロスだけではなく、生成広画角画像３６と比較広画角画像３４との間のＬ１ロスなどの画素間誤差も加味される。
また本実施形態では例えば、各画素について、比較広画角画像３４における輝度値の大きさに応じた重み４２が決定される。そして上述の画素間誤差に重み４２による重み付けを行うことで、修正画素間誤差が決定される。例えば、各画素について、画素間誤差の値に重み４２を示す値を乗じることで、修正画素間誤差の値が決定される。そして、アドバーサリアルロス、及び、各画素について決定される修正画素間誤差に基づいて、例えば誤差逆伝搬法により、広画角画像生成部２８のパラメータの値が更新される。
図７は、本実施形態に係る輝度値に応じた重み４２の一例が表現された重みマップ４４の一例を示す図である。図７の重みマップ４４では、重み４２を示す値が大きな画素ほど白く、また重み４２を示す値が小さな画素ほど黒く表現されている。なお図７には二値化処理がされた画像が示されている。
ここで重み４２は、例えば、輝度値の増加関数であってもよい。例えば、輝度値が所定値未満である場合における重み４２は１となり、輝度値が所定値以上である場合における重み４２は輝度値が大きいほど大きくなるよう、各画素の重み４２が設定されてもよい。また例えば、輝度値が所定値未満である場合における重み４２は１となり、輝度値が所定値以上である場合における重み４２は２となるよう、各画素の重み４２が設定されてもよい。なお輝度値と重み４２との関係は上述のものに限定されない。
以上のようにして本実施形態では、比較広画角画像３４内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行される。
なお各画素について、比較広画角画像３４ではなく生成広画角画像３６における輝度値の大きさに応じた重み４２が決定されてもよい。この場合は生成広画角画像３６内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行される。
また各画素について、比較広画角画像３４内における当該画素の輝度値又は生成広画角画像３６内における当該画素の輝度値のうちのいずれか大きな方の大きさに応じた重み４２が決定されてもよい。この場合は比較広画角画像３４内における画素の輝度の高さ又は生成広画角画像３６内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値が更新される。
なお本実施形態に係る学習の方法は上述のものに限定されない。例えば条件付きＧＡＮの技術を用いずに、例えば画素間誤差や修正画素間誤差のみに基づく第２学習が実行されてもよい。この場合は、ドメイン識別部３０を用いずに広画角画像生成部２８の学習が実行されることとなる。
以下、学習済のＨＤＲ画像生成部２０及び広画角画像生成部２８を用いた画像の生成について図８を参照しながら説明する。
まず、一般的なカメラで撮影される画像などといったＳＤＲの平面画像が学習済のＨＤＲ画像生成部２０に入力される。以下、このようにして入力される画像をターゲット入力画像４６と呼ぶこととする。
そしてＨＤＲ画像生成部２０が、当該ターゲット入力画像４６に応じたＨＤＲの平面画像を生成して出力する。以下、このようにして出力されるＨＤＲの画像をターゲット中間画像４８と呼ぶこととする。
そして当該ターゲット中間画像４８が学習済の広画角画像生成部２８に入力される。そして広画角画像生成部２８が、当該ターゲット中間画像４８に応じたＨＤＲの画像を生成して出力する。ここで出力される画像は、例えば、ターゲット中間画像４８の画角の外の物体や風景が補われた、当該ターゲット中間画像４８よりも画角が広い画像である。以下、当該画像をターゲット広画角画像５０と呼ぶこととする。
輝度値が大きい画素などといった輝度が高い画素は、太陽や照明などといったいわゆる光源が表現された画素である可能性が高い。そしてこのような輝度が高い画素について広画角画像生成部２８の推定がうまくできないと、生成広画角画像３６内の不自然な位置に高輝度部分が配置される、あるいは、配置されるべき部分に高輝度部分が配置されない。その結果、例えばＩＢＬにおける光源の設定が不自然になることがあった。
本実施形態では上述のように、画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行される。そのため、輝度が高い画素について広画角画像生成部２８の推定精度を向上させることができる。その結果、例えばＩＢＬにおける光源の設定を自然なものとすることができる。また例えばＩＢＬの技術を用いた鏡面物体の反射を繊細に表現できるようになる。
ここで例えば、比較広画角画像３４内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行されてもよい。この場合は、生成広画角画像３６内の配置されるべき部分に高輝度部分が配置されない可能性を下げることができる。
また例えば、生成広画角画像３６内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行されてもよい。この場合は、生成広画角画像３６内の不自然な位置に高輝度部分が配置される可能性を下げることができる。
また本実施形態では、ダイナミックレンジが広いＨＤＲの画像に基づいて輝度値に応じた各画素の重み４２が決定されるため、輝度が特に高い部分に対して特に大きな重み４２を付与するなどといった輝度に応じた的確な重み付けを行うことができる。
また第２学習において条件付きＧＡＮの技術が用いる場合には、広画角画像生成部２８により生成されるＨＤＲの画像を高周波なものとすることができる。
また本実施形態では例えば上述のように、広画角画像生成部２８の学習とは別にＨＤＲ画像生成部２０の学習が実行される。そしてＨＤＲ画像生成部２０によりＳＤＲの画像に基づくＨＤＲの画像が行われ、広画角画像生成部２８により当該ＨＤＲの画像に基づくＨＤＲの広画角の画像の生成が行われる。このようにＨＤＲの広画角の画像の生成が２段階で行われることにより本実施形態によれば高コントラストなＨＤＲの広画角の画像が生成されることとなる。
なお本実施形態に係る画像処理装置１０で生成されるターゲット広画角画像５０に基づいて、イメージベースドライトニング（ＩＢＬ）における光源が設定されてもよい。なおもちろん、本実施形態に係る画像処理装置１０で生成されるターゲット広画角画像５０の用途はＩＢＬには限定されない。
以下、本実施形態に係る画像処理装置１０の機能、及び、画像処理装置１０で実行される処理についてさらに説明する。
図９は、本実施形態に係る画像処理装置１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る画像処理装置１０で、図９に示す機能のすべてが実装される必要はなく、また、図９に示す機能以外の機能が実装されていても構わない。
図９に示すように、本実施形態に係る画像処理装置１０には、機能的には例えば、ＨＤＲ画像生成部２０、広画角画像生成部２８、ドメイン識別部３０、第１学習データ取得部６０、第１学習部６２、第２学習データ取得部６４、第２学習部６６、ターゲット入力画像取得部６８、ターゲット中間画像取得部７０、ターゲット広画角画像取得部７２、が含まれる。以上の要素はプロセッサ１２、及び、記憶部１４を主として実装される。
本実施形態に係る画像処理装置１０は、画像処理装置１０に実装されている機械学習モデルの学習を実行する学習装置としての役割も学習済の機械学習モデルを用いた画像の生成を実行する画像生成装置としての役割も担っている。図９の例では、ＨＤＲ画像生成部２０、広画角画像生成部２８、ドメイン識別部３０、第１学習データ取得部６０、第１学習部６２、第２学習データ取得部６４、及び、第２学習部６６が、学習装置としての役割に相当する。また、ＨＤＲ画像生成部２０、広画角画像生成部２８、ターゲット入力画像取得部６８、ターゲット中間画像取得部７０、及び、ターゲット広画角画像取得部７２が、画像生成装置としての役割に相当する。
以上の機能は、コンピュータである画像処理装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して画像処理装置１０に供給されてもよい。
ＨＤＲ画像生成部２０は、上述のように本実施形態では例えば、ＳＤＲの平面画像の入力に応じて、ＨＤＲの平面画像を生成して出力する。またＨＤＲ画像生成部２０は、ＣＮＮなどの機械学習モデルにより実装されていてもよい。
広画角画像生成部２８は、上述のように本実施形態では例えば、画像の入力に応じて、当該画像よりも画角が広い画像を生成する。また広画角画像生成部２８は、上述のように本実施形態では例えば、生成された画像を出力する。また、ＨＤＲの画像の入力に応じて、ＨＤＲの画像を出力してもよい。また広画角画像生成部２８は、ＣＮＮなどの機械学習モデルにより実装されていてもよい。
ドメイン識別部３０は、上述のように本実施形態では例えば、ドメイン識別部３０に入力される画像が広画角画像生成部２８により生成された画像であるか否かの識別結果を出力する。またドメイン識別部３０は、ＣＮＮなどの機械学習モデルにより実装されていてもよい。
第１学習データ取得部６０は、本実施形態では例えば、学習入力ＳＤＲ画像２２と比較ＨＤＲ画像２４との組合せを含む第１学習データを取得する。
第１学習部６２は、本実施形態では例えば、第１学習データ取得部６０が取得する第１学習データを用いて第１学習を実行する。ここで例えば、第１学習データに含まれる学習入力ＳＤＲ画像２２に基づいてＨＤＲ画像生成部２０により生成ＨＤＲ画像２６が生成されてもよい。そして当該生成ＨＤＲ画像２６と、当該第１学習データに含まれる比較ＨＤＲ画像２４と、の比較結果に基づいて、ＨＤＲ画像生成部２０のパラメータの値を更新することで、ＨＤＲ画像生成部２０の学習が実行されてもよい。
第２学習データ取得部６４は、本実施形態では例えば、学習入力ＨＤＲ画像３２と比較広画角画像３４との組合せを含む第２学習データを取得する。ここで第２学習データ取得部６４は、学習済のＨＤＲ画像生成部２０が生成する生成ＨＤＲ画像２６を学習入力ＨＤＲ画像３２として含む第２学習データを取得してもよい。
第２学習部６６は、本実施形態では例えば、第２学習データ取得部６４が取得する第２学習データを用いて第２学習を実行する。
ここで例えば、第２学習データに含まれる学習入力ＨＤＲ画像３２に基づいて広画角画像生成部２８により生成広画角画像３６が生成されてもよい。そして当該生成広画角画像３６、又は、当該第２学習データに含まれる比較広画角画像３４に含まれる各画素について、当該画素の輝度値に応じた重み４２が決定されてもよい。
また、生成広画角画像３６に含まれる画素と比較広画角画像３４に含まれる画素とが１対１で対応付けられていてもよい。そして比較広画角画像３４に含まれる各画素について、当該画素の輝度値又は当該画素に対応付けられる生成広画角画像３６内の画素の輝度値のうちのいずれか大きな方の大きさに応じた重み４２が当該画素の重み４２として決定されてもよい。
そして、当該生成広画角画像３６と当該比較広画角画像３４との画素間誤差、及び、決定される重み４２に応じた更新量となるよう、広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行されてもよい。例えばある画素についての生成広画角画像３６と比較広画角画像３４との画素間誤差の値と、当該画素の重み４２を示す値と、を乗じた値である修正画素間誤差の値に基づいて、当該画素に係るパラメータの値の更新量が決定されてもよい。
ここで例えば、比較広画角画像３４内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行されるようにしてもよい。
また例えば、生成広画角画像３６内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行されるようにしてもよい。
また例えば、比較広画角画像３４内における画素の輝度の高さ又は生成広画角画像３６内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値が更新されてもよい。
ターゲット入力画像取得部６８は、本実施形態では例えば、学習済のＨＤＲ画像生成部２０に入力される、上述のターゲット入力画像４６を取得する。
ターゲット中間画像取得部７０は、本実施形態では例えば、上述したようにターゲット入力画像４６に基づいてＨＤＲ画像生成部２０が生成して出力するターゲット中間画像４８を取得する。またターゲット中間画像取得部７０は、本実施形態では例えば、当該ターゲット中間画像４８を広画角画像生成部２８に入力する。
ターゲット広画角画像取得部７２は、本実施形態では例えば、上述したようにターゲット中間画像４８に基づいて広画角画像生成部２８が生成して出力するターゲット広画角画像５０を取得する。
ここで、本実施形態に係る画像処理装置１０で行われるＨＤＲ画像生成部２０、広画角画像生成部２８、及び、ドメイン識別部３０の学習処理の流れの一例を、図１０に例示するフロー図を参照しながら説明する。
まず、第１学習データ取得部６０が、複数の第１学習データを取得する（Ｓ１０１）。
そして、第１学習部６２が、Ｓ１０１に示す処理で取得された複数の第１学習データを用いて第１学習を実行する（Ｓ１０２）。ここではＨＤＲ画像生成部２０の学習が実行される。
そして、第２学習データ取得部６４が、複数の第２学習データを取得する（Ｓ１０３）。ここでは例えば、ｍ×２ｎ（ｍ，ｎは整数）個の第２学習データが取得されることとする。また、ｍ×２ｎ個の第２学習データは、２ｎ個ずつのデータ群に分割されていることとする。以下、ｉ（１≦ｉ≦ｍ）番目のデータ群を第ｉデータ群と呼ぶこととする。
そして、第２学習部６６が、変数ｉの値に１を設定する（Ｓ１０４）。
そして、第２学習部６６が、第ｉデータ群に含まれるｎ個の第２学習データを用いて、広画角画像生成部２８についての第２学習を実行する（Ｓ１０５）。Ｓ１０５に示す処理では、ドメイン識別部３０のパラメータの値が固定された状態で、広画角画像生成部２８のパラメータの値が更新される。
そして、第２学習部６６が、第ｉデータ群に含まれる、Ｓ１０５に示す処理で用いられていない残りのｎ個の第２学習データを用いて、ドメイン識別部３０についての第２学習を実行する（Ｓ１０６）。Ｓ１０６に示す処理では、広画角画像生成部２８のパラメータの値が固定された状態で、ドメイン識別部３０のパラメータの値が更新される。
そして、第２学習部６６は、変数ｉの値がｍであるか否かを確認する（Ｓ１０７）。値がｍでない場合は（Ｓ１０７：Ｎ）、第２学習部６６は、変数ｉの値を１増加させて（Ｓ１０８）、Ｓ１０５に示す処理に戻る。値がｍである場合は（Ｓ１０７：Ｙ）、本処理例に示す処理を終了する。
次に、上述のＳ１０５に示す、第ｉデータ群に含まれるｎ個の第２学習データを用いた広画角画像生成部２８についての第２学習の処理の流れの一例について、図１１に例示するフロー図を参照しながら説明する。
まず、第２学習部６６が、第ｉデータ群に含まれるｎ個の第２学習データのうち、以下のＳ２０２〜Ｓ２１２に示す処理が実行されていないものを１つ取得する（Ｓ２０１）。
そして第２学習部６６が、Ｓ２０１に示す処理で取得された第２学習データに含まれる比較広画角画像３４を特定する（Ｓ２０２）。
そして第２学習部６６は、Ｓ２０１に示す処理で取得された第２学習データに含まれる学習入力ＨＤＲ画像３２を特定する（Ｓ２０３）。
そして第２学習部６６は、Ｓ２０３に示す処理で特定された学習入力ＨＤＲ画像３２を広画角画像生成部２８に入力する（Ｓ２０４）。
そして第２学習部６６は、Ｓ２０４に示す処理で学習入力ＨＤＲ画像３２が入力された際の広画角画像生成部２８の出力である生成広画角画像３６を取得する（Ｓ２０５）。
そして第２学習部６６は、Ｓ２０２に示す処理で特定された比較広画角画像３４又はＳ２０５に示す処理で取得された生成広画角画像３６のいずれかをドメイン識別部３０に入力する（Ｓ２０６）。
そして第２学習部６６は、Ｓ２０６に示す処理における入力に応じたドメイン識別部３０の出力である生成可能性データ３８を取得する（Ｓ２０７）。
そして第２学習部６６は、Ｓ２０７に示す処理で取得された生成可能性データ３８と、Ｓ２０６に示す処理における入力に対応付けられるドメイン識別データ４０と、に基づいて、アドバーサリロスを算出する（Ｓ２０８）。
そして第２学習部６６は、Ｓ２０２に示す処理で特定された比較広画角画像３４と、Ｓ２０５に示す処理で取得された生成広画角画像３６と、の画素間誤差を特定する（Ｓ２０９）。
そして第２学習部６６は、Ｓ２０２に示す処理で特定された比較広画角画像３４に含まれる各画素に対応付けられる重み４２を決定する（Ｓ２１０）。ここで例えば、Ｓ２０５に示す処理で取得された生成広画角画像３６に含まれる各画素に対応付けられる重み４２が決定されてもよい。また例えば、各画素について、比較広画角画像３４内における当該画素の輝度値又は生成広画角画像３６内における当該画素の輝度値のうちのいずれか大きな方の大きさに応じた重み４２が決定されてもよい。
そして第２学習部６６は、Ｓ２０９に示す処理で特定された画素間誤差と、Ｓ２１０に示す処理で決定された重み４２と、に基づいて、修正画素間誤差を算出する（Ｓ２１１）。
そして第２学習部６６は、Ｓ２０９に示す処理で算出されたアドバーサリロス、及び、Ｓ２１１に示す処理で算出された修正画素間誤差、に基づいて、広画角画像生成部２８のパラメータの値を更新する（Ｓ２１２）。ここで上述のように、比較広画角画像３４内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値は更新される。またアドバーサリロスは大きくなる方向で、また、修正画素間誤差は小さくなる方向で、例えば誤差逆伝搬法により、広画角画像生成部２８のパラメータの値が更新されてもよい。
そして第２学習部６６は、第ｉデータ群に含まれるｎ個の第２学習データのすべてについてＳ２０２〜Ｓ２１２に示す処理が実行されたか否かを確認する（Ｓ２１３）。すべてについてＳ２０２〜Ｓ２１２に示す処理が実行されていない場合は（Ｓ２１３：Ｎ）、Ｓ２０１に示す処理に戻る。すべてについてＳ２０２〜Ｓ２１２に示す処理が実行された場合は（Ｓ２１３：Ｙ）、Ｓ１０５に示す処理は終了される。
なおＳ２０１〜Ｓ２１３に示す処理の１回のループ中に、比較広画角画像３４をドメイン識別部３０に入力する場合と、生成広画角画像３６をドメイン識別部３０に入力する場合のそれぞれについて、Ｓ２０６〜Ｓ２１２に示す処理が２回繰り返して実行されてもよい。
次に、上述のＳ１０６に示す、第ｉデータ群に含まれる、Ｓ１０５に示す処理で用いられていない残りのｎ個の第２学習データを用いた、ドメイン識別部３０についての第２学習の処理の流れの一例について、図１２に例示するフロー図を参照しながら説明する。
まず、第２学習部６６が、第ｉデータ群に含まれる、Ｓ１０５に示す処理で用いられていない残りのｎ個の第２学習データのうち、以下のＳ３０２〜Ｓ３１２に示す処理が実行されていないものを１つ取得する（Ｓ３０１）。
そして第２学習部６６が、Ｓ３０１に示す処理で取得された第２学習データに含まれる比較広画角画像３４を特定する（Ｓ３０２）。
そして第２学習部６６は、Ｓ３０１に示す処理で取得された第２学習データに含まれる学習入力ＨＤＲ画像３２を特定する（Ｓ３０３）。
そして第２学習部６６は、Ｓ３０３に示す処理で特定された学習入力ＨＤＲ画像３２を広画角画像生成部２８に入力する（Ｓ３０４）。
そして第２学習部６６は、Ｓ３０４に示す処理で学習入力ＨＤＲ画像３２が入力された際の広画角画像生成部２８の出力である生成広画角画像３６を取得する（Ｓ３０５）。
そして第２学習部６６は、Ｓ３０２に示す処理で特定された比較広画角画像３４又はＳ２０６に示す処理で取得された生成広画角画像３６のいずれかをドメイン識別部３０に入力する（Ｓ３０６）。
そして第２学習部６６は、Ｓ３０６に示す処理における入力に応じたドメイン識別部３０の出力である生成可能性データ３８を取得する（Ｓ３０７）。
そして第２学習部６６は、Ｓ３０７に示す処理で取得された生成可能性データ３８と、Ｓ２０６に示す処理における入力に対応付けられるドメイン識別データ４０と、に基づいて、アドバーサリロスを算出する（Ｓ３０８）。
そして第２学習部６６は、Ｓ３０８に示す処理で算出されたアドバーサリロスに基づいて、ドメイン識別部３０のパラメータの値を更新する（Ｓ３０９）。ここでアドバーサリロスは小さくなる方向で、例えば誤差逆伝搬法により、ドメイン識別部３０のパラメータの値が更新されてもよい。
そして第２学習部６６は、第ｉデータ群に含まれる、Ｓ１０５に示す処理で用いられていない残りのｎ個の第２学習データのすべてについてＳ３０２〜Ｓ３０９に示す処理が実行されたか否かを確認する（Ｓ３１０）。すべてについてＳ３０２〜Ｓ３０９に示す処理が実行されていない場合は（Ｓ３１０：Ｎ）、Ｓ３０１に示す処理に戻る。すべてについてＳ３０２〜Ｓ３０９に示す処理が実行された場合は（Ｓ３１０：Ｙ）、Ｓ１０６に示す処理は終了される。
なおＳ３０１〜Ｓ３１３に示す処理の１回のループ中に、比較広画角画像３４をドメイン識別部３０に入力する場合と、生成広画角画像３６をドメイン識別部３０に入力する場合のそれぞれについて、Ｓ３０６〜Ｓ３０９に示す処理が２回繰り返して実行されてもよい。
また図１０〜図１２に示す処理例では、Ｓ１０５に示す処理とＳ１０６に示す処理とで異なる第２学習データが用いられているが、Ｓ１０５に示す処理とＳ１０６に示す処理とで同じ第２学習データが用いられてもよい。
次に、本実施形態に係る画像処理装置１０で行われる、ターゲット広画角画像５０の生成処理の流れの一例を、図１３に例示するフロー図を参照しながら説明する。
まず、ターゲット入力画像取得部６８が、ターゲット入力画像４６を取得する（Ｓ４０１）。
そして、ターゲット入力画像取得部６８が、Ｓ４０１に示す処理で取得されたターゲット入力画像４６をＨＤＲ画像生成部２０に入力する（Ｓ４０２）。
そして、ＨＤＲ画像生成部２０は、Ｓ３０２に示す処理で入力されたターゲット入力画像４６に応じたターゲット中間画像４８を生成して、当該ターゲット中間画像４８を出力する（Ｓ４０３）。
そして、ターゲット中間画像取得部７０が、Ｓ４０３に示す処理で出力されたターゲット中間画像４８を取得する（Ｓ４０４）。
そして、ターゲット中間画像取得部７０が、Ｓ４０４に示す処理で取得されたターゲット中間画像４８を広画角画像生成部２８に入力する（Ｓ４０５）。
そして、広画角画像生成部２８は、Ｓ４０５に示す処理で入力されたターゲット中間画像４８に応じたターゲット広画角画像５０を生成して、当該ターゲット広画角画像５０を出力する（Ｓ４０６）。
そして、ターゲット広画角画像取得部７２が、Ｓ４０６に示す処理で出力されたターゲット広画角画像５０を取得して（Ｓ４０７）、本処理例に示す処理を終了する。
なお、本発明は上述の実施形態に限定されるものではない。
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (10)

  1. 入力画像を取得する入力画像取得部と、
    前記入力画像の入力に応じて当該入力画像よりも画角が広い画像である生成広画角画像を生成する広画角画像生成部と、
    前記生成広画角画像と比較される画像である比較広画角画像を取得する比較広画角画像取得部と、
    前記生成広画角画像と前記比較広画角画像との比較結果に基づいて、前記広画角画像生成部のパラメータの値を、前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで、前記広画角画像生成部の学習を実行する広画角画像生成学習部と、
    を含むことを特徴とする学習装置。
  2. スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像である生成ＨＤＲ画像を生成するＨＤＲ画像生成部と、
    前記生成ＨＤＲ画像と比較されるハイダイナミックレンジの画像である比較ＨＤＲ画像を取得する比較ＨＤＲ画像取得部と、
    前記生成ＨＤＲ画像と前記比較ＨＤＲ画像との比較結果に基づいて、前記ＨＤＲ画像生成部のパラメータの値を更新することで、前記ＨＤＲ画像生成部の学習を実行するＨＤＲ画像生成学習部と、をさらに含み、
    前記入力画像取得部は、学習済の前記ＨＤＲ画像生成部が生成する前記生成ＨＤＲ画像を、前記入力画像として取得する、
    ことを特徴とする請求項１に記載の学習装置。
  3. スタンダードダイナミックレンジの画像を取得する画像取得部と、
    前記スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像を生成するＨＤＲ画像生成部と、
    前記ハイダイナミックレンジの画像の入力に応じて、当該画像より画角が広い広画角画像を生成する広画角画像生成部と、
    を含むことを特徴とする画像生成装置。
  4. 前記広画角画像生成部は、入力画像の入力に応じて当該広画角画像生成部が生成する生成広画角画像と、当該生成広画角画像と比較される比較広画角画像と、の比較結果に基づいて、前記広画角画像生成部のパラメータの値を更新することで学習が実行された学習済の機械学習モデルである、
    ことを特徴とする請求項３に記載の画像生成装置。
  5. 前記広画角画像生成部は、前記広画角画像生成部のパラメータの値を前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで学習が実行された学習済の機械学習モデルである、
    ことを特徴とする請求項４に記載の画像生成装置。
  6. 前記ＨＤＲ画像生成部は、スタンダードダイナミックレンジの画像の入力に応じて当該ＨＤＲ画像生成部が生成するハイダイナミックレンジの画像と、当該ハイダイナミックレンジの画像と比較されるハイダイナミックレンジの画像と、の比較結果に基づいて、前記ＨＤＲ画像生成部のパラメータの値を更新することで学習が実行された学習済の機械学習モデルである、
    ことを特徴とする請求項３から５のいずれか一項に記載の画像生成装置。
  7. 入力画像を取得するステップと、
    広画角画像生成部を用いて前記入力画像の入力に応じて当該入力画像よりも画角が広い画像である生成広画角画像を生成するステップと、
    前記生成広画角画像と比較される画像である比較広画角画像を取得するステップと、
    前記生成広画角画像と前記比較広画角画像との比較結果に基づいて、前記広画角画像生成部のパラメータの値を、前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで、前記広画角画像生成部の学習を実行するステップと、
    を含むことを特徴とする学習方法。
  8. スタンダードダイナミックレンジの画像を取得するステップと、
    前記スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像を生成するステップと、
    前記ハイダイナミックレンジの画像の入力に応じて、当該画像より画角が広い広画角画像を生成するステップと、
    を含むことを特徴とする画像生成方法。
  9. 入力画像を取得する手順、
    広画角画像生成部を用いて前記入力画像の入力に応じて当該入力画像よりも画角が広い画像である生成広画角画像を生成する手順、
    前記生成広画角画像と比較される画像である比較広画角画像を取得する手順、
    前記生成広画角画像と前記比較広画角画像との比較結果に基づいて、前記広画角画像生成部のパラメータの値を、前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで、前記広画角画像生成部の学習を実行する手順、
    をコンピュータに実行させることを特徴とするプログラム。
  10. スタンダードダイナミックレンジの画像を取得する手順、
    前記スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像を生成する手順、
    前記ハイダイナミックレンジの画像の入力に応じて、当該画像より画角が広い広画角画像を生成する手順、
    をコンピュータに実行させることを特徴とするプログラム。
JP2020524963A 2018-06-11 2018-06-11 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム Active JP6980913B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/022259 WO2019239462A1 (ja) 2018-06-11 2018-06-11 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019239462A1 true JPWO2019239462A1 (ja) 2021-02-18
JP6980913B2 JP6980913B2 (ja) 2021-12-15

Family

ID=68842548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020524963A Active JP6980913B2 (ja) 2018-06-11 2018-06-11 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム

Country Status (4)

Country Link
US (1) US11625816B2 (ja)
JP (1) JP6980913B2 (ja)
CN (1) CN112236800A (ja)
WO (1) WO2019239462A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020123504A1 (de) * 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines hdr-bildes
DE102020123505A1 (de) 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines übersichtsbildes
US20240037720A1 (en) * 2021-02-15 2024-02-01 Sony Interactive Entertainment Inc. Learning apparatus, moving image generating apparatus, method of generating learned model, moving image generating method, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008016918A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理システムおよび画像処理方法
JP2011138314A (ja) * 2009-12-28 2011-07-14 Sharp Corp 画像処理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182252A (ja) * 2010-03-02 2011-09-15 Ricoh Co Ltd 撮像装置および画像撮影方法
US10609286B2 (en) * 2017-06-13 2020-03-31 Adobe Inc. Extrapolating lighting conditions from a single digital image
US10474160B2 (en) * 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from downsampled low resolution LIDAR 3D point clouds and camera images
US20190080440A1 (en) * 2017-09-08 2019-03-14 Interdigital Vc Holdings, Inc. Apparatus and method to convert image data
US10475169B2 (en) * 2017-11-28 2019-11-12 Adobe Inc. High dynamic range illumination estimation
KR102524671B1 (ko) * 2018-01-24 2023-04-24 삼성전자주식회사 전자 장치 및 그의 제어 방법
US10445865B1 (en) * 2018-03-27 2019-10-15 Tfi Digital Media Limited Method and apparatus for converting low dynamic range video to high dynamic range video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008016918A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理システムおよび画像処理方法
JP2011138314A (ja) * 2009-12-28 2011-07-14 Sharp Corp 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
平尾克彦，外２名: ""Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓを用いたＳＤＲ画像からのＨＤＲ画像生成手法に関する一検討"", 電子情報通信学会技術研究報告, vol. 116, no. 496, JPN6021028208, 2017, pages 37 - 42, ISSN: 0004556784 *

Also Published As

Publication number Publication date
CN112236800A (zh) 2021-01-15
US20210125317A1 (en) 2021-04-29
US11625816B2 (en) 2023-04-11
WO2019239462A1 (ja) 2019-12-19
JP6980913B2 (ja) 2021-12-15

Similar Documents

Publication Publication Date Title
US11270419B2 (en) Augmented reality scenario generation method, apparatus, system, and device
CN107958480B (zh) 图像渲染方法、装置及存储介质
JP6980913B2 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
US8000561B2 (en) Apparatus, method, and medium for generating panoramic image using a series of images captured in various directions
JP5213500B2 (ja) 画像変換プログラムおよび画像変換装置
CN110892713A (zh) 信息处理装置、信息处理方法和程序
CN112738389A (zh) 用于提供滑动变焦视图合成的系统和方法
JP2018163444A (ja) 情報処理装置、情報処理方法及びプログラム
CN109615583B (zh) 一种游戏地图的生成方法及装置
JP2004362443A (ja) パラメータ決定方式
JP4816928B2 (ja) 画像生成用のプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置、画像処理方法
CN112243119B (zh) 一种白平衡处理方法、装置、电子设备及存储介质
CN111263951A (zh) 用于对全景视图中的重叠区进行快速图像融合的方法和系统
CN116437061A (zh) 演示图像激光投射方法、装置、计算机设备及存储介质
JP6892557B2 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
JP2007272847A (ja) 照明シミュレーション方法及び画像合成方法
JP6967150B2 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
JP2016119572A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2022064148A (ja) 画像処理装置、画像処理方法
US7116339B2 (en) Image rendering method using recursive interpolation
US9245379B2 (en) Continuum based model for position based dynamics
CN117252974A (zh) 三维图像的贴图方法和装置、电子设备及存储介质
CN114170068A (zh) 图像特效的生成方法、装置、电子设备及存储介质
CN111768480A (zh) 火焰动画生成方法及装置、计算机存储介质、电子设备
CN118118635A (zh) 投影控制方法、装置以及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211117

R150 Certificate of patent or registration of utility model

Ref document number: 6980913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150