JP7446797B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法およびプログラムに関する。

近年の撮像装置は、撮像センサが取得した直後の撮像データ（現像未処理のＲＡＷ画像）を記録することができる。ＲＡＷ画像は、現像処理がされていないため、色情報が損失することなく、豊富な階調を維持したまま記録されるため、ＲＡＷ画像に対して自由度の高い編集が可能になる。しかしながら、ＲＡＷ画像はデータ量が膨大であるため、記録メディアの空き領域を圧迫させてしまうという問題がある。従って、ＲＡＷ画像に対して、圧縮符号化を行い、データ量を少なくして記録することが望まれる。

一方、ニューラルネットワークを用いたディープラーニング技術が幅広い分野で応用されている。ディープラーニング技術は画像処理の分野において、画像の高画質化の用途に用いられる。ここで、ＲＡＷ画像を符号化すると、ＲＡＷ画像の劣化が生じる。そこで、劣化したＲＡＷ画像に対してディープラーニング技術を適用することで、劣化した画像の復元を図ることができる。これにより、ＲＡＷ画像の画質を担保するとともに、記録メディアの空き容量が圧迫されることを回避することができる。

関連する技術として、特許文献１の技術が提案されている。特許文献１の技術は、ニューラルネットワークの中間層の少なくとも１つの内部パラメータを、学習後に処理するときに調整することで、ノイズ除去性能の向上を図っている。

２０１８－２０６３８２号公報

特許文献１の技術は、内部パラメータの調整方法をノイズ量のみで判定するものであり、ノイズ以外の撮像条件は考慮されていない。一般的に、撮像装置は、撮像感度によりノイズは変動する他、露出によって明るさが変動する。また、被写界深度も、絞りや焦点距離によって変動する。ここで、適正露出で撮像した画像にノイズを付加した画像を学習用画像として学習された推論パラメータを適用したニューラルネットワークにより、ノイズが除去された画像を取得するケースを想定する。上記推論パラメータは適正露出の条件に最適化されたパラメータであるため、推論対象の画像が露出アンダーまたは露出オーバーであった場合、高いノイズ除去性能を確保することは難しい。従って、推論パラメータは、ノイズ量のみで調整された学習済みパラメータではなく、様々な撮像条件に対応した学習済みパラメータが用いられることが望ましい。これは、ニューラルネットワークを用いた画質劣化の復元においても同様である。

本発明は、符号化された画像を復元する際に、撮像条件によらず、良好な画質の画像に復元することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、符号化された画像を復号した復号画像に対して推論パラメータに基づく推論を実行することによって前記符号化による劣化を復元した画像を取得するために、前記推論パラメータを決定する決定手段と、前記画像の撮像条件を取得する取得手段と、を備え、前記決定手段は、前記取得手段により取得した前記撮像条件に応じて、前記推論パラメータを決定することを特徴とする。

本発明によれば、符号化された画像を復元する際に、撮像条件によらず、良好な画質の画像に復元することができる。

画像処理装置の構成例を示すブロック図である。 ニューラルネットワークの学習方法を説明する図である。 第１実施形態における推論パラメータの決定方法の流れを示すフローチャートである。 第２実施形態における推論パラメータの決定方法の流れを示すフローチャートである。 第３実施形態における推論パラメータの決定方法の流れを示すフローチャートである。 第４実施形態における推論パラメータの決定方法の流れを示すフローチャートである。 符号化データのメタデータにＰＳＮＲを埋め込む方法を説明する図である。 第５実施形態における推論パラメータの決定方法の流れを示すフローチャートである。 符号化データのファイルフォーマットの一例を示す図である。

以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。

＜第１実施形態＞
図１は、画像処理装置１００の構成例を示すブロック図である。画像処理装置１００は、ＲＡＷ復号部１０１、メタデータ取得部１０２、劣化復元処理部１０３および推論パラメータ決定部１０４を含む。画像処理装置１００は、撮像部（撮像手段）を有する撮像装置（以下、カメラ）に内蔵されるものとして説明するが、画像処理装置１００は他の任意の装置（例えば、情報処理装置、復号装置）に適用されてもよい。画像処理装置１００は、プロセッサおよびメモリを有していてもよい。この場合、メモリに記憶されているプログラムをプロセッサが実行することにより、各実施形態の処理が実現されてもよい。また、画像処理装置１００は、所定のプログラミング回路で実現されてもよい。後述する劣化復元処理部１０３による推論処理は、例えば、グラフィックス・プロセッシング・ユニットにより実行されてもよい。

図１では、符号化データと復号ＲＡＷ画像と劣化復元ＲＡＷ画像とは、それぞれ記憶部１０５Ａ、１０５Ｂおよび１０５Ｃに記憶される。記憶部１０５Ａと記憶部１０５Ｂと記憶部１０５Ｃとは一体的な記憶部であってもよいし、それぞれ別個な記憶部であってもよい。また、各記憶部は、例えば、上述したメモリ、或いはバッファや所定の記憶装置等により実現されるものであってもよい。

ＲＡＷ復号部１０１は、符号化データを取得して復号することにより復号ＲＡＷ画像を生成する。符号化データは、例えば、撮像装置が取得したＲＡＷ画像（撮像画像）を符号化したデータである。ＲＡＷ復号部１０１は、復号ＲＡＷ画像を劣化復元処理部１０３に出力する。復号ＲＡＷ画像は、復号画像に対応する。ＲＡＷ復号部１０１が生成する復号ＲＡＷ画像は、符号化による劣化が生じているＲＡＷ画像であり、画質が低下している。

メタデータ取得部１０２は、符号化データからメタデータ（メタ情報）を取得し、取得したメタデータを推論パラメータ決定部１０４に出力する第１の取得手段である。メタデータ取得部１０２は、画像を撮影した撮像部に関する情報を取得してもよい。この場合、メタデータ取得部１０２は、第２の取得手段としても機能する。図９は、符号化データのファイルフォーマットの一例を示す図である。図９に示されるように、符号化データは、ヘッダ部９０１とメタデータ部９０２とペイロード部９０３とにより構成される。ヘッダ部９０１には、符号化データがＲＡＷ形式のデータであることを示す識別コード等が含まれている。メタデータ部９０２には、露出補正値やＩＳＯ感度、絞り値、焦点距離等の撮像条件（撮影情報）を表すパラメータが含まれる。メタデータ部９０２には、さらに撮像時のＡＦ合焦点数やセンサ情報等の撮像に使用したカメラの固有な情報等の撮像条件が含まれてもよい。ペイロード部９０３には、符号化された画像の圧縮データが含まれている。

図１に示される劣化復元処理部１０３は、ニューラルネットワークで構成される。劣化復元処理部１０３は、推論パラメータ決定部１０４が出力する推論パラメータを用いて、復号ＲＡＷ画像に対して画像復元を目的とした推論処理を行う推論手段として機能する。劣化復元処理部１０３は、復号ＲＡＷ画像に対して、ニューラルネットワークを用いた推論処理を行うことで、ＲＡＷ画像を符号化した際に生じる劣化を復元した劣化復元ＲＡＷ画像を生成する。

各実施形態のニューラルネットワークは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であるものとする。ＣＮＮは、畳み込み層とプーリング層とを有しており、出力側に全結合層が接続されるニューラルネットワークである。各実施形態の推論パラメータは、全結合層においては各層のノード間を結ぶエッジごとに持つ重みやバイアスに相当し、畳み込み層においてはカーネル（フィルタ）の重みやバイアスに相当する。以下、ニューラルネットワークの学習（機械学習）により更新されるパラメータを総称して推論パラメータと称する。推論パラメータは、学習済みの推論パラメータである。

推論パラメータ決定部１０４は、メタデータ取得部１０２が取得したメタデータ（メタ情報）に基づき、劣化復元処理部１０３で用いる推論パラメータを決定する決定手段である。推論パラメータ決定部１０４は記憶領域１０４Ａを有している。記憶領域１０４Ａには、撮像条件ごとに推論パラメータが記憶される。

次に、ニューラルネットワークの学習方法について説明する。カメラは、撮像条件に応じて、同じ被写体であっても、明るさやノイズ量、ボケ発生等によって、画像の出来栄えが大きく変わる。このため、同じ推論パラメータが適用されたニューラルネットワークに画像を入力したとしても、常に一定の画像復元効果を得ることは難しい。例えば、適正露出の単一条件で撮像した学習用画像を用いて学習が行われることで、推論パラメータが生成されたとする。この場合、推論の対象となる画像が学習時と同じ撮像条件で取得された画像であれば、適正露出において高い画像復元効果が得られる。一方、露出オーバー（適正露出以上の露出で撮像した画像）で撮像した画像は適正露出の画像と比べて被写体が明るくなり、露出アンダーで撮像した画像（適正露出より小さい露出で撮像した画像）は適正露出の画像と比べて被写体が暗くなる。従って、明るさ、という観点で画像の性質が大きく変わるため、同じ推論パラメータが適用されると、画像の復元効果は低下する。

ここで、上記３つの撮像条件で撮像した学習用画像を混在させて学習を行い、推論パラメータを生成するというアプローチが考えられる。この場合、適正露出に対する画像の復元効果は、上述した適正露出の単一条件で撮像した学習用画像を用いて推論パラメータを生成する場合と比べて低下する。従って、画像の復元効果を最大限まで高めるには、撮像条件に応じた推論パラメータを複数生成し、生成された各推論パラメータを復元対象のＲＡＷ画像を撮像したときの撮像条件に応じて適用することが必要である。

図２は、ニューラルネットワークの学習方法を説明する図である。本実施形態では、撮像条件として露出補正値が適用される。そして、露出補正値についての推論パラメータは、適正露出と露出アンダーと露出オーバーとの３つに分けて学習される。ＲＡＷ符号化部２０１は、非圧縮ＲＡＷ画像を取得し、圧縮符号化して、符号化データを生成する。ＲＡＷ符号化部２０１は、生成された符号化データをＲＡＷ復号部１０１に出力する。ここで、図２に示されるように、記憶部１０５Ｄには、非圧縮ＲＡＷ画像が記憶されている。記憶部１０５Ｄは、記憶部１０５Ａ、１０５Ｂおよび１０５Ｃと一体的に構成されるものとして説明するが、別個に設けられてもよい。記憶部１０５Ｄには、圧縮符号化されていないＲＡＷ画像（非圧縮ＲＡＷ画像）が記憶されている。

画質比較部２０２は、画質が低下した復号ＲＡＷ画像と、画質が低下していない非圧縮ＲＡＷ画像とを比較してＭＳＥ（平均二乗誤差：Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）を算出する。画質比較部２０２は、算出したＭＳＥを推論パラメータ更新部２０３に出力する。ＭＳＥは、ニューラルネットワークの性能を表す指標値であり、ＭＳＥの値が小さいほど、復号ＲＡＷ画像が非圧縮ＲＡＷ画像への再現性が高いという評価を表す。推論パラメータ更新部２０３は、画質比較部２０２が出力したＭＳＥに応じて推論パラメータを更新する。推論パラメータ更新部２０３は、撮像条件ごとの推論パラメータを記憶する記憶領域２０３Ａを有する。推論パラメータ更新部２０３は、メタデータ取得部１０２が取得した撮像条件に応じて記憶領域２０３Ａに記憶されている各推論パラメータを個別的に更新する。推論パラメータ更新部２０３は、撮像条件に応じて、更新された推論パラメータを劣化復元処理部１０３に出力する。劣化復元処理部１０３は、上記の学習ごとに更新される推論パラメータを用いて、符号化劣化した複合ＲＡＷ画像の復元処理を行う。推論パラメータ更新部２０３は、学習を行うごとにＭＳＥが小さくなるように、確率的勾配降下法等を用いて、推論パラメータを更新する。

推論パラメータ更新部２０３は、適正露出と露出アンダーと露出オーバーと３つの撮像条件ごとに個別的に学習を繰り返して行う学習手段として機能する。これにより、記憶領域２０３Ａに記憶される、撮像条件ごとの推論パラメータが最適化される。上述した例では、復号ＲＡＷ画像と非圧縮ＲＡＷ画像との画質の比較にはＭＳＥが適用される場合について説明したが、２つの画像の比較はＭＳＥ以外の任意の手法が適用されてもよい。例えば、損失関数を評価する手法等が適用されてもよい。なお、画質比較における指標値は画質を示す指標であればよく、ＭＳＥに限定されるものではない。また、推論パラメータの更新の手法は、誤差を自律調整する任意の手法を適用できる。例えば、推論パラメータの更新には、誤差逆伝播法等が適用されてもよい。

次に、推論パラメータ決定部１０４が行う推論パラメータの決定方法について説明する。図３は、第１実施形態における推論パラメータの決定方法の流れを示すフローチャートである。推論パラメータ決定部１０４は、メタデータ取得部１０２が符号化データから取得した露出補正値を取得する（Ｓ３０１）。推論パラメータ決定部１０４は、取得した露出補正値が「０」より小さいかを判定する（Ｓ３０２）。露出補正値が「０」より小さい場合、Ｓ３０２でＹｅｓと判定される。この場合、推論パラメータ決定部１０４は、劣化復元処理部１０３が行う復元処理で用いる推論パラメータを、学習済みの露出アンダー用推論パラメータ（第１の推論パラメータ）に決定する（Ｓ３０３）。

露出補正値が「０」以上である場合、Ｓ３０２でＮｏと判定される。この場合、推論パラメータ決定部１０４は、露出補正値が「０」であるかを判定する（Ｓ３０４）。露出補正値が「０」である場合、Ｓ３０４でＹｅｓと判定される。この場合、露出補正値が「０」であるため、推論パラメータ決定部１０４は、劣化復元処理部１０３が行う復元処理で用いる推論パラメータを、学習済みの適正露出用推論パラメータ（第２の推論パラメータ）に決定する（Ｓ３０５）。露出補正値が「０」でない場合、Ｓ３０４でＮｏと判定される。この場合、露出補正値が「０」以上であるため、劣化復元処理部１０３が行う復元処理で用いる推論パラメータを、学習済みの露出オーバー用推論パラメータ（第３の推論パラメータ）に決定する（Ｓ３０６）。学習済みの露出オーバー用推論パラメータは、第３の推論パラメータに対応する。推論パラメータ決定部１０４は、Ｓ３０３、Ｓ３０５またはＳ３０６の何れかで決定された推論パラメータを劣化復元処理部１０３に出力する（Ｓ３０７）。

従って、推論パラメータ決定部１０４は、露出アンダー用推論パラメータ、適正露出用推論パラメータおよび露出オーバー用推論パラメータの３つの推論パラメータを学習して生成する。そして、学習された各推論パラメータは、記憶領域２０３Ａに記憶される。推論パラメータ決定部１０４は、メタデータ取得部１０２が取得した露出補正値（符号化データのメタデータ）に応じて、３つの推論パラメータから、復元処理に用いる推論パラメータを決定する。推論パラメータ決定部１０４は、露出補正値に応じて決定された推論パラメータを劣化復元処理部１０３のニューラルネットワークに適用する。これにより、符号化データのメタデータが示す撮像条件に応じて、適正な推論パラメータが適用されたニューラルネットワークを用いて復元処理を行うことができる。従って、撮像が行われた際の明るさが異なる場合であっても、符号化による劣化の復元を高い精度で行うことが可能になる。つまり、符号化された画像を復元する際に、撮像条件（明るさ）によらず、良好な画質の画像に復元することができる。

第１実施形態では、露出アンダー用推論パラメータ、適正露出用推論パラメータおよび露出オーバー用推論パラメータの３つの推論パラメータが学習により生成される例について説明した。つまり、上記３つの推論パラメータの学習が行われ、何れか１つの推論パラメータが適用されたニューラルネットワークを用いて復元処理が行われる。推論パラメータの数は、３つには限定されず、２つであってもよいし、４つ以上であってもよい。また、劣化復元処理部１０３はニューラルネットワークで構成される例について説明したが、劣化復元処理部１０３は、撮像条件ごとに事前に学習済みの推論パラメータを用いた任意の学習モデルであってもよい。さらに、劣化復元処理部１０３は、圧縮符号化により画質が劣化したＲＡＷ画像の画質復元処理だけでなく、例えば、画像サイズを縮小して画質劣化したＲＡＷ画像に対する超解像処理を行ってもよい。これらの点は、以下の各実施形態でも同様である。

ここで、本実施形態では、劣化復元処理部１０３のニューラルネットワークに適用される推論パラメータは、推論パラメータ更新部２０３が決定する。これにより、ニューラルネットワークの推論パラメータの調整を人手（設計者）により行う必要がなくなる。また、設計者は、ニューラルネットワークの各ノードの演算内容を把握する必要がない。特に、ニューラルネットワークの構成が高度化且つ複雑化すると、把握する対象のノードの数も必然的に増加する。本実施形態では、ニューラルネットワークの構成が高度化且つ複雑化しても、ニューラルネットワークに対する推論パラメータの適用は、推論パラメータ更新部２０３が行うため、人手（設計者）による作業負荷が高くなることもない。

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態の画像処理装置１００は、撮像条件に起因するノイズを考慮した符号化劣化の復元を行う例である。一般的に、高感度撮像したＲＡＷ画像は、画素値の増幅と共にノイズ成分（高周波成分）も増幅されるため、空間周波数が高まる。高感度画像と低感度画像とでは、空間周波数の分布が大きく異なる。従って、高感度画像と低感度画像とを、同一の推論パラメータが適用されたニューラルネットワークに対して入力したとしても、高い復元効果を得ることは難しい。画像の復元効果を向上させるためには、ノイズに影響する撮像条件に応じた学習用画像を用いて個別的に学習を行い、推論パラメータを最適化することが望ましい。第２実施形態の画像処理装置は、撮像感度を表すＩＳＯ値に応じて最適化した推論パラメータを適用して符号化劣化の復元を行う。

第２の実施形態の画像処理装置１００の構成およびニューラルネットワークの学習方法は第１実施形態と同様であるため、説明を省略する。第２実施形態の画像処理装置１００は、撮像条件としてＩＳＯ値を使用する。第２実施形態では、ＩＳＯ値が所定の閾値よりも高い高感度とＩＳＯ値が所定の閾値以下の低感度との２つの条件に分けて個別に学習が行われ、推論パラメータが生成される。以下、各実施形態における所定の閾値は、任意に設定可能である。

ここで、撮像感度を表すＩＳＯ値とノイズとの関係について説明する。ＩＳＯ値は、値が大きくなるとノイズ成分が増幅されるが、センササイズが大きくなるに応じて、また画素数が少なくなるに応じて、ノイズの発生が少なくなる。これは、撮像素子の画素と画素との間隔（以下、画素ピッチと称する）が広くなるに応じて相互の電気信号の干渉が少なくなり、結果としてノイズ発生の可能性が低下するからである。例えば、フルサイズのセンサではノイズが目立たないＩＳＯ値であったとしても、１型センサにおいてはノイズが目立つこともある。これは、１型センサの画素ピッチが狭く、常用できる感度がフルサイズのセンサと比べて相対的に低いためである。従って、学習用画像のセンササイズと復元対象となるＲＡＷ画像のセンササイズとが異なる場合、ノイズ量の大きさを判定するＩＳＯ閾値を画素ピッチに合わせてスケーリングする必要がある。

図４は、第２実施形態における推論パラメータの決定方法の流れを示すフローチャートである。第２実施形態では、学習が行われる際に使用される学習用画像はフルサイズで撮影した画像であり、復元対象となるＲＡＷ画像は１型センサで撮像した画像であるものとして説明する。推論パラメータ決定部１０４は、メタデータ取得部１０２が符号化データから取得したＩＳＯ値およびセンサ情報を取得する（Ｓ４０１）。センサ情報には、センササイズとセンサ画素数が含まれるものとする。推論パラメータ決定部１０４は、復元対象ＲＡＷ画像の画素ピッチを算出する（Ｓ４０２）。画素ピッチは、センササイズをセンサ画素数で除算した値の平方根で表される。例えば、センサ画素数が１２００万画素であった場合、１型センサのセンササイズは「１３．２［ｍｍ］×８．８［ｍｍ］」であるため、画素ピッチは３．１１［μｍ］となる。メタデータに画素ピッチに関する情報が含まれている場合、Ｓ４０２の処理は省略できる。

推論パラメータ決定部１０４は、Ｓ４０２で算出された画素ピッチに基づき閾値Ｔを更新する（Ｓ４０３）。閾値Ｔは、後述するＳ４０４でノイズ量の大きさを判定するために用いるＩＳＯ値の閾値であり、学習時に用いたフルサイズセンサを使用した場合の常用感度である。推論パラメータ決定部１０４は、閾値Ｔを復元対象ＲＡＷ画像のセンサに合わせて更新する。更新前の閾値をＴ１、更新後の閾値をＴ２とすると、Ｔ２とＴ１との関係は、以下の式で表される。
「Ｔ２＝Ｔ１×（復元対象ＲＡＷ画像の画素ピッチ／学習用画像の画素ピッチ）^２」

第２実施形態における学習用画像の画素ピッチはフルサイズセンサを用いて撮像した画像である。センサ画素数が１２００万画素であるとすると、センササイズは「３６［ｍｍ］×２４［ｍｍ］」であるため、学習用画像の画素ピッチは８．４９［μｍ］となる。復元対象ＲＡＷ画像の画素ピッチは３．１１［μｍ］であることから、更新後の閾値Ｔ２は、Ｔ１×０．１３となる。このようにして、フルサイズセンサの常用感度が１型センサの常用感度にスケーリングされ、閾値Ｔが更新される。

推論パラメータ決定部１０４は、Ｓ４０１で取得したＩＳＯ値と、Ｓ４０３で更新された閾値Ｔとを比較し、ＩＳＯ値が閾値Ｔ（所定値）より小さいかを判定する（Ｓ４０４）。比較の結果、ＩＳＯ値が閾値Ｔより小さい場合、Ｓ４０４でＹｅｓと判定される。この場合、推論パラメータ決定部１０４は、劣化復元処理部１０３が行う復元処理で用いる推論パラメータを、学習済みの低感度用推論パラメータ（第４の推論パラメータ）に決定する（Ｓ４０５）。ＩＳＯ値が閾値Ｔ以上（所定値以上）である場合、Ｓ４０４でＮｏと判定される。この場合、推論パラメータ決定部１０４は、劣化復元処理部１０３が行う復元処理で用いる推論パラメータを高感度用推論パラメータ（第５の推論パラメータ）に決定する（Ｓ４０６）。そして、推論パラメータ決定部１０４は、Ｓ４０５またはＳ４０６の何れかで決定された推論パラメータを劣化復元処理部１０３に出力する（Ｓ４０７）。

以上のように、第２実施形態では、低感度用推論パラメータおよび高感度用推論パラメータの２つの推論パラメータが、学習により生成される。学習された各推論パラメータは、記憶領域２０３Ａに記憶される。推論パラメータ決定部１０４は、メタデータ取得部１０２が取得したＩＳＯ値に応じて、２つの推論パラメータから、復元処理に用いる推論パラメータを選択して決定する。推論パラメータ決定部１０４は、ＩＳＯ値に応じて決定された推論パラメータを劣化復元処理部１０３のニューラルネットワークに適用する。これにより、符号化データのメタデータが示すＩＳＯ値に応じて、適正な推論パラメータが適用されたニューラルネットワークを用いて復元処理を行うことができる。従って、撮像が行われた際のノイズ量が異なる場合であっても、符号化による劣化の復元を高い精度で行うことが可能になる。つまり、符号化された画像を復元する際に、撮像条件（ＩＳＯ感度）によらず、良好な画質の画像に復元することができる。劣化復元処理部１０３に適用される推論パラメータは３つ以上であってもよい。第２実施形態は単独で適用されてもよいし、第１実施形態とともに適用されてもよい。

＜第３実施形態＞
次に、第３実施形態について説明する。第３実施形態の画像処理装置１００は、被写界深度の範囲外に生みだされるボケを考慮した符号化劣化の復元を行う。一般的に、被写体までの距離が同一の場合、焦点距離を長く、絞り値を小さく設定して撮像した方が被写界深度は浅くなるため、ボケが発生しやすい。ボケが発生する画像とボケが発生しない画像とでは、同じ被写体であっても空間周波数の分布が異なる。従って、ボケが発生する画像とボケが発生しない画像と同一の推論パラメータが適用されたニューラルネットワークに対して入力されたとしても、高い復元効果を得ることは難しい。画像の復元効果を向上させるためには、ボケに影響する撮像条件に応じた学習用画像を用いて個別的に学習を行い、推論パラメータを最適化することが望ましい。第３実施形態の画像処理装置１００は、絞り値、焦点距離およびＡＦ合焦点数に基づき最適化した推論パラメータをニューラルネットワークに適用して、符号化劣化の復元を行う。

第３実施形態の画像処理装置１００の構成およびニューラルネットワークの学習方法は第１実施形態および第２実施形態と同様であるため説明を省略する。第３実施形態の画像処理装置１００は、絞り値と焦点距離とに基づいてボケ評価値を算出する。そして、画像処理装置１００は、算出したボケ評価値とＡＦ合焦点数とに基づき、ボケ面積大とボケ面積小と２つの条件に分けて個別的に学習を行い、推論パラメータを生成する。

ここで、ボケ評価値について説明する。ボケ評価値は、ボケが発生しやすい撮像条件であるかどうかを示す評価値である。ボケ評価値が大きいほどボケが発生しやすい撮像条件であることを表し、ボケ評価値が小さいほどボケが発生しにくい撮像条件であることを表す。ボケ評価値の算出方法は、ボケ評価値をＢとし、焦点距離をＤとし、絞り値をＦとすると、「Ｂ＝Ｄ／Ｆ」で算出することができる。これは焦点距離が長く、絞り値が小さいほどボケが発生しやすいという性質を利用した簡易的な計算式となっている。

しかし、上述したボケ評価値は、ボケが発生する面積を正確に算出するものではない。仮に、絞り値と焦点距離とからボケが発生しやすい条件が設定されていたとしても、画面全域が合焦している場合、ボケ発生面積大用の推論パラメータがニューラルネットワークに適用されると画像の復元効果が低下する可能性もある。従って、実際の撮影を想定すると、その他の撮像条件も用いて正確なボケ面積が推定されることが望ましい。そこで、第３実施形態では、ＡＦ合焦点数が用いられる。ＡＦ合焦点数は、オートフォーカスで撮像した際に被写体に合焦したポイントの数を表す。合焦点数が所定の閾値よりも大きい場合は合焦面積が広く、ボケ発生面積は狭いと考えられる。一方、合焦点数が所定の閾値以下である場合は合焦面積が狭く、ボケ発生面積は広いと考えられる。従って、ボケ評価値だけでなく、撮像条件に含まれるＡＦ合焦点数も併せて用いることで、より正確にボケが発生する面積を推定することが可能となる。

図５は、第３実施形態における推論パラメータの決定方法の流れを示すフローチャートである。推論パラメータ決定部１０４は、符号化データから取得された絞り値、焦点距離およびＡＦ合焦点数をメタデータ取得部１０２から取得する（Ｓ５０１）。推論パラメータ決定部１０４は、Ｓ５０１で取得された絞り値および焦点距離に基づきボケ評価値を算出する（Ｓ５０２）。推論パラメータ決定部１０４は、Ｓ５０２で算出されたボケ評価値と所定の閾値Ｔ１とを比較し、ボケ評価値が所定の閾値Ｔ１より小さいかを判定する（Ｓ
より小さいかを判定する（Ｓ５０３）。

比較の結果、ボケ評価値が所定の閾値Ｔ１より小さい場合、Ｓ５０３でＹｅｓと判定される。この場合、推論パラメータ決定部１０４は、劣化復元処理部１０３が行う復元処理で用いる推論パラメータを、学習済みのボケ面積小用推論パラメータに決定する。学習済みのボケ面積小用推論パラメータは、ボケが生じている面積が所定面積より小さい場合に用いられる第６の推論パラメータに対応する。ボケ評価値が閾値Ｔ１以上である場合、Ｓ５０３でＮｏと判定される。この場合、推論パラメータ決定部１０４は、ＡＦ合焦点数と所定の閾値Ｔ２とを比較し、ＡＦ合焦点数が所定の閾値Ｔ２より多いかを判定する（Ｓ５０５）。

比較の結果、ＡＦ合焦点数が所定の閾値Ｔ２より多い場合、Ｓ５０５でＹｅｓと判定される。この場合、ボケ発生面積は狭いと考えられるため、フローは、Ｓ５０４に移行する。一方、ＡＦ合焦点数が所定の閾値Ｔ２以下である場合、Ｓ５０５でＮｏと判定される。この場合、ボケ発生面積は広いと考えられる。従って、推論パラメータ決定部１０４は、劣化復元処理部１０３が行う復元処理で用いる推論パラメータを、学習済みのボケ面積大用推論パラメータに決定する。学習済みのボケ面積大用推論パラメータは、ボケが生じている面積が所定面積以上である場合に用いられる第７の推論パラメータに対応する。

従って、第３実施形態では、ボケ発生面積大用推論パラメータとボケ発生面積小用推論パラメータとの２つの推論パラメータが生成される。推論パラメータ決定部１０４は、符号化劣化の復元処理に用いる推論パラメータを、絞り値と焦点距離とＡＦ合焦点数とに応じて決定し、決定した推論パラメータをニューラルネットワークに適用する。これにより、ボケ発生面積が異なる場合であっても符号化劣化の復元を高い精度で行うことが可能になる。つまり、符号化された画像を復元する際に、撮像条件（ボケ発生面積）によらず、良好な画質の画像に復元することができる。

劣化復元処理部１０３に適用される推論パラメータは３つ以上であってもよい。第３実施形態は単独で適用されてもよいし、第１実施形態および第２実施形態とともに適用されてもよい。また、第３実施形態は、第１実施形態と第２実施形態との何れかとともに適用されてもよい。

＜第４実施形態＞
次に、第４実施形態について説明する。第４実施形態の画像処理装置１００は、複数の撮像条件の組み合わせを考慮した符号化劣化の復元を行う。ここで、カメラの撮像条件の組み合わせを全て網羅するように推論パラメータを生成すると、各推論パラメータを生成するための学習時間が非常に長くなる。第４実施形態の画像処理装置１００は、カメラの全ての撮像条件の組み合わせごとに学習を行うのではなく、撮像条件の組み合わせを絞って学習を行い、推論パラメータを生成する。これにより、符号化劣化を高い精度で復元することが図られる。第４実施形態で用いられる撮像条件は、露出補正値、ＩＳＯ値、絞り値および焦点距離である。これらの撮像条件は、第１実施形態、第２実施形態および第３実施形態で説明した撮像条件である。第４実施形態の画像処理装置１００は、第１実施形態、第２実施形態および第３実施形態の画像処理装置１００と同様の構成であるため、説明を省略する。また、ニューラルネットワークの学習方法も同様であるため、説明を省略する。

上述したように、撮像条件の組み合わせは多岐にわたるため、撮像条件の組み合わせを全て網羅するように推論パラメータを生成すると、膨大な学習時間が必要となる。しかしながら、撮像条件の組み合わせの中には、一部冗長な組み合わせも存在する。ここで、高感度且つボケ発生面積小の条件を想定する。高感度で撮像した画像は、画面全域にランダムノイズが印加される。この場合、画面内の情報の多くがランダムノイズに埋もれてしまうため、ボケに関する画像情報はほとんどなくなる。

すなわち、高感度という撮像条件は、ボケ発生面積小という撮像条件よりも相対的に画質に及ぼす影響度が高い。よって、高感度且つボケ発生面積小の条件における推論パラメータを別途生成する必要はない。この場合、第２実施形態の高感度用推論パラメータが生成されればよい。また、ボケ発生面積小の撮像条件は画質に及ぼす影響度が低く画面内の空間周波数を極端に変化させるものではない。従って、第３実施形態のボケ発生面積小用の推論パラメータを生成する必要もない。以上のように、画質に及ぼす影響度の低い撮像条件（画質に及ぼす影響度が所定の度合いより低い撮像条件）が除外されることで、不要な推論パラメータを生成する必要がなくなる。

第４実施形態の画像処理装置１００は、各撮像条件が画質に及ぼす影響度を考慮して推論パラメータを生成する。画質に及ぼす影響度が高い撮像条件は復元の難易度が高いため、画像処理装置１００は、画質に及ぼす影響度が高い撮像条件の学習用画像を用いて最適化した推論パラメータを生成する。一方、画質に及ぼす影響度が低い撮像条件は復元の難易度が低いため、画像処理装置１００は、画質に及ぼす影響度が低い他の複数の撮像条件が混在した学習用画像を用いて汎用的な推論パラメータ（汎用推論パラメータ）を生成する。生成される推論パラメータは、露出アンダー用推論パラメータ、高感度用推論パラメータおよびボケ発生面積大用推論パラメータの３種類の推論パラメータと汎用推論パラメータである。汎用推論パラメータは、露出アンダー、高感度およびボケ発生面積大の何れの条件も満たさない画像を学習用画像にして生成された推論パラメータである。

上記の露出アンダー、高感度およびボケ発生面積大の３つの撮像条件は何れも画質に及ぼす影響度は異なる。高感度の撮像条件は、画面内全域に影響し、明るさと空間周波数とが上昇する。露出アンダーの撮像条件は、画面内全域に影響し、明るさが低下する。ボケ発生面積大の撮像条件は、画面内の局所領域に影響し、空間周波数が低下する。これは、撮像時のフォーカス合わせでミスが起きない限り画面全域にボケが発生する可能性は低いためである。このように、明るさ、空間周波数および影響面積の観点から、各撮像条件が画質に及ぼす影響度は、高感度、露出アンダー、ボケ発生面積大の順に大きい。そこで、第４実施形態では、推論パラメータが決定される際に、画質に及ぼす影響度が高い撮像条件から順に優先的に選択される。

図６は、第４実施形態における推論パラメータの決定方法の流れを示すフローチャートである。第１実施形態～第３実施形態と重複する箇所については、説明を省略する。推論パラメータ決定部１０４は、メタデータ取得部１０２が符号化データから取得した露出補正値、ＩＳＯ値、絞り値、焦点距離およびＡＦ合焦点数を取得する（Ｓ６０１）。推論パラメータ決定部１０４は、センサ画素ピッチおよびボケ評価値を算出する（Ｓ６０２）。センサ画素ピッチの算出は第２実施形態のＳ４０２に相当し、ボケ評価値の算出は第３実施形態のＳ５０２に相当する。推論パラメータ決定部１０４は、閾値Ｔ０を更新する（Ｓ６０３）。閾値Ｔ０は、第２実施形態の閾値Ｔに対応する。また、Ｓ６０３の処理は、第２実施形態のＳ４０３に相当する。

推論パラメータ決定部１０４は、復元対象ＲＡＷ画像のＩＳＯ値がＳ６０３で更新された閾値Ｔ０よりも小さいかを判定する（Ｓ６０４）。Ｓ６０４は、第２実施形態のＳ４０４に相当する。ＩＳＯ値が閾値Ｔ０以上である場合、Ｓ６０４でＮｏと判定される。この場合、推論パラメータ決定部１０４は、劣化復元処理部１０３が行う復元処理で用いる推論パラメータを高感度用推論パラメータに決定する（Ｓ６０５）。Ｓ６０５は、第２実施形態のＳ４０６に相当する。ＩＳＯ値が閾値Ｔ０より小さい場合、Ｓ６０４でＹｅｓと判定される。この場合、推論パラメータ決定部１０４は、Ｓ６０１で取得した露出補正値が「０」より小さいかを判定する（Ｓ６０６）。Ｓ６０６の処理は、第１実施形態のＳ３０２に相当する。

露出補正値が「０」より小さい場合、Ｓ６０６でＹｅｓと判定される。この場合、推論パラメータ決定部１０４は、劣化復元処理部１０３が行う復元処理で用いる推論パラメータを露出アンダー用推論パラメータに決定する（Ｓ６０７）。Ｓ６０７は、第１実施形態のＳ３０３に相当する。露出補正値が「０」以上である場合、Ｓ６０６でＮｏと判定される。この場合、推論パラメータ決定部１０４は、Ｓ６０１で取得した絞り値と焦点距離とに基づきボケ評価値を算出する（Ｓ６０８）。推論パラメータ決定部１０４は、Ｓ６０８で算出したボケ評価値が所定の閾値Ｔ１より小さいかを判定する（Ｓ６０９）。Ｓ６０９は、第３実施形態のＳ５０３に相当する。ボケ評価値が閾値Ｔ１以上である場合、Ｓ６１０でＮｏと判定される。この場合、推論パラメータ決定部１０４は、Ｓ６０１で取得したＡＦ合焦点数が所定の閾値Ｔ２より多いかを判定する（Ｓ６１０）。Ｓ６１０は、第３実施形態のＳ５０５に相当する。

ＡＦ合焦点数が所定の閾値Ｔ２以上である場合、Ｓ６１０でＮｏと判定される。この場合、推論パラメータ決定部１０４は、劣化復元処理部１０３が行う復元処理で用いる推論パラメータをボケ面積大用推論パラメータに決定する（Ｓ６１１）。Ｓ６１１は、第３実施形態のＳ５０６に相当する。ボケ評価値が所定の閾値Ｔ１より小さい場合、およびＡＦ合焦点数が所定の閾値Ｔ２より多い場合、推論パラメータ決定部１０４は、劣化復元処理部１０３が行う復元処理で用いる推論パラメータを汎用推論パラメータに決定する（Ｓ６１２）。推論パラメータ決定部１０４は、Ｓ６０５、Ｓ６０７、Ｓ６１１またはＳ６１２で決定された推論パラメータを出力する（Ｓ６１３）。

以上のように、第４実施形態では、推論パラメータ決定部１０４は、画質に及ぼす影響度が高い撮像条件では、その撮像条件ごとに最適化した専用の推論パラメータをニューラルネットワークに適用すると決定する。一方、画質に及ぼす影響が低い撮像条件については、汎用的な推論パラメータをニューラルネットワークに適用すると決定する。そして、推論パラメータ決定部１０４は、画質に及ぼす影響度が高い撮像条件（画質に及ぼす影響度が所定の度合い以上の高い撮像条件）から順に優先的に、対応する推論パラメータをニューラルネットワークに適用すると決定する。これにより、画像復元効果の悪化を抑制できるとともに、撮像条件の組み合わせごとに学習を行って推論パラメータを生成する必要がなくなる。従って、推論パラメータの学習時間を大幅に削減することが可能となる。なお、第４実施形態において、露出補正値、ＩＳＯ値、絞り値および焦点距離の４つの撮像条件以外の撮像条件が追加されてもよい。

＜第５実施形態＞
上述した第１実施形態から第４実施形態では、符号化データに含まれるメタデータが示す撮像条件に応じて推論パラメータを適用することで、符号化劣化を復元する。第５実施形態では、復元対象ＲＡＷ画像のＰＳＮＲ（ピーク信号対雑音比：Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）が、符号化データのメタデータとして新たに記録される。そして、ＰＳＮＲに応じて最適化した推論パラメータを適用して符号化劣化が復元される。ＰＳＮＲについて説明する。符号化分野では、画像再現性の尺度としてＰＳＮＲと称される指標値が用いられている。ＰＳＮＲは、値が大きいほど画像の再現性が高く、値が小さいほど画像の再現性が低いことを表す。すなわち、ＰＳＮＲが低い画像は符号化の過程でデータが欠損し、画質が大きく低下している可能性が高い。従って、画像の復元効果を高めるためには、画質劣化の度合いを示すＰＳＮＲに応じた学習用画像を用いて個別的に学習を行って推論パラメータを最適化することが望ましい。

第５実施形態の画像処理装置１００の構成およびニューラルネットワークの学習方法は、第１実施形態から第４実施形態と同様であるため、説明を省略する。第５実施形態の画像処理装置１００は、撮像情報としてＰＳＮＲを使用し、ＰＳＮＲが所定の閾値よりも低い場合は、ＰＳＮＲが低い学習用画像を用いて生成した推論パラメータを適用して画像復元を行う。また、ＰＳＮＲが所定の閾値以上である場合は、画像の再現性が高く画質劣化が少ないと考えられる。この場合、第５実施形態の画像処理装置１００は、推論パラメータを用いた画像復元を行わない。図７は、符号化データのメタデータにＰＳＮＲを埋め込む方法を説明する図である。

図７に示される各部は、画像処理装置１００に含まれる。記憶部７０４Ａは、非圧縮ＲＡＷ画像を記憶する。記憶部７０４Ｂは、符号化データを記憶する。記憶部７０４Ｃは、復号ＲＡＷ画像を記憶する。図７に示される各記憶部は、第１実施形態で説明した各記憶部と一体的に構成されてもよいし、別個に設けられてもよい。ＲＡＷ符号化部７０１は、非圧縮ＲＡＷ画像を圧縮符号化して符号化データを生成する。ＲＡＷ符号化部７０１は、第１実施形態のＲＡＷ符号化部２０１に相当する。ＲＡＷ復号部７０２は、符号化データを復号して復号ＲＡＷ画像を生成する。ＲＡＷ復号部７０２は、第１実施形態のＲＡＷ復号部１０１に相当する。ＰＳＮＲ算出部７０３は、復号ＲＡＷ画像と非圧縮ＲＡＷ画像とを取得してＰＳＮＲを算出する。現画像が取り得る最大画素値をＭＡＸ、評価対象画像と現画像との最大二乗誤差をＭＳＥとすると、ＰＳＮＲは以下の「数１」で表される。

算出されたＰＳＮＲは、符号化データのメタデータ部９０２に記録される。

図８は、第５実施形態における推論パラメータの決定方法の流れを示すフローチャートである。推論パラメータ決定部１０４は、符号化データから取得したＰＳＮＲをメタデータ取得部１０２から取得する（Ｓ８０１）。推論パラメータ決定部１０４は、Ｓ８０１で取得したＰＳＮＲが所定の閾値Ｔ３より低いかを判定する（Ｓ８０２）。ＰＳＮＲが所定の閾値Ｔ３より低い場合、Ｓ８０２でＹｅｓと判定される。この場合、推論パラメータ決定部１０４は、劣化復元処理部１０３が行う復元処理で用いる推論パラメータを低ＰＳＮＲ用推論パラメータに決定する（Ｓ８０３）。

低ＰＳＮＲ用推論パラメータは、低ＰＳＮＲの条件条件で撮像された学習用画像を用いて個別的に学習されることで生成される推論パラメータである。ＰＳＮＲが所定の閾値Ｔ３以上である場合、Ｓ８０２でＮｏと判定される。この場合、ＰＳＮＲの値が高いため、劣化復元処理部１０３のニューラルネットワークに対して、低ＰＳＮＲ用推論パラメータは適用されない。

つまり、推論パラメータ決定部１０４は、劣化復元処理部１０３のニューラルネットワークに推論パラメータを適用するかを制御する。これにより、符号化劣化の度合いが異なる場合であっても、符号化劣化の復元効果を高めることが可能である。ＰＳＮＲ用推論パラメータのパターンの数は任意の数であってもよい。また、画質を定量化する指標値としてＰＳＮＲが用いられる例について説明したが、その他の指標値が用いられてもよい。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。上述した実施形態では、劣化復元処理部１０３は、画像処理装置１００に含まれるものとしたが、画像処理装置１００ではなく、外部装置に劣化復元処理部１０３の処理を実行させてもよい。その場合、画像処理装置１００の通信部（不図示）を介して、クラウドサーバなどの外部装置に、ＲＡＷ複合部１０１により復号された複号ＲＡＷ画像と推論パラメータ決定部１０４により決定された推論パラメータを送信する。そして、外部装置は、複号ＲＡＷ画像と推論パラメータとから劣化復元処理部１０３の処理を実行し、劣化を復元したＲＡＷ画像を画像処理装置１００に送信するようにするとよい。また、本実施形態の画像処理装置１００は、符号化データを取得してＲＡＷ複合部１０１により復号処理を行って復号ＲＡＷ画像を取得するものとした。しかし、画像処理装置１００は、ＲＡＷ複合部１０１を有さず、外部装置から。複号ＲＡＷ画像とその画像のメタデータとを取得して、劣化復元処理部１０３、推論パラメータ決定部１０４による復元処理を行い、劣化復元ＲＡＷ画像を取得するようにしてもよい。

本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
１０１ ＲＡＷ復号部
１０２ メタデータ取得部
１０３ 劣化復元処理部
１０４ 推論パラメータ決定部
２０１ ＲＡＷ符号化部
２０２ 画質比較部
２０３ 推論パラメータ更新部
７０３ ＰＳＮＲ算出部

Claims (20)

1. 符号化された画像を復号した復号画像に対して推論パラメータに基づく推論を実行することによって前記符号化による劣化を復元した画像を取得するために、前記推論パラメータを決定する決定手段と、
   前記画像の撮像条件を取得する取得手段と、を備え、
   前記決定手段は、前記取得手段により取得した前記撮像条件に応じて、前記推論パラメータを決定することを特徴とする画像処理装置。
2. 前記決定手段は、前記撮像条件と閾値とを比較した結果に基づいて、前記推論パラメータを決定することを特徴とする請求項１に記載の画像処理装置。
3. さらに、前記画像を撮影した撮像手段の画像ピッチに関する情報を取得する第２の取得手段を有し、前記決定手段は、前記撮像手段の画像ピッチに関する情報に応じて、前記閾値としてＩＳＯ閾値を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段により決定された推論パラメータと、前記復号画像とに基づいて、前記符号化による劣化を復元した画像を推論する推論手段と、を有することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記符号化された画像を復号する複号手段を有することを特徴とする請求項１乃至４のうち何れか１項に記載の画像処理装置。
6. 前記撮像条件は、露出補正値を含み、
   複数の前記推論パラメータは、露出アンダー用の第１の推論パラメータ、適正露出用の第２の推論パラメータおよび露出オーバー用の第３の推論パラメータを含み、
   前記決定手段は、前記露出補正値に応じて、前記第１の推論パラメータと前記第２の推論パラメータと前記第３の推論パラメータとのうち何れかを決定することを特徴とする請求項１乃至５のうち何れか１項に記載の画像処理装置。
7. 前記撮像条件は、ＩＳＯ値を含み、
   複数の前記推論パラメータは、ＩＳＯ値が所定値より小さい場合に用いられる第４の推論パラメータおよびＩＳＯ値が前記所定値以上である場合に用いられる第５の推論パラメータを含み、
   前記決定手段は、前記撮像条件に含まれるＩＳＯ値に応じて、前記第４の推論パラメータと前記第５の推論パラメータとのうち何れかを決定することを特徴とする請求項１乃至６のうち何れか１項に記載の画像処理装置。
8. 前記所定値は、撮像素子の画素数と前記撮像素子のサイズとにより算出される画素ピッチに基づいて更新されることを特徴とする請求項７に記載の画像処理装置。
9. 前記撮像条件は、絞り値、焦点距離およびＡＦ合焦点数を含み、
   複数の前記推論パラメータは、ボケが生じている面積が所定面積より小さい場合に用いられる第６の推論パラメータおよびボケが生じている面積が所定面積以上である場合に用いられる第７の推論パラメータを含み、
   前記決定手段は、前記撮像条件に含まれる絞り値と焦点距離とＡＦ合焦点数とに応じて、前記第６の推論パラメータと前記第７の推論パラメータとのうち何れかを決定することを特徴とする請求項１乃至８のうち何れか１項に記載の画像処理装置。
10. 前記決定手段は、画質に及ぼす影響度が高い撮像条件から順に、対応する推論パラメータを決定することを特徴とする請求項１乃至９のうち何れか１項に記載の画像処理装置。
11. 前記画質に及ぼす影響度が所定の度合いより低い撮像条件についての推論パラメータは個別的に生成されないことを特徴とする請求項１０に記載の画像処理装置。
12. 前記画質に及ぼす影響度が前記所定の度合いより低い撮像条件についての推論パラメータは、複数の撮像条件が混在した学習用画像を用いて学習されることを特徴とする請求項１１に記載の画像処理装置。
13. 前記決定手段は、前記撮像条件に応じて、露出アンダー用の推論パラメータと、ＩＳＯ値が所定値以上である場合に用いられる推論パラメータと、ボケが生じている面積が所定面積以上である場合に用いられる推論パラメータと、前記複数の撮像条件が混在した学習用画像を用いて学習された推論パラメータとのうち何れかを決定することを特徴とする請求項１２に記載の画像処理装置。
14. 前記決定手段は、前記ＩＳＯ値が所定値以上である場合に用いられる推論パラメータ、前記露出アンダー用の推論パラメータ、前記ボケが生じている面積が所定面積以上である場合に用いられる推論パラメータの順に優先的に推論パラメータを決定することを特徴とする請求項１３に記載の画像処理装置。
15. 前記決定手段は、画質を定量化する指標値に応じて、学習モデルに前記推論パラメータを適用するか否かを決定することを特徴とする請求項１乃至１４のうち何れか１項に記載の画像処理装置。
16. 前記推論は、ニューラルネットワークにより行われ、
    前記推論パラメータは、前記ニューラルネットワークの学習により得られる重みおよびバイアスであることを特徴とする請求項１乃至１５のうち何れか１項に記載の画像処理装置。
17. 符号化される前記画像は、ＲＡＷ画像であることを特徴とする請求項１乃至１６のうち何れか１項に記載の画像処理装置。
18. 撮像部と、
    請求項１乃至１７のうち何れか１項に記載の画像処理装置と、
    を備えることを特徴とする撮像装置。
19. 符号化された画像を復号した復号画像に対して推論パラメータに基づく推論を実行することによって前記符号化による劣化を復元した画像を取得するために、前記推論パラメータを決定する工程と、
    前記画像の撮像条件を取得する取得工程と、を備え、
    取得された前記撮像条件に応じて、前記推論パラメータが決定されることを特徴とする画像処理方法。
20. 請求項１乃至１７のうち何れか１項に記載の画像処理装置をコンピュータに実行させるためのプログラム。

Images