JP7225316B2 - 画像処理方法、画像処理装置、画像処理システム、およびプログラム - Google Patents

Description

本発明は、光学系を用いて撮像された撮像画像から、光学系に起因するぼけを先鋭化する画像処理方法に関する。

特許文献１には、機械学習モデルの１つである畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて、撮像画像のぼけを先鋭化する方法が開示されている。撮像画像の輝度飽和値以上の信号値を有する画像をぼかすことで訓練データセットを生成し、該訓練データセットでＣＮＮを訓練することで、輝度飽和した領域の周辺でも弊害を抑制して、ぼけの先鋭化を行うことができる。また、撮像画像と推定画像（ぼけ先鋭化画像）を輝度飽和した領域に基づいて重み付け平均し、先鋭化の強度を調整する方法が開示されている。

特開２０２０－１６６６２８号公報

特許文献１に開示された方法では、入力する画像によってはアンダーシュートやリンギング等を抑制できず、推定画像にこれらの弊害が生じることがある。具体的には、光学系の収差によって被写体が大きくぼけていた場合に弊害が発生しやすい。入力画像と推定画像を輝度飽和した領域に基づいて重み付け平均することで、ぼけの先鋭度と弊害の制御が可能であるが、この手法では光学系の性能に応じてぼけの先鋭度と弊害を制御することはできないため、適切な制御を行うことができない。

そこで本発明は、光学系の性能に応じて画像のぼけの先鋭度と弊害を制御することが可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供することを目的とする。

本発明の一側面としての画像処理方法は、光学系を用いた撮像により得られた撮像画像を機械学習モデルに入力することで第１の画像を生成する工程と、前記光学系の光学性能に関する情報を取得する工程と、前記撮像画像と前記第１の画像と第１の重み情報とに基づいて第２の画像を生成する工程とを有し、前記第１の重み情報は、前記光学性能に関する情報と、前記撮像画像の飽和領域に関する情報とに基づいて生成され、前記飽和領域に関する情報は、前記飽和領域における被写体が前記撮像画像のぼけ成分によって広がった領域の範囲と、該領域に対応する信号値との関係を表す飽和影響マップである。
本発明の他の側面としての画像処理装置は、光学系を用いた撮像により得られた撮像画像を機械学習モデルに入力することで、第１の画像を生成する第１の生成手段と、前記光学系の光学性能に関する情報を取得する取得手段と、前記撮像画像と前記第１の画像と第１の重み情報とに基づいて第２の画像を生成する第２の生成手段とを有し、前記第１の重み情報は、前記光学性能に関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成され、前記飽和領域に関する情報は、前記飽和領域における被写体が前記撮像画像のぼけ成分によって広がった領域の範囲と、該領域に対応する信号値との関係を表す飽和影響マップである。
また、本発明の他の側面としての画像処理システムは、互いに通信可能な第１の装置と第２の装置とを有する画像処理システムであって、前記第１の装置は、光学系を用いた撮像により得られた撮像画像に対する処理の実行に関する要求を前記第２の装置へ送信する送信手段を有し、前記第２の装置は、前記要求を受信する受信手段と、前記撮像画像と、前記光学系の光学性能に関する情報とを取得する取得手段と、前記要求に基づいて、前記撮像画像を機械学習モデルに入力することで、前記撮像画像から第１の画像を生成する第１の生成手段と、前記撮像画像と前記第１の画像と第１の重み情報とに基づいて第２の画像を生成する第２の生成手段と、を有し、前記第１の重み情報は、前記光学性能に関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成され、前記飽和領域に関する情報は、前記飽和領域における被写体が前記撮像画像のぼけ成分によって広がった領域の範囲と、該領域に対応する信号値との関係を表す飽和影響マップである。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、光学系の性能に応じて画像のぼけの先鋭度と弊害を制御することが可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供することができる。

実施例１における機械学習モデルの構成を表した図である。 実施例１における画像処理システムのブロック図である。 実施例１における画像処理システムの外観図である。 実施例１乃至３における先鋭化による弊害の説明図である。 実施例１乃至３における機械学習モデルの訓練のフローチャートである。 実施例１、２におけるモデル出力の生成のフローチャートである。 実施例１における先鋭化の強度調整のフローチャートである。 実施例１乃至３における光学性能指標の分割点の説明図である。 実施例１乃至３における光学性能指標が配置される撮像状態空間の模式図である。 実施例１乃至３における光学性能指標と重みとの関係式を表す図である。 実施例１における第２の重みマップと第３の重みマップの説明図である。 実施例１における撮像画像と飽和影響マップの説明図である。 実施例１における第１の重みマップの説明図である。 実施例２における画像処理システムのブロック図である。 実施例２における画像処理システムの外観図である。 実施例２における先鋭化の強度調整のフローチャートである。 実施例３における画像処理システムのブロック図である。 実施例３における画像処理システムの外観図である。 実施例３におけるモデル出力および先鋭化の強度調整のフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

実施例の具体的な説明を行う前に、本発明の要旨を説明する。本発明は、光学系（撮像光学系）を用いて撮像された撮像画像から、光学系に起因するぼけを、機械学習モデルを用いて先鋭化した推定画像を生成する。そして、光学系の性能（光学性能）と輝度飽和領域とに基づいて重みマップ（第１の重み情報）を生成し、撮像画像と推定画像とを加重平均する。ここで、光学系に起因するぼけとは、収差、回折、デフォーカスによるぼけや、光学ローパスフィルタによる作用、撮像素子の画素開口劣化などを含む。

機械学習モデルは、例えば、ニューラルネットワーク、遺伝的プログラミング、ベイジアンネットワークなどを含む。ニューラルネットワークは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などを含む。

ぼけの先鋭化とは、ぼけによって低下または消失した被写体の周波数成分を復元する処理を指す。ぼけの先鋭化の際、撮像画像によってはアンダーシュート（黒沈み）やリンギング等を抑制できず、推定画像にこれらの弊害が生じることがある。具体的には、光学系の収差によって被写体が大きくぼけていた場合や、画像中に輝度飽和領域が存在する場合、弊害が生じる。撮像素子のダイナミックレンジや撮像時の露出によって、画像中には輝度飽和領域が発生し得る。輝度飽和領域においては、被写体空間の構造に関する情報を取得することができずに弊害が発生しやすい。

そこで各実施例は、撮像画像と推定画像を、光学系の性能と輝度飽和領域に基づいて生成した重みマップを用いて加重平均する。これにより、ぼけの先鋭度と弊害を制御することが可能になる。

なお以下では、機械学習モデルのウエイトを学習する段階のことを学習フェーズとし、学習済みのウエイトを用いた機械学習モデルでぼけの先鋭化を行う段階のことを推定フェーズとする。

まず、本発明の実施例１における画像処理システム１００に関して説明する。本実施例では、機械学習モデルにより輝度飽和を含む撮像画像に対してぼけの先鋭化を行う。また、先鋭化するぼけは、光学系で発生する収差や回折、光学ローパスフィルタによるぼけを対象とする。ただし、画素開口やデフォーカス、ぶれによるぼけを先鋭化する場合も、同様に発明の効果を得ることができる。また、ぼけ先鋭化以外のタスクに関しても、同様に発明を実施し、効果を得ることが可能である。

図２は、画像処理システム１００のブロック図である。図３は、画像処理システム１００の外観図である。画像処理システム１００は、有線または無線のネットワークで接続された訓練装置１０１と画像処理装置１０３とを有する。画像処理装置１０３には、有線または無線によって、撮像装置１０２、表示装置１０４、記録媒体１０５、および出力装置１０６が接続される。撮像装置１０２を用いて被写体空間を撮像した撮像画像は、画像処理装置１０３に入力される。撮像画像には、撮像装置１０２内の光学系（撮像光学系）１０２ａによる収差および回折と、撮像素子１０２ｂの光学ローパスフィルタと、によってぼけが発生しており、被写体の情報が減衰している。

画像処理装置１０３は、機械学習モデルを用いて、撮像画像に対してぼけ先鋭化を行い、飽和影響マップとぼけ先鋭化画像（モデル出力、第１の画像）を生成する。なお、飽和影響マップの詳細は後述する。機械学習モデルは訓練装置１０１で訓練されたものであり、画像処理装置１０３は機械学習モデルに関する情報を予め訓練装置１０１から取得し、記憶部１０３ａに記憶している。また画像処理装置１０３は、撮像画像とぼけ先鋭化画像の加重平均を取ることで、ぼけ先鋭化の強度を調整する機能を有する。機械学習モデルの訓練と推定、ぼけ先鋭化の強度調整の詳細に関しては、後述する。ユーザは、表示部１０４に表示された画像を確認しながら、ぼけ先鋭化の強度調整を行うことができる。強度調整が施されたぼけ先鋭化画像は、記憶部１０３ａまたは記録媒体１０５に保存され、必要に応じてプリンタなどの出力装置１０６に出力される。なお、撮像画像は、グレースケールでも、複数の色成分を有していてもよい。また、未現像のＲＡＷ画像でも、現像後の画像でもよい。

次に、図４（Ａ）乃至（Ｃ）を参照して、機械学習モデルによって、ぼけ先鋭化を行う際に発生する推定精度の低下について説明する。図４（Ａ）乃至（Ｃ）は、先鋭化による弊害の説明図であり、画像の信号値の空間変化を示す。ここで、画像は８ｂｉｔに現像された画像であるため、飽和値は２５５である。図４（Ａ）乃至（Ｃ）の実線が撮像画像（ぼけ画像）、点線は、機械学習モデルを用いて、撮像画像のぼけを先鋭化したぼけ先鋭化画像である。

図４（Ａ）は光学系の収差によるぼけが大きい非輝度飽和被写体、図４（Ｂ）は光学系の収差によるぼけが小さい非輝度飽和被写体、図４（Ｃ）は光学系の収差によるぼけが小さい輝度飽和被写体を鮮鋭化した結果である。光学系の収差によるぼけが大きい場合は、エッジの暗部側でアンダーシュートが発生している。また、光学系の収差によるぼけが小さい場合でも、輝度飽和被写体を鮮鋭化した場合は、非輝度飽和被写体では発生していなかったアンダーシュートや、本来飽和していた画素値が減少する弊害が発生している。輝度飽和を起こした領域（輝度飽和領域）では、被写体空間の構造に関する情報が失われ、各領域の境界で偽エッジが出現することもあり、被写体の正しい特徴量を抽出できない。このため、機械学習モデルの推定精度が低下する。以上の結果より、先鋭化に伴う弊害は、光学系の性能と輝度飽和領域に依存していることがわかる。

先述した補正には、機械学習モデルの入力データとして、撮像画像と撮像画像に対応する輝度飽和マップを用いる手法と、飽和影響マップを生成する手法を盛り込んで学習した機械学習モデルを使用している。つまり、これらの手法を用いることで弊害を低減させることは可能であるが、完全に弊害を消すことは難しい。輝度飽和マップを用いる手法と、飽和影響マップを生成する手法についてそれぞれ詳細に説明する。

輝度飽和マップについて説明する。輝度飽和マップとは、撮像画像において輝度飽和領域を表すマップである。輝度飽和を起こした領域（輝度飽和領域）では、被写体空間の構造に関する情報が失われ、各領域の境界で偽エッジが出現することもあり、被写体の正しい特徴量を抽出できない。そこで、輝度飽和マップを入力することで、ニューラルネットワークが前述のような問題のある領域を特定できるため、推定精度の低下を抑制することができる。

次に、飽和影響マップについて説明する。輝度飽和マップを使用しても、機械学習モデルの判定が正しく行われない場合がある。例えば、輝度飽和した領域の近傍が注目領域だった場合、機械学習モデルは、注目領域の近傍に輝度飽和した領域があるため、注目領域が輝度飽和の影響を受けた領域と判定可能である。しかし、輝度飽和した領域から離れた位置が注目領域の場合、ここが輝度飽和の影響を受けているか否かを判定することは容易でなく、曖昧性が高くなる。その結果、輝度飽和した領域から離れた位置では、機械学習モデルが誤判定を起こすことがある。これによって、タスクがぼけの先鋭化の場合、非飽和ぼけ像に対して、飽和ぼけ像に対応する先鋭化処理を実行する。この際、ぼけを先鋭化した画像にアーティファクトが発生し、タスクの精度が低下する。そのため、機械学習モデルを用いて、ぼけが発生した撮像画像から飽和影響マップを生成することが好ましい。

飽和影響マップは、撮像画像の輝度飽和した領域の被写体が、ぼけによって広がった信号値の大きさと範囲を表すマップ（空間的に配列された信号列）である。つまり、飽和影響マップは、撮像画像における飽和領域に基づく情報である。機械学習モデルに飽和影響マップを生成させることで、機械学習モデルは、撮像画像中の輝度飽和の影響の有無とその大きさを高精度に推定することができる。飽和影響マップが生成されることで、機械学習モデルは、輝度飽和の影響を受けた領域に実行すべき処理と、それ以外の領域に実行すべき処理を、それぞれ適切な領域に実行することができる。そのため、機械学習モデルに飽和影響マップを生成させることで、飽和影響マップの生成を介さない（撮像画像から直接、認識ラベルやぼけ先鋭化画像のみを生成する）場合に対して、タスクの精度が向上する。

上記２つの手法は有効ではあるが、図４（Ａ）乃至（Ｃ）を参照して説明したように、弊害を完全に消すことは難しい。そこで、撮像画像とぼけ先鋭化画像の加重平均を取ることで弊害を抑制する。図４（Ａ）中の一点鎖線は、撮像画像とぼけ先鋭化画像の加重平均を取った信号値である。加重平均を取ることにより、ぼけの先鋭化効果を保ちつつ、暗部のアンダーシュートが軽減されている。本実施例では、撮像画像とぼけ先鋭化画像を加重平均する際に使用する重みマップを、光学系の性能と輝度飽和領域とに基づいて生成する。光学系の性能と輝度飽和領域とに基づくことで、弊害の発生していない図４（Ｂ）の先鋭度は保ちつつ、弊害の発生している図４（Ａ）、（Ｃ）のみ弊害を抑制することができるため、ぼけの先鋭度と弊害を制御することが可能になる。

次に、図５を参照して、訓練装置１０１で実行される機械学習モデルの訓練に関して説明する。図５は、機械学習モデルの訓練のフローチャートである。訓練装置１０１は、記憶部１０１ａ、取得部１０１ｂ、演算部１０１ｃ、および更新部１０１ｄを有し、いずれかの部材が以下の各ステップを実行する。

まずステップＳ１０１において、取得部１０１ｂは、記憶部１０１ａから１枚以上の原画像を取得する。原画像は、第２の信号値よりも高い信号値を有する画像である。第２の信号値は、撮像画像の輝度飽和値に相当する信号値である。ただし、機械学習モデルに入力する際、信号値を規格化してもよいため、必ずしも第２の信号値と撮像画像の輝度飽和値が一致する必要はない。原画像を基にして機械学習モデルの訓練を行うため、原画像は様々な周波数成分（異なる向きと強度のエッジ、グラデーション、平坦部など）を有する画像であることが望ましい。原画像は実写画像でもよいし、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）でもよい。

続いてステップＳ１０２において、演算部１０１ｃは、原画像にぼけを付与し、ぼけ画像を生成する。ぼけ画像は、訓練時に機械学習モデルに入力される画像であり、推定時の撮像画像に相当する。付与するぼけは、先鋭化の対象となるぼけである。本実施例では、光学系１０２ａの収差と回折、および撮像素子１０２ｂの光学ローパスフィルタによって発生するぼけを付与する。光学系１０２ａの収差と回折によるぼけの形状は、像面座標（像高とアジムス）によって変化する。また、光学系１０２ａの変倍、絞り、フォーカスの状態によっても変化する。これらのぼけ全てを先鋭化する機械学習モデルを一括で訓練したい場合、光学系１０２ａで発生する複数のぼけを用いて、複数のぼけ画像を生成するとよい。また、ぼけ画像において、第２の信号値を超える信号値はクリップされる。これは、撮像画像の撮像過程で起きる輝度飽和を再現するために行う。必要に応じて、撮像素子１０２ｂで発生するノイズをぼけ画像に付与してもよい。

続いてステップＳ１０３において、演算部１０１ｃは、原画像に基づく画像と信号値の閾値とに基づいて、第１の領域を設定する。本実施例では、原画像に基づく画像として、ぼけ画像を用いるが、原画像そのものなどを用いてもよい。ぼけ画像の信号値と、信号値の閾値と、を比較することで、第１の領域を設定する。より具体的には、ぼけ画像の信号値が、信号値の閾値以上となっている領域を第１の領域とする。実施例１において、信号値の閾値は第２の信号値である。故に、第１の領域は、ぼけ画像の輝度飽和した領域を表す。ただし、信号値の閾値と第２の信号値は、必ずしも一致しなくてもよい。信号値の閾値を、第２の信号値よりやや小さい値（例えば、０．９倍）に設定してもよい。

続いてステップＳ１０４において、演算部１０１ｃは、第１の領域に原画像の信号値を有する第１の領域画像を生成する。第１の領域画像は、第１の領域以外の領域において、原画像とは異なる信号値を有する。さらに望ましくは、第１の領域画像は、第１の領域以外の領域において、第１の信号値を有する。本実施例において、第１の信号値は０であるが、発明はこれに限定されない。実施例１では、第１の領域画像は、ぼけ画像が輝度飽和した領域のみに原画像の信号値を有し、それ以外の領域の信号値は０である。

続いてステップＳ１０５において、演算部１０１ｃは、第１の領域画像にぼけを付与し、飽和影響正解マップを生成する。付与されるぼけは、ぼけ画像に付与したぼけと同じである。これによって、ぼけ画像の輝度飽和した領域にある被写体から、撮像時の劣化によって広がった信号値の大きさと範囲を表すマップ（空間的に配列された信号列）である飽和影響正解マップが生成される。実施例１では、ぼけ画像と同様に、飽和影響正解マップを第２の信号値でクリップするが、必ずしもクリップを行う必要はない。

続いてステップＳ１０６において、取得部１０１ｂは、正解モデル出力を取得する。本実施例では、タスクがぼけ先鋭化のため、正解モデル出力はぼけ画像よりぼけの小さい画像である。実施例１では、原画像を第２の信号値でクリップすることで、正解モデル出力を生成する。原画像に高周波成分が不足している場合、原画像を縮小した画像を正解モデル出力としてもよい。この場合、ステップＳ１０２でぼけ画像を生成する際にも同様に縮小を行う。なおステップＳ１０６は、ステップＳ１０１より後で、ステップＳ１０７より前であれば、いつ実行してもよい。

続いてステップＳ１０７において、演算部１０１ｃは、機械学習モデルを用いて、ぼけ画像に基づき、飽和影響マップとモデル出力を生成する。図１は、機械学習モデルの構成図である。なお本実施例では、図１に示される機械学習モデルを使用するが、これに限定されるものではない。ぼけ画像２０１と輝度飽和マップ２０２が、機械学習モデルに入力される。輝度飽和マップ２０２は、ぼけ画像２０１の輝度飽和した（信号値が第２の信号値以上である）領域を示したマップである。例えば、第２の信号値で、ぼけ画像２０１を二値化することによって生成できる。ただし、輝度飽和マップ２０２は必須ではない。ぼけ画像２０１と輝度飽和マップ２０２は、チャンネル方向に連結されて、機械学習モデルに入力される。ただし、発明はこれに限定されない。例えば、ぼけ画像２０１と輝度飽和マップ２０２をそれぞれ特徴マップに変換し、それらの特徴マップをチャンネル方向に連結してもよい。また、輝度飽和マップ２０２以外の情報を入力に追加してもよい。

機械学習モデルは複数の層を有し、各層で層の入力とウエイトの線型和が取られる。ウエイトの初期値は、乱数などで決定するとよい。実施例１は、線型和として入力とフィルタの畳み込み（フィルタの各要素の値がウエイトに該当。また、バイアスとの和を含んでいてもよい）を用いるＣＮＮを機械学習モデルとするが、発明はこれに限定されない。また、各層では必要に応じて、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）やシグモイド関数などの活性化関数による非線型変換が実行される。さらに、機械学習モデルは必要に応じて、残差ブロックやＳｋｉｐ Ｃｏｎｎｅｃｔｉｏｎ（Ｓｈｏｒｔｃｕｔ Ｃｏｎｎｅｃｔｉｏｎともいう）を有していてよい。複数の層（本実施例では畳み込み層１６層）を介した結果、飽和影響マップ２０３が生成される。本実施例では、層２１１の出力と輝度飽和マップ２０２の要素毎の和を取ることで飽和影響マップ２０３とするが、これに限定されるものではない。飽和影響マップが直接、層２１１の出力として生成されてもよい。或いは、層２１１の出力に対して任意の処理を施した結果を飽和影響マップ２０３としてもよい。

次に、飽和影響マップ２０３とぼけ画像２０１をチャンネル方向に連結して後続の層に入力し、複数の層（実施例１では畳み込み層１６層）を介した結果、モデル出力２０４を生成する。モデル出力２０４も、層２１２の出力とぼけ画像２０１の要素ごとの和を取ることで生成されるが、構成はこれに限定されない。なお実施例１では、各層で３×３のフィルタ６４種類（ただし、層２１１と層２１２は、フィルタ種類の数がぼけ画像２０１のチャンネル数と同数）との畳み込みを実行するが、これに限定されるものではない。

続いてステップＳ１０８において、更新部１０１ｄは、誤差関数に基づいて、機械学習モデルのウエイトを更新する。実施例１において、誤差関数は、飽和影響マップ２０３と飽和影響正解マップの誤差と、モデル出力２０４と正解モデル出力の誤差と、の重み付き和である。誤差の算出には、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）を使用する。重みは両者１とする。ただし、誤差関数と重みはこれに限定されるものではない。ウエイトの更新には、誤差逆伝搬法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）などを用いるとよい。また、誤差は残差成分に対してとってもよい。残差成分の場合、飽和影響マップ２０３と輝度飽和マップ２０２の差分成分と、飽和影響正解マップと輝度飽和マップ２０２の差分成分と、の誤差を用いる。同様に、モデル出力２０４とぼけ画像２０１の差分成分と、正解モデル出力とぼけ画像２０１の差分成分との誤差を用いる。

続いてステップＳ１０９において、更新部１０１ｄは、機械学習モデルの訓練が完了したかの判定を行う。完了は、ウエイトの更新の反復回数が既定の回数に達したかや、更新時のウエイトの変化量が既定値より小さいかなどによって、判定することができる。ステップＳ１０９にて訓練が完了していないと判定された場合、ステップＳ１０１へ戻り、取得部１０１ｂは１枚以上の新たな原画像を取得する。一方、訓練が完了したと判定された場合、更新部１０１ｄは訓練を終了し、機械学習モデルの構成とウエイトの情報を記憶部１０１ａに記憶する。

以上の訓練方法によって、機械学習モデルは、ぼけ画像（推定時には撮像画像）の輝度飽和した領域の被写体がぼけによって広がった信号値の大きさと範囲を表す飽和影響マップを推定することができる。飽和影響マップを明示的に推定することで、機械学習モデルは、飽和ぼけ像と非飽和ぼけ像それぞれに対するぼけの先鋭化を、適切な領域に実行できるようになるため、アーティファクトの発生が抑制される。

次に、図６を参照して、画像処理装置１０３で実行される、訓練済みの機械学習モデルを用いた撮像画像のぼけ先鋭化に関して説明する。図６は、モデル出力の生成のフローチャートである。画像処理装置１０３は、記憶部１０３ａ、取得部（取得手段）１０３ｂ、および先鋭化部（第１の生成手段、第２の生成手段）１０３ｃを有し、いずれかの部材が以下の各ステップを実行する。

まずステップＳ２０１において、取得部１０３ｂは、光学系１０２ａを通して得られた撮像画像と機械学習モデルとを取得する。機械学習モデルの構成とウエイトの情報は、記憶部１０３ａから取得される。続いてステップＳ２０２において、先鋭化部（第１の生成手段）１０３ｃは、機械学習モデルを用いて、撮像画像から、撮像画像のぼけが先鋭化されたぼけ先鋭化画像（モデル出力、第１の画像）を生成する。すなわち先鋭化部１０３ｃは、撮像画像のぼけ成分を補正して第１の画像を生成する。なお機械学習モデルは、訓練時と同様に、図１に示される構成を有する。訓練時と同様に、撮像画像の輝度飽和した領域を表す輝度飽和マップを生成して入力し、飽和影響マップとモデル出力を生成する。

次に、図７を参照して、画像処理装置１０３で実行される、撮像画像とモデル出力の合成（先鋭化の強度調整）に関して説明する。図７は、先鋭化の強度調整のフローチャートである。

まずステップＳ２１１において、取得部１０３ｂは、撮像画像から撮影状態を取得する。撮影状態とは、光学系１０２ａのズーム位置、絞り開口径、および被写体距離のそれぞれの状態を示す（ｚ，ｆ，ｄ）と、撮像素子１０２ｂの画素ピッチである。

続いてステップＳ２１２において、取得部１０３ｂは、ステップＳ２１１で取得した撮影状態に基づいて、光学系１０２ａの光学性能に関する情報（光学性能指標）を取得する。光学性能指標は、記憶部１０３ａに記憶されている。光学性能指標は、撮像画像の撮像に用いた光学系１０２ａの被写体空間とは独立した光学性能に関する情報であり、例えば飽和影響マップのような被写体空間とは独立していない情報を含まない。本実施例では、点像分布関数（ＰＳＦ）の大きさ（ピーク値）と範囲（拡がり具合）を光学性能指標として用いる。ピーク値とは、ＰＳＦが有する最大の信号値であり、範囲とは、ある閾値以上の値を有する画素の数を意味する。機械学習モデルでぼけの先鋭化を行う際は、ピーク値が同じでも、ある閾値以上の値を有する画素の数が小さいぼけの方が弊害の発生量が小さいため、本実施例では光学性能指標を用いる。また、ＰＳＦのピーク値と範囲は、撮像装置１０２の画素ピッチに依存するため、複数の画素ピッチに対応する光学性能指標を記憶しておき、中間値は補間で作成する。なお光学性能指標は、光学性能を反映できたものであればよいため、別の数値を光学性能指標としてもよい。

図８は、光学性能指標の分割点の説明図であり、光学系１０２ａのイメージサークル１１１、撮像素子１０２ｂの有効画素領域１１２、および、記憶部１０３ａに記憶されている光学性能指標１１４をそれぞれ示す。本実施例では、軸上から最軸外まで１０点分の光学性能指標１１４（ＰＳＦのピーク値）を取得する。なお本実施例では、光学性能指標を１０点としているが、分割数は増やしてもよいし、減らしてもよい。また、撮像素子１０２ｂの有効画素領域１１２よりも小さい有効画素領域１１３の場合、その大きさに合わせて必要な光学性能指標を取得してもよい。または、最軸外までの光学性能指標を取得しておき、重みマップを生成してから有効画素領域に合わせて切り出してもよい。

ここで、記憶部１０３ａには、光学性能指標の数（データ数）を低減するために、離散的に選択された撮像状態に対する光学性能指標のみが記憶（格納）されている。このため、ステップＳ２１１で取得した撮像状態に対応する光学性能指標、または撮像状態に近い撮像状態に対応する光学性能指標が記憶部１０３ａに格納されていない場合、その撮像状態にできるだけ近い光学性能指標を選択する。そして、その光学性能指標を、ステップＳ２１１で取得した撮像状態に最適化するように補正することで、実際に使用する光学性能指標を作成する。

図９には、光学性能指標が配置される撮像状態空間の模式図であり、記憶部１０３ａに記憶された、離散的に選択された撮像状態に対する光学性能指標を模式的に示す。記憶部１０３ａに記憶された光学性能指標は、前述したように、ズーム位置（状態Ａ）、絞り開口径（状態Ｂ）、および被写体距離（状態Ｃ）の３つの撮像状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点（黒丸）の座標が、記憶部１０３ａに記憶されている光学性能指標を示す。なお、図９では、光学性能指標を各撮像状態に対して直交した線上の格子点に配置しているが、光学性能指標を格子点から外して配置しても構わない。

撮像状態の種類は、ズーム位置、絞り開口径（絞り径）、および被写体距離に限定されるものではない。また、撮像状態の種類の数は、３つでなくてもよく、４つ以上の撮像状態による４次元以上の撮像状態空間を構成してその中に光学性能指標を離散的に配置してもよい。または、撮像状態の種類は、ズーム位置、絞り開口径、および被写体距離の１つまたは２つでもよい。

次に、光学性能指標の具体的な選択及び作成（補正）方法について説明する。図９において、大きな白丸で示した撮像状態が、ステップＳ２１１にて取得した実際の撮像状態であるとする。実際の撮像状態またはその近くに、記憶部１０３ａに記憶（格納）された光学性能指標が存在する場合、その光学性能指標を選択する。実際の撮像状態またはその近くに光学性能指標が存在しない場合には、以下の方法により光学性能指標を選択又は作成（補正）する。

まず、取得部１０３ｂは、実際の撮像状態と複数の光学性能指標に対応する撮像状態との間の撮像状態空間内での距離をそれぞれ算出する。そして、算出した距離のうち最も短い距離にある撮像状態に対応する光学性能指標を選択する。 このような光学性能指標を選択することで、実際の撮像状態と光学性能指標に対応する撮像状態との相違量（状態相違量）が最も小さくなる。 図９において、小さな白丸で示した撮像状態に対応する格納フィルタが選択されたものとする。

次に、取得部１０３ｂは、選択した光学性能指標に対応する撮像状態と実際の撮像状態との状態相違量ΔＡ、ΔＢ、ΔＣを算出する。そして取得部１０３ｂは、状態相違量ΔＡ、ΔＢ、ΔＣに基づいて、状態補正係数を算出する。さらに取得部１０３ｂは、状態補正係数を用いて、選択した光学性能指標を補正する。これにより、実際の撮像状態に対応した光学性能指標を作成することができる。 また、別の方法として、実際の撮像状態の近傍に位置する複数の光学性能指標を選択し、複数の光学性能指標を状態相違量に応じて補間処理することで、撮像状態に適した光学性能指標を作成することができる。

続いてステップＳ２１３において、先鋭化部１０３ｃは、光学性能指標から、第２の重みマップと第３の重みマップとを生成する。すなわち先鋭化部１０３ｃは、光学性能に関する情報に基づいた、互いに異なる重みを有する第２の重みマップ（第２の重み情報）と第３の重みマップ（第３の重み情報）とを生成する。ここで、重みマップの生成について詳細に説明する。重みマップとは、撮像画像とぼけ先鋭化画像とを加重平均する際の、各画像の割合を決定するために用いられ、０から１までの連続的な信号値を有する。例えば、重みマップの数値がぼけ先鋭化画像の割合を決定する場合、数値が０であれば、加重平均画像は撮像画像のままとなり、重みマップの値が０．５であれば、加重平均画像は撮像画像とぼけ先鋭化画像の画素値をそれぞれ５０％ずつ加算したものとなる。本実施例では、重みマップの数値は、ぼけ先鋭化画像の重みを表す。

第２の重みマップおよび第３の重みマップの重みを決定する際は、ステップＳ２１２で取得した光学性能指標に基づき、図１０に示される関係式から、像高ごとにぼけ先鋭化画像の重みを決定する。図１０は、光学性能指標と重みとの関係式を表す図である。図１０において、横軸は光学性能指標、縦軸はぼけ先鋭化画像の重みをそれぞれ示す。

実線１２１が非飽和領域用であり、点線１２２が飽和領域用である。同じ光学性能指標でも、弊害の発生しやすい飽和領域はぼけ先鋭化画像の重みを下げておく。本実施例では、１次式としているが、関係式は１次式に限らない。また、関係式も自由に変更が可能である。なお、光学性能指標を保持していない像高は、保持している像高点からの補間で生成する。実線１２１から非飽和領域用の第２の重みマップを生成し、点線１２２から飽和領域用の第３の重みマップを生成する。例として、図１１（Ａ）に第２の重みマップ、図１１（Ｂ）に第３の重みマップを示す。重みマップが明るいほど出力画像の重みが大きく、暗いほど出力画像の重みが小さくなる。一般的な光学系では、軸外に向かうほど光学性能は低下するため、図１１（Ａ）、（Ｂ）に示されるようなグラデーションになることが多い。

続いてステップＳ２１４において、先鋭化部１０３ｃは、第２の重みマップ、第３の重みマップ、および飽和影響マップに基づいて、第１の重みマップを生成する。すなわち第１の重みマップは、光学性能に関する情報（第２の重みマップ、第３の重みマップ）と、撮像画像の飽和領域に関する情報（飽和領域に基づく情報、すなわち飽和影響マップ）とに基づいて生成される。本実施例において、飽和領域に関する情報は飽和影響マップであり、ＲＧＢの全てが飽和していなくてもよい。また、飽和影響マップは、第２の信号値で規格化し、これを第２の重みマップと第３の重みマップの合成に使用する。すなわち、規格化後の数値が０から１の間になった場合、第２の重みマップと第３の重みマップの両方が寄与する。

例として、図１２（Ａ）に撮像画像、図１２（Ｂ）に飽和影響マップを示す。図１３は、第１の重みマップを示す。第１の重みマップは、規格化した飽和影響マップ（飽和領域に関する情報）に基づいて、第２の重みマップと第３の重みマップとを合成して生成される。これにより、弊害の出やすい飽和影響領域におけるぼけ先鋭化画像の重みを下げることができる。なお、機械学習モデルが出力した飽和影響マップを第２の信号値で規格化することは必須ではなく、規格化する信号値を変化させたり、ぼかしたりすることで、ぼけ先鋭化効果と弊害のバランスを調整することも可能である。また、撮像画像に作用している光学系のぼけを用いて、輝度飽和マップを像高ごとにぼかしたものを使用してもよい。

続いてステップＳ２１５において、先鋭化部（第２の生成手段）１０３ｃは、第１の重みマップに基づいて、撮像画像とぼけ先鋭化画像（モデル出力、第１の画像）とを加重平均し、強度調整画像（第２の画像）２０５を生成する。第１の重みマップに基づいて撮像画像とぼけ先鋭化画像とを合成することにより、ぼけ先鋭化効果が低下することを抑制しつつ、弊害が出やすい領域の周辺のみ撮像画像の重みを強くすることができる。

以上の構成により、ぼけの発生した画像に対する機械学習を用いた回帰のタスクにおいて、ぼけの先鋭度と弊害を制御することが可能な画像処理システムを提供することができる。

次に、本発明の実施例２における画像処理システム３００に関して説明する。本実施例では、第３のマップを生成せず、第２の重みマップにおける飽和影響領域の重みを下げることで第１の重みマップを生成する。また、光学系の性能と飽和影響領域だけではなく、被写体距離とＩＳＯ感度によってもぼけ先鋭化の強度調整を行う。

図１４は、画像処理システム３００のブロック図である。図１５は、画像処理システム３００の外観図である。画像処理システム３００は、訓練装置３０１、撮像装置３０２、および画像処理装置３０３を有する。訓練装置３０１と画像処理装置３０３、画像処理装置３０３と撮像装置３０２はそれぞれ、有線または無線のネットワークで接続される。撮像装置３０２は、光学系３２１、撮像素子３２２、記憶部３２３、通信部３２４、および表示部３２５を有する。撮像画像は、通信部３２４を介して画像処理装置３０３へ送信される。

画像処理装置３０３は、通信部３３２を介して撮像画像を受信し、記憶部３３１に記憶された機械学習モデルの構成とウエイトの情報を用いて、ぼけ先鋭化を行う。機械学習モデルの構成とウエイトの情報は、訓練装置３０１によって訓練されたものであり、予め訓練装置３０１から取得され、記憶部３３１に記憶されている。また画像処理装置３０３は、ぼけ先鋭化の強度を調整する機能を有する。撮像画像のぼけが先鋭化されたぼけ先鋭化画像（モデル出力）および強度が調整された加重平均画像は、撮像装置３０２に送信され、記憶部３２３に記憶、表示部３２５に表示される。

訓練装置３０１で行う学習データの生成とウエイトの学習（学習フェーズ）と画像処理装置３０３で実行される、訓練済みの機械学習モデルを用いた撮像画像のぼけ先鋭化（推定フェーズ）および撮像画像とモデル出力の合成に関しては実施例１と同様である。このため、これらの説明は省略する。

次に、図１６を参照して、画像処理装置３０３で実行される、撮像画像とモデル出力との合成（先鋭化の強度調整）に関して説明する。図１６は、先鋭化の強度調整のフローチャートである。

まずステップＳ３１１において、取得部３３３は、撮像画像から撮影状態を取得する。続いてステップＳ３１２において、取得部３３３は、ステップＳ３１１で取得した撮影状態に基づいて、光学性能指標を取得する。光学性能指標は、記憶部３３１に記憶されている。本実施例では、ＰＳＦのピーク値を光学性能指標として用いる。

続いてステップＳ３１３において、先鋭化部３３４は、光学性能指標から第２の重みマップを生成する。続いてステップＳ３１４において、先鋭化部３３４は、飽和影響マップと第２の重みマップから、第１の重みマップを生成する。本実施例では、第３の重みマップを生成することなく第１の重みマップを生成する。具体的には、第２の重みマップのうち飽和影響領域のみ強度を下げることで、第１の重みマップを生成する。なお、第３の重みマップを生成しておき、飽和影響領域以外の強度を上げることで、第１の重みマップを生成してもよい。

続いてステップＳ３１５において、先鋭化部３３４は、第１の重みマップを被写体距離およびＩＳＯ感度に応じて調整する。ここで、被写体距離およびＩＳＯ感度に応じて調整する理由について説明する。まず、被写体距離に応じた調整は、被写体距離が光学系の最短撮影距離近傍の場合に実行することが好ましい。一般的な光学系においては、最短撮影距離近傍は性能が低いため、先鋭化の際にかかる補正量が大きい。ユーザがマニュアルでフォーカスを合わせた場合、解像感を重視する場合もあれば、色収差を重視する場合もあるため、機械学習モデルで学習しているぼけと実際の撮像画像のぼけに差異が生じた場合、他の被写体距離に比べて弊害が発生しやすい。そのため、被写体距離が光学系の最短撮影距離近傍の場合は、先鋭化の強度を抑えておくことで弊害の発生を抑制することができる。

次に、ＩＳＯ感度に応じた調整について説明する。機械学習モデルでぼけの先鋭化を実行する場合、被写体とノイズを区別できずにノイズが増幅する場合がある。そのため、ノイズ量が多い高ＩＳＯで撮影した場合は、先鋭化の強度を抑えておくことで弊害の発生を抑制することができる。なお、被写体距離およびＩＳＯ感度に応じた調整は必須ではない。

続いてステップＳ３１６において、先鋭化部３３４は、第１の重みマップに基づいて、撮像画像とぼけ先鋭化画像（モデル出力、第１の画像）とを合成し、強度調整画像（第２の画像）を生成する。

以上の構成により、ぼけの発生した画像に対する機械学習を用いた回帰のタスクにおいて、ぼけの先鋭度と弊害を制御することが可能な画像処理システムを提供することができる。

次に、本発明の実施例３における画像処理システム４００に関して説明する。図１７は、画像処理システム４００のブロック図である。図１８は、画像処理システム４００の外観図である。画像処理システム４００は、学習装置４０１、レンズ装置４０２、撮像装置４０３、制御装置（第１の装置）４０４、画像推定装置（第２の装置）４０５、およびネットワーク４０６、４０７を有する。学習装置４０１および画像推定装置４０５は、例えばサーバである。制御装置４０４は、パーソナルコンピュータやモバイル端末などのユーザが操作する機器である。学習装置４０１と画像推定装置４０５、および、制御装置４０４と画像推定装置４０５はそれぞれ、互いに通信可能である。

学習装置４０１は、記憶部４０１ａ、取得部４０１ｂ、演算部４０１ｃ、および更新部４０１ｄを有し、レンズ装置４０２と撮像装置４０３を用いて撮像された撮像画像からぼけの先鋭化をする機械学習モデルのウエイトを学習する。なお学習方法は、実施例１と同様のため省略する。撮像装置４０３は撮像素子４０３ａを有し、撮像素子４０３ａがレンズ装置４０２の形成した光学像を光電変換して撮像画像を取得する。レンズ装置４０２と撮像装置４０３とは着脱可能であり、互いに複数種類と組み合わることが可能である。

制御装置４０４は、通信部４０４ａ、表示部４０４ｂ、記憶部４０４ｃ、および取得部４０４ｄを有し、有線または無線で接続された撮像装置４０３から取得した撮像画像に対して、実行する処理をユーザの操作に従って制御する。或いは、撮像装置４０３で撮像した撮像画像を予め記憶部４０４ｃに記憶しておき、該撮像画像を読み出してもよい。

画像推定装置４０５は、通信部４０５ａ、取得部４０５ｂ、記憶部４０５ｃ、および先鋭化部４０５ｄを有する。画像推定装置４０５は、ネットワーク４０６を介して接続された制御装置４０４の要求によって、撮像画像のぼけの先鋭化処理を実行する。画像推定装置４０５は、ネットワーク４０６を介して接続された学習装置４０１から、学習済みのウエイトの情報をぼけ先鋭化の推定時または予め取得し、撮像画像のぼけ先鋭化の推定に用いる。ぼけ先鋭化の推定後の推定画像は、先鋭化の強度調整が行われた後に再び制御装置４０４へ伝送されて、記憶部４０４ｃに記憶され、表示部４０４ｂに表示される。なお、学習装置４０１で行う学習データの生成とウエイトの学習（学習フェーズ）は実施例１と同様のため、省略する。

次に、図１９を参照して、制御装置４０４と画像推定装置４０５で実行される撮像画像のぼけ先鋭化に関して説明する。図１９は、モデル出力および先鋭化の強度調整のフローチャートである。

まずステップＳ４０１において、取得部４０４ｄは、撮像画像とユーザが指定した先鋭化の強度を取得する。続いてステップＳ４０２において、通信部（送信手段）４０４ａは、画像推定装置４０５へ撮像画像とぼけ先鋭化の推定処理の実行に関する要求を送信する。

続いてステップＳ４０３において、通信部（受信手段）４０５ａは、制御装置４０４から送信された撮像画像と処理の要求を受信し、取得する。続いてステップＳ４０４において、取得部４０５ｂは、撮像画像に対応する学習済みのウエイトの情報を記憶部４０５ｃから取得する。ウエイトの情報は、予め記憶部４０１ａから読み出され、記憶部４０５ｃに記憶されている。

続いてステップＳ４０５において、先鋭化部４０５ｄは、機械学習モデルを用いて、撮像画像から、撮像画像のぼけが先鋭化されたぼけ先鋭化画像（モデル出力）を生成する。機械学習モデルは、訓練時と同様、図１で表される構成である。訓練時と同様に、撮像画像の輝度飽和した領域を表す輝度飽和マップを生成して入力し、飽和影響マップとモデル出力を生成する。

続いてステップＳ４０６において、先鋭化部４０５ｄは、制御装置４０４から送信された要求に基づいて、第１の重みマップを生成する。第１の重みマップの生成方法は、実施例１と同様である。ユーザが指定した先鋭化の強度に合わせて、図１０に示される関係式を変更することで強度の調整が可能である。続いてステップＳ４０７において、先鋭化部４０５ｄは、第１のマップに基づいて、撮像画像とぼけ先鋭化画像（モデル出力）を合成する。続いてステップＳ４０８において、通信部４０５ａは、合成画像を制御装置４０４へ送信する。

続いてステップＳ４０９において、通信部４０４ａは、画像推定装置４０５から送信された推定画像を取得する。

以上の構成により、ぼけの発生した画像に対する機械学習を用いた回帰のタスクにおいて、ぼけの先鋭度と弊害を制御することが可能な画像処理システムを提供することができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、光学系の性能に応じて画像のぼけの先鋭度と弊害を制御することが可能な画像処理方法、画像処理装置、画像処理システム、およびプログラムを提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０３ 画像処理装置
１０３ｂ 取得部（取得手段）
１０３ｃ 先鋭化部（第１の生成手段、第２の生成手段）

Claims (14)

1. 光学系を用いた撮像により得られた撮像画像を機械学習モデルに入力することで第１の画像を生成する工程と、
   前記光学系の光学性能に関する情報を取得する工程と、
   前記撮像画像と前記第１の画像と第１の重み情報とに基づいて第２の画像を生成する工程とを有し、
   前記第１の重み情報は、前記光学性能に関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成され、
   前記飽和領域に関する情報は、前記飽和領域における被写体が前記撮像画像のぼけ成分によって広がった領域の範囲と、該領域に対応する信号値との関係を表す飽和影響マップであることを特徴とする画像処理方法。
2. 前記第１の画像は、前記撮像画像のぼけ成分を補正することで得られた画像であることを特徴とする請求項１に記載の画像処理方法。
3. 前記光学性能に関する情報は、前記光学系のズーム位置、絞り径、または被写体距離の少なくとも一つに関する情報と、前記光学系の像高ごとの点像分布関数に関する情報とに基づいて算出されることを特徴とする請求項１または２に記載の画像処理方法。
4. 光学系を用いた撮像により得られた撮像画像を機械学習モデルに入力することで第１の画像を生成する工程と、
   前記光学系の光学性能に関する情報を取得する工程と、
   前記撮像画像と前記第１の画像と第１の重み情報とに基づいて第２の画像を生成する工程とを有し、
   前記第１の重み情報は、前記光学性能に関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成され、
   前記光学性能に関する情報は、前記光学系のズーム位置、絞り径、または被写体距離の少なくとも一つに関する情報と、前記光学系の像高ごとの点像分布関数に関する情報とに基づいて算出されることを特徴とする画像処理方法。
5. 前記第１の重み情報は、前記光学性能に関する情報に基づいて得られる第２の重み情報及び第３の重み情報を、前記飽和領域に関する情報に基づいて合成することで生成されることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
6. 光学系を用いた撮像により得られた撮像画像を機械学習モデルに入力することで第１の画像を生成する工程と、
   前記光学系の光学性能に関する情報を取得する工程と、
   前記撮像画像と前記第１の画像と第１の重み情報とに基づいて第２の画像を生成する工程とを有し、
   前記第１の重み情報は、前記光学性能に関する情報に基づいて得られる第２の重み情報及び第３の重み情報を、前記撮像画像における飽和領域に関する情報に基づいて合成することで生成されることを特徴とする画像処理方法。
7. 前記第２の重み情報および前記第３の重み情報が表す前記第１の画像の重みは互いに異なることを特徴とする請求項５または６に記載の画像処理方法。
8. 前記第２の重み情報は前記撮像画像における非飽和領域の重みを決定し、前記第３の重み情報は、前記撮像画像における前記飽和領域の重みを決定することを特徴とする請求項５乃至７のいずれか一項に記載の画像処理方法。
9. 前記第２の重み情報および前記第３の重み情報が表す前記第１の画像の重みは像高ごとに異なることを特徴とする請求項５乃至８のいずれか一項に記載の画像処理方法。
10. 前記第１の重み情報は、前記光学性能に関する情報に基づいて得られる第２の重み情報を前記飽和領域に関する情報に基づいて調整することで生成されることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理方法。
11. 前記第２の画像を生成する工程において、前記第１の重み情報を用いて前記撮像画像と前記第１の画像とを加重平均することで前記第２の画像を生成することを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理方法。
12. 光学系を用いた撮像により得られた撮像画像を機械学習モデルに入力することで、第１の画像を生成する第１の生成手段と、
    前記光学系の光学性能に関する情報を取得する取得手段と、
    前記撮像画像と前記第１の画像と第１の重み情報とに基づいて第２の画像を生成する第２の生成手段とを有し、
    前記第１の重み情報は、前記光学性能に関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成され、
    前記飽和領域に関する情報は、前記飽和領域における被写体が前記撮像画像のぼけ成分によって広がった領域の範囲と、該領域に対応する信号値との関係を表す飽和影響マップであることを特徴とする画像処理装置。
13. 互いに通信可能な第１の装置と第２の装置とを有する画像処理システムであって、
    前記第１の装置は、光学系を用いた撮像により得られた撮像画像に対する処理の実行に関する要求を前記第２の装置へ送信する送信手段を有し、
    前記第２の装置は、
    前記要求を受信する受信手段と、
    前記撮像画像と、前記光学系の光学性能に関する情報とを取得する取得手段と、
    前記要求に基づいて、前記撮像画像を機械学習モデルに入力することで、前記撮像画像から第１の画像を生成する第１の生成手段と、
    前記撮像画像と前記第１の画像と第１の重み情報とに基づいて第２の画像を生成する第２の生成手段と、を有し、
    前記第１の重み情報は、前記光学性能に関する情報と、前記撮像画像における飽和領域に関する情報とに基づいて生成され、
    前記飽和領域に関する情報は、前記飽和領域における被写体が前記撮像画像のぼけ成分によって広がった領域の範囲と、該領域に対応する信号値との関係を表す飽和影響マップであることを特徴とする画像処理システム。
14. 請求項１乃至１１のいずれか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

Images