JP2024032621A - 画像処理方法、画像処理装置、及びプログラム - Google Patents

Abstract

【課題】 ぼけ補正の効果を維持しつつ、ぼけ補正による弊害を低減することができる。【解決手段】 第１の画像を鮮鋭化することで第２の画像を生成し、第１の画像に基づいて第１の重みマップを生成し、第１の画像に基づいて第１の重みマップを生成し、第１及び第２の画像と、第１及び第２の重みマップとに基づいて第３の画像を生成し、第１及び第２の重みマップは、第３の画像の生成における第１又は第２の画像の重みを示す。【選択図】 図１

Description

本発明は、機械学習モデルを用いた画像処理方法に関する。

光学系の収差による撮像画像の劣化を補正（ぼけ補正）するためにフィルタ（例えばウィーナーフィルタや逆フィルタ）を用いた逆畳み込みを行う画像処理方法が知られている。しかし、フィルタを用いたぼけ補正処理を行う場合、撮像画像において画素値（画素値）が飽和している部分（輝度飽和部）及びその周辺部にリンギングやアンダーシュートなどの弊害が発生するおそれがある。

特許文献１には、画像における領域が、輝度飽和部及びその周辺部かどうかの判定の結果に基づいてぼけ補正の補正量を減らすことで、輝度飽和部及びその周辺部における弊害が少ない画像を生成する方法が開示されている。

特開２０１３―８４２４７

しかしながら、特許文献１の方法では輝度飽和部及びその周辺部における弊害が少ない画像を生成できる一方で、ぼけ補正の補正量を減らしているため、ぼけ補正の効果も低下するという課題がある。

そこで本発明は、画像処理においてぼけ補正の効果を維持しつつ、ぼけ補正による弊害を低減することを目的する。

本発明の画像処理方法は、第１の画像を鮮鋭化することで第２の画像を生成し、第１の画像に基づいて第１の重みマップを生成し、第１の画像に基づいて第１の重みマップを生成する。また、第１及び第２の画像と、第１及び第２の重みマップとに基づいて第３の画像を生成し、第１及び第２の重みマップは、第３の画像の生成における第１又は第２の画像の重みを示すことを特徴とする。

本発明によれば、ぼけ補正の効果を維持しつつ、ぼけ補正による弊害を低減することができる。

実施例１における推定工程のフローチャートを示した図である。 実施例１における画像処理システムのブロック図である。 実施例１における画像処理システムの外観図である。 実施例１における学習工程のフローチャートを示す図である。 実施例１における機械学習モデルの学習の流れを示す図である。 従来の補正処理を示した図である。 実施例１における補正処理を示す図である。 ガンマ補正に関する図である。 Ｇに対するデモザイキング処理に関する図である。 デモザイキング処理における補間フィルタの模式図である。 Ｒに対するデモザイキング処理に関する図である。 実施例１における応答関数を示す図である。 重みマップの模式図である。 実施例２における画像処理システムのブロック図である。 実施例２における画像処理システムの外観図である。 実施例２における推定工程のフローチャートを示す図である。 実施例３における画像処理システムのブロック図である。 実施例３における推定工程のフローチャートを示す図である。 実施例３における応答関数を示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、各実施例の具体的な説明を行う前に、本発明の実施形態の要旨を説明する。本実施形態における画像処理方法は、まず光学系及び撮像素子を用いた撮像により取得された撮像画像における光学系に起因するぼけを、機械学習モデルを用いて鮮鋭化することで推定画像を生成する。そして、撮像画像と推定画像の画素値に基づいて２つの重みマップを生成し、その２つ重みマップと撮像画像と推定画像に基づいて補正画像を生成する。ここで、光学系に起因するぼけとは、収差、回折、デフォーカスによるぼけや、光学ローパスフィルタによるぼけ、撮像素子における画素の開口率の低下の少なくとも一つを含む。機械学習モデルとしては、例えばニューラルネットワーク、遺伝的プログラミング、ベイジアンネットワークなどを採用することができる。また、ニューラルネットワークは、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などである。

本実施形態の処理を適用することにより、ぼけ補正（先鋭化）の効果を維持しつつ、ぼけ補正による弊害を低減することができる。

なお、以下の実施例に述べる各画像処理は、機械学習モデルの学習に用いる学習データを適宜変更することで、鮮鋭化処理に加えて高コントラスト化、明るさ向上、デフォーカスぼけ変換、ライティング変換などの画像処理に対しても適用可能である。

［実施例１］
まず、図２及び図３を参照して本発明の実施例１における画像処理システム１００に関して説明する。図２は、本実施例における画像処理システム１００のブロック図である。図３は、画像処理システム１００の外観図である。

画像処理システム１００は、学習装置１０１、撮像装置１０２、画像推定装置（画像処理装置）１０３、表示装置１０４、記録媒体１０５、出力装置１０６、及びネットワーク１０７を有する。

学習装置１０１は、学習工程（学習フェーズ）を実行する装置であり、記憶部１０１ａ、取得部１０１ｂ、生成部１０１ｃ、及び更新部１０１ｄを有する。取得部１０１ｂは、訓練画像と正解画像を取得する。生成部１０１ｃは、訓練画像を多層のニューラルネットワークへ入力して出力画像を生成する。更新部１０１ｄは、生成部１０１ｃにより算出された出力画像と正解画像の誤差に基づいて、機械学習モデルのウエイトを更新（学習）する。なお、学習フェーズに関する詳細は、フローチャートを用いて後述する。学習された機械学習モデルのウエイトは、記憶部１０１ａに記憶される。

撮像装置１０２は、光学系１０２ａと撮像素子１０２ｂを有する。光学系１０２ａは、被写体空間から撮像装置１０２へ入射した光を集光する。撮像素子１０２ｂは、光学系１０２ａを介して形成された光学像（被写体像）を受光して（光電変換して）撮像画像を取得する。撮像素子１０２ｂは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどである。撮像装置１０２によって取得される撮像画像は、光学系１０２ａの収差や回折によるぼけと、撮像素子１０２ｂによるノイズを含む。

画像推定装置１０３は、推定工程（推定フェーズ）を実行する装置であり、記憶部１０３ａ、取得部１０３ｂ、生成部１０３ｃ、及び補正部１０３ｄを有する。画像推定装置１０３は、機械学習モデルを用いて取得した撮像画像に対してぼけ補正を行うことで推定画像を生成する。なお、機械学習モデルのウエイトは記憶部１０３ａから読み出される。機械学習モデルのウエイトは学習装置１０１で学習されたものであり、画像推定装置１０３は、事前にネットワーク１０７を介して記憶部１０１ａからウエイトを読み出し、記憶部１０３ａに保存している。保存されるウエイトはその数値そのものでもよいし、符号化された形式でもよい。ウエイトの更新、及び機械学習モデルを用いたぼけ補正処理に関する詳細は、後述する。なお、画像推定装置１０３は、必要に応じて現像処理やその他の画像処理を行う機能を有する。その際、推定画像に対してその他の画像処理を行った画像を出力画像としてもよい。画像推定装置１０３による推定画像の生成は、１以上のＣＰＵ等のプロセッサ（処理手段）によりその機能を実装することができる。

推定画像（出力画像）は、表示装置１０４、記録媒体１０５、及び出力装置１０６の少なくとも１つに出力される。表示装置１０４は、例えば液晶ディスプレイやプロジェクタなどである。ユーザは、表示装置１０４を介して、処理途中の画像を確認しながら編集作業などを行うことができる。記録媒体１０５は、例えば半導体メモリ、ハードディスク、及びネットワーク上のサーバ等である。出力装置１０６は、プリンタなどである。

次に、図４及び図５を参照して、本実施例における学習装置１０１により実行されるウエイト（ウエイトの情報）の学習方法（学習済みモデルの製造方法）に関して説明する。図４は、ウエイトの学習に関するフローチャートである。図４の各ステップは、主に、学習装置１０１の取得部１０１ｂ、生成部１０１ｃ、又は更新部１０１ｄにより実行される。図５は、本実施例におけるニューラルネットワークの学習の流れを示す図である。

ステップＳ１０１において、取得部１０１ｂは、原画像を取得する。本実施例において、原画像は光学系１０２ａの収差や回折によるぼけが少ない高解像（高品位）な画像である。原画像は複数取得され、様々な被写体、すなわち、様々な強さと方向のエッジ、テクスチャ、グラデーション、及び平坦部等を有する画像である。原画像は、実写画像でもよいし、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）により生成された画像でもよい。特に、原画像として実写画像を使用する場合、既に収差や回折によってぼけが発生しているため、縮小することでぼけの影響を小さくし、高解像（高品位）な画像にすることができる。なお、原画像に高周波成分が充分に含まれている場合、縮小は行わなくてもよい。また、原画像はノイズ成分を有していてもよい。この場合、原画像に含まれるノイズを含めて被写体であるとみなせるため、原画像のノイズは特に問題にならない。また、原画像は、撮像素子１０２ｂの輝度飽和値よりも高い信号値（輝度値、画素値）を有することが好ましい。これは、実際の被写体においても、特定の露出条件で撮像装置１０２により撮像を行った際、輝度飽和値に収まらない被写体が存在するためである。

ステップＳ１０２において、取得部１０１ｂは後述する撮像シミュレーションを行うために用いるぼけを取得する。取得部１０１ｂは、まず光学系１０２ａのレンズステート（ズーム、絞り、合焦距離の状態）に対応する撮像条件を取得する。そして、撮像条件及び画面位置によって決まるぼけに関する情報を取得する。ぼけに関する情報とは、光学系１０２ａのＰＳＦ（点像分布関数）又はＯＴＦ（光学伝達関数）であり、光学系１０２ａにおける光学シミュレーションや測定によって取得できる。なお、原画像ごとに異なるレンズステートや像高、アジムスの収差や回折によるぼけが取得される。これにより、複数の撮像条件、像高、アジムスに対応した撮像シミュレーションを行うことができる。また必要に応じて、付与するぼけには、撮像装置１０２に含まれる光学ローパスフィルタなどの成分を加えられてもよい。

ステップＳ１０３において、生成部１０１ｃは、正解パッチ（正解画像）からなる正解データと訓練パッチ（訓練画像）からなる訓練データをまとめた学習データを生成する。正解パッチと訓練パッチは、学習したい機能や効果によって変えるものであり、対応した画像を正解パッチと訓練パッチとして使えばよい。正解パッチは、１枚の原画像に対応して１以上のパッチを生成する。なお、正解パッチと訓練パッチの組み合わせを複数まとめたものを学習データとして用いる。本実施例において、原画像は未現像のＲＡＷ画像であり、正解パッチと訓練パッチも同様にＲＡＷ画像である。ただし本発明は、正解パッチと訓練パッチは同一の被写体が写った画像であれば、これに限定されるものではない。例えば現像後の画像でもよく、後述するように画像を変換した特徴マップでもよい。本実施例では、記憶部１０１ａに記憶されている複数の原画像を被写体として、撮像シミュレーションを行うことにより、収差や回折によるぼけの影響が相対的に異なる正解画像と訓練画像とのペアを複数生成する。

なお、パッチとは既定の画素数（例えば、６４×６４画素など）を有する画像を指す。また、正解パッチと訓練パッチの画素数は、必ずしも一致する必要はない。本実施例では、機械学習モデルの学習に、ミニバッチ学習を使用する。このためステップＳ１０３では、複数組の正解パッチと訓練パッチを生成する。ただし本発明は、これに限定されるものではなく、オンライン学習またはバッチ学習を用いてもよい。

ステップＳ１０４において、生成部１０１ｃは、訓練パッチ１１を機械学習モデルへ入力することで、推定パッチ（推定画像）２１３を生成する。本実施例における学習は、ミニバッチ学習のため、複数の訓練パッチ１１に対応する推定パッチ１２を生成する。

図５は、学習フェーズの流れを示しており、図４においてステップＳ１０４からステップＳ１０５までに相当する。推定パッチ１２は、訓練パッチ１１よりも鮮鋭度が高く、理想的には正解パッチ（正解画像）１０と一致する。なお本実施例では、図５に示されるニューラルネットワークの構成を使用するが、これに限定されない。図５中のＣＮは畳み込み層、ＤＣは逆畳み込み層を表す。畳み込み層と逆畳み込み層のどちらを用いても、入力とフィルタの畳み込み、及びバイアスとの和が算出され、その結果を活性化関数によって非線形変換する。フィルタの各成分とバイアスの初期値は任意であり、本実施例では乱数によって決定する。活性化関数は、例えばＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）やシグモイド関数などを使うことができる。最終層を除く各層の出力は、特徴マップと呼ばれる。スキップコネクション２２、２３は、連続していない層から出力された特徴マップを合成する。特徴マップの合成は要素ごとの和をとってもよいし、チャンネル方向に連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）してもよい。本実施例では要素ごとの和を採用する。スキップコネクション２１は、訓練パッチ１１と正解パッチ１０とから推定された残差と、訓練パッチ１１との和を取り、推定パッチ１２を生成する。複数の訓練パッチ１１のそれぞれに対して、複数の推定パッチ１２を生成する。

ステップＳ１０５において、更新部１０１ｄは、推定パッチ１２と正解パッチ１０との誤差から、ニューラルネットワークのウエイトを更新する。ここで、ウエイトは、各層のフィルタの成分とバイアスを含む。ウエイトの更新には誤差逆伝搬法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を使用するが、本発明はこれに限定されるものではない。ミニバッチ学習では、複数の正解パッチ１０とそれらに対応する推定パッチ１２の誤差を求め、ウエイトを更新する。誤差関数（Ｌｏｓｓ ｆｕｎｃｔｉｏｎ）には、例えばＬ２ノルムやＬ１ノルムなどを用いることができる。

ステップＳ１０６において、更新部１０１ｄは、ウエイトの更新が完了したか否かを判定する。ウエイトの更新の完了は、学習（ウエイトの更新）の反復回数が規定値に達したか、または、更新時のウエイトの変化量が規定値より小さいかなどにより判定することができる。ウエイトの更新が未完了と判定された場合、ステップＳ１０３へ戻り、新たな正解パッチと訓練パッチを複数取得する。一方、完了と判定された場合、学習装置１０１（更新部１０１ｄ）は学習を終了し、ウエイトの情報を記憶部１０１ａに保存する。

ここで、図６を参照して従来の補正処理について説明する。図６は、従来の補正処理を示した図である。図６において、縦軸は信号値、横軸は空間座標であり、点線は飽和輝度値を表している。本実施例において信号値は、画素値である。図６（ａ）は、被写体Ａ及びＢの輝度を表す。図６（ｂ）は、被写体Ａ及びＢを撮像した画像（撮像画像）の例であり、光学系の収差によって像が劣化している。さらに、被写体Ｂの輝度は輝度飽和値以上であるため、輝度飽和値で信号がクリップされる。図６（ｃ）は、図６（ｂ）に示す撮像画像に対して逆畳み込み処理によってぼけ補正を行った画像の例である。また、図６（ｄ）は、図（ｂ）に示す撮像画像に対して機械学習モデルによってぼけ補正を行った画像の例である。なお、本実施例では、図４の方法で学習された機械学習モデルを用いてぼけ補正を行う。

図６（ｃ）において逆畳み込み処理は、例えばウィーナーフィルタや逆フィルタ等のフィルタを用いて行う。逆畳み込み処理ではなく、周波数空間上において画像とフィルタとをそれぞれフーリエ変換し、掛け合わせる処理のでもよい。このような処理の場合、被写体Ａのような劣化であれば図６（ｂ）の撮像画像と比べて収差による劣化を低減させることができる。一方で、被写体Ｂのように輝度飽和部を含む領域に対しては、オーバーシュートやアンダーシュートといった大きな弊害を生じる可能性が高い。図６（ｃ）の輝度飽和部のエッジ近傍で発生しているオーバーシュートは、実際には輝度飽和値でクリップされるため画像上は存在しないが、暗部側で発生しているアンダーシュートは画像上も存在する。撮像画像の黒レベル（暗部の明るさ）はゼロからオフセットされており、アンダーシュートが発生した場合にはゼロ以下にならないようにクリップはされるが、このオフセット値（ＯＢ値）は黒レベルを下回る。また、黒レベルを下回った領域は周囲と比べても一段と暗くなるため、画像における弊害となる。これは、被写体の画素値が撮像素子のダイナミックレンジ内に収まらずクリップされることによって、情報が欠落することで、上記の弊害が発生する。

しかし、図６（ｃ）のような畳み込み処理の場合、線形演算となるため原理的にこうした課題を回避するのは難しい。そこで、上記の弊害を低減するために機械学習モデルを用いることができる。例えばニューラルネットワークにおいても畳み込み演算は用いられるが、活性化関数部分は非線形な関数を用いることができる。適切な学習を施された機械学習モデルによる非線形処理は、より柔軟な処理が可能となる。このとき、機械学習モデルは、輝度飽和部を含む画像を学習データに用いて学習させる必要がある。学習データにおいて輝度飽和部を含む撮像画像と、収差が少なく輝度飽和部周辺に弊害がない画像を正解画像にすることで図６（ｄ）のように被写体Ａ、Ｂともに光学系による収差の補正の効果を維持しつつ、補正による弊害を低減した補正処理が可能となる。

輝度飽和部を含む撮像画像を用いて学習を行うことで、機械学習モデルにおいて輝度飽和部の有無を判断し、その結果によって処理を変更している。しかし、この判断に誤りがある場合、その結果にも悪影響を及ぼすおそれがある。

次に、図７を参照して本実施例における補正処理について説明する。図７は、本実施例における補正処理を示した図である。図７において、縦軸は信号値、横軸は空間座標であり、点線は飽和輝度値を表している。本実施例において信号値は、画素値である。図７（ａ）は、被写体Ａ、Ｂ、及びＣの輝度を表す。図７では輝度の低い被写体Ａ、輝度飽和値の半分程度の値を有する被写体Ｂ、輝度飽和値近傍の値を有する被写体Ｃの３つの被写体を撮像する例を用いて説明する。なお、図７（ａ）の被写体Ｃは誤判定を起こしやすい例を示しており、輝度飽和値近傍でフラットになっている被写体は、輝度飽和値以上の値を有していて輝度飽和値でクリップされた場合と判断がつきにくい。図７（ｂ）は、被写体Ａ、Ｂ、及びＣを撮像した画像（撮像画像）の例であり、光学系の収差によって像が劣化している。図７（ｃ）は、図６（ｂ）に示す撮像画像に対して、上述した機械学習モデルを用いてぼけ補正を行った画像の例である。図７（ｄ）は、図６（ｂ）に示す撮像画像に対して、本発明の方法を用いて処理を行った画像の例である。

図６、図７は模式図のため、ノイズを含まない状態で評価しているが、実際の撮像画像ではノイズの影響も受ける。ノイズの影響により仮に輝度飽和でなかった領域に対して輝度飽和領域だと誤判定して補正した場合、その領域は大きく補正される。図７（ｃ）では、機械学習モデルが被写体Ｃを輝度飽和と判定し、被写体Ｃに対して過補正となった結果を表している。図７（ｃ）は、一例ではあるが、ぼけ補正する際の処理は、信号（画素値）を減らす処理を行うため、本来よりも画素値が低くなり弊害が発生する。

また、このような弊害は高輝度側でのみではなく、低輝度側でも発生する。図７（ｃ）の被写体Ａはその一例を示している。低輝度側で発生する弊害は、ガンマ補正が関係する。図８を参照してガンマ補正について説明する。図８は、ガンマ補正前後における画素値の関係を示す。図８において補正前の画素値を傾き１の直線（図８中の一点鎖線）としたとき、補正後の画素値は曲線（ガンマカーブ）によって表される。ガンマ補正は、撮像素子から出力された未現像の画像データであるＲＡＷ画像から現像画像を取得するための現像処理において行われる処理である。実際の処理は、入力された画素値を冪乗する処理であり、例えばその冪乗の指数として１／２．２などが用いられる。ガンマ補正において補正後の画素値は、補正前の画素値以上の値を有し、低輝度側の画素値は、高輝度側に比べて大きく変化する。つまり、ＲＡＷ画像の状態における低輝度側の弊害は、現像画像の状態においてガンマ補正により目立つようになる（強調される）おそれがある。

本実施例ではこれらの弊害を低減するために、高輝度側と低輝度側のそれぞれに対応した二つのゲインマップを作成して、二つのゲインマップを用いて最終的な補正画像を生成する。図７（ｄ）は撮像画像、推定画像、及び前述のゲインマップを用いて生成した補正画像を表している。このように推定画像においてアンダーシュート等の弊害が発生した場合においても、本実施例の画像処理方法を実行することで、ぼけ補正の効果を維持しつつ、ぼけ補正による弊害を低減することができる。

次に、図１を参照して、本実施例における画像推定装置１０３で実行される補正画像の生成（補正処理）に関して説明する。図１は、補正画像（第３の画像）の生成に関するフローチャートである。図１の各ステップは、主に、取得部１０３ｂ、生成部１０３ｃ、又は補正部１０３ｄにより実行される。

まず、ステップＳ２０１において、取得部１０３ｂは撮像画像（第１の画像）を取得する。第１の画像は、学習と同様で未現像のＲＡＷ画像であり、本実施例では撮像装置１０２から送信されたものである。

ステップＳ２０２（第１の工程）において、生成部１０３ｃは機械学習モデルを用いて撮像画像の鮮鋭化処理を実行し、推定画像（第２の画像）を取得する。なお、機械学習モデルのウエイトの情報は学習装置１０１から送信されて記憶部１０３ａに記憶されたものである。

ステップＳ２０３（第２の工程）において、生成部１０３ｃは第１のゲインマップ（第１の重みマップ）を生成する。本実施例において、第１のゲインマップは、撮像画像の画素値に基づいて生成され、補正画像の生成の際の推定画像にかかる重みを表す。なお、第１のゲインマップは、補正画像に対応する各画素の重み情報を有する。第１のゲインマップは、低輝度部（暗部）における弊害を低減するために用いられる。

ここで図９、図１０、及び図１１を参照して、撮像画像に施される各処理を説明する。撮像画像に行う各処理は、第１のゲインマップの生成の際に必要に応じて、撮像画像に対して行われる処置であり、例えばデモザイキング処理、ホワイトバランス調整、正規化処理である。図９は、撮像画像の色成分に関する図である。図１０は、デモザイキング処理における補間フィルタの模式図である。図１１は、Ｒに対するデモザイキング処理に関する図である。本実施例において、撮像画像は図９（ａ）に示されるようなＢａｙｅｒ配列の画像である。ここでＲＧＢは、それぞれ赤、緑、青の画素値（輝度値）を表す。ただし、撮像画像のカラー配列はこれに限定されない。

まず、図９（ａ）に示される配列で表される撮像画像に対して行われるデモザイキング処理について説明する。Ｂａｙｅｒ配列においてＧは、Ｇ１、Ｇ２と２種類存在するため、Ｇと、Ｒ及びＢとでデモザイキング処理が異なる。図９（ｂ）は、図９（ａ）からＧ１、Ｇ２のみ抽出した状態を表す。図９（ａ）のＧに対してデモザイキング処理を実施する場合、図９（ｂ）のようにＧを抽出した後、線形補間処理を行う。本実施例において図１０（ａ）のフィルタを用いて線形補間を行う。なお、図１０（ａ）は、Ｇに対してデモザイキング処理に用いるフィルタであり、図１０（ａ）の値はこれに限定されない。図９（ｂ）のＧに対して、図１０（ａ）のフィルタを畳み込むことにより、図９（ｃ）に示すような補間後のＧの情報を生成することができる。

続いて、Ｒ及びＢのデモザイキング処理について説明する。Ｒ及びＢはどちらも１種類のみで同様の処理を適用できるため、本実施例ではＲについての処理を説明する。図１１（ａ）は、図９（ａ）のＢａｙｅｒ配列のうちＲのみ抽出した状態を表す。図１１（ｂ）は、デモザイキング処理前のＲの色差を表しており、図１１（ａ）においてのＲが存在する画素のみ、図９（ｃ）のデモザイキング処理後のＧの差分を取っている。本実施例ではＲに対してＧの差分を取ることにより、色差情報を算出する。そして、色差情報を補間するために、図１１（ｂ）の色差に対して、図１０（ｂ）のフィルタを畳み込むことで全画素に対応した色差情報を算出する。なお、（ｂ）は、補間処理を行うためのフィルタであり、図１０（ｂ）の値はこれに限定されない。図１１（ｃ）は、デモザイキング処理後のＲの情報を表しており、図１０（ｂ）のフィルタを畳み込んだ後の色差に対して、Ｇ（図９（ｃ）に相当）を加算することにより算出することができる。

以上、Ｒのデモザイキング処理について述べてきたが、Ｂについても同様にデモザイキング処理を実行することができる。なお、本実施例では、Ｒ及びＢに関して色差を用いて補間処理を行っているが、Ｒ及びＢに対して直接補間処理を行ってもよい。また、単純な補間処理だけでなく、ＲＧＢ値の勾配等を用いた適応処理を取り入れてデモザイキング処理を実行してもよい。

続いて、撮像画像に対して行われるホワイトバランス調整について説明する。ホワイトバランス調整は、被写体における無彩色部分が出力画像において無彩色になるように、撮像素子が出力するＲＧＢ成分に対して色成分別にゲイン処理を行い、輝度レベルを合わせる処理である。ホワイトバランス調整を行うことで、撮像素子の色特性によらず被写体の色味が正しく再現され、実際の被写体により近い色の画像を生成できる。また、本実施例では、ホワイトバランス調整を実行することによって、より高精度なゲインマップを生成することができる。

ホワイトバランス調整に用いる係数（ホワイトバランス係数）は、撮像画像を撮像時の設定を利用する。通常、ＲＧＢの色成分ごとにホワイトバランス係数が存在するため、それらの係数と対応する撮像画像の色成分に掛け合わせることによりホワイトバランス調整を実行することができる。ここで黒レベルがオフセットされている場合は、オフセット分を差し引いてからホワイトバランス調整を行ってもよい。また、Ｇ１、Ｇ２でホワイトバランス係数が分かれている場合は、それらの平均をＧに対するホワイトバランス係数としてもよい。なお、ホワイトバランス係数は撮像時の設定でなく、別の係数の組み合わせを用いてもよい。例えば、撮像に用いた撮像装置が自動的に光源の種類を判別して補正する機能（オートホワイトバランス）を有している場合、その係数データも撮像画像に付帯しているためホワイトバランス調整に用いてもよい。

続いて、撮像画像に対して行われる正規化処理について説明する。本実施例の正規化処理では、まずＲＧＢの３色の輝度値を有する撮像画像の各画素に対して、ＲＧＢの最大値を取得する。本実施例では、最大値を用いるがこれに限らず中央値、平均値、最小値などの指標を用いてもよい。このように、１つの画素に対して、１つの値を設定することにより、ＲＧＢ間では重みが異ならないようにすることができる。ＲＧＢの最大値で構成された２次元データに対して、黒レベルが０、輝度飽和値が１になるようにスケーリングを行う。そして、スケーリング後の２次元データに基づいてゲインマップを算出する。なお、本実施例において黒レベルと輝度飽和値を基準にスケーリングしているが、これに限定されるものではない。例えば２バイトで割ることで２バイトが１となるように変換してもよい。

図１２に本実施例における応答関数を示す。図１２において横軸はスケーリング後の２次元データ、縦軸は重みマップの調整値である。本実施例における応答関数は、信号値（画素値）を入力することで、補正画像の生成の際に用いる推定画像の重みを算出することができる。また、図１２（ａ）は第１のゲインマップの生成に用いる応答関数（第１の応答関数）であり、図１２（ｂ）は第２のゲインマップの生成に用いる応答関数（第２の応答関数）である。

図１２（ａ）ではスケーリング後の２次元データの画素値の増加に伴い、出力値も大きくなる（推定画像の重みが増加する）。一方で、図１２（ｂ）ではスケーリング後の２次元データの画素値の増加に伴い、出力値は小さくなる（推定画像の重みが低下する）。

図１２（ａ）において閾値を０．２及び０．３に設定しており、０．２以下の場合推定画像の重みは０であり、０．３以上の場合推定画像の重みが１である。また、その間は重みが線形に変化している。なお、本実施例では、２つの閾値を設けて各区間は線形に変化するようにしているが、閾値を設けずにシグモイド関数のような非線形な関数を応答関数としてもよい。また、２つの閾値についてもこれに限定するものではなく、別の値を採用してもよい。閾値の設定によって推定画像の重みが大きい領域を多くすることで、より収差の少ない補正画像を取得することができる。一方で、閾値の設定によって推定画像の重みが小さい領域を多くすることで、より収差補正による弊害の少ない補正画像を取得することができる。さらに応答関数は、補正効果に関する情報に基づいて生成されてもよい。補正強度に関する情報は、補正画像の生成の際における収差補正の強度を示し、応答関数における閾値の決定のために用いられる。また、補正強度に関する情報は、例えばユーザによって設定される。

図１３（ａ）は、図７（ｂ）の撮像画像を用いて生成された第１のゲインマップの模式図である。図１３（ａ）において縦軸は推定画像の重み、横軸は画像における領域（空間座標）である。

ステップＳ２０４（第３の工程）において、生成部１０３ｃは第２のゲインマップ（第２の重みマップ）を生成する。本実施例において、第２のゲインマップは、推定画像の画素値に基づいて生成され、補正画像の生成の際の推定画像にかかる重みを表す。なお、第２のゲインマップは、補正画像に対応する各画素の重み情報を有する。第２のゲインマップは、高輝度部（明部）における弊害を低減するために用いられる。

第２のゲインマップの算出は、第１のゲインマップの算出に対して撮像画像の代わりに推定画像を用いる部分が異なる。一方で、デモザイキング処理、ホワイトバランス調整、及び正規化処理については第１のゲインマップの算出と同様であるため、説明は省略する。

図１２（ｂ）において閾値を０．８及び０．９に設定しており、０．８以下の場合推定画像の重みは１であり、０．９以上の場合推定画像の重みは０である。また、その間は重みが線形に変化している。なお、本実施例では、２つの閾値を設けて各区間は線形に変化するようにしているが、閾値を設けずにシグモイド関数のような非線形な関数を応答関数としてもよい。また、２つの閾値についてもこれに限定するものではなく、別の値を採用してもよい。閾値の設定によって推定画像の重みが大きい領域を多くすることで、より収差の少ない補正画像を取得することができる。一方で、閾値の設定によって推定画像の重みが小さい領域を多くすることで、より収差補正による弊害の少ない補正画像を取得することができる。さらに応答関数は、補正効果に関する情報に基づいて生成されてもよい。補正強度に関する情報は、補正画像の生成の際における収差補正の強度を示し、応答関数における閾値の決定のために用いられる。また、補正強度に関する情報は、例えばユーザによって設定される。

図１３（ｂ）は、図７（ｃ）の推定画像を用いて生成された第２のゲインマップの模式図である。図１３（ｂ）において縦軸は推定画像の重み、横軸は画像における領域（空間座標）である。

ステップＳ２０５（第４の工程）において、生成部１０３ｃは第１のゲインマップ及びステップ第２のゲインマップを合成することで、補正画像の生成に用いるゲインマップ（第３の重みマップ）を取得する。

図１３（ｃ）は第１のゲインマップ及び第２のゲインマップを用いて生成されたゲインマップの模擬図である。本実施例では、第１のゲインマップ及び第２のゲインマップの対応する領域の値を比較し、小さい方の値を採用することで第３のゲインマップを生成している。なお、第３のゲインマップは、２つのゲインマップの掛け算や平均値により第３のゲインマップを算出されてもよい。

ステップＳ２０６において、補正部１０３ｄは撮像画像、推定画像、第３のゲインマップに基づいて補正画像を生成（合成）する。本実施例において、補正画像は、第３のゲインマップの示す推定画像の重みに基づいて撮像画像と推定画像とを加重平均することで生成される。

このような構成とすることで、図７（ｄ）に示すような補正画像を生成することができる。図７（ｄ）は、図７（ｃ）の推定画像と比較して被写体Ｃ及び被写体Ａにおいて発生していたアンダーシュートを低減されている。また、鮮鋭化効果についても図７（ｃ）の推定画像と比較し遜色ない補正効果を維持することができる。

以上、述べてきた補正処理を実行することで、ゲインマップを用いて撮像画像と推定画像に基づいて補正画像を生成することで、ぼけ補正の効果を維持しつつ、ぼけ補正による弊害を低減することができる。

本実施例において、第１のゲインマップ及び第２のゲインマップはそれぞれ撮像画像及び推定画像の画素値に基づいて算出している。低輝度領域は、ノイズの影響が大きく、かつガンマ補正によるゲインが大きくかかるため敏感度が高い。したがって、低輝度領域は鮮鋭化前の撮像画像を基準することが望ましい。一方で、輝度飽和領域及びその周辺部における収差補正の効果を維持するためには、先鋭化後の推定画像を基準することが望ましい。

図１２の第１の応答関数及び第２の応答関数において、推定画像（又は撮像画像）の重みが０．５になるときの画素値をそれぞれ第１の閾値及び第２の閾値とする。具体的には、図１２において第１の閾値は０．２５であり、第２の閾値は０．８５である。本実施において第１のゲインマップは低輝度側の弊害を低減するための重みであり、第２のゲインマップは高輝度側の弊害を低減するための重みである。したがって、図１２のように推定画像にかかる重みで考えた場合、第１の閾値は第２の閾値よりも小さくなる。このような構成とすることで、生成する重みマップに推定画像に由来するリンギングの影響を低減できる点で好ましい。ただし、第１及び第２の閾値はこの数値に限定されない。またこの大小関係は、スケーリングする際の基準値が同様であることが前提となる。

また、本実施例において、撮像画像及び推定画像の画素値に基づきゲインマップを算出しているが、必要に応じてその他の情報を追加してゲインマップを算出してもよい。その他の情報は、例えば撮像時の光学系の性能に関する情報である。なお、光学系の性能は、例えば光学系のＰＳＦ（点像強度分布）やＯＴＦ（光学伝達関数）を用いて算出される。光学系の性能が低い場合、機械学習モデルを用いたぼけ補正による補正量が増加するため、アンダーシュートやリンギングといった弊害も発生しやすくなる。また、ＰＳＦは撮像画像内の位置によって変化するため、例えばＰＳＦの広がりが大きく性能が低くなりやすい高像高の領域では、画面中心の領域に対して補正量を抑えることで、弊害の発生を抑制することができる。

以上、本発明のぼけ判定方法に関する実施例を示したが、その要旨の範囲内で種々の変形及び変更が可能である。

［実施例２］
次に、図１４及び図１５を参照して実施例２に係る画像処理システム２００に関して説明する。本実施例の画像処理システム２００は、撮像装置２０２における光学系２２１及び撮像素子２２２を用いて原画像を取得し、画像推定部２２３が画像処理する点で、実施例１と異なる。さらに本実施例における補正画像（第３の画像）の生成は、第３のゲインマップの算出を行わない点で実施例１と異なる。

図１４は、本実施例における画像処理システム２００のブロック図である。図１５は、画像処理システム２００の外観図である。

画像処理システム２００は、学習装置２０１及び撮像装置２０２を有し、学習装置２０１及び撮像装置２０２は、ネットワーク２０３を介して互いに通信可能である。

学習装置２０１は、記憶部（記憶手段）２１１、取得部（取得手段）２１２、生成部（生成手段）２１３、及び更新部（学習手段）２１４を有し、ニューラルネットワークでぼけ補正を行うためのウエイト（ウエイトの情報）を学習する。なお、本実施例における学習装置２０１は、実施例１の学習装置１０１と同様であるため説明は省略する。

撮像装置２０２は、光学系２２１、撮像素子２２２、画像推定部２２３、記憶部２２４、記録媒体２２５、表示部２２６、及びシステムコントローラ２２７を有する。本実施例における撮像装置２０２は、被写体空間を撮像して撮像画像を取得し、機械学習モデルを用いて撮像画像から推定画像を生成し、撮像画像と推定画像とを加重平均することで補正画像を生成する。

画像推定部２２３は、取得部２２３ａ、生成部２２３ｂ、及び補正部２２３ｃを有し、それぞれ実施例１における取得部１０３ｂ、生成部１０３ｃ、及び補正部１０３ｄに相当する。ウエイトの情報は、学習装置２０１で事前に学習され、記憶部２１１に保存されている。撮像装置２０２は、記憶部２１１からネットワーク２０３を介してウエイトの情報を読み出し、記憶部２２４に保存する。画像推定部２２３で生成された補正画像は、記録媒体２２５に保存される。なお、記録媒体２２５に既に保存された撮像画像を読み出し、画像推定部２２３で補正を行ってもよい。ユーザから補正画像の表示に関する指示が出された場合、保存された補正画像が読み出され、表示部２２６に表示される。以上の一連の制御は、システムコントローラ２２７によって行われる。

本実施例の学習装置２０１で実行される機械学習モデルの学習方法については、実施例１と同様であるため説明は省略する。

次に、図１６を参照して、本実施例における画像推定部２２３で実行される補正画像の生成に関して説明する。図１６は、補正画像の生成に関するフローチャートである。図１６の各ステップは、主に、取得部２２３ａ、生成部２２３ｂ、又は補正部２２３ｃにより実行される。ステップＳ３０１～Ｓ３０３は、実施例１におけるステップＳ２０１～Ｓ２０３と同様である。

ステップＳ３０４において、補正部２２３ｃは第１のゲインマップ、撮像画像、及び推定画像を用いて中間補正画像を生成する。第１のゲインマップ、撮像画像、及び推定画像を用いて生成された中間補正画像は、被写体Ａ及びＢに関しては図７（ｄ）のようになるが、被写体Ｃの領域に関しては一部に推定画像が採用されるため、図７（ｃ）のようにアンダーシュートが残存する。中間補正画像は、第１のゲインマップを用いて撮像画像及び推定画像を加重平均することで取得された画像であり、低輝度側の弊害が低減されている。

次に、ステップＳ３０５において、生成部２２３ｂは第２のゲインマップを生成する。実施例２における第２のゲインマップは実施例１のステップＳ１１４と同様であるため、説明は省略する。

続いて、ステップＳ３０６において、補正部１０３ｄは撮像画像、中間補正画像、及び第２のゲインマップを用いて補正画像を生成する。第２のゲインマップを用いて撮像画像及び中間補正画像を加重平均することで中間補正画像の高輝度な被写体Ｃの領域に残存していたアンダーシュートが低減される。この結果、図７（ｄ）のように弊害を抑えつつ推定画像の補正効果を維持した補正画像を生成することができる。なお、本実施例では第１のゲインマップを使って中間補正画像を算出した後、中間補正画像と第２のゲインマップを使って補正画像を生成したが、第１のゲインマップと第２のゲインマップの処理の順番は逆でもよい。第２のゲインマップから適用し、その後、推定画像、中間補正画像、及び第１のゲインマップを用いて補正画像を生成したとしても同様の効果を得ることができる。

以上、述べてきた補正処理を実行することで、ゲインマップを用いて撮像画像と推定画像に基づいて補正画像を生成することで、収差補正の効果を維持しつつ、収差補正による弊害を低減することができる。

［実施例３］
次に、図１７及び図１８を参照して実施例３に係る画像処理システム３００に関して説明する。本実施例の画像処理システム３００は、撮像装置３０２から撮像画像を取得し、画像推定装置（第２の装置）３０３に撮像画像に対する画像処理に関する要求を行う制御装置（第１の装置）３０４を有する点で実施例１と異なる。図１７は、本実施例における画像処理システム３００のブロック図である。図１８は、実施例３における補正画像の生成に関するフローチャートである。

画像処理システム３００は、学習装置３０１、撮像装置３０２、画像推定装置３０３、及び制御装置３０４を有する。本実施例において、学習装置３０１及び画像推定装置３０３はサーバである。制御装置３０４は、例えばユーザ端末（パーソナルコンピュータまたはスマートフォン）である。制御装置３０４はネットワーク３０５を介して画像推定装置３０３に接続されており、制御装置３０４と画像推定装置３０３は通信可能である。また、画像推定装置３０３はネットワーク３０６を介して学習装置３０１に接続されており、画像推定装置３０３と学習装置３０１は通信可能である。

学習装置３０１及び撮像装置３０２の構成は、それぞれ実施例１の学習装置１０１及び撮像装置１０２と同様のため説明を省略する。

画像推定装置３０３は、記憶部３０３ａ、取得部３０３ｂ、生成部３０３ｃ、補正部３０３ｄ、及び通信部（受信手段）３０３ｅを有する。記憶部３０３ａ、取得部３０３ｂ、生成部３０３ｃ及び補正部３０３ｄのそれぞれは、実施例１の記憶部１０３ａ、取得部１０３ｂ、生成部１０３ｃ及び補正部１０３ｄと同様である。通信部３０３ｅは制御装置３０４から送信される要求を受信する機能と、画像推定装置３０３によって生成された出力画像を制御装置３０４に送信する機能を有する。

制御装置３０４は、通信部（送信手段）３０４ａ、表示部３０４ｂ、処理部３０４ｃ、及び記録部３０４ｄを有する。通信部３０４ａは撮像画像に対する処理を画像推定装置３０３に実行させるための要求を画像推定装置３０３に送信する機能と、画像推定装置３０３によって処理された出力画像を受信する機能を有する。表示部３０４ｂは種々の情報を表示する機能を有する。表示部３０４ｂによって表示される情報は、例えば画像推定装置３０３に送信する撮像画像と、画像推定装置３０３から受信した出力画像を含む。処理部３０４ｃは画像推定装置３０３から受信した出力画像に対してさらに画像処理を施す機能を有する。記録部３０４ｄは、撮像装置３０２から取得した撮像画像、画像推定装置３０３から受信した出力画像等を記録する。

次に、本実施例における画像処理について説明する。本実施例における画像処理は、制御装置３０４を介してユーザにより画像処理開始の指示によって処理が開始され、画像処理は、画像推定装置３０３において実行される。

まず、制御装置３０４の動作について説明する。ステップＳ４０１において、制御装置３０４は撮像画像に対する処理の要求を画像推定装置３０３へ送信する。なお、処理の対象である撮像画像を画像推定装置３０３に送信する方法は問わない。例えば、撮像画像はＳ４０１と同時に画像推定装置３０３にアップロードされてもよいし、ステップＳ４０１以前に画像推定装置３０３にアップロードされていてもよい。また、撮像画像は画像推定装置３０３とは異なるサーバ上に記憶された画像でもよい。なお、ステップＳ４０１において、制御装置３０４は撮像画像に対する処理の要求と共に、ユーザを認証するＩＤ情報等を送信してもよい。

ステップＳ４０２において、制御装置３０４は画像推定装置３０３内で生成された出力画像を受信する。出力画像は実施例１と同様に撮像画像と推定画像とを加重平均することで得られた補正画像である。

次に、画像推定装置３０３の動作について説明する。ステップＳ５０１において、画像推定装置３０３は制御装置３０４から送信された撮像画像に対する処理の要求を受信する。画像推定装置３０３は、撮像画像に対する処理の要求に基づいて、ステップＳ５０２以降の処理を実行する。本実施例におけるウエイト情報は、実施例１と同様の方法（図４）で学習された情報（学習済みモデル）である。画像推定装置３０３は、学習装置３０１からウエイト情報を取得してもよいし、予め学習装置３０１から取得され記憶部３０３ａに記憶されたウエイト情報を取得してもよい。

ステップＳ５０２からステップＳ５０３は実施例１のステップＳ２０１からステップＳ２０２と同様である。

Ｓ５０４において生成部３０３ｃは、ゲインマップ（第４の重みマップ）を生成する。本実施例においてゲインマップは、撮像画像又は推定画像に基づいて生成する。生成部３０３ｃは、撮像画像又は推定画像に対して、必要に応じて実施例１と同様に各処理（例えばデモザイキング処理、ホワイトバランス調整、正規化処理）を行い、応答関数を用いてゲインマップを生成する。

ここで、図１９に本実施例における応答関数を示す。図１９において横軸はスケーリング後の２次元データ、縦軸は重みマップの調整値である。また本実施例における応答関数の閾値を０．２、０．３、０．８、及び０．９に設定している。図１９に示すように０．２以下又は０．９以上の場合推定画像の重みは０であり、０．３以上かつ０．８以下の場合推定画像の重みは１である。また、上記以外の区間において重みは線形に変化している。なお、閾値の値はこれに限定されない。閾値の設定によって推定画像の重みが大きい領域を多くすることで、より収差の少ない補正画像を取得することができる。一方で、閾値の設定によって推定画像の重みが小さい領域を多くすることで、より収差補正による弊害の少ない補正画像を取得することができる。このような応答関数を用いることで、ぼけ補正により得られた補正画像に生じる弊害を低減するために、低輝度及び高輝度領域の推定画像の重みを小さくすることができる。なお応答関数は、補正効果に関する情報に基づいて生成されてもよい。また、複数のゲインマップを生成する他の実施例と比較して演算量を低減することができる。

ステップＳ５０５において、画像推定装置３０３は出力画像を制御装置３０４へ送信する。

以上、述べてきた補正処理を実行することで、ゲインマップを用いて撮像画像と推定画像に基づいて補正画像を生成することで、ぼけ補正の効果を維持しつつ、ぼけ補正による弊害を低減することができる。なお、本実施例において制御装置３０４は特定の画像に対する処理を要求するのみである。実際の画像処理は画像推定装置３０３によって行われる。このため、制御装置３０４をユーザ端末とすれば、ユーザ端末による処理負荷を低減することが可能となる。したがって、ユーザ側は低い処理負荷で出力画像を得ることが可能となる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、ぼけ補正の効果を維持しつつ、ぼけ補正による弊害を低減することが可能な画像処理方法、画像処理装置、及びプログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明の実施形態は以下の方法、構成、及びプログラムを含む。

［方法１］
第１の画像を鮮鋭化することで第２の画像を生成し、
前記第１の画像に基づいて第１の重みマップを生成し、
前記第１の画像に基づいて第１の重みマップを生成し、
前記第１及び第２の画像と、前記第１及び第２の重みマップとに基づいて第３の画像を生成し、
前記第１及び第２の重みマップは、前記第３の画像の生成における前記第１又は第２の画像の重みを示すことを特徴とする画像処理方法。

［方法２］
前記第２の画像は、機械学習モデルを用いて前記第１の画像を鮮鋭化することで生成されることを特徴とする方法１に記載の画像処理方法。

［方法３］
第１及び第２の重みマップから第３の重みマップを生成する工程を有し、
前記第３の重みマップを用いて、前記第１の画像と前記第２の画像とを加重平均することで前記第３の画像を生成することを特徴とする方法１に記載の画像処理方法。

［方法４］
前記第１の画像と前記第２の画像と前記第１の重みマップとに基づいて中間補正画像を生成し、
前記第１の画像と前記第２の重みマップと前記中間補正画像とに基づいて前記第３の画像を生成することを特徴とする方法１に記載の画像処理方法。

［方法５］
前記第１の画像と前記第２の画像とにホワイトバランス調整を行うことを特徴とする方法１に記載の画像処理方法。

［方法６］
前記第１の画像と前記第２の画像とにデモザイキング処理を行うことを特徴とする方法１に記載の画像処理方法。

［方法７］
第１の画像を鮮鋭化することで第２の画像を生成し、
応答関数と、前記第１の画像の画素値又は前記第２の画像の画素値とに基づいて重みマップを生成し、
前記第１及び第２の画像と、前記重みマップとに基づいて第３の画像を生成し、
前記応答関数は、補正強度に関する情報に基づいて生成され、前記第１の画像の画素値又は前記第２の画像の画素値と前記重みマップの調整値との関係を示すことを特徴とする画像処理方法。

［方法８］
前記第１の重みマップは、前記第１の画像の画素値と前記第１の重みマップの調整値との関係を示す第１の応答関数を用いて生成され、
前記第２の重みマップは、前記第２の画像の画素値と前記第２の重みマップの調整値との関係を示す第２の応答関数を用いて生成されることを特徴とする方法１乃至６の何れか一項に記載の画像処理方法。

［方法９］
前記第１の応答関数において前記第１及び第２の画像の重みが等しくなるときの前記第１の画像の画素値よりも、前記第２の応答関数において前記第１及び第２の画像の重みが等しくなるときの前記第２の画像の画素値の方が大きいことを特徴とする方法８に記載の画像処理方法。

［方法１０］
前記第１及び第２の重みマップは、前記第１の画像を取得する際に用いられた光学系の性能に関する情報を用いて生成されることを特徴とする方法１乃至６の何れか一項に記載の画像処理方法。

［方法１１］
前記光学系の性能に関する情報は、前記光学系の点像分布関数又は光学伝達関数であることを特徴とする方法１０に記載の画像処理方法。

［プログラム１２］
方法１乃至１１の何れか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

［構成１３］
プログラム１２に記載のプログラムを記憶していることを特徴とする記憶媒体。

［構成１４］
方法１乃至１１の何れか一項に記載の画像処理方法を実行可能な処理手段を有することを特徴とする画像処理装置。

［構成１５］
互いに通信可能な制御装置と構成１４に記載の画像処理装置とを有する画像処理システムであって、
前記制御装置は、前記第１の画像に対する処理の実行に関する要求を前記画像処理装置へ送信する手段を有することを特徴とする画像処理システム。

Ｓ２０２ 第１の工程
Ｓ２０３ 第２の工程
Ｓ２０４ 第３の工程

Claims (15)

1. 第１の画像を鮮鋭化することで第２の画像を生成し、
   前記第１の画像に基づいて第１の重みマップを生成し、
   前記第１の画像に基づいて第１の重みマップを生成し、
   前記第１及び第２の画像と、前記第１及び第２の重みマップとに基づいて第３の画像を生成し、
   前記第１及び第２の重みマップは、前記第３の画像の生成における前記第１又は第２の画像の重みを示すことを特徴とする画像処理方法。
2. 前記第２の画像は、機械学習モデルを用いて前記第１の画像を鮮鋭化することで生成されることを特徴とする請求項１に記載の画像処理方法。
3. 第１及び第２の重みマップから第３の重みマップを生成する工程を有し、
   前記第３の重みマップを用いて、前記第１の画像と前記第２の画像とを加重平均することで前記第３の画像を生成することを特徴とする請求項１に記載の画像処理方法。
4. 前記第１の画像と前記第２の画像と前記第１の重みマップとに基づいて中間補正画像を生成し、
   前記第１の画像と前記第２の重みマップと前記中間補正画像とに基づいて前記第３の画像を生成することを特徴とする請求項１に記載の画像処理方法。
5. 前記第１の画像と前記第２の画像とにホワイトバランス調整を行うことを特徴とする請求項１に記載の画像処理方法。
6. 前記第１の画像と前記第２の画像とにデモザイキング処理を行うことを特徴とする請求項１に記載の画像処理方法。
7. 第１の画像を鮮鋭化することで第２の画像を生成し、
   応答関数と、前記第１の画像の画素値又は前記第２の画像の画素値とに基づいて重みマップを生成し、
   前記第１及び第２の画像と、前記重みマップとに基づいて第３の画像を生成し、
   前記応答関数は、補正強度に関する情報に基づいて生成され、前記第１の画像の画素値又は前記第２の画像の画素値と前記重みマップの調整値との関係を示すことを特徴とする画像処理方法。
8. 前記第１の重みマップは、前記第１の画像の画素値と前記第１の重みマップの調整値との関係を示す第１の応答関数を用いて生成され、
   前記第２の重みマップは、前記第２の画像の画素値と前記第２の重みマップの調整値との関係を示す第２の応答関数を用いて生成されることを特徴とする請求項１乃至６の何れか一項に記載の画像処理方法。
9. 前記第１の応答関数において前記第１及び第２の画像の重みが等しくなるときの前記第１の画像の画素値よりも、前記第２の応答関数において前記第１及び第２の画像の重みが等しくなるときの前記第２の画像の画素値の方が大きいことを特徴とする請求項８に記載の画像処理方法。
10. 前記第１及び第２の重みマップは、前記第１の画像を取得する際に用いられた光学系の性能に関する情報を用いて生成されることを特徴とする請求項１乃至６の何れか一項に記載の画像処理方法。
11. 前記光学系の性能に関する情報は、前記光学系の点像分布関数又は光学伝達関数であることを特徴とする請求項１０に記載の画像処理方法。
12. 請求項１乃至７の何れか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
13. 請求項１２に記載のプログラムを記憶していることを特徴とする記憶媒体。
14. 請求項１乃至７の何れか一項に記載の画像処理方法を実行可能な処理手段を有することを特徴とする画像処理装置。
15. 互いに通信可能な制御装置と請求項１４に記載の画像処理装置とを有する画像処理システムであって、
    前記制御装置は、前記第１の画像に対する処理の実行に関する要求を前記画像処理装置へ送信する手段を有することを特徴とする画像処理システム。

Images