JP7407604B2 - 推論装置、学習装置、推論方法、学習方法、及びプログラム - Google Patents

Description

本発明は、推論装置、学習装置、推論方法、学習方法、及びプログラムに関する。

デジタルカメラで取得する画像センサのデータであるＲＡＷ画像は、撮影後の画像編集の自由度が高いことから、デジタルカメラを使用する者の中でも特に上級者によって好んで使われている。

一方で、ＲＡＷ画像は記録に必要なデータ量が膨大になるデメリットもあり、この問題を解決するために、ＲＡＷ画像を圧縮して記録するデジタルカメラが普及し始めている。ＲＡＷ画像の圧縮処理は、データ量をできるだけ小さく、かつ主観画質をできるだけ損なわないことが望ましい。

ところで、近年ニューラルネットワークを用いたディープラーニング技術が幅広い技術分野で応用されており、画像の高画質化もその応用の１つである。圧縮ＲＡＷデータの復号後の復号画像に、ディープラーニングを用いた高画質化処理を適用することで、より高い圧縮率で主観画質の劣化を小さくすることができる。

しかし、ＲＡＷ画像は、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマット等の一般的な画像データと異なり、ユーザが鑑賞するために現像処理を要する。

特許文献１は、ＲＡＷ画像から生成される現像画像の審美性を高める技術として、ＲＡＷ画像で特徴量を算出し、機械学習によって審美性の高い現像パラメータを決定する技術を開示している。

特開２０１６－１６２４２１号公報

ＲＡＷ画像のユーザは、明るさを調整する、色相を調整するなどして、ユーザが求める画像を現像処理によって実現する。このとき、明るさを変えた現像画像と色相を変えた現像画像とは画素値の異なる別の画像であって、現像処理の方法次第でＲＡＷ画像の画素値は様々に変更される。そのため、ＲＡＷ画像の状態だけでディープラーニングの学習をさせても現像処理を見据えた最適化はできない。

しかしながら、特許文献１の技術は現像パラメータの変更によって審美性を高める技術であるため、現像パラメータを自動で決定してしまう。そのため、ユーザの望む現像パラメータで現像処理を行うことができなくなり、ＲＡＷ画像を記録するメリットが失われてしまう。

本発明はこのような状況に鑑みてなされたものであり、ユーザが現像パラメータを決定することを可能としつつ、決定された現像パラメータに適した推論により、画質を低下させる処理が適用されたＲＡＷ画像の画質を改善する技術を提供することを目的とする。

上記課題を解決するために、本発明は、現像パラメータを決定する決定手段と、画像に対して推論パラメータに基づく推論を行う学習モデルに適用する推論パラメータを選択する選択手段と、前記学習モデルを用いて、画質を低下させる処理が適用された第１のＲＡＷ画像に対して前記選択された推論パラメータに基づく推論を行うことにより、画質が改善された第２のＲＡＷ画像を生成する生成手段と、前記第２のＲＡＷ画像に対して前記決定された現像パラメータに基づく現像処理を行う現像手段と、を備え、前記選択手段は、前記学習モデルに適用する推論パラメータとして、事前に複数の現像処理それぞれについて前記学習モデルの学習を行うことにより得られた複数の学習済み推論パラメータの中から、前記決定された現像パラメータに基づく前記現像処理に対応する学習済み推論パラメータを選択することを特徴とする推論装置を提供する。

本発明によれば、ユーザが現像パラメータを決定することを可能としつつ、決定された現像パラメータに適した推論により、画質を低下させる処理が適用されたＲＡＷ画像の画質を改善することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

画像処理装置１００の構成を示すブロック図。 画像処理装置２００の構成を示すブロック図。 推論処理を含む現像処理のフローチャート。 現像の画素調整による画像の変化と現像処理内容との関係の例を示した図。 現像処理を分類する処理のフローチャート。 画像処理装置６００の構成を示すブロック図。 係数パラメータ最適化部２０３の処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
＜画像処理装置１００の構成＞
図１は、画像処理装置１００の構成を示すブロック図である。図１において、復号部１０１は、非可逆の圧縮方式で圧縮されたＲＡＷデータ（圧縮ＲＡＷデータ）を復号することにより、画質が低下したＲＡＷ画像である復号ＲＡＷ画像を生成する。圧縮ＲＡＷデータは、静止画像であってもよいし、動画像であってもよい。

現像処理決定部１０５は、現像処理の内容を決定し、現像処理部１０３及び係数パラメータ選択部１０４に通知する。例えば、現像処理決定部１０５は、予めプログラムされた、明度と色相を一定量変更するといった固定的な現像処理セットに対応する複数のパターンを保持し、複数のパターンからのユーザによる選択に従って現像処理の内容を決定する。或いは、現像処理決定部１０５は、ユーザが任意に指定した処理内容に従って現像処理の内容を決定してもよい。

なお、デモザイク処理やＹＵＶ変換等の処理も広義の現像処理に含まれるが、本実施形態で述べる現像処理は、画像の明るさや色相など、画像処理装置１００のユーザが任意に内容を変更可能な処理を示している。

画質改善処理部１０２は、ニューラルネットワークを含み、係数パラメータ選択部１０４により選択された予め学習済みの係数パラメータを用いて、復号ＲＡＷ画像に対して画質改善を目的とする推論処理を行い、画質改善ＲＡＷ画像を生成する。

以下の説明において、画質改善処理部１０２のニューラルネットワークは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）及び全結合層で構成されるものとするが、本実施形態はこの構成に限定されない。また、上述の係数パラメータは、全結合層では各層のノード間を結ぶエッジ毎に持つ重みやバイアスに相当し、ＣＮＮではカーネルの重みやバイアスに相当する。以下の説明において、ニューラルネットワークの学習により更新されるパラメータを総称して係数パラメータと呼ぶ。

係数パラメータ選択部１０４は、現像処理決定部１０５で決定した現像処理の内容に基づき、予め学習済みの複数の係数パラメータの中から、使用する係数パラメータを選択する。

画質改善処理部１０２のニューラルネットワークの学習方法、及び、使用する係数パラメータの選択方法の詳細は後述する。

現像処理部１０３は、現像処理決定部１０５で決定した現像処理の内容に基づき、画質改善ＲＡＷ画像に現像処理を施し、現像画像を生成する。

制御部１０６は、制御プログラムを格納したＲＯＭと、制御プログラムの実行時にワークメモリとして使用するＲＡＭとを含み、制御プログラムに従って画像処理装置１００の各部の動作を制御する。

ＲＡＷ画像はデータサイズが大きい。元のＲＡＷ画像を圧縮ＲＡＷデータに変換することによりデータサイズを小さくすることができるが、復号ＲＡＷ画像の画質は元のＲＡＷ画像よりも低い。そのため、復号ＲＡＷ画像に対応する現像画像の画質も元のＲＡＷ画像に対応する現像画像の画質よりも低い。図１に示す構成を持つ画像処理装置１００を用いることにより、ＲＡＷ画像のデータサイズを小さくしつつ、復号ＲＡＷ画像の画質を改善して現像画像の画質を向上されることが可能になる。

＜画質改善処理部１０２のニューラルネットワークの学習方法＞
画像編集を行うユーザは、様々な現像方法を駆使して自分好みの現像画像を生成する。現像処理の内容に応じて復号ＲＡＷ画像の画質改善方法（即ち、画質改善処理部１０２が使用する係数パラメータ）を変更することにより、現像画像の画質を向上させることができる。

例えば、明度を上げる現像の場合、画素レベルが上がるため、撮像センサ起因のノイズや圧縮時の量子化誤差等も同様にそのレベルが上がり、画質劣化が視認し易くなる。他の例として、ホワイトバランスを調整する現像の場合、色相が変更されるため、圧縮によりＲＡＷ画像において色成分間の偏りが大きくなっていると、現像画像において色ずれが生じ易くなり画像劣化が視認し易くなる。このように、現像処理の内容によって画質劣化の種類は変化するため、現像処理の内容によって最適な画質改善方法は異なる。

そこで、本実施形態では、ニューラルネットワークに与える係数パラメータを、現像処理の内容毎（現像パラメータ毎）に変更することで、画質改善方法を変更する構成を採用する。これを実現するために、画質改善処理部１０２のニューラルネットワークの学習は、現像パラメータ毎に実施される。

図２は、ニューラルネットワークの学習を行う画像処理装置２００の構成を示すブロック図である。推論装置として機能する画像処理装置１００（図１）と学習装置として機能する画像処理装置２００（図２）とは、統合された１つの画像処理装置として実装されてもよい。

なお、図２においては、現像処理部１０３は明度を上げる現像を行い、明度向上用の係数パラメータを取得する場合を例に説明を行うが、本実施形態の学習は明度を上げる現像に限定されず、他の現像処理にも適用することができる。

ところで、現像処理の種類は非常に多く、各現像処理に対して係数パラメータを用意しようとすれば、係数パラメータの数が膨大になる。例えば、明度を変化させる現像だけでも、変化に複数の段階があればその数だけ係数パラメータを用意する必要がある。また、明度を無段階に変更可能な場合もある。

そこで、例えば明度に関する現像パラメータについて、０が明度調整しない場合に対応し、正の値が明度を上げる場合に対応し、負の値が明度を下げる場合に対応するものとする。そして、明度を上げる現像を行う場合と明度を下げる現像を行う場合とをそれぞれグループ化して２つのグループを規定する。このようなグループ化を行えば、仮にグループ化を行わない場合には複数段階又は無段階に用意する必要のあった係数パラメータを、明度向上用の係数パラメータ及び明度減少用の係数パラメータの２つにまとめることが可能である。

図２において、符号化部２０１は、非圧縮ＲＡＷ画像を非可逆の圧縮方式で圧縮符号化し、圧縮ＲＡＷデータを生成する。符号化部２０１は、画像処理装置１００に入力する圧縮ＲＡＷデータを生成するデジタルカメラの符号化部と同じ圧縮処理を行うように構成される。

図２の現像処理部１０３の機能は、図１の現像処理部１０３の機能と同じである。但し、図２においては、現像処理部１０３は、画質改善ＲＡＷ画像及び非圧縮ＲＡＷ画像それぞれに対して同じ現像処理を行い、画質改善現像画像と、オリジナル現像画像とを生成する。

画質比較部２０２は、画質改善現像画像の画質とオリジナル現像画像の画質とを比較し、比較結果を係数パラメータ最適化部２０３へ通知する。比較結果は、例えば平均二乗誤差（ｍｓｅ： ｍｅａｎ ｓｑｕａｒｅｄ ｅｒｒｏｒ）であるがこれに限定されず、画質を示す指標を比較結果として用いることができる。係数パラメータ最適化部２０３は、学習開始時に任意の係数パラメータを初期値として設定し、その後、学習の度にｍｓｅが小さくなるように係数パラメータを更新する。

なお、ある任意のＲＡＷ画像に対して所定の現像処理を行い、ｍｓｅにより係数パラメータを更新するまでを１学習とする。

本実施形態において、係数パラメータ最適化部２０３は、誤差逆伝搬法により係数パラメータの変化量である勾配を取得し、パラメータ最適化手法として確率的勾配降下法で係数パラメータを更新するものとする。

なお、図２で例に挙げる明度向上用の係数パラメータのように、複数の現像処理をまとめて１つの係数パラメータを取得する学習の場合、１つのＲＡＷ画像に対して明度を向上する方向の現像を予めまとめた現像処理全てで学習を行うことを、１学習単位とする。この学習単位で繰り返し学習を行うことで、明度向上用の係数パラメータを得ることが可能である。

以上の構成で学習を繰り返すことで、特定の現像処理（図２の例では明度向上）に対応する係数パラメータを生成することができる。

なお、明度を上げる現像処理のように強度（画素調整の度合い）を変更可能な種類の画像処理を含む現像処理について学習を行う場合、係数パラメータ最適化部２０３は学習の間に、複数の強度それぞれについて現像処理が行われるように制御する。

なお、係数パラメータの更新方法は、一般的なニューラルネットワークの学習方法の１つであるが、勾配の取得方法やパラメータ最適化手法は他の方式を用いてもよい。

また、ニューラルネットワークの学習に用いる非圧縮ＲＡＷ画像は、様々なバリエーションでその画像枚数は多いほどよい。また、非圧縮ＲＡＷ画像はデジタルカメラから取得した後にクロップや分割などした状態であってもよく、デジタルカメラから取得した画像を模した人工的に生成したデジタルデータであってもよい。

また、学習に用いる現像パラメータは明度に限るものではない。学習に用いる現像パラメータの種類は、現像処理部１０３で可能な現像方法の種類に相当し、それぞれの現像方法で学習を行えば、各種類に対応する係数パラメータを取得することができる。

なお、学習方法として、非圧縮ＲＡＷ画像及び復号ＲＡＷ画像を予め用意しておき、画質改善処理部１０２、現像処理部１０３、画質比較部２０２、及び係数パラメータ最適化部２０３からなる構成で学習を行う方法も利用可能である。

＜現像処理＞
次に、図３を参照して、学習により得た係数パラメータを用いて画質改善処理部１０２で推論を行う処理（推論処理）を含む、現像処理について説明する。図３は、推論処理を含む現像処理のフローチャートである。本フローチャートの各ステップの処理の統括制御は、特に断らない限り、画像処理装置１００の制御部１０６により行われる。

Ｓ３００で、現像処理決定部１０５は、設定画面を介するユーザ指示に従って、現像パラメータを決定する。以下では、決定された現像パラメータが、明度を上げ、かつ彩度を上げる現像処理を規定する場合（各々が異なる種類の画像処理を含む２以上の現像処理を規定する場合）を例に説明を行うが、本実施形態は、他の様々な現像処理に対しても同様に適用可能である。現像処理決定部１０５は、決定した現像パラメータを現像処理部１０３及び係数パラメータ選択部１０４に通知する。

Ｓ３０１で、画質改善処理部１０２は、復号ＲＡＷ画像（画質を低下させる処理が適用された第１のＲＡＷ画像）を推論対象画像として保持する。

Ｓ３０２で、係数パラメータ選択部１０４は、画質改善処理部１０２（画像に対して推論パラメータに基づく推論を行う学習モデル）に適用するｘ個の係数パラメータを選択する。具体的には、係数パラメータ選択部１０４は、図２を参照して説明したように、事前に複数の現像処理それぞれについて学習を行うことにより得られた複数の学習済み係数パラメータを保持している。係数パラメータ選択部１０４は、これら複数の学習済み係数パラメータの中から、現像パラメータに基づく現像処理に対応する学習済み係数パラメータを選択する。前述の通り、図３の例では、決定された現像パラメータは、明度を上げる現像処理及び彩度を上げる現像処理を規定する。この場合、係数パラメータ選択部１０４は、これら２つの現像処理に対応する２つの学習済み係数パラメータを選択する。より一般化して言えば、係数パラメータ選択部１０４は、２以上の現像処理に対応する２以上の学習済み係数パラメータ（２以上の学習済み推論パラメータ）を選択する。係数パラメータ選択部１０４は、選択した係数パラメータを画質改善処理部１０２に通知する。

Ｓ３０３で、画質改善処理部１０２は、推論回数をカウントする変数ｃｎｔを０に初期化する。

Ｓ３０４で、画質改善処理部１０２は、ｃｎｔがｘ（現在の例ではｘ＝２）より小さいか否かを判定する。ｃｎｔがｘより小さい場合、処理はＳ３０５に進み、そうでない場合、処理はＳ３０８に進む。

Ｓ３０５で、画質改善処理部１０２は、推論対象画像に対して係数パラメータ[ｃｎｔ]に基づく推論を行う。例えば、係数パラメータ[０]は、明度を上げる現像処理に対応する係数パラメータであり、係数パラメータ[１]は、彩度を上げる現像処理に対応する係数パラメータである。

なお、明度を上げる現像処理及び彩度を上げる現像処理のいずれを係数パラメータ[０]に関連付けてもよい。例えば、係数パラメータ[ｃｎｔ]のインデックスｃｎｔが小さいほど、画素調整が小さい現像処理に対応した係数パラメータとしてもよい。

Ｓ３０６で、画質改善処理部１０２は、推論により得られたＲＡＷ画像を新たな推論対象画像として保持する。

Ｓ３０７で、画質改善処理部１０２は、ｃｎｔを１インクリメントする。その後、画質改善処理部１０２は、再びＳ３０４の判定処理を行う。

Ｓ３０８で、画質改善処理部１０２は、最新の推論対象画像を画質改善ＲＡＷ画像（第２のＲＡＷ画像）として出力する。

Ｓ３０９で、現像処理部１０３は、画質改善ＲＡＷ画像に対して、Ｓ３００において決定された現像パラメータに基づく現像処理を行う。

このように、図３の処理によれば、画質改善処理部１０２は、復号ＲＡＷ画像に対して明度を上げる現像処理に対応した係数パラメータに基づく画質改善処理を行う。その後、画質改善処理部１０２は、推論により得られたＲＡＷ画像に対して更に、彩度を上げる現像処理に対応した係数パラメータに基づく画質改善処理を行う。換言すると、現像パラメータが２以上の現像処理を規定する場合、画質改善処理部１０２は、Ｓ３０４～Ｓ３０７の処理の繰り返しにより、復号ＲＡＷ画像に対して２以上の係数パラメータに対応する２以上の推論を直列に行う。これにより、画質改善ＲＡＷ画像（第２のＲＡＷ画像）が生成される。

以上説明したように、第１の実施形態によれば、画像処理装置２００は、ニューラルネットワーク（学習モデル）を用いて、復号ＲＡＷ画像から画質改善ＲＡＷ画像を生成する。そして、画像処理装置２００は、復号ＲＡＷ画像及び非圧縮ＲＡＷ画像（第３のＲＡＷ画像）に対して所定の現像処理（図２の例では、明度を上げる現像処理）を行う。また、画像処理装置２００は、復号ＲＡＷ画像に対応する現像画像（画質改善現像画像）の画質を非圧縮ＲＡＷ画像に対応する現像画像（オリジナル現像画像）の画質に近づけるように、ニューラルネットワークの学習を行う。そして、画像処理装置２００は、学習の結果として得られた係数パラメータ（学習済み推論パラメータ）を所定の現像処理と関連付けて記録する。

また、画像処理装置１００は、現像パラメータを決定し、ニューラルネットワーク（学習モデル）に適用する係数パラメータを選択し、復号ＲＡＷ画像に対して選択された係数パラメータに基づく推論を行うことにより、画質改善ＲＡＷ画像を生成する。そして、画像処理装置１００は、画質改善ＲＡＷ画像に対して決定された現像パラメータに基づく現像処理を行う。係数パラメータの選択に関して、画像処理装置１００は、事前に複数の現像処理それぞれについて学習を行うことにより得られた複数の係数パラメータの中から、決定された現像パラメータに基づく現像処理に対応する係数パラメータを選択する。これにより、ユーザが現像パラメータを決定することを可能としつつ、決定された現像パラメータに適した推論により復号ＲＡＷ画像の画質を改善し、現像画像の画質を向上させることが可能となる。

なお、現像パラメータの数は膨大にあり、その組み合わせの数は更に膨大になるため、組み合わせ毎に係数パラメータを保持することは難しい。本実施形態では、明度や彩度といった現像処理毎に係数パラメータを保持し、推論により得られたＲＡＷ画像に対して再帰的に推論を行うことで、少ない係数パラメータで各現像処理に対応した最適な画質改善を行うことができる。

また、本実施形態では圧縮により画質が低下したＲＡＷ画像の画質改善を行う場合を例に説明を行った。しかしながら、画質を低下させる処理は、圧縮に限定されない。例えば、解像度を小さくすることにより画質が低下したＲＡＷ画像に対して画質改善処理部１０２が超解像処理を行う場合に対しても、本実施形態の構成を同様に適用可能である。

また、本実施形態では、画像に対して推論パラメータに基づく推論を行う学習モデルの例としてニューラルネットワークを用いたが、学習モデルはニューラルネットワークに限定されない。現像処理毎に事前に学習済みの情報を用いて推論処理を行う任意のシステムが本実施形態の範疇である。

［第２の実施形態］
以下、第２の実施形態を説明する。第２の実施形態において、画像処理装置１００及び画像処理装置２００の基本的な構成は第１の実施形態と同様である（図１及び図２参照）。以下、主に第１の実施形態と異なる点について説明する。

第２の実施形態では、係数パラメータのカテゴライズ方法が第１の実施形態と異なる。
第１の実施形態では、明度を上げる現像処理や彩度を上げる現像処理のように、ユーザの指定した現像処理の方法（画像処理の種類）に基づき、その画像処理の正負の方向によって係数パラメータのカテゴライズを行った。しかしながら、現像処理の中には、その適用の前後の画素値の変化量である画素調整量が近しい現像処理の組み合わせが存在する。

図４は、現像の画素調整による画像の変化と現像処理内容との関係の例を示した図である。例えば、ノイズリダクション機能でノイズが減ることと、露光量を小さくすることによりノイズ成分がつぶれ目立たなくなることとは、ノイズ量が減少するという意味で類似する。従って、ノイズ低減を行う現像処理と露光量を小さくする現像処理とは、近しい現像処理である。また、シャープネスを強くかけることと、レンズ補正によって画像の輪郭がはっきりすることとは、空間周波数が高まるという意味で類似する。また、ホワイトバランス調整により色温度を高くすることと、色相を青側に調整することとは、色合いの調整という意味で類似する。

これらはあくまでも例に過ぎないが、このように画像の変化の関係が近い現像処理については、係数パラメータを共通化しても十分な推論性能を見込める。第２の実施形態では、上述のような現像処理の分類を行い、学習を行う。

図５は、現像処理を分類する処理のフローチャートである。本フローチャートの各ステップの処理の統括制御は、特に断らない限り、画像処理装置２００の制御部１０６により行われる。

なお、本フローチャートの処理に先立って、予め図４に示すような画素調整による画像の変化のグルーピングは行っておくものとする。本実施形態では、ノイズ量が増減するグループを例に説明を行うが、図４で示した画像の変化も含め、その他の画素調整による画像の変化も本実施形態の範疇である。

Ｓ５０１で、制御部１０６は、予め決定したグループに含まれる現像処理群を現像処理群[ｎ]としてリスト化する。現像処理群とは、ノイズリダクションや露光量調整、シャープネスといった現像単位のことを指す。なお、ｎは現像処理群の数を表す。

Ｓ５０２で、制御部１０６は、現像処理群をカウントする変数ｃｎｔＸを０に初期化する。

Ｓ５０３で、制御部１０６は、ｃｎｔＸがｎより小さいか否かを判定する。ｃｎｔＸがｎより小さい場合、処理はＳ５０４に進み、そうでない場合、本フローチャートの処理は終了する。

Ｓ５０４で、制御部１０６は、現像調整可能な総数をカウントする変数ｃｎｔＹを０に初期化する。現像調整可能な総数とは、例えば露光量調整が－５～５まで１刻みで変更可能であれば、その総数は１１である。

Ｓ５０５で、制御部１０６は、ｃｎｔＹが現像処理群［ｃｎｔＸ］の現像調整可能な総数より小さいか否かを判定する。ｃｎｔＹが現像処理群［ｃｎｔＸ］の現像調整可能な総数より小さい場合、処理はＳ５０６に進み、そうでない場合、処理はＳ５０８に進む。

Ｓ５０６で、制御部１０６は、現像処理群［ｃｎｔＸ］の現像［ｃｎｔＹ］により現像を行い、現像対象画像の画素変化量を判定し、判定結果に基づき対象現像を所定単位毎に分類する。現像［ｃｎｔＹ］は、上述の露光量調整であれば－５～５までの設定のことを指しており、本実施形態であれば、－５を現像［０］、－４を現像［１］に割り当てるように、着目した現像の変更可能な最小値から小さいインデックスで割り当てるものとする。但し、インデックスの割り当て方は特に限定されず、他の割り当て方法を用いてもよい。また、本実施形態では、画素変化量の判定を、現像対象画像の画素変化量の平均値に基づき判定するものとするが、その限りではなく、画素変化量の最大値を用いたり、平均と最大を組み合わせて利用したりしてもよい。また、所定単位毎の分類は、本実施形態では、上述の判定結果の絶対量に基づき、予め定めた変化量の範囲毎に分類するものとする。

Ｓ５０７で、制御部１０６は、ｃｎｔＹを１インクリメントする。

Ｓ５０８で、制御部１０６は、ｃｎｔＸを１インクリメントする。

以上のようにすることで、画素値の変化量（画像ノイズの増減量、空間周波数の増減量、又は色相の調整量など）に従って複数の現像処理を分類（グループ化）し、グループ毎に学習を行うことが可能である。なお、画素変化量の判定は、絶対値で判定せずともよく、全ての現像結果を確認した後に、カテゴライズ後の現像数が各分類で等分配になるように相対値で判定してもよい。

次に、画像処理装置２００は、上記分類済みの現像グループの各分類それぞれで学習を行い、分類ごとに学習済み係数パラメータを生成する。学習方法については、第１の実施形態と同じように、１つのＲＡＷ画像に対して着目した分類に含まれる現像を全て実行させることを１学習単位として、繰り返し学習させることで、着目した分類に対応する学習済み係数パラメータを得ることが可能である。

また、推論時には、画像処理装置１００は、上述のようにして得た係数パラメータを用いて、学習時と同様の分類で、現像処理に応じた係数パラメータを用いて推論を行うことで、現像画像の高画質化を実現することができる。

以上説明したように、第２の実施形態によれば、画像処理装置２００は、画像の変化の関係が近い現像処理について係数パラメータを共通化する。これにより、現像による影響を加味してより係数パラメータの数を少なくすることができ、かつ、現像内容に基づいてニューラルネットワークに利用する係数パラメータを選択して最適な推論を行うことで、高画質化を実現することができる。

［第３の実施形態］
以下、第３の実施形態を説明する。第３の実施形態において、画像処理装置１００の基本的な構成は第１の実施形態と同様である（図１及び図２参照）。以下、主に第１の実施形態と異なる点について説明する。

図６は、画像処理装置６００の構成を示すブロック図である。第３の実施形態では、画像処理装置２００の代わりに画像処理装置６００が学習装置として用いられる。なお、画像処理装置６００は画像処理装置２００を含んでもよい。

第１の実施形態と異なる点は、画質改善処理部１０２に通知する係数パラメータとして、ＲＡＷ画像を用いた学習パラメータを更に採用する点である。

図６を参照して学習方法を説明する。画像処理装置６００は、画像処理装置２００と比べて、第２の画質比較部６０１を追加的に備える。第２の画質比較部６０１は、画像品質が低下したＲＡＷ画像である画質改善ＲＡＷ画像と、画像品質が低下していないＲＡＷ画像である非圧縮ＲＡＷ画像の画質を比較し、比較結果を係数パラメータ最適化部２０３へ通知する。本実施形態では、比較結果はｍｓｅとする。

以下、画質改善現像画像とオリジナル現像画像との比較結果を現像後誤差と呼び、画質改善ＲＡＷ画像と非圧縮ＲＡＷ画像との比較結果をＲＡＷ誤差と呼ぶ。

係数パラメータ最適化部２０３は、現像処理部１０３から着目学習時の現像処理の内容を取得し、現像誤差及びＲＡＷ誤差が係数パラメータ（学習）に寄与する割合を、現像処理の内容に応じて変更する。

現像処理によっては、現像による画素調整量が小さい場合もある。例えば明度を高める現像処理群で１つの係数パラメータを生成する場合、明度の調整量が小さい現像に関して推論を行う際に、明度の調整量が大きい現像の影響が大きい学習が加味された係数パラメータを用いると、推論が外れた場合の画質改善度が小さくなる。

そこで本実施形態では、画素調整量毎に、ＲＡＷ画像の差分と現像後画像の差分の比率を変更して係数パラメータを算出する。

図７は、第３の実施形態に係る係数パラメータ最適化部２０３の処理のフローチャートである。本フローチャートの各ステップの処理の統括制御は、特に断らない限り、画像処理装置６００の制御部１０６により行われる。

Ｓ７０１で、係数パラメータ最適化部２０３は、画質比較部２０２と第２の画質比較部６０１からそれぞれ、現像後誤差、ＲＡＷ誤差を取得する。

Ｓ７０２で、係数パラメータ最適化部２０３は、現像処理部１０３から現像パラメータ（現像処理の内容）を取得する。

Ｓ７０３で、係数パラメータ最適化部２０３は、予め定めた比率で、ＲＡＷ誤差と現像後誤差の混合比率を決定する。

Ｓ７０４で、係数パラメータ最適化部２０３は、決定した混合比率によって得た着目学習の最終誤差を用いて、誤差逆伝搬法により係数パラメータの変化量である勾配を取得し、確率的勾配降下法で係数パラメータを更新する。

以上の処理によれば、例えば明度を高める現像において、明度変更の単位を１段と呼ぶ場合、予め定める割合を、１段上げる場合はＲＡＷ誤差：現像後誤差＝８０％：２０％、２段上げる場合はＲＡＷ誤差：現像後誤差＝６０％：４０％、のように指定できる。これにより、現像後誤差の寄与の割合を、画素調整量（現像処理の強度）が大きいほど大きくするように制御することが可能になる。

上述のようにして得た係数パラメータを用いて、推論時は学習時と同様の分類で、現像処理に応じた係数パラメータを用いて推論を行うことで、推論が外れ画質の改善性能が低くなることを抑制し、高画質化を実現することができる。

また、図６を用いれば、ＲＡＷ誤差１００％に対応する係数パラメータを得ることも可能である。そこで、推論時、現像処理による画素調整量が一定以下の現像処理については、第１の実施形態のように明度を上げる方向に対応する係数パラメータを有していたとしても、その係数パラメータを利用せず、ＲＡＷ誤差１００％に対応する係数パラメータを用いて推論する方法も利用可能である。

以上説明したように、第３の実施形態によれば、画像処理装置６００は、画素調整量毎に、ＲＡＷ画像の差分と現像後画像の差分とが学習に寄与する割合を変更して係数パラメータを算出する。従って、本実施形態によれば、画像品質が低下したＲＡＷ画像と、画像品質が低下する前のＲＡＷ画像の関係に基づいた推論をすることで、上述のように推論が外れ画質の改善性能が低くなることを抑制することが可能である。

なお、本実施形態では、明度を大きくする現像処理で１つの係数パラメータを生成する場合を例に取って説明したが、その限りではなく、明度１段毎に、上述のＲＡＷ誤差と現像後誤差の比率を変えて学習し、係数パラメータを生成してもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…画像処理装置、１０１…復号部、１０２…画質改善処理部、１０３…現像処理部、１０４…係数パラメータ選択部、１０５…現像処理決定部、１０６…制御部、２００…画像処理装置、２０２…画質比較部、２０３…係数パラメータ最適化部

Claims (19)

1. 現像パラメータを決定する決定手段と、
   画像に対して推論パラメータに基づく推論を行う学習モデルに適用する推論パラメータを選択する選択手段と、
   前記学習モデルを用いて、画質を低下させる処理が適用された第１のＲＡＷ画像に対して前記選択された推論パラメータに基づく推論を行うことにより、画質が改善された第２のＲＡＷ画像を生成する生成手段と、
   前記第２のＲＡＷ画像に対して前記決定された現像パラメータに基づく現像処理を行う現像手段と、
   を備え、
   前記選択手段は、前記学習モデルに適用する推論パラメータとして、事前に複数の現像処理それぞれについて前記学習モデルの学習を行うことにより得られた複数の学習済み推論パラメータの中から、前記決定された現像パラメータに基づく前記現像処理に対応する学習済み推論パラメータを選択する
   ことを特徴とする推論装置。
2. 前記決定された現像パラメータが、各々が異なる種類の画像処理を含む２以上の現像処理を規定する場合、
   前記選択手段は、前記２以上の現像処理に対応する２以上の学習済み推論パラメータを選択し、
   前記生成手段は、前記第１のＲＡＷ画像に対して前記２以上の学習済み推論パラメータに対応する２以上の推論を直列に行うことにより、前記第２のＲＡＷ画像を生成する
   ことを特徴とする請求項１に記載の推論装置。
3. 前記学習モデルはニューラルネットワークを含む
   ことを特徴とする請求項１又は２に記載の推論装置。
4. 第３のＲＡＷ画像を非可逆の圧縮方式で圧縮することにより生成される圧縮ＲＡＷデータを復号することにより前記第１のＲＡＷ画像を生成する復号手段を更に備える
   ことを特徴とする請求項１乃至３のいずれか１項に記載の推論装置。
5. 画像に対して推論パラメータに基づく推論を行う学習モデルを用いて、第３のＲＡＷ画像に対して画質を低下させる処理を適用することにより得られる第１のＲＡＷ画像から、画質が改善された第２のＲＡＷ画像を生成する生成手段と、
   前記第２のＲＡＷ画像及び前記第３のＲＡＷ画像に対して所定の現像処理を行う現像手段と、
   前記第２のＲＡＷ画像に対応する現像画像の画質を前記第３のＲＡＷ画像に対応する現像画像の画質に近づけるように、前記学習モデルの学習を行う学習手段と、
   前記学習の結果として得られた学習済み推論パラメータを前記所定の現像処理と関連付けて記録する記録手段と、
   を備えることを特徴とする学習装置。
6. 前記所定の現像処理は、強度を変更可能な所定の種類の画像処理を含み、
   前記学習手段は、前記学習において複数の強度それぞれについて前記所定の現像処理が行われるように制御する
   ことを特徴とする請求項５に記載の学習装置。
7. 前記学習手段は、複数の現像処理それぞれにより生じる画像ノイズの増減量に従って前記複数の現像処理をグループ化し、グループ毎に前記学習を行うように制御する
   ことを特徴とする請求項５に記載の学習装置。
8. 前記学習手段は、複数の現像処理それぞれにより生じる空間周波数の増減量に従って前記複数の現像処理をグループ化し、グループ毎に前記学習を行うように制御する
   ことを特徴とする請求項５に記載の学習装置。
9. 前記学習手段は、複数の現像処理それぞれにより生じる色相の調整量に従って前記複数の現像処理をグループ化し、グループ毎に前記学習を行うように制御する
   ことを特徴とする請求項５に記載の学習装置。
10. 前記学習手段は、前記第２のＲＡＷ画像に対応する現像画像と前記第３のＲＡＷ画像に対応する現像画像との間の平均二乗誤差に基づいて前記学習を行うように制御する
    ことを特徴とする請求項５乃至９のいずれか１項に記載の学習装置。
11. 前記学習手段は、前記第２のＲＡＷ画像と前記第３のＲＡＷ画像との差に更に基づいて前記学習を行うように制御する
    ことを特徴とする請求項５乃至１０のいずれか１項に記載の学習装置。
12. 前記学習手段は、前記第２のＲＡＷ画像に対応する現像画像の画質と前記第３のＲＡＷ画像に対応する現像画像の画質との差と、前記第２のＲＡＷ画像と前記第３のＲＡＷ画像との差とが、前記学習に寄与する割合を、前記所定の現像処理の強度に応じて変更するように制御する
    ことを特徴とする請求項１１に記載の学習装置。
13. 前記学習手段は、前記所定の現像処理の強度が大きいほど、前記第２のＲＡＷ画像に対応する現像画像の画質と前記第３のＲＡＷ画像に対応する現像画像の画質との差が前記学習に寄与する割合を大きくするように制御する
    ことを特徴とする請求項１２に記載の学習装置。
14. 前記学習モデルはニューラルネットワークを含む
    ことを特徴とする請求項５乃至１３のいずれか１項に記載の学習装置。
15. 前記第３のＲＡＷ画像を非可逆の圧縮方式で圧縮することにより圧縮ＲＡＷデータを生成する符号化手段と、
    前記圧縮ＲＡＷデータを復号することにより前記第１のＲＡＷ画像を生成する復号手段と、
    を更に備えることを特徴とする請求項５乃至１４のいずれか１項に記載の学習装置。
16. 推論装置が実行する推論方法であって、
    現像パラメータを決定する決定工程と、
    画像に対して推論パラメータに基づく推論を行う学習モデルに適用する推論パラメータを選択する選択工程と、
    前記学習モデルを用いて、画質を低下させる処理が適用された第１のＲＡＷ画像に対して前記選択された推論パラメータに基づく推論を行うことにより、画質が改善された第２のＲＡＷ画像を生成する生成工程と、
    前記第２のＲＡＷ画像に対して前記決定された現像パラメータに基づく現像処理を行う現像工程と、
    を備え、
    前記選択工程では、前記学習モデルに適用する推論パラメータとして、事前に複数の現像処理それぞれについて前記学習モデルの学習を行うことにより得られた複数の学習済み推論パラメータの中から、前記決定された現像パラメータに基づく前記現像処理に対応する学習済み推論パラメータを選択する
    ことを特徴とする推論方法。
17. 学習装置が実行する学習方法であって、
    画像に対して推論パラメータに基づく推論を行う学習モデルを用いて、第３のＲＡＷ画像に対して画質を低下させる処理を適用することにより得られる第１のＲＡＷ画像から、画質が改善された第２のＲＡＷ画像を生成する生成工程と、
    前記第２のＲＡＷ画像及び前記第３のＲＡＷ画像に対して所定の現像処理を行う現像工程と、
    前記第２のＲＡＷ画像に対応する現像画像の画質を前記第３のＲＡＷ画像に対応する現像画像の画質に近づけるように、前記学習モデルの学習を行う学習工程と、
    前記学習の結果として得られた学習済み推論パラメータを前記所定の現像処理と関連付けて記録する記録工程と、
    を備えることを特徴とする学習方法。
18. コンピュータを、請求項１乃至４のいずれか１項に記載の推論装置の各手段として機能させるためのプログラム。
19. コンピュータを、請求項５乃至１４のいずれか１項に記載の学習装置の各手段として機能させるためのプログラム。

Images