WO2021106853A1 - 画像処理装置、画像処理方法、学習装置、学習方法、撮像装置、及びプログラム - Google Patents

Abstract

撮像装置により得られたＲＡＷ画像の現像処理において、デモザイク処理の補間精度を向上させる。　非線形変換を行うことにより、ＲＡＷ画像データから第１の画像データを生成する。第１の画像データを用いて学習済みのニューラルネットワークを用いてＲＡＷ画像データにデモザイク処理を行うことにより、第２の画像データを生成する。第２の画像データを用いて現像処理を行う。

Description

画像処理装置、画像処理方法、学習装置、学習方法、撮像装置、及びプログラム

　本発明は画像処理装置、画像処理方法、学習装置、学習方法、撮像装置、及びプログラムに関し、特に画像に対するデモザイク処理に関する。

　デジタルカメラ等のデジタル撮像装置が有する撮像素子の各画素には、例えばＲＧＢ配列のカラーフィルタを通して、特定の波長の光が入射する。例えば、ベイヤー（Ｂａｙｅｒ）配列を持つカラーフィルタが多く利用されている。ベイヤー配列の撮像画像は、各画素がＲＧＢいずれかの色に対応する画素値のみを有している、いわゆるモザイク画像である。カメラ等が行う現像処理では、このモザイク画像に対して残り２色の画素値を補間により得るデモザイク処理及びその他の信号処理を施すことにより、カラー画像が生成される。

　従来のデモザイク処理手法としては線形補間等が知られていたが、近年、深層学習技術を応用した補間手法が提案されている。例えば非特許文献１は、ＣＮＮ（畳み込みニューラルネットワーク）を用いたデモザイク処理手法を開示している。

M. Gharbi et al. "Deep Joint Demosaicking and Denoising", Siggraph Asia 2016.

　しかしながら、非特許文献１に記載のデモザイク処理を、撮像装置により得られたＲＡＷ画像の現像処理に用いた場合、依然として偽パターンが生じることが発見された。

　本発明の一実施形態は、撮像装置により得られたＲＡＷ画像の現像処理において、デモザイク処理の補間精度を向上させることができる。

　本発明の一実施形態によれば、画像処理装置は、
　非線形変換を行うことにより、ＲＡＷ画像データから第１の画像データを生成する変換手段と、
　前記第１の画像データを用いて学習済みのニューラルネットワークを用いてＲＡＷ画像データにデモザイク処理を行うことにより、第２の画像データを生成するデモザイク手段と、
　前記第２の画像データを用いて現像処理を行う現像手段と、
　を備える。

　本発明の一実施形態は、撮像装置により得られたＲＡＷ画像の現像処理において、デモザイク処理の補間精度を向上させることができる。

　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。

一実施形態に係る画像処理装置のハードウェア構成例を示すブロック図。 一実施形態に係る画像処理装置の機能構成例を示すブロック図。 一実施形態に係る画像処理装置の機能構成例を示すブロック図。 一実施形態に係る画像処理装置の機能構成例を示すブロック図。 一実施形態に係る画像処理方法のフローチャート。 一実施形態に係る学習装置の機能構成例を示すブロック図。 一実施形態に係る学習方法のフローチャート。 ニューラルネットワークの一例を示す模式図。 ニューラルネットワークの一例を示す模式図。 ニューラルネットワークの一例を示す模式図。 ＲＡＷ画像データから正解画像を生成する方法の一例を示す模式図。 ＲＡＷ画像データから正解画像を生成する方法の一例を示す模式図。 ＲＡＷ画像データから正解画像を生成する方法の一例を示す模式図。 学習データセット構築方法の一例を示す模式図。 学習データセット構築方法の一例を示す模式図。 学習処理の流れを示す模式図。 困難データ抽出処理の流れを示す模式図。 デモザイク処理の結果を示す図。 デモザイク処理の結果を示す図。

　以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

　本願発明者は、非特許文献１に記載のデモザイク方法を、撮像装置により得られたＲＡＷ画像の現像処理に適用した場合、特にエッジ付近、とりわけ高コントラストのエッジ付近で偽パターンが発生しやすいことを発見した。本願発明者は、その理由を、現像後の画像と比較して相対的にコントラストの低いリニア色空間の画像を用いてニューラルネットワークの学習を行っているためと考えた。すなわち、リニア色空間の画像を用いた学習は、現像後の画像を用いる学習よりもエッジ部におけるデモザイク処理の補間精度が低くなり、比較的補間処理が容易なデータを用いた学習であるといえる。このため、補間処理が困難なデータを用いた十分な学習が行われていない可能性がある。特に、学習用データの中から困難データを抽出してさらなる学習を行う場合であっても、こうしてリニア色空間の画像から抽出された困難データは、相対的に補間処理が容易な学習データであるといえる。

　このような知見に鑑みてなされた以下の実施形態によれば、撮像装置により得られたＲＡＷ画像の現像処理において高精度にデモザイク処理を行うことができる。例えば、一実施形態によれば、モアレが抑制されてより広帯域化されたカラー画像を得ることができる。

［実施形態１］
　実施形態１に係る画像処理装置は、プロセッサとメモリとを備えるコンピュータにより実現することができる。図１は、実施形態１に係る画像処理装置のハードウェア構成の一例を示す。画像処理装置１００は、例えばＰＣ等のコンピュータであり、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。また、画像処理装置１００のメインバス１０９には、汎用Ｉ／Ｆ１０４を介して、カメラ等の撮像装置１０５、マウス又はキーボード等の入力装置１０６、及びメモリカード等の外部メモリ１０７が接続されている。

　ＣＰＵ１０１は、ＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）に従って動作することにより、以下のような各種処理を実現する。まず、ＣＰＵ１０１は、ＨＤＤ１０３に格納されている画像処理アプリケーションのプログラムをＲＡＭ１０２に展開して実行することにより、モニタ１０８にユーザインターフェース（ＵＩ）を表示させる。続いて、ＨＤＤ１０３又は外部メモリ１０７に格納されている各種データ、撮像装置１０５により取得された画像データ、入力装置１０６からのユーザ指示等が、ＲＡＭ１０２に転送させる。さらに、画像処理アプリケーションの処理に従って、ＲＡＭ１０２に格納されているデータを用いた演算処理がＣＰＵ１０１からの指令に基づいて行われる。演算処理の結果は、モニタ１０８に表示することができ、また、ＨＤＤ１０３又は外部メモリ１０７に格納することができる。なお、ＨＤＤ１０３又は外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。

　以下では、上記のような構成を備える画像処理装置１００において、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに入力されたＲＡＷ画像データを現像し、現像後の画像データを出力する態様について説明する。例えば図２Ａ～２Ｃに示されている、以下で説明される各部の機能は、ＣＰＵ１０１のようなプロセッサが、ＲＡＭ１０２又はＨＤＤ１０３のようなメモリに格納されたプログラムを実行することにより実現することができる。

（ニューラルネットワークについて）
　本実施形態で利用可能なニューラルネットワークの例として、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ：ＣＮＮ）について説明する。ＣＮＮは、非特許文献１で用いられており、深層学習技術を応用した画像処理技術全般で用いられている。ＣＮＮとは、学習（ｔｒａｉｎｉｎｇ又はｌｅａｒｎｉｎｇ）により生成されたフィルタを画像に対して畳み込んだ（ｃｏｎｖｏｌｕｔｉｏｎ）後で非線形演算を行うことを繰り返す技術である。フィルタは、局所受容野（Ｌｏｃａｌ　Ｒｅｃｅｐｔｉｖｅ　Ｆｉｅｌｄ：ＬＰＦ）とも呼ばれる。また、画像に対してフィルタを畳み込んだ後で非線形演算を行うことで得られる画像は、特徴マップ（ｆｅａｔｕｒｅ　ｍａｐ）と呼ばれる。また、学習は入力画像（生徒画像とも呼ぶ）と出力画像（教師画像とも呼ぶ）とのペアからなる学習データ（ｔｒａｉｎｉｎｇ　ｉｍａｇｅｓ又はｄａｔａ　ｓｅｔｓ）を用いて行われる。出力画像は、入力画像に対するＣＮＮ処理により得られることが期待されるデータ、すなわち正解データである。簡単に説明すると、入力画像から対応する出力画像へ高精度に変換可能なフィルタの値を、学習データから生成することが、学習である。その詳細については後述する。

　特徴マップが複数枚の画像から構成されている場合、畳み込みに用いるフィルタも特徴マップの枚数に応じた複数のチャンネルを有することができる。すなわち、畳み込みフィルタは、縦サイズ、横サイズ、及びフィルタ枚数に加えて、チャンネル数に応じた４次元配列で表現される。画像（又は特徴マップ）にフィルタを畳み込んだ後に非線形演算を行う１組の処理は、層（ｌａｙｅｒ）という単位で表現される。例えば、ＣＮＮ内の特定の位置にある特徴マップ及びフィルタは、先頭からｎ層目の特徴マップ及びｎ層目のフィルタ等と呼ぶことができる。また、例えばフィルタの畳み込みと非線形演算とのセットを３回繰り返すＣＮＮは、３層のネットワーク構造を有するＣＮＮと呼ぶことができる。

 このような畳み込みと非線形演算との組み合わせは、以下の式（１）で表すことができる。

　式（１）において、_Ｗｎはｎ層目のフィルタ、ｂ_ｎはｎ層目のバイアス、ｆは非線形演算子、Ｘ_ｎはｎ層目の特徴マップ、＊は畳み込み演算子を表す。なお、（ｌ）はｌ番目のフィルタ又は特徴マップであることを表している。フィルタ及びバイアスは、後述する学習により生成され、まとめてネットワークパラメータとも呼ばれる。

　非線形演算の種類は特に限定されないが、例えばシグモイド関数（ｓｉｇｍｏｉｄ　ｆｕｎｃｔｉｏｎ）又はＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔ）を用いることができる。ＲｅＬＵに従う非線形演算は以下の式（２）で表すことができる。

　すなわち、ＲｅＬＵ処理は、入力したベクトルＸの要素のうち負の要素値をゼロに変換し、正の要素値をそのままにする非線形な処理である。

　次に、ＣＮＮの学習について説明する。ＣＮＮの学習は、入力画像（生徒画像）と対応する出力画像（教師画像）との組からなる学習データに対して得られる目的関数を最小化することにより行うことができる。目的関数は、例えば以下の式（３）で表すことができる。

　ここで、目的関数であるＬは、正解（出力画像）と、推定（入力画像に対するＣＮＮ処理結果）との誤差を測る損失関数（ｌｏｓｓ　ｆｕｎｃｔｉｏｎ）である。また、Ｙ_ｉはｉ番目の出力画像、Ｘ_ｉはｉ番目の入力画像である。Ｆは、ＣＮＮの各層で行う演算（式１）をまとめて表す関数である。θは、ネットワークパラメータ（フィルタ及びバイアス）である。また、｜｜Ｚ｜｜_２はベクトルＺのＬ２ノルムを表し、簡単にいえばベクトルＺの要素の２乗和の平方根である。式（３）における目的関数では、Ｌ２ノルムの２乗が用いられている。また、ｎは学習に用いる学習データ（入力画像と出力画像とのセット）の数である。一般に、学習データの総数は多いため、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ　Ｇｒａｄｉｅｎｔ　Ｄｅｓｃｅｎｔ：ＳＧＤ）を用いた学習においては、学習データの一部をランダムに選び、目的関数の最小化のために用いることができる。このような方法によれば、多くの学習データを用いた学習における計算負荷を低減できる。

　目的関数の最小化（＝最適化）法としては、モーメンタム（ｍｏｍｅｎｔｕｍ）法、ＡｄａＧｒａｄ法、ＡｄａＤｅｌｔａ法、及びＡｄａｍ法等の様々な方法を用いることができる。例えば、以下の式（４）に従うＡｄａｍ法を採用することができる。

　式（４）において、θ_ｉ ^ｔは、ｔ回目の反復におけるｉ番目のネットワークパラメータであり、ｇはθ_ｉ ^ｔに関する損失関数Ｌの勾配である。また、ｍ及びｖはモーメントベクトルであり、αは基本学習率（ｂａｓｅ　ｌｅａｒｎｉｎｇ　ｒａｔｅ）であり、β１及びβ２はハイパーパラメータであり、εは適宜定めることができる小さな定数である。使用する最適化法は特に限定されないが、最適化法ごとに収束性の違いがあり、学習時間の違いも生じることが知られているため、用途等に応じて選択することができる。

　ＣＮＮの具体的な構成は特に限定されない。ＣＮＮを用いたネットワークの具体的な構成としては、画像認識分野で用いられるＲｅｓＮｅｔ、及び超解像分野におけるＲＥＤ－Ｎｅｔ等が挙げられる。いずれも、多層のＣＮＮを用いて、フィルタの畳み込みを何度も行うことにより、処理の高精度化が図られている。例えば、ＲｅｓＮｅｔは畳み込み層をショートカットする経路を有するネットワーク構造を有しており、１５２層の多層ネットワークにより人間の認識率に迫る高精度な認識を実現する。なお、多層のＣＮＮにより処理が高精度化する理由は、簡単にいえば、非線形演算を何度も繰り返すことによりＣＮＮが入出力間の非線形な関係を表現できるためである。

（画像処理装置の機能構成例）
　本実施形態に係る画像処理装置１００の機能構成例について、図２Ａのブロック図を参照して説明する。なお、図２Ａ～２Ｃ及び図４に示した構成は、適宜変形又は変更することが可能である。例えば、１つの機能部を複数の機能部に分割してもよいし、２つ以上の機能部を１つの機能部に統合してもよい。また、図２Ａ～２Ｃ及び図４に示す構成は、２以上の装置によって実現されてもよい。この場合、各装置は、回路又有線若しくは無線のネットワークを介して接続され、互いにデータ通信を行って協調動作を行うことで、後述する各処理を実現することができる。

　以下の説明は、図２Ａ～２Ｃ及び図４に示す機能部が処理の主体であるように記載されているが、上述のように、機能部に対応するコンピュータプログラムをＣＰＵ１０１が実行することで、この機能部の機能が実現される。なお、図２Ａ～２Ｃ及び図４に示す機能部のうち少なくとも一部が、専用のハードウェアによって実現されてもよい。また、以下では、入力画像又はＲＡＷ画像が、ベイヤー配列のＲＧＢカラーフィルタを用いて撮像されたベイヤー画像である場合について主に説明する。しかしながら、本発明に係る実施形態は、ベイヤー配列以外のカラーフィルタ配列を用いて撮像された入力画像に対しても適用可能である。また、以下では、入力画像の各画素がＲ、Ｇ、又はＢの色情報を有しており、現像により得られる画像がＲＧＢ画像である場合について説明するが、色の種類はＲＧＢに限られないし、色の種類も３つには限られない。

　取得部２０１は、入力画像を取得する。取得部２０１は、リニア色空間における互いに異なる複数の色情報の画素が配列されている入力画像（ＲＡＷ画像のデータであってもよい）を取得することができる。より具体的には、取得部２０１は、１つの画素位置に１色分のカラーフィルタが取り付けられている単板撮像素子を有するデジタル撮像装置が撮像を行うことにより生成したリニア色空間の生データを、入力画像のデータとして取得することができる。このような入力画像は、１つの画素位置に１色分のみの情報を有している。また、取得部２０１は、入力画像に対して、変換部２０２に入力するための前処理を施すことができる。例えば、取得部２０１は、入力画像に対して以下に説明する前処理のうちの１以上を行い、前処理後の入力画像を変換部２０２へと出力することができる。

　図２Ｂは、取得部２０１の機能構成例を示す。図２Ｂに示すように、取得部２０１は、前処理を行うための機能部として、ホワイトバランス適用部３０１とオフセット付与部３０２とを有していてもよい。ホワイトバランス適用部３０１は、入力画像に対してホワイトバランス適用処理を行う。例えば、ホワイトバランス適用部３０１は、式（５）に従って、ＲＡＷ画像の各画素の画素値に対して色別に異なるゲインを乗算することができる。
　Ｒａｗ_ＷＢ　＝　（Ｒａｗ－ｏｆｆｓｅｔ）×ＷＢ_{ｃｏｅｆｆ}　…（５）
　式（５）において、ＲａｗはＲＡＷ画像データの画素値を、Ｒａｗ_ＷＢはホワイトバランス処理を適用した後のＲＡＷ画像データの画素値を示す。また、ＯｆｆｓｅｔはＲＡＷ画像データの画素値に加算されているオフセット値を、ＷＢ_{Ｃｏｅｆｆ}は色ごとに決定されているホワイトバランス係数を示す。ホワイトバランス処理においては色ごとゲインが乗算されるため、ベイヤー配列の場合はＲ画素、Ｇ画素（Ｇ１及びＧ２）、Ｂ画素のそれぞれについて計算が行われる。なお、オフセット値及びその有無はＲＡＷ画像データによって異なるものであり、ＲＡＷ画像を撮像する撮像装置ごとに予め定められていてもよい。

　オフセット付与部３０２は、ホワイトバランス適用部３０１から出力されたホワイトバランス処理を適用した後のＲＡＷ画像データに対してオフセット値を付与する。例えば、ＲＡＷ画像の各画素の画素値が１３ｂｉｔ（０～８１９１）、オフセット値が２５６である場合、オフセット付与部３０２はＲＡＷ画像の各画素の画素値にオフセット値を加算することができる。この場合、オフセット付与部３０２は、１４ｂｉｔ以上（例えば１６ｂｉｔ）の画像データを出力することができる。オフセット値は、入力画像であるＲＡＷ画像のノイズ量に基づいて適切な値に決定することができる。

　なお、取得部２０１は、前処理として、入力画像に対するノイズ低減処理を行うこともできる。また、取得部２０１が取得した入力画像に対して、既にセンサ補正又は光学補正等の前処理が施されていてもよい。

　変換部２０２は、入力画像に対して非線形変換を行うことにより、第１の画像（非線形変換後の入力画像）を生成する。上述のようにエッジ付近の補間精度を向上させることを目的とする本実施形態においては、コントラストを強調する非線形変換を行うことができる。一方で、他の目的を有する実施形態においては、異なる種類の非線形変換を用いてもよい。

　変換部２０２は、例えば、少なくとも暗部のコントラストを強調する非線形変換を行うことができる。暗部のコントラストを強調する非線形変換としては、１未満のガンマ値を用いるガンマ補正が挙げられる。具体例として、変換部２０２は、入力画像に対して式（５）に従うガンマ変換を適用することができる。
　Ｏｕｔｐｕｔ　＝　Ｉｎｐｕｔ^{（１／２．２）}　…（６）
　式（６）において、Ｉｎｐｕｔが入力画像の各画素の画素値を、Ｏｕｔｐｕｔは第１の画像の対応する画素の画素値を表す。

　なお、非線形変換が適用される入力画像の各画素には、予め一定のオフセット値が付与されていてもよい。上述のように、オフセット付与部３０２は入力画像に対してオフセット値を付与することができ、この場合、変換部２０２はオフセット値が付与された入力画像に対して非線形変換を適用してもよい。このように、オフセット値が加算されている入力画像に対して非線形変換を適用することにより、入力画像にノイズがある場合においても暗部のデモザイク精度が向上する。また、入力画像にノイズがない場合であっても、オフセット値を付与することによってデモザイク精度を向上できることがある。これは、オフセット値の付与により、デモザイクされる画像データから、学習が困難な境界領域（すなわち黒レベル付近及び飽和レベル付近）の情報が減るためである。すなわち、画像データの画素値が、良好な学習が行われている（学習済みモデルが高精度に推論を行うことが可能な）範囲に近づくため、ニューラルネットワークを用いたデモザイク処理の精度が向上することが期待される。一方で、オフセット値が与えられていない入力画像に対して非線形変換処理を適用してもよい。

　デモザイク部２０３は、ニューラルネットワークを用いて第１の画像に対するデモザイク処理を行うことにより、第２の画像（デモザイク画像）を生成する。デモザイク部２０３は、学習により得られたデモザイクネットワークモデルを用いて、変換部２０２により出力された非線形変換後のＲＡＷ画像に対するデモザイク処理を行うことで、色情報が補間された多チャンネルのカラー画像データを出力することができる。本実施形態においては、デモザイク部２０３はＲ画像、Ｇ画像、及びＢ画像で構成されるＲＧＢ画像データを生成することができる。

　ここで、デモザイクネットワークモデルとは、デモザイク処理を行うように学習が行われているニューラルネットワークのアーキテクチャ及びパラメータ（係数）を意味する。ニューラルネットワークのアーキテクチャは上述のような多層ＣＮＮをベースとしたものであってもよいが、これには限定されない。本実施形態で使用可能なニューラルネットワークのアーキテクチャの例を図６Ａ、図６Ｂ、及び図６Ｃに示す。このようなネットワークモデルは、後述するように、モザイク画像（生徒画像）及びデモザイク画像（教師画像）のペアを用いた学習により得ることができる。ここで、学習において用いられるモザイク画像は、後述するように、デモザイク画像を、入力画像における、互いに異なる複数の色情報の画素の配列パターンに従ってサブサンプリングすることによって得ることができる。すなわち、入力画像を撮像した撮像装置が用いるカラーフィルタの配列パターンに従って、このサブサンプリングを行うことができる。

　逆変換部２０４及び現像部２０５は、第２の画像に対する現像処理を行う。本実施形態において逆変換部２０４は、第２の画像に対する、変換部２０２が適用した非線形変換の逆変換を行うことにより、リニア色空間の色情報を有する第３の画像を生成する。このように、変換部２０２が適用した非線形変換に対応する逆変換処理を、Ｒ画像、Ｇ画像、及びＢ画像のそれぞれに適用することにより、逆変換部２０４は、リニア色空間のＲＧＢ画像データである第３の画像を出力することができる。

　例えば、変換部２０２が式（６）に示す非線形変換を用いた場合、逆変換部２０４は式（７）に示す逆変換処理を適用することができる。
　Ｏｕｔｐｕｔ　＝　Ｉｎｐｕｔ^２．２　…（７）
　式（７）において、Ｉｎｐｕｔは第２の画像（Ｒ画像、Ｇ画像、及びＢ画像のそれぞれ）の各画素の画素値を、Ｏｕｔｐｕｔは第３の画像（Ｒ画像、Ｇ画像、及びＢ画像のそれぞれ）の対応する画素の画素値を表す。なお、オフセット付与部３０２等によってオフセット値が加算された入力画像に対して、変換部２０２が非線形変換を行っている場合、逆変換部２０４は、逆変換処理により得られた画像からこのオフセット値を減算することができる。

　現像部２０５は、逆変換部２０４により得られた第３の画像に対する現像処理を行うことができる。すなわち、現像部２０５は、逆変換部２０４から出力されたリニア色空間のＲＧＢ画像に対する現像処理を行うことにより、現像結果を生成する。

　図２Ｃは、現像部２０５の機能構成例を示す。図２Ｃに示すように、現像部２０５は、ノイズ低減処理部４０１及び画作り部４０２を有していてもよい。ノイズ低減処理部４０１は、逆変換部２０４から出力された第３の画像（例えばリニア色空間のＲＧＢ画像）に対して、ノイズ低減処理を行う。なお、入力画像にノイズがない場合、又は取得部２０１がノイズ低減処理を行っている場合は、ノイズ低減処理部４０１によるノイズ低減処理を省略してもよい。

　画作り部４０２は、ノイズ低減処理後の第３の画像（例えばリニア色空間のＲＧＢ画像）に対して画作りに必要な各種画像処理を適用することにより、最終的な現像処理結果（カラー画像）を得る。画作りのための画像処理としては、ダイナミックレンジ調整処理、ガンマ補正処理、シャープネス処理、又は色処理等が挙げられる。

　ダイナミックレンジ調整処理は、現像の際に用いる入力下限値Ｂｋと入力上限値Ｗｔとを決定する。ガンマ補正処理などのダイナミックレンジ調整処理に後続する処理においては、入力下限値Ｂｋから入力上限値Ｗｔまでの入力値が、出力値に割り当てられる。ここで、画像の輝度分布等に応じて入力下限値Ｂｋと入力上限値Ｗｔとを定めることにより、コントラストの高い現像データを得ることができる。また、入力下限値Ｂｋを大きくすることにより暗部ノイズを切り捨てることができ、入力上限値Ｗｔを大きくすることにより白とびを抑えることができる。

　ガンマ補正処理は、ガンマカーブを用いて画像全体のコントラスト及びダイナミックレンジを調整する。シャープネス処理は、画像におけるエッジを強調し、画像全体のシャープネスを調整する。色処理は、画像における色相若しくは彩度の変更、又は高輝度領域における色曲がりの抑圧を行うことができる。

　画作り部４０２が行う処理は上記のものには限られない。画作り部４０２が行う処理としては、処理の順序を変更することも含め、様々なバリエーションを採用することができる。

　次に、本実施形態に係る画像処理装置１００が行う、本実施形態に係る画像処理方法である入力画像に対する現像処理方法について、図３のフローチャートに従って説明する。ステップＳ５０１で取得部２０１は、撮像装置１０５、ＨＤＤ１０３、又は外部メモリ１０７等から、現像処理の対象となる入力画像を読み込む。ここで、取得部２０１は、上述のように、ホワイトバランス処理又はオフセット加算処理等の前処理を、入力画像に対して行うことができる。

　ステップＳ５０２で変換部２０２は、上述のように、ステップＳ５０１で取得した入力画像に対して非線形変換を行うことにより第１の画像を生成する。ステップＳ５０３でデモザイク部２０３は、上述のように、学習済みのデモザイクネットワークモデルを用いて、ステップＳ５０３で生成された第１の画像に対するデモザイク処理を行うことにより、補間された第２の画像を生成する。ステップＳ５０４で逆変換部２０４は、ステップＳ５０３で出力された第２の画像に対し、ステップＳ５０２で行った非線形変換処理に対応する逆変換処理を適用することにより、リニア色空間の第３の画像を出力する。

　ステップＳ５０５で現像部２０５は、ステップＳ５０４で出力されたリニア色空間の第３の画像に対する現像処理により、現像処理結果（カラー画像）を生成して出力する。現像処理結果の出力先は特に限定されず、例えばＨＤＤ１０３、外部メモリ１０７、又は汎用Ｉ／Ｆ１０４に接続される他の機器（例えばネットワークを介して画像処理装置１００と接続される外部機器）であってもよい。

　このように本実施形態によれば、リニア色空間の入力画像に対する非線形処理を行うことにより、高コントラスト化された非線形変換後の色空間におけるデモザイク処理が行われる。このとき、リニア色空間ではなく、高コントラスト化された非線形変換後の色空間の画像データに基づいて学習されたネットワークモデルを用いて推論（デモザイク処理）を行うことができる。このような構成により、デモザイク処理の精度を向上させることが可能になる。例えば、一実施形態によれば、モアレが抑制されてより広帯域化された現像結果（カラー画像）を得ることができる。

［実施形態２］
　実施形態１に係る画像処理装置は、学習済みのデモザイク処理用のニューラルネットワークを用いて画像の現像を行った。実施形態２に係る学習装置は、デモザイク処理用のニューラルネットワークを生成するための学習処理を行う。実施形態２に係る画像処理装置は、例えば、実施形態１に係る画像処理装置が使用可能なデモザイクネットワークモデルを生成することができる。実施形態２に係る画像処理装置は、実施形態１と同様のハードウェア構成を有することができ、その説明は省略する。

　図４を参照して、実施形態２に係る学習装置６００の機能構成例について説明する。画像取得部６０１は、リニア色空間の色情報を有する第４の画像を取得する。第４の画像の取得方法は特に限定されないが、以下では、ＲＡＷ画像データから第４の画像を生成する場合について説明する。

　画像取得部６０１は、リニア色空間の色情報を有する第４の画像であるＲＡＷ画像データを取得する。この画像データは、リニア色空間における互いに異なる複数の色情報の画素が配列されている画像である。このＲＡＷ画像データは、例えばベイヤー配列に従うカラーフィルタを有する撮像装置が撮像を行うことにより生成した生データであってもよい。

　画像生成部６０２、変換部６０３、及び学習データ生成部６０４は、第４の画像に基づいて、非線形色空間の色情報を有する教師画像と、教師画像のモザイク画像である生徒画像と、のセットを生成する。画像生成部６０２は、第４の画像から、リニア色空間の教師画像を生成する。例えば、画像生成部６０２は、１つの画素位置に１色分のみの情報を有するＲＡＷ画像データに基づいて、残り２色の情報を補間することにより、リニア色空間のＲＧＢ画像を正解画像として生成することができる。

　ところで、後述するように変換部６０３は、リニア色空間の教師画像に対して非線形変換を行うことにより、学習に用いられる教師画像を生成する。したがって、高品質な画像、例えば偽色が少ないリニア色空間の教師画像を用いることにより、学習により得られるニューラルネットワークを用いたデモザイク処理の精度が向上することが期待される。そこで、本実施形態において、画像生成部６０２は、以下の方法を用いて、第４の画像から、第５の画像であるリニア色空間の教師画像を生成することができる。この教師画像は、ＲＧＢ画像のような、各画素が複数の色情報を有している画像である。

　例えば、画像生成部６０２は、図７Ａ～７Ｃに示すように第４の画像を縮小することにより、リニア色空間の教師画像を生成することができる。図７Ａの例においては、ＲＡＷ画像の４×４画素ブロックが１画素に対応するように、解像度を１／４に縮小されたＲＧＢ画像が、教師画像として生成されている。この場合、１画素の画素値を対応する４×４画素ブロックに含まれる画素値から求めることができるため、偽色の発生を抑えることができる。具体的には、図７Ｂに示すように、教師画像の１画素のＲ画素値、Ｇ画素値、及びＢ画素値は、第４の画像の対応する４×４画素ブロックに含まれるＲ画素値、Ｇ画素値、及びＢ画素値から算出することができる。ここで、図７Ｂに示すように偶数サイズの画素ブロックを１画素に縮小する場合、ブロックの中心に対して同じ色の画素が均一に分布しない。このため、図７Ｂに示すように、教師画像の１画素の画素値は、画素ブロックに含まれる同色の画素値を重み付け合成することにより得ることができる。また、図７Ｃに示すように奇数サイズの画素ブロックを１画素に縮小する場合、ブロックの中心に対して同じ色の画素が均一に分布する。このため、図７Ｃに示すように、教師画像の１画素の画素値は、画素ブロックに含まれる同色の画素値を平均することにより得ることができる。もっとも、具体的な縮小方法は特に限定されない。

　また、画像生成部６０２は、デモザイク処理を用いることにより、第４の画像からリニア色空間の教師画像を生成してもよい。使用するデモザイク手法は特に限定されないが、画像生成部６０２は、偽色の発生を抑制できるデモザイク手法を用いるか、又は、発生した偽色を低減する処理を行うことができる。

　また、画像生成部６０２は、上記のように縮小された画像、又はデモザイク処理により補間された画像に対して、さらにバイキュービック補間等の手法を用いた縮小処理を行うことができる。このような縮小処理により、歪曲収差等の影響を減らすことができる。ここで、正解画像として偽色又はモアレが少ない画像を用意するために、縮小においてはエイリアシングが発生しにくい縮小方法を用いることができる。

　なお、ここでは、画像取得部６０１がベイヤー画像のようなモザイク画像を取得し、画像生成部６０２がモザイク画像をＲＧＢ画像（すなわち各画素がＲ画素値、Ｇ画素値、及びＢ画素値を有する画像）に変換する場合について説明した。しかしながら、画像取得部６０１は、ＲＧＢ画像のような、各画素が複数の色情報を有している画像を取得してもよい。例えば、画像取得部６０１は、三板式の撮像装置を用いて撮像したリニア色空間のＲＧＢ画像を取得してもよい。この場合には、画像生成部６０２を省略することができる。

　変換部６０３は、画像生成部６０２が生成したリニア色空間の教師画像に対して非線形変換を行うことにより、非線形色空間の教師画像を生成する。この処理は、実施形態１の変換部２０２と同様に行うことができる。

　学習データ生成部６０４は、変換部６０３が生成した非線形色空間の教師画像のモザイク化処理により、モザイク画像である生徒画像を生成する。学習データ生成部６０４は、図８Ａに示すように、教師画像であるＲ画像、Ｇ画像、及びＢ画像のそれぞれについて、カラーフィルタ配列に基づくサブサンプリングを行うことにより、生徒画像を生成することができる。ここでは、学習後のニューラルネットワークを用いたデモザイク処理の対象となるＲＡＷ画像を撮像する撮像装置が有するカラーフィルタの配列を、サブサンプリングのために参照することができる。

　画像生成部６０２、変換部６０３、学習データ生成部６０４は、画像取得部６０１が取得した複数の画像を含む画像群に対して上述の処理を行うことにより、生徒画像群及び対応する教師画像群を生成することができる。学習データ生成部６０４は、図８Ｂに示すように、生徒画像群と教師画像とのセットを複数含む学習データセットを生成することができる。なお、学習データセットには教師画像群のみが含まれていてもよい。この場合、後述する学習部６０５は、学習データ生成部６０４と同様に教師画像から生徒画像を生成することができる。

　学習部６０５は、学習データ生成部６０４が生成した学習データセットを用いてニューラルネットワークの学習を行うことにより、プレ学習済みモデルを生成する。具体的には、学習部６０５は、学習データセットから正解画像群と生徒画像群を取り出し、生徒画像群に対してニューラルネットワークを用いたデモザイク処理を行う。次に学習部６０５は、ニューラルネットワークからの出力結果（生徒画像から得られたデモザイク画像）と教師画像とを比較し、誤差をフィードバックするようにニューラルネットワークのパラメータを更新する。そして、学習部６０５は、更新されたニューラルネットワークを用いて同様の処理を行うことにより、ニューラルネットワークのパラメータをさらに更新し続けていく。具体的なパラメータの更新方法は、既に実施形態１で説明した。学習部６０５は、選択された最適化手法に基づいて、既定の条件を満たすまでパラメータの更新を繰り返すことにより、プレ学習済みモデルを生成する。以上の処理のデータの流れを図９に示す。

　学習部６０５によって学習されたニューラルネットワークはデモザイク処理のために使用可能であるが、本実施形態においては処理精度を高めるために、プレ学習済みモデルに対してさらなる学習が行われる。困難データ生成部６０６は、学習データセットのうち一部を選択することにより、新しい学習データセットを生成する。ここで選択される学習データは、精度の高いデモザイク処理が困難である生徒画像と教師画像とのセットであり、困難データと呼ばれる。

　困難データ生成部６０６は、例えば、プレ学習済みモデルを用いた生徒画像に対するデモザイク処理の結果と、生徒画像に対応する教師画像と、の差分に基づいて、困難データを抽出することができる。具体的には、困難データ生成部６０６は、学習部６０５により得られたプレ学習済みモデルを用いて、学習データセットに含まれる生徒画像群に対する推論（デモザイク）処理を行うことにより、デモザイク画像群を得る。困難データ生成部６０６は、得られたデモザイク画像と、学習データセットに含まれる対応する教師画像とを、定量評価手法に基づいて比較することにより、知覚的な差異が大きい画像群を抽出することができる。定量評価手法としては、例えば非特許文献１で用いられている方法を採用することができる。定量評価手法の具体例としては、輝度アーティファクトの発生量を示す指標及び色モアレの発生量を示す指標に基づき、何れかの発生量が基準値を超える生徒画像と教師画像とのセットを、困難データとして抽出することができる。以上の処理のデータの流れを図１０に示す。

　そして学習部６０５は、困難データ生成部６０６が生成した学習データセットを用いて、再度デモザイク処理を行うニューラルネットワークの学習を行う。具体的な学習方法は上述の通りである。ここで、学習部６０５は、困難データ生成部６０６が生成した学習データセットを用いて、プレ学習済みモデルのさらなる学習を行ってもよい。すなわち、学習部６０５は、プレ学習モデルのファインチューニングを行ってもよい。この場合、処理精度を向上させるために、学習部６０５は、プレ学習モデルの各層の重みを初期値として用いながら、全層についての重みの再学習を行うことができる。

　次に、本実施形態に係る学習装置６００が行う、本実施形態に係る学習方法について、図５のフローチャートに従って説明する。ステップＳ７０１で画像取得部６０１は、撮像装置１０５、ＨＤＤ１０３、又は外部メモリ１０７等からＲＡＷ画像群を取得する。ステップＳ７０２で画像生成部６０２は、ステップＳ７０１で取得されたＲＡＷ画像群から、上述のようにリニア色空間の教師画像群を生成する。ステップＳ７０３で変換部６０３は、ステップＳ７０２で得られたリニア色空間の教師画像群に対する非線形変換により、上述のように非線形色空間の教師画像群を生成する。ステップＳ７０４で学習データ生成部６０４は、ステップＳ７０３で得られた非線形色空間の教師画像群に対するカラーフィルタ配列に基づくサブサンプリングにより、上述のように生徒画像群を生成する。ステップＳ７０５で学習データ生成部６０４は、上述のように、ステップＳ７０３で得られた教師画像群と、ステップＳ７０４で得られた生徒画像群とがペアとなっている学習データセットを生成する。

　ステップＳ７０６で学習部６０５は、ステップＳ７０４で得られた学習データセットを用いてニューラルネットワークの学習を行うことにより、上述のようにプレ学習済みモデルを生成する。ステップＳ７０７で困難データ生成部６０６は、上述のように、ステップＳ７０６で得られたプレ学習済みモデルを用いて、生徒画像群に対してデモザイク処理を行うことによりデモザイク画像群を得る。ステップＳ７０８で困難データ生成部６０６は、デモザイク画像群と教師画像群との比較に基づき、上述のように学習データセットから困難データを抽出する。ステップＳ７０９で困難データ生成部６０６は、ステップＳ７０８で抽出された困難データを用いて新たな学習データセットを生成する。ステップＳ７１０で学習部６０５は、ステップＳ７０９で生成された学習データセットを用いて、上述のようにニューラルネットワークの学習を行う。このようにして、デモザイク処理のためのニューラルネットワークの学習を行い、本実施形態に係る学習装置の出力であるデモザイクネットワークモデルを得ることができる。

［実施形態３］
　実施形態１，２では、撮像装置１０５による撮像画像に対して画像処理装置１００が現像処理を行う、学習装置６００が学習処理を行った。しかしながら、上述の現像処理及び学習処理を撮像装置１０５が行ってもよい。この場合、撮像装置１０５に上記の現像処理及び学習処理用のハードウェアを設け、このハードウェアを用いて上記の現像処理及び学習処理を行ってもよい。また、上記の現像処理及び学習処理用のコンピュータプログラムを撮像装置１０５のメモリに格納し、撮像装置１０５のプロセッサがこのコンピュータプログラムを実行することにより上記の現像処理及び学習処理を実行してもよい。このように、上記の画像処理装置１００及び学習装置６００の構成を、撮像装置１０５に組み込むことができる。

　また、画像処理装置１００は、ネットワークを介してクライアント装置から送信された撮像画像に対して現像処理を行い、現像処理により得られた画像を自身に登録し、又はクライアント装置に対して返信してもよい。このような画像処理装置１００を用いた現像処理システムを提供することも可能である。学習装置６００は、このような現像処理システムに組み込まれていてもよい。また、画像処理装置１００が学習装置６００の機能をさらに有していてもよい。

（処理例）
　図１１Ｂは、実施形態１に従い、非線形変換後の画像に対してニューラルネットワークを用いたデモザイク処理を行うことにより得られた画像を示す。使用されたニューラルネットワークは、実施形態２に従う学習により得られたものである。一方で、図１１Ａは、従来技術に従う学習により得られたニューラルネットワークを用いたデモザイク処理を、非線形変換を行っていないリニア色空間画像に対して行うことにより得られた画像を示す。図１１Ｂに示す画像は、図１１Ａに示す画像と比較してモアレが抑制されており、上述の実施形態によりデモザイク処理の補間精度が向上することがわかる。

（その他の実施例）
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

　発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

　本願は、２０１９年１１月２９日提出の日本国特許出願特願２０１９－２１７５０３を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

　１００：画像処理装置、２０１：取得部、２０２：変換部、２０３：デモザイク部、２０４：逆変換部、２０５：現像部、６００：学習装置、６０１：画像取得部、６０２：画像生成部、６０３：変換部、６０４：学習データ生成部、６０５：学習部、６０６：困難データ生成部

Claims (20)

1. 　非線形変換を行うことにより、ＲＡＷ画像データから第１の画像データを生成する変換手段と、
   　前記第１の画像データを用いて学習済みのニューラルネットワークを用いてＲＡＷ画像データにデモザイク処理を行うことにより、第２の画像データを生成するデモザイク手段と、
   　前記第２の画像データを用いて現像処理を行う現像手段と、
   　を備えることを特徴とする画像処理装置。
2. 　前記非線形変換は、画像のコントラストを向上させる処理であることを特徴とする、請求項１に記載の画像処理装置。
3. 　前記非線形変換は、画像の暗部におけるコントラストを向上させる処理であることを特徴とする、請求項２に記載の画像処理装置。
4. 　前記非線形変換は、ガンマ変換であることを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
5. 　前記現像手段は、前記第２の画像データに対する前記非線形変換の逆変換を行うことにより、リニア色空間の色情報を有する第３の画像データを生成することを特徴とする、請求項１から４のいずれか１項に記載の画像処理装置。
6. 　前記現像手段は、前記第３の画像データに対するガンマ補正を行うことを特徴とする、請求項５に記載の画像処理装置。
7. 　前記現像手段は、前記第３の画像データに対するノイズ低減処理の後に前記ガンマ補正を行うことを特徴とする、請求項６に記載の画像処理装置。
8. 　前記変換手段は、前記ＲＡＷ画像データに対してホワイトバランス適用処理を行ってから前記非線形変換を行うことを特徴とする、請求項１から７のいずれか１項に記載の画像処理装置。
9. 　前記変換手段は、前記ＲＡＷ画像データに対してホワイトバランス適用処理を行い、さらに各画素にオフセット値を付与してから前記非線形変換を行うことを特徴とする、請求項８に記載の画像処理装置。
10. 　前記ニューラルネットワークは、前記第１の画像データと、前記第１の画像データから得られたモザイク画像データと、のセットを用いて学習されていることを特徴とする、請求項１から９のいずれか１項に記載の画像処理装置。
11. 　ＲＡＷ画像データに基づいて、非線形色空間の色情報を有する教師画像データと、前記教師画像データのモザイク画像データである生徒画像データと、のセットを生成する生成手段と、
    　前記教師画像データと前記生徒画像データとのセットに基づいて、デモザイク処理を行うニューラルネットワークの学習を行う学習手段と、
    　を備えることを特徴とする学習装置。
12. 　前記生成手段は、前記ＲＡＷ画像データから、各画素が複数の色情報を有する画像データを生成し、前記各画素が複数の色情報を有する画像データに対する非線形変換を行うことにより前記教師画像データを生成することを特徴とする、請求項１１に記載の学習装置。
13. 　前記生成手段は、前記ＲＡＷ画像データに対する縮小処理又はデモザイク処理により前記各画素が複数の色情報を有する画像データを生成することを特徴とする、請求項１２に記載の学習装置。
14. 　前記生成手段は、前記教師画像データのモザイク化処理により前記生徒画像データを生成することを特徴とする、請求項１２又は１３に記載の学習装置。
15. 　学習により得られた前記ニューラルネットワークを用いた前記生徒画像データに対する前記デモザイク処理の結果と、前記生徒画像データに対応する前記教師画像データと、の差分に基づいて、複数の前記セットのうち一部を選択する選択手段をさらに備え、
    　前記学習手段は、前記選択されたセットを用いて、再度デモザイク処理を行うニューラルネットワークの学習を行うことを特徴とする、請求項１１から１４のいずれか１項に記載の学習装置。
16. 　前記ニューラルネットワークが、請求項１１から１５のいずれか１項に記載の学習装置によって得られたニューラルネットワークであることを特徴とする、請求項１から１０のいずれか１項に記載の画像処理装置。
17. 　画像を撮像する撮像手段と、
    　非線形変換を行うことにより、前記撮像手段により得られたＲＡＷ画像データから第１の画像データを生成する変換手段と、
    　前記第１の画像データを用いて学習済みのニューラルネットワークを用いてＲＡＷ画像データにデモザイク処理を行うことにより、第２の画像データを生成するデモザイク手段と、
    　前記第２の画像データを用いて現像処理を行う現像手段と、
    　前記ＲＡＷ画像データに基づいて、非線形色空間の色情報を有する教師画像データと、前記教師画像データのモザイク画像データである生徒画像データと、のセットを生成する生成手段と、
    　前記教師画像データと前記生徒画像データとのセットに基づいて、デモザイク処理に用いる前記ニューラルネットワークの学習を行う学習手段と、
    　を備えることを特徴とする撮像装置。
18. 　非線形変換を行うことにより、ＲＡＷ画像データから第１の画像データを生成する変換工程と、
    　前記第１の画像データを用いて学習済みのニューラルネットワークを用いてＲＡＷ画像データにデモザイク処理を行うことにより、第２の画像データを生成するデモザイク工程と、
    　前記第２の画像データを用いて現像処理を行う現像工程と、
    　を有することを特徴とする画像処理方法。
19. 　ＲＡＷ画像データに基づいて、非線形色空間の色情報を有する教師画像データと、前記教師画像データのモザイク画像データである生徒画像データと、のセットを生成する生成工程と、
    　前記教師画像データと前記生徒画像データとのセットに基づいて、デモザイク処理を行うニューラルネットワークの学習を行う学習工程と、
    　を有することを特徴とする学習方法。
20. 　コンピュータを、請求項１から１０及び１６のいずれか１項に記載の画像処理装置又は請求項１１から１５のいずれか１項に記載の学習装置の各手段として機能させるためのプログラム。

Images