JP7005215B2 - 画像処理装置、及び、画像処理方法、コンピュータプログラム - Google Patents

Description

本発明は、入力画像から高画質な画像を生成する技術に関する。

例えば、撮像装置の一種であるデジタルカメラを用いて画質の高い画像（高画質画像）を撮像する方法として、撮像時にＲＡＷ画像（Raw image format ）を保存する方法がある。
具体的には、撮像時にＲＡＷデータと呼ばれる記録形式の画像データ、つまりイメージセンサで取得されたままの未加工データを取得して保存する。そして、デジタルカメラが有する画像エンジン（画像処理部）がこのＲＡＷデータに対して現像処理を行う。そして、現像処理（例えば、ＲＡＷデータをＪＰＥＧ画像へ変換する現像処理）後の画像は、デジタルカメラが有するファインダ、ディスプレイ等に提示される。

ここで現像処理とは、例えばベイヤー配列された画素データをＲＧＢ３チャネルのピクセル値に変換するデモザイキング処理、露出調整、ホワイトバランス調整、色調整、ノイズ除去処理などの各種画像処理により構成される処理であり、予め設定された処理である。
また、ＲＡＷデータは、イメージセンサから取得された光情報と撮像パラメータを別々に保存している。そのため、撮像した後であってもホワイトバランスや露出などを修正することができる。また、ＲＡＷデータは、他の記録形式の画像データと比較して高い階調の色情報を保持しているため、画像処理によって画質の劣化が起こりにくい傾向がある。
さらに、撮像時にＲＡＷデータを保持することにより、保存されたＲＡＷデータに対してユーザが好みに応じてパラメータを設定して現像処理を行うことで好みの画像に変換することが可能になる。この場合、デジタルカメラによる現像処理とは異なる、ユーザの意図に応じた高画質な現像画像を生成することができる。

しかしながら、撮像装置（例えば、デジタルカメラ）の構成によっては、撮像時にＲＡＷデータを保存する機能を有していないものがある。また、ＲＡＷデータはその容量が大きいため、メモリなどの記憶容量の制限により全ての撮像画像のＲＡＷデータを保存することができない場合もある。また、デジタルカメラにより現像処理された画像には、ＲＡＷデータが保持していた各種情報が失われている。
例えば、モノクロ画像から失われた色情報を推定してカラー画像を生成などの機械学習の技術を使って画像から失われた情報の推定を行う手法がある（特許文献１、非特許文献１参照）。

特開２００５－１６７９７８号公報

SatoshiIizuka, Edgar Simo-Serra, and Hiroshi Ishikawa, "Let there be Color!:Joint End-to-end Learning of Global and Local Image Priors for Automatic ImageColorization with Simultaneous Classification", ACM Transaction onGraphics (Proc. of SIGGRAPH 2016)

しかしながら、デジタルカメラにより現像処理された画像に対してさらにユーザが画像処理を行った場合、ユーザがＲＡＷデータに基づいて現像処理を行った画像と同等の画質の画像に変換することは非常に困難である、という課題がある。

本発明は、入力画像から失われた情報を推定して画質の高い画像を生成する画像生成器を学習する画像処理装置を提供することを、主たる目的とする。

本発明は、画像処理装置であって、撮像装置による撮影によって得られた撮影データを所定のパラメータにより該撮像装置で現像した第１の画像と、該撮影データをユーザが調整したパラメータにより現像した第２の画像と、が関連づいた複数の学習画像のうちの前記第２の画像の画像特徴に基づいて前記複数の学習画像を複数のグループに分類する分類手段と、前記複数のグループそれぞれと対応する、前記第１の画像が入力された場合に前記第２の画像を出力する複数の画像生成器に、当該画像生成器と対応するグループに分類された学習画像を用いた学習をさせる学習手段と、前記複数の画像生成器から、入力画像と画像内容が類似する前記第１の画像を含む前記学習画像が分類されたグループと対応する一つ以上の画像生成器を選択する選択手段と、前記選択手段により選択された前記一つ以上の画像生成器への前記入力画像の入力に対する出力に基づいて、出力画像を生成する生成手段と、を有する。

本発明によれば、入力画像から失われた情報を推定して画質の高い画像を生成する画像生成器を学習することができる。

第１実施形態に係る画像処理装置の構成の一例を示す図。 画像処理装置が行う学習処理の処理手順の一例を示すフローチャート。 画像処理装置が行う画像生成処理の処理手順の一例を示すフローチャート。 第２実施形態における画像処理装置の構成の一例を示す図。 画像処理装置が行う学習処理の処理手順の一例を示すフローチャート。 画像処理装置が行う画像生成処理の処理手順の一例を示すフローチャート。 第３実施形態に係る画像処理装置の構成の一例を示す図。 画像処理装置が行う処理の処理手順の一例を示すフローチャート。

以下、本発明の実施形態について図面を参照して詳細に説明する。なお、以下で説明する実施形態は、本発明を具体的に実施した場合の一例を示すものであり、これに限るものではない。

本発明を適用した画像処理装置では、ＲＡＷデータを有しない入力画像に対して当該入力画像の内容に合った高画質な画像を出力することができる。つまり、相対的に画質の低い入力画像から相対的に画質の高い出力画像を生成することができる。
なお、画像処理装置は、撮像装置の一種であるデジタルカメラに実装することもできる。この場合、デジタルカメラの撮像結果がＲＡＷデータを有しない入力画像であっても当該入力画像の内容に合った高画質な画像を出力することが可能になる。つまり、ＲＡＷデータを有しない画像を対象とした場合であっても、ユーザがＲＡＷ現像処理を行ったかのような高画質な画像を出力することが可能になる。

ＲＡＷ現像処理とは、露出調整、ホワイトバランス調整、色調整、ノイズ除去処理などの各種パラメータを適切に設定してＲＡＷ画像をＲＧＢ画像に変換する処理である。
以下、デジタルカメラなどに機器において撮像された撮像データが当該デジタルカメラにおいて自動的にＲＡＷ現像処理された処理後の画像を「カメラ内現像画像」（第１の画像）と称す。
一方、撮像データに基づいてユーザが任意にＲＡＷ現像処理を行った処理後の画像を「ユーザ現像画像」（第２の画像）と称す。
また、本発明を適用した画像処理装置によって生成されたユーザ現像画像と同等の画質を有する画像を「高画質画像」（出力画像）と称す。

［第１実施形態］
図１は、本実施形態に係る画像処理装置の構成の一例を示す図である。
本実施形態に係る画像処理装置１０００は、主として学習処理と画像生成処理の２つの処理を実行する。また、画像処理装置１０００が有する各種機能部の動作は、主としてＣＰＵ（Central Processing Unit）１００により制御される

画像処理装置１０００は、主として学習処理に関わる構成として学習画像ペア記憶部１１０、画像テイスト分類部１２０、画像生成器学習部１３０、画像生成器選択テーブル作成部１４０を有する。
学習画像ペア記憶部１１０は、予め用意された学習画像ペア群１０を記憶する。学習画像ペア群１０は、同一の撮像結果（撮像データ）から生成された複数のカメラ内現像画像とユーザ現像画像を関連付けた学習情報である。
学習画像ペア記憶部１１０には、学習情報である学習画像ペア群１０が記憶される。

画像テイスト分類部１２０は、学習画像ペア記憶部１１０に記憶された学習画像ペア群（学習画像ペア群１０）のうち、ユーザ現像画像群について各画像の特徴を表す情報（以下、画像テイストと称す）に基づいた分類処理を行う。具体的には、画像テイスト分類部１２０はユーザ現像画像群を１つ以上のクラスタに分類する。なお、画像のテイストに基づく分類処理の詳細については後述する。

画像生成器学習部１３０は、画像テイスト分類部１２０により分類されたユーザ現像画像のクラスタ毎に画像生成器を学習する。なお、学習処理の詳細については後述する。
画像生成器選択テーブル作成部１４０は、画像生成時に用いる画像生成器を決定する。具体的には、画像生成器学習部１３０で生成された複数の画像生成器と学習に用いたカメラ内現像画像の関連付けを記憶した画像生成器選択テーブル（表）を作成する。なお、処理の詳細については後述する。

また、画像処理装置１０００は、主として画像生成処理に関わる構成として画像生成器選択部１５０、画像生成部１６０、画像表示部１７０を有する。
画像生成器選択部１５０は、ユーザが処理対象として入力した画像（入力画像２０）と画像生成器選択テーブル生成部１４０により作成されたテーブルに基づいて、画像生成を行う画像生成器を選択する。
画像生成部１６０は、画像生成器選択部１５０により選択された画像生成器を用いて画像を生成する。
画像表示部１７０は、画像生成部１６０により生成された高画質画像を所定の表示画面に表示する。例えば、画像表示部１７０は、画像処理装置１０００に接続された外部表示装置（不図示）の表示画面への表示を制御するように構成してもよい。
なお、以上の説明では学習処理と画像生成処理とを一体の画像処理装置により行うための構成について述べたが、各処理をそれぞれ別体の画像処理装置により行うように構成してもよい。

図２は、画像処理装置１０００が行う学習処理の処理手順の一例を示すフローチャートである。なお、図２に示す各処理は、主としてＣＰＵ１００により実行される。また、処理において参照するユーザ現像画像群２１０、カメラ内現像画像群２２０は、前述した学習画像ペア群１０の学習情報に含まれる画像情報である。

ＣＰＵ１００は、画像テイスト分類部１２０を介して、画像処理装置１０００が有する学習画像ペア群のうち、ユーザ現像画像群について分類処理を行う（Ｓ２０１）。
本処理では、画像処理装置１０００が受け付けたユーザ現像画像群２１０、即ちユーザによってＲＡＷ現像が行われた後の画像について当該画像のテイストに応じた分類が行われる。以下、この点について具体的に説明する。

機械学習の手法の一つである「教師あり学習」は、入力と出力の組からなる教師データを用いて学習を行い、出力が未知である入力事例に対して正しい出力を予測させる手法である。そのため、入力に対して一意に定まった出力値が教師データとして必要になる。
しかしながら、現像処理における現像方法は画像に写っている物体や撮像シーンなどによって異なり、且つ、同一の画像であっても現像処理におけるパラメータの調整次第で様々な画像を生成することができる。
つまり、ユーザの意図次第で様々な画像テイストのユーザ現像画像が存在することになり、ある入力画像に対して一意に決まる最適なユーザ現像画像というものは存在しないことになる。そこで本実施形態に係る画像処理装置では、ユーザ現像画像のテイスト毎に教師データを分類するものとする。

また、前述した「画像テイスト」とは、「ふんわりとした」、「渋め」といった画像から受ける印象を表すものである。例えば、「ふんわりとした画像」にする場合には、露出を上げる、コントラストを下げる、ホワイトバランスを変えるといった現像処理を組み合わせる現像方法を採用することが多い。また、「渋めの画像」にする場合には、彩度を下げる、コントラストを上げるといった現像処理を組み合わせる現像方法を採用することが多い。
このように画像の「画像テイスト」は、画像の内容自体よりもその色合いや輝度値の分布（輝度分布）などが大きな影響を与えている。

そこで、本実施形態に係る画像処理装置では、画像テイスト毎に画像を分類するための類似度の基準として色や輝度の分布情報（輝度分布情報）を用いることとする。具体的には、画像をＨＳＶ色空間で表現した時のＨ（色相）、Ｓ（彩度）、Ｖ（明度）それぞれのヒストグラムを特徴量として用いる。これら３つのヒストグラムを結合して１つの特徴量ベクトルとし、この特徴量ベクトルに基づいて画像の分類を行う。

例えば、分類は任意の既存手法を用いて行うことができる。代表的な手法としては、ｋ－平均法が挙げられる。この場合、ユーザ現像画像群はテイストの異なるｋ個のクラスタに分類されることになる。
なお、分類に用いる特徴量はＨＳＶヒストグラム特徴量に限るものではなく、テイストを構成する要素である色情報に基づく任意の特徴量が利用可能である。
また、例えば同一のカメラ内現像画像に対して複数のユーザ現像画像（＝教師データ）が存在する場合であってもカメラ内現像画像に対する教師データを一意に定めて学習を行うことができる。

ＣＰＵ１００は、ステップＳ２０１の処理における分類結果毎に基づいて複数の学習セット（学習情報）を作成する（Ｓ２０２）。
本実施形態では、学習セットは複数のカメラ内現像画像とユーザ現像画像のペアで構成される。そこで、ステップＳ２０１の処理において作成した画像テイスト毎のクラスタを学習セットの１単位とする。具体的には、各画像テイストクラスタに含まれるユーザ現像画像と、そのユーザ現像画像のペアであるカメラ内現像画像の集合を１つの学習セットとする。

ＣＰＵ１００は、画像生成器学習部１３０を介して、ステップＳ２０２の処理において作成した学習セット毎に画像生成器を学習する（Ｓ２０３）。
画像生成器は、ある画像が入力されたときに出力として高画質画像を生成するように構成される。ステップＳ２０３の処理では、カメラ内現像画像が入力された時の教師情報としてカメラ内現像画像のペアであるユーザ現像画像を用いて画像生成器の学習が行われる。また、学習セットは画像テイストごとに作成されるため、入力画像からある特定の画像テイストの高画質画像を生成する画像生成器は、ステップＳ２０１の処理において分類した画像テイストのクラスタの数だけ作成されることになる。

なお、入力画像に基づいて失われた情報を推定し、推定した情報に基づいて新たに画像を生成する方式としては、例えばディープニューラルネットワーク（ＤＮＮ）を利用して実現することができる（例えば、非特許文献１）。ＤＮＮを用いた画像生成手法については既存手法であるため、ここでは詳細な説明は省略する。また、入出力の要件を満たしていれば画像生成器の学習方式はＤＮＮに限ったものではなく、任意の機械学習の手法を用いてよい。

ＣＰＵ１００は、画像生成器選択テーブル作成部１４０を介して、学習データにおける各カメラ内現像画像（カメラ内現像画像群２２０）とステップＳ２０３の処理において作成された画像生成器との関連付けを行う（Ｓ２０４）。
カメラ内現像画像と画像生成器との関連付けは、各画像生成器の学習処理で学習データとして用いられたカメラ内現像画像を当該画像生成器に関連付けるものとする。
本処理により、カメラ内現像画像と画像生成器が１対１の関係で関連付けされる。なお、関連付けの結果は画像生成器選択テーブルとして画像処理装置１０００に記憶される。
以上の学習処理により、複数の異なる画像テイストの高画質画像を生成するための画像生成器を作成することができる。

図３は、画像処理装置１０００が行う画像生成処理の処理手順の一例を示すフローチャートである。なお、図３に示す各処理は、主としてＣＰＵ１００により実行される。また、画像処理装置１０００は、処理対象の画像としてユーザが入力した入力画像２０を受け付ける。

ＣＰＵ１００は、画像生成器選択部１５０を介して、受け付けた入力画像２０をいずれかのカメラ内現像画像に割り当てる（Ｓ３０１）。
前述したステップＳ２０３の処理では、ある特定の画像テイストの高画質画像を生成するために画像生成器の学習を行った。しかしながら、未知の画像が入力されたときにその画像をどのような画像テイストに変換すればいわゆる良い画像（高画質画像）になるか、ということは画像の意味内容や写っている被写体、撮像シーンなどに大きく影響される。

例えば、「ふわっとした」画像テイストはポートレートや花の写真に適用されることが多く、「渋め」の画像テイストは街角の写真などに適用されることが多い。そこで、入力画像からどのような画像テイストで高画質画像を生成するかを決定するために、本実施形態では画像の撮像シーンや写っているオブジェクト情報等の画像内容に基づいて入力画像を予め用意されたカメラ内現像画像のいずれかに割り当てるものとする。

具体的には、入力画像およびカメラ内現像画像群に対して特徴量を抽出し、入力画像から抽出した特徴量が最も類似しているカメラ内現像画像に入力画像を割り当てる。
特徴量は、例えば画像の撮像シーン（画像撮影場所や画像撮影状況）やオブジェクト、構図などの画像内容に由来する任意の特徴量を用いることができる。例えば、シーン推定でよく用いられるＧＩＳＴ特徴量が挙げられる。あるいは、入力画像およびカメラ内現像画像に対してシーン推定処理やオブジェクト検出処理を実際に行い、その結果の一致度（類似度）が最も高いカメラ内現像画像を入力画像に割り当ててもよい。
本処理により、入力画像２０と、画像の内容が類似したカメラ内現像画像とが選択され対応付けられる。

ＣＰＵ１００は、画像生成器選択部１５０を介して、ステップＳ２０４の処理における画像生成器選択テーブルを用いて、ステップＳ３０１の処理において入力画像に割り当てられたカメラ内現像画像と関連付けられている画像生成器を選択する（Ｓ３０２）。
本処理によって、入力画像と内容が近い画像（＝割り当てられたカメラ内現像画像）に対して適切な画像テイストで高画質画像を生成する画像生成器が選択される。

ＣＰＵ１００は、画像生成部１６０を介して、ステップＳ３０２で選択された画像生成器を用いて入力画像から高画質画像を生成する（Ｓ３０３）。
本処理によって、入力画像の内容に応じた適切な画像テイストで当該入力画像から高画質画像が生成される。
ＣＰＵ１００は、画像表示部１７０を介して、画像生成部１６０が生成した高画質画像をユーザに提示する（Ｓ３０４）。

このように、本実施形態に係る画像処理装置１０００では、ＲＡＷデータを有しない入力画像であってもユーザがＲＡＷ現像を行ったような高画質画像を生成することができる。
これにより、カメラ内で現像処理された後の画像であっても、現像処理前の当該画像のＲＡＷデータを用いて当該画像の内容に応じた適切な画像テイストでＲＡＷ現像処理を行ったかのような高画質な画像を出力することが可能になる。
なお、本実施形態では、学習処理と画像生成処理とを同一の画像処理装置１０００が行う形態について説明を行った。しかし、本実施形態はこのような構成に限らず、学習処理と画像生成処理とがそれぞれ別の装置によって行われるようにしてもよい。その場合、例えばＰＣ等により構成される学習装置では、学習処理により予め画像生成器を学習する。そして、カメラ等の撮像装置に相当する画像処理装置では、その学習された画像生成器を保持手段に保持しておき、その画像生成器を用いて画像の生成を行えばよい。

［第２実施形態］
第１実施形態では、入力画像に応じた適切な画像テイストの高画質画像の生成について説明した。しかしながら、通常ではある入力画像について適切な画像テイストは複数存在することが一般的である。つまり同じ画像を対象とした場合であっても、ＲＡＷデータに基づいて現像処理を行う場合にはユーザが変われば処理内容も異なり、現像された画像のテイストもまた異なってくる。現像された画像の良し悪しはユーザの好みであり、いずれの画像テイストを有する画像であっても処理を行ったユーザにとっては良い画像（高画質画像）であると考えられる。
そこで、本実施形態では、入力画像の画像内容に応じて複数の異なる画像テイストを有する高画質画像を生成することができる画像処理装置について説明する。なお、第１実施形態において説明した機能構成と同じものは同一の符号を付すとともに、その説明を省略する。

図４は、本実施形態における画像処理装置の構成の一例を示す図である。
本実施形態に係る画像処理装置４０００は、第１実施形態における画像処理装置１０００の構成に加えてカメラ内現像画像分類部４２０を有する点が異なる。

画像処理装置４０００は、主として学習処理に関わる構成として学習画像ペア記憶部４１０、画像内容分類部４２０、画像テイスト分類部４３０、画像生成器学習部４４０、画像生成器選択テーブル作成部４５０を有する。なお、学習画像ペア記憶部４１０、画像テイスト分類部４３０、画像生成器学習部４４０については、第１実施形態の学習画像ペア記憶部１１０、画像テイスト分類部１２０、画像生成器学習部１３０、画像生成器選択テーブル作成部１４０と同様の構成であるため、その説明を省略する。

画像内容分類部４２０は、学習画像ペア記憶部４１０に記憶されている学習画像ペア群（学習画像ペア群１０）のうち、カメラ内現像画像群について画像内容に基づく分類処理を行って当該カメラ内現像画像群を１つ以上のクラスタに分類する。
画像生成器選択テーブル作成部４５０は、画像生成器学習部４４０が生成した複数の画像生成器と、画像内容分類部４２０により分類された各カメラ内現像画像クラスタとの関連付けを行う。なお、関連付けた結果は画像生成器選択テーブル（表）として画像処理装置４０００に記憶される。処理の詳細については後述する。

また、画像処理装置４０００は、主として画像生成処理に関わる構成として画像生成器選択部４６０、画像生成部４７０、画像表示部４８０を有する。
画像生成器選択部４６０は、ユーザが処理対象として入力した画像（入力画像２０）と画像生成器選択テーブル作成部４５０が作成したテーブルに基づいて、画像生成を行う画像生成器を１つ以上選択する。
画像生成部４７０は、画像生成器選択部４６０により選択された１つ以上の画像生成器を用いて高画質画像を生成する。
画像表示部４８０は、画像生成部４７０により生成された１つ以上の高画質画像を表示画面に表示する。

図５は、画像処理装置４０００が行う学習処理の処理手順の一例を示すフローチャートである。なお、図５に示す各処理は、主としてＣＰＵ１００により実行される。また、処理において参照するカメラ内現像画像群５１０、ユーザ現像画像群５２０は、前述した学習画像ペア群１０の学習情報である。
また、図５に示すステップＳ５０２の処理からステップＳ５０４の処理は、第１実施形態に係るステップＳ２０１の処理からステップＳ２０３の処理と同様の処理であるため、その説明を省略する。

ＣＰＵ１００は、画像内容分類部４２０を介して、画像処理装置４０００が有する学習画像ペア群のうち、カメラ内現像画像群について分類処理を行う（Ｓ５０１）。
本処理では、画像処理装置４０００が受け付けたカメラ内現像画像群５１０について画像の意味内容の類似性に応じた分類が行われる。以下、この点について具体的に説明する。

本処理では、第１実施形態におけるステップＳ３０１の処理における入力画像に類似するカメラ内現像画像を探索した処理と同様の処理を行う。具体的には、画像の撮像シーンやオブジェクト、構図に由来する特徴量を類似度の基準として、任意の分類手法を用いてカメラ内現像画像を複数のクラスタに分類する。例えば、全てのカメラ内現像画像からＧＩＳＴ特徴量を抽出し、ＧＩＳＴ特徴量間の距離に基づいてｋ－平均法で分類を行う。

更に、分類されたクラスタ毎に当該クラスタの代表特徴量を生成する。代表特徴量は、クラスタに含まれる任意の１枚のカメラ内現像画像から抽出した特徴量を選択してもよい。あるいは、クラスタに含まれる全てのカメラ内現像画像の特徴量を平均したものを代表特徴量としてもよい。
本処理によって、カメラ内現像画像群は画像の内容の類似性に基づく複数の異なるクラスタ（カメラ内現像画像クラスタ）に分類される。

ＣＰＵ１００は、画像生成器選択テーブル作成部４５０を介して、ステップＳ５０１の処理において作成したカメラ内現像画像クラスタと、ステップＳ５０４の処理において作成した画像生成器との関連付けを行う（Ｓ５０５）。
カメラ内現像画像クラスタと画像生成器との関連付けは、各画像生成器の学習処理で用いられたカメラ内現像画像が含まれるクラスタを当該画像生成器に関連付けるものとする。例えば、同一のクラスタに含まれる（＝画像内容が類似している）カメラ内現像画像であっても異なる画像テイストのユーザ現像画像に現像処理されている学習画像ペアが存在する。そのため、同一のカメラ内現像画像クラスタから複数の異なる画像生成器への関連付けが行われることになる。また、関連付けの結果は画像生成器選択テーブルとして画像処理装置４０００に記憶される。

なお、クラスタに含まれる各カメラ内現像画像が一定数以上学習処理で用いられた画像生成器のみをカメラ内現像画像クラスタと関連付けるようにしてもよい。あるいは、クラスタに含まれるカメラ内現像画像が各画像生成器の学習処理で用いられた割合に応じて、カメラ内現像画像クラスタと画像生成器との関連づけに重みづけしてもよい。

図６は、画像処理装置４０００が行う画像生成処理の処理手順の一例を示すフローチャートである。なお、図６に示す各処理は、主としてＣＰＵ１００により実行される。また、画像処理装置４０００は、処理対象の画像としてユーザが入力した入力画像２０を受け付ける。

ＣＰＵ１００は、画像生成器選択部４６０を介して、受け付けた入力画像２０をステップＳ５０１の処理において分類したいずれかのクラスタ（カメラ内現像画像クラスタ）に割り当てる（Ｓ６０１）。
具体的には、前述したステップＳ５０１の処理においてカメラ内現像画像を分類したときと同様の特徴量を入力画像から抽出して、クラスタ毎に作成した代表特徴量と入力画像から抽出した特徴量を比較して最も類似しているクラスタに入力画像を割り当てる。
本処理により、入力画像と画像の内容が類似した画像内容クラスタが選択され対応付けられる。

ＣＰＵ１００は、画像生成器選択部４６０を介して、ステップＳ５０５の処理における画像生成器選択テーブルを用いて、ステップＳ６０１の処理において入力画像に割り当てられたクラスタと関連付けられている画像生成器を選択する（Ｓ６０２）。
前述したステップＳ５０５の処理において、各クラスタは１つ以上の画像生成器に関連付けられている。そのため、本処理によって、入力画像と内容が近い画像（＝割り当てられたクラスタに含まれる画像）に対して適切な画像テイストで高画質画像を生成する画像生成器が１つ以上選択される。

ＣＰＵ１００は、画像生成部４７０を介して、ステップＳ６０２の処理において選択された１つ以上の画像生成器を用いて入力画像から高画質画像を生成する（Ｓ６０３）。
本処理によって、各画像生成器から１枚の高画質画像が生成される。そのため、１枚の入力画像に対して複数の異なる画像テイストの高画質画像が出力されることになる。

ＣＰＵ１００は、画像表示部４８０を介して、画像生成部４７０が生成した１枚以上の高画質画像をユーザに提示する（Ｓ６０４）。
なお、例えば学習処理におけるステップＳ５０５の処理で画像生成器毎の重みづけを行っている場合、当該重みづけの順序に応じた順番で画像を表示するように制御する。これにより、入力画像に対して頻繁に用いられる画像テイストの高画質画像を優先的にユーザに提示することが可能になる。

このように、本実施形態に係る画像処理装置４０００では、入力画像の画像内容に応じて複数の異なる画像テイストの高画質画像を生成することができる。

［変形例］
以下、特定の画像テイストに特化した画像処理を行う画像処理装置として構成する場合について説明する。
例えば、プロの写真家の作品には写真家固有の画像テイストが存在する。そこで特定の写真家が撮像したＲＡＷデータに対するカメラ内現像画像およびユーザ（＝写真家）現像画像を学習することで、該写真家の画像テイストを模倣した高画質画像を生成することができる。
具体的には、対象の写真家の画像が大量に存在する場合、当該写真家の画像のみを学習データとして用いる。
一方、予め用意された学習データに対して当該写真家の画像が少ない場合、既に学習された画像生成器に対して該写真家の画像データを用いて追加学習を行うことでプロ写真家の画像テイストを模倣する画像生成器の学習を行う。
この場合、まず、ステップＳ５０２の処理において分類した画像テイストのクラスタのいずれかに該写真家のユーザ現像画像を割り当てる。割り当ては、ステップＳ５０２の処理で行った分類基準と同様に画像テイストの類似性に基づいて行う。そして、割り当てられた画像テイストクラスタに対応する画像生成器に対して該写真家のカメラ内現像画像とユーザ現像画像のペアを教師データとして追加学習を行う。
このように制御することで、入力画像に対して一般的な画像テイストの高画質画像ではなく、特定の写真家の画像テイストを模倣したような高画質画像を生成することができる。

［第３実施形態］
本実施形態では、第２実施形態で説明した画像処理装置の機能を含んで構成された画像処理装置について説明する。
図７は、本実施形態に係る画像処理装置の構成の一例を示す図である。
本実施形態に係る画像処理装置７０００では、例えばユーザがクラウド環境（インターネット８）に接続された情報端末（例えば、タブレットＰＣなど）９を介して任意の画像をアップロードし、当該クラウド環境のサーバー上に記憶されている画像を用いて高画質画像を生成するものとする。また、ユーザは画像処理装置７０００が生成した高画質画像のうち、情報端末９を介して気に入った画像をダウンロードするものとする。
なお、第１、第２実施形態において説明した機能構成と同じものは、同一の符号を付すとともにその説明を省略する。

画像処理装置７０００は、第２実施形態で説明した画像処理装置４０００と同じ機能構成を含んで構成される。また、情報処理装置７０００は、画像選択部７１０、学習データ追加部７２０を有する。
画像処理装置４０００は、予め用意された学習画像ペア群１０を用いて学習した結果に基づいて、ユーザからの入力画像２０に基づいて１つ以上の異なる画像テイストの高画質画像を生成する。
画像選択部７１０は、画像処理装置４０００が生成した１つ以上の高画質画像の中からユーザが任意に選択した画像を特定する。
学習データ追加部７２０は、受け付けた入力画像２０と画像選択部７１０が特定した画像のペアを学習情報として学習画像ペア群１０に追加する。このように学習データ追加部７２０は、学習情報追加手段として機能する。

図８は、本実施形態に係る画像処理装置７０００が行う処理の処理手順の一例を示すフローチャートである。なお、図８に示す各処理は、主としてＣＰＵ１００により実行される。また、画像処理装置７０００は、インターネット８を介して処理対象の画像としてユーザが入力した入力画像２０を受け付ける。

ＣＰＵ１００は、受け付けた入力画像２０の内容に応じた適切な画像テイストの高画質画像を１つ以上生成する（Ｓ８０１）。
ＣＰＵ１００は、画像表示部４８０を介して、ステップＳ８０１の処理において生成された１つ以上の高画質画像をユーザに提示する（Ｓ８０２）。ユーザへの高画質画像の提示は、例えば画像表示部４８０を介してインターネット８に高画質画像をアップロードし、情報端末９を介してユーザが確認できるように構成することができる。

ユーザは、提示された高画質画像から気に入った画像を任意の枚数だけ選択する。また、気に入った画像が提示されなかった場合には、選択を行わなくてもよい。さらに、選択された画像はユーザの情報端末９にダウンロードされるように制御してもよい。
またこのときに、ユーザのＩＤ、入力画像の分類結果、選択された高画質画像を生成した画像生成器を記録しておいてもよい。これらの情報を記録しておくことで、次回以降、同じユーザが新たに画像を入力した時に、ユーザの嗜好に合った画像テイストの高画質画像を優先的に提示することができる。

ＣＰＵ１００は、受け付けた入力画像２０と、生成された高画質画像のうちユーザが選択した画像のペアを学習データとして予め用意された学習画像ペア群に追加（学習情報追加）する（Ｓ８０３）。このように学習データが新たに追加された学習画像ペア群を用いて追加学習を行うことで、よりユーザ満足度の高い高画質画像の生成が可能となる。

本発明は、上述の実施形態の１以上の機能を実現するコンピュータプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがコンピュータプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上記説明した実施形態は、本発明をより具体的に説明するためのものであり、本発明の範囲が、これらの例に限定されるものではない。

Claims (9)

1. 撮像装置による撮影によって得られた撮影データを所定のパラメータにより該撮像装置で現像した第１の画像と、該撮影データをユーザが調整したパラメータにより現像した第２の画像と、が関連づいた複数の学習画像のうちの前記第２の画像の画像特徴に基づいて前記複数の学習画像を複数のグループに分類する分類手段と、
   前記複数のグループそれぞれと対応する、前記第１の画像が入力された場合に前記第２の画像を出力する複数の画像生成器に、当該画像生成器と対応するグループに分類された学習画像を用いた学習をさせる学習手段と、
   前記複数の画像生成器から、入力画像と画像内容が類似する前記第１の画像を含む前記学習画像が分類されたグループと対応する一つ以上の画像生成器を選択する選択手段と、
   前記選択手段により選択された前記一つ以上の画像生成器への前記入力画像の入力に対する出力に基づいて、出力画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記入力画像と前記第１の画像とは、画像に含まれるオブジェクト、画像の撮影場所、撮影状況、構図を含む画像内容の少なくともいずれか一つに基づいて、ｋ－平均法で分類を行ったときに同じクラスタに属することを特徴とする請求項１に記載の画像処理装置。
3. 前記分類手段は、前記複数の学習画像を、色情報、彩度、コントラスト、輝度分布のいずれか一つ以上に基づいて分類することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成手段により生成された複数の出力画像を表示する表示手段と、
   前記表示手段により表示された前記複数の出力画像からユーザ操作に基づいて選択された出力画像を特定する特定手段と、
   前記入力画像と前記特定された出力画像とを関連付けて学習情報として記憶する手段と、を有することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記撮影データはＲＡＷデータであることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記画像生成器は、前記入力画像の現像方法と異なる現像方法で現像されたような画風を有する前記出力画像を生成することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記画像生成器は、ディープニューラルネットワークを利用して前記出力画像を生成することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. １つ以上のプロセッサが実行する画像処理方法であって、
   撮像装置による撮影によって得られた撮影データを所定のパラメータにより該撮像装置で現像した第１の画像と、該撮影データをユーザが調整したパラメータにより現像した第２の画像と、が関連づいた複数の学習画像のうちの前記第２の画像の画像特徴に基づいて前記複数の学習画像を複数のグループに分類する分類工程と、
   前記複数のグループそれぞれと対応する、前記第１の画像が入力された場合に前記第２の画像を出力する複数の画像生成器に、当該画像生成器と対応するグループに分類された学習画像を用いた学習をさせる学習工程と、
   前記複数の画像生成器から、入力画像と画像内容が類似する前記第１の画像を含む前記学習画像が分類されたグループと対応する一つ以上の画像生成器を選択する選択工程と、
   前記選択工程により選択された前記一つ以上の画像生成器への前記入力画像の入力に対する出力に基づいて、出力画像を生成する生成工程と、
   を含むことを特徴とする画像処理方法。
9. コンピュータを請求項１乃至７のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

Images