JP6349962B2 - 画像処理装置およびプログラム - Google Patents

Description

本発明は、画像処理装置およびプログラムに関する。

特許文献１には、撮像により取得された画像データにより表される画像における各画素のＲＧＢの色を色度値に変換し、各画素の色度値の平均値である色度平均値を算出する処理が開示されている。
特許文献２には、色空間分割部にて抽出された処理対象領域、及び参照領域を利用して、参照画像を基に処理対象画像の色彩を変換する色空間変換部と、色空間変換部における処理結果に基づき、画像入力部にて入力された処理対象画像に対して、所定のフォーマットで処理結果画像を出力する画像出力部とを備える画像補正システムが開示されている。
非特許文献１、２には、人間の錐体の応答などを考えて作られたLαβ色空間を利用する態様が開示されている。

特開２０００−１５２２７０号公報 特開２００７−２８１６６６号公報

Reinhard, E., Ashikhmin, M., Gooch, B., And Shirley, P. 2001. Color transfer between images. IEEE Computer Graphics and Applications 21, 34-41. D.L. Ruderman, T.W. Cronin, and C.C. Chiao, "Statistics of Cone Responses to Natural Images: Implications for Visual Coding", J. Optical Soc. of America, vol. 15, no. 8, 1998, pp. 2036-2045.

ここで、編集の対象となる対象画像に対して他の画像の特徴を反映する場合、対象画像の印象を、この他の画像の印象に近付けられるようになる。
ところで、対象画像に対する特徴の反映を、機械的に且つ一律に行うと、ユーザが望んでいる印象とは異なる印象を有する画像となることがある。
本発明の目的は、対象画像に対する他の画像の特徴の反映を機械的に且つ一律に行う場合に比べ、他の画像の特徴を反映した後の対象画像を、ユーザの好みにより近い画像とすることにある。

請求項１に記載の発明は、編集の対象となる対象画像を取得する取得手段と、前記対象画像の編集の際に参照する参照画像から、色空間が互いに異なる複数の当該参照画像を生成する参照画像生成手段と、前記対象画像の編集の際に参照する前記参照画像の特徴量であって、前記参照画像生成手段により生成された前記複数の参照画像のそれぞれについての特徴量を取得する特徴量取得手段と、前記取得手段により取得された前記対象画像から、色空間が互いに異なる複数の当該対象画像を生成する色変換手段と、前記特徴量取得手段により取得された前記特徴量を用い、互いに異なる前記色空間のそれぞれの色空間毎に、前記色変換手段により生成された前記複数の対象画像のそれぞれに対して、前記参照画像の特徴を反映し、当該特徴が反映された当該複数の対象画像である複数の特徴反映済み画像を生成する特徴反映済み画像生成手段と、前記特徴反映済み画像生成手段により生成された前記複数の特徴反映済み画像を、ユーザにより指定された合成割合で合成し、合成画像を生成する合成画像生成手段と、を備える画像処理装置である。
請求項２に記載の発明は、編集の対象となる対象画像を取得する取得手段と、前記取得手段により取得された前記対象画像から、色空間が互いに異なる複数の当該対象画像を生成する色変換手段と、前記対象画像の編集の際に参照する参照画像の特徴量を取得する特徴量取得手段と、前記特徴量取得手段により取得された前記特徴量を用い、色空間が互いに異なる前記複数の対象画像のそれぞれに対して、前記参照画像の特徴を反映し、当該特徴が反映された当該複数の対象画像である複数の特徴反映済み画像を生成する特徴反映済み画像生成手段と、前記特徴反映済み画像生成手段により生成された前記複数の特徴反映済み画像、および、前記取得手段により取得された前記対象画像を、ユーザにより指定された合成割合で合成し、合成画像を生成する合成画像生成手段と、を備える画像処理装置である。
請求項３に記載の発明は、ユーザにより指定される前記合成割合を取得する割合取得手段を更に備え、前記割合取得手段は、前記特徴反映済み画像生成手段により生成された前記複数の特徴反映済み画像の合成に用いる第１の割合情報と、前記合成画像における前記対象画像の割合を示す第２の割合情報とを取得することを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記合成画像生成手段により生成された前記合成画像を表示するタッチパネルを更に備え、前記割合取得手段は、前記タッチパネル上を一方向にスライド移動する、ユーザの指の移動量から前記第１の割合情報を取得し、当該タッチパネル上を当該一方向とは異なる方向にスライド移動する、ユーザの指の移動量から前記第２の割合情報を取得することを特徴とする請求項３に記載の画像処理装置である。
請求項５に記載の発明は、編集の対象となる対象画像を取得する取得機能と、前記取得機能により取得された前記対象画像から、色空間が互いに異なる複数の当該対象画像を生成する色変換機能と、前記対象画像の編集の際に参照する参照画像の特徴量を取得する特徴量取得機能と、前記特徴量取得機能により取得された前記特徴量を用い、色空間が互いに異なる前記複数の対象画像のそれぞれに対して、前記参照画像の特徴を反映し、当該特徴が反映された当該複数の対象画像である複数の特徴反映済み画像を生成する特徴反映済み画像生成機能と、前記特徴反映済み画像生成機能により生成された前記複数の特徴反映済み画像、および、前記取得機能により取得された前記対象画像を、ユーザにより指定された合成割合で合成し、合成画像を生成する合成画像生成機能と、をコンピュータに実現させるためのプログラムである。

請求項１の発明によれば、一つの色空間の参照画像から把握した特徴を、色空間が互いに異なる複数の対象画像に反映して特徴反映済み画像を生成する場合に比べ、特徴反映済み画像の生成を適切に行うことができる。
請求項２の発明によれば、対象画像に対する他の画像の特徴の反映を機械的に且つ一律に行う場合に比べ、他の画像の特徴を反映した後の対象画像を、ユーザの好みにより近い画像とすることができる。
請求項３の発明によれば、ユーザが、複数の特徴反映済み画像のそれぞれの割合を指定することができ、また、ユーザが、合成画像における対象画像の割合を指定することができる。
請求項４の発明によれば、マウスなどの情報入力機器を用いてユーザが第１の割合情報、第２の割合情報を入力する場合に比べ、ユーザの操作性が向上する。
請求項５の発明によれば、対象画像に対する他の画像の特徴の反映を機械的に且つ一律に行う場合に比べ、他の画像の特徴を反映した後の対象画像を、ユーザの好みにより近い画像とすることができる。

画像処理装置のハードウェア構成を例示したブロック図である。 画像処理装置における処理の一例を示した図である。 目標画像が有する特徴を原画像に反映する際に、制御部にて実行される処理の一例を示した図である。 特徴算出部、印象調整部にて実施される処理を説明する図である。 制御部にて実行される他の処理例を示した図である。 画像処理装置に対するユーザの操作例を示した図である。 制御部にて実行される他の処理例を示した図である。 印象変化度パラメータ、色空間重みパラメータのそれぞれの値をユーザが入力（変更）する際の、ユーザの操作例を示した図である。 表示画面における他の表示例を説明する図である。 表示画面における他の表示例を説明する図である。

以下、添付図面を参照して、本発明の実施の形態について説明する。
図１は、本発明の実施形態に係る画像処理装置１のハードウェア構成を例示したブロック図である。本実施形態の画像処理装置１には、制御部１００、記憶部２００、表示部３００、操作部４００、画像取得部５００が設けられている。

制御部１００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）（何れも不図示）を備えている。
ＲＯＭは、ＣＰＵにより実行される制御プログラムを記憶している。ＣＰＵは、ＲＯＭに記憶されている制御プログラムを読み出し、ＲＡＭを作業エリアにして制御プログラムを実行する。ＣＰＵにより制御プログラムが実行されることで、後述する特徴算出部１１などの各機能部が実現される。

なお、ＣＰＵによって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で、画像処理装置１へ提供しうる。また、インターネットなどの通信手段を用い、画像処理装置１へダウンロードしてもよい。

記憶部２００は、例えばハードディスク装置により構成され、画像データなどの各種データを記憶する。
表示部３００は、例えば、液晶のタッチパネルディスプレイにより構成され、制御部１００による制御の下、例えば、画像データに基づく画像を表示する。

操作部４００は、ユーザによる操作がなされる部分であり、ユーザにより入力される情報を取得する。操作部４００は、例えば液晶のタッチパネルディスプレイにより構成される。ここで、操作部４００および表示部３００が、液晶のタッチパネルディスプレイにより構成される場合は、操作部４００と表示部３００とが、共通の部材により構成されることになる。なお、操作部４００は、マウスやキーボードなどにより構成されることもある。

取得手段の一例としての画像取得部５００は、ユーザから提供された画像（画像データ）の取得を行う。具体的には、後述する原画像や目標画像を取得する。画像取得部５００は、例えば、外部機器に接続される接続インタフェースにより構成される。また、本実施形態では、画像取得部５００にて画像が取得されると、記憶部２００に出力され、記憶部２００にこの画像が格納される。

図２は、画像処理装置１における処理の一例を示した図である。なお、図２では、画像処理装置１が、いわゆるタブレット端末により構成された場合を例示している。
図２における画像処理装置１では、同図（Ａ）に示すように、表示画面３１０の図中左側の領域に、調整前の画像である原画像を表示する原画像表示領域Ｒ１が設けられる。

また、表示画面３１０の右側には、原画像の目標となる画像である目標画像が複数表示される目標画像表示領域Ｒ２が設けられる。付言すると、表示画面３１０の右側には、原画像の調整（編集）の際に参照される参照画像としての役割を果たす目標画像が複数表示される。さらに説明すると、本実施形態では、表示画面３１０の左側に、編集の対象となる対象画像である原画像が表示され、表示画面３１０の右側に、対象画像の編集の際に参照される参照画像としての役割を果たす目標画像が表示される。

本実施形態では、図２（Ａ）のように、表示画面３１０をユーザが触り、目標画像の何れかがこのユーザにより選択されると、同図（Ｂ）に示すように、選択されたこの目標画像が有する特徴（景観の特徴）が、原画像に反映（転写）される。
さらに、本実施形態では、同図（Ｃ）に示すように、原画像表示領域Ｒ１において、ユーザが、指（表示画面３１０に接触させた指）を左右方向にスライド移動させると（スワイプ操作を行うと）、原画像表示領域Ｒ１に表示されている原画像が変化する。

具体的には、目標画像が有する特徴の反映度が高い原画像から、特徴の反映度が低い原画像に次第に変化する。また、目標画像が有する特徴の反映度が低い原画像から、特徴の反映度が高い原画像に次第に変化する。
より具体的に説明すると、本実施形態では、図中矢印左方向に指を移動させると、目標画像が有する特徴の反映度が低い原画像となり、最終的には反映度が０％の原画像となる。その一方で、図中矢印右方向に指を移動させると、目標画像が有する特徴の反映度が高い原画像となり、最終的には反映度が１００％の原画像となる

図３は、目標画像が有する特徴を原画像に反映する際に、制御部１００にて実行される処理の一例を示した図である。
本実施形態では、まず、目標画像（の画像データ）が、記憶部２００（図１参照）から、特徴量取得手段として機能する特徴算出部１１に入力され、特徴算出部１１が、この目標画像を解析して、特徴量を算出する。次いで、この特徴量が、印象調整部１２に入力される。なお、原画像（の画像データ）も、記憶部２００から印象調整部１２へ入力される。

次いで、特徴反映済み画像生成手段として機能する印象調整部１２が、特徴量により特定される特徴（目標画像の特徴）を、原画像に反映する処理を行い、原画像の印象を調整する（変化させる）。これにより、目標画像の特徴が反映された原画像が生成される。
より具体的には、印象調整部１２は、目標画像の特徴を、１００％、原画像に反映する処理を行い、目標画像の特徴の反映度が１００％の原画像を生成する。なお、本明細書では、以下、目標画像の特徴が反映された後の原画像を、「特徴反映済み画像」と称することがある。

その後、本実施形態では、特徴反映済み画像が、表示処理部１４に入力される。そして、表示処理部１４は、表示部３００に特徴反映済み画像を出力する。これにより、表示部３００に、特徴反映済み画像が表示されるようになる。

特徴反映済み画像の表示処理の後、表示画面３１０（図２（Ｃ）参照）に対するユーザの操作が行われると、印象変化度獲得部１３が、ユーザによって入力される印象変化度パラメータαを獲得する。そして、この印象変化度パラメータαが、表示処理部１４に入力される。付言すると、本実施形態では、調整値取得手段として機能する印象変化度獲得部１３が、ユーザによって入力され調整値である印象変化度パラメータαを取得し、この印象変化度パラメータαを、表示処理部１４に出力する。
ここで、この印象変化度パラメータαは、目標画像の特徴の、原画像への反映の度合いを示しており、αは、０以上且つ１以下（０≦α≦１）となっている。

さらに説明すると、本実施形態では、上記のとおり、ユーザの指のスライド移動が行われるが、このスライド移動に基づき（ユーザの指の移動量に基づき）、印象変化度パラメータαを獲得する。より具体的に説明すると、例えば、ユーザの指が図２（Ｃ）にて、左方向へスライド移動した場合には、小さい値の印象変化度パラメータαを獲得し、ユーザの指が図２（Ｃ）にて右方向へスライド移動した場合には、大きい値の印象変化度パラメータαを獲得する。

印象変化度獲得部１３にて、印象変化度パラメータαが獲得されると、反映度合い変更手段として機能する表示処理部１４（図３参照）が、特徴反映済み画像の変更処理を実施する。より具体的には、印象変化度パラメータαに基づき、特徴反映済み画像における、特徴量の反映度合いを変更し、新たな特徴反映済み画像を生成する。

さらに具体的に説明すると、本実施形態では、印象変化度パラメータαが獲得されると、表示処理部１４は、特徴反映済み画像（特徴が１００％反映された画像）と、原画像（特徴の反映度が０％の原画像）とを合成して、新たな特徴反映済み画像を生成するが、この際、印象変化度獲得部１３により獲得された印象変化度パラメータαを反映して、この合成を行う。
その後、表示処理部１４は、この合成処理により得られた新たな画像（以下、この画像を「合成画像」と称することがある）を、表示部３００に出力する。これにより、表示部３００に、新たな合成画像が表示される。

ここで、目標画像の特徴を、原画像に対し、機械的に且つ一律の割合で反映するのみでは、ユーザが希望する画像からかけ離れた画像が得られてしまうことがある。本実施形態の処理では、ユーザの希望が反映されるようになり、ユーザが希望する画像により近い画像が得られるようになる。

ここで、上記、特徴算出部１１、印象調整部１２、表示処理部１４にて実施される上記の各処理について詳細に説明する。
特徴算出部１１は、図４（特徴算出部１１、印象調整部１２にて実施される処理を説明する図）における、（ａ２）、（ｂ２）、（ｃ２）で示すように、目標画像全体のＬ＊，ａ＊，ｂ＊の平均である、Ｅ（Ｌ＊_Ｓ），Ｅ（ａ＊_Ｓ），Ｅ（ｂ＊_Ｓ）を、特徴量として算出する。また、目標画像全体のＬ＊，ａ＊，ｂ＊の分散である、Ｖ（Ｌ＊_Ｓ），Ｖ（ａ＊_Ｓ），Ｖ（ｂ＊_Ｓ）も、特徴量として算出する。

印象調整部１２（図３参照）は、特徴算出部１１にて算出された、上記平均および分散を用い、さらに、次の式（１）〜（３）を用い、原画像のＬａｂ値（ＣＩＥ Ｌａｂ値）を画素ごとに調整する。付言すると、原画像のＬａｂ値の平均、分散が、目標画像のＬａｂ値の平均、分散に近づくように、調整処理を行う。

なお、式（１）〜（３）において、Ｌ＊_{（ｉ，ｊ），}ａ＊_{（ｉ，ｊ），}ｂ＊_{（ｉ，ｊ）}は、調整前の、位置（ｉ，ｊ）の画素値を示し、Ｌ＊_{（ｉ，ｊ）}’_，ａ＊_{（ｉ，ｊ）}’_，ｂ＊_{（ｉ，ｊ）}’は、調整後の、位置（ｉ，ｊ）の画素値を示している。
また、Ｅ（Ｌ＊_０），Ｅ（ａ＊_０），Ｅ（ｂ＊_０）は、図４の（ａ１）、（ｂ１）、（ｃ１）にも示すように、原画像のＬ＊，ａ＊，ｂ＊の値の平均値であり、Ｖ（Ｌ＊_０），Ｖ（ａ＊_０），Ｖ（ｂ＊_０）は、図４の（ａ１）、（ｂ１）、（ｃ１）に示すように、原画像のＬ＊，ａ＊，ｂ＊の値の分散である。

ここで、本実施形態では、式（１）〜（３）を用い、原画像のＬａｂ値を画素ごとに調整することで、特徴反映済み画像が得られるが、この特徴反映済み画像は、図４の（ａ１）、（ｂ１）、（ｃ１）にて示すように、そのヒストグラム形状が、目標画像のヒストグラム形状に近づくようになる。これにより、特徴反映済み画像の印象と、目標画像の印象とが類似するようになる。

次に、表示処理部１４（図３参照）における処理について説明すると、表示処理部１４では、印象変化度獲得部１３にて獲得された印象変化度パラメータαと、次の式（４）〜（６）とを用い、原画像と特徴反映済み画像との合成を行い、合成画像を得る。

ここで、式（４）〜（６）の各々において、Ｌ＊，ａ＊，ｂ＊は、原画像の画素値、Ｌ＊’，ａ＊’，ｂ＊’は、特徴反映済み画像（目標画像の特徴を１００％反映した特徴反映済み画像）の画像値、Ｌ＊”，ａ＊”，ｂ＊”は、合成画像の画素値である。また、上記のとおり、αは、印象変化度パラメータである。
なお、上記にて説明した処理では、原画像、目標画像が、Ｌ＊，ａ＊，ｂ＊色空間の画像である場合を一例に説明したが、ＲＧＢ、三刺激値ＬＭＳ、心理値画像ＩＰＴ、Ｌαβなどの色空間の画像に対しても、上記と同様の処理を行える。

ここで、画像の調整に関する既存の技術を説明する。
画像の調整には、ＲＧＢや、ＣＩＥ Ｌａｂ、ＨＳＶなどの色空間上で、色度や輝度、色相、彩度の成分値やそれらのコントラストの調整を行うものがあり、帯域ごとの制御や画像の領域ごとの制御など様々な工夫が提案されている。とりわけ画像の見え方の印象を調整する手法としては、色度の平均値を利用する手法などが提案されている。

しかしながら、これらの従来の手法では、特に画像の色が大幅に異なる場合において画像間の印象をマッチさせることは難しい。この課題に対して、Ｌαβ色空間において複数画像の統計値を一致させることによって画像間の印象をある程度合致させる手法が提案されている。

近年、スマートフォンやタブレット型端末などのカメラを搭載しタッチパネルを備えた機器が普及する中で、画質の調整を含む画像加工、画像編集はプロフェッショナル以外においてもより身近となっており、従来よりも簡単かつ直感的な操作で画像の見え方の印象を調整する方法が求められている。こうした状況を鑑みると、単純に画像の印象を合致するのみではなく、よりインタラクティブな画像印象の操作手段が必要とされているといえる。

また、こうした画像印象を操作する手段では、人間の受ける印象にマッチしやすい色空間を利用する必要があるが、人間の受ける印象にマッチしやすい色空間を利用したとしても、入力画像によっては、印象を一致させられない場合がある。
例えば、Ｌαβ色空間を利用する手法では、人間の錐体の応答などを考えて作られたＬαβ色空間を利用しているが、人間が感じる画像の印象は必ずしも人間の錯体の応答のみで決まるわけではなく、入力画像によっては、印象を一致させられない場合がある。これは、例えば、記憶色と言われるような人が記憶している空の色と、実際の空の色とが異なる点からも説明できる。したがって、すべての画像について、必ずしもユーザの望む画像を出力できるわけではないため、実際の画像編集には利用しづらいという課題がある。

このように、画像の印象を変更したい場合の手段は様々な提案があるものの、記憶色が存在するという事実から分かるように、物理的な色や輝度を一致させただけでは、ユーザが期待する画像を得ることは難しいという課題がある。これに対して、本実施形態では、ユーザのインタラクティブな操作によって、ユーザが期待している画像により近い画像が、ユーザに対して提供されるようになる。

図５は、制御部１００にて実行される他の処理例を示した図である。
この処理では、まず、記憶部２００に記憶されている、原画像および目標画像を、色空間変換部１５に入力する。そして、参照画像生成手段の一例としてのこの色空間変換部１５は、目標画像（参照画像の一例）についての色変換を行い、色空間が互いに異なる複数の目標画像を生成する。

具体的には、例えば、ＲＧＢ色空間の目標画像から、Ｌ＊，ａ＊，ｂ＊色空間の目標画像、および、Ｌαβ色空間の目標画像を生成する。
次いで、特徴算出部１１が、色空間が互いに異なる複数の目標画像のそれぞれについて、上記と同様の手法で、特徴量を算出する。具体的には、複数の目標画像のそれぞれについて、色空間軸ごとの平均、分散を算出する。

なお、例えば、複数の目標画像のうちの一つの目標画像の色空間がＬ＊，ａ＊，ｂ＊色空間である場合には、上記にて説明したように、この目標画像については、Ｅ（Ｌ＊_Ｓ），Ｅ（ａ＊_Ｓ），Ｅ（ｂ＊_Ｓ）、Ｖ（Ｌ＊_Ｓ），Ｖ（ａ＊_Ｓ），Ｖ（ｂ＊_Ｓ）が算出されるようになる。

次に、複数の目標画像のそれぞれについて算出された特徴量が、印象調整部１２に入力される。
また、本実施形態では、色空間変換部１５において、原画像の色変換も行われ、色空間が互いに異なる複数の原画像が生成される。
具体的には、例えば、ＲＧＢ色空間の原画像から、Ｌ＊，ａ＊，ｂ＊色空間（ＣＩＥ Ｌ＊，ａ＊，ｂ＊色空間）の原画像、Ｌαβ色空間の原画像が生成される。付言すると、本実施形態では、色変換手段として機能する色空間変換部１５において、１つの原画像から、色空間が互いに異なる複数の原画像が生成される。
そして、本実施形態では、色変換が行われた原画像（色空間が互いに異なる複数の原画像）が、印象調整部１２に出力される。

印象調整部１２では、特徴算出部１１が算出した特徴量が、原画像に反映されて、上記と同様に、特徴反映済み画像が生成される。付言すると、本実施形態では、印象調整部１２が、特徴反映済み画像生成手段として機能し、印象調整部１２では、色空間が互いに異なる複数の原画像のそれぞれに対して、特徴算出部１１が算出した特徴量が反映され、特徴量が反映された複数の原画像である複数の特徴反映済み画像が生成される。

なお、この特徴反映済み画像の生成は、色空間毎に行われ、印象調整部１２では、目標画像の特徴が反映された特徴反映済み画像であって、色空間が互いに異なる複数の特徴反映済み画像が生成される。付言すると、本実施形態では、互いに異なる複数の色空間のそれぞれの色空間毎に、複数の原画像のそれぞれに対し、特徴算出部１１が把握した特徴を反映し、複数の特徴反映済み画像を生成する。

さらに具体的に説明すると、印象調整部１２では、下記の式（７）を用い、画素値ごとの調整を行う。ここで、Ｉ_{０（ｉ，ｊ）}は、調整前の色空間の軸ごとの位置（ｉ，ｊ）の画素値であり、Ｉ_０’_{（ｉ，ｊ）}は、調整後の色空間の軸ごとの位置（ｉ，ｊ）の画素値である。
また、Ｅ（Ｉ_０）は、原画像の色空間の軸ごとの画像値の平均であり、Ｖ（Ｉ_０）は、原画像の色空間の軸ごとの画像値の分散である。また、Ｅ（Ｉ_ｔ）は、目標画像の色空間の軸ごとの画像値の平均であり、Ｖ（Ｉ_ｔ）は、目標画像の色空間の軸ごとの画像値の分散である。
なお、この式（７）は、例えば、Ｌ＊，ａ＊，ｂ＊色空間については、上記にて説明した式（１）〜（３）のようになる。

次いで、本実施形態では、図５に示すように、色空間が互いに異なる複数の特徴反映済み画像が、色空間統一手段として機能する色空間統一部１６に入力され、色空間が互いに異なるこれら複数の特徴反映済み画像が、同じ色空間の特徴反映済み画像とされる。
例えば、Ｌ＊，ａ＊，ｂ＊色空間の特徴反映済み画像、および、Ｌαβ色空間の特徴反映済み画像の２つの特徴反映済み画像が色空間統一部１６に入力された場合には、一方の色空間の特徴反映済み画像が、他方の色空間の特徴反映済み画像に変換され、２つの特徴反映済み画像の色空間が同じ色空間となる。
より具体的には、例えば、Ｌ＊，ａ＊，ｂ＊色空間の特徴反映済み画像が、Ｌαβ色空間の特徴反映済み画像に変換され、２つの特徴反映済み画像の色空間は、いずれも、Ｌαβ色空間となる。

なお、色空間の統一先は、統一前の何れかの色空間に限らず、統一前には無かった色空間としてもよい。例えば、Ｌ＊，ａ＊，ｂ＊色空間の特徴反映済み画像、および、Ｌαβ色空間の特徴反映済み画像の２つの特徴反映済み画像が存在する場合に、この２つの特徴反映済み画像の色空間を、ＲＧＢの色空間とすることができる。
なお、Ｌ＊，ａ＊，ｂ＊色空間、および、Ｌαβ色空間は、比較的人間の視覚特性に近い特性をもつ特徴を有しており、色空間の統一先を、Ｌ＊，ａ＊，ｂ＊色空間や、Ｌαβ色空間とすると、特徴反映済み画像を目標印象に近づける効果が高まり、ユーザが希望する画像を得やすくなる。

その後、本実施形態では、色空間の統一が行われた複数の特徴反映済み画像が、表示処理部１４に出力される。また、表示処理部１４には、色空間重みパラメータ獲得部１７が獲得した色空間重みパラメータβが出力される。
付言すると、本実施形態では、色空間の統一が行われた複数の特徴反映済み画像を合成（α合成）して、合成画像を生成するが、この合成の際の合成割合を示す色空間重みパラメータβが、割合取得手段として機能する色空間重みパラメータ獲得部１７により取得され、色空間重みパラメータ獲得部１７から表示処理部１４へ、色空間重みパラメータβが出力される。

ここで、合成画像生成手段として機能する表示処理部１４では、複数の上記特徴反映済み画像（色空間の統一が行われた後の特徴反映済み画像）を合成して、一つの特徴反映済み画像を形成する。また、表示処理部１４は、この合成に際し、色空間重みパラメータ獲得部１７により獲得された色空間重みパラメータβを反映して、この合成を行う。具体的には、重みの大きい方の色空間の画像の比重を大きくし、重みの小さい方の色空間の画像の比重を小さくして、画像の合成を行う。

なお、色空間重みパラメータ獲得部１７は、上記印象変化度パラメータαと同様、ユーザの指のスライド移動に基づき（ユーザの指の移動量に基づき）、色空間重みパラメータβを獲得する。より具体的に説明すると、例えば、図６（画像処理装置１に対するユーザの操作例を示した図）に示すように、ユーザが、指を図中上下方向へ移動させた場合に、この指の移動量に応じた値の色空間重みパラメータβを獲得する。

さらに具体的に説明すると、例えば、ユーザが指を図中上方へスライド移動させた場合には、大きい値の色空間重みパラメータβを獲得し、ユーザが指を図中下方へスライド移動した場合には、小さい値の色空間重みパラメータβを獲得する。
なお、本実施形態では、タッチパネルに対するユーザの操作に基づき色空間重みパラメータβを把握するが、マウスやキーボードに対するユーザに操作に基づき、色空間重みパラメータβを把握してもよい。また、上記印象変化度パラメータαも同様であり、マウスやキーボードに対するユーザに操作に基づき把握してもよい。

表示処理部１４についてさらに説明すると、表示処理部１４では、色空間統一部１６により色空間が統一された複数の特徴反映済み画像と、色空間重みパラメータ獲得部１７が獲得した色空間重みパラメータβと、次の式（８）とを用いて調整処理を行い、合成画像を得る。付言すると、本実施形態では、合成画像生成手段として機能する表示処理部１４が、色空間統一部１６により色空間が統一された複数の特徴反映済み画像を、ユーザにより指定された合成割合で合成し、合成画像を得る。

ここで、Ｉ_{ｃ１（ｉ，ｊ）}は、色空間統一部１６から出力された複数の特徴反映済み画像のうちの、１つの特徴反映済み画像が有する各画素の画像値を示し、Ｉ_{ｃ２（ｉ，ｊ）}は、色空間統一部１６から出力された複数の特徴反映済み画像のうちの、もう１つの特徴反映済み画像が有する各画素の画像値を示している。また、βは、上記のとおり、色空間重みパラメータβである。なお、βは、０以上且つ１以下（０≦β≦１）となるように設定される。

ここで、１つの色空間の特徴反映済み画像のみを生成する場合、場合によっては、特徴の反映がうまくいかずに、ユーザが違和感を感じる画像が生成されることもある。
一方で、本実施形態の構成では、複数の色空間の特徴反映済み画像を合成し、さらに、色空間重みパラメータβによって、合成の度合いが変化するため、ユーザが違和感を感じにくい特徴反映済み画像が得られる可能性が高まる。
さらに、本実施形態の構成では、互いに異なる複数の色空間の特徴反映済み画像を合成するとともに、色空間重みパラメータβを用いて、ユーザが希望する割合で合成が行われるため、画像の印象を調整する際の色空間の歪みや、人間の視覚の非線形性から生じる違和感が低減されるようになる。

なお、表示処理部１４による表示処理後、タッチパネルに対するユーザの操作が再び行われると、色空間重みパラメータ獲得部１７にて、新たな色空間重みパラメータβが獲得される。この場合、この新たな色空間重みパラメータβが用いられて、複数の特徴反映済み画像の再合成が行われ、新たな合成画像が生成される。付言すると、この新たな色空間重みパラメータβと、上記式（８）とが用いられて、新たな合成画像が生成される。

図７は、制御部１００にて実行される他の処理例を示した図である。
この処理では、色空間統一部１６による色空間の統一処理まで、図５にて示した処理と同じ処理が実行される。その一方で、色空間統一部１６による色空間の統一処理の後に行われる、表示処理部１４による処理が、図５にて示した処理とは異なっている。

図７にて示すこの処理では、表示処理部１４に対して、色空間の統一が行われた複数の特徴反映済み画像、印象変化度獲得部１３により獲得された印象変化度パラメータα、色空間重みパラメータ獲得部１７により獲得された色空間重みパラメータβ、および、原画像が入力される。

そして、表示処理部１４は、複数の上記特徴反映済み画像（色空間の統一が行われた後の複数の特徴反映済み画像）を合成して、一つの特徴反映済み画像を形成する。
また、表示処理部１４は、この合成に際し、割合取得手段として機能する色空間重みパラメータ獲得部１７により獲得された色空間重みパラメータβを反映して、この合成を行う。付言すると、表示処理部１４は、複数の特徴反映済み画像を合成する際に用いる第１の割合情報の一例としての、色空間重みパラメータβを取得し、この色空間重みパラメータβを反映した合成処理を行う。
具体的には、重み（割合）の大きい方の色空間の画像の比重を大きくし、重みの小さい方の色空間の画像の比重を小さくして、画像の合成を行う。

また、表示処理部１４は、特徴反映済み画像（色空間重みパラメータβを用いて複数の特徴反映済み画像を合成した後の特徴反映済み画像）と、原画像とを合成して、新たな特徴反映済み画像を生成する。
また、表示処理部１４は、この合成に際し、印象変化度獲得部１３により獲得された印象変化度パラメータαを反映して、この合成を行う。
さらに説明すると、本実施形態では、特徴反映済み画像（複数の特徴反映済み画像を合成した後の特徴反映済み画像）と原画像との合成により生成される、新たな特徴反映済み画像に、印象変化度パラメータαにより特定される割合の分だけ原画像の成分が含まれるようにする。さらに説明すると、本実施形態では、新たに生成されるこの特徴反映済み画像における原画像の割合を示す、印象変化度パラメータα（第２の割合情報の一例）を取得し、この印象変化度パラメータαに基づき、特徴反映済み画像と原画像との合成を行う。

さらに、具体的に説明すると、表示処理部１４は、次の式（９）を用い、色空間が互いに異なる複数の特徴反映済み画像、および、原画像を合成し、合成画像を得る。

ここで、Ｉ_{ｃ１（ｉ，ｊ）}は、色空間統一部１６から出力された複数の特徴反映済み画像のうちの、１つの特徴反映済み画像が有する各画素の画像値を示し、Ｉ_{ｃ２（ｉ，ｊ）}は、色空間統一部１６から出力された複数の特徴反映済み画像のうちの、もう１つの特徴反映済み画像が有する各画素の画像値を示している。また、Ｉ_{Ｓ（ｉ，ｊ）}は、原画像が有する各画素の画素値を示している。また、上記のとおり、αは印象変化度パラメータであり、βは色空間重みパラメータである。

図８は、印象変化度パラメータα、色空間重みパラメータβのそれぞれの値をユーザが入力（変更）する際の、ユーザの操作例を示した図である。
この操作例では、ユーザが、印象変化度パラメータαの値を入力（変更）する際、ユーザは、表示画面に対して指を左右方向に動かす。また、色空間重みパラメータβの値を入力（変更）する際には、ユーザは、表示画面に対して指を上下方向に動かす。
付言すると、この操作例では、印象変化度パラメータαの値を入力（変更）する際には、ユーザは、指を一方向に動かす。また、色空間重みパラメータβの値を入力する際には、ユーザは、指を、この一方向とは異なる方向（一方向と交差（直交）する方向）に動かす。

なお、ユーザが実際に印象変化度パラメータα、色空間重みパラメータβを入力（変更）する際には、次の操作が想定される。
例えば、まず、ユーザは、指を上下方向に動かして、色空間重みパラメータβを決定し、互いに異なる複数の特徴反映済み画像の合成割合を決める。
次いで、ユーザは、指を左右方向に動かして、決定した上記合成割合で合成された特徴反映済み画像と、原画像との合成割合を決める。

図７、図８にて示した処理では、図５にて示した処理と同様、互いに異なる複数の色空間の特徴反映済み画像を合成するとともに、色空間重みパラメータβを用いて、ユーザが希望する割合で合成が行われるため、画像の印象を調整する際の色空間の歪みや、人間の視覚の非線形性から生じる違和感が低減されるようになる。また、特徴反映済み画像と原画像との合成も行うため、さらに違和感が低減された画像が生成されるようになる。

図９は、表示画面における他の表示例を説明する図である。
この表示例では、同図（Ａ）に示すように、表示画面が２分割され、図中上方に、原画像が表示され、図中下方に、目標画像が表示される。この例でも、上記と同様、原画像が表示されている部分にて、ユーザが指を左右にスライド移動させると、原画像への特徴量の反映度合いが変化し（印象変化度パラメータαが変化し）、例えば、特徴量の反映度合いが大きくなると、同図（Ｂ）に示すように、原画像が目標画像に似るようになる。

図１０は、表示画面における他の表示例を説明する図である。
ここで、同図（Ａ）は、原画像を示している。また、同図（Ｂ１）、（Ｂ２）は、目標画像を示している。この表示例では、まず、（Ｂ１）、（Ｂ２）にて示されている２つの目標画像のうちの何れかを１つをユーザが選択する。
その後、同図（Ｃ）に示すように、原画像上にて、ユーザは、指をスライド移動させる。これにより、上記と同様、特徴量の原画像への反映度合いが変化し（印象変化度パラメータαが変化し）、同図（Ｃ）にて示した表示画面は、同図（Ｄ）のように変化する。

なお、図９、１０では、印象変化度パラメータαが変化する場合を説明したが、色空間重みパラメータβを変化させる場合には、上記にて説明したように、指を上下方向にスライド移動させる。

（その他）
上記では、画像処理装置１が、いわゆるタブレット端末により構成された場合を一例に説明したが、画像処理装置１は、モニタ、キーボード、マウスなどを備えたＰＣ（Personal Computer）により構成してもよい。
また、上記では、いわゆるスワイプ操作で、印象変化度パラメータα、色空間重みパラメータβを変化させる場合を説明したが、表示画面上に、スライド移動する表示ボタンを表示し、この表示ボタンをユーザが移動させることで、印象変化度パラメータα、色空間重みパラメータβを変化させる態様も考えられる。また、テンキー（ハードキー、ソフトキーの何れもでもよい）を用い、印象変化度パラメータα、色空間重みパラメータβの数値を直接入力するようにしてもよい。

１…画像処理装置、１１…特徴算出部、１２…印象調整部、１３…印象変化度獲得部、１４…表示処理部、１５…色空間変換部、１６…色空間統一部、１７…色空間重みパラメータ獲得部、５００…画像取得部

Claims (5)

1. 編集の対象となる対象画像を取得する取得手段と、
   前記対象画像の編集の際に参照する参照画像から、色空間が互いに異なる複数の当該参照画像を生成する参照画像生成手段と、
   前記対象画像の編集の際に参照する前記参照画像の特徴量であって、前記参照画像生成手段により生成された前記複数の参照画像のそれぞれについての特徴量を取得する特徴量取得手段と、
   前記取得手段により取得された前記対象画像から、色空間が互いに異なる複数の当該対象画像を生成する色変換手段と、
   前記特徴量取得手段により取得された前記特徴量を用い、互いに異なる前記色空間のそれぞれの色空間毎に、前記色変換手段により生成された前記複数の対象画像のそれぞれに対して、前記参照画像の特徴を反映し、当該特徴が反映された当該複数の対象画像である複数の特徴反映済み画像を生成する特徴反映済み画像生成手段と、
   前記特徴反映済み画像生成手段により生成された前記複数の特徴反映済み画像を、ユーザにより指定された合成割合で合成し、合成画像を生成する合成画像生成手段と、
   を備える画像処理装置。
2. 編集の対象となる対象画像を取得する取得手段と、
   前記取得手段により取得された前記対象画像から、色空間が互いに異なる複数の当該対象画像を生成する色変換手段と、
   前記対象画像の編集の際に参照する参照画像の特徴量を取得する特徴量取得手段と、
   前記特徴量取得手段により取得された前記特徴量を用い、色空間が互いに異なる前記複数の対象画像のそれぞれに対して、前記参照画像の特徴を反映し、当該特徴が反映された当該複数の対象画像である複数の特徴反映済み画像を生成する特徴反映済み画像生成手段と、
   前記特徴反映済み画像生成手段により生成された前記複数の特徴反映済み画像、および、前記取得手段により取得された前記対象画像を、ユーザにより指定された合成割合で合成し、合成画像を生成する合成画像生成手段と、
   を備える画像処理装置。
3. ユーザにより指定される前記合成割合を取得する割合取得手段を更に備え、
   前記割合取得手段は、前記特徴反映済み画像生成手段により生成された前記複数の特徴反映済み画像の合成に用いる第１の割合情報と、前記合成画像における前記対象画像の割合を示す第２の割合情報とを取得することを特徴とする請求項２に記載の画像処理装置。
4. 前記合成画像生成手段により生成された前記合成画像を表示するタッチパネルを更に備え、
   前記割合取得手段は、前記タッチパネル上を一方向にスライド移動する、ユーザの指の移動量から前記第１の割合情報を取得し、当該タッチパネル上を当該一方向とは異なる方向にスライド移動する、ユーザの指の移動量から前記第２の割合情報を取得することを特徴とする請求項３に記載の画像処理装置。
5. 編集の対象となる対象画像を取得する取得機能と、
   前記取得機能により取得された前記対象画像から、色空間が互いに異なる複数の当該対象画像を生成する色変換機能と、
   前記対象画像の編集の際に参照する参照画像の特徴量を取得する特徴量取得機能と、
   前記特徴量取得機能により取得された前記特徴量を用い、色空間が互いに異なる前記複数の対象画像のそれぞれに対して、前記参照画像の特徴を反映し、当該特徴が反映された当該複数の対象画像である複数の特徴反映済み画像を生成する特徴反映済み画像生成機能と、
   前記特徴反映済み画像生成機能により生成された前記複数の特徴反映済み画像、および、前記取得機能により取得された前記対象画像を、ユーザにより指定された合成割合で合成し、合成画像を生成する合成画像生成機能と、
   をコンピュータに実現させるためのプログラム。

Images