JP7046340B2 - 画像処理装置、端末、画像処理方法、プログラム - Google Patents

Description

本発明は、色情報を推定する画像処理技術に関する。

顔画像における色情報に基づいて、顔の肌の状態や肌年齢等を解析する画像処理装置が提案されている。この際、より精度の高い解析を行うためには、解像度が高い画像が必要とされる。しかしながら、例えばスマートフォンに代表される端末として動作する画像処理装置において、一般的にフロントカメラよりも解像度が高い画像が得られるリアカメラで撮像する場合には、撮影者がリアカメラのプレビュー画像を確認することができないため、適切な画像の取得が困難である。そのため、撮影者がプレビュー画像を確認することができないような場合であっても、所定の撮影結果が得られるように撮影者を誘導する画像処理装置が提案されている。

例えば特許文献１には、顔領域検出の結果、顔領域が撮影領域内の目標領域に入っているか否かに応じて撮像部の位置または向きの補正を撮影者に指示する画像処理装置が開示されている。

特開２００８－１１８２７６号公報

特許文献１に記載の画像処理装置では、撮影者が撮像部を自分自身に向けてシャッターボタンを押す前の段階で、得られた被写体の画像データから顔領域を検出し、この顔領域が目標領域に入るように、通知手段が撮影者に指示する。しかし、実際には、顔領域が十分に含まれていない状態で撮像されたり、シャッターボタンを押す際に被写体ぶれが発生したりすることで、色情報に基づく解析に耐え得る精度の画像取得が難しいという問題がある。

また、特許文献１に記載の画像処理装置では、撮影者の習熟度が低い場合には、通知手段による指示を撮影者が忠実に実行できない可能性があり、目標領域に顔領域が入るように撮像部の位置等を誘導することが困難である。

本発明は上記課題を鑑みなされたものであり、その目的は、画像中の特定の領域における色情報を高精度に推定する画像処理技術を提供することである。

本発明の一態様によれば、画像処理装置は、第１撮像部で撮像される第１画像に含まれる第１領域における第１色情報を算出する第１算出手段と、第２撮像部で撮像される第２画像に含まれる前記第１領域における第２色情報と、第２領域における第３色情報とを算出する第２算出手段と、第２色情報から第１色情報への変換用の係数を算出する係数算出手段と、係数に基づいて、第３色情報から、第１撮像部で撮像される場合の第２領域における第４色情報を推定する推定手段と、を備える。

本発明に係る画像処理装置によれば、撮影者が所望の被写体を確実に捕捉することができる、プレビュー画像を確認できるフロントカメラ画像を用いて、撮影者がプレビュー画像を確認できないリアカメラで撮像する場合における、所望の被写体の色情報を高精度に推定することができる、という効果を奏する。

画像処理装置の機能構成の一例を示すブロック図。 画像処理の流れの一例を示すフローチャート。 スマートフォンの機能構成の一例を示すブロック図。 実施例に係るスマートフォンの表示部に表示される表示画面の一例を示す図。 実施例に係るスマートフォンの表示部に表示される表示画面の一例を示す図。 実施例に係るスマートフォンの表示部に表示される表示画面の一例を示す図。 実施例に係るスマートフォンの表示部に表示される表示画面の一例を示す図。 実施例に係るスマートフォンの表示部に表示される表示画面の一例を示す図。 実施例に係るスマートフォンの表示部に表示される表示画面の一例を示す図。 実施例に係るスマートフォンの表示部に表示される表示画面の一例を示す図。 記録媒体の一例を示す図。

以下、本発明を実施するための形態の一例について図面を参照して説明する。なお、図面の説明において同一の要素には同一の符号を付して、重複する説明を省略する場合がある。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。

［実施形態］
以下、本発明の画像処理技術を実現するための実施形態の一例について説明する。

図１は、本実施形態の一態様に係る画像処理装置１０の機能構成の一例を示すブロック図である。
画像処理装置１０は、例えば、第１位置検出部１１０と、第１色情報算出部１２０と、第２位置検出部１３０と、第２色情報算出部１４０と、第３色情報算出部１５０と、色情報変換パラメータ算出部１６０と、第４色情報推定部１７０と、色情報解析部１８０とを備える。これらは、例えば、画像処理装置１０の不図示の処理部（処理装置）や制御部（制御装置）が有する機能部（機能ブロック）であり、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。

第１位置検出部１１０は、例えば、リアカメラである第１撮像部２１０で撮像された第１画像（以下、第１画像のことを適宜「リアカメラ画像」と称する。）に基づいて、リアカメラ画像中における第１領域の一例である、撮影者の手の甲の領域（以下、「手の甲領域」と称する。）を検出（抽出）する機能を有する。

本実施形態において、リアカメラとは、例えば撮影者が第２領域である後述の頬領域を撮影する際に、不図示の表示部によって、第１撮像部２１０の撮像領域（撮像対象）を確認することができないカメラを指す。
リアカメラは、例えば、装置の筐体の背面側（表示部が形成される面の反対側）に設けられるカメラ（バックカメラ、アウトカメラ）とすることができる。

第１色情報算出部１２０は、一例として、リアカメラ画像のうち、第１位置検出部１１０で検出された手の甲領域における画像に基づいて、例えば、輝度（Ｙ）・青色差（Ｃｂ）・赤色差（Ｃｒ）で構成される色情報を算出する機能を有する。

第２位置検出部１３０は、例えば、フロントカメラである第２撮像部２２０で撮像された第２画像（以下、第２画像のことを適宜「フロントカメラ画像」と称する。）に基づいて、フロントカメラ画像中における手の甲領域と、第２領域の一例である撮影者の頬の領域（以下、「頬領域」と称する。）とを検出（抽出）する機能を有する。

本実施形態において、フロントカメラとは、例えば撮影者が第２領域である頬領域を撮影する際に、不図示の表示部によって、第２撮像部２２０の撮像領域（撮像対象）を確認可能であるカメラを指す。
フロントカメラは、例えば、装置の筐体の正面側（表示部を有する面側）に設けられるカメラ（インカメラ）とすることができる。

なお、フロントカメラ画像の解像度は、リアカメラ画像の解像度と比べて低くてもよい（フロントカメラ画像の画素数は、リアカメラ画像の画素数と比べて小さくてもよい）。この場合、フロントカメラの解像度は、リアカメラの解像度と比べて低くてもよい（フロントカメラの有効画素数は、リアカメラの有効画素数と比べて小さくてもよい）。

第２色情報算出部１４０は、一例として、フロントカメラ画像のうち、第２位置検出部１３０で検出された手の甲領域における画像に基づいて、例えば、輝度（Ｙ）・青色差（Ｃｂ）・赤色差（Ｃｒ）で構成される色情報を算出する機能を有する。

第３色情報算出部１５０は、一例として、フロントカメラ画像のうち、第２位置検出部１３０で検出された頬領域における画像に基づいて、例えば、輝度（Ｙ）・青色差（Ｃｂ）・赤色差（Ｃｒ）で構成される色情報を算出する機能を有する。

色情報変換パラメータ算出部１６０は、一例として、第１色情報算出部１２０で算出された手の甲領域における色情報と、第２色情報算出部１４０で算出された手の甲領域における色情報とに基づいて、フロントカメラ画像の色情報と、リアカメラ画像の色情報との間で色情報の変換を行うための色情報変換パラメータを算出する機能を有する。

第４色情報推定部１７０は、一例として、色情報変換パラメータ算出部１６０で算出された色情報変換パラメータと、第３色情報算出部１５０で算出された頬領域における色情報とに基づいて、リアカメラ画像で頬領域を撮像した場合の、例えば、輝度（Ｙ）・青色差（Ｃｂ）・赤色差（Ｃｒ）で構成される頬領域における色情報を推定する機能を有する。

色情報解析部１８０は、一例として、第４色情報推定部１７０で推定された頬領域における色情報に基づいて、例えば、撮影者に最も適合するファンデーションの色や、肌質を整える野菜等の情報を解析結果として出力する機能を有する。

なお、色情報解析部１８０は、画像処理装置１０の要素として必須ではなく、画像処理装置１０の要素から除外してもよい。

また、第１位置検出部１１０と、第２位置検出部１３０とは、同一の機能（画像が入力されると、その画像中の特定領域を検出（抽出）した画像が出力される機能）を持つ単一の位置検出部として置き換えてもよい。

また、第１色情報算出部１２０と、第２色情報算出部１４０と、第３色情報算出部１５０とは、同一の機能（画像が入力されると、色情報が出力される機能）を持つ単一の色情報算出部として置き換えてもよい。

また、第１撮像部２１０は、リアカメラに限定されない。例えば、単なるカメラとしてもよい。第２撮像部２２０も同様に、フロントカメラに限定されない。

また、第１領域と第２領域とは、それぞれ手の甲領域と頬領域に限定されない。例えば、より広義に、第１領域を手の領域としたり、第２領域を顔の領域とするなどしてもよい。
また、この他にも、例えば、第１領域を手首の領域としてもよい。第２領域を顔の額の領域としてもよい。もしくは、第１領域・第２領域を人物以外の領域としてもよい。

［画像処理の手順］
図２は、本実施形態における画像処理の手順例を示すフローチャートである。
図２のフローチャートにおける処理は、例えば画像処理装置１０の不図示の処理部が、記憶部３００に格納された画像処理プログラムのコードを不図示のＲＡＭに読み出して実行することにより実現される。

なお、図１では、記憶部３００を画像処理装置１０の構成要素から除外して示しているが、記憶部３００を画像処理装置１０の構成要素に含めてもよい。また、図２のフローチャートにおける各記号Ｓは、ステップを意味する。

また、以下説明するフローチャートは、あくまでも本実施形態における画像処理の手順の一例を示すものに過ぎず、他のステップを追加したり、一部のステップを削除したりしてもよいことは勿論である。

Ｓ１０１において、第１位置検出部１１０は、第１撮像部２１０で撮像されたリアカメラ画像の入力を受け付ける。
なお、入力されたリアカメラ画像は、例えば、不図示の表示部に表示させるようにしてもよい。

本実施形態において、リアカメラ画像は、例えば、標準イルミナントＤ６５（Ｄ６５光源）や、測色用補助イルミナントＣ（Ｃ光源）に準ずる、色温度が既知である光源（定められる色温度に調光可能な光源）を用いて撮像される。

Ｓ１０３において、第１位置検出部１１０は、リアカメラ画像から、撮影者の手の甲領域を検出（抽出）する。これは、例えば領域抽出処理によって実現することができる。

領域抽出処理では、例えば、ディープラーニングの一手法である、ＦＣＮ（Fully Convolutional Network）やＳｅｇＮｅｔ、Ｕ－Ｎｅｔ等を用いてリアカメラ画像に対してセマンティックセグメンテーションを実行する。そして、第１領域（手の甲領域）として分類された画素の位置と、画素の色情報とを第１の第１領域画像情報（手の甲領域画像情報）として第１色情報算出部１２０へ出力（送信）する。

なお、リアカメラ画像からＨＯＧ（Histogram of Oriented Gradients）特徴量を用いて特徴抽出を行い、ＳＶＭ（Support Vector Machine）等の識別器を用いて第１領域の抽出を行うことも可能である。
また、第１領域が肌の場合には、色ヒストグラムを用いて画素の肌色らしさを評価し、リアカメラ画像から第１領域を抽出することも可能である。ＳＶＭによる抽出結果に対して肌色らしさを評価してもよい。
また、ディープラーニングによる結果と、これらの結果を組み合わせて領域抽出を行ってもよい。

Ｓ１０５において、第１位置検出部１１０は、Ｓ１０３の検出結果（抽出結果）に基づいて、第１領域（手の甲領域）の検出に成功したか否かを判定する。この判定は、例えば、第１領域（手の甲領域）がリアカメラ画像の所定割合を占めるか否かを判定することによって実現することができる。

第１領域（手の甲領域）がリアカメラ画像の所定割合を占めていない場合には、検出失敗とし（Ｓ１０５：ＮＯ）、第１位置検出部１１０は、第１撮像部２１０に再度リアカメラ画像を撮像させる制御命令を送信し、Ｓ１０１を実行する。

一方、第１領域（手の甲領域）がリアカメラ画像の所定割合を占める場合には、検出成功とし（Ｓ１０５：ＹＥＳ）、Ｓ１０７へと処理を移す。

Ｓ１０７において、第１色情報算出部１２０は、第１領域画像情報に基づいて、例えば、定められた大きさの画像パッチ（画像の小領域）ごとに、各画素の色情報の平均値を算出する。そして、その平均値に基づいて、例えば、Ｙ―Ｃｂ―Ｃｒ色空間での画像パッチごとの色情報（第１色情報）を算出する。

なお、リアカメラ画像が、色温度が既知である光源を用いて撮像された場合には、光源の色温度情報に基づいて、例えば、Ｙ―Ｃｂ―Ｃｒ色空間に変換を行う際に色情報の補正を行い、第１色情報を算出してもよい。

ここで、例えば、ｉ番目の画像パッチにおけるＹ―Ｃｂ―Ｃｒ色空間での輝度をＹ_i、青色差をＵ_i、赤色差をＶ_iとするとき、ｉ番目の画像パッチにおける第１色情報を（Ｙ_ｉ，Ｕ_ｉ，Ｖ_ｉ，Ｐ_i）と表記する。ただし、Ｐ_iはｉ番目の画像パッチの位置を表す座標情報である。また、生成される画像パッチの数を「Ｎ」枚とする。

Ｓ１０９において、第２位置検出部１３０は、第２撮像部２２０で撮像されたフロントカメラ画像の入力を受け付ける。
なお、入力されたフロントカメラ画像は、例えば、不図示の表示部に表示させるようにしてもよい。

Ｓ１１１において、第２位置検出部１３０は、フロントカメラ画像から、撮影者の手の甲領域を検出する。これは、例えば領域抽出処理によって実現することができる。
なお、領域抽出処理については、Ｓ１０３と同様に実現可能であるため、詳細な説明は省略する。そして、第２位置検出部１３０は、抽出結果を第２の第１領域画像情報（手の甲領域画像情報）として第２色情報算出部１４０へ出力（送信）する。

Ｓ１１３において、第２位置検出部１３０は、フロントカメラ画像から、撮影者の頬領域を検出する。これも、例えば領域抽出処理によって実現することができる。
なお、領域抽出処理については、Ｓ１０３と同様に実現可能であるため、詳細な説明は省略する。そして、第２位置検出部１３０は、抽出結果を第２領域画像情報（頬領域画像情報）として第３色情報算出部１５０へ出力（送信）する。

Ｓ１１５において、第２位置検出部１３０は、Ｓ１１１の検出結果とＳ１１３の検出結果とに基づいて、第１領域（手の甲領域）と第２領域（頬領域）との検出に成功したか否かを判定する。この判定は、例えば、第１領域（手の甲領域）と第２領域（頬領域）とがフロントカメラ画像の所定割合を占めるか否かを判定することによって実現することができる。

第１領域または第２領域、もしくはその両方が、フロントカメラ画像の所定割合を占めていない場合には、検出失敗とし（Ｓ１１５：ＮＯ）、第２位置検出部１３０は、第２撮像部２２０に再度フロントカメラ画像を撮像させる制御命令を送信し、Ｓ１０９を実行する。

一方、第１領域（手の甲領域）と第２領域（頬領域）とがフロントカメラ画像の所定割合を占めている場合には、検出成功とし（Ｓ１１５：ＹＥＳ）、Ｓ１１７へと処理を移す。

Ｓ１１７において、第２色情報算出部１４０は、第２領域画像情報に基づいて、例えば、定められた大きさの画像パッチ（画像の小領域）ごとに、各画素の色情報の平均値を算出する。そして、その平均値に基づいて、例えば、Ｙ―Ｃｂ―Ｃｒ色空間での画像パッチごとの色情報（第２色情報）を算出する。

ここで、例えば、ｊ番目の画像パッチにおけるＹ―Ｃｂ―Ｃｒ色空間での輝度をｙ_ｊ、青色差をｕ_ｊ、赤色差をｖ_ｊとするとき、ｊ番目の画像パッチにおける第２色情報を（ｙ_ｊ，ｕ_ｊ，ｖ_ｊ，ｐ_ｊ）と表記する。ただし、ｐ_ｊはｊ番目の画像パッチの位置を表す座標情報である。また、生成される画像パッチの数を「Ｍ」枚とする。

ここで、前述したように、例えばリアカメラ画像の解像度がフロントカメラ画像の解像度と比べて高くなるようにする場合、「Ｎ≧Ｍ」となるように、画像パッチの大きさを定めるようにするとよい。

Ｓ１１９において、第３色情報算出部１５０は第３領域画像情報に基づいて、定められた大きさの画像パッチ（画像の小領域）ごとに、各画素の色情報の平均値を算出し、その平均値に基づいて、例えば、Ｙ―Ｃｂ―Ｃｒ色空間での画像パッチごとの色情報を算出する。

なお、Ｓ１１９では、画像パッチごとに各画素の色情報を平均化せずに、各画素の色情報を、例えば、Ｙ―Ｃｂ―Ｃｒ色空間に変換するとしてもよい。

例えば、第２色情報と同様に、ｋ番目の画像パッチにおける第３色情報を（ｙ′_ｋ，ｕ′_ｋ，ｖ′_ｋ，ｐ′_ｋ）と表記する。ただし、ｐ′_ｋはｋ番目の画像パッチの位置を表す座標情報である。

Ｓ１２１において、色情報変換パラメータ算出部１６０は、色情報変換パラメータを算出する。具体的には、まず、第１色情報と第２色情報とに基づいて、第２色情報における各画像パッチが、第１色情報におけるいずれの画像パッチと対応するかを算出するパッチ対応点探索処理を実行する。対応点探索の手法としては、例えば、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）特徴量を用いて相関を取る方法などを用いることができる。
この場合、第２色情報におけるある一つの画像パッチが、第１色情報における複数の画像パッチと対応関係にあるとしてもよい。

なお、パッチ対応点探索処理では、パッチ平均をとる前の元画像（リアカメラ画像の第１領域画像とフロントカメラ画像の第１領域画像）を利用して対応点を求め、その対応点から画像パッチ間の対応関係を求めてもよい。

例えば、第１色情報におけるｉ番目の画像パッチと、第２色情報におけるｊ番目の画像パッチとが対応関係にあるとする。このとき、以下のような変換式（１）を定めることができる。

ここで、（ａ_Ｙ，ｂ_Ｙ，ｃ_Ｙ）は、第２色情報から第１色情報の輝度への変換を行うためのパラメータである。
同様に、（ａ_Ｕ，ｂ_Ｕ，ｃ_Ｕ），（ａ_Ｖ，ｂ_Ｖ，ｃ_Ｖ）は、それぞれ青色差・赤色差の変換を行うためのパラメータである。

「Ｎ≧Ｍ」であることに注意すると、各パッチにおける変換式は、例えば以下のように行列式（２）で記述できる。

各行列を以下の式（３）のように置き換える。

すると、各パッチにおける変換式は、行列を用いて以下の式（４）のように記述できる。

このとき、ムーア－ペンローズの擬似逆行列（一般化逆行列）を用いて行列Ｍを計算すると、以下の式（５）で表される評価関数を最小化するＭを求めることができる。

すなわち、以下の式（６）を用いて変換式における各パラメータを算出することができる。

上記の式に従って、Ｓ１２１において、色情報変換パラメータ算出部１６０は、フロントカメラ画像（第２撮像部で撮像された画像）の色情報から、リアカメラ画像（第１撮像部で撮像された画像）の色情報への変換を行うための色情報変換パラメータＭを算出する。

Ｓ１２３において、第４色情報推定部１７０は、第１撮像部であるリアカメラを用いて第１領域である頬領域を撮像した場合における画像の色情報である、第４色情報（頬領域における色情報）を推定する。

いま、画像の座標ｐ′_ｋにおいて推定される第４色情報を（Ｙ′_ｋ，Ｕ′_ｋ，Ｖ′_ｋ，ｐ′_ｋ）と表す。ただし、Ｙ′_ｋはＹ―Ｃｂ―Ｃｒ色空間での輝度を、Ｕ′_ｋは青色差を、Ｖ′_ｋは赤色差を、それぞれ表す。
この場合、第４色情報は、Ｓ１２３で算出された色情報変換パラメータＭと、Ｓ１１９で算出された第３色情報とを用いて、以下の式（７）を用いて推定できる。

Ｓ１２５において、色情報解析部１８０は、Ｓ１２３で推定された第４色情報を用いて、例えば、事前に行われるクラスタリング解析の結果に基づいて、第４色情報がどのクラスに属するのかを算出し、クラスに応じた情報、例えば、ファンデーションの色番号を出力し、本フローチャートの処理を終了する。

なお、色情報解析部１８０は、第４色情報をサーバクライアントシステム等によってサーバ等の外部装置に不図示の通信部によって送信し、サーバでの処理結果を不図示の通信部を介して受信する処理を行う機能を有する機能部としてもよい。

本フローチャートでは、Ｓ１０９はＳ１０７の後に実行されるとして図示したが、Ｓ１０９からＳ１１９の処理を実行後にＳ１０１からＳ１０５の処理が実行されるとしてもよい。

［実施例］
次に、上記の画像処理装置１０を適用した、または上記の画像処理装置１０を備える端末、色情報推定装置、電子装置（電子機器）、情報処理装置の実施例について説明する。ここでは、一例として、カメラ機能付き（撮像機能付き）携帯電話機の一種であるスマートフォンの実施例について説明する。但し、本発明を適用可能な実施例が、この実施例に限定されるわけでないことは勿論である。

図３は、本実施例におけるスマートフォン１０００の機能構成の一例を示す図である。
スマートフォン１０００は、例えば、処理部１００と、操作部２３０と、タッチパネル２４０と、表示部２５０と、記憶部３００と、第１撮像部２１０と、第２撮像部２２０と、ジャイロセンサ２６０と、音出力部２７０と、通信部２８０とを備える。

処理部１００は、記憶部３００に記憶されているシステムプログラム等の各種プログラムに従ってスマートフォン１０００の各部を統括的に制御したり、画像処理に係る各種の処理を行う処理装置であり、ＣＰＵやＤＳＰ等のプロセッサーやＡＳＩＣ等の集積回路を有して構成される。

処理部１００は、主要な機能部として、第１位置検出部１１０と、第１色情報算出部１２０と、第２位置検出部１３０と、第２色情報算出部１４０と、第３色情報算出部１５０と、色情報変換パラメータ算出部１６０と、第４色情報推定部１７０と、色情報解析部１８０と、表示制御部１９０とを有する。これらの機能部は、図１の画像処理装置１０が備える機能部にそれぞれ対応するものである。

ただし、表示制御部１９０は、図１の画像処理装置１０による各種出力の一態様として、各種の画像を表示部２５０に表示（表示出力）させる制御を行う。

操作部２３０は、操作ボタンや操作スイッチといった、ユーザーがスマートフォン１０００に対する各種の操作入力を行うための入力装置を有して構成される。また、操作部２３０は、表示部２５０と一体的に構成されたタッチパネル２４０を有し、このタッチパネル２４０は、ユーザーとスマートフォン１０００との間の入力インターフェースとして機能する。操作部２３０からは、ユーザー操作に従った操作信号が処理部１００に出力される。

表示部２５０は、ＬＣＤ（Liquid Crystal Display）等を有して構成される表示装置であり、表示制御部１９０から出力される表示信号に基づいた各種の表示を行う。本実施例では、表示部２５０は、タッチパネル２４０と一体的に構成されてタッチスクリーンを形成している。

音出力部２７０は、スピーカ等を有して構成される音出力装置であり、処理部１００から出力される音出力信号に基づいた各種の音出力を行う。

第１撮像部２１０は、任意のシーンの画像を撮像可能に構成された撮像デバイスであり、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary MOS）イメージセンサ等の撮像素子（半導体素子）を有して構成される。第１撮像部２１０は、撮像対象物から発せられた光を、不図示のレンズによって撮像素子の受光平面に結像させ、光電変換によって、像の光の明暗を電気信号に変換する。変換された電気信号は、不図示のＡ／Ｄ（Analog Digital）変換器によってデジタル信号に変換されて、処理部１００に出力される。

第１撮像部２１０は、スマートフォン１０００のタッチパネル２４０が存在しない背面に配置され、撮像時に光源として利用可能なフラッシュ（ストロボ）を有する。このフラッシュは、発光時の色温度が既知であるか、もしくは処理部１００によって色温度を調光可能なフラッシュとしてもよい。

第１撮像部２１０の撮像時には、表示制御部１９０は、プレビュー画像を表示部２５０に表示させるようにしてもよい。ただし、プレビュー画像が表示される表示部２５０は、第１撮像部の撮像時には、スマートフォン１０００のユーザーからは視認することができない、もしくは視認することが困難である。第１撮像部２１０は、リアカメラと言い換えてもよい。

第２撮像部２２０は、任意のシーンの画像を撮像可能に構成された撮像デバイスであり、フラッシュを有さない以外は第１撮像部２１０と同様の構成をとる。なお、第２撮像部２２０は、第１撮像部２１０と比べて解像度が低い（有効画素数が少ない）撮像デバイスとしてもよい。
第２撮像部２２０は、スマートフォン１０００のタッチパネル２４０が存在する前面に配置される。

第２撮像部２２０の撮像時には、表示制御部１９０は、プレビュー画像を表示部２５０に表示させるようにしてもよい。ただし、プレビュー画像が表示される表示部２５０は、第２撮像部の撮像時には、スマートフォン１０００のユーザーから容易に視認することが可能である。第２撮像部２２０は、フロントカメラと言い換えてもよい。

通信部２８０は、装置内部で利用される情報を外部の情報処理装置との間で送受するための通信装置である。通信部２８０の通信方式としては、所定の通信規格に準拠したケーブルを介して有線接続する形式や、クレイドルと呼ばれる充電器と兼用の中間装置を介して接続する形式、近距離無線通信を利用して無線接続する形式等、種々の方式を適用可能である。

ジャイロセンサ２６０は、例えば３軸の軸回りの角速度を検出するセンサである。ジャイロセンサ２６０の検出結果は、処理部１００に随時出力される。

記憶部３００は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ＲＡＭ等の揮発性又は不揮発性のメモリや、ハードディスク装置等を有して構成される記憶装置である。

本実施例では、記憶部３００には、例えば、色情報推定処理プログラム３１０と、画像用バッファ３２０と、色情報変換パラメータデータ３３０とが記憶される。

色情報推定処理プログラム３１０は、処理部１００により読み出され、画像処理として実行されるプログラムである。この画像処理は、例えば図２に示したフローチャートに基づく処理として実行される。

画像用バッファ３２０は、例えば、第１撮像部２１０もしくは第２撮像部２２０によって撮像される撮像画像が記憶されるバッファである。

色情報変換パラメータデータ３３０は、例えば、色情報変換パラメータ算出部１６０によって推定された色情報変換パラメータが記憶されるデータである。

スマートフォン１０００の処理部１００は、記憶部３００に記憶されている色情報推定処理プログラム３１０に従って、色情報推定処理を行う。この色情報推定処理は、例えば図２に示したフローチャートに従って実行される。

この場合、図２の処理において、表示制御部１９０は、Ｓ１０１において、スマートフォン１０００のユーザーに対して、例えば第１撮像部２１０のプレビュー画像（ライブビュー画像）が第１領域である手の甲がすべて映る位置に収まるような位置にスマートフォン１０００を構えることをガイド（案内）する画像を、表示部２５０に表示させる。
次いで、表示制御部１９０は、スマートフォン１０００のユーザーに対して、第１撮像部２１０が第１領域である手の甲に近づくようにガイドする画像を、表示部２５０に表示させる。

そして、第１位置検出部１１０は、Ｓ１０１からＳ１０５において、第２撮像部２２０のプレビュー画像を仮の第１画像として、第１領域を抽出する処理を逐次実行する。そして、抽出された第１領域がプレビュー画面全体に対して所定の割合（例えば８割）を占めている場合には（Ｓ１０５：ＹＥＳ）、第１位置検出部１１０は、第１撮像部２１０に第１画像を撮像する制御命令を送信する。その際、第１位置検出部１１０は、第１撮像部２１０のフラッシュを強制発光させる制御命令を、第１画像を撮像する制御命令と併せて送信する。

なお、第１撮像部２１０は、タッチパネル２４０に対するユーザー操作を受け付け、手動で第１画像を撮像するようにしてもよい。また、上記のガイドする画像を表示部２５０に表示させる代わりに、音出力部２７０によって出力される音声によってガイドするようにしてもよい。また、ガイド画像と音声ガイダンスとを組み合わせてもよい。

表示制御部１９０は、Ｓ１０９において、スマートフォン１０００のユーザーに対して、例えば第２撮像部２２０のプレビュー画像（ライブビュー画像）が第１領域である手の甲と、第２領域である頬領域とがすべて映る位置に収まるような位置にスマートフォン１０００を構えることをガイドする画像を、表示部２５０に表示させる。

そして第２位置検出部１３０は、Ｓ１０９からＳ１１５において、第２撮像部２２０のプレビュー画像を仮の第２画像として、第１領域と第２領域とを抽出する処理を逐次実行する。そして、抽出された第１領域と第２領域とがプレビュー画面全体に対してそれぞれ所定の割合を占めている場合には（Ｓ１１５：ＹＥＳ）、第２位置検出部１３０は、第２撮像部２２０に第２画像を撮像する制御命令を送信する。

なお、第２撮像部２２０は、タッチパネル２４０に対するユーザー操作を受け付け、手動で第２画像を撮像するようにしてもよい。また、上記のガイドする画像を表示部２５０に表示させる代わりに、音出力部２７０によって出力される音声によってガイドするようにしてもよい。また、ガイド画像と音声ガイダンスとを組み合わせてもよい。

表示制御部１９０は、Ｓ１２５において、色情報解析部１８０で得られた解析結果を、表示部２５０に表示させる。

［表示画面例］
本実施例における色情報推定装置を利用するアプリケーション実行例について表示画面例を参照して説明する。
図４～図９は、スマートフォン１０００で実行される肌解析アプリケーションにおいて表示部２５０（タッチパネル２４０を有するタッチスクリーン）に表示されるアプリケーション画面の一例を示す図である。これらのアプリケーション画面は、処理部１００によって色情報推定処理が実行される場合に表示される画面の一例である。

図４のアプリケーション画面には、実行中のアプリケーションの名称である「肌解析アプリケーション」が上部に表示される。その下に、図２のＳ１０１を実行することを示す「Ｓｔｅｐ．１」の表示と、図２のＳ１０１でリアカメラ画像を撮像するために必要な、リアカメラの撮像領域内に手の甲領域全体が収まるアングルにスマートフォン１０００を構えることをガイドする画像が表示される。ガイド画像の下には、ガイド画像に従ってスマートフォン１０００のユーザーにスマートフォン１０００を構えることを促すメッセージが表示される。また、その下には、リアカメラでの撮像を開始するＯＫ機能ボタンが配置される。

図５は、図４において、ユーザーによってＯＫ機能ボタンがタッチされた場合の画面の一例である。
図５では、アプリケーション名称「肌解析アプリケーション」の下には、リアカメラのプレビュー画像と、リアカメラに手動で撮像させる際に使用される、例えば同心円で表される撮像機能ボタンとが配置される。プレビュー画像の下には、図２のＳ１０３・Ｓ１０５の処理結果に基づいて、リアカメラが手の甲領域に近づくようにスマートフォン１０００を移動させることを促すガイドメッセージが表示される。

図６は、図５において、スマートフォン１０００をガイドメッセージに従って移動させた場合の画面の一例である。
図６では、図２のＳ１０５において、手の甲領域がリアカメラプレビュー画像中に十分に含まれると判断され、リアカメラでリアカメラ画像を撮像していることを示す「撮影中」のメッセージが表示される。また、リアカメラ画像を撮像していることをユーザーに報知させるため、シャッター音を音出力部２７０から出力させる。
なお、撮像機能ボタンをユーザーにタッチさせるように促し、手動でリアカメラ画像を撮像させてもよい。

図７は、図６におけるリアカメラ画像の撮像が終了した場合の画面の一例である。
図７では、図２のＳ１０９を実行することを示す「Ｓｔｅｐ．２」の表示と、図２のＳ１０９でフロントカメラ画像を撮像するために必要な、フロントカメラの撮像領域内に手の甲領域と頬領域とが収まるアングルにスマートフォン１０００を構えることをガイドする画像が表示される。ガイド画像の下には、ガイド画像に従ってスマートフォン１０００のユーザーにスマートフォン１０００を構えることを促すメッセージが表示される。また、その下には、フロントカメラでの撮像を開始するＯＫ機能ボタンが配置される。

図８は、図７において、ユーザーによってＯＫ機能ボタンがタッチされた場合の画面の一例である。
図８では、アプリケーション名称「肌解析アプリケーション」の下には、フロントカメラのプレビュー画像と、フロントカメラに手動で撮像させる際に使用される、例えば同心円で表される撮像機能ボタンとが配置される。なお、フロントカメラのプレビュー画像には、撮像に理想的な手の位置と顔の位置とをユーザーに報知するためのガイド線（太線）がオーバーレイされ表示される。
プレビュー画像の下には、図２のＳ１１１～Ｓ１１５の処理結果に基づいて、顔と手とをガイド線に合わせることをユーザーに促すメッセージが表示される。

図９は、図８において、ユーザーが顔と手とをガイド線に合わせた場合の画面の一例である。
図９では、図２のＳ１１５において、手の甲領域と頬領域とがフロントカメラプレビュー画像中に十分に含まれると判断され、フロントカメラでフロントカメラ画像を撮像していることを示す「撮影中」のメッセージが表示される。また、フロントカメラ画像を撮像していることをユーザーに報知させるため、シャッター音を音出力部２７０から出力させる。
なお、撮像機能ボタンをユーザーにタッチさせるように促し、手動でフロントカメラ画像を撮像させてもよい。

［実施形態の効果］
本実施形態の画像処理装置（画像処理装置１０）は、第１撮像部で撮像される第１画像に含まれる第１領域における第１色情報を算出する第１算出手段（第１色情報算出部１２０）と、第２撮像部で撮像される第２画像に含まれる第１領域における第２色情報と、第２領域における第３色情報とを算出する第２算出手段（第２色情報算出部１４０、第３色情報算出部１５０）と、第２色情報から第１色情報への変換用の係数Ｍを算出する係数算出手段（色情報変換パラメータ算出部１６０）と、係数Ｍに基づいて、第３色情報から、第１撮像部で撮像される場合の第２領域における第４色情報を推定する推定手段（第４色情報推定部１７０）とを備える。
これによれば、第１撮像部で撮像される第１画像には含まれていない第２領域について、第１撮像部で撮像された場合の第４色情報を、第２画像を介して推定することが可能になる。よって、第２領域が、第１撮像部での撮像が困難な領域であっても、第１撮像部での撮像が容易である第１領域と、その第２領域とが撮像された第２画像が存在すれば、第１撮像部において第２領域を撮像した場合の第４色情報を推定することができる。

また、この場合、第２画像は、第１画像と比べて解像度が低い。すると、係数Ｍを算出する際に、第１色情報と第２色情報との画像パッチ同士の対応数を増やすことができる。そのため、係数をより正確に算出することが可能になる。その結果、推定される第４色情報の妥当性が増す。

また、この場合、画像処理装置１０は、色温度が既知である光源を利用して第１撮像部によって撮像された第１画像に基づいて、第１色情報を算出するため、第１色情報は、光源の色情報を用いて補正することで、より適切に算出可能になる。結果として、推定される第４色情報はより適切なものとなる。

また、この場合、第２算出手段は、第１領域と、第２領域とを検出する領域検出手段（第２位置検出部）を有し、領域検出手段によって検出された第１領域と第２領域とに基づいて、第２色情報と、第３色情報とを算出する。
これによれば、第２色情報と、第３色情報とは、検出された領域に基づいて算出されるため、第２色情報と、第３色情報とを、より正確に算出し得る。

また、この場合、画像処理装置１０は、領域検出手段（第２位置検出部１３０）によって検出された第１領域と第２領域とが第２撮像部の撮像領域に含まれるか否かを判定する判定手段（図２のＳ１１５）と、判定手段による判定に基づいて、第２画像を撮像させるように第２撮像部を制御する制御手段（図２のＳ１１５：ＮＯ）とを備える。
これによれば、第２画像は、第１領域と第２領域とが過不足なく検出される状態で撮像されるため、その第２画像から生成される、第２色情報と第３色情報とは、より正確に算出される可能性が高まる。

また、この場合、画像処理装置１０において、第１領域は手の領域であり、第２領域は顔の領域である。すなわち、第１撮像部での撮像が容易な手の領域を撮像した第１画像から、第１撮像部での撮像が困難な顔の領域を、それらの領域が撮像されている第２画像を介して、第１撮像部において撮像した場合における第４色情報を推定することが可能になる。

また、上記の条件を、第１領域は手の甲の領域であり、前記第２領域は頬の領域であるとすることで、第１撮像部での撮像が容易な手の甲の領域を撮像した第１画像から、第１撮像部での撮像が困難な頬の領域を、第１撮像部において撮像した場合における第４色情報を推定することが可能になる。

また、色情報変換パラメータ算出部１６０は、第１領域内の第１パッチ領域（第１部分領域）における第１色情報と、第１パッチ領域に対応する第２パッチ領域（第２部分領域）における第２色情報と、色情報変換パラメータとに基づく評価関数（例えば式（５））を用いて、色情報変換パラメータを算出する。
このような構成を用いることで、第２色情報から第１色情報への変換用の係数を簡易かつ適切に算出することができる。

また、第４色情報推定部１７０は、上記のようにして算出された色情報変換パラメータと、第２領域内のパッチ領域（部分領域）における第３色情報とを乗算して、当該パッチ領域における第４色情報を推定する（例えば式（６））。
このような構成を用いることで、部分領域における第４色情報を簡易かつ適切に推定することができる。

また、スマートフォン１０００（端末）は、第１撮像部と、第２撮像部と、第１撮像部で撮像される第１画像に含まれる第１領域における第１色情報を算出する第１算出手段と、第２撮像部で撮像される第２画像に含まれる第１領域における第２色情報と、第２領域における第３色情報とを算出する第２算出手段と、第２色情報から第１色情報への変換用の係数を算出する係数算出手段と、係数に基づいて、第３色情報から、第１撮像部で撮像される場合の第２領域における第４色情報を推定する推定手段とを備える端末である。
これによると、第１撮像部で撮像される第１画像には含まれていない第２領域について、第１撮像部で撮像された場合の第４色情報を、第２撮像部で撮像された第２画像を介して推定することが可能になる。結果として、端末のユーザーの利便性を向上させることができる。

また、この場合、スマートフォン１０００は、第１撮像部が第２領域を撮像する際に、そのプレビュー画像をユーザーが視認することが不能な撮像部であり、第２撮像部が第２領域を撮像する際に、そのプレビュー画像をユーザーが視認することが可能な撮像部である端末である。
これによると、端末のユーザーは、第１撮像部によって第２領域を含む画像を適切に撮像することが不能である。また、第２撮像部によって第２領域を含む画像を適切に撮像することが可能である。そのため、上記の効果を鑑みると、第１撮像部での撮像が困難な第２領域について、第２撮像部を用いて、その第２領域と第１領域とを含む第２画像を撮像することで、第１撮像部において第２領域を撮像した場合の第４色情報を推定することを可能とする。結果として、端末のユーザーの利便性を向上させることができる。

また、この場合、スマートフォン１０００は、第１撮像部はリアカメラであり、第２撮像部はフロントカメラである端末である。
このような構成を用いると、第２領域が端末よりも端末のユーザー側に存在する場合には、リアカメラが第２領域を撮像する際に、端末のユーザーはリアカメラによって第２領域を含む画像を適切に撮像することが不能となる。しかし、フロントカメラによって第２領域を含む画像を適切に撮像することが可能となる。従って、上記の効果と相まって、第１領域をリアカメラで撮像することで、フロントカメラによって撮像される、第１領域と第２領域とを含む第２画像を介して、リアカメラで撮像される場合の第２領域における第４色情報を推定することが可能になる。結果として、端末のユーザーの利便性を向上させることができる。

また、第１算出手段は、フラッシュを利用して第１撮像部によって撮像された第１画像に基づいて、第１色情報を算出する。そのため、第１画像は、撮像時における環境光よりもフラッシュの光に対して従属的になる。よって、フラッシュの色温度に基づいて第１色情報を算出することで、より正確な第１色情報を算出することができる。結果として、端末のユーザーの利便性を向上させることができる。

また、スマートフォン１０００は、第１領域が手の領域であり、第２領域が顔の領域である端末である。すなわち、第１撮像部での撮像が容易な手の領域を撮像した第１画像から、第１撮像部での撮像が困難な顔の領域を、それらの領域が撮像されている第２画像を介して、第１撮像部において撮像した場合における第４色情報を推定することが可能になる。結果として、端末のユーザーの利便性を向上させることができる。

また、上記の条件を、第１領域は手の甲の領域であり、前記第２領域は頬の領域であるとすることで、第１撮像部での撮像が容易な手の甲の領域を撮像した第１画像から、第１撮像部での撮像が困難な頬の領域を、第１撮像部において撮像した場合における第４色情報を推定することが可能になる。結果として、端末のユーザーの利便性を向上させることができる。

また、スマートフォン１０００は、自装置の移動をガイドするガイド手段をさらに備え、ガイド手段は、第１撮像部のプレビュー画像が第１領域を包含する状態から撮像を開始させ、第１撮像部が第１領域に近接する方向へ自装置を移動させるようにガイドする端末である。
これによると、端末のユーザーに、より確実かつ容易に第１領域を適切に含む第１画像を撮像させることを可能とする。

また、この場合、第１撮像部は、ガイド手段によるガイドに応じた自装置の移動操作に基づき、第１撮像部のプレビュー画像における第１領域の占める割合が所定割合となった場合に第１画像を撮像する。
これによると、端末のユーザーに手動でシャッターを切ることを要求しないため、ユーザーの利便性を向上させることができる。また、撮像された第１画像は、第１領域を適度に含む画像となるため、第１画像に基づいて算出される第１色情報は、適切に算出される可能性が高まる。結果として、推定される第４色情報の精度を向上させることができる。

［変形例］
本発明を適用可能な実施形態は、上記の実施形態に限定されない。以下、変形例について説明する。

＜画面図例の変形例＞
上記の実施形態では、手の甲領域として、スマートフォン１０００のユーザーにおける左手の手の甲を用いたが、これに限定されない。例えば、右手の手の甲を用いてもよい。

図１０は、図７において、ユーザーによってＯＫ機能ボタンがタッチされた場合の画面の一例である。
図１０では、フロントカメラのプレビュー画像の右上に、ガイド線を左右反転させる機能を持つ、例えば両端矢印で表される反転機能アイコンＲＩが表示される。ユーザーによってこの反転機能アイコンＲＩがタッチされると、左手の手の甲から、右手の手の甲に第１領域が遷移する。その結果、ガイド線は左右反転される。
このような構成を用いることで、利き手が左手のユーザーにも対応可能とすることができ、ユーザーの利便性を向上させることができる。

＜ＵＩの変形例＞
上記の実施形態では、リアカメラによって第１領域である手の甲領域を撮像する際に、手の甲領域を包含する位置から撮像を開始させるガイド画像を用いたが、それに限定されない。例えば、リアカメラを手の甲領域に接触もしくは近接させた状態から撮像を開始させるようなガイド画像を用いてもよい。

この場合には、撮像が開始されると、例えば、スマートフォン１０００の表示部２５０に、リアカメラの焦点が合焦する、手の甲領域からリアカメラを離す方向にスマートフォン１０００を動かすようユーザーに促すガイド画像（ガイドメッセージ）が表示される。
そして、リアカメラは、焦点が手の甲に対して合焦する位置になると、リアカメラ画像を撮像する。

このような構成を用いることで、端末のユーザーに、より確実かつ容易に第１領域を適切に含む第１画像を撮像させることを可能とすることができる。また、端末のユーザーに手動でシャッターを切ることを要求しないため、ユーザーの利便性を向上させることができる。そして、撮像された第１画像は、第１領域を適度に含む画像となるため、第１画像に基づいて算出される第１色情報は、適切に算出される可能性が高まる。結果として、推定される第４色情報の精度を向上させることができる。

＜ジャイロセンサの使用＞
上記の実施形態では、図５において、スマートフォン１０００を移動させることを促すガイドメッセージが表示されるとしたが、この際に、ジャイロセンサ２６０による姿勢情報を用いてガイドメッセージを表示させてもよい。

具体的には、例えば、ジャイロセンサ２６０で取得するスマートフォン１０００の姿勢情報と、リアカメラのプレビュー画像とに基づいて、ＶＩＯ(visual-inertial odometry)によってリアカメラの位置と手の甲領域の位置関係を推定する。そして、リアカメラの撮像面と手の甲領域とが並行で、かつ手の甲領域がリアカメラ画像の所定割合を占める位置に、スマートフォン１０００をガイドする情報（例えば矢印）を、プレビュー画像にオーバーレイして表示させ る。
なお、この場合、スマートフォン１０００をガイドする情報を音出力部２７０から出力させてもよい。

また、図７においても、同様に第２撮像部と撮像対象領域の位置関係を推定し、その推定結果に基づいて、ガイド情報を表示させてもよい。また、図１０においても同様である。

＜変換係数の算出・色情報の推定＞
上記の実施形態では、式（６）に従って係数（色情報変換パラメータＭ）を算出し、算出された色情報変換パラメータＭを用いて、式（７）に従って第４色情報を推定することとしたが、これに限定されない。

具体的には、カラーバランスやホワイトバランスを考慮して、例えば前述した式（１）を、次式（８）のように置き換えることができる。

式（８）では、式（１）とは異なり、色情報変換パラメータＭに対応する行列Ｍの対角成分以外の成分が、全て「０」とされている。

この場合、例えば、行列Ｍの対角成分（ａ_Ｙ，ｂ_Ｕ，ｃ_Ｖ）の値を所定の数値範囲で所定の刻み幅（例えば「０．０１」）で変化させながら全探索を行う。そして、全探索によって算出された（ａ_Ｙ，ｂ_Ｕ，ｃ_Ｖ）の値を用いて、次式（９）に従って第４色情報を推定する。

＜表色系＞
上記の実施形態では、色情報としてＹＣｂＣｒで表現される色情報を用いたが、これに限定されない。

具体的には、例えば、ＹＣｂＣｒで表現される色情報に代えて、ＲＧＢで表現される色情報を用いるようにしてもよい。ＹＣｂＣｒとＲＧＢとは、線形変換によって変換可能であるため、いずれの表色系を用いる場合であっても、上記の実施形態と同様の手法を適用できる。より具体的には、例えば式（１）～式（９）におけるＹＵＶを、それぞれＲＧＢに置き換えて、同様の演算を行うようにすればよい。
また、色情報としてＨＳＶで表現される色情報を用いるようにしてもよい。

＜撮像装置等＞
上記の実施例では、本発明を、撮像装置、電子装置（電子機器）、情報処理装置の一例であるスマートフォンに適用した場合を例示したが、これに限定されない。スマートフォン等の携帯電話機の他にも、本発明は、カメラ、ＰＤＡ、パソコン、ナビゲーション装置、腕時計、各種のタブレット端末といった各種の装置に適用可能である。

また、上記の各種の装置は、第１撮像部と、第２撮像部とを備えているとよいが、これらの撮像部（撮像手段）を必ずしも備えていなくてもよい。この場合は、例えば、第１撮像部と、第２撮像部とを備える外部装置から第１画像と第２画像とのデータを入力し、入力した撮像画像のデータに基づいて画像処理を行うようにすればよい。

＜記録媒体＞
上記の実施形態では、画像処理に係る各種のプログラムやデータが、記憶部３００に記憶されており、処理部がこれらのプログラムを読み出して実行することで、上記の各実施形態における画像処理が実現された。この場合、各装置の記憶部は、ＲＯＭやＥＥＰＲＯＭ、フラッシュメモリ、ハードディスク、ＲＡＭといった内部記憶装置の他に、メモリカード（ＳＤカード）やコンパクトフラッシュ（登録商標）カード、メモリスティック、ＵＳＢメモリ、ＣＤ－ＲＷ（光学ディスク）、ＭＯ（光磁気ディスク）といった記録媒体（記録メディア、外部記憶装置、記憶媒体）を有していてもよく、これらの記録媒体に上記の各種のプログラムやデータを記憶させることとしてもよい。

図１１は、この場合における記録媒体の一例を示す図である。
この例において、画像処理装置１０には、メモリカード４３０を挿入するためのカードスロット４１０が設けられており、カードスロット４１０に挿入されたメモリカード４３０に記憶された情報を読み取る又はメモリカード４３０に情報を書き込むためのカードリーダライタ（Ｒ／Ｗ）４２０が設けられている。

カードリーダライタ４２０は、処理部の制御に従って、記憶部３００に記録されたプログラムやデータをメモリカード４３０に書き込む動作を行う。メモリカード４３０に記録されたプログラムやデータは、画像処理装置１０以外の外部装置で読み取ることで、当該外部装置において上記の実施形態における画像処理を実現することが可能に構成されている。

なお、上記の記録媒体は、上記の実施例で説明した画像処理装置１０を備える端末、色情報推定装置、電子装置（電子機器）、情報処理装置といった各種の装置に適用することもできる。

１０ 画像処理装置
１１０ 第１位置検出部
１２０ 第１色情報算出部
１３０ 第２位置検出部
１４０ 第２色情報算出部
１５０ 第３色情報算出部
１６０ 色情報変換パラメータ算出部
１７０ 第４色情報推定部
１８０ 色情報解析部
１０００ スマートフォン

Claims (18)

1. 第１撮像部で撮像される第１画像に含まれる第１領域における第１色情報を算出する第１算出手段と、
   第２撮像部で撮像される第２画像に含まれる前記第１領域における第２色情報と、第２領域における第３色情報とを算出する第２算出手段と、
   前記第２色情報から前記第１色情報への変換用の係数を算出する係数算出手段と、
   前記係数に基づいて、前記第３色情報から、前記第１撮像部で撮像される場合の前記第２領域における第４色情報を推定する推定手段と、
   を備え、
   前記第１領域と、前記第２領域とは、同一の被写体に含まれる異なる領域である、
   画像処理装置。
2. 前記第１領域は前記被写体の手の領域であり、前記第２領域は前記被写体の顔の領域である、
   請求項１に記載の画像処理装置。
3. 前記手の領域は手の甲の領域であり、前記顔の領域は頬の領域である、
   請求項２に記載の画像処理装置。
4. 前記第２画像は、前記第１画像と比べて解像度が低い、
   請求項１～３のいずれか一項に記載の画像処理装置。
5. 前記第１算出手段は、色温度が既知である光源を利用して前記第１撮像部によって撮像された前記第１画像に基づいて、前記第１色情報を算出する、
   請求項１～４のいずれか一項に記載の画像処理装置。
6. 前記係数算出手段は、前記第１領域内の第１部分領域における前記第１色情報と、前記第１部分領域に対応する第２部分領域における前記第２色情報と、前記係数とに基づく評価関数を用いて、前記係数を算出する、
   請求項１～５のいずれか一項に記載の画像処理装置。
7. 前記推定手段は、前記係数と、前記第２領域内の部分領域における前記第３色情報とに基づいて、前記部分領域における前記第４色情報を推定する、
   請求項６に記載の画像処理装置。
8. 前記第１領域と前記第２領域とを検出する検出手段と、
   前記検出手段によって検出された前記第１領域と前記第２領域とが前記第２撮像部の撮像領域に含まれるか否かを判定する判定手段と、
   前記判定手段による判定に基づいて、前記第２画像を撮像させるように前記第２撮像部を制御する制御手段と、
   をさらに備える請求項１～７のいずれか一項に記載の画像処理装置。
9. 請求項１～８のいずれか一項に記載の画像処理装置と、
   前記第１撮像部と、
   前記第２撮像部と、
   を備える端末。
10. 前記第１撮像部は、そのプレビュー画像をユーザーが視認することが不能な撮像部であり、
    前記第２撮像部は、そのプレビュー画像を前記ユーザーが視認することが可能な撮像部である、
    請求項９に記載の端末。
11. 前記第１撮像部はリアカメラであり、前記第２撮像部はフロントカメラである、
    請求項１０に記載の端末。
12. 前記第１算出手段は、フラッシュを利用して前記第１撮像部によって撮像された前記第１画像に基づいて、前記第１色情報を算出する、
    請求項９～１１のいずれか一項に記載の端末。
13. 自装置の移動をガイドするガイド手段をさらに備え、
    前記ガイド手段は、前記第１撮像部のプレビュー画像が前記第１領域を包含する状態から撮像を開始させ、前記第１撮像部が前記第１領域に近接する方向へ自装置を移動させるようにガイドする、
    請求項９～１２のいずれか一項に記載の端末。
14. 前記第１撮像部は、前記ガイド手段によるガイドに応じた自装置の移動操作に基づき、前記第１撮像部の前記プレビュー画像における前記第１領域の占める割合が所定割合となった場合に前記第１画像を撮像する、
    請求項１３に記載の端末。
15. 自装置の移動をガイドするガイド手段をさらに備え、
    前記ガイド手段は、前記第１撮像部が前記第１領域と接触または近接する状態から撮像を開始させ、前記第１撮像部における焦点が合焦する方向に自装置を移動させるようにガイドする、
    請求項９～１２のいずれか一項に記載の端末。
16. 前記第１撮像部は、前記ガイド手段によるガイドに応じた自装置の移動操作に基づき、前記第１撮像部における焦点が合焦する位置となった場合に前記第１画像を撮像する、
    請求項１５に記載の端末。
17. 画像処理装置の画像処理方法であって、
    第１撮像部で撮像される第１画像に含まれる第１領域における第１色情報を前記画像処理装置の処理部によって算出することと、
    第２撮像部で撮像される第２画像に含まれる前記第１領域における第２色情報と、第２領域における第３色情報とを前記処理部によって算出することと、
    前記第２色情報から前記第１色情報への変換用の係数を前記処理部によって算出することと、
    前記係数に基づいて、前記第３色情報から、前記第１撮像部で撮像される場合の前記第２領域における第４色情報を前記処理部によって推定することと、
    を含み、
    前記第１領域と、前記第２領域とは、同一の被写体に含まれる異なる領域である、
    画像処理方法。
18. コンピュータに、
    第１撮像部で撮像される第１画像に含まれる第１領域における第１色情報を算出することと、
    第２撮像部で撮像される第２画像に含まれる前記第１領域における第２色情報と、第２領域における第３色情報とを算出することと、
    前記第２色情報から前記第１色情報への変換用の係数を算出することと、
    前記係数に基づいて、前記第３色情報から、前記第１撮像部で撮像される場合の前記第２領域における第４色情報を推定することと、
    を実行させ、
    前記第１領域と、前記第２領域とは、同一の被写体に含まれる異なる領域である、
    プログラム。

Images