(実施形態1)
以下、本発明に係る画像処理装置、撮像装置、及び画像処理方法を、撮像装置1及び画像処理装置100を例に用い、図面を参照しながら詳細に説明する。尚、図中同一又は同等の部分には同じ符号を付す。
撮像装置1は、図1に示すように、撮像部10と、データ処理部20と、ユーザインタフェース部30と、を備える。
撮像部10は、光学レンズ11とイメージセンサ12とを含む。撮像部10は、後述する操作部32が受け付けたユーザの操作に従って被写体人物を撮像することにより、図2に例示するターゲット画像TGを生成する。ターゲット画像TGは、美肌処理の対象となる画像であり、図2に示すように、被写体人物の画像を含む画像である。
光学レンズ11は、被写体から射出された光を集光するレンズと、焦点、露出、ホワイトバランス等の撮像設定パラメータを調整するための周辺回路と、を備える。
イメージセンサ12は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を備える。イメージセンサ12は、光学レンズ11が光を集光することによって結像した被写体の光学像を取得して、取得した光学像の電圧情報をアナログ/デジタル変換器(図示せず)によりデジタル画像データに変換する。そして、得られたデジタル画像データを、ターゲット画像TGとして後述する外部記憶部23に保存する。
データ処理部20は、主記憶部21と、出力部22と、外部記憶部23と、CPU(Central Processing Unit)24と、画像処理装置100と、を含む。
主記憶部21は、例えばRAM(Random Access Memory)等を備える。主記憶部21は、CPU24のワークメモリとして機能し、画像処理により生成された処理画像を含む種々の画像データやプログラムを一時的に記憶する。
出力部22は、主記憶部21や外部記憶部23に記憶された画像データを読み出し、この画像データに対応するRGB(R(Red、赤)、G(Green、緑)、B(Blue、青))信号を生成して、後述する表示部31に出力する。また、出力部22は、生成したRGB信号をHSV(H(Hue、色相)、S(Saturation、彩度)、明度(Value))信号へ変換し、CPU24や画像処理装置100へ供給する。
外部記憶部23は、不揮発性メモリ(例えば、フラッシュメモリやハードディスク)を備え、撮像装置1全体の制御に必要な制御プログラムを含む種々のプログラム、種々の固定データ等を固定的に記憶する。外部記憶部23は、記憶しているプログラムやデータをCPU24や後述する画像処理装置100へ供給し、撮像部10が生成したターゲット画像TGや、画像処理装置100から供給された処理画像等を含む種々の画像データを記憶する。
CPU24は、外部記憶部23に記憶された制御プログラムを実行することにより撮像装置1全体を制御するとともに、外部記憶部23に記憶された種々のプログラムを実行する。
画像処理装置100は、被写体人物の画像を含むターゲット画像TGに対して美肌処理を施すことにより処理画像を生成する。画像処理装置100は、CPU24によって制御され、図3に示す取得部101、検出部102、予測部103、実測部104、決定部105、及び処理部106として機能する。
尚、画像処理装置100は、通常の画像処理装置と同様に、トリミング機能やエッジ検出機能等を有するが、以下では、本実施形態に特徴的な、被写体人物の画像を含むターゲット画像TGに美肌処理を施す機能を中心に説明する。
取得部101は、撮像部10によって生成され、外部記憶部23によって記憶されていたターゲット画像TGを取得する。
検出部102は、ターゲット画像TGから基準領域を検出するとともに、検出した基準領域の特徴量を取得する。基準領域は、被写体人物の全身のうち所定の部位を表す画像領域であり、後述する予測部103が、ターゲット画像TGに含まれる、被写体人物の肌を表す画像のサイズの予測値を取得する際に基準として用いられる。本実施形態において、検出部102は、ターゲット画像TGから、被写体人物の顔画像領域(顔領域)を基準領域として検出する。画像から顔画像領域を検出する技術は、当該技術分野において周知であるため、詳細な説明は省略する。
また、本実施形態において、検出部102は、検出した顔画像領域(基準領域)の特徴量として、この顔画像領域のサイズと、この顔画像領域の画素値と、を取得する。
具体的には、検出部102は、顔枠サイズ(FrameSize)を、検出した顔画像領域のサイズとして取得する。ここで、顔枠サイズは、図2に示すように、検出した顔画像領域に外接する矩形領域の面積(例えば、縦方向のピクセル数×横方向のピクセル数)である。尚、図2において、顔枠サイズは実際にはターゲット画像TG中に表示されないため、一点鎖線で示す。
検出部102は、検出した顔画像領域を構成する画素の色相、彩度、明度を、この顔画像領域の画素値として取得する。検出された顔画像領域は、画素値が各々異なる複数の画素で構成されている。検出部102は、顔画像領域を構成する各画素の画素値を取得し、集計した画素値の最頻値を顔画像領域の画素値として取得する。
予測部103は、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズの予測値(SkinBaseFinish)を取得する。
具体的には、予測部103は、外部記憶部23に記憶されているSkinBaseを取得し、このSkinBaseと、検出部102が検出した顔画像領域のサイズと、に基づいて、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズの予測値(SkinBaseFinish)を取得する。SkinBaseは、SkinBaseFinishを取得するための基準データである。
外部記憶部23は、人物モデル(モデルとなる被写体人物)の全身画像において、この人物モデルの顔画像領域が占めるサイズ(面積又は割合)と、この人物モデルの肌を表す画像領域が占めるサイズと、を含むモデルデータを、SkinBaseとして予め外部の装置から取得し、記憶している。SkinBaseは、人物モデルである被写体人物の複数の全身画像を解析し、各全身画像に含まれる、被写体人物の顔画像領域のサイズと被写体人物の肌を表す画像領域のサイズとを集計する等任意の方法により予め作成しておけばよい。本実施形態において、SkinBaseは、肌の露出度が比較的高い人物を人物モデルとして用い、予め作成されている。予測部103が実行する、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズの予測値を取得する処理については、図4のフローチャートを参照しながら詳細に後述する。
実測部104は、ターゲット画像TGの肌色量の実測値を算出する。ここで、ターゲット画像TGの肌色量は、ターゲット画像TGが含む肌色領域のサイズとする。ここで、肌色領域は、画素値(色相、彩度、明度)が、HSV色空間(色相(Hue)、彩度(Saturation)、明度(Value)の三成分で構成される色空間)において、被写体人物の肌の画像の画素値を含む所定の領域に含まれる画素で構成される画像領域である。肌色領域は、後述する処理部106が実行する美肌処理の対象となる補正対象領域である。
具体的には、実測部104は、ターゲット画像TGの肌色マップを作成し、この肌色マップの積分値をターゲット画像TGの肌色量の実測値として取得する。ここで、肌色マップは、ターゲット画像TGを構成する画素のうち、画素値(色相、彩度、明度)が、HSV色空間において、検出部102が取得した顔画像領域の画素値を含む所定の領域に含まれる画素のみで構成される画像である。所定の領域は、例えば、顔画像領域の画素値を中心とする所定の直方体領域である。所定の直方体領域は、任意の手法により予め設定しておけばよい。具体的には、複数の被写体人物の肌の画像を解析し、肌の画像を構成する各画素の画素値と、集計された各画素の画素値の最頻値である肌の画像の画素値と、の間の相関を求めることにより所定の直方体領域を適宜設定することができる。
決定部105は、実測部104が取得したターゲット画像TGの肌色量の実測値と、予測部103が取得したターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズの予測値と、を比較し、後述する処理部106が実行する美肌処理の補正強度を決定する。
具体的には、決定部105は、実測部104が取得した実測値が、予測部103が取得した予測値を、所定の閾値(例えば、1000ピクセル×ピクセル)を超えて上回っているか否かを判別する。所定の閾値は、ターゲット画像TGの肌色量の実測値とターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズの予測値との間の差分と、美肌処理により生成された画像の好ましさと、の相関を実験等の任意の手法により求め、適宜設定しておけばよい。決定部105は、実測値が予測値を、所定の閾値を超えて上回っていないと判別した場合、第1補正強度を美肌処理の強度として選択する。一方、決定部105は、実測値が予測値を、所定の閾値を超えて上回っていると判別した場合、第1補正強度よりも弱い第2補正強度を美肌処理の強度として選択する。
処理部106は、決定部105によって決定された強度にて、ターゲット画像TGが含む上述の肌色領域を補正対象領域として美肌処理を施すことにより処理画像を生成する。
ここで、美肌処理とは、ターゲット画像TGに対してフィルタ処理、露出補正、彩度調整等を施し、好ましい画像を生成する処理である。美肌処理は、当該技術分野において周知の技術であるため、詳細な説明は省略する。処理部106は、美肌処理に含まれるフィルタ処理、露出補正、彩度調整等の各処理の強度をそれぞれ調整することにより、美肌処理の強度を調整する。例えば、強度100%の美肌処理が、露出を+1.0EV変更する露出補正を含むと予め設定されており、かつ、決定部105によって美肌処理の強度が50%と決定されたとする。この場合、処理部106は、強度50%の美肌処理の一環として、露出を(+1.0EV)×(50/100)=+0.5EV変更する露出補正を実行する。処理部106は、同様にして、美肌処理に含まれる各処理を、所定の補正強度と、予め設定された、強度100%の美肌処理が含む各処理の強度と、に基づいて決定された強度にてそれぞれ実行することにより、所定の強度の美肌処理を実行する。
図1に戻って、ユーザインタフェース部30は、表示部31と、操作部32と、外部インタフェース33と、を含む。
表示部31は、例えばLCD(Liquid Crystal Displey)やCRT(Cathode Ray Tube)、有機EL(Electro Luminescence)ディスプレイ等を備え、出力部22から供給されたRGB信号に基づいて、撮像部10により撮像され、外部記憶部23により記憶されているターゲット画像TG、画像処理装置100がターゲット画像TGに美肌処理を施すことにより生成した処理画像等を含む種々の画像を表示する。
操作部32は、ユーザからの操作指示を受け付ける。操作部32は、撮像装置1の電源スイッチ、シャッタボタン、撮像装置1の種々の機能を選択するためのボタン等、各種の操作ボタンを備える。操作部32は、ユーザから操作指示を受け付けると、受け付けた指示情報を撮像部10やデータ処理部20のCPU24等に供給する。
なお、表示部31と操作部32とは、互いに重畳して配置されたいわゆるタッチパネルによって構成されるものであってもよい。
外部インタフェース33は、撮像装置1の外部の機器とデータをやり取りするためのインタフェースである。例えば、外部インタフェース33は、画像処理装置100がターゲット画像TGに美肌処理を施すことによって生成した処理画像を、USB(Universal Serial Bus)規格のデータに変換して、USBケーブルを介して外部の機器との間でデータを送受信する。
次に、上述の構成を有する撮像装置1及び画像処理装置100が、被写体人物の画像を含むターゲット画像TGに対して美肌処理を施す動作を、図4のフローチャートを参照しながら説明する。
撮像装置1が備える撮像部10は、予め、被写体人物を撮像することにより図2に例示するターゲット画像TGを生成している。外部記憶部23は、撮像部10が生成したターゲット画像TGを予め取得し、記憶している。
ユーザは、ターゲット画像TGに美肌処理を施すことを所望する場合、操作部32を操作することにより、ターゲット画像TGを主記憶部21に展開するとともに、撮像装置1が備える複数の動作モードの1つである「美肌処理モード」を選択する。
操作部32が、ユーザによる「美肌処理モード」を選択する操作を受け付けると、CPU24は、画像処理プログラムを含む、図4のフローチャートの処理を実行するためのプログラムを外部記憶部23から読み出して主記憶部21に展開する。また、表示部31は、図2に例示するターゲット画像TGを外部記憶部23から取得し、表示する。
このような状態において、ユーザが、操作部32を用いて美肌処理の開始を指示すると、画像処理装置100が、図4のフローチャートに示す美肌処理を開始する。
まず、取得部101が、外部記憶部23に記憶されていたターゲット画像TGを取得する(ステップS101)。
次に、検出部102が、任意の公知技術を用い、ステップS101で取得されたターゲット画像TGから、基準領域として顔画像領域を検出する(ステップS102)。
次に、検出部102は、ステップS102で検出した顔画像領域(基準領域)のサイズと、この顔画像領域の画素値と、を検出した基準領域の特徴量として取得する(ステップS103)。具体的には、検出部102は、ステップS102で検出した顔画像領域に外接する矩形領域の面積(顔枠サイズ、FrameSize)を、この顔画像領域のサイズとして取得する。また、検出部102は、ステップS102で検出した顔画像領域を構成する各画素の画素値(色相、彩度、及び明度)を集計し、集計された画素値の最頻値をこの顔画像領域の画素値として取得する。
予測部103は、外部記憶部23からSkinBase(SkinBaseFinishを取得するための基準データ)を取得し、このSkinBaseと、ステップS102で取得した顔画像領域のサイズと、に基づいて、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズの予測値(SkinBaseFinish)を取得する(ステップS104)。
本実施形態で、外部記憶部23から取得されるSkinBaseは、人物モデル(モデルとなる被写体人物)の全身画像に含まれる、この人物モデルの顔画像領域のサイズ(例えば、10000ピクセル×ピクセル)と、この人物モデルの肌を表す画像領域のサイズ(例えば、120000ピクセル×ピクセル)と、を含んでいる。ここで、例えば、ステップS103において取得した、ステップS102で検出された顔画像領域のサイズが、20000ピクセル×ピクセルであったと仮定する。この場合、予測部103は、SkinBaseで示される、人物モデルの肌を表す画像領域のサイズ(120000ピクセル×ピクセル)に、ステップS102において取得した顔画像領域のサイズ(20000ピクセル×ピクセル)の、SkinBaseで示される、人物モデルの顔画像領域のサイズ(10000ピクセル×ピクセル)に対する比率(20000ピクセル×ピクセル/10000ピクセル×ピクセル)を乗じることにより、SkinBaseFinish=(120000ピクセル×ピクセル)×2=240000ピクセル×ピクセルを取得する。
次に、実測部104が、ターゲット画像TGの肌色量の実測値を取得する(ステップS105)。実測部104は、ターゲット画像TGを構成する各画素のうち、当該画素の画素値(色相、彩度、及び明度)が、HSV色空間において、ステップS103で取得された、ステップS102で検出された顔画像領域の画素値を含む所定の領域に含まれる画素のみで構成される画像である肌色マップを作成し、この肌色マップの積分値をターゲット画像TGの肌色量の実測値として取得する。
決定部105は、ステップS105で取得した、ターゲット画像TGの肌色量の実測値が、ステップS104で取得した、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズの予測値よりも大きいか否かを判別する(ステップS106)。決定部105は、実測値が予測値よりも大きくないと判別すると(ステップS106;No)、美肌処理の強度として第1補正強度を選択し(ステップS107)、ステップS110へ進む。
実測値が予測値よりも大きいと判別すると(ステップS106;Yes)、決定部105は、次に、実測値と予測値との間の差分が、所定の閾値よりも大きいか否かを判別する(ステップS108)。決定部105は、実測値と予測値との間の差分が所定の閾値よりも大きくないと判別すると(ステップS108;No)、美肌処理の強度として第1補正強度を選択し(ステップS107)、ステップS110へ進む。
決定部105は、実測値と予測値との間の差分が所定の閾値よりも大きいと判別すると(ステップS108;Yes)、美肌処理の強度として、第1補正強度よりも弱い第2補正強度を選択し(ステップS109)、ステップS110へ進む。
処理部106は、ステップS107又はステップS109で選択された補正強度にて、ターゲット画像TG中の補正対象領域である肌色領域に対して美肌処理を施すことにより処理画像を生成し(ステップS110)、生成された処理画像を、表示部31に表示させるとともに外部記憶部23へ格納し、美肌処理を終了する。
以上説明したように、本実施形態に係る撮像装置1は、ターゲット画像TGの肌色量の実測値が、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域の面積の予測値を、所定の範囲を超えて上回った場合、画像処理(美肌処理)の補正強度を低下させる。このため、ターゲット画像TG全体の解像感が低下することを抑制しつつ、被写体人物の肌を表す画像領域に適切な画像処理を施した処理画像を生成することができる。
本実施形態において、画像処理装置100は、撮像装置1の内部に具備されていた。画像処理装置1は、撮像装置1から独立した装置であってもよい。例えば、コンピュータ等の情報処理装置が画像処理装置100として機能することができる。この場合、画像処理装置100は、外部の撮像装置が撮像した被写体画像をターゲット画像TGとして取得し、上述の美肌処理を施せばよい。
本実施形態において、撮像装置1は、撮像部10が被写体人物を撮像することにより生成し外部記憶部23が記憶していた画像を、外部記憶部23からターゲット画像TGとして取得した。撮像装置1は、外部記憶部23からではなく、撮像部10から直接ターゲット画像TGを取得してもよい。また、撮像装置1は、外部の画像入力装置(例えば、デジタルカメラやメモリカード、ネットワーク)からターゲット画像TGを予め取得し、記憶しておいてもよい。
本実施形態において、撮像装置1は、ターゲット画像TGから、基準領域として、顔画像領域を検出した。撮像装置1は、被写体人物の肌を表す画像領域がターゲット画像TG全体に占めるサイズ(面積又は割合)を推測する上で有用な画像領域でさえあれば、顔画像領域以外の任意の画像領域を基準領域として検出することができる。例えば、被写体人物の顔以外の部分(例えば、手や耳)を表す画像領域や、被写体人物の顔の一部(例えば、目や鼻)を表す画像領域等を、ターゲット画像TGから基準領域として検出してもよい。
本実施形態において、撮像装置1は、検出した顔画像領域(基準領域)に外接する矩形領域の面積(縦サイズ(縦方向ピクセル数)×横サイズ(横方向ピクセル数))を、この顔画像領域のサイズとして取得した。矩形領域に限らず、検出した顔画像領域に外接する任意の形状(例えば、楕円形)の領域の面積を、当該顔画像領域のサイズとして取得することができる。
尚、撮像装置1は、検出した顔画像領域(基準領域)のサイズを示す、面積以外の特徴量を取得してもよい。例えば、顔画像領域に外接する矩形領域の縦サイズ(縦方向ピクセル数)や横サイズ(横方向ピクセル数)、顔画像領域に外接する楕円形領域の長径(長径方向ピクセル数)や短径(短径方向ピクセル数)等を顔画像領域のサイズとして取得することができる。また、撮像装置1は、検出した顔画像領域がターゲット画像TG全体に占める割合を、この顔画像領域のサイズを示す特徴量として取得することもできる。
尚、撮像装置1は、ターゲット画像TGから複数の顔画像領域を検出した場合、各顔画像領域のサイズ(面積又は割合)を集計し、これらのサイズの最頻値、最大値、最小値、平均値、ターゲット画像TGの中央に近くなるほど重みが大きくなるよう設定された重み付き平均値、中央値等を、検出した顔画像領域のサイズとして取得することができる。
本実施形態において、撮像装置1は、検出した顔画像領域を構成する各画素の色相、彩度、及び明度を、この顔画像領域の画素値として取得した。撮像装置1は、色相、彩度、及び明度に限らず、任意の画素値を取得することができる。例えば、撮像装置1は、検出した顔画像領域を構成する各画素のRGB信号の値を、この顔画像領域の画素値として取得してもよい。
本実施形態において、撮像装置1は、検出した顔画像領域を構成する各画素の画素値(色相、彩度、及び明度)を集計し、集計した画素値の最頻値を、検出した顔画像領域の画素値として取得した。撮像装置1は、最頻値以外の統計値を、顔画像領域の画素値として取得することができる。例えば、画素値の最大値、最小値、平均値、複数の被写体人物の肌の画像を解析する等の任意の手法で設定された所定値に近くなるほど重みが大きくなるよう設定された重み付き平均値、中央値等を、検出した顔画像領域の画素値として取得してもよい。
尚、撮像装置1は、ターゲット画像TGから複数の顔画像領域を検出した場合、全ての顔画像領域について一括して構成画素の画素値を集計することにより、検出した顔画像領域の画素値を取得することができる。また、各顔画像領域ごとに構成画素の画素値を集計し、各顔画像領域の画素値を個別に決定した後、最も面積が大きい(小さい)顔画像領域、又はターゲット画像TG全体に占める割合が最も大きい(小さい)顔画像領域の画素値を、検出した顔画像領域の画素値として取得することもできる。
本実施形態において、撮像装置1は、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域の面積の予測値を取得した。撮像装置1は、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域が、ターゲット画像TG全体に占める割合の予測値を取得してもよい。
本実施形態において、SkinBaseは、人物モデル(モデルとなる被写体人物)の全身画像に含まれる、この人物モデルの顔画像領域のサイズ(面積又は割合)と、この人物モデルの肌を表す画像領域のサイズと、を含むモデルデータであった。ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズを予測する上で基準となる任意のモデルデータをSkinBaseとして採用することができる。
例えば、人物モデルの全身画像において、この人物モデルの顔以外の部分(例えば、耳や目、手)を表す画像領域が占めるサイズ(面積又は割合)と、この人物モデルの肌を表す画像領域が占めるサイズ(面積又は割合)と、を含むモデルデータをSkinBaseとして用いてもよい。
あるいは、SkinBaseは、人物モデルの全身画像が含む顔画像領域のサイズと肌を表す画像領域のサイズとの間の相関を表す関数であってもよい。例えば、経験的に、任意の被写体人物の全身画像に含まれる、肌を表す画像領域のサイズは、この全身画像に含まれる、当該被写体人物の顔画像領域のサイズの約12倍であることが知られている。従って、SkinBaseとして、肌を表す画像領域のサイズの、顔画像領域のサイズに対する典型的な比率である12を外部記憶部23に記憶させておき、ターゲット画像TGから検出した顔画像領域のサイズにこの比率を乗じることにより、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズの予測値を取得することができる。
本実施形態においては、SkinBaseは、肌の露出度が比較的高い被写体人物を人物モデルとして予め作成されていた。撮像装置1は、体格や肌の露出度が互いに異なる複数の人物モデルに基づいて予め作成された複数種類のSkinBaseを記憶しておくことができる。撮像装置1は、複数種類のSkinBaseのうち何れか1つを用いて、SkinBaseFinish(ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズ(面積又は割合)の予測値)を取得する。SkinBaseの選択は、ユーザが操作部32を操作することにより行ってもよいし、撮像装置1が、検出部102によって取得された、検出された顔画像領域の特徴量(例えば、画素値)に基づいて行ってもよい。例えば、被写体人物の顔画像領域の画素値に基づいて被写体人物の肌の色が黒っぽいと判別された場合、当該被写体人物が肌の露出度が高い服装を好むため肌が日焼けしている可能性が高いので、肌の露出度が高い人物モデルに基づいて作成されたSkinBaseを選択することとしてもよい。
撮像装置1は、ターゲット画像TGから複数の顔画像領域を検出した場合、検出された顔画像領域の数を参酌して、ターゲット画像TGに含まれる被写体人物の肌を表す画像領域のサイズ(面積又は割合)の予測値を取得することができる。複数の顔画像領域が検出された場合、ターゲット画像TGは、複数の被写体人物を含んでいる。ターゲット画像TGが含む被写体人物が多いほど、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズ(面積又は割合)も大きい。具体的には、撮像装置1は、ターゲット画像TGに含まれる、被写体人物1人当たりの肌を表す画像領域のサイズの予測値を取得した後、当該1人当たりの予測値に、検出された顔画像領域の数(すなわち、被写体人物の人数)を乗じることで、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズの予測値(SkinBaseFinish)を取得すればよい。
尚、撮像装置1は、ターゲット画像TGから検出された、被写体人物の顔以外の部分を表す画像に基づいて被写体人物の人数を推定し、この推定人数を用いて予測値を取得することもできる。例えば、撮像装置1は、ターゲット画像TGから被写体人物の目や耳を表す画像領域を検出した場合、検出された画像領域の数を2で除算することにより被写体人物の人数を推定し、この推定人数を用いて予測値を取得することができる。
本実施形態において、ターゲット画像TGの肌色量は、ターゲット画像TGが含む肌色領域の面積であった。肌色量は、ターゲット画像TGが含む肌色領域が、ターゲット画像TG全体に占める割合でもよい。
本実施形態において、肌色領域は、画素値(色相、彩度、明度)が、HSV色空間(色相(Hue)、彩度(Saturation)、明度(Value)の三成分で構成される色空間)において、被写体人物の肌の画像の画素値を中心とする所定の直方体領域に含まれる画素で構成される画像領域であった。肌色領域は、色相、彩度、及び明度以外の画素値(例えば、RGB画素値)が、HSV色空間以外の色空間(例えば、RGB色空間)において、被写体人物の肌の画像の画素値を中心とする所定の領域に含まれる画素であってもよい。
尚、上述の色空間に設定される所定の領域は、被写体人物の肌の画像の画素値を中心と
する所定の直方体領域には限定されず、例えば、球形や四角柱形等の任意の形状を有する
領域であってもよい。また、被写体人物の肌の画像の画素値は、当該所定の領域に含まれ
てさえいればよく、中心以外の場所に位置してもよい。
本実施形態において、撮像装置1は、検出部102が検出した顔画像領域の画素値(色相、彩度、及び明度)を取得し、ターゲット画像TG中の、画素値が、HSV色空間において、取得された顔画像領域の画素値を含む所定の領域に含まれる画素のみで構成される画像(肌色マップ)を作成し、この肌色マップを積分することにより補正対象領域である肌色領域のサイズ(肌色量)の実測値を取得した。撮像装置1は、この他の方法で補正対象領域のサイズ(肌色量)の実測値を取得することもできる。例えば、撮像装置1は、ターゲット画像TG中の、画素値(例えば、色相値、彩度値、及び明度値)が、色空間(例えば、HSV色空間)において、所定の領域に含まれる画素のみで構成される画像を作成し、この画像の積分値を肌色量の実測値として取得してもよい。尚、所定の領域は、複数の被写体人物の肌の画像を解析する等の任意の手法により、典型的な被写体人物の肌の色を表すように適宜設定すればよい。
本実施形態において、撮像装置1は、ターゲット画像TGに含まれる、補正対象領域である肌色領域の面積の実測値が、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域の面積の予測値を、所定の面積以上に上回っていない場合、美肌処理の補正強度として第1補正強度を選択し、実測値が予測値を所定の面積以上に上回っている場合、第1補正強度よりも弱い第2補正強度を美肌処理の補正強度として選択した。ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズ(面積又は割合)の予測値と、補正対象領域であるターゲット画像TGに含まれる肌色領域のサイズ(面積又は割合)の実測値と、の間の任意の比較結果を、補正強度を決定するための条件として採用することができる。例えば、実測値が予測値を所定の割合以上に上回っているか否かに基づいて補正強度を決定してもよい。
尚、撮像装置1は、ターゲット画像TGの属性に応じて変化する条件に基づいて補正強度を決定することもできる。例えば、ターゲット画像TGの肌色量の実測値が、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズ(面積又は割合)の予測値を閾値以上に上回っているか否かに基づいて補正強度を決定する場合において、この閾値を、ターゲット画像TG全体に顔画像領域が占める割合の関数とし、当該割合が大きくなるほど閾値が高くなるように設定してもよい。顔画像領域、すなわちユーザが本来美肌処理を施したいと所望する画像領域が、ターゲット画像TG全体において十分大きな割合を占めている場合において、ターゲット画像TGが含む肌色領域を補正対象領域として強い補正強度にて美肌処理を施したとしても、当該美肌処理の効果の大半は、本来の目的である顔画像領域に及ぶ。このため、好ましくない処理画像が生成される可能性は低い。従って、閾値を顔画像領域が占める割合の関数とすることにより、適切な補正強度で画像処理を行うことができる。また、例えば、ターゲット画像TGの明るさ(明度)が高いほど閾値が低くなるように設定してもよい。明度の高いターゲット画像TGに、肌色領域を補正対象領域として美肌処理や美白処理等を施すと、極端に白っぽい、好ましくない画像が生成されてしまう可能性が高いからである。なお、閾値の決定方法は、ターゲット画像TGの属性と、閾値と、生成される画像の好ましさと、の相関を実験により求める等、任意の手法で適宜設定すればよい。
尚、撮像装置1は、画像処理の補正強度として、2種類よりも多い補正強度の何れかを選択することができる。具体的には、撮像装置1は、図5に示す補正強度テーブルTB1を参照して補正強度を決定してもよい。補正強度テーブルTB1は、例えば外部記憶部23に格納されており、補正強度と補正強度を決定するための条件(実測値と予測値との比較結果)とを互いに関連付けて記憶している。例えば、ターゲット画像TGの肌色量の実測値が、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズ(面積又は割合)の予測値を10%〜15%上回っている場合、撮像装置1は、この比較結果に対応する美肌処理の補正強度(90%)を、美肌処理の補正強度として補正強度テーブルTB1から取得する。
尚、撮像装置1は、上述の美肌処理の他にも、種々の画像処理をターゲット画像TGに施すことができる。撮像装置1は、例えば、被写体人物の肌の色を白くする美白処理、被写体人物の肌にあるシワやシミを除去するシワ・シミ除去処理、目の充血を軽減する充血軽減処理、肌の血色を改善する血色改善処理、黄ばんだ歯を白くする美白処理、目を大きく開かせる開眼処理、太った頬やえらの張った頬をほっそりとさせる頬リフトアップ処理、フラッシュ発光時の赤目状態を除去するフラッシュ赤目除去処理等の画像処理を実行可能である。これらの画像処理は、当該技術分野において周知の技術であるので、詳細な説明は省略する。
ターゲット画像TGに複数種類の画像処理を施す場合、撮像装置1は、図6に示す補正強度テーブルTB2や、図7に示す補正強度テーブルTB3を参照しながら各画像処理の補正強度を決定することができる。補正強度テーブルTB2、TB3は、外部記憶部23に格納されており、いずれも、補正強度と補正強度を決定するための条件(実測値と予測値との比較結果)とを互いに関連付けて記憶している。補正強度テーブルTB2では、図6に示すように、2種類の画像処理(美肌処理と美白処理)に対し、それぞれ異なる条件が設定されている。このため、補正強度テーブルTB2を参照して画像処理の補正強度を決定する撮像装置1は、画像処理ごとに補正強度を決定することができる。例えば、補正強度テーブルTB2においては、図6に示すように、ターゲット画像TGの肌色量の実測値が、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズ(面積又は割合)の予測値を0%〜5%上回っている場合と6%〜9%上回っている場合とで、美肌処理の補正強度は同じ(100%)だが、美白処理の補正強度は異なる(100%と90%)。各画像処理の補正強度を個別に決定するため、画像処理ごとにきめ細かく補正強度を決定でき、適切な補正強度で画像処理を施し好ましい画像を生成することができる。一方、補正強度テーブルTB3においては、図7に示すように、2種類の画像処理に共通の条件が設定されている。このため、補正強度テーブルTB3を参照して画像処理の補正強度を決定する撮像装置1は、複数の画像処理の補正強度を一括して決定することができる。例えば、実測値が6%〜9%上回っている場合、図7の補正強度テーブルTB3を参照して補正強度を決定する撮像装置1は、美肌処理の補正強度(95%)と美白処理の補正強度(90%)とを一括して補正強度テーブルTB3から取得する。複数の画像処理の補正強度を一括して決定することにより、処理負荷を軽減することができる。尚、上述の補正強度テーブルTB1〜TB3において、少なくとも一部の画像処理の補正強度を0%に設定することで、特定の条件下で実行する画像処理と実行しない画像処理とを設定することもできる。
本実施形態において、撮像装置1は、補正強度を決定した後、決定した補正強度にてターゲット画像TGに直接美肌処理を施すことにより、当該決定した補正強度の美肌処理が施された処理画像を生成した。撮像装置1は、ターゲット画像TGに、直接、決定した補正強度で美肌処理を施す上述の方法以外の方法により、決定した補正強度の美肌処理が施された処理画像を生成することもできる。例えば、撮像装置1は、ターゲット画像TGと、ターゲット画像TGに所定の補正強度(例えば、100%)にて美肌処理を施した画像と、を適切な比率にて重み付き合成することにより、所定の補正強度の美肌処理が施された処理画像を生成してもよい。この場合、撮像装置1がターゲット画像TGに直接施す美肌処理の補正強度は、常に一定(この場合は、100%)である。撮像装置1は、ターゲット画像TGに施す美肌処理の補正強度ではなく、ターゲット画像とターゲット画像に所定の補正強度にて美肌処理を施した画像とをどのような比率にて重み付き合成するかを、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズ(面積又は割合)の予測値とターゲット画像TGの肌色量の実測値との比較結果に基づいて決定する。尚、重み付き合成は、2つの画像全体を対象として行ってもよいし、2つの画像の一部分(例えば、肌色領域として検出された部分)のみを対象として行ってもよい。
(実施形態2)
実施形態1に係る撮像装置1及び画像処理装置100は、検出した顔画像領域(基準領域)のサイズと、人物モデルと、に基づいて、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズの予測値を取得した。予測値は、この他の方法で取得することもできる。
以下、検出した顔画像領域のサイズ及び配置情報と、人物モデルと、に基づいて、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズの予測値を取得し、美肌処理を実行する撮像装置1及び画像処理装置100の機能及び動作を説明する。
本実施形態に係る撮像装置1及び画像処理装置100は、実施形態1に係る撮像装置1及び画像処理装置100とほぼ同様の機能構成を備える。ただし、本実施形態に係る画像処理装置100が備える検出部102及び予測部103の機能は、実施形態1に係る画像処理装置100の検出部102及び予測部103の機能とは一部異なる。
検出部102は、ターゲット画像TGから顔画像領域を基準領域として検出し、検出した顔画像領域(基準領域)のサイズと、この顔画像領域の画素値と、と共に、この顔画像領域の配置情報を、検出した基準領域の特徴量として取得する。配置情報は、検出された顔画像領域が、ターゲット画像TG中に占める位置を表す情報である。本実施形態において、配置情報は、ターゲット画像TG中における顔画像領域の位置(例えば、ターゲット画像TGの中心を原点とする直交座標における位置座標)と、顔画像領域の向き(例えば、顔画像領域に含まれる鼻から口へ向かうベクトルの向き)と、を含む情報である。
予測部103は、検出部102によって取得された、検出された顔画像領域(基準領域)のサイズと、SkinBase(SkinBaseFinishを取得する上での基準値)と、被写体人物の全身画像全体のうち、ターゲット画像TGに含まれる部分の割合の推定値と、に基づいて、ターゲット画像TGに含まれる、被写体人物の肌を表す画像の面積の予測値(SkinBaseFinish)を取得する。
以下、図9のフローチャートを参照し、本実施形態に係る撮像装置1及び画像処理装置100の動作を、検出部102及び予測部103の動作を中心として詳細に説明する。
本実施形態に係る撮像装置1が備える画像処理装置100は、図4のフローチャートに示す処理とほぼ同様の処理を実行し、図8に例示するターゲット画像TGに美肌処理を施す。ただし、本実施形態に係る画像処理装置100は、図4のフローチャートのステップS103、S104の処理の代わりに、図9のフローチャートのステップS201〜S205の処理を実行する。
検出部102は、図4のフローチャートのステップS102と同様の処理により、図8に例示するターゲット画像TGから、顔画像領域を基準領域として検出する。
検出部102は、検出した顔画像領域(基準領域)のサイズと、この顔画像領域の画素値と、この顔画像領域の配置情報と、を特徴量として取得する(ステップS201)。具体的には、検出部102は、顔枠サイズを、検出した顔画像領域のサイズとして取得する。ここで、顔枠サイズ(FrameSize)は、図8に示すように、検出した顔画像領域に外接する矩形領域の面積(縦方向ピクセル数×横方向ピクセル数)である。また、検出部102は、検出した顔画像領域を構成する各画素の画素値(本実施形態では、色相、彩度、及び明度)を集計し、画素値の最頻値をこの顔画像領域の画素値として取得する。さらに、検出部102は、ターゲット画像TGの中心を原点とする直交座標における、検出した顔画像領域の位置座標と、この顔画像領域に含まれる、鼻から口へ向かうベクトルの向きと、をこの顔画像領域の配置情報として取得する。
予測部103は、外部記憶部23から取得したSkinBaseと、ステップS201で取得した、検出された顔画像領域のサイズと、に基づいて、SkinBase’を取得する(ステップS202)。
本実施形態において、SkinBaseは、7頭身の人物モデル(モデルとなる被写体人物)全身画像において、この人物モデルの顔画像領域が占めるサイズと、この人物モデルの肌を表す画像領域のサイズと、を含むデータである。予測部103は、SkinBaseによって示される、人物モデルの肌を表す画像領域のサイズ(例えば、120000ピクセル×ピクセル)に、ステップS201で取得した、検出された顔画像領域のサイズ(例えば、20000ピクセル×ピクセル)の、人物モデルにおいて示される、人物モデルの顔画像領域のサイズ(例えば、10000ピクセル×ピクセル)に対する比率(例えば、20000ピクセル×ピクセル/10000ピクセル×ピクセル)を乗じることにより、SkinBase’=2×120000ピクセル×ピクセル=240000ピクセル×ピクセルを取得する。
実施形態1に係る画像処理装置100は、図4のフローチャートにおけるステップS104の処理を説明した際に上述したとおり、SkinBaseと、検出された顔画像領域のサイズと、に基づいて、SkinBaseFinish(ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズ(面積又は割合)の予測値)を取得した。これに対し、本実施形態に係る画像処理装置100は、SkinBaseと、顔画像領域のサイズと、に基づいて、SkinBaseFinishではなく、SkinBase’を取得している。これは、実施形態1に係る画像処理装置100が、図2に示す、被写体人物の全身画像すべてを含むターゲット画像TGを対象として美肌処理を行っているのに対して、本実施形態に係る画像処理装置100は、図8に示す、被写体人物の全身画像のうち一部分のみを含むターゲット画像TGを対象として美肌処理を行っているからである。本実施形態に係る画像処理装置100は、被写体人物の全身画像のうち、ターゲット画像TGに含まれる部分の割合を参酌して、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズの予測値を取得する。そのために、本実施形態に係る画像処理装置100は、まず、ステップS202の処理により、7頭身の人物モデルの全身画像すべてがターゲット画像TGに含まれていた場合における、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズの予測値をSkinBase’として取得する。そして、後述する図9のフローチャートのステップS203〜S205の処理を実行することにより、SkinBase’を、被写体人物の全身画像のうち、ターゲット画像TGに含まれている部分の割合で調整することにより、SkinBaseFinish(ターゲット画像TGに含まれる被写体人物の肌を表す画像領域のサイズの予測値)を取得するのである。
予測部103は、ステップS201で取得した顔画像領域のサイズに基づいて、頭サイズを取得する(ステップS203)。頭サイズ(HeadSize)は、図8に示すように、被写体人物の頭領域(頭画像領域)に外接する矩形領域の面積(例えば、縦方向ピクセル数×横方向ピクセル数)である。具体的には、予測部103は、ステップS201で顔画像領域のサイズとして取得した顔枠サイズ(FrameSize)を所定の関数に代入することにより、頭サイズを取得する。ここで、所定の関数は、顔枠サイズと頭サイズとの間の相関関係を実験等の任意の手法により予め求め、適宜設定しておけばよい。例えば、経験的に、顔枠サイズに1.4を乗じることで頭サイズが得られることが知られている。
予測部103は、ステップS201で取得した、検出された顔画像領域の配置情報と、ステップS203で取得した頭サイズと、に基づいて頭身(HeadAndBody)を取得する(ステップS204)。頭身(HeadAndBody)は、被写体人物の全身画像のうち、ターゲット画像TGに含まれている部分のサイズの、頭サイズ(HeadSize)に対する比率である。頭身(HeadAndBody)と頭サイズ(HeadSize)との関係は、次の式(1)で表される。
HeadAndBody=1+(BodySize/HeadSize)=(HeadSize+BodySize)/HeadSize (1)
ここで、BodySize(体サイズ)は、図8に示すように、被写体人物の全身画像のうち、ターゲット画像TGに含まれる部分であって、頭領域(頭画像領域)を除いた部分のサイズである。尚、図8において、顔枠サイズ(FrameSize)、頭サイズ(HeadSize)、及び体サイズ(BodySize)は、いずれも実際にはターゲット画像TG中に表示されないため、一点鎖線で示す。予測部103は、具体的には、ステップS202で取得した顔画像領域の配置情報(顔画像領域のターゲット画像TG中の位置及び向き)に基づき、被写体人物が、SkinBaseで採用されている人物モデルと同様に7頭身だと仮定して、被写体人物の全身画像のうち、ターゲット画像TGに含まれる部分のサイズを推定する。推定したサイズ(すなわち、HeadSize+BodySize)を頭サイズ(HeadSize)で除算することにより、式(1)に示すように、頭身(HeadAndBody)を得ることができる。
予測部103は、ステップS202において取得したSkinBase’、すなわち、SkinBaseにおいて用いられている人物モデルと同様に7頭身である被写体人物の全身画像すべてがターゲット画像TGに含まれていると仮定した場合の、ターゲット画像TGが含む、この被写体人物の肌を表す画像領域のサイズの予測値と、ステップS204で取得した頭身(HeadAndBody)と、に基づいて、SkinBaseFinish(ターゲット画像TGが含む、被写体人物の肌を表す画像領域のサイズの予測値)を取得する(ステップS205)。
具体的には、予測部103は、次の式(2)を用いてSkinBaseFinishを取得する。
SkinBaseFinish=SkinBase’×(HeadAndBody/7) (2)
ここで、HeadAndBody/7は、ステップS204で取得した頭身(HeadAndBody)の、ステップS202で用いたSkinBaseにおいて採用されている人物モデルの頭身(本実施形態では、7頭身)に対する比率である。例えば、ステップS204において、頭身として4が取得されたと仮定する。これは、被写体人物の全身画像のうち、4頭身分がターゲット画像TGに含まれていることを意味する。この場合、予測部103は、式(2)に従い、ステップS202で取得したSkinBase’に、ステップS204で取得した頭身の、ステップS202で用いたSkinBaseで採用されている人物モデルの頭身(本実施形態では、7頭身)に対する比率である4/7を乗じることにより、SkinBaseFinishを取得する。
画像処理装置100は、ステップS205で予測値を取得した後、図4のフローチャートのステップS105〜S110と同様の処理を実行し、ターゲット画像TGに美肌処理を施すことにより処理画像を生成する。
以上説明したように、本実施形態に係る撮像装置1及び画像処理装置100は、被写体人物の全身画像のうち、ターゲット画像TGに含まれている部分の割合を参酌して、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズの予測値を取得する。そして、補正対象領域である、ターゲット画像TGに含まれる肌色領域のサイズ(肌色量)の実測値が、取得した予測値を所定の範囲を超えて上回った場合、実施形態1に係る撮像装置1及び画像処理装置100と同様に、画像処理(美肌処理)の補正強度を低下させ、ターゲット画像TG全体の解像感が低下することを抑制しつつ、被写体の肌を表す画像領域に適切な画像処理を施した処理画像を生成することができる。
本実施形態において、撮像装置1は、被写体人物の全身画像のうち、ターゲット画像TGに含まれている部分のサイズの、被写体人物の頭画像のサイズ(頭サイズ(HeadSize))に対する比率である頭身(HeadSize)を参酌し、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズの予測値を取得した。撮像装置1は、頭身に限らず、被写体人物の全身画像のうち、ターゲット画像TGに含まれている部分の割合を示す任意の値を参酌して予測値を取得することができる。例えば、撮像装置1は、被写体人物の全身画像のうち、ターゲット画像TGに含まれている部分のサイズ(面積又は割合)の、被写体人物の全身画像全体のサイズに対する比率を参酌し、予測値を取得してもよい。
本実施形態において、撮像装置1は、ターゲット画像TGの中心を原点とする直交座標における、顔画像領域の位置座標と、顔画像領域に含まれる鼻から口へ向かうベクトルの向きと、を顔画像領域の配置情報として取得した。撮像装置1は、被写体人物の全身画像とターゲット画像TGのフレームとの位置関係を示す情報であれば、この他の任意の情報を配置情報として取得することができる。例えば、撮像装置1は、ターゲット画像TGの一隅を原点とする直交座標における顔画像領域の位置座標や、顔画像領域に含まれる口から鼻へ向かうベクトルの向き等を配置情報として取得してもよい。
本実施形態では、SkinBaseを作成する際に採用された人物モデル(モデルとなる被写体人物)は、7頭身であった。7頭身に限らず、任意の頭身の人物モデルを用いてSkinBaseを予め作成し、画像処理装置100の外部記憶部23に記憶させておくことができる。
尚、撮像装置1は、互いに頭身が異なる複数の人物モデルを用いて作成された複数種類のSkinBaseを予め記憶しておき、これら複数種類のSkinBaseのうち何れか1つを用いてSkinBaseFinishを取得することもできる。この場合、SkinBaseの選択は、ユーザが操作部32を操作することによって行ってもよいし、撮像装置1が、顔画像領域から検出部102が取得した任意の特徴量に基づいて行ってもよい。例えば、撮像装置1は、検出した顔画像領域の特徴量(例えば、シワの数)から被写体人物の年齢を推定し、この推定年齢に基づいてSkinBaseを選択してもよい。被写体人物が子供である場合、大人よりも小さい頭身である可能性が高いので、より頭身の小さい人物モデルに基づいて作成されたSkinBaseを用いてSkinBaseFinishを取得することが好ましい。推定年齢に基づいてSkinBaseを選択することで、ターゲット画像TGに含まれる、被写体人物の肌を表す画像領域のサイズを、より正確に予測することができる。尚、撮像装置1がターゲット画像TGから複数の顔画像領域を検出した場合、各顔画像領域から推定される被写体人物の年齢を集計し、推定年齢の最頻値、最大値、最小値、平均値、中央値、ターゲット画像TGの中心に近い顔画像領域ほど推定年齢の重みが大きくなる重み付き平均値、最大のサイズ(面積又は割合)を有する顔画像領域から得られた推定年齢等を用いてSkinBaseを選択することとしてもよい。
上述の実施形態では、本発明に係る画像処理装置、撮像装置、及び画像処理方法を、撮像装置1及び画像処理装置100を例として用い説明した。本発明に係る画像処理装置、撮像装置、及び画像処理方法は、コンピュータ、携帯電話機、デジタルカメラ、PDA(Personal Digital Assistance)等の任意の電子機器によって実現することができる。
具体的には、コンピュータ、携帯電話機、デジタルカメラ、PDA等を本発明に係る撮像装置及び画像処理装置として動作させるためのプログラムを、これらの電子機器が読み取り可能な記録媒体(例えば、メモリカードやCD−ROM(Compact Disc Read−Only Memory)、DVD−ROM(Digital Versatile Disc Read−Only Memory)等)に格納して配布し、インストールすることにより本発明に係る撮像装置及び画像処理装置を実現することができる。
あるいは、上記プログラムを、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置(例えば、ディスク装置等)に格納しておき、コンピュータ、携帯電話機、デジタルカメラ、PDA等がこのプログラムをダウンロードすることによって本発明に係る撮像装置及び画像処理装置を実現してもよい。
また、本発明に係る撮像装置及び画像処理装置の機能を、オペレーティングシステム(OS)とアプリケーションプログラムとの協働又は分担により実現する場合には、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
また、アプリケーションプログラムを搬送波に重畳し、通信ネットワークを介して配信してもよい。例えば、通信ネットワーク上の掲示板(BBS:Bulletin Board System)にアプリケーションプログラムを掲示し、ネットワークを介してアプリケーションプログラムを配信してもよい。そして、このアプリケーションプログラムをコンピュータにインストールして起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、本発明に係る撮像装置及び画像処理装置を実現してもよい。
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。
(付記1)
ターゲット画像を取得する取得部と、
前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出部と、
前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測部と、
前記ターゲット画像に含まれる、前記被写体の肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測部と、
前記実測値と前記予測値とを比較して、補正強度を決定する決定部と、
前記ターゲット画像のうち前記補正対象領域に前記補正強度で画像処理が施された処理画像を生成する処理部と、
を備える、
ことを特徴とする画像処理装置。
(付記2)
前記検出部は、前記ターゲット画像から検出した前記基準領域の数に基づいて、前記ターゲット画像が含む被写体の人数を取得し、
前記予測部は、前記人数を参酌して前記予測値を取得する、
ことを特徴とする付記1に記載の画像処理装置。
(付記3)
前記基準領域は、被写体の顔画像領域である、
ことを特徴とする付記1又は2に記載の画像処理装置。
(付記4)
モデルとなる被写体の特定部位を表す画像領域のサイズと、該モデルとなる被写体の肌を表す画像領域のサイズと、に基づいて予め作成された、前記予測値を取得するためのモデルデータを記憶する記憶部をさらに備え、
前記予測部は、前記記憶部に記憶された前記モデルデータを参酌して前記予測値を取得する、
ことを特徴とする付記1乃至3の何れか1つに記載の画像処理装置。
(付記5)
前記予測部は、前記被写体の全身画像のうち前記ターゲット画像に含まれる部分の割合を推定し、該推定した割合を参酌して前記予測値を取得する、
ことを特徴とする付記1乃至4の何れか1つに記載の画像処理装置。
(付記6)
前記予測部は、前記基準領域の前記ターゲット画像における配置情報を参酌して前記割合を推定する、
ことを特徴とする付記5に記載の画像処理装置。
(付記7)
前記予測部は、前記基準領域に基づいて推定した被写体人物の年齢を参酌して前記割合を推定する、
ことを特徴とする付記5又は6に記載の画像処理装置。
(付記8)
前記決定部は、前記実測値が前記予測値を所定の閾値を超えて上回っている場合、前記実測値が前記予測値を当該所定の閾値を超えて上回っていない場合に決定する強度に比べて小さい強度を前記補正強度として決定する、
ことを特徴とする付記1乃至7の何れか1つに記載の画像処理装置。
(付記9)
被写体を撮像することによりターゲット画像を生成する撮像部と、
前記撮像部により生成されたターゲット画像を取得する付記1から8の何れか1つに記載の画像処理装置と、
を備えることを特徴とする撮像装置。
(付記10)
ターゲット画像を取得する取得工程と、
前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出工程と、
前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測工程と、
前記ターゲット画像に含まれる、前記被写体の肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測工程と、
前記実測値と前記予測値とを比較して、補正強度を決定する決定工程と、
前記ターゲット画像のうち前記補正対象領域に前記補正強度で画像処理が施された処理画像を生成する処理工程と、 を備える、
ことを特徴とする画像処理方法。
(付記11)
コンピュータを、
ターゲット画像を取得する取得部、
前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出部、
前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測部、
前記ターゲット画像に含まれる、前記被写体の肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測部、
前記実測値と前記予測値とを比較して、補正強度を決定する決定部、
前記ターゲット画像のうち前記補正対象領域に前記補正強度で画像処理が施された処理画像を生成する処理部、
として機能させることを特徴とするプログラム。