JP6384205B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

画像に含まれる被写体人物の肌を表す画像領域に画像処理を施して、被写体人物の印象度を向上させた画像を生成する技術が知られている。例えば、特許文献１には、ターゲット画像に対して美肌処理を施す撮像装置が開示されている。

特許文献１の撮像装置を用いて美肌処理を施すときには、ターゲット画像に含まれる、被写体人物の肌に近似した色及び明度を有する画像領域全てを対象として美肌処理が実行される。このため、ターゲット画像に、被写体人物の画像と被写体人物の肌に近似した色や明度を有する背景（例えば、フローリング）の画像とが含まれている場合、被写体人物の画像のみならず、背景の画像に対しても美肌処理が施される。その結果、ターゲット画像全体に美肌処理が施されることで、白くのっぺりとした印象の、好ましくない画像が生成されてしまう。

これに対して、特許文献２の画像処理装置は、被写体人物の顔画像領域がターゲット画像全体に占める割合を参酌して美肌処理を含む種々の画像処理の補正強度を決定することにより、背景の画像領域に過度の画像処理が施されて画像全体の解像感が必要以上に低下することを防止している。

特開２００７−２８０２９１号公報 特開２０１０−０４９３１２号公報

特許文献２の画像処理装置は、被写体人物の顔画像領域がターゲット画像全体に占める割合が小さいほど、より低い補正強度で画像処理を実行することにより、好ましくない画像の生成を防止している。しかしながら、例えば、被写体人物の顔画像領域がターゲット画像全体において大きな割合を占めているときであっても、背景の画像が被写体人物の肌に近似した色や明度を有している場合には、美肌処理の補正強度を抑制することによって好ましくない画像の生成を防ぐ必要がある。また、被写体人物の顔画像領域がターゲット画像全体において小さな割合しか占めていないときであっても、背景の画像が被写体人物の肌に近似した色や明度を有していない場合には、十分な補正強度で画像処理を実行することが望ましい。そのため、背景の画像が被写体人物の肌に近似した色や明度を有しているか否かに応じて適切に補正強度を選択することが求められていた。

本発明は、上記の課題に鑑みてなされたものであり、被写体の肌を表す画像領域に適切な画像処理を施した画像を生成することを目的とする。

前記目的を達成するため、本発明に係る画像処理装置の一態様は、
ターゲット画像を取得する取得部と、
前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出部と、
前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測部と、
前記ターゲット画像に含まれる、前記被写体の前記肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測部と、
前記実測値と前記予測値とを比較して、補正強度を決定する決定部と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る撮像装置の一態様は、
被写体を撮像することによりターゲット画像を生成する撮像部と、
前記撮像部により生成された前記ターゲット画像を取得する前記画像処理装置と、
を備える、
ことを特徴とする。
また、前記目的を達成するため、本発明に係る画像処理方法の一態様は、
ターゲット画像を取得する取得工程と、
前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出工程と、
前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測工程と、
前記ターゲット画像に含まれる、前記被写体の前記肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測工程と、
前記実測値と前記予測値とを比較して、補正強度を決定する決定工程と、
を含む、
ことを特徴とする。
また、前記目的を達成するため、本発明に係るプログラムの一態様は、
コンピュータを、
ターゲット画像を取得する取得部、
前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出部、
前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測部、
前記ターゲット画像に含まれる、前記被写体の前記肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測部、
前記実測値と前記予測値とを比較して、補正強度を決定する決定部、
として機能させる、
ことを特徴とする。

本発明によれば、被写体の肌を表す画像領域に適切な画像処理を施した画像を生成することができる。

実施形態１に係る撮像装置の構成を例示するブロック図である。 ターゲット画像の一例を示す図である。 実施形態１に係る撮像装置及び画像処理装置の機能構成を例示するブロック図である。 実施形態１に係る画像処理装置が実行する美肌処理を説明するためのフローチャートである。 補正強度テーブルの一例を示す図である。 補正強度テーブルの他の例を示す図である。 補正強度テーブルの他の例を示す図である。 ターゲット画像の他の例を示す図である。 実施形態２に係る画像処理装置が実行する美肌処理を説明するためのフローチャートである。

（実施形態１）
以下、本発明に係る画像処理装置、撮像装置、及び画像処理方法を、撮像装置１及び画像処理装置１００を例に用い、図面を参照しながら詳細に説明する。尚、図中同一又は同等の部分には同じ符号を付す。

撮像装置１は、図１に示すように、撮像部１０と、データ処理部２０と、ユーザインタフェース部３０と、を備える。

撮像部１０は、光学レンズ１１とイメージセンサ１２とを含む。撮像部１０は、後述する操作部３２が受け付けたユーザの操作に従って被写体人物を撮像することにより、図２に例示するターゲット画像ＴＧを生成する。ターゲット画像ＴＧは、美肌処理の対象となる画像であり、図２に示すように、被写体人物の画像を含む画像である。

光学レンズ１１は、被写体から射出された光を集光するレンズと、焦点、露出、ホワイトバランス等の撮像設定パラメータを調整するための周辺回路と、を備える。

イメージセンサ１２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等を備える。イメージセンサ１２は、光学レンズ１１が光を集光することによって結像した被写体の光学像を取得して、取得した光学像の電圧情報をアナログ／デジタル変換器（図示せず）によりデジタル画像データに変換する。そして、得られたデジタル画像データを、ターゲット画像ＴＧとして後述する外部記憶部２３に保存する。

データ処理部２０は、主記憶部２１と、出力部２２と、外部記憶部２３と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２４と、画像処理装置１００と、を含む。

主記憶部２１は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備える。主記憶部２１は、ＣＰＵ２４のワークメモリとして機能し、画像処理により生成された処理画像を含む種々の画像データやプログラムを一時的に記憶する。

出力部２２は、主記憶部２１や外部記憶部２３に記憶された画像データを読み出し、この画像データに対応するＲＧＢ（Ｒ（Ｒｅｄ、赤）、Ｇ（Ｇｒｅｅｎ、緑）、Ｂ（Ｂｌｕｅ、青））信号を生成して、後述する表示部３１に出力する。また、出力部２２は、生成したＲＧＢ信号をＨＳＶ（Ｈ（Ｈｕｅ、色相）、Ｓ（Ｓａｔｕｒａｔｉｏｎ、彩度）、明度（Ｖａｌｕｅ））信号へ変換し、ＣＰＵ２４や画像処理装置１００へ供給する。

外部記憶部２３は、不揮発性メモリ（例えば、フラッシュメモリやハードディスク）を備え、撮像装置１全体の制御に必要な制御プログラムを含む種々のプログラム、種々の固定データ等を固定的に記憶する。外部記憶部２３は、記憶しているプログラムやデータをＣＰＵ２４や後述する画像処理装置１００へ供給し、撮像部１０が生成したターゲット画像ＴＧや、画像処理装置１００から供給された処理画像等を含む種々の画像データを記憶する。

ＣＰＵ２４は、外部記憶部２３に記憶された制御プログラムを実行することにより撮像装置１全体を制御するとともに、外部記憶部２３に記憶された種々のプログラムを実行する。

画像処理装置１００は、被写体人物の画像を含むターゲット画像ＴＧに対して美肌処理を施すことにより処理画像を生成する。画像処理装置１００は、ＣＰＵ２４によって制御され、図３に示す取得部１０１、検出部１０２、予測部１０３、実測部１０４、決定部１０５、及び処理部１０６として機能する。

尚、画像処理装置１００は、通常の画像処理装置と同様に、トリミング機能やエッジ検出機能等を有するが、以下では、本実施形態に特徴的な、被写体人物の画像を含むターゲット画像ＴＧに美肌処理を施す機能を中心に説明する。

取得部１０１は、撮像部１０によって生成され、外部記憶部２３によって記憶されていたターゲット画像ＴＧを取得する。

検出部１０２は、ターゲット画像ＴＧから基準領域を検出するとともに、検出した基準領域の特徴量を取得する。基準領域は、被写体人物の全身のうち所定の部位を表す画像領域であり、後述する予測部１０３が、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像のサイズの予測値を取得する際に基準として用いられる。本実施形態において、検出部１０２は、ターゲット画像ＴＧから、被写体人物の顔画像領域（顔領域）を基準領域として検出する。画像から顔画像領域を検出する技術は、当該技術分野において周知であるため、詳細な説明は省略する。

また、本実施形態において、検出部１０２は、検出した顔画像領域（基準領域）の特徴量として、この顔画像領域のサイズと、この顔画像領域の画素値と、を取得する。

具体的には、検出部１０２は、顔枠サイズ（ＦｒａｍｅＳｉｚｅ）を、検出した顔画像領域のサイズとして取得する。ここで、顔枠サイズは、図２に示すように、検出した顔画像領域に外接する矩形領域の面積（例えば、縦方向のピクセル数×横方向のピクセル数）である。尚、図２において、顔枠サイズは実際にはターゲット画像ＴＧ中に表示されないため、一点鎖線で示す。

検出部１０２は、検出した顔画像領域を構成する画素の色相、彩度、明度を、この顔画像領域の画素値として取得する。検出された顔画像領域は、画素値が各々異なる複数の画素で構成されている。検出部１０２は、顔画像領域を構成する各画素の画素値を取得し、集計した画素値の最頻値を顔画像領域の画素値として取得する。

予測部１０３は、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値（ＳｋｉｎＢａｓｅＦｉｎｉｓｈ）を取得する。

具体的には、予測部１０３は、外部記憶部２３に記憶されているＳｋｉｎＢａｓｅを取得し、このＳｋｉｎＢａｓｅと、検出部１０２が検出した顔画像領域のサイズと、に基づいて、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値（ＳｋｉｎＢａｓｅＦｉｎｉｓｈ）を取得する。ＳｋｉｎＢａｓｅは、ＳｋｉｎＢａｓｅＦｉｎｉｓｈを取得するための基準データである。

外部記憶部２３は、人物モデル（モデルとなる被写体人物）の全身画像において、この人物モデルの顔画像領域が占めるサイズ（面積又は割合）と、この人物モデルの肌を表す画像領域が占めるサイズと、を含むモデルデータを、ＳｋｉｎＢａｓｅとして予め外部の装置から取得し、記憶している。ＳｋｉｎＢａｓｅは、人物モデルである被写体人物の複数の全身画像を解析し、各全身画像に含まれる、被写体人物の顔画像領域のサイズと被写体人物の肌を表す画像領域のサイズとを集計する等任意の方法により予め作成しておけばよい。本実施形態において、ＳｋｉｎＢａｓｅは、肌の露出度が比較的高い人物を人物モデルとして用い、予め作成されている。予測部１０３が実行する、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値を取得する処理については、図４のフローチャートを参照しながら詳細に後述する。

実測部１０４は、ターゲット画像ＴＧの肌色量の実測値を算出する。ここで、ターゲット画像ＴＧの肌色量は、ターゲット画像ＴＧが含む肌色領域のサイズとする。ここで、肌色領域は、画素値（色相、彩度、明度）が、ＨＳＶ色空間（色相(Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の三成分で構成される色空間）において、被写体人物の肌の画像の画素値を含む所定の領域に含まれる画素で構成される画像領域である。肌色領域は、後述する処理部１０６が実行する美肌処理の対象となる補正対象領域である。

具体的には、実測部１０４は、ターゲット画像ＴＧの肌色マップを作成し、この肌色マップの積分値をターゲット画像ＴＧの肌色量の実測値として取得する。ここで、肌色マップは、ターゲット画像ＴＧを構成する画素のうち、画素値（色相、彩度、明度）が、ＨＳＶ色空間において、検出部１０２が取得した顔画像領域の画素値を含む所定の領域に含まれる画素のみで構成される画像である。所定の領域は、例えば、顔画像領域の画素値を中心とする所定の直方体領域である。所定の直方体領域は、任意の手法により予め設定しておけばよい。具体的には、複数の被写体人物の肌の画像を解析し、肌の画像を構成する各画素の画素値と、集計された各画素の画素値の最頻値である肌の画像の画素値と、の間の相関を求めることにより所定の直方体領域を適宜設定することができる。

決定部１０５は、実測部１０４が取得したターゲット画像ＴＧの肌色量の実測値と、予測部１０３が取得したターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値と、を比較し、後述する処理部１０６が実行する美肌処理の補正強度を決定する。

具体的には、決定部１０５は、実測部１０４が取得した実測値が、予測部１０３が取得した予測値を、所定の閾値（例えば、１０００ピクセル×ピクセル）を超えて上回っているか否かを判別する。所定の閾値は、ターゲット画像ＴＧの肌色量の実測値とターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値との間の差分と、美肌処理により生成された画像の好ましさと、の相関を実験等の任意の手法により求め、適宜設定しておけばよい。決定部１０５は、実測値が予測値を、所定の閾値を超えて上回っていないと判別した場合、第１補正強度を美肌処理の強度として選択する。一方、決定部１０５は、実測値が予測値を、所定の閾値を超えて上回っていると判別した場合、第１補正強度よりも弱い第２補正強度を美肌処理の強度として選択する。

処理部１０６は、決定部１０５によって決定された強度にて、ターゲット画像ＴＧが含む上述の肌色領域を補正対象領域として美肌処理を施すことにより処理画像を生成する。

ここで、美肌処理とは、ターゲット画像ＴＧに対してフィルタ処理、露出補正、彩度調整等を施し、好ましい画像を生成する処理である。美肌処理は、当該技術分野において周知の技術であるため、詳細な説明は省略する。処理部１０６は、美肌処理に含まれるフィルタ処理、露出補正、彩度調整等の各処理の強度をそれぞれ調整することにより、美肌処理の強度を調整する。例えば、強度１００％の美肌処理が、露出を＋１．０ＥＶ変更する露出補正を含むと予め設定されており、かつ、決定部１０５によって美肌処理の強度が５０％と決定されたとする。この場合、処理部１０６は、強度５０％の美肌処理の一環として、露出を（＋１．０ＥＶ）×（５０／１００）＝＋０．５ＥＶ変更する露出補正を実行する。処理部１０６は、同様にして、美肌処理に含まれる各処理を、所定の補正強度と、予め設定された、強度１００％の美肌処理が含む各処理の強度と、に基づいて決定された強度にてそれぞれ実行することにより、所定の強度の美肌処理を実行する。

図１に戻って、ユーザインタフェース部３０は、表示部３１と、操作部３２と、外部インタフェース３３と、を含む。

表示部３１は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌｅｙ）やＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等を備え、出力部２２から供給されたＲＧＢ信号に基づいて、撮像部１０により撮像され、外部記憶部２３により記憶されているターゲット画像ＴＧ、画像処理装置１００がターゲット画像ＴＧに美肌処理を施すことにより生成した処理画像等を含む種々の画像を表示する。

操作部３２は、ユーザからの操作指示を受け付ける。操作部３２は、撮像装置１の電源スイッチ、シャッタボタン、撮像装置１の種々の機能を選択するためのボタン等、各種の操作ボタンを備える。操作部３２は、ユーザから操作指示を受け付けると、受け付けた指示情報を撮像部１０やデータ処理部２０のＣＰＵ２４等に供給する。

なお、表示部３１と操作部３２とは、互いに重畳して配置されたいわゆるタッチパネルによって構成されるものであってもよい。

外部インタフェース３３は、撮像装置１の外部の機器とデータをやり取りするためのインタフェースである。例えば、外部インタフェース３３は、画像処理装置１００がターゲット画像ＴＧに美肌処理を施すことによって生成した処理画像を、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格のデータに変換して、ＵＳＢケーブルを介して外部の機器との間でデータを送受信する。

次に、上述の構成を有する撮像装置１及び画像処理装置１００が、被写体人物の画像を含むターゲット画像ＴＧに対して美肌処理を施す動作を、図４のフローチャートを参照しながら説明する。

撮像装置１が備える撮像部１０は、予め、被写体人物を撮像することにより図２に例示するターゲット画像ＴＧを生成している。外部記憶部２３は、撮像部１０が生成したターゲット画像ＴＧを予め取得し、記憶している。

ユーザは、ターゲット画像ＴＧに美肌処理を施すことを所望する場合、操作部３２を操作することにより、ターゲット画像ＴＧを主記憶部２１に展開するとともに、撮像装置１が備える複数の動作モードの１つである「美肌処理モード」を選択する。

操作部３２が、ユーザによる「美肌処理モード」を選択する操作を受け付けると、ＣＰＵ２４は、画像処理プログラムを含む、図４のフローチャートの処理を実行するためのプログラムを外部記憶部２３から読み出して主記憶部２１に展開する。また、表示部３１は、図２に例示するターゲット画像ＴＧを外部記憶部２３から取得し、表示する。

このような状態において、ユーザが、操作部３２を用いて美肌処理の開始を指示すると、画像処理装置１００が、図４のフローチャートに示す美肌処理を開始する。

まず、取得部１０１が、外部記憶部２３に記憶されていたターゲット画像ＴＧを取得する（ステップＳ１０１）。

次に、検出部１０２が、任意の公知技術を用い、ステップＳ１０１で取得されたターゲット画像ＴＧから、基準領域として顔画像領域を検出する（ステップＳ１０２）。

次に、検出部１０２は、ステップＳ１０２で検出した顔画像領域（基準領域）のサイズと、この顔画像領域の画素値と、を検出した基準領域の特徴量として取得する（ステップＳ１０３）。具体的には、検出部１０２は、ステップＳ１０２で検出した顔画像領域に外接する矩形領域の面積（顔枠サイズ、ＦｒａｍｅＳｉｚｅ）を、この顔画像領域のサイズとして取得する。また、検出部１０２は、ステップＳ１０２で検出した顔画像領域を構成する各画素の画素値（色相、彩度、及び明度）を集計し、集計された画素値の最頻値をこの顔画像領域の画素値として取得する。

予測部１０３は、外部記憶部２３からＳｋｉｎＢａｓｅ（ＳｋｉｎＢａｓｅＦｉｎｉｓｈを取得するための基準データ）を取得し、このＳｋｉｎＢａｓｅと、ステップＳ１０２で取得した顔画像領域のサイズと、に基づいて、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値（ＳｋｉｎＢａｓｅＦｉｎｉｓｈ）を取得する（ステップＳ１０４）。

本実施形態で、外部記憶部２３から取得されるＳｋｉｎＢａｓｅは、人物モデル（モデルとなる被写体人物）の全身画像に含まれる、この人物モデルの顔画像領域のサイズ（例えば、１００００ピクセル×ピクセル）と、この人物モデルの肌を表す画像領域のサイズ（例えば、１２００００ピクセル×ピクセル）と、を含んでいる。ここで、例えば、ステップＳ１０３において取得した、ステップＳ１０２で検出された顔画像領域のサイズが、２００００ピクセル×ピクセルであったと仮定する。この場合、予測部１０３は、ＳｋｉｎＢａｓｅで示される、人物モデルの肌を表す画像領域のサイズ（１２００００ピクセル×ピクセル）に、ステップＳ１０２において取得した顔画像領域のサイズ（２００００ピクセル×ピクセル）の、ＳｋｉｎＢａｓｅで示される、人物モデルの顔画像領域のサイズ（１００００ピクセル×ピクセル）に対する比率（２００００ピクセル×ピクセル／１００００ピクセル×ピクセル）を乗じることにより、ＳｋｉｎＢａｓｅＦｉｎｉｓｈ＝（１２００００ピクセル×ピクセル）×２＝２４００００ピクセル×ピクセルを取得する。

次に、実測部１０４が、ターゲット画像ＴＧの肌色量の実測値を取得する（ステップＳ１０５）。実測部１０４は、ターゲット画像ＴＧを構成する各画素のうち、当該画素の画素値（色相、彩度、及び明度）が、ＨＳＶ色空間において、ステップＳ１０３で取得された、ステップＳ１０２で検出された顔画像領域の画素値を含む所定の領域に含まれる画素のみで構成される画像である肌色マップを作成し、この肌色マップの積分値をターゲット画像ＴＧの肌色量の実測値として取得する。

決定部１０５は、ステップＳ１０５で取得した、ターゲット画像ＴＧの肌色量の実測値が、ステップＳ１０４で取得した、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値よりも大きいか否かを判別する（ステップＳ１０６）。決定部１０５は、実測値が予測値よりも大きくないと判別すると（ステップＳ１０６；Ｎｏ）、美肌処理の強度として第１補正強度を選択し（ステップＳ１０７）、ステップＳ１１０へ進む。

実測値が予測値よりも大きいと判別すると（ステップＳ１０６；Ｙｅｓ）、決定部１０５は、次に、実測値と予測値との間の差分が、所定の閾値よりも大きいか否かを判別する（ステップＳ１０８）。決定部１０５は、実測値と予測値との間の差分が所定の閾値よりも大きくないと判別すると（ステップＳ１０８；Ｎｏ）、美肌処理の強度として第１補正強度を選択し（ステップＳ１０７）、ステップＳ１１０へ進む。

決定部１０５は、実測値と予測値との間の差分が所定の閾値よりも大きいと判別すると（ステップＳ１０８；Ｙｅｓ）、美肌処理の強度として、第１補正強度よりも弱い第２補正強度を選択し（ステップＳ１０９）、ステップＳ１１０へ進む。

処理部１０６は、ステップＳ１０７又はステップＳ１０９で選択された補正強度にて、ターゲット画像ＴＧ中の補正対象領域である肌色領域に対して美肌処理を施すことにより処理画像を生成し（ステップＳ１１０）、生成された処理画像を、表示部３１に表示させるとともに外部記憶部２３へ格納し、美肌処理を終了する。

以上説明したように、本実施形態に係る撮像装置１は、ターゲット画像ＴＧの肌色量の実測値が、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域の面積の予測値を、所定の範囲を超えて上回った場合、画像処理（美肌処理）の補正強度を低下させる。このため、ターゲット画像ＴＧ全体の解像感が低下することを抑制しつつ、被写体人物の肌を表す画像領域に適切な画像処理を施した処理画像を生成することができる。

本実施形態において、画像処理装置１００は、撮像装置１の内部に具備されていた。画像処理装置１は、撮像装置１から独立した装置であってもよい。例えば、コンピュータ等の情報処理装置が画像処理装置１００として機能することができる。この場合、画像処理装置１００は、外部の撮像装置が撮像した被写体画像をターゲット画像ＴＧとして取得し、上述の美肌処理を施せばよい。

本実施形態において、撮像装置１は、撮像部１０が被写体人物を撮像することにより生成し外部記憶部２３が記憶していた画像を、外部記憶部２３からターゲット画像ＴＧとして取得した。撮像装置１は、外部記憶部２３からではなく、撮像部１０から直接ターゲット画像ＴＧを取得してもよい。また、撮像装置１は、外部の画像入力装置（例えば、デジタルカメラやメモリカード、ネットワーク）からターゲット画像ＴＧを予め取得し、記憶しておいてもよい。

本実施形態において、撮像装置１は、ターゲット画像ＴＧから、基準領域として、顔画像領域を検出した。撮像装置１は、被写体人物の肌を表す画像領域がターゲット画像ＴＧ全体に占めるサイズ（面積又は割合）を推測する上で有用な画像領域でさえあれば、顔画像領域以外の任意の画像領域を基準領域として検出することができる。例えば、被写体人物の顔以外の部分（例えば、手や耳）を表す画像領域や、被写体人物の顔の一部（例えば、目や鼻）を表す画像領域等を、ターゲット画像ＴＧから基準領域として検出してもよい。

本実施形態において、撮像装置１は、検出した顔画像領域（基準領域）に外接する矩形領域の面積（縦サイズ（縦方向ピクセル数）×横サイズ（横方向ピクセル数））を、この顔画像領域のサイズとして取得した。矩形領域に限らず、検出した顔画像領域に外接する任意の形状（例えば、楕円形）の領域の面積を、当該顔画像領域のサイズとして取得することができる。

尚、撮像装置１は、検出した顔画像領域（基準領域）のサイズを示す、面積以外の特徴量を取得してもよい。例えば、顔画像領域に外接する矩形領域の縦サイズ（縦方向ピクセル数）や横サイズ（横方向ピクセル数）、顔画像領域に外接する楕円形領域の長径（長径方向ピクセル数）や短径（短径方向ピクセル数）等を顔画像領域のサイズとして取得することができる。また、撮像装置１は、検出した顔画像領域がターゲット画像ＴＧ全体に占める割合を、この顔画像領域のサイズを示す特徴量として取得することもできる。

尚、撮像装置１は、ターゲット画像ＴＧから複数の顔画像領域を検出した場合、各顔画像領域のサイズ（面積又は割合）を集計し、これらのサイズの最頻値、最大値、最小値、平均値、ターゲット画像ＴＧの中央に近くなるほど重みが大きくなるよう設定された重み付き平均値、中央値等を、検出した顔画像領域のサイズとして取得することができる。

本実施形態において、撮像装置１は、検出した顔画像領域を構成する各画素の色相、彩度、及び明度を、この顔画像領域の画素値として取得した。撮像装置１は、色相、彩度、及び明度に限らず、任意の画素値を取得することができる。例えば、撮像装置１は、検出した顔画像領域を構成する各画素のＲＧＢ信号の値を、この顔画像領域の画素値として取得してもよい。

本実施形態において、撮像装置１は、検出した顔画像領域を構成する各画素の画素値（色相、彩度、及び明度）を集計し、集計した画素値の最頻値を、検出した顔画像領域の画素値として取得した。撮像装置１は、最頻値以外の統計値を、顔画像領域の画素値として取得することができる。例えば、画素値の最大値、最小値、平均値、複数の被写体人物の肌の画像を解析する等の任意の手法で設定された所定値に近くなるほど重みが大きくなるよう設定された重み付き平均値、中央値等を、検出した顔画像領域の画素値として取得してもよい。

尚、撮像装置１は、ターゲット画像ＴＧから複数の顔画像領域を検出した場合、全ての顔画像領域について一括して構成画素の画素値を集計することにより、検出した顔画像領域の画素値を取得することができる。また、各顔画像領域ごとに構成画素の画素値を集計し、各顔画像領域の画素値を個別に決定した後、最も面積が大きい（小さい）顔画像領域、又はターゲット画像ＴＧ全体に占める割合が最も大きい（小さい）顔画像領域の画素値を、検出した顔画像領域の画素値として取得することもできる。

本実施形態において、撮像装置１は、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域の面積の予測値を取得した。撮像装置１は、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域が、ターゲット画像ＴＧ全体に占める割合の予測値を取得してもよい。

本実施形態において、ＳｋｉｎＢａｓｅは、人物モデル（モデルとなる被写体人物）の全身画像に含まれる、この人物モデルの顔画像領域のサイズ（面積又は割合）と、この人物モデルの肌を表す画像領域のサイズと、を含むモデルデータであった。ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズを予測する上で基準となる任意のモデルデータをＳｋｉｎＢａｓｅとして採用することができる。

例えば、人物モデルの全身画像において、この人物モデルの顔以外の部分（例えば、耳や目、手）を表す画像領域が占めるサイズ（面積又は割合）と、この人物モデルの肌を表す画像領域が占めるサイズ（面積又は割合）と、を含むモデルデータをＳｋｉｎＢａｓｅとして用いてもよい。

あるいは、ＳｋｉｎＢａｓｅは、人物モデルの全身画像が含む顔画像領域のサイズと肌を表す画像領域のサイズとの間の相関を表す関数であってもよい。例えば、経験的に、任意の被写体人物の全身画像に含まれる、肌を表す画像領域のサイズは、この全身画像に含まれる、当該被写体人物の顔画像領域のサイズの約１２倍であることが知られている。従って、ＳｋｉｎＢａｓｅとして、肌を表す画像領域のサイズの、顔画像領域のサイズに対する典型的な比率である１２を外部記憶部２３に記憶させておき、ターゲット画像ＴＧから検出した顔画像領域のサイズにこの比率を乗じることにより、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値を取得することができる。

本実施形態においては、ＳｋｉｎＢａｓｅは、肌の露出度が比較的高い被写体人物を人物モデルとして予め作成されていた。撮像装置１は、体格や肌の露出度が互いに異なる複数の人物モデルに基づいて予め作成された複数種類のＳｋｉｎＢａｓｅを記憶しておくことができる。撮像装置１は、複数種類のＳｋｉｎＢａｓｅのうち何れか１つを用いて、ＳｋｉｎＢａｓｅＦｉｎｉｓｈ（ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズ（面積又は割合）の予測値）を取得する。ＳｋｉｎＢａｓｅの選択は、ユーザが操作部３２を操作することにより行ってもよいし、撮像装置１が、検出部１０２によって取得された、検出された顔画像領域の特徴量（例えば、画素値）に基づいて行ってもよい。例えば、被写体人物の顔画像領域の画素値に基づいて被写体人物の肌の色が黒っぽいと判別された場合、当該被写体人物が肌の露出度が高い服装を好むため肌が日焼けしている可能性が高いので、肌の露出度が高い人物モデルに基づいて作成されたＳｋｉｎＢａｓｅを選択することとしてもよい。

撮像装置１は、ターゲット画像ＴＧから複数の顔画像領域を検出した場合、検出された顔画像領域の数を参酌して、ターゲット画像ＴＧに含まれる被写体人物の肌を表す画像領域のサイズ（面積又は割合）の予測値を取得することができる。複数の顔画像領域が検出された場合、ターゲット画像ＴＧは、複数の被写体人物を含んでいる。ターゲット画像ＴＧが含む被写体人物が多いほど、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズ（面積又は割合）も大きい。具体的には、撮像装置１は、ターゲット画像ＴＧに含まれる、被写体人物１人当たりの肌を表す画像領域のサイズの予測値を取得した後、当該１人当たりの予測値に、検出された顔画像領域の数（すなわち、被写体人物の人数）を乗じることで、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値（ＳｋｉｎＢａｓｅＦｉｎｉｓｈ）を取得すればよい。

尚、撮像装置１は、ターゲット画像ＴＧから検出された、被写体人物の顔以外の部分を表す画像に基づいて被写体人物の人数を推定し、この推定人数を用いて予測値を取得することもできる。例えば、撮像装置１は、ターゲット画像ＴＧから被写体人物の目や耳を表す画像領域を検出した場合、検出された画像領域の数を２で除算することにより被写体人物の人数を推定し、この推定人数を用いて予測値を取得することができる。

本実施形態において、ターゲット画像ＴＧの肌色量は、ターゲット画像ＴＧが含む肌色領域の面積であった。肌色量は、ターゲット画像ＴＧが含む肌色領域が、ターゲット画像ＴＧ全体に占める割合でもよい。

本実施形態において、肌色領域は、画素値（色相、彩度、明度）が、ＨＳＶ色空間（色相(Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の三成分で構成される色空間）において、被写体人物の肌の画像の画素値を中心とする所定の直方体領域に含まれる画素で構成される画像領域であった。肌色領域は、色相、彩度、及び明度以外の画素値（例えば、ＲＧＢ画素値）が、ＨＳＶ色空間以外の色空間（例えば、ＲＧＢ色空間）において、被写体人物の肌の画像の画素値を中心とする所定の領域に含まれる画素であってもよい。

尚、上述の色空間に設定される所定の領域は、被写体人物の肌の画像の画素値を中心とする所定の直方体領域には限定されず、例えば、球形や四角柱形等の任意の形状を有する領域であってもよい。また、被写体人物の肌の画像の画素値は、当該所定の領域に含まれてさえいればよく、中心以外の場所に位置してもよい。

本実施形態において、撮像装置１は、検出部１０２が検出した顔画像領域の画素値（色相、彩度、及び明度）を取得し、ターゲット画像ＴＧ中の、画素値が、ＨＳＶ色空間において、取得された顔画像領域の画素値を含む所定の領域に含まれる画素のみで構成される画像（肌色マップ）を作成し、この肌色マップを積分することにより補正対象領域である肌色領域のサイズ（肌色量）の実測値を取得した。撮像装置１は、この他の方法で補正対象領域のサイズ（肌色量）の実測値を取得することもできる。例えば、撮像装置１は、ターゲット画像ＴＧ中の、画素値（例えば、色相値、彩度値、及び明度値）が、色空間（例えば、ＨＳＶ色空間）において、所定の領域に含まれる画素のみで構成される画像を作成し、この画像の積分値を肌色量の実測値として取得してもよい。尚、所定の領域は、複数の被写体人物の肌の画像を解析する等の任意の手法により、典型的な被写体人物の肌の色を表すように適宜設定すればよい。

本実施形態において、撮像装置１は、ターゲット画像ＴＧに含まれる、補正対象領域である肌色領域の面積の実測値が、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域の面積の予測値を、所定の面積以上に上回っていない場合、美肌処理の補正強度として第１補正強度を選択し、実測値が予測値を所定の面積以上に上回っている場合、第１補正強度よりも弱い第２補正強度を美肌処理の補正強度として選択した。ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズ（面積又は割合）の予測値と、補正対象領域であるターゲット画像ＴＧに含まれる肌色領域のサイズ（面積又は割合）の実測値と、の間の任意の比較結果を、補正強度を決定するための条件として採用することができる。例えば、実測値が予測値を所定の割合以上に上回っているか否かに基づいて補正強度を決定してもよい。

尚、撮像装置１は、ターゲット画像ＴＧの属性に応じて変化する条件に基づいて補正強度を決定することもできる。例えば、ターゲット画像ＴＧの肌色量の実測値が、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズ（面積又は割合）の予測値を閾値以上に上回っているか否かに基づいて補正強度を決定する場合において、この閾値を、ターゲット画像ＴＧ全体に顔画像領域が占める割合の関数とし、当該割合が大きくなるほど閾値が高くなるように設定してもよい。顔画像領域、すなわちユーザが本来美肌処理を施したいと所望する画像領域が、ターゲット画像ＴＧ全体において十分大きな割合を占めている場合において、ターゲット画像ＴＧが含む肌色領域を補正対象領域として強い補正強度にて美肌処理を施したとしても、当該美肌処理の効果の大半は、本来の目的である顔画像領域に及ぶ。このため、好ましくない処理画像が生成される可能性は低い。従って、閾値を顔画像領域が占める割合の関数とすることにより、適切な補正強度で画像処理を行うことができる。また、例えば、ターゲット画像ＴＧの明るさ（明度）が高いほど閾値が低くなるように設定してもよい。明度の高いターゲット画像ＴＧに、肌色領域を補正対象領域として美肌処理や美白処理等を施すと、極端に白っぽい、好ましくない画像が生成されてしまう可能性が高いからである。なお、閾値の決定方法は、ターゲット画像ＴＧの属性と、閾値と、生成される画像の好ましさと、の相関を実験により求める等、任意の手法で適宜設定すればよい。

尚、撮像装置１は、画像処理の補正強度として、２種類よりも多い補正強度の何れかを選択することができる。具体的には、撮像装置１は、図５に示す補正強度テーブルＴＢ１を参照して補正強度を決定してもよい。補正強度テーブルＴＢ１は、例えば外部記憶部２３に格納されており、補正強度と補正強度を決定するための条件（実測値と予測値との比較結果）とを互いに関連付けて記憶している。例えば、ターゲット画像ＴＧの肌色量の実測値が、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズ（面積又は割合）の予測値を１０％〜１５％上回っている場合、撮像装置１は、この比較結果に対応する美肌処理の補正強度（９０％）を、美肌処理の補正強度として補正強度テーブルＴＢ１から取得する。

尚、撮像装置１は、上述の美肌処理の他にも、種々の画像処理をターゲット画像ＴＧに施すことができる。撮像装置１は、例えば、被写体人物の肌の色を白くする美白処理、被写体人物の肌にあるシワやシミを除去するシワ・シミ除去処理、目の充血を軽減する充血軽減処理、肌の血色を改善する血色改善処理、黄ばんだ歯を白くする美白処理、目を大きく開かせる開眼処理、太った頬やえらの張った頬をほっそりとさせる頬リフトアップ処理、フラッシュ発光時の赤目状態を除去するフラッシュ赤目除去処理等の画像処理を実行可能である。これらの画像処理は、当該技術分野において周知の技術であるので、詳細な説明は省略する。

ターゲット画像ＴＧに複数種類の画像処理を施す場合、撮像装置１は、図６に示す補正強度テーブルＴＢ２や、図７に示す補正強度テーブルＴＢ３を参照しながら各画像処理の補正強度を決定することができる。補正強度テーブルＴＢ２、ＴＢ３は、外部記憶部２３に格納されており、いずれも、補正強度と補正強度を決定するための条件（実測値と予測値との比較結果）とを互いに関連付けて記憶している。補正強度テーブルＴＢ２では、図６に示すように、２種類の画像処理（美肌処理と美白処理）に対し、それぞれ異なる条件が設定されている。このため、補正強度テーブルＴＢ２を参照して画像処理の補正強度を決定する撮像装置１は、画像処理ごとに補正強度を決定することができる。例えば、補正強度テーブルＴＢ２においては、図６に示すように、ターゲット画像ＴＧの肌色量の実測値が、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズ（面積又は割合）の予測値を０％〜５％上回っている場合と６％〜９％上回っている場合とで、美肌処理の補正強度は同じ（１００％）だが、美白処理の補正強度は異なる（１００％と９０％）。各画像処理の補正強度を個別に決定するため、画像処理ごとにきめ細かく補正強度を決定でき、適切な補正強度で画像処理を施し好ましい画像を生成することができる。一方、補正強度テーブルＴＢ３においては、図７に示すように、２種類の画像処理に共通の条件が設定されている。このため、補正強度テーブルＴＢ３を参照して画像処理の補正強度を決定する撮像装置１は、複数の画像処理の補正強度を一括して決定することができる。例えば、実測値が６％〜９％上回っている場合、図７の補正強度テーブルＴＢ３を参照して補正強度を決定する撮像装置１は、美肌処理の補正強度（９５％）と美白処理の補正強度（９０％）とを一括して補正強度テーブルＴＢ３から取得する。複数の画像処理の補正強度を一括して決定することにより、処理負荷を軽減することができる。尚、上述の補正強度テーブルＴＢ１〜ＴＢ３において、少なくとも一部の画像処理の補正強度を０％に設定することで、特定の条件下で実行する画像処理と実行しない画像処理とを設定することもできる。

本実施形態において、撮像装置１は、補正強度を決定した後、決定した補正強度にてターゲット画像ＴＧに直接美肌処理を施すことにより、当該決定した補正強度の美肌処理が施された処理画像を生成した。撮像装置１は、ターゲット画像ＴＧに、直接、決定した補正強度で美肌処理を施す上述の方法以外の方法により、決定した補正強度の美肌処理が施された処理画像を生成することもできる。例えば、撮像装置１は、ターゲット画像ＴＧと、ターゲット画像ＴＧに所定の補正強度（例えば、１００％）にて美肌処理を施した画像と、を適切な比率にて重み付き合成することにより、所定の補正強度の美肌処理が施された処理画像を生成してもよい。この場合、撮像装置１がターゲット画像ＴＧに直接施す美肌処理の補正強度は、常に一定（この場合は、１００％）である。撮像装置１は、ターゲット画像ＴＧに施す美肌処理の補正強度ではなく、ターゲット画像とターゲット画像に所定の補正強度にて美肌処理を施した画像とをどのような比率にて重み付き合成するかを、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズ（面積又は割合）の予測値とターゲット画像ＴＧの肌色量の実測値との比較結果に基づいて決定する。尚、重み付き合成は、２つの画像全体を対象として行ってもよいし、２つの画像の一部分（例えば、肌色領域として検出された部分）のみを対象として行ってもよい。

（実施形態２）
実施形態１に係る撮像装置１及び画像処理装置１００は、検出した顔画像領域（基準領域）のサイズと、人物モデルと、に基づいて、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値を取得した。予測値は、この他の方法で取得することもできる。

以下、検出した顔画像領域のサイズ及び配置情報と、人物モデルと、に基づいて、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値を取得し、美肌処理を実行する撮像装置１及び画像処理装置１００の機能及び動作を説明する。

本実施形態に係る撮像装置１及び画像処理装置１００は、実施形態１に係る撮像装置１及び画像処理装置１００とほぼ同様の機能構成を備える。ただし、本実施形態に係る画像処理装置１００が備える検出部１０２及び予測部１０３の機能は、実施形態１に係る画像処理装置１００の検出部１０２及び予測部１０３の機能とは一部異なる。

検出部１０２は、ターゲット画像ＴＧから顔画像領域を基準領域として検出し、検出した顔画像領域（基準領域）のサイズと、この顔画像領域の画素値と、と共に、この顔画像領域の配置情報を、検出した基準領域の特徴量として取得する。配置情報は、検出された顔画像領域が、ターゲット画像ＴＧ中に占める位置を表す情報である。本実施形態において、配置情報は、ターゲット画像ＴＧ中における顔画像領域の位置（例えば、ターゲット画像ＴＧの中心を原点とする直交座標における位置座標）と、顔画像領域の向き（例えば、顔画像領域に含まれる鼻から口へ向かうベクトルの向き）と、を含む情報である。

予測部１０３は、検出部１０２によって取得された、検出された顔画像領域（基準領域）のサイズと、ＳｋｉｎＢａｓｅ（ＳｋｉｎＢａｓｅＦｉｎｉｓｈを取得する上での基準値）と、被写体人物の全身画像全体のうち、ターゲット画像ＴＧに含まれる部分の割合の推定値と、に基づいて、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像の面積の予測値（ＳｋｉｎＢａｓｅＦｉｎｉｓｈ）を取得する。

以下、図９のフローチャートを参照し、本実施形態に係る撮像装置１及び画像処理装置１００の動作を、検出部１０２及び予測部１０３の動作を中心として詳細に説明する。

本実施形態に係る撮像装置１が備える画像処理装置１００は、図４のフローチャートに示す処理とほぼ同様の処理を実行し、図８に例示するターゲット画像ＴＧに美肌処理を施す。ただし、本実施形態に係る画像処理装置１００は、図４のフローチャートのステップＳ１０３、Ｓ１０４の処理の代わりに、図９のフローチャートのステップＳ２０１〜Ｓ２０５の処理を実行する。

検出部１０２は、図４のフローチャートのステップＳ１０２と同様の処理により、図８に例示するターゲット画像ＴＧから、顔画像領域を基準領域として検出する。

検出部１０２は、検出した顔画像領域（基準領域）のサイズと、この顔画像領域の画素値と、この顔画像領域の配置情報と、を特徴量として取得する（ステップＳ２０１）。具体的には、検出部１０２は、顔枠サイズを、検出した顔画像領域のサイズとして取得する。ここで、顔枠サイズ（ＦｒａｍｅＳｉｚｅ）は、図８に示すように、検出した顔画像領域に外接する矩形領域の面積（縦方向ピクセル数×横方向ピクセル数）である。また、検出部１０２は、検出した顔画像領域を構成する各画素の画素値（本実施形態では、色相、彩度、及び明度）を集計し、画素値の最頻値をこの顔画像領域の画素値として取得する。さらに、検出部１０２は、ターゲット画像ＴＧの中心を原点とする直交座標における、検出した顔画像領域の位置座標と、この顔画像領域に含まれる、鼻から口へ向かうベクトルの向きと、をこの顔画像領域の配置情報として取得する。

予測部１０３は、外部記憶部２３から取得したＳｋｉｎＢａｓｅと、ステップＳ２０１で取得した、検出された顔画像領域のサイズと、に基づいて、ＳｋｉｎＢａｓｅ’を取得する（ステップＳ２０２）。

本実施形態において、ＳｋｉｎＢａｓｅは、７頭身の人物モデル（モデルとなる被写体人物）全身画像において、この人物モデルの顔画像領域が占めるサイズと、この人物モデルの肌を表す画像領域のサイズと、を含むデータである。予測部１０３は、ＳｋｉｎＢａｓｅによって示される、人物モデルの肌を表す画像領域のサイズ（例えば、１２００００ピクセル×ピクセル）に、ステップＳ２０１で取得した、検出された顔画像領域のサイズ（例えば、２００００ピクセル×ピクセル）の、人物モデルにおいて示される、人物モデルの顔画像領域のサイズ（例えば、１００００ピクセル×ピクセル）に対する比率（例えば、２００００ピクセル×ピクセル／１００００ピクセル×ピクセル）を乗じることにより、ＳｋｉｎＢａｓｅ’＝２×１２００００ピクセル×ピクセル＝２４００００ピクセル×ピクセルを取得する。

実施形態１に係る画像処理装置１００は、図４のフローチャートにおけるステップＳ１０４の処理を説明した際に上述したとおり、ＳｋｉｎＢａｓｅと、検出された顔画像領域のサイズと、に基づいて、ＳｋｉｎＢａｓｅＦｉｎｉｓｈ（ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズ（面積又は割合）の予測値）を取得した。これに対し、本実施形態に係る画像処理装置１００は、ＳｋｉｎＢａｓｅと、顔画像領域のサイズと、に基づいて、ＳｋｉｎＢａｓｅＦｉｎｉｓｈではなく、ＳｋｉｎＢａｓｅ’を取得している。これは、実施形態１に係る画像処理装置１００が、図２に示す、被写体人物の全身画像すべてを含むターゲット画像ＴＧを対象として美肌処理を行っているのに対して、本実施形態に係る画像処理装置１００は、図８に示す、被写体人物の全身画像のうち一部分のみを含むターゲット画像ＴＧを対象として美肌処理を行っているからである。本実施形態に係る画像処理装置１００は、被写体人物の全身画像のうち、ターゲット画像ＴＧに含まれる部分の割合を参酌して、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値を取得する。そのために、本実施形態に係る画像処理装置１００は、まず、ステップＳ２０２の処理により、７頭身の人物モデルの全身画像すべてがターゲット画像ＴＧに含まれていた場合における、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値をＳｋｉｎＢａｓｅ’として取得する。そして、後述する図９のフローチャートのステップＳ２０３〜Ｓ２０５の処理を実行することにより、ＳｋｉｎＢａｓｅ’を、被写体人物の全身画像のうち、ターゲット画像ＴＧに含まれている部分の割合で調整することにより、ＳｋｉｎＢａｓｅＦｉｎｉｓｈ（ターゲット画像ＴＧに含まれる被写体人物の肌を表す画像領域のサイズの予測値）を取得するのである。

予測部１０３は、ステップＳ２０１で取得した顔画像領域のサイズに基づいて、頭サイズを取得する（ステップＳ２０３）。頭サイズ（ＨｅａｄＳｉｚｅ）は、図８に示すように、被写体人物の頭領域（頭画像領域）に外接する矩形領域の面積（例えば、縦方向ピクセル数×横方向ピクセル数）である。具体的には、予測部１０３は、ステップＳ２０１で顔画像領域のサイズとして取得した顔枠サイズ（ＦｒａｍｅＳｉｚｅ）を所定の関数に代入することにより、頭サイズを取得する。ここで、所定の関数は、顔枠サイズと頭サイズとの間の相関関係を実験等の任意の手法により予め求め、適宜設定しておけばよい。例えば、経験的に、顔枠サイズに１．４を乗じることで頭サイズが得られることが知られている。

予測部１０３は、ステップＳ２０１で取得した、検出された顔画像領域の配置情報と、ステップＳ２０３で取得した頭サイズと、に基づいて頭身（ＨｅａｄＡｎｄＢｏｄｙ）を取得する（ステップＳ２０４）。頭身（ＨｅａｄＡｎｄＢｏｄｙ）は、被写体人物の全身画像のうち、ターゲット画像ＴＧに含まれている部分のサイズの、頭サイズ（ＨｅａｄＳｉｚｅ）に対する比率である。頭身（ＨｅａｄＡｎｄＢｏｄｙ）と頭サイズ（ＨｅａｄＳｉｚｅ）との関係は、次の式（１）で表される。
ＨｅａｄＡｎｄＢｏｄｙ＝１＋（ＢｏｄｙＳｉｚｅ／ＨｅａｄＳｉｚｅ）＝（ＨｅａｄＳｉｚｅ＋ＢｏｄｙＳｉｚｅ）／ＨｅａｄＳｉｚｅ （１）
ここで、ＢｏｄｙＳｉｚｅ（体サイズ）は、図８に示すように、被写体人物の全身画像のうち、ターゲット画像ＴＧに含まれる部分であって、頭領域（頭画像領域）を除いた部分のサイズである。尚、図８において、顔枠サイズ（ＦｒａｍｅＳｉｚｅ）、頭サイズ（ＨｅａｄＳｉｚｅ）、及び体サイズ（ＢｏｄｙＳｉｚｅ）は、いずれも実際にはターゲット画像ＴＧ中に表示されないため、一点鎖線で示す。予測部１０３は、具体的には、ステップＳ２０２で取得した顔画像領域の配置情報（顔画像領域のターゲット画像ＴＧ中の位置及び向き）に基づき、被写体人物が、ＳｋｉｎＢａｓｅで採用されている人物モデルと同様に７頭身だと仮定して、被写体人物の全身画像のうち、ターゲット画像ＴＧに含まれる部分のサイズを推定する。推定したサイズ（すなわち、ＨｅａｄＳｉｚｅ＋ＢｏｄｙＳｉｚｅ）を頭サイズ（ＨｅａｄＳｉｚｅ）で除算することにより、式（１）に示すように、頭身（ＨｅａｄＡｎｄＢｏｄｙ）を得ることができる。

予測部１０３は、ステップＳ２０２において取得したＳｋｉｎＢａｓｅ’、すなわち、ＳｋｉｎＢａｓｅにおいて用いられている人物モデルと同様に７頭身である被写体人物の全身画像すべてがターゲット画像ＴＧに含まれていると仮定した場合の、ターゲット画像ＴＧが含む、この被写体人物の肌を表す画像領域のサイズの予測値と、ステップＳ２０４で取得した頭身（ＨｅａｄＡｎｄＢｏｄｙ）と、に基づいて、ＳｋｉｎＢａｓｅＦｉｎｉｓｈ（ターゲット画像ＴＧが含む、被写体人物の肌を表す画像領域のサイズの予測値）を取得する（ステップＳ２０５）。

具体的には、予測部１０３は、次の式（２）を用いてＳｋｉｎＢａｓｅＦｉｎｉｓｈを取得する。
ＳｋｉｎＢａｓｅＦｉｎｉｓｈ＝ＳｋｉｎＢａｓｅ’×（ＨｅａｄＡｎｄＢｏｄｙ／７） （２）
ここで、ＨｅａｄＡｎｄＢｏｄｙ／７は、ステップＳ２０４で取得した頭身（ＨｅａｄＡｎｄＢｏｄｙ）の、ステップＳ２０２で用いたＳｋｉｎＢａｓｅにおいて採用されている人物モデルの頭身（本実施形態では、７頭身）に対する比率である。例えば、ステップＳ２０４において、頭身として４が取得されたと仮定する。これは、被写体人物の全身画像のうち、４頭身分がターゲット画像ＴＧに含まれていることを意味する。この場合、予測部１０３は、式（２）に従い、ステップＳ２０２で取得したＳｋｉｎＢａｓｅ’に、ステップＳ２０４で取得した頭身の、ステップＳ２０２で用いたＳｋｉｎＢａｓｅで採用されている人物モデルの頭身（本実施形態では、７頭身）に対する比率である４／７を乗じることにより、ＳｋｉｎＢａｓｅＦｉｎｉｓｈを取得する。

画像処理装置１００は、ステップＳ２０５で予測値を取得した後、図４のフローチャートのステップＳ１０５〜Ｓ１１０と同様の処理を実行し、ターゲット画像ＴＧに美肌処理を施すことにより処理画像を生成する。

以上説明したように、本実施形態に係る撮像装置１及び画像処理装置１００は、被写体人物の全身画像のうち、ターゲット画像ＴＧに含まれている部分の割合を参酌して、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値を取得する。そして、補正対象領域である、ターゲット画像ＴＧに含まれる肌色領域のサイズ（肌色量）の実測値が、取得した予測値を所定の範囲を超えて上回った場合、実施形態１に係る撮像装置１及び画像処理装置１００と同様に、画像処理（美肌処理）の補正強度を低下させ、ターゲット画像ＴＧ全体の解像感が低下することを抑制しつつ、被写体の肌を表す画像領域に適切な画像処理を施した処理画像を生成することができる。

本実施形態において、撮像装置１は、被写体人物の全身画像のうち、ターゲット画像ＴＧに含まれている部分のサイズの、被写体人物の頭画像のサイズ（頭サイズ（ＨｅａｄＳｉｚｅ））に対する比率である頭身（ＨｅａｄＳｉｚｅ）を参酌し、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズの予測値を取得した。撮像装置１は、頭身に限らず、被写体人物の全身画像のうち、ターゲット画像ＴＧに含まれている部分の割合を示す任意の値を参酌して予測値を取得することができる。例えば、撮像装置１は、被写体人物の全身画像のうち、ターゲット画像ＴＧに含まれている部分のサイズ（面積又は割合）の、被写体人物の全身画像全体のサイズに対する比率を参酌し、予測値を取得してもよい。

本実施形態において、撮像装置１は、ターゲット画像ＴＧの中心を原点とする直交座標における、顔画像領域の位置座標と、顔画像領域に含まれる鼻から口へ向かうベクトルの向きと、を顔画像領域の配置情報として取得した。撮像装置１は、被写体人物の全身画像とターゲット画像ＴＧのフレームとの位置関係を示す情報であれば、この他の任意の情報を配置情報として取得することができる。例えば、撮像装置１は、ターゲット画像ＴＧの一隅を原点とする直交座標における顔画像領域の位置座標や、顔画像領域に含まれる口から鼻へ向かうベクトルの向き等を配置情報として取得してもよい。

本実施形態では、ＳｋｉｎＢａｓｅを作成する際に採用された人物モデル（モデルとなる被写体人物）は、７頭身であった。７頭身に限らず、任意の頭身の人物モデルを用いてＳｋｉｎＢａｓｅを予め作成し、画像処理装置１００の外部記憶部２３に記憶させておくことができる。

尚、撮像装置１は、互いに頭身が異なる複数の人物モデルを用いて作成された複数種類のＳｋｉｎＢａｓｅを予め記憶しておき、これら複数種類のＳｋｉｎＢａｓｅのうち何れか１つを用いてＳｋｉｎＢａｓｅＦｉｎｉｓｈを取得することもできる。この場合、ＳｋｉｎＢａｓｅの選択は、ユーザが操作部３２を操作することによって行ってもよいし、撮像装置１が、顔画像領域から検出部１０２が取得した任意の特徴量に基づいて行ってもよい。例えば、撮像装置１は、検出した顔画像領域の特徴量（例えば、シワの数）から被写体人物の年齢を推定し、この推定年齢に基づいてＳｋｉｎＢａｓｅを選択してもよい。被写体人物が子供である場合、大人よりも小さい頭身である可能性が高いので、より頭身の小さい人物モデルに基づいて作成されたＳｋｉｎＢａｓｅを用いてＳｋｉｎＢａｓｅＦｉｎｉｓｈを取得することが好ましい。推定年齢に基づいてＳｋｉｎＢａｓｅを選択することで、ターゲット画像ＴＧに含まれる、被写体人物の肌を表す画像領域のサイズを、より正確に予測することができる。尚、撮像装置１がターゲット画像ＴＧから複数の顔画像領域を検出した場合、各顔画像領域から推定される被写体人物の年齢を集計し、推定年齢の最頻値、最大値、最小値、平均値、中央値、ターゲット画像ＴＧの中心に近い顔画像領域ほど推定年齢の重みが大きくなる重み付き平均値、最大のサイズ（面積又は割合）を有する顔画像領域から得られた推定年齢等を用いてＳｋｉｎＢａｓｅを選択することとしてもよい。

上述の実施形態では、本発明に係る画像処理装置、撮像装置、及び画像処理方法を、撮像装置１及び画像処理装置１００を例として用い説明した。本発明に係る画像処理装置、撮像装置、及び画像処理方法は、コンピュータ、携帯電話機、デジタルカメラ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）等の任意の電子機器によって実現することができる。

具体的には、コンピュータ、携帯電話機、デジタルカメラ、ＰＤＡ等を本発明に係る撮像装置及び画像処理装置として動作させるためのプログラムを、これらの電子機器が読み取り可能な記録媒体（例えば、メモリカードやＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等）に格納して配布し、インストールすることにより本発明に係る撮像装置及び画像処理装置を実現することができる。

あるいは、上記プログラムを、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置（例えば、ディスク装置等）に格納しておき、コンピュータ、携帯電話機、デジタルカメラ、ＰＤＡ等がこのプログラムをダウンロードすることによって本発明に係る撮像装置及び画像処理装置を実現してもよい。

また、本発明に係る撮像装置及び画像処理装置の機能を、オペレーティングシステム（ＯＳ）とアプリケーションプログラムとの協働又は分担により実現する場合には、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

また、アプリケーションプログラムを搬送波に重畳し、通信ネットワークを介して配信してもよい。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Ｂｕｌｌｅｔｉｎ Ｂｏａｒｄ Ｓｙｓｔｅｍ）にアプリケーションプログラムを掲示し、ネットワークを介してアプリケーションプログラムを配信してもよい。そして、このアプリケーションプログラムをコンピュータにインストールして起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、本発明に係る撮像装置及び画像処理装置を実現してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。

（付記１）
ターゲット画像を取得する取得部と、
前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出部と、
前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測部と、
前記ターゲット画像に含まれる、前記被写体の肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測部と、
前記実測値と前記予測値とを比較して、補正強度を決定する決定部と、
前記ターゲット画像のうち前記補正対象領域に前記補正強度で画像処理が施された処理画像を生成する処理部と、
を備える、
ことを特徴とする画像処理装置。

（付記２）
前記検出部は、前記ターゲット画像から検出した前記基準領域の数に基づいて、前記ターゲット画像が含む被写体の人数を取得し、
前記予測部は、前記人数を参酌して前記予測値を取得する、
ことを特徴とする付記１に記載の画像処理装置。

（付記３）
前記基準領域は、被写体の顔画像領域である、
ことを特徴とする付記１又は２に記載の画像処理装置。

（付記４）
モデルとなる被写体の特定部位を表す画像領域のサイズと、該モデルとなる被写体の肌を表す画像領域のサイズと、に基づいて予め作成された、前記予測値を取得するためのモデルデータを記憶する記憶部をさらに備え、
前記予測部は、前記記憶部に記憶された前記モデルデータを参酌して前記予測値を取得する、
ことを特徴とする付記１乃至３の何れか１つに記載の画像処理装置。

（付記５）
前記予測部は、前記被写体の全身画像のうち前記ターゲット画像に含まれる部分の割合を推定し、該推定した割合を参酌して前記予測値を取得する、
ことを特徴とする付記１乃至４の何れか１つに記載の画像処理装置。

（付記６）
前記予測部は、前記基準領域の前記ターゲット画像における配置情報を参酌して前記割合を推定する、
ことを特徴とする付記５に記載の画像処理装置。

（付記７）
前記予測部は、前記基準領域に基づいて推定した被写体人物の年齢を参酌して前記割合を推定する、
ことを特徴とする付記５又は６に記載の画像処理装置。

（付記８）
前記決定部は、前記実測値が前記予測値を所定の閾値を超えて上回っている場合、前記実測値が前記予測値を当該所定の閾値を超えて上回っていない場合に決定する強度に比べて小さい強度を前記補正強度として決定する、
ことを特徴とする付記１乃至７の何れか１つに記載の画像処理装置。

（付記９）
被写体を撮像することによりターゲット画像を生成する撮像部と、
前記撮像部により生成されたターゲット画像を取得する付記１から８の何れか１つに記載の画像処理装置と、
を備えることを特徴とする撮像装置。

（付記１０）
ターゲット画像を取得する取得工程と、
前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出工程と、
前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測工程と、
前記ターゲット画像に含まれる、前記被写体の肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測工程と、
前記実測値と前記予測値とを比較して、補正強度を決定する決定工程と、
前記ターゲット画像のうち前記補正対象領域に前記補正強度で画像処理が施された処理画像を生成する処理工程と、
を備える、
ことを特徴とする画像処理方法。

（付記１１）
コンピュータを、
ターゲット画像を取得する取得部、
前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出部、
前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測部、
前記ターゲット画像に含まれる、前記被写体の肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測部、
前記実測値と前記予測値とを比較して、補正強度を決定する決定部、
前記ターゲット画像のうち前記補正対象領域に前記補正強度で画像処理が施された処理画像を生成する処理部、
として機能させることを特徴とするプログラム。

１…撮像装置、１０…撮像部、１１…光学レンズ、１２…イメージセンサ、２０…データ処理部、２１…主記憶部、２２…出力部、２３…外部記憶部、２４…ＣＰＵ、３０…ユーザインタフェース部、３１…表示部、３２…操作部、３３…外部インタフェース、１００…画像処理装置、１０１…取得部、１０２…検出部、１０３…予測部、１０４…実測部、１０５…決定部、１０６…処理部、ＴＧ…ターゲット画像、ＴＢ１〜ＴＢ３…補正強度テーブル

Claims (14)

1. ターゲット画像を取得する取得部と、
   前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出部と、
   前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測部と、
   前記ターゲット画像に含まれる、前記被写体の前記肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測部と、
   前記実測値と前記予測値とを比較して、補正強度を決定する決定部と、
   を備える、
   ことを特徴とする画像処理装置。
2. 前記検出部は、前記ターゲット画像から検出した前記基準領域の数に基づいて、前記ターゲット画像が含む前記被写体の人数を取得し、
   前記予測部は、前記人数を参酌して前記予測値を取得する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記基準領域は、前記被写体の顔画像領域である、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. モデルとなる前記被写体の前記特定部位を表す画像領域のサイズと、前記モデルとなる前記被写体の前記肌を表す画像領域のサイズと、に基づいて予め作成された、前記予測値を取得するためのモデルデータを記憶する記憶部をさらに備え、
   前記予測部は、前記記憶部に記憶された前記モデルデータを参酌して前記予測値を取得する、
   ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記予測部は、前記被写体の全身画像のうちの前記ターゲット画像に含まれる部分の割合を推定し、推定した前記割合を参酌して前記予測値を取得する、
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記予測部は、前記基準領域の前記ターゲット画像における配置情報を参酌して前記割合を推定する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記予測部は、前記基準領域に基づいて推定した前記被写体の年齢を参酌して前記割合を推定する、
   ことを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記決定部は、前記実測値が前記予測値を所定の閾値を超えて上回っている場合、前記実測値が前記予測値を前記所定の閾値を超えて上回っていない場合に決定する強度に比べて小さい強度を前記補正強度として決定する、
   ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記ターゲット画像のうちの前記補正対象領域に前記補正強度で画像処理が施された処理画像を生成する処理部を更に備える、
   ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 被写体を撮像することによりターゲット画像を生成する撮像部と、
    前記撮像部により生成された前記ターゲット画像を取得する請求項１から９の何れか１項に記載の画像処理装置と、
    を備える、
    ことを特徴とする撮像装置。
11. ターゲット画像を取得する取得工程と、
    前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出工程と、
    前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測工程と、
    前記ターゲット画像に含まれる、前記被写体の前記肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測工程と、
    前記実測値と前記予測値とを比較して、補正強度を決定する決定工程と、
    を含む、
    ことを特徴とする画像処理方法。
12. 前記ターゲット画像のうちの前記補正対象領域に前記補正強度で画像処理が施された処理画像を生成する処理工程を更に含む、
    ことを特徴とする請求項１１に記載の画像処理方法。
13. コンピュータを、
    ターゲット画像を取得する取得部、
    前記ターゲット画像から、被写体の特定部位を表す画像領域である基準領域を検出する検出部、
    前記基準領域のサイズに基づいて、前記ターゲット画像が含む前記被写体の肌を表す画像領域のサイズの予測値を取得する予測部、
    前記ターゲット画像に含まれる、前記被写体の前記肌を表す画像領域と同一又は類似した画素値を有する画像領域である補正対象領域のサイズの実測値を取得する実測部、
    前記実測値と前記予測値とを比較して、補正強度を決定する決定部、
    として機能させる、
    ことを特徴とするプログラム。
14. 前記コンピュータを、
    前記ターゲット画像のうちの前記補正対象領域に前記補正強度で画像処理が施された処理画像を生成する処理部、
    として更に機能させる、
    ことを特徴とする請求項１３に記載のプログラム。

Images