JP6131732B2 - 人物属性提示装置及び人物属性提示方法 - Google Patents

Description

本発明は、画像中の人物の年齢や性別等の人物属性を推定し、推定結果を提示する人物属性提示装置及び人物属性提示方法に関する。

人物を含む画像から、画像中の人物の年齢や性別等の人物属性を推定する技術がある。例えば、画像が顔を含む顔画像である場合、顔画像中の人物の属性である年齢を推定することで、スキンケアや美容整形等の効果を提示することができる。

例えば、特許文献１には、顔の特定の部位の皺と年齢との相関関係を求め、スキンケアを行う前の顔画像と、スキンケアを行った顔画像との差から年齢差を推定し、スキンケアの効果を算出する技術が開示されている。

また、例えば特許文献２には、顔の４種類の皺の程度を５段階に分け、それぞれ基準となる写真と入力画像とを比較することでスコアを算出し、部位ごとのスコアと年齢の回帰式により年齢を推定する技術が開示されている。

特許第４４８９７６４号公報 特許第４５７５６１９号公報

R.Linhart and J. Maydt, "An Extended Set of Haar-likeFeatures for Rapid Object Detection", Proceedings ofthe 2002 IEEEE International Conference on Image Processing, Vol.1, pp.900-903,2002. 三田雄志，"AdaBoostの基本原理と顔検出の応用"，情報処理学会研究報告.CVIM,2007(42), pp.265-272, 2007.

しかし、特許文献１、２に開示された技術では、顔の部位を用いて人物の属性を推定しているが、顔全体の属性推定結果を表示させるにとどまっており、部位毎といった顔の一部の領域の属性推定結果を得ることはできないという問題があった。

また、顔全体の属性推定結果の表示にあたり、顔の各領域がどの程度、顔全体の属性推定結果に影響しているのかを表示できないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像中の人物の人物属性を分割された領域毎に属性を推定し、推定した結果を表示させることが可能な、新規かつ改良された人物属性提示装置および人物属性提示方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、人物が含まれる画像を複数の領域に分割する領域分割部と、分割された複数の領域毎に人物属性を推定する属性推定部と、分割された複数の領域毎の人物属性の推定結果に関する情報を出力部に表示させる属性出力制御部と、ユーザから入力された前記画像に対する修正情報に基づいて、前記画像の分割された前記領域のうち少なくとも一つ以上の該領域に対して画像処理を行い、修正後画像を作成する画像修正部と、を備え、前記属性推定部は、前記修正後画像の前記領域の人物属性を推定する、人物属性提示装置が提供される。

領域分割部は、画像の一部または全体を複数の領域に分割してもよい。

前記属性出力制御部は、分割された前記領域毎の人物属性の推定結果に関する情報を、前記画像または前記画像を模式化
した模式画像のうち少なくともいずれか一方に重畳させて前記出力部に表示させてもよい。

属性表示制御部は、分割された領域毎の人物属性の推定結果に関する情報を、推定結果毎に設定された表示形態で領域を表示するよう制御してもよい。

属性推定部は、分割された領域毎に、各領域が含まれるＨａａｒ−ｌｉｋｅ特徴の特徴量に基づいて、人物属性の推定を行ってもよい。

前記属性推定部は、予め人物が含まれる複数の画像と当該画像の人物属性とに基づいてＨａａｒ−ｌｉｋｅ特徴毎に算出される重み付けを用いて人物属性の推定を行ってもよい。

属性推定部は、画像全体における人物属性を推定してもよい。

属性推定部は、Ｈａａｒ−ｉｌｋｅ特徴の特徴量に基づいて、画像全体における人物属性を推定してもよい。

前記属性出力制御部は、前記画像全体における人物属性の推定結果に関する情報を前記出力部に表示させてもよい。

修正前の前記画像について、分割された前記領域毎の人物属性の推定結果に関する情報と、修正後画像について、分割された領域毎の人物属性の推定結果に関する情報との少なくともいずれか一方を記憶する記憶部をさらに備えてもよい。

１つの前記画像に対応する前記修正後画像が複数ある場合に画像処理が行われた前記画像の人物属性の複数の推定結果と、修正前の前記画像の人物属性の推定結果との評価の差が最も大きい前記修正後画像に関する情報を選択する画像修正効果比較部をさらに備えてもよい。

前記属性出力制御部は、前記画像の人物属性の推定結果に関する情報と、前記修正後画像の人物属性の推定結果に関する情報との比較結果を前記出力部に出力させてもよい。

画像は、人物の顔が含まれる顔画像であってもよい。

前記属性表示制御部の出力結果に基づいて、前記属性推定部による推定結果に関する情報を表示する前記出力部をさらに備えてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、人物が含まれる画像を複数の領域に分割するステップと、分割された複数の領域毎に人物属性を推定するステップと、分割された複数の領域毎の人物属性の推定結果に関する情報を表示させるステップと、ユーザから入力された前記画像に対する修正情報に基づいて、前記画像の分割された前記領域のうち少なくとも一つ以上の該領域に対して画像処理を行い、修正後画像を作成するステップと、を含み、前記推定するステップは、前記修正後画像の前記領域の人物属性を推定することを含む、人物属性提示方法が提供される。

以上説明したように本発明によれば、画像中の人物の人物属性を分割された領域毎に推定し、推定した結果を表示させることが可能になる。

本発明の第１の実施形態に係る人物属性提示装置を示すブロック図である。 同実施形態に係る人物属性提示処理を示すフローチャートである。 同実施形態に係る人物属性提示装置による人物属性の推定結果の一提示例を示す説明図である。 同実施形態に係るＨａａｒ−ｌｉｋｅ特徴例を示す説明図である。 同実施形態に係るＨａａｒ−ｌｉｋｅ特徴を用いた一領域の人物属性の推定例を示す説明図である。 本発明の第２の実施形態に係る人物属性提示装置を示すブロック図である。 同実施形態に係る人物属性提示処理を示すフローチャートである。 同実施形態に係る画像修正処理を示すフローチャートである。 同実施形態に係る人物属性提示装置による人物属性の推定結果の一提示例を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．第１の実施形態＞
［１−１．装置構成］
まず、図１を参照して、本発明の第１の実施形態に係る人物属性提示装置の概略構成について説明する。図１は、本発明の第１の実施形態に係る人物属性提示装置１００を示すブロック図である。人物属性提示装置１００は、例えば人物が含まれる画像から、画像中の人物の年齢や性別等の人物属性を推定する装置である。人物属性提示装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備える情報処理装置である。

図１を参照すると、人物属性提示装置１００は、例えば画像入力部１１０と、制御部１２０と、出力部１６０とを備える。

画像入力部１１０は、例えば人物が含まれる画像を、人物属性提示装置１００に接続された外部装置から取得する。外部装置は、例えば人物属性提示装置１００に直接またはネットワークを介して接続されたカメラ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｉｒｉａｌ Ｂｕｓ）メモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の記憶媒体、光ディスク等に記録媒体に記憶された情報を読み取るデバイス等である。

制御部１２０は、例えば画像入力部１１０により取得された画像を複数の領域に分割し、領域毎に人物属性の推定を行い、推定結果を出力部１６０に表示させる。制御部１２０は、例えば領域分割部１３０と、属性推定部１４０と、属性出力制御部１５０とを備える。

領域分割部１３０は、画像入力部１１０により取得された画像を、複数の領域に分割する。領域分割部１３０は、複数の領域に分割された画像を属性推定部１４０に出力する。

属性推定部１４０は、領域分割部１３０で複数の領域に分割された画像について、各領域の年齢や性別等の人物属性を推定する。属性推定部１４０は、各領域の人物属性の推定結果を属性出力制御部１５０に出力する。

属性出力制御部１５０は、属性推定部１４０で推定された推定結果から、推定結果に関する画像等の推定結果に関する情報を作成し、推定結果に関する情報を出力部１６０に表示させる。

出力部１６０は、例えば画像等を出力するモニター等の表示装置である。出力部１６０は、属性出力制御部１５０から出力された人物属性の推定結果に関する情報を表示する。

［１−２．処理フロー］
次に、図２を参照して、本施形態に係る人物属性提示装置１００の人物属性提示処理の概要について説明する。図２は、同実施形態に係る人物属性提示処理を示すフローチャートである。

まず、画像入力部１１０は、人物属性提示装置１００に接続された外部装置から入力される人物が含まれる画像を取得する（Ｓ１００：入力処理）。

次いで、領域分割部１３０は、画像入力部１１０により取得された画像を、複数の領域に分割する（Ｓ１１０：領域分割処理）。このとき、領域分割部１３０が分割する画像の領域は、画像全体でもよく、画像中の人物の特定の部位を含む領域でもよい。分割された領域は、例えば１画素単位や、一定のサイズ及び形状のグリッド、任意のサイズ及び形状でもよい。

さらに、属性推定部１４０は、領域分割部１３０で複数の領域に分割された画像について、各領域の年齢や性別等の人物属性を推定する（Ｓ１２０：属性推定処理）。

その後、属性出力制御部１５０は、属性推定部１４０で推定された推定結果から、推定結果に関する画像等の推定結果に関する情報を作成し、推定結果に関する情報を出力部１６０に表示させる（Ｓ１３０：属性出力制御処理）。

以上、本実施形態に係る人物属性提示処理の概要について説明した。本実施形態に係る人物提示処理では、複数の領域に分割された画像の各領域について、人物属性の推定を行い、表示させる。これにより、ユーザは、例えば画像中の人物の人物属性を領域毎に認識できる。

［１−３．処理例］
次に、図３から５を参照して、本実施形態に係る人物属性提示装置１００により、人物属性として年齢を推定する一処理例について説明する。また、本処理例では、人物を含む画像として、人物の顔が含まれる顔画像を用いた処理を実行する。

（１−３−１．入力処理（Ｓ１００））
まず、図２のステップＳ１００における入力処理について詳細な説明をする。入力処理は、例えば人物が含まれる画像を、人物属性提示装置１００に接続された外部装置から取得する処理である。本処理例では画像入力部１１０は、画像として人物の顔が含まれる顔画像を取得する。顔画像は、例えば人物の顔が正面から撮像された画像であり、画像中には例えば人物の目、鼻、口及び顔の輪郭が含まれる。

また、入力処理では、画像入力部１１０は、取得する顔画像に関する情報を人物属性提示装置１００に接続された図示しない入力装置または外部装置から取得してもよい。入力装置は、例えばマウスやキーボードなどのユーザからの入力を検知する装置である。顔画像に関する情報は、例えば顔画像中の人物の実年齢や実際の性別等の情報である。本処理例では、人物属性として年齢を推定するため、画像入力部１１０は、顔画像中の人物の実年齢を取得する。

（１−３−２．領域分割処理（Ｓ１１０））
次に、図２のステップＳ１１０における領域分割処理について詳細な説明をする。領域分割処理は、例えば画像入力部１１０により取得された画像を、複数の領域に分割する処理である。本処理例では、領域分割部１３０は、顔画像をグリッド状の領域に分割する。

図３は、同実施形態における人物属性提示装置１００による人物属性の推定結果の一提示例を示す説明図である。図３に、グリッド状の領域２２に分割された顔画像２０を示す。図３に図示した例では、顔画像２０は、縦１７マス、横１４マスのグリッド状の領域２２に分割される。なお、領域のサイズや分割数は、予め設定されていてもよく、ユーザの指示に応じて決定されてもよい。

（１−３−３．属性推定処理（Ｓ１２０））
次に、図２のステップＳ１２０における属性推定処理について詳細な説明をする。属性推定処理は、領域分割部１３０で複数の領域２２に分割された画像について、各領域２２の年齢や性別等の人物属性を弱識別器に基づいて推定し、推定結果に関する画像を作成する処理である。本処理例では、属性推定部１４０は、各領域２２の人物属性として年齢を推定する。本処理例に係る属性推定処理は、例えばＨａａｒ−ｌｉｋｅ特徴と、ＡｄａＢｏｏｓｔとを用いることができる。

Ｈａａｒ−ｌｉｋｅ特徴は、検出対象の物体に対する様々な形状の明暗パターンであり、特徴量は明暗パターンの輝度差を基に算出される値であり、原理は非特許文献１に記載されている。図４は、同実施形態に係るＨａａｒ−ｌｉｋｅ特徴の例を示す説明図である。Ｈａａｒ−ｌｉｋｅ特徴は、画像中の複数のパターンについて算出される。本処理例では、これらのＨａａｒ−ｌｉｋｅ特徴のうち、人物属性の判定に大きな影響を与えるパターンが選択される。属性推定部１４０は、選択されたパターンのＨａａｒ−ｌｉｋｅ特徴を用いて各領域の人物属性を推定する。例えば図４では、６つのパターンｘ_１〜ｘ_６が特徴として選択される。例えばＨａａｒ−ｌｉｋｅ特徴は、明暗パターンである第１局所領域４０と第２局所領域５０とからなる領域である。本処理例では、例えば第１局所領域４０と第２局所領域５０との明暗差からＨａａｒ−ｌｉｋｅ特徴の特徴量を算出する。

ＡｄａＢｏｏｓｔは、教師付学習アルゴリズムの一つであり、学習サンプルに対する重みという概念を取り入れることによって、弱識別器の信頼度を求めることができ、原理は非特許文献２に記載されている。本処理例では、予め複数の顔画像と各顔画像の人物の実年齢とを用いて、年齢の推定に有効なＨａａｒ−ｌｉｋｅ特徴をＡｄａＢｏｏｓｔにより求めておく。例えば、年齢の推定に有効なＨａａｒ−ｌｉｋｅ特徴として図４に示すパターンｘ_１〜ｘ_６が求められた場合、各パターンに対して年齢の推定に用いる弱識別器ｈ_１（ｘ_１）〜ｈ_６（ｘ_６）と重みα_１〜α_６とが算出される。

図５を参照して、Ｈａａｒ−ｌｉｋｅ特徴を用いた推定領域２４の人物属性の推定例を説明する。図５は、本実施形態に係るＨａａｒ−ｌｉｋｅ特徴を用いた推定領域２４の人物属性の推定例を示す説明図である。推定領域２４は、属性推定部１４０により人物属性を推定する領域であり、１又は複数の領域２２からなる。図５に示した例では、推定領域２４は、右目の右上側の分割された一つの領域２２である。本推定例では、この推定領域２４について、人物属性である年齢を推定する。属性推定部１４０は、推定領域２４を含むＨａａｒ−ｌｉｋｅ特徴を、上記ＡｄａＢｏｏｓｔを用いて算出された弱識別器ｈ_ｉ（ｘ_ｉ）に重みα_ｉをそれぞれ乗じた値から強識別器を求め、強識別器を用いて人物属性を推定する。図５に図示した例では、推定領域２４は、図４に示すＨａａｒ−ｌｉｋｅ特徴のうちパターンｘ_１〜ｘ_３に含まれている。したがって、属性推定部１４０は、これら３パターンのＨａａｒ−ｌｉｋｅ特徴を用いて推定領域２４の人物属性を推定する。属性推定部１４０は、パターンｘ_１〜ｘ_３のＨａａｒ−ｌｉｋｅ特徴に対して、弱識別器ｈ_１（ｘ_１）〜ｈ_３（ｘ_３）と重みα_１〜α_３とをそれぞれ乗じて強識別器を求め、強識別器の識別結果から、推定領域２４の人物属性を推定する。図５の例では、推定領域２４の年齢は３０代と推定されている。

また、図２のステップＳ１２０において、属性推定部１４０は、人物が含まれる画像全体での人物属性を推定してもよい。この場合、属性推定部１４０は、各領域の人物属性推定処理と同様、Ｈａａｒ−ｌｉｋｅ特徴を特徴量とし、ＡｄａＢｏｏｓｔを識別器として用いることで人物属性を推定してもよい。本処理例では、予め複数の顔画像と顔画像の人物の実年齢とを用いて、年齢の推定に有効なＨａａｒ−ｌｉｋｅ特徴をＡｄａＢｏｏｓｔにより求めておく。例えば、年齢の推定に有効なＨａａｒ−ｌｉｋｅ特徴として図４に示すパターンｘ_１〜ｘ_６が求められた場合、年齢の推定に用いる弱識別器ｈ_１（ｘ_１）〜ｈ_６（ｘ_６）と重みα_１〜α_６とが算出される。属性推定部１４０は、これらのＡｄａＢｏｏｓｔを用いて算出された弱識別器ｈ_１（ｘ_１）〜ｈ_６（ｘ_６）に重みα_１〜α_６をそれぞれ乗じた値から求められる強識別器により識別を行うことで年齢を推定する。

（１−３−４．属性出力制御処理（Ｓ１３０））
次に、図２のステップＳ１３０における属性出力制御処理について詳細な説明をする。属性出力制御処理は、属性推定部１４０で推定された推定結果から、推定結果に関する画像等の推定結果に関する情報を作成し、推定結果に関する情報を出力部１６０に表示させる処理である。

本処理例では、属性出力制御部１５０は、推定結果に関する情報の１つである推定結果を表す推定属性マップを作成する。図３に、人物属性の推定結果の一提示例である、属性推定マップ３０を示す。属性推定マップ３０は、例えばグリッド状に分割された顔画像２０の各領域２２の表示形態を、各領域２２の推定結果に応じて変化させた画像である。図３に図示した例では、属性出力制御部１５０は、各領域２２の内、顔の一部が含まれる領域２２に対して、推定した人物属性を推定結果に応じて異なるハッチングで領域２２を表した属性推定マップ３０を作成している。このとき、属性出力制御部１５０は、例えば推定された年齢を１０代、２０代、３０代、４０代、５０代以上の５つに区分して表示させてもよい。また、属性出力制御部１５０は、推定結果に応じて設定された色で領域２２の人物属性の推定結果を表した属性推定マップ３０を作成してもよい。このとき、属性出力制御部１５０は、例えば年齢が上がるにしたがって、色を濃くするように区分の色を設定してもよい。

次に、本処理例では、属性出力制御部１５０は、領域毎の人物属性の推定結果に関する情報として、作成した属性推定マップを出力部に表示させる。人物属性の推定結果の一提示例である図３を参照すると、表示画面１０内には、属性推定マップ３０と、凡例３２とが示される。凡例３２は、属性推定マップ３０における各領域２２の表示形態が、どの属性に対応するかを示す。図３に図示した例では、人物属性である年齢を５つに区分しておいる。本処理例では、各区分の表示形態を変えることで視覚的に各領域２２の推定結果を分かり易くする。これにより、推定年齢の分布が可視化され、ユーザは、顔のどの領域が他の領域と比較して差があるのかを容易に確認することができる。

また、属性出力制御部１５０は、属性推定部１４０が推定した画像全体の人物属性の推定結果に関する情報を出力部１６０に表示させてもよい。例えば、図示しないが、属性出力制御部１５０は、図３の出力部１６０である表示画面１０内に顔画像全体の人物属性の推定結果として年齢を表示することができる。これにより、ユーザは顔画像全体で推定された年齢と、顔の各領域の推定年齢との差を容易に把握することができる。

以上、本実施形態に係る人物属性提示装置１００について説明した。本実施形態に係る人物属性提示装置１００は、人物が含まれる画像を複数の領域２２に分割し、各領域２２について人物属性の推定を行い、推定結果に関する情報を作成し、出力部に表示させる。これにより、ユーザは、例えば画像中の人物のどの領域が他の領域と属性の評価の差があるかを容易に確認することができる。

＜２．第２の実施形態＞
［２−１．装置構成］
次に、本発明の第２の実施形態に係る人物属性提示装置１００について説明する。まず、図６を参照して、本発明の第２の実施形態に係る人物属性提示装置１００の概略構成について説明する。図６は、本発明の第２の実施形態に係る人物属性提示装置１００を示すブロック図である。なお、図６の説明において、図１と同じ構成については、詳細な説明を省略する。

図６を参照すると、本実施形態に係る人物属性提示装置１００は、画像入力部１１０と、制御部１２０と、修正情報入力部１３２と、記憶部１４２と、出力部１６０とを備える。

制御部１２０は、領域分割部１３０と、画像修正部１３４と、属性推定部１４０と、画像修正効果比較部１４４と、属性出力制御部１５０とを有する。

画像入力部１１０は、例えば人物が含まれる画像を、人物属性提示装置１００に接続された外部装置から取得する。

領域分割部１３０は、例えば画像入力部１１０により取得された画像を、複数の領域に分割する。領域分割部１３０は、複数の領域に分割された画像を属性推定部１４０に出力する。

修正情報入力部１３２は、例えばユーザからの入力操作に基づいて、画像入力部１１０で取得された画像に対する修正情報を取得する。修正情報は、例えば画像において修正される領域を示す修正領域や、修正内容等の情報が含まれる。ユーザからの入力操作は、例えばマウス、キーボード、タッチパネル等の入力装置を介して行われる。修正情報入力部１３２は、入力装置から取得した修正情報を、画像修正部１３４に出力する。

画像修正部１３４は、例えば修正情報入力部１３２で取得された修正情報に基づいて、画像を修正し、修正された修正後画像を作成する。画像修正部１３４は、修正後画像を属性推定部１４０に出力する。なお、以下では修正がされる前の画像のことを、修正前画像という。

属性推定部１４０は、修正前画像及び修正後画像について、各領域の年齢や性別等の人物属性を推定する。属性推定部１４０は、各領域２２の人物属性の推定結果を記憶部１３６、画像修正効果比較部１４４又は属性出力制御部１５０のうち少なくともいずれか一方に出力する。

記憶部１４２は、例えば修正前画像または修正後画像のうち少なくともいずれか一方の推定結果に関する情報を記憶する。記憶部１４２は、これらの推定結果に関する情報を画像修正効果比較部１４４に出力する。

画像修正効果比較部１４４は、後述する修正前画像及び修正後画像の人物属性の推定結果に関する情報に基づいて、画像修正の効果を比較する。推定結果に関する情報は、属性推定部１４０、記憶部１４２又は属性出力制御部１５０のうち少なくともいずれかから出力される。画像修正効果比較部１４４は、例えば一つの修正前画像に対して、対応する修正後画像が複数ある場合に、複数の修正後画像の中から修正前画像と比べて人物属性の推定結果の評価の差が大きい修正後画像の推定結果に関する情報を選択する。画像修正効果比較部１４４は、選択した修正後画像及び修正前画像の推定結果に関する情報を属性出力制御部１５０に出力する。

属性出力制御部１５０は、属性推定部１４０で推定された推定結果から、推定結果に関する画像等の推定結果に関する情報を作成し、推定結果に関する情報を画像修正効果比較部１４４に出力する。また、属性出力制御部１５０は、作成した推定結果に関する情報、又は画像修正効果比較部１４４から出力された修正後画像及び修正前画像の推定結果に関する情報のうち少なくともいずれかを出力部１６０に出力させる。

出力部１６０は、属性出力制御部１５０から出力された各領域２２の人物属性の推定結果に関する情報を出力する。このとき、出力部１６０は、例えば推定結果に関する情報を表示させるモニター等の表示装置であってもよく、音声等を出力するスピーカー等の音声出力装置であってもよい。

［２−２．処理フロー］
次に、図７、８を参照して、本実施形態に係る人物属性提示装置１００の人物属性提示処理について説明する。図７は、本実施形態に係る人物属性提示処理を示すフローチャートである。なお、図７の説明において、図２と同じ処理については、詳細な説明を省略する。

まず、画像入力部１１０は、人物属性提示装置１００に接続された外部装置から入力される人物が含まれる画像を取得する（Ｓ２００：入力処理）。図７のステップＳ２００は、図２のステップＳ１００の処理と同様に行うことができる。

次いで、領域分割部１３０は、画像入力部１１０により取得された画像を、複数の領域２２に分割する（Ｓ２１０：領域分割処理）。図７のステップＳ２１０は、図２のステップＳ１１０の処理と同様に行うことができる。

さらに、属性推定部１４０は、領域分割部１３０で複数の領域２２に分割された画像である修正前画像について、各領域２２の年齢や性別等の人物属性を推定する（Ｓ２２０：属性推定処理）。図７のステップＳ２２０は、図２のステップＳ１２０の処理と同様に行うことができる。

その後、修正情報入力部１７０は、ユーザからの入力操作に基づいて、修正前画像に対する修正情報を取得する（Ｓ２３０：修正情報入力処理）。修正情報は、例えば修正前画像の修正領域、修正する処理の内容等の情報が含まれる。修正領域は、ユーザにより任意に選択される一つ以上の領域２２や、人物の特定の部位等を含む領域２２である。修正する処理の内容は、選択された領域に対して行われる、回転、変形、皺やシミを消す、輝度値の変換等の画像処理の処理内容である。選択される人物の特定の部位は、例えば修正前画像が、顔画像である場合、目、鼻、口、頬等の顔の部分が選択されてもよい。また、修正前画像が全身である場合、腕、足、腰等の部分が選択されてもよい。例えば、画像修正処理で目尻を上げたい場合、修正領域として目尻を含む領域が選択され、修正情報にはアフィン変換により領域を回転させる処理内容が含まれる。

次いで、画像修正部１３４は、修正情報入力部１３２で取得された修正情報に基づいて、領域分割部１３０で複数の領域２２に分割された修正前画像を修正し、修正された修正後画像を作成する（Ｓ２４０：画像修正処理）。このとき、画像修正部１３４は、修正情報に応じて、複数の修正後画像を作成してもよい。例えば、画像修正部１３４は、修正領域が複数ある場合や修正する処理の内容が複数のパターンである場合には、修正処理に応じて複数の修正後画像を作成する。

ここで、図８を参照して、ステップＳ２４０における画像修正処理について、詳細に説明をする。図８は、本実施形態に係る画像修正処理を示すフローチャートである。

まず、図７のステップＳ２４０における画像修正処理が開始されると、画像修正部１３４は、ユーザに選択された修正前画像の修正領域を選択する（Ｓ２４２）。修正領域は、修正前画像の分割された領域単位で選択されてもよく、また人物の特定の部位を含む範囲として複数の領域２２が選択されてもよい。

次いで、画像修正部１３４は、ステップＳ２４２で選択された領域に対して、ユーザに選択された処理内容の画像処理をする（Ｓ２４４）。処理内容は、選択された修正領域に対して行われる、回転、変形、皺やシミを消す等の画像処理である。

さらに、画像修正部１３４は、選択された修正領域に画像処理を行った修正後画像を属性推定部１４０に出力する（Ｓ２４６）。

図７の説明に戻り、ステップＳ２４０にて修正後画像が属性推定部１４０に出力されると、属性推定部１４０は、修正後画像の各領域２２の年齢や性別等の人物属性を推定する（Ｓ２５０：属性推定処理）。図７のステップＳ２５０は、図２のステップＳ１２０の処理と同様に行うことができる。

その後、属性出力制御部１５０は、属性推定部１４０で修正前画像及び修正後画像の人物属性の推定結果から、推定結果に関する画像等の推定結果に関する情報を作成する（Ｓ２６０：第１の属性推定処理）。図７のステップＳ２６０は、図２のステップＳ１３０における推定結果に関する情報を作成する処理と同様に行うことができる。

次いで、画像修正効果比較部１４４は、修正前画像修正前画像及び修正後画像の推定結果に関する情報に基づいて、画像修正の効果を比較する（Ｓ２７０：画像修正効果比較処理）。画像修正効果比較部１４４は、例えば一つの修正前画像に対して、対応する修正後画像が複数ある場合に、複数の修正後画像の中から修正前画像と比べて人物属性の推定結果の評価の差が大きい修正後画像を選択する。例えば、人物属性として年齢を推定する場合、画像修正効果比較部１４４は、修正前画像の推定結果と比較して、最も若い年齢が推定された修正後画像の推定結果に関する情報を選択する。

さらに、属性出力制御部１５０は、画像修正効果比較部１４４で選択された修正後画像及び修正前画像の推定結果に関する情報を出力部に出力させる（Ｓ２８０：第２の属性出力制御処理）。

以上、本実施形態に係る人物属性推定処理の概要について説明した。本実施形態に係る人物属性提示装置１００は、ユーザからの指示にしたがって修正前画像に対して画像処理を行い修正後画像を作成し、修正前画像及び修正後画像の各領域について人物属性を推定する。これにより、ユーザは、例えばスキンケアや美容整形等を実際に行わなくても、スキンケアや美容整形等の効果を容易に確認することができる。

また、本実施形態に係る人物属性提示装置１００は、複数の修正後画像の中から修正前画像と比べて人物属性の推定結果の評価の差が大きい修正後画像の推定結果に関する情報を選択する。これにより、例えば複数のスキンケアや美容整形等の選択肢の中から効果的な選択肢が自動的に選択され、ユーザは効果的なスキンケアや美容整形等の選択肢を簡便に確認することができる。

［２−３．処理例］
次に、図９を参照して、本実施形態に係る人物属性提示装置１００により、人物を含む画像の修正を行い、人物属性として年齢を推定し、修正前後での推定結果を比較する処理例について説明する。また、本処理例では、人物を含む画像として、人物の顔が含まれる顔画像を用いた処理を実行する。なお、第１の実施形態と同じＳ２００〜Ｓ２３０の処理については、詳細な説明をする。

［２−３−１．画像修正処理（Ｓ２４０）］
まず、図７のステップＳ２４０における画像修正処理について詳細な説明をする。画像修正処理は、例えば修正情報に基づいて、領域分割部１３０で複数の領域に分割された画像を修正し、修正された修正後画像を作成する画像修正処理を実行する処理である。本処理例では、顔画像として人物の顔が含まれる顔画像を取得する。

図９は、本実施形態における一処理例に係る人物属性の推定結果の一提示例を示す説明図である。図９の左側に、修正前画像である修正前顔画像２０Ａを示し、右側に、修正後画像である修正後顔画像２０Ｂとを示す。図９に図示した例では、画像修正部１３４は、例えば修正前顔画像２０Ａに対して、部位を含む領域の推定年齢が他の領域の推定年齢と比べて高い部位である鼻と目を含む領域をそれぞれ変形させる。

図９の修正後顔画像２０Ｂでは、ステップＳ２４２にて選択された修正領域７０を太枠で囲まれた領域として示す。図９の右上側に示した修正後顔画像２０Ｂは、両目を含む領域が選択され、右下側に示した修正後顔画像２０Ｂは、鼻を含む領域が選択される。

また、ステップＳ２４４において、画像修正部１３４は、画像の修正処理を行う。図９の右上側の修正後顔画像２０Ｂは、目を細くさせる処理が行われた例であり、右下側の修正後顔画像２０Ｂは、鼻を細くさせる処理が行われた例である。このような処理は、例えば修正前顔画像２０Ａの修正領域７０をアフィン変換することで行われてもよい。

さらに、ステップＳ２４６において、画像修正部１３４は、作成した修正後顔画像２０Ｂを属性推定部１４０に出力する。図９に図示した例では、画像修正部１３４は、目を変形させた修正後顔画像２０Ｂと、鼻を変形させた修正後顔画像２０Ｂの２つの修正後顔画像２０Ｂを、属性推定部１４０に出力する。

［２−３−２．修正後顔画像の属性推定処理（Ｓ２５０）］
次に、図７のステップＳ２５０における修正後画像の属性推定処理について説明する。修正後画像の人物属性の推定は、ステップＳ２２０と同様の方法で行われる。推定する修正後画像の領域は、修正後画像の分割された各領域全てに対して行われてもよい。また、推定する修正後画像の領域は、ステップＳ２４０にて修正が行われた修正領域７０のみでもよい。この場合、推定が行われていない領域には、修正前画像の推定結果が用いることができる。

［２−３−３．第１の属性出力制御処理（Ｓ２６０）］
さらに、図７のステップＳ２６０における第１の属性出力制御処理について説明する。第１の属性出力制御処理は、修正前画像及び修正後画像の人物属性の推定結果から、推定結果に関する画像等の推定結果に関する情報を作成する処理である。修正前画像及び修正後画像の推定結果に関する情報の作成は、ステップＳ１３０における、推定結果に関する画像等の推定結果に関する情報を作成する処理と同様に行われる。

［２−３−４．画像修正効果比較処理（Ｓ２７０）］
次に、図７のステップＳ２７０における画像修正効果比較処理について説明する。画像修正効果比較処理は、修正前画像及び修正後画像の推定結果に関する情報に基づいて、画像修正の効果を比較する処理である。例えば、画像修正効果比較部１４４は、修正前画像と修正後画像の効果の差として、画像全体の人物属性の推定結果の評価の差を算出することができる。また、画像修正効果比較部１４４は、修正前画像と修正後画像の効果の差として、修正領域７０における人物属性の推定結果の差を算出してもよい。評価の差は、例えば人物属性が年齢である場合は、年齢の差であってもよい。

図９に図示した例では、画像修正効果比較部１４４は、修正前顔画像２０Ａ及び修正後顔画像２０Ｂの顔画像全体での年齢の差を評価値として用いる。図９を参照すると、顔画像全体での年齢を推定した結果である全体属性推定結果６０が示される。例えば、図９の上側の目を変形させた修正後顔画像２０Ｂでは、全体属性推定結果６０は２６歳となり、全体属性推定結果６０が２９歳である修正前顔画像２０Ａとの評価値の差は３歳となる。一方、図９の下側の鼻を変形させた修正後顔画像２０Ｂでは、全体属性推定結果６０は２８歳となり、修正前顔画像２０Ａとの評価値の差は１歳となる。この場合、画像修正効果比較部１４４は、目を変形させた修正後顔画像２０Ｂの方が、差が大きく、年齢が若くなっていると判断し、目を変形させた修正後顔画像２０Ｂを選択する。

［２−３−５．第２の属性出力制御処理（Ｓ２８０）］
次に、図７のステップＳ２８０における第２の属性出力制御処理について説明する。第２の属性出力制御処理は、例えば画像修正効果比較部１４４で選択された修正後顔画像及び修正前画像の人物属性の推定結果に関する情報を出力部１６０に出力させる処理である。

例えば、属性出力制御部１５０は、選択された修正後顔画像及び修正前画像の人物属性の推定結果に関する画像を配列させて出力部１６０に表示させてもよい。これにより、ユーザは、修正前画像と修正後画像とを比較しやすくなり、修正による効果を確認しやすくなる。また、属性出力制御部１５０は、修正後画像の人物属性の推定結果に関する画像と、推定結果に関する情報を出力部１６０に表示させてもよい。推定結果に関する情報は、例えば修正した修正前顔画像２０Ａの部位や範囲等の情報、修正前画像と修正後画像との推定結果の評価の差である。図９に図示した例では、属性出力制御部１５０は、出力部である表示画面１０に、修正後画像の人物属性の推定結果に関する画像として修正後顔画像２０Ｂの属性推定マップと、推定結果に関する情報として修正した部位に関するメッセージ８０とが表示される。このとき、表示されるメッセージは、出力部に表示されるだけでなく、音声出力部から音声として出力されてもよい。これにより、ユーザは、例えばスキンケアや美容整形等の選択肢の内どれが効果的であるかを確認しやすくなる。

以上、本実施形態に係る本実施形態に係る人物属性提示装置１００について、説明した。本実施形態に係る人物属性提示装置１００は、修正前画像に対する画像処理により修正後画像を作成し、修正前画像及び修正後画像の各領域について人物属性の推定を行い、推定結果に関する画像を作成し、出力部に表示させる。これにより、ユーザは、例えばスキンケアや美容整形等を実際に行わなくても、スキンケアや美容整形等の効果を容易に確認することができる。

また、本実施形態に係る人物属性提示装置１００は、複数の修正後画像の中から修正前画像と比べて人物属性の推定結果の評価の差が大きい修正後画像を選択する。これにより、例えば複数のスキンケアや美容整形等の選択肢の中から効果的な選択肢が自動的に選択され、ユーザは効果的なスキンケアや美容整形等の選択肢を簡便に取得することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、第１および第２の実施形態では、推定する人物属性を年齢としたが、本発明はかかる例に限定されない。例えば、人物属性は性別であってもよい。この場合、例えば男性的な度合または女性的な度合を推定することができる。例えば、男性的な度合を＋１．０〜−１．０で示される値とし、＋１．０が最も男性らしく、−１．０が最も女性らしいという連続した値を用いてもよい。

また、例えば、第１の実施形態では、人物属性を推定する画像を顔が含まれる顔画像としたが、本発明はかかる例に限定されない。例えば、人物属性を推定する画像は、人物の全身が含まれる全身画像してもよい。これにより、手、足及び腰等の体の部位毎の人物属性を推定することができる。

また、例えば、第１および第２の実施形態では、属性推定マップ３０は、顔画像２０に人物属性の推定結果を重畳させて表示されるが、本発明はかかる例に限定されない。例えば、顔画像２０ではなく、顔を模式化した模式画像に人物属性の推定結果を重畳させて表示させてもよい。

また、例えば、第２の実施形態では、画像修正効果比較部１４４は、複数の修正後画像の中から修正前画像と比べて人物属性の推定結果の評価の差が大きい修正後画像の推定結果に関する情報を一つ選択するが、本発明はかかる例に限定されない。例えば、画像修正効果比較部１４４は、人物属性の推定結果の評価の差が大きい修正後画像の推定結果に関する情報を複数選択してもよい。さらに、画像修正効果比較部１４４は、例えば評価の差がユーザに予め設定された値に近い推定結果に関する情報を選択してもよい。

また、例えば、第２の実施形態では、画像修正効果比較部１４４は、複数の修正後画像の中から修正前画像と比べて人物属性の推定結果の年齢が最も若い修正後画像の推定結果に関する情報を選択するが、本発明はかかる例に限定されない。例えば、選択される修正後画像の推定結果に関する情報は、例えば年齢の高い推定結果に関する情報であってもよい。

また、例えば、第１および第２の実施形態では、属性推定マップ３０は、顔画像２０に人物属性の推定結果に応じて領域２２をハッチングして表示させるが、本発明はかかる例に限定されない。例えば、推定する人物属性が年齢である場合に数字等を顔画像２０に重畳させて表示させてもよい。このとき、年齢表示の単位は、１０代、２０代、３０代…のように、１０歳単位で表示させてもよく、１０歳、１１歳、１２歳…のように、１歳単位で表示させてもよい。さらに、例えば、推定結果に応じて設定された色等で属性推定マップ３０を作成する場合、推定結果の値に応じて連続的に色を変化させて表示させてもよい。

また、例えば、第１および第２の実施形態では、属性推定処理において、Ｈａａｒ−ｌｉｋｅ特徴の特徴量に基づいて人物属性を推定したが、本発明はかかる例に限定されない。例えば、エッジ量等の他の特徴量を含む弱識別器を用いてもよい。

１００ 人物属性提示装置
１１０ 画像入力部
１２０ 制御部
１３０ 領域分割部
１４０ 属性推定部
１４４ 画像修正効果比較部
１５０ 属性出力制御部
１６０ 出力部
１７０ 修正情報入力部
１８０ 画像修正部
１９０ 記憶部
１０ 表示画面
２０ 顔画像
２０Ａ 修正前画像
２０Ｂ 修正後画像
２２ グリッド
２４ 推定領域
３０ 属性推定マップ
３２ 属性凡例
４０ 第１局所領域
５０ 第２局所領域
６０ 画像全体の推定結果
７０ 修正領域
８０ メッセージ

Claims (15)

1. 人物が含まれる画像を複数の領域に分割する領域分割部と、
   分割された複数の前記領域毎に人物属性を推定する属性推定部と、
   分割された複数の前記領域毎の人物属性の推定結果に関する情報を出力部に表示させる属性出力制御部と、
   ユーザから入力された前記画像に対する修正情報に基づいて、前記画像の分割された前記領域のうち少なくとも一つ以上の該領域に対して画像処理を行い、修正後画像を作成する画像修正部と、
   を備え、
   前記属性推定部は、前記修正後画像の前記領域の人物属性を推定する、人物属性提示装置。
2. 前記領域分割部は、前記画像の一部または全体を複数の領域に分割する、請求項１に記載の人物属性提示装置。
3. 前記属性出力制御部は、分割された前記領域毎の人物属性の推定結果に関する情報を、前記画像または前記画像を模式化した模式画像のうち少なくともいずれか一方に重畳させて前記出力部に表示させる、請求項１または２に記載の人物属性提示装置。
4. 前記属性出力制御部は、分割された前記領域毎の人物属性の推定結果に関する情報を、推定結果毎に設定された表示形態で前記領域を表示するよう制御する、請求項３に記載の人物属性提示装置。
5. 前記属性推定部は、分割された前記領域毎に、前記各領域が含まれるＨａａｒ−ｌｉｋｅ特徴の特徴量に基づいて、人物属性の推定を行う、請求項１〜４のいずれか１項に記載の人物属性提示装置。
6. 前記属性推定部は、予め人物が含まれる複数の画像と当該画像の人物属性とに基づいてＨａａｒ−ｌｉｋｅ特徴毎に算出される重み付けを用いて人物属性の推定を行う、請求項５に記載の人物属性提示装置。
7. 前記属性推定部は、前記画像の全体における人物属性を推定する、請求項１〜６のいずれか１項に記載の人物属性提示装置。
8. 前記属性推定部は、Ｈａａｒ−ｉｌｋｅ特徴の特徴量に基づいて、前記画像の全体における人物属性を推定する、請求項７に記載の人物属性提示装置。
9. 前記属性出力制御部は、前記画像の全体における人物属性の推定結果に関する情報を前記出力部に表示させる、請求項７または８に記載の人物属性提示装置。
10. 修正前の前記画像について、分割された前記領域毎の人物属性の推定結果に関する情報と、
    前記修正後画像について、分割された前記領域毎の人物属性の推定結果に関する情報とのうち少なくともいずれか一方を記憶する記憶部をさらに備える、請求項１に記載の人物属性提示装置。
11. １つの前記画像に対応する前記修正後画像が複数ある場合に画像処理が行われた前記画像の人物属性の複数の推定結果と、修正前の前記画像の人物属性の推定結果との評価の差が最も大きい前記修正後画像に関する情報を選択する画像修正効果比較部をさらに備える、請求項１または１０に記載の人物属性提示装置。
12. 前記属性出力制御部は、前記画像の人物属性の推定結果に関する情報と、前記修正後画像の人物属性の推定結果に関する情報との比較結果を前記出力部に出力させる、請求項１、１０、１１のいずれか１項に記載の人物属性提示装置。
13. 前記画像は、人物の顔が含まれる顔画像である、請求項１〜１２のいずれか１項に記載の人物属性提示装置。
14. 前記属性出力制御部の出力結果に基づいて、前記属性推定部による推定結果に関する情報を表示する前記出力部をさらに備える、請求項１〜１３のいずれか１項に記載の人物属性提示装置。
15. 人物が含まれる画像を複数の領域に分割するステップと、
    分割された複数の前記領域毎に人物属性を推定するステップと、
    分割された複数の前記領域毎の人物属性の推定結果に関する情報を表示させるステップと、
    ユーザから入力された前記画像に対する修正情報に基づいて、前記画像の分割された前記領域のうち少なくとも一つ以上の該領域に対して画像処理を行い、修正後画像を作成するステップと、
    を含み、
    前記推定するステップは、前記修正後画像の前記領域の人物属性を推定することを含む、人物属性提示方法。