JP5882929B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

美容、コスメティクス分野では、人間の顔をカメラ等で撮影して得られた画像に基づいて、肌の状態を解析する装置に関する研究開発が活発に行われている。例えば、顔を器具により固定し、顔の周りに配置された照明器具で均一な照明の下で顔の撮影を行い、影のない高品質な画像を取得し、取得した画像において肌の領域に対して二値化などの画像処理手法を用いて、シミを検出する方法が提案されている（例えば、特許文献１）。

特開２００５−２１１５８１号公報

上述の方法では、影を生じさせない照明の下で顔を固定して撮影を行うことにより、影のない顔の画像を取得し、当該画像から肌の領域を抽出し、抽出した肌の領域に対して画像処理を行う。しかし、専用の高価な装置を必要とするため、医療機関や化粧品の販売カウンターなどの限られた場所以外では利用することが難しいという問題がある。また、汎用のデジタルカメラを用いて顔を撮影した画像を単に用いた場合には、肌以外の領域が画像処理に影響してしまい、肌の領域に対する解析結果が著しく悪化してしまうという問題がある。

本発明は、上記問題を解決すべくなされたもので、その目的は、専用の照明機器等を用いた特定の環境下で撮影した画像を用いずとも、顔を撮影した画像における肌の領域に対する解析処理の精度を向上させることができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することにある。

上記問題を解決するために、本発明は、人物の顔が写っている画像データを取得する画像取得部と、前記画像取得部が取得した画像データにおいて人物の顔の領域を検出する顔検出部と、前記顔検出部が検出した顔の領域に対して予め定められた顔モデルを当てはめる顔モデル適合部と、前記顔モデル適合部が前記顔の領域に当てはめた顔モデルに基づいて、前記顔の領域において肌以外の領域を検出する解析除外部と、前記解析除外部が検出した肌以外の領域、及び指定された領域に基づいて、前記顔の領域において解析対象にする領域を定める解析対象設定部と、を具備することを特徴とする画像処理装置である。

また、本発明は、上記に記載の発明において、前記解析除外部は、前記顔モデルに含まれる人物の顔の輪郭と目と鼻と口とに対応する領域に基づいて、前記顔の領域における肌以外の領域を検出することを特徴とする。

また、本発明は、画像処理装置が行う画像処理方法であって、人物の顔が写っている画像データを取得する画像取得ステップと、前記画像取得ステップにおいて取得した画像データにおいて人物の顔の領域を検出する顔検出ステップと、前記顔検出ステップにおいて検出した顔の領域に対して予め定められた顔モデルを当てはめる顔モデル適合ステップと、前記顔モデル適合ステップにおいて前記顔の領域に当てはめた顔モデルに基づいて、前記顔の領域において肌以外の領域を検出する解析除外ステップと、前記解析除外ステップにおいて検出した肌以外の領域、及び指定された領域に基づいて、前記顔の領域において解析対象にする領域を定める解析対象設定ステップと、を有することを特徴とする画像処理方法である。

また、本発明は、上記の画像処理装置としてコンピュータを機能させるための画像処理プログラムである。

この発明によれば、顔が撮影された画像に対して、顔の領域を検出した後に、当該領域に対して顔モデルを当てはめ、当てはめた顔モデルに基づいて肌以外の領域（例えば、目や口など）を解析対象の領域から除外することにより、肌の領域に対する解析処理において悪影響を及ぼす領域を除外することができ、特定の環境下で撮影した画像を用いずとも解析処理の精度を向上させることができる。

本発明に係る画像処理装置の実施形態としての肌解析装置の構成例を示すブロック図である。 同実施形態における顔モデル学習データ記憶部２２が記憶している顔モデルの一例を示す図である。 同実施形態における肌解析装置が行う画像処理を示すフローチャートである。 同実施形態における解析除外マスク生成部１４が解析除外マスクを生成する処理を示すフローチャートである。 同実施形態における目の領域に対して解析除外領域を定める例を示す概略図である。 同実施形態における鼻の領域に対して解析除外領域を定める例を示す概略図である。 同実施形態における口の領域に対して解析除外領域を定める例を示す概略図である。 画像データにおいて検出された人物の顔の領域を示す図である。 画像データにおいて検出された顔の領域に顔モデルを当てはめた結果を示す図である。 取得した画像データに解析除外マスクを重畳して表示した図である。 解析範囲マスクを示す図である。 ほうれい線の検出結果例を示す図である。

以下、図面を参照して、本発明の実施形態における画像処理装置、画像処理方法、及び画像処理プログラムを説明する。図１は、本発明に係る画像処理装置の実施形態としての肌解析装置の構成例を示すブロック図である。肌解析装置は、カメラなどを用いて人物の顔を撮影して得られる画像に対して、人物の顔の領域から肌の領域を特定し、特定した肌の領域に対する解析により顔の肌の状態（しみ、しわ等）の把握や特徴の検出などを行う装置である。本実施形態における肌解析装置は、画像取得部１１、顔検出部１２、顔モデル適合部１３、解析除外マスク生成部１４、解析対象マスク生成部１５、肌領域解析部１６、顔検出学習データ記憶部２１、及び、顔モデル学習データ記憶部２２を具備している。

顔検出学習データ記憶部２１には、顔の画像を用いて学習が行われた識別器（顔検出学習データ）が記憶されている。顔検出学習データ記憶部２１に記憶されている識別器は、例えば、事前に顔のＨａａｒ−Ｌｉｋｅ特徴をＡｄａｂｏｏｓｔと呼ばれる強化学習手法で得られたＣａｓｃａｄｅ構造の識別器である。

顔モデル学習データ記憶部２２には、例えば、ＡＡＭ（Active Appearance Model）で用いることができる顔モデルが予め記憶されている。顔モデル学習データ記憶部２２に記憶されている顔モデルは、画像上での顔の特定の位置を示す座標の集合を顔の形状モデル、及び、画像上での顔の見え方を顔の見えモデルとして学習した顔モデルであって、主成分分析により任意の顔を表せるような顔モデル（顔モデル学習データ）である。図２は、本実施形態における顔モデル学習データ記憶部２２が記憶している顔モデルの一例を示す図である。同図に示す顔モデルでは、顔の輪郭を示す点、目の上下及び左右の端を示す点、鼻の輪郭を示す点、並びに、口の上下及び左右の端を示す点が含まれる。

図１に戻って、肌解析装置の構成の説明を続ける。
画像取得部１１は、人物の顔が写っている画像データＩｍを取得する。画像取得部１１は、例えば、汎用のデジタルカメラや、カメラ付き携帯電話等の携帯情報機器における画像センサなどである。また、画像取得部１１は、記憶媒体やネットワーク上の記憶装置から、人物の顔が写っている画像データＩｍを取得してもよい。
顔検出部１２は、顔検出学習データ記憶部２１に記憶されている識別器を用いて、画像取得部１１が取得した画像データＩｍにおいて人物の顔が写っている領域の検出を行う。人物の顔が写っている領域（以下、顔の領域という。）の検出には、例えば、Ｖｉｏｌａ−Ｊｏｎｅｓの方法を利用する。具体的には、顔検出部１２は、画像データＩｍから取得したＨａａｒ−Ｌｉｋｅ特徴を、顔検出学習データ記憶部２１に記憶されている識別器にかけることにより、画像データＩｍにおける顔の領域を検出する。

顔モデル適合部１３は、顔モデル学習データ記憶部２２に記憶されている顔モデルを、顔検出部１２が検出した顔の領域に最適化手法などを用いて当てはめを行う。顔モデル適合部１３は、例えば、Ｉｎｖｅｒｓｅ−Ｃｏｍｐｏｓｉｔｉｏｎａｌ法を最適化手法として用いる。
解析除外部としての解析除外マスク生成部１４は、顔モデル適合部１３による当てはめ結果を用いて、顔の領域における人物の目や鼻、口などの人物の顔の中で肌以外の領域を検出し、検出した領域に対応するマスクを生成する。以下の説明においては、解析除外マスク生成部１４は、マスクを生成する領域として目と鼻と口とを対象にする場合について説明する。

解析対象設定部としての解析対象マスク生成部１５は、予め設定された解析対象の領域から、解析除外マスク生成部１４が生成するマスクの領域を排除した領域を解析範囲マスクとして生成する。
肌領域解析部１６は、画像取得部１１が取得した画像データＩｍにおいて、解析対象マスク生成部１５が生成する解析範囲マスクの示す領域に対して、解析処理を行い解析結果を出力する。肌領域解析部１６による解析処理は、例えば、肌のしみやしわ等の検出を行う処理である。

図３は、本実施形態における肌解析装置が行う画像処理を示すフローチャートである。
肌解析装置において、画像処理が開始されると、画像取得部１１が画像データＩｍを取得する（ステップＳ３０１）。
顔検出部１２は、画像取得部１１が取得した画像データＩｍにおける顔の領域を、顔検出学習データ記憶部２１に記憶されている識別器を用いて検出する（ステップＳ３０２）。
顔モデル適合部１３は、顔検出部１２が検出した画像データＩｍにおける顔の領域に対して、顔モデル学習データ記憶部２２に記憶されている顔モデルを当てはめる（ステップＳ３０３）。

解析除外マスク生成部１４は、顔モデル適合部１３が当てはめた顔モデルに基づいて、画像データＩｍにおける顔の領域において肌以外の領域を示す解析除外マスクを生成する（ステップＳ３０４）。以下、解析除外マスク生成部１４による解析除外マスクの生成について詳しく説明する。

図４は、本実施形態における解析除外マスク生成部１４が解析除外マスクを生成する処理を示すフローチャートである。
解析除外マスク生成部１４は、解析除外マスクを生成する処理を開始すると、解析除外マスクの初期化を行う（ステップＳ４０１）。例えば、解析除外マスクは、画像データＩｍと同じ画像サイズの白黒の二値画像として表すことができる。例えば、解析除外マスクにおいて、画素値が１の部分（白色）を解析除外領域とし、画素値が０の部分（黒色）を解析対象領域として表せば、解析除外マスクの画像の画素値が黒色の部分だけ、解析処理を行えばよいことが分かる。この場合、解析除外マスク生成部１４は、全範囲を解析対象領域として、解析除外マスクのすべての画素値を０にする初期化を行う。

解析除外マスク生成部１４は、目の領域に対応する解析除外領域を定める（ステップＳ４０２）。ステップＳ４０２における処理は、例えば、ステップＳ３０３において当てはめが行われた顔モデルの目の端点に基づいて行われる。図５は、本実施形態における目の領域に対して解析除外領域を定める例を示す概略図である。同図に示すように、顔モデルにおける目の領域に対応する上の端点をＴＰとし、下の端点をＢＰとし、左の端点をＬＰとし、右の端点をＲＰとする。このとき、解析除外マスク生成部１４は、端点ＴＰと端点ＢＰとを結ぶ線分と、端点ＬＰと端点ＲＰとを結ぶ線分とが交わる点ＣＰを算出する。なお、交点ＣＰは、顔モデルの目の中心点と一致しない場合がある。

解析除外マスク生成部１４は、交点ＣＰを中心として、端点ＴＰと端点ＢＰとを通る線を短軸とし、端点ＬＰと端点ＲＰとを通る線を長軸とする楕円を画素値「１」で解析除外マスクに描画する。これにより、人物の目に対応する領域が解析除外領域に設定される。なお、短軸と長軸との長さはそれぞれ端点ＴＰ及び端点ＢＰの距離、並びに、端点ＬＰ及び端点ＲＰの距離よりも長く設定するようにしてもよい。この場合、目に対応する領域が解析除外領域から漏れることが生じる可能性を低くすることができる。解析除外マスク生成部１４は、ステップＳ４０２における上述の処理を両目の領域に対して行う。

次に、解析除外マスク生成部１４は、ステップＳ３０３において当てはめが行われた顔モデルの鼻の輪郭に基づいて、鼻に対応する領域を解析除外領域に設定する（ステップＳ４０３）。解析除外マスク生成部１４は、鼻の輪郭を示す点を結んでできる多角形（輪郭線）に含まれる画素の画素値を「１」にすることにより、人物の鼻に対応する領域を解析除外領域に設定する。図６は、本実施形態における鼻の領域に対して解析除外領域を定める例を示す概略図である。同図に示すように、顔モデルにおける鼻の輪郭を示す点を直線で結び得られる多角形を解析除外領域とする。

次に、解析除外マスク生成部１４は、ステップＳ３０３において当てはめが行われた顔モデルの口の端点に基づいて、口に対応する領域を解析除外領域に設定する（ステップＳ４０４）。図７は、本実施形態における口の領域に対して解析除外領域を定める例を示す概略図である。同図に示すように、顔モデルにおける口の領域において、水平方向中心付近における上側の端点をＴＬとし、水平方向中心付近における下側の端点をＢＬとし、左の端点をＬＬとし、右の端点をＲＬとする。このとき、解析除外マスク生成部１４は、端点ＴＬと端点ＢＬとを結ぶ線分と、端点ＬＬと端点ＲＬとを結ぶ線分とが交わる点ＣＬを算出する。

解析除外マスク生成部１４は、交点ＣＬを中心として、端点ＴＬと端点ＢＬとを通る線を短軸とし、端点ＬＬと端点ＲＬとを通る線を長軸とする楕円を画素値「１」で解析除外マスクに描画する。これにより、人物の目に対応する領域が解析除外領域に設定される。なお、短軸と長軸との長さはそれぞれ端点ＴＰ及び端点ＢＰの距離、並びに、端点ＬＰ及び端点ＲＰの距離よりも長く設定するようにしてもよい。この場合、口に対応する領域が解析除外領域から漏れることが生じる可能性を低くすることができる。
上述のステップＳ４０１〜ステップＳ４０４の処理を行うことにより、解析除外マスク生成部１４は、解析除外マスクを生成することができる。ステップＳ４０１〜ステップＳ４０４の処理がステップＳ３０４において行われる処理である。

図３に戻り、肌解析装置が行う画像処理の説明を続ける。
解析対象マスク生成部１５は、顔検出部１２が検出した画像データＩｍの顔の領域において、肌の解析の対象とする領域を示す解析範囲マスクを生成する（ステップＳ３０５）。肌の解析の対象となる領域は、解析用途によって異なる。例えば、特定部位のしわを検出するために、目尻や目の下、ほうれい線が含まれる領域が解析の対象になる。このような部位の選択は、顔モデル適合部１３が当てはめた顔モデルに基づいて、目や鼻、口の位置から相対的に定められる顔の輪郭内の領域が選択される。また、顔モデル適合部１３が当てはめた顔モデルを表示し、当該表示を参照してユーザが解析の対象となる領域を顔モデルの顔の輪郭内において自由に定めるようにしてもよい。解析対象マスク生成部１５は、解析の対象となる領域の画素値を０に、それ以外の画素値を１に定めて白黒の二値画像を生成する。解析対象マスク生成部１５は、生成した二値画像と、ステップＳ３０４において解析除外マスク生成部１４が生成した解析除外マスクとをＯＲ演算して得られた結果を、解析範囲マスクとして出力する。

最後に、肌領域解析部１６は、画像取得部１１が取得した画像データＩｍにおいて、解析対象マスク生成部１５が出力した解析範囲マスクが示す領域を解析対象範囲として、肌の領域に対する解析処理を行う（ステップＳ３０６）。解析処理の一例としては、解析範囲マスクが示す領域に対して、二値化により肌のしみを検出する処理や、エッジ検出により肌のしわを検出する処理などがある。

上述した処理により、肌解析装置は、カメラ付き携帯電話や汎用のデジタルカメラで撮影した顔画像に対し、顔モデルを当てはめるフィッティングを行うことで、目、鼻、口などの肌の状態の把握や解析などの結果を悪化させてしまう領域の検出及びマスクを行う。これにより、解析等の対象にする肌の領域を検出することができ、解析処理の精度を向上させることができる。

（実施例）
以下、実際に撮像した画像データを用いた処理例を図８から図１２を用いて説明する。また、図３に示したステップＳ３０１からステップＳ３０６の各ステップに対応付けて説明する。
肌解析装置は、画像処理を開始すると、カメラ（画像取得部１１）から画像データを取得する（ステップＳ３０１）。
肌解析装置は、取得した画像データにおける人物の顔の領域を検出する（ステップＳ３０２）。図８は、画像データにおいて検出された人物の顔の領域を示す図である。検出された顔の領域は顔に外接する矩形で表されており、検出された顔の領域には、顔以外の背景などの領域も含まれていることが分かる。

肌解析装置は、検出した顔の領域に対して顔モデルを当てはめる（ステップＳ３０３）。図９は、画像データにおいて検出された顔の領域に顔モデルを当てはめた結果を示す図である。人物の顔に対して、顔の輪郭や目、鼻、口に特徴点が表示されており、顔モデルが当てはめられていることが分かる。
肌解析装置は、顔の領域に当てはめられた顔モデルを用いて、解析の対象になる肌の領域以外の領域、すなわち目、鼻、口の領域を解析対象から除外するための解析除外マスクを生成する（ステップＳ３０４）。図１０は、取得した画像データに解析除外マスクを重畳して表示した図である。解析除外マスクにより、顔の領域から目、鼻、及び口の領域が除外されていることが分かる。

肌解析装置は、解析範囲マスクを生成する（ステップＳ３０５）。ここでは、ほうれい線の検出を解析処理としているので、鼻と口との近傍の領域が解析の対象になる領域として指定されており、当該領域と解析除外マスクとに基づいて解析範囲マスクが生成される。図１１は、解析範囲マスクを示す図である。図１１（Ａ）は、取得した画像データに解析除外マスクと解析の対象になる領域とが重畳されて表示されている。図１１（Ｂ）は、解析の対象になる領域において、解析除外マスクの領域が除外された領域が示されている。解析範囲マスクが生成されることにより、ほうれい線の検出に悪影響を及ぼす鼻や口などの部分が除外され、ほうれい線がある肌の領域が解析範囲になっていることが分かる。

肌解析装置は、取得した画像データにおいて解析範囲マスクが示す領域、すなわち解析対象の肌の領域に対して解析を行う（ステップＳ３０６）。肌解析装置は、解析範囲マスクが示す領域に対して、エッジ検出を行うことによりほうれい線を検出する。図１２は、ほうれい線の検出結果例を示す図である。同図に示す画像データには、ほうれい線以外のエッジが多数存在している。しかし、解析範囲マスクが示す領域のエッジ、すなわちほうれい線だけを正確に検出できていることが分かる。

このように、本実施形態における肌解析装置は、取得した画像データから顔の領域を検出し、顔モデルを当てはめ、肌の解析に関係のない目、鼻、口などを除外して、肌の領域に対して解析処理を行うことにより、解析処理の精度を向上させることができる。その結果、肌のしみやしわの検出などを精度よく行うことができる。また、肌解析装置は、専用の装置や撮影器具を用いるなどして特定の環境下で撮像した画像データ以外であっても解析処理の精度を向上させることができるので、汎用のデジタルカメラ等を用いることができ、利便性を大きく向上させることができる。

以上のように、本実施形態の肌解析装置によれば、一般に入手しやすいデバイス（汎用のデジタルカメラや、カメラ付き携帯電話、スマートフォンなど）を用いて撮影した人物の画像データにおいて、肌の領域の解析結果に悪影響を及ぼす領域を除外して解析処理を行うことができる。

なお、図１における肌解析装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより図３及び図４に示した画像処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

なお、上記の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上記の実施形態では、画像処理装置としての肌解析装置は１つの装置として構成される場合について説明したが、肌解析装置が具備する各部が複数の装置として構成され、各装置がネットワークを介して通信可能に接続されていてもよい。

１１…画像取得部、１２…顔検出部、１３…顔モデル適合部、１４…解析除外マスク生成部、１５…解析対象マスク生成部、１６…肌領域解析部、２１…顔検出学習データ記憶部、２２…顔モデル学習データ記憶部

Claims (4)

1. 人物の顔が写っている画像データを取得する画像取得部と、
   前記画像取得部が取得した画像データにおいて人物の顔の領域を検出する顔検出部と、
   前記顔検出部が検出した顔の領域における複数の特徴点に基づいて予め定められた顔モデルを当てはめる顔モデル適合部と、
   前記顔モデル適合部が前記顔の領域に当てはめた顔モデルに基づいて、前記顔の領域において肌以外の領域を検出する解析除外部と、
   前記解析除外部が検出した肌以外の領域、及び指定された領域に基づいて、前記顔の領域において解析対象にする領域を定める解析対象設定部と、
   を具備し、
   前記解析除外部は、左右の目及び口ごとに、複数の前記特徴点のうち左右方向の端部に対応する特徴点を結ぶ第１の線分と、上下方向の端部に対応する特徴点を結ぶ第２の線分との交点を中心とし且つ複数の前記特徴点を含む楕円の領域を、前記顔の領域における肌以外の領域として検出する、
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記解析除外部は、複数の前記特徴点のうち鼻に対応する特徴点を結んでできる多角形の領域を、前記顔の領域における肌以外の領域として検出する、
   ことを特徴とする画像処理装置。
3. 画像処理装置が行う画像処理方法であって、
   人物の顔が写っている画像データを取得する画像取得ステップと、
   前記画像取得ステップにおいて取得した画像データにおいて人物の顔の領域を検出する顔検出ステップと、
   前記顔検出ステップにおいて検出した顔の領域における複数の特徴点に基づいて予め定められた顔モデルを当てはめる顔モデル適合ステップと、
   前記顔モデル適合ステップにおいて前記顔の領域に当てはめた顔モデルに基づいて、前記顔の領域において肌以外の領域を検出する解析除外ステップと、
   前記解析除外ステップにおいて検出した肌以外の領域、及び指定された領域に基づいて、前記顔の領域において解析対象にする領域を定める解析対象設定ステップと、
   を有し、
   前記解析除外ステップでは、左右の目及び口ごとに、複数の前記特徴点のうち左右方向の端部に対応する特徴点を結ぶ第１の線分と、上下方向の端部に対応する特徴点を結ぶ第２の線分との交点を中心とし且つ複数の前記特徴点を含む楕円の領域を、前記顔の領域における肌以外の領域として検出する、
   ことを特徴とする画像処理方法。
4. 請求項１又は請求項２のいずれかに記載の画像処理装置としてコンピュータを機能させるための画像処理プログラム。